杜君绰祖父杜谧，是北齐时期的秀才，后被任命为中山郡功曹、县令。父亲在唐朝时因杜君绰的战功被追赠为汝州刺史。杜君绰在义宁初时，投身义军。后归附唐朝，跟随秦王李世民征讨各地军阀，参加过讨伐刘武周、宋金刚等各种战争。武德九年六月初四，李世民率尉迟
