张公谨早年曾效力于王世充，任洧州长史。618年(武德元年)，张公谨与洧州刺史崔枢投降唐朝，被任命为邹州别驾，累迁至右武候长史。621年(武德四年)，徐圆朗反叛，攻陷楚丘(今河南滑县)，欲围攻虞城。河南道安抚大使任瑰命崔枢、张公谨率领各州豪强
