张行成早年曾师从河间名士刘炫,隋末时被举为孝廉。他在谒者台担任散从员外郎,隋亡后又效力于王世充所建立的郑国,授为度支尚书。武德四年(621年),李世民灭亡郑国,逼降王世充。张行成也归顺唐朝,因曾是隋朝官员,被任命为谷熟县尉。他家境贫寒,代替