张归霸，字正臣，清河人也，其家族在地方上颇有声望。祖父张进言，曾于阳谷县令一职上留下政绩；父亲张实，亦非白身，有着官宦家庭的背景。张归霸自幼便与众不同，他性格洒脱不羁，不拘泥于小节，而对兵法战术却表现出浓厚的兴趣与天赋。在那个风雨飘摇的唐朝乾符年间，社会动荡不安，盗贼蜂起，四处作乱，天下大乱之象已显。
正是在这样的时代背景下，张归霸毅然决定带领自己的三位兄弟，离乡背井，投身到了黄巢的麾下。黄巢，这位乱世枭雄，正以他的勇猛和智谋，汇聚着四方豪杰，意图在这乱世之中闯出一番天地。张归霸凭借其过人的勇气和非凡的军事才能，很快便在黄巢的军队中脱颖而出，声名鹊起，成为了黄巢麾下的一员猛将。
当黄巢的大军势如破竹，攻占长安，震动天下之时，张归霸因功被封为左番功臣，这是他军事生涯中的一个重要里程碑。然而，好景不长，随着黄巢势力的逐渐衰败，中和年间，黄巢不得不带领部下逃往宛丘，以图东山再起。此时，太祖已在汴州站稳脚跟，奉诏南下讨伐黄巢，黄巢的党羽开始陷入困境，四面楚歌。
面对这样的局势，张归霸与他的兄弟们，以及葛从周、李谠等一众将领，审时度势，相继选择了投降太祖。他们的加入，无疑为太祖的军队注入了新的活力。不久之后，张归霸便因其出色的军事才能和过往的战功，被任命为宣武军中的重要职务，开始了他在太祖麾下的新征程。
光启二年（公元886年），张归霸迎来了他军事生涯中的又一次重要考验。这一年，他与蔡州将领张存在卢氏展开了一场激烈的战斗。战场上，张归霸身先士卒，英勇无畏，最终击败敌军，取得了胜利。次年夏天，他再次出征，与蔡将卢瑭在双丘交战，同样取得了辉煌的战果。紧接着，他又与秦宗贤在万胜展开激战，每一次战斗，张归霸都展现出了非凡的军事才能和过人的勇气，屡战屡胜，歼灭了大量的敌军。
在一次战斗中，张归霸的英勇表现更是令人叹为观止。当宗权派遣将领张郅前来侵犯，并在赤堈扎寨时，张归霸毫不畏惧，率兵迎战。一日，张郅派出骑兵前来挑战，张归霸在战场上奋勇杀敌，却不慎被飞来的戈击中。在这危急关头，他展现出了极高的应变能力和战斗素养，立即拔马撤退，同时一箭射出，敌人被射中颈部，应声坠落马下。张归霸则趁机骑着敌人的马返回，这一幕被在高处俯瞰的太祖尽收眼底，太祖对他的英勇表现大加赞赏，当面给予了高度的评价，并用丰厚的金帛和所缴获的马匹作为奖赏，以示对他的嘉奖和鼓励。
张归霸的英勇事迹并未就此止步。在一次战斗中，他奉命带领五百名弓箭手埋伏在壕沟内，以配合太祖的进攻。太祖率领数百骑兵逐渐逼近敌寨，蔡州人果然中计，派出精锐士兵沿着营垒追击。就在这时，张归霸伏兵齐出，犹如天降神兵，对敌军进行了猛烈的攻击。在这场突如其来的袭击中，敌军损失惨重，一千余人被歼，数十匹战马被夺。这一战，不仅彰显了张归霸的军事才能，也极大地提升了他在军中的威望。
不久之后，张归霸因战功被奏授为检校左散骑常侍，这是对他过去战功的肯定，也是对他未来军事生涯的期许。此后，他跟随太祖南征北战，讨伐郓州，作为李唐宾的副将渡过淮河，每一次战斗都立下了赫赫战功，成为了太祖麾下不可或缺的一员猛将。
文德初年（公元888年），大军逼近蔡州，贼将萧颢前来砍伐营寨，企图破坏太祖的军事部署。面对萧颢的挑衅，张归霸与徐怀玉各自率领所部兵马，从东南两门分头出击，合力杀敌。在这场激烈的战斗中，张归霸展现出了出色的指挥能力和战斗素养，他率领的兵马与徐怀玉部协同作战，将蔡州人打得溃不成军，大败而逃。等到太祖率领大军离开营寨时，敌军的威胁已经彻底消除。太祖召见张归霸，对他的表现给予了高度的评价，并赞赏他说：“从前耿弇不等光武帝就去攻打张步，说不愿把敌人留给君王。你的功劳，比耿弇还要大上三分之二。”这一评价，不仅是对张归霸战功的肯定，更是对他忠诚与勇气的赞誉。
大顺中（公元891年），郭绍宾攻占曹州，意图扩大自己的势力范围。面对郭绍宾的挑衅，张归霸毫不畏惧，率领数千兵马镇守曹州。不久之后，朱瑾率领大军前来进犯，企图一举攻下曹州。面对强大的敌军，张归霸与丁会在金乡迎击朱瑾的大军。在这场决定性的战斗中，张归霸展现出了非凡的军事才能和过人的勇气，他率领的兵马与朱瑾的大军展开了殊死搏斗。最终，朱瑾大败，张归霸擒获了贼将宗江等七十余人，曹州得以安定。这一战，不仅巩固了太祖在曹州的统治地位，也进一步提升了张归霸在军中的威望和地位。
第二年，张归霸又攻破濮州，生擒刺史邵儒，展现了其强大的战斗力和军事才能。此外，他还协助葛从周与晋军在洹水交战，生擒李克用的爱子落落；又与燕军在内黄交战，杀死仁恭兵马三万余人。这些战功的累积，使得张归霸在军中的地位不断攀升，最终累官至检校左仆射。