1944年冬季，杨成武奉命前往冀中军区上任，担任司令员。冀中军区是吕正操一手创建起来的，这里是平原地带，物产丰富，粮食和棉花的产量都很高，是晋察冀的粮仓。同时冀中的战略地位也十分重要，八路军在这里站稳了脚跟，对平津和保定一带的日寇形成了极大威胁。

正因为如此，华北日军一直把冀中八路军视为心腹大患，多次出动重兵进行围攻。1942年5月，冈村宁次纠集了5万多兵力，对冀中发起了残酷的五一大“扫荡”。吕正操和政委程子华率领冀中军民奋起反击，在一个多月的时间里进行大小战斗270多次，毙伤日伪军11000多人。

由于敌我兵力相差悬殊，加上平原地带无险可依，冀中八路军最终未能打退敌人的进攻，自身还减员16000多人，8分区司令员常德善和政委王远音等高级指挥员还在战斗中英勇牺牲。冀中根据地内所有的县城和较大的村镇都被日军占领，之后小鬼子在冀中建立了1700多个据点，挖掘了4000多公里的封锁沟，把冀中根据地分割成了2600多块。

吕正操带领军区剩余主力撤往晋绥一带，不久后出任晋绥军区司令，冀中只留下了一个主力团坚持游击战争。失去了冀中这个粮仓和重要的兵员补充地后晋察冀根据地的处境也变得十分艰难。为此聂荣臻决定重新恢复冀中军区，并将这个艰巨的任务交给了时任晋察冀一分区司令员的杨成武。

杨成武是聂荣臻的头号爱将，军政双优。平型关大捷之后，聂荣臻奉命来到华北敌后开辟抗日根据地。当时他手中只有杨成武的一个独立团和一些地方武装，总兵力3000余人。靠这点兵力要想在敌后建立根据地是十分困难的，此时杨成武爆发了，率部在短短一个月内接连从日伪军手中收复了七座县城，独立团也从2000多人发展到了8000多人。

以此为基础，聂荣臻成立了晋察冀抗日根据地，杨成武出任一分区司令员。之后他率部多次和日伪军激战，还在黄土岭战役中击毙了日军名将之花阿部规秀，一分区也在他的带领下成了晋察冀实力最强的单位。这次要在敌人的重重围困中恢复冀中军区，聂荣臻首先想到了杨成武。

1944年冬季，杨成武离开一分区，前往冀中上任。在地下交通员的带领下，昼伏夜行，穿过了日军多道封锁线后终于来到了冀中。当时冀中虽然名义上还有四个军分区，但主力只有一个第24团，而且还是只有一千余人的小团。没有足够的兵力，要想恢复冀中军区是不可能的。为此杨成武上任后的第一件事就是练兵。

他专门成立了一个练兵团，自己兼任团长和政委，黄寿发为副团长，负责具体的练兵工作。兵员来自四个军分区的县大队和区小队，通过严格的军事训练，将这些地方武装升级为军区主力。之后再吸收当地的青壮年，将他们补充到县大队和区小队当中。这个办法十分有效，短短数个月后，杨成武手中的主力部队就达到了一万余人。

有了兵之后，杨成武开始主动出击，先是攻克了辛中驿据点，除掉了铁杆汉奸田文明。辛中驿是个大据点，有母堡、子堡和暗堡，外围还有铁丝网和鹿砦，据点里有伪军两个大队300余人。田文明仗着有小鬼子撑腰，欺男霸女，无恶不作，民愤极大。杨成武上任后首战就拿下辛中驿并活捉了田文明，公审后将他枪决。其他据点的伪军受到了极大的震慑，再也不敢明目张胆地为非作歹了。

之后杨成武又率部向日寇展开了进攻，接连收复了任丘、河间、新镇、文安、安平、饶阳、深泽和新安等县城，击毙日伪军一万多人。在杨成武狂风骤雨般的攻势下，冀中的小鬼子被打蒙了，只能缩在一下大据点里苟延残喘，再也没有了往日的嚣张气焰。不少伪军则暗中和杨成武联系，准备随时反正。

上任不到半年，杨成武就扭转了冀中的被动局面，显示出了过人的军事才能。1945年春天，杨成武奉命前往晋察冀军区开会，途中要穿越平汉路封锁线。半年前来冀中上任的时候，过封锁线还要昼伏夜行，小心翼翼。但这一次不同了，杨成武直接让人给沿线的伪军头目下命令：看住小鬼子，老子晚上11点要过路！

伪军头目不敢怠慢，警戒哨放出了老远，监视小鬼子的一举一动。当晚11点左右，杨成武一行人策马扬鞭，异常顺利地通过了平汉路上的日军封锁线。几个月后，他率部大反攻，歼敌11000多人，并收复了11座县城，冀中近900万人口的地区获得了解放。毛主席对杨成武在冀中的表现十分满意，称他为“常山赵子龙”。1955年，杨成武被授予上将军衔。