杨森被委任为第二十七集团军总司令兼二十军军长，集团军所承担的防务很重，防区东起芜湖对岸，西至望江县境，北至无为、巢湖，南面囊括合肥、安庆间大片地区。1938年4月，军委会加紧准备徐州会战，原守淮南的主力部队被调往淮北增援，于是整个淮南地区也被交给了杨森集团军。
与其他川军集团不同，在杨集团里，杨森能指挥自如的还是基本部队二十军，集团防务也大多要由二十军担负。面对如此广大的防区，二十军的兵力根本就不敷使用，尤其难以顾及长江北岸的江防，这使得北岸的江防极为空虚，尤其在无为、庐江两县，根本就没有正规军驻扎，只有靠当地的自卫队维持局面。
光靠民兵性质的自卫队，如何阻击日军?显然，若不调整部署，增加兵力，将直接影响整个战局。为此，军委会特地从唐式遵集团军抽出梁泽民、戴传薪两旅，归杨森指挥，用于协防无为、庐江。
1938年5月2日，梁泽民旅到达无为。旅长梁泽民向二十军副军长夏炯报到，夏炯首先介绍情况，他告诉梁泽民，昨天天黑时，巢县已经失守，预计敌人为了使芜湖与巢湖的水上交通保持畅通，以便直攻合肥，当天一定还会前来攻占无为的运漕河。
在梁旅到达前，运漕河只有县自卫队看守，夏炯指示梁旅，必须尽快前往运漕河，构筑工事坚守拒敌，“否则无为县无险可守，敌人军舰已接近大通，可沿江直上。”
当梁泽民率郭维藩营等先头部队赶到运漕河时，己方岸边已有几十个敌人在掩护搭桥。郭维藩营二话不说，立即发起猛烈攻击，用刺刀和手榴弹向这些敌人冲杀过去。对岸敌人虽有后方火力支援，但见敌我混战在一起，却也无能为力。
随着其余部队陆续到达，梁旅官兵越战越勇，敌人有的被打死，有的被逼跳河，岸边之敌短时间内便被全部肃清。
我们个个是武松在掩护搭桥的敌人被肃清后，对岸敌人没有了误伤自己人的顾虑，便开始集中机步枪火力，向攻到岸边的梁旅官兵进行射击，同时用火炮轰击其后方部队。梁旅处在一片开阔地中，因为要阻击敌人随时可能发动的强渡，又不敢擅离，所以受到了不小伤亡。一直坚持到夜晚，梁旅才得以重新调整防线，全力寻找材料构筑掩体。
次日，三架敌机向无为县城及运漕河军队驻地投掷燃烧弹，之后又有一架侦察机飞来进行盘旋扫射。以飞机袭扰为掩护，敌人乘机用船只运兵强渡，一时间枪声大作，运漕河上下游均出现了强渡的敌船。梁旅官兵依托于晚上构筑起的工事，一边喊着：“用血换来的阵地，决不能抛弃！”一边将准备好的手榴弹向敌船甩去。
在手榴弹战的攻击下，好几只敌船都被炸翻，剩下的船只在向下游溃逃时，还遭到了机枪的追击射击。敌人强渡失败，所部死伤惨重，而且从此之后，再不敢轻易出动步兵强渡了。
1938年5月底，梁旅接到当地自卫队报告，巢县之敌近期抓老百姓为他们修公路和加强工事。似乎又将有军事行动，而且日军见到老百姓隐藏、逃避就开枪，已死伤百余人。民众都希望部队能打过河去，为死伤者报仇雪恨，他们表示只要部队出击，愿意为之带路，并负责安排来去的船只。
梁旅答应了民众的请求，决定派副营长傅奎率两个步兵连组成袭击队，过河执行奇袭任务。
一天晚上，袭击队在运漕河下游河没处乘船过河，接着沿公路向巢县前进，路上他们看到了在哨所站岗的敌人，当即隐蔽起来进行暗中观察。不一会儿，敌巡逻队十余人来到哨所，同哨所敌人哇哇地谈起话来。袭击队不动声色，等到巡逻队要走的时候，突然用机、步枪进行猛烈射击。
敌人被打得晕头转向，未中弹的人赶紧利用工事还击。这时隔河防守部队也开始射击，全线枪炮齐发，在防守部队的掩护下，袭击队安全撤回。这次奇袭，打死打伤日军数十人，算是给两岸的老百姓出了口气。
梁旅本身有防守无为的任务，所以不可能用太多的力量来奇袭巢县。在指挥他们的杨森那里，则有另一个大计划：实践“要赶快进攻”的诺言，直接出兵收复巢县！
按照杨森的命令，李麟昭团首先取道桐城，主攻巢县。在到达巢县的当天晚上，李团就发现敌人似乎早有准备，东门外凡是有碍射击的树林都被砍了，房屋也被烧了。尽管如此，官兵们并无怯意，营部副官王愚哲对营长杨伯涵说：“他们(指敌人)个个是老虎，我们个个是武松，我们要把他们打死在巢县的景阳冈！”杨伯涵听后笑了起来。
是夜月明星稀，乃攻城作战的好时机，尖兵连经过侦察，确证东、南、西、北各城门都开着，也没有哨兵，但各门内均架有数挺重机枪。尖兵连再次搜索，找到了一条通往城内的阴沟洞口，于是便派几个尖兵从洞口钻进了城。
几个尖兵进城后登上城墙，朝天放了几枪，为的是给进攻部队传递攻城信号，实际上这是因缺乏经验导致的处置失当，李团的进攻企图因此提前暴露。敌人察觉后故意不露声色，也不还击，等到各部队向城门发起冲击时，才以原先就配备好的严密火力网进行拦阻。
在敌机枪的猛烈扫射下，李团攻城失败。受挫退下来后，全团当即转攻为守，进入东城外事先部署好的阵地。同样是因为缺乏经验，进入阵地的李团终夜向敌人鸣枪示威，而这又再一次暴露了他们的阵地位置。天大亮后，敌人就集中北门外牛头山上的十余门山炮，向李团阵地进行射击。敌人的炮击颇有章法，在李团阵地范围内，炮弹从前至后，从左到右，每隔三四十米就会落下一颗，且都是子母弹，离地三四十米高就会开花爆炸，杀伤力很大。
李团没有重武器，当遭到炮击时，无法还手或抵御，官兵们只有利用弹坑或到处寻找隐蔽物进行隐蔽，其间被炸死炸伤二十余人，排长余铁铮后颈受重伤。好在因不明李团虚实，敌城内步兵一时也不敢轻易出城攻击，双方进入了对峙状态。
谁退下来就枪毙谁李团所隶属的旅部驻于河西芙蓉岭附近。得知战斗情况，旅长杨干才怕李团吃亏，遂令该团当晚撤出阵地，过河与旅部取得联系。
李团一过河，杨伯涵营便奉命在河边的陆家埂建立阵地，面向巢县进行守备。敌人果然追来了，在炮火掩护下，约三四百名日本兵乘着橡皮艇渡河登岸并向杨营阵地发动进攻。
杨营的七、八连在一线进行阻击，这两个连配备的都是旧式步枪，七连是旧式俄造步枪，八连是旧式双筒步枪，凡旧式步枪最怕临时出故障卡壳，所幸当天它们的状态都不错，即便枪管打得发红，放在水里浸一下拿起来还照样可以打。两连打得也都很顽强，七连排长李敦成端着轻机枪射击，打得兴起，忍不住站起身立射，不幸暴露目标而中弹阵亡。
当天杨营打退了敌人的进攻。第二天，步枪子弹不够了，营部副官王愚哲赶到团指挥所请求补充子弹，当他走到团指附近鞍部位置时，敌机枪手对他进行了三发点射，子弹就落在离他足尖半寸的地方！王愚哲极为机警，听到枪响，忙卧倒在地，旁边正好有一丛黄荆可供遮蔽，这才幸免于难。
得到补充子弹后，杨营继续应战。这样一连坚持了三昼夜，敌人始终拿不下杨营阵地，无可奈何之下只得于第四天拂晓前主动撤回了河对岸。
杨营在清扫战场时，捡到许多方格皮背包、机枪弹匣、通信器材、炊事器具等。据当地老乡讲，这次战斗敌人伤亡达百余人，所有伤亡人员在敌人未撤退前就被用橡皮艇运过了河。
在急于收复失地心情的支配下，杨森不肯罢休，在他的指挥下，守护淮南铁路的杨汉域师也利用浮桥渡过运潮河，向巢县日军发动袭击。当杨师到达巢县附近时，当地一个老百姓提供情报，说巢县城墙上有一个洞，洞口还不小，扛着机枪都可以通过。根据这一情报，师部决定组织两个营的突击队，于深夜潜入城内袭击敌人。
巢县城下有一条护城河，因为来不及准备，工兵连搭的浮桥还没有全部完工，为了抢时间，工兵连长彭世昌亲自带头，和工兵们扛着浮桥跳下水，等于让突击队踩在肩膀上过了河。突击队一过河即由城墙洞钻进城，接着他们将城门大开，以便袭击完成后能尽快撤退。
时值天气炎热，城内日军怕热，晚上一个个地跑到街上纳凉，此时睡得正香。突击队立即大开杀戒，一下子打死了约两百多敌人，有的日本兵睡梦中就被干掉了，临死都不知道外面究竟发生了什么事。
日军残部退至巢县城内卧牛山等高地继续顽抗，杨师向高地反复冲锋十余次都未能得手。看来前半段进展顺利主要还是源于“奇袭”二字，到了面对面攻防，尤其是仰攻，难度就大了。杨森获悉后，欲邀驻合肥的友军夹攻，以求全歼残敌，不料日军很快就占领了合肥，并且随后便派兵向巢县大举增援。
杨师被迫于拂晓前撤出巢县城，向巢湖南面撤退。敌人在后面紧追不舍，杨师因此受到一定损失，营长张运辉不幸牺牲。
事实上，当时日军在淮南的大本营设在蚌埠，巢湖在日军大本营的可出击范围之内，杨汉域师即使占领巢县也不易守住。合肥失陷，更是影响和动摇了淮南战场的警戒线，直接威胁到了安庆的安全。
不久，日军坂井支队即从合肥沿公路南进，直逼安庆。从合肥到安庆，大、小关是主要防守据点，大、小关有失，安庆便成了死城，杨森忙将杨汉忠师调至大、小关拒敌。
1938年6月10日，坂井支队投入兵力三千多人，在山炮的辅助射击下，向海亭、驿军铺一线发动进攻，整个战线长达四十里。次日，一线敌人的兵力又增至七千人，且有多达九架飞机低飞助战，对杨师阵地进行俯冲扫射和轰炸。
经过一天多时间的血战，杨师阵地虽未有失，但所部伤亡遍野，战斗兵牺牲殆尽。师长杨汉忠向杨森报告：“大关附近激战惨烈，已无法死守。”杨森在电话中下令：“谁退下来就枪毙谁！”
杨汉忠撂下电话后，便将炊事兵，勤务兵全部集中起来，用于补充第一线，继续死守大、小关。当天，杨森也亲自赶到大、小关督战。在那里，他看到杨师已死伤了三千多人，但是官兵至死也不肯退后一步，确实已经竭尽全力。
大、小关决战的同时，敌人在水路并没闲着，杨森在江面敷设的水雷，不是被打捞就是被破坏，两岸修筑的工事也多被敌重炮所摧毁。
6月12日，日军台湾旅团及海军陆战队相继在安庆附近登陆，安庆已三面受敌。此时杨森军的主力都已北调作战，能用于守安庆的，不过正规军四个连，再加上城里的守备队和警察。
安庆无论如何守不住了，在请示统帅部并得到同意后，杨森下令放弃大、小关和安庆，于晚上12点全军撤退。
南京沦陷前，守军撤得乱七八糟，原因之一是守城部队皆非主帅唐生智的亲兵，关键时候大多不服从指挥。二十军皆系杨森嫡系，他让怎样就得怎样，说好12点撤，没人敢提前一分钟走人，因此尽管在放弃大、小关后，安庆实已处于三面包围之中，但整个撤退过程仍然能做到有条不紊。
杨森将四个连设于山上，尽力抵抗，以掩护安庆市民撤退，他本人在安庆市里巡视一周，确认市民全部都已撤离，方才告别江城。
