1929年6月，徐向前被派往鄂东北工作，担任红31师副师长。当时红31师对外号称有4个团，实际是四个大队，总兵力仅有300余人，而且师长吴光浩还在之前的战斗中牺牲。吴光浩是黄麻起义的领导人之一，在鄂东北一带有很高的威望，为了不影响部队的士气，鄂东北特委没有对外公布他牺牲的消息。

由于吴光浩已经牺牲，因此徐向前虽然名义上是副师长，但实际上担负的却是师长的工作。他初来乍到，人生地不熟，再加上语言也不通，因此开展工作的难度很大。徐向前后来回忆说，自己能在鄂东北站住脚，原因主要有两条，第一条是能带部队打胜仗。当时红31师不仅兵力弱，训练也严重不足。

徐向前第一次带部队和敌人作战时，敌人的机枪一响，战士们全都趴在地上不敢抬头。敌人的步兵随即发起冲击，红31师很快战败，徐向前身边的警卫员都跑散了，最后他不得不跳崖逃生，右腿还因此负了伤。此战失利后，徐向前对红31师的战斗力有了清醒的认识，他身体力行，狠抓训练，从最基本的技战术动作讲起，并不厌其烦地一遍遍示范。

在徐向前手把手的训练下，红31师的战斗力在短时间内就得到了极大的提升。之后徐向前采用游击战和伏击战等方式，率部连战连捷，部队也迅速扩大，徐向前在鄂东北的威望日益增强。除了能打仗之外，徐向前能在鄂东北站稳脚跟的第二个原因是脚踏实地，埋头苦干，不指手划脚，更不评头品足。

他在自己的回忆录中说：特委分配我做什么就做什么，从不讨价还价。工作中出了问题，主动承担责任，不埋怨别人。搞一段时间后，人家看你这人还行，能带部队打仗，能和群众打成一片，没有什么官架子、特殊化，慢慢地就信任你了。取得了当地干部和群众的信任，才能立住脚，说话主动，开展局面。威信就是这样建立起来的，而不是吹起来的。

后来许继慎和曾中生也来到了鄂豫皖，许继慎是徐向前黄埔一期的同窗好友，曾中生是黄埔四期的师弟，三人密切配合，鄂豫皖根据地得到了蓬勃的发展，红4军也扩充到了12000多人。此时张国焘来到了鄂豫皖，他的资历虽然很深，但打仗却是外行。一到苏区，张国焘就开始发号施令，命令红军攻打敌人坚固设防的大城市。

许继慎和曾中生对张国焘的瞎指挥十分不满，认为张国焘此举会将红军置于险境，搞不好就有全军覆没的危险，因此二人没有执行他的命令。张国焘为人很自负，气量又十分狭小，他见许继慎和曾中生与自己顶牛，心中极为不满，不久后就找了个借口把二人给抓了起来，随后将他们冤杀。

许继慎和曾中生在部队中很有威望，张国焘将他们冤杀后激起了不少人的非议。这让张国焘很不安，之后他开始在白雀园进行大肃反，许多能征善战的将领被错杀。他们被一串串地连绑在一起，少则几十个，多的上百个，由保卫局的行刑人员押出白雀园，解到附近潘家湾的荒山野岭，不是枪击就是刀砍，或强行推入挖好的大坑里，用泥土填平。

这些军衣褴褛、带着各种遍体刑伤的红军干部，拖着带血的脚印，怀着万般痛苦的心情，被驱赶着走向刑场。村上的老百姓见了，无不掩面落泪。据统计，红4军12000多人当中，被错杀的班以上干部超过了3000人，其中师级干部35人，团级干部44人。

白雀园大肃反，严重削弱了红4军的力量，也成为鄂豫皖红军未能打破敌人第四次围剿的一个重要原因。徐向前对张国焘在白雀园进行的大肃反十分不满，并提了一些建议，不料张国焘竟然因此想要对徐向前下手。徐帅为人正直，张国焘抓不到他的任何把柄，就派保卫局的人把程训宣给抓了起来。程训宣是徐向前的妻子，当时只有21岁，保卫局的人对她动用了酷刑，妄图通过她来整徐向前的黑材料。

程训宣宁死不屈，最后被残忍杀害，徐向前得知这个噩耗后，悲痛欲绝，但却无能为力。1935年6月，长征中的中央红军在懋功和红四方面军会师。徐向前就向陈昌浩提出，希望到中央红军做一点具体工作，想以此来脱离张国焘。但张国焘知道四方面军离不开徐向前，如果他走了，谁来指挥部队打仗呢？

在张国焘的坚决反对下，徐向前未能离开四方面军。两军会师之初，张国焘还十分热情，但当他得知中央红军此时仅剩下不到两万人后，个人野心开始膨胀，不断向中央索要权力，当上红军总政委后仍不满足，还妄图迫使中央红军和自己一道南下。最终双方在草地分兵。

北上之前，毛主席特意来找徐向前，征求他的意见，想要他和自己一道北上。徐向前对张国焘十分不满，两军会师之初曾提出过想到中央红军做点具体工作，但这个前提是建立在两支部队会师的基础上的。如今中央红军要单独北上了，徐向前如果跟随毛主席一起北上的话，只能带走少数几个人，大部队他根本带不走，因为陈昌浩是政委，有最后的决定权。

红四方面军的发展壮大，徐向前付出了很大的心血，对这支部队也有很深的感情。现在让他彻底放弃部队北上，他在感情上无法接受，因此他最终没有选择和毛主席一起北上。而且当时他也对南下抱有很大的信心，认为四方面军兵强马壮，川军又是手下败将，因此夺取成都平原的可能性还是很大的。

南下之初，四方面军确实打了不少胜仗，但大都是击溃战，歼敌数量很有限。不久后四方面军和川军在百丈关展开决战，刘湘为了维护自己的利益，拼了命，四方面军经过苦战后失利，损失了一万多人。此时张国焘依然不愿意北上，率部退到了川康一带的不毛之地。

当时已是严冬季节，天气十分寒冷，四方面军缺衣少食，伤病员由于缺乏足够的药物无法得到医治。冻饿、伤病再加上开小差，短短三个多月，四方面军就减员了2万多人，比百丈关失利的减员还要大。早在草地分兵的时候，毛主席就断言南下是绝路，当时四方面军中的不少高级将领还不相信，现在徐向前才明白了毛主席对战局的预判是多么的精准。

之后四方面军被迫北上，因为再不走的话真有可能被困死在川康一带的不毛之地。红军三大主力会师后，徐向前又带西路军渡过黄河与马家军作战，由于多种原因，最终失利，他历经艰辛才返回了延安。毛主席见到徐向前后，没有一句批评，反而还给了他许多安慰和鼓励，这让徐向前深受感动。在之后的抗日战场和解放战争中，徐向前的表现都十分出色，成为毛主席最为依赖的高级将领之一。