黄埔军校虽然不是徐向前元帅的起点，但却在他的人生中有着非常重要的作用。在这里，徐向前不仅学到了军事知识，还交了不少至交好友。
晚年，徐向前元帅还第二次担任了黄埔同学会的会长，成为了黄埔学生们尊敬的学长和校友。徐向前的儿子曾说：“父亲奔向黄埔的目的，是中国富强独立.”
1926年，在保定、蔚州、灵丘、平原等地的战斗中，冯玉祥的国民二军被打得大败，部队也在失去指挥后四散溃逃。
于是，在国民二军中任职的徐向前和几位山西老乡，趁机回到了老家五台县。
那段时间，徐向前和那几位老乡想了许多，他们都不愿意再为军阀之间的争夺再战了。此时的徐向前，也宁肯回家种地、教书，都不愿意再当兵了。
随后，在与几个老乡分别后，徐向前一个人穿着便装潜回了村里。徐向前出生的村子叫做永安村，是五台县一个普通的村子。
那天，为了不引起他人的注意，徐向前在回到村里的时候，已经是深夜了。在这个时候，不要说他的家里人，就连全村人也都睡着了。
摸黑来到家门口时，徐向前小心翼翼地敲了敲门。
母亲听见有人敲门，便轻轻地来到门口。看见是已经离家两年的儿子时，再也抑制不住心里的感情，哭着说：“我的儿子，你可回来了！”
1924年，徐向前南下，在上海通过了考试后，转到广州接受考试。考试合格后，徐向前顺利进入黄埔军校，成为了黄埔一期的正式学员。那时候，徐向前的名字还叫做徐象谦。
作为黄埔军校校长的蒋介石，也是一个以貌取人的人。在与黄埔学生谈话时，蒋介石总是有意无意地喜欢长相帅气，或者偏向于江浙那一代老乡。就像阎锡山与蒋介石谈话时说的那样，“如果我会说浙江话，那我比鲁迅强多了”！
在谈话时，蒋介石觉得徐向前身体太过瘦弱，认为他没有一点英武之气。再加上徐向前讲着一口让蒋介石难以听懂的五台话，蒋介石对他很不满意。
因此，整个谈话也没有什么让人愉快的地方，在机械的一问一答中，草草地结束了。
后来，蒋介石对他身边的人说：“这个徐象谦，到底是怎么进来的？这简直是浪费军校的名额，这样的人，难堪大任！”
蒋介石的态度，虽然对徐向前产生了一定的影响，但却并没有让他永远埋没。
在学校里，徐向前如饥似渴地学习着。他不愿意浪费一寸光阴，拼命学习，步兵操典、射击教范、野外勤务、战术学，兵器学、筑城学、地形学、交通学等一些军事课程，他都能做到融会贯通，受到了同学们的称赞。
然而，蒋介石却不待见他。
1925年8月，在徐向前等几个山西老乡申请到国民二军中工作时，蒋介石想都没想便批准了。
多年后，回忆起当时的情景时，徐向前元帅在《历史的回顾》中，写道：
“蒋介石视军如命，历来是注意抓军权的。他野心勃勃，不仅要控制黄埔和国民革命军，还想‘改造’冯玉祥部……我们当时识别不出来。批准我们去北方工作，心里是高兴的。”
不久后，国民二军便在战斗中被击溃了，徐向前等几个山西老乡也不得不逃回了家里。
那天，在回到家里后，徐向前发现父亲不在家里，便问母亲他的父亲去哪了。母亲边抹眼泪边说：“又出门教书去了。去年欠收，几口人要吃要喝，全靠你大大呀！”
然而，想到儿子已经回来了，母亲的心里还是开心的。在安顿了徐向前后，母亲赶紧洗了手，口中念着“阿弥陀佛”，烧了香，拜了佛。这也是五台这个佛教圣地的人民十分常见的习俗
在家里，徐向前一直待了好多天。期间，徐向前想了许多，最终还是决定再到外面去参军。
那段时间，由于担心被人告密，徐向前与和他一起逃回来几个老乡白天都不敢出门，只在夜深人静的时候，才赶出来与他们通气。
好在，此时是冬天，寒冷的天气，让村子里的人早早地便在家里不出门了，不然，要是在夏天，人们会一直在外面待到午夜，甚至有人不知道什么时候就会出来。如果是那样，徐向前他们在夜间活动被人知晓的概率也就很大了。
一天晚上，徐向前来到以为一起逃回来的、曾在国民二军当军需官的老乡家里，准备和他商量事情。然而，到了他家里，徐向前才发现此人因为刚刚死里逃生，吓得大病不起，躺在床上哼哼唧唧连话都说不清楚。
后来，徐向前不得不到附近的村子里，找了其他的几个人商量。然而，刚刚经历过生死的他们，却无论如何也不愿意再去当兵了。
在这种情况下，徐向前只好一个人离开了老家，再次踏上了革命的道路。
关于这段往事，徐向前元帅在《历史的回顾》中，写道：
“我就一个人走了……在北京，住在老乡家里，打听南方的消息。当时全国形势很乱，让人理不出个头绪来。北方是军阀之间时而混战时而联合的场面，南方是国共两党又联合又斗争的场面，报纸上的消息一天一个样，甚至相互矛盾。有人劝我在北方的军阀部队里干，我婉言谢绝了。经天津到上海后，听说广东的国民革命军出师北伐，攻占了武汉，使我更加坚定了去找革命队伍的决心。”
11月，徐向前来到武汉。
在武汉，徐向前见到了蒋先云等黄埔军校的同学。从他们的口中，徐向前了解了许多信息。
不久后，徐向前便进入了正在筹建的中央军事政治学校武汉分校，担任了学兵团的指导员，后又被任命为武汉军校总队政治大队第一队队长，军衔为少校。
这所学校，也就是搬到武汉的一所黄埔军校，因此也被称为“第二黄埔”。中央军事政治学校武汉分校的校长仍然是北伐军总司令蒋介石，只不过是挂名的，平时也不管什么事，张治中为教育长。在军校里，还有不少共产党员。
此外，学校还办了女生队。后来成为了徐向前元帅夫人的黄杰，便是其中之一。对此，徐向前元帅的儿子说：“我的母亲也是黄埔军校的学员，毕业于武汉‘黄埔六期’女生队。”
1927年2月，中央军事政治学校武汉分校开学。那时候，徐向前既是队长，还是教员。
那时候，那些黄埔的至交好友经常找徐向前聊天，想到徐向前的薪水比别人多，大家便异口同声道：“队长请客！”
听了大家的话，一贯节俭省钱的徐向前也不推辞，而是高兴地答应了下来，说：“好嘛，好嘛，我请客！”
对此，徐向前的儿子说：
“他当一队的队长，那个时候工资还是很高的，这帮老乡时常聚一聚，我父亲虽然不是特别活跃，但是有钱买单。在那里，就听到了更多意见交锋，讨论中国前途到底怎么走……我父亲是在这个时候加入的共产党。”
