1954年，卫立煌当时避居香港，因为担心毛人凤派特务暗杀他，一直都隐姓埋名的生活，令这位曾经“辉煌”过的国民党高级将领深感憋屈。
不受重用其实说句公道话，卫立煌还是一个有本事的人，至少在国民党高级将领的行列中，肯定能算得上一号人物。这一点卫立煌在北伐战争、抗日战争，以及远征缅甸期间都证明过自己，早年间跟随孙中山先生革命，也可以表明他当年参军之初的革命意愿。
但卫立煌空有一身本事，却始终不受蒋介石重用。一来是蒋介石任人唯亲，卫立煌既不是黄埔系，也不是蒋介石的老乡，基本被排除了成为蒋介石嫡系的可能性。二来是卫立煌在抗日战争期间，曾经对八路军给予过很大的帮助，不仅给配发了百万子弹和数十万手榴弹，还给了一百多箱牛肉罐头。
当时虽然处于国共合作时期，但蒋介石根本不是真心合作，这一点国民党高级将领们全都心知肚明。在这样的情况下，卫立煌的举动就被很多有心人抓住了话柄，纷纷向蒋介石私下告状，称卫立煌可能“通共”。
蒋介石就此事质问过卫立煌，卫立煌听了这话以后非常恼火。他认为自己此举完全没问题，何谈通共？其一，八路军当时编在卫立煌的第14集团军麾下，卫立煌给八路军配发的军需物资标准，与麾下其他部队完全一致，根本没有任何偏私的情况。
其二，当时抗日战争的局势并不好，中国军队在抗日前线接连遭遇挫折。面对日军的猛烈攻势，八路军却总能寻找到合适的战机歼敌，捷报频传。卫立煌认为八路军抗日有功，因此多给八路军一些物资，这种犒劳的标准也与麾下其他部队没有任何差别，他实在搞不明白，这怎么就“通共”了？
卫立煌所言句句在理，却难以消除蒋介石对他的怀疑。抗日战争时期还好，但解放战争打响以后，蒋介石可不敢重用卫立煌，于是找个借口让他去美国考察，实际上是撤了他的兵权。卫立煌对蒋介石如此安排自然不满，但也无可奈何，好在他本来也不愿意打内战，也算是落得个清闲自在。
结果，蒋介石的心腹爱将们对他的忠心有余，但能力不足。平日里耀武扬威还看不出什么，一旦要打硬仗的时候，陈诚、刘峙这些人根本顶不上去。短短一年多时间，国民党军原本在东北的大好局势尽失不说，甚至发展到连站稳脚跟都困难的程度。
这个时候蒋介石着急了，环顾四周却发现无人可用，这才又想起了卫立煌。蒋介石派人安排专机将弃用的卫立煌又给接了回来，与之前的态度判若两人，这次蒋介石表现出充分的诚意，甚至将卫立煌吹捧为承载“党国未来”的关键人物。
卫立煌久居高位，自然明白此时的东北局势不妙，否则蒋介石也不会如此低三下四的求自己。卫立煌不想去，但因为深知蒋介石为人，若公然拒绝蒋介石，恐怕结局难料。于是，半推半就之下，卫立煌顺了蒋介石的意愿，出任了东北“剿匪”总司令一职，蒋介石也向他承诺，即便失败也不让卫立煌担责。
避居香港卫立煌本来打算上任后虚与委蛇，应付了事。但他怎么也没想到，东北的局势竟然糟糕到如此地步。面对我军的猛烈攻势，国民党军内部的腐败不堪，东北全面解放几乎是板上钉钉的事情。卫立煌自知无力回天，终于明白蒋介石的承诺就是个幌子，此时让陈诚等人撤走，丢东北的锅最后肯定是他来背。
卫立煌看清楚这个情况，也就不再抱有侥幸心理，直接乘飞机开溜。没想到抵达广州准备去香港时，被毛人凤的特务发现，给押往南京软禁起来。为了自保，卫立煌将自己当年与朱德和毛主席的合影、信件全都烧毁，但这样做虽然能暂时保住命，却始终没办法脱身。
仿佛是心有灵犀，我军此时突然发布一份战犯名单，卫立煌的名字被列其中，从侧面减轻了卫立煌“通共”的嫌疑。随后，蒋介石又通电下野，让卫立煌的软禁出现松动，这才寻找到合适机会逃往香港避居。
卫立煌抵达香港以后，本以为暂时安全，却没想到突然接到消息，滇军出身的老友杨杰，在香港遭到国民党特务的暗杀。卫立煌立刻意识到，自己也不安全，于是行事更加低调。
据一直与卫立煌在香港生活的副官柴生春回忆，卫立煌在香港生活期间十分焦虑，经常冒险给自己昔日的老部下通信，劝他们弃暗投明。例如当时在贵州的老部下陈铁，就是听了卫立煌的劝说，这才得以起义成功，避免被捆绑在蒋介石的反动战车上一起灭亡。
重返大陆令副官柴生春印象最深的一幕，要数抗美援朝爆发的时候，卫立煌当时接到消息十分兴奋。因为他当年就率部远征过缅甸，如今见到志愿军不惧美军入朝作战，坚决抗击美国侵略者，顿时觉得中华有望，毛主席要比蒋介石更有远见和魄力。
当时与卫立煌有一样想法的昔日国民党高级将领有很多，杜聿明也是其中一员，他听闻志愿军入朝作战，主动给志愿军炒军粮，传为一时佳话。傅作义和张治中等起义将领，也纷纷发文表明立场，公开支持志愿军入朝作战。
这样的消息令卫立煌感到十分振奋，恨不得自己立刻回大陆参与其中。但同时卫立煌看报时也发现一些让他愤怒的消息，有些无良媒体故意抹黑，说傅作义和张治中是被迫表态。卫立煌愤怒至极，不由自主的说了一句气话，“我也要发表和张治中一样的意见，我奉谁的命？”
这句话被我军的特工知晓后，上报给周总理，周总理闻言，甚至此时若能得到卫立煌的支持，对我军的形势将有很大好处。于是，周总理马上安排人将卫立煌保护起来，接到北京后亲自迎接。时隔多年终于完成了卫立煌想回归大陆的夙愿，再也不用隐姓埋名，终于可以光明正大的生活了！
