事实上，白俄人能够扎根中国的，主要原因是他们中的许多人都有着军人的身份。前文中提到的万国商团中，他们是主力，这也使他们中的一些人得到了较为优厚的报酬。而在东北哈尔滨等地大批滞留的白俄得此消息，也纷纷南下到上海谋生，致使上海的白俄达一万三千五百多人。
在随后的“四·一二”反革命大屠杀中，“白俄义勇队”又追随帝国主义势力，帮助蒋介石搜捕和屠杀工人及革命者。为奖赏白俄在上海万国商团的“卓著表现”，蒋介石政府和租界当局准许他们成为上海的合法市民；还把没收的俄国三色国旗作为一种荣誉交还他们，作为万国商团俄国联队的队旗。而带领他们中的一些人到来的格列博夫也成为上海俄侨界的主要代表人物之一。从此，他们在上海站稳了脚跟。
1929年，中国和苏联在东北边境发生武装冲突，在哈尔滨的白俄又有一千三百多人南下进入上海。到1930年代，上海俄侨总数为1.5万到2万人。1934年，法租界有俄侨8260人。（公共租界1935年有俄侨3017人），使上海成为除哈尔滨以外一个重要的俄国人聚居地，同时也构成了上海人数最多的白种人群体。
军人的经历和身份成了白俄人生存下去的一项技能，也让他们卷入了当时中国的军阀混战。张宗昌，字效坤，奉系军阀头目之一，山东省掖县（今山东莱州）人。1899年，应招到中东铁路当筑路工。在这期间，他当过装卸工，干过扳道工，由于身材高大，勇于干重活，宽厚大度，重义轻利，所以在工人当中很有威信，也逐渐得到俄国人的青睐。并且学会说一口流利而又发音准确的俄语，为人也挺仗义的。所有的华人警察都听命于他，华人在那里大小事情都会找他，连俄国人也让他三分。后前往西伯利亚淘金充任总工头。在金矿任总工头时，不仅学得一手颇为出色的淘金技术，而且把自己锻炼成为一个出众的射杀猛兽猎手，锻炼出了极准的枪法。
1911年，张宗昌只身从戎，武昌起义后，亲率百余人投山东民军都督胡瑛，任光复军骑兵独立团团长。1913年7月，投靠冯国璋，先后任江苏陆军军官教育团监理、江苏将军公署副官长、总统府侍从武官长。后改任江苏暂编第一师师长。率部进攻护法军，任第二路总指挥。1920年兵败，所部被解散。1921年至奉天张作霖处，任宪兵营营长。
1922年，张作霖的奉军与直系军阀大战，战败退出山海关。张作霖不甘失败，回到东北舔伤口，整军经武，伺机卷土重来。不久，吉林军旅长高士傧联合胡匪卢永贵，要和张作霖作战。当时张作霖刚在直奉战争中战败，无大兵可派，便决定派张宗昌率宪兵营去应战。本来这是一场实力悬殊的较量，但张宗昌的部队里数十门炮，战斗一开始就让高士傧和卢永贵的军队在炮声里乱了阵脚。随后，张宗昌用家乡话朝对方高喊：“我是张宗昌！山东人不打山东人！”由于卢永贵手下的大小头目，很多都是和张宗昌当年一起闯关东的同乡，此外还有不少山东老乡，听了张宗昌的话直接选择倒戈投降。
张作霖大喜过望，提拔张宗昌为混成旅旅长，镇守使。张宗昌把高士傧和卢永贵收编成三个团，之后开始招兵买马，而天上在这时也向他掉下了一块馅饼。格里戈里·米哈伊洛维奇·谢苗诺夫，1890年－1946年，1917年至1920年间为贝加尔湖地区白俄首领。此时，谢苗诺夫的带领下白俄军队已被苏俄红军打败，逃窜到东北地区，走投无路，听说张宗昌招兵，便来投奔。谢苗诺夫告诉张宗昌，自己的部队疲惫不堪，无饷无粮，已是山穷水尽，务请张宗昌收留，“当效犬马之劳”。
张宗昌喜出望外，欣喜地收编了谢苗诺夫领导的白俄散兵，这些人除极少部分“自愿退伍”，其余5000人都均张宗昌纳入其部，并得到步枪6000多支，机枪、大炮、弹药若干，使得张宗昌已有近万人马。据说，张宗昌对于白俄兵十分优待，发给他们比中国士兵多出两倍的军饷，从不拖欠，还特意为他们黄油和伏特加酒。而白俄兵也对张宗昌十分效忠。
1924年第二次直奉大战爆发，张作霖挥师南下，张宗昌和他的白俄军团充当急先锋。奉军在进攻山海关时久攻不下，张宗昌派出了白俄军团从侧翼猛攻直军阵地。直军士兵看到这些人高马大，提着酒瓶子打仗的老毛子，个个目瞪口呆，自乱阵脚。白俄军一路势如破竹，攻占了山东、江苏等地，一直打到了上海。
1925年4月，张宗昌从徐州率大队人马进入山东，出任山东省军务督办。接着，张宗昌又武力逼走省主席龚伯衡，自兼省主席。由此，支配山东省。白俄军就这样参与了中国当时的军阀混战。不过就在当年，白俄军遇到一个强劲的对手，那就是受到他们的同胞训练北伐军。北伐军使张宗昌的军队节节败退，而且由于张宗昌军队中的中国士兵哗变，白俄军见大势已去，只好向傅作义缴械，随后被解散。
在新疆的白俄军也受到了金树仁的重视。1928年7月7日，新疆省军务厅长兼交涉署署长樊耀南，在俄文法政专门学校毕业典礼的宴会上发动政变，刺死新疆省主席杨增新，闯入省署，企图控制新疆政局。金树仁迅即召集军务科长张培元、讲武堂教官冯梁等率军包围省署，敉平了樊耀南政变，并于当晚将樊处决。
7月8日，金树仁以民政厅长兼新疆省临时主席、总司令的名义，致电南京国民政府报告平叛经过，强调边情紧急，自己正在统率军民极力维持，意在促使国民政府早日明令他执掌省政。同时，他还通电各镇道说明政变经过，并且说他已经控制全局，促使各地文武官员予以承认。
金树仁的平乱通电发出后，立即得到喀什、哈密、阿山、伊犁各重要地区文武官员及蒙、哈、回各王公的拥戴，并由各王公联名电请南京国民政府，任命金树仁为新疆省政府主席兼总司令。南京国民政府虽有意统制新疆，但是鞭长莫及，乃于8月20日以金树仁平乱有功，任命他为新疆省政府主席，但迟迟不授其军职。直至1932年秋，才任命金树仁兼边防督办。
金树仁上台后，开始大肆扩充军队，并迅速将目光投向了白俄军，先后召收了三个团的白俄骑兵，称他们为归化军骑兵第一团、第二团、第三团，这三个团大约有4000人，相当于一个师的建制。金树仁很关照他们，像张宗昌一样也发给这些白俄军多于中国士兵两倍的薪水，使他们在阻止马仲英进入新疆的战斗中发挥了至关重要的作用。
马仲英（约1911年—？），原名马步英，字子才。甘肃河州（今临夏）人。回族。军官出身。1931年的新疆处于战乱之中，上台不久的金树仁难以威抚新疆，新疆各地反金力量不断起事，反金力量的主力是哈密农民起义军，这支武装的头目是参加过早年铁木耳起义的和加尼牙孜，哈密王和担任哈密警备旅长的尧乐博斯暗中支持他，哈密王为了取得内地中央政府的支持，暗中派遣尧乐博斯赴南京请愿，尧乐博斯在去南京的途中于酒泉见到马仲英，两人相谈很是投机。马仲英和尧乐博斯商议后决定一起入新，共同推翻金树仁的政权。
1931年初夏，马仲英诈称“奉命出关”“兴师援哈”，扬言在“三个月内打败金树仁”。5月19日，他们从肃州（今酒泉）整装出发，号称3个纵队，每个纵队各有司令1人。实际上战斗人员仅有400多人，枪支仅90余支，连同家属、勤杂人员也不过500多人。号称新疆“省军模范”的张培元部，在还没有与马仲英接正式火时，就被吓得不知所措，一些士兵甚至骑马从戈壁地里溜走，不知所踪。幸好被2000多人的归化军在后压阵，才没有使马仲英得手。
1933年1月，天寒地冻，马仲英亲率主力3000人由酒泉出发，第二次进入新疆。在他出发之前先期抵达的马世明和马全禄已经和和加尼牙孜一起，将战火燃遍整个东疆，其中马全禄部在1932年末进抵迪化（今乌鲁木齐）附近的南山。当时盛世才正督率省军在鄯善和吐鲁番一带和马世明、和加尼牙孜缠斗，因而迪化兵力空虚，城内一片恐慌。金树仁慌忙成立警备司令部，自己亲自披挂上阵任司令，又成立城防指挥部统一指挥，“保卫迪化”。
这在今天的一些史料里被称为“迪化保卫战”。当年1月25日，马仲英经星星峡向哈密进军，其部属马全禄指挥精锐骑兵突袭省军，省军堵截部队大败，仅有百人生还。消息传到迪化，全城震动，1月29日，迪化关闭大部分城门，仅留东门一处进出。同时金树仁命商团荷枪实弹守卫城池，迪化所有店铺关门歇业，邮政业务也随之停止，“风声鹤唳，一夕数惊”。当时，迪化城内仅有省军700余和归化军300多人，但因为归化军装备精良，使马全禄未能破城，迪化城内躲过了一场洗劫。
因为“保卫迪化”有功，归化军开始插手新疆政务，他们于1933年4月12日，在迪化和东北抗日义勇军旧部一起反叛金树仁，金树仁仓惶逃离省城，手握重兵的盛世才回师迪化，被各方推举为新疆临时边防督办。这就是新疆历史上的“四·一二”事变。盛世才掌权后，开始排除排除异己，很快就让白俄的头面人物格米林肯和“巴团长”失踪了，随后对归化军中那些对自己不利的人大开杀戮。这在归化军中起到了一定的震慑作用，使得他们不敢对政事指手画脚了。
盛世才虽然让归化军的一些首脑消失了，但他还是十分重视归化军本身还是十分重视的。至民国后期，他们中除一小部分返回苏联外，大多数留在了新疆，主要居住在伊犁、塔城、迪化等地，被称为“归化族”，居住的村庄也被称为“归化村”。在随后的岁月里，他们和生活在中国其他地方的白俄难民后裔一起，逐渐被纳入中华民族的怀抱。今天，很容易被人们忽略的是，早在他们之前，就有俄罗斯人来到中国，这些人到中国走的正是历史上的茶叶之路。
以上海为例子，俄罗斯人在上海形成自己的社区比其他侨民要晚得多。沙俄时代，俄国在上海的势力较小。甲午战争以前，俄国的对华贸易仅有砖茶一项较为重要，在长江中游的汉口开设了三大洋行，经营收购和压制砖茶的业务。然后经水路运往天津，再经过张家口、库伦运抵俄国。虽然上海极少有俄国人定居，但它却是俄国商人的必经之处，由汉口到上海、天冿，再走上库张大道。
直到19世纪末，俄罗斯帝国政府发现日本准备觊觎辽东半岛，开始将经营重点转向满洲，因此中国与北方邻国之间的贸易额猛然剧增。海参崴与上海之间开通了定期轮船航线之后，俄国茶叶商人立刻开始定居在上海这个中国的商业中心。至1905年，大约有350名俄国侨民在上海公共租界定居。为了保护他们的利益，在1896年开设了俄国驻上海领事馆。至1915年有402人，多数住在公共租界苏州河以北的提篮桥地段（又名汇山，Wayside），住在法租界的只有41人。
今天，1896年开设的俄国驻上海领事馆的古老建筑仍然为俄罗斯驻上海领事馆所使用，是外滩地区一座规模较小的建筑物。历史往往是这样的，一个人或者一个群体、一个民族，从哪里来人们都能说清楚，但要到哪里去却未必。有多少人在路上，让他乡成了故乡，就像中国宋代大词人苏轼说的：此心安处是吾乡。
