民国以前，东北地区根本无舰队可言。辛亥革命爆发以后，东北地区逐渐被张作霖奉系所掌控，作为起于草莽的陆军军官，张作霖对海军建设长期没有任何概念，直到第一次直奉战争中遭到直系军阀舰队的攻击才开始萌生筹建东北海军的想法。

第一次直奉战争惨败，下决心整军经武

1922年4月，直系、奉系为争夺地盘和北京政府的控制权，矛盾不断激化，终于兵戎相见。短短6天时间内，奉系大败，伤亡惨重,“士兵死于炮火之下者约2万人，战伤及逃亡者约1万以上”,“其被围缴械者竟近4万人”，此后直系军阀独自控制了北京政权。而张作霖干脆于5月12日以奉军总司令的名义宣布东三省“独立”，并将东三省巡阅使署与奉天督军署合并，组成东三省保安司令部，与北京政权分庭抗礼。

尽管奉系军阀“联省自治”的割据局面形成，但其在第一次直奉战争中的惨败场景，让张作霖深刻认识到，绿林式的奉军旧式武装,官兵愚昧无知,缺乏训练，必须进行整顿和重建。于是，张作霖于1922年7月22日在奉天设立东三省陆军整理处，作为“整军经武”的最高执行机关，对东三省部队进行全面整训，裁汰出身草莽的旧军官，大量起用东北讲武堂等正规军校毕业的年轻军官，严格训练、补充装备，使得奉军战斗力大大增强。

秦皇岛遭遇舰炮轰击，决心建立东北海军

昔日奉军惨败之时，张作霖携高级将领乘火车仓皇撤退, 途径秦皇岛时，直系海军舰队“堵截奉系归路”，遭到“海筹、海容等舰的猛烈炮击”，虽然张作霖侥幸逃回了山海关内，但京奉路山海关内外的奉军,却完全暴露在直军舰艇大炮的射程之下，被动挨打，进退为谷,毫无还击之力。当时，张作霖深感无海军之苦，后悔当初未把海军放在眼里，以致遭此惨败。

同时，东北地方治安混乱，黑龙江、松花江常有水匪岀 没，“专在海面上劫夺轮船上的行旅、船货”。东北江防虽有吉黑江防舰队在江面上巡逻和防卫，但舰队船只破旧，配备残缺，武器装备落后,只能勉强维持，故此根本无法保障商船的安全。同时，北面的苏俄刚刚经历内战，大批白匪被红军追击下涌入了中国东北地区，在黑龙江、乌苏里江、松花江流域骚扰劫掠，为祸甚烈,为了整治江上治安，防俄剿匪，张作霖决定借此番整军经武，建立自己的海军，控制海上主动权,也增强与直系军阀较量时的对抗实力。

从无到有，东北海军成为民国时期第一

1922年8月，成立东三省航警处，作为直属于东三省保安总司令部 的八大处之一，下设总务、海事、军需等科，以陆海军人员联合组成,筹建海军事宜。1923年1月，奉系“在奉天省锦西葫芦岛创设航警学校，专门训练初级海军军官和士兵。1923年7月，奉系于奉天省城设江海防总指挥部，开始购买军舰,始建海防舰队。

东北海军在初创时期只有江防舰队，而且势力远不及其他军阀。当时“直系占35艘军舰，孙（传芳）系11艘，段（祺瑞）系5艘，奉系4艘”。可见奉系当时仅有收归后的几艘江防舰艇，其海军实力薄弱。 但东北海军发展却迅速,在不到4年的时间里，就已“拥有大小船只21艘,约32200余吨，战当时全国海军总吨位的7/10,成为当时全国最为强大的海军，其实力在军阀中占有绝对的优势。