“北洋”一词刚开始为地域概念，鸦片战争之前，经世学者包世臣在《海运南漕议》中说：“出吴淞口，迤南由浙及闽、粤，皆为南洋；迤北由通海、山东、直隶及关东，皆为北洋……北洋多沙碛，水浅礁硬，非沙船不行。”“北洋”成为政治概念则是第二次鸦片战争之后，清政府根据对外交涉的需要设立了南北洋通商大臣。第二次鸦片战争时签订了《天津条约》，其中规定天津、牛庄、登州三处为通商口岸，因此，北洋通商大臣被称为三口通商大臣，简称北洋大臣，北洋大臣设在天津。

北洋大臣的职权为：“掌北洋洋务、海防之政令，凡津海、东海、山海各关政悉统治焉……凡招商之务，则设局派员以经理之，其安设各路电线亦如之”。从1861年至1869年，北洋大臣一直由满洲贵族崇厚担任。1870年，淮军首领李鸿章任直隶总督，北洋大臣的职权由直隶总督兼任。也就是从这时候起，北洋大臣由直隶总督兼任。直隶总督兼北洋大臣的权力很大，其管辖的范围除了直隶的事务之外，还涉及山东、通商、外交等事务。也正因为如此，才出现了以北洋开头的术语，如北洋水师、北洋武备学堂、北洋官报等。由于李鸿章长期担任直隶总督兼北洋大臣，从而形成了以李鸿章为首的“北洋”势力。

李鸿章死后，袁世凯于1901年继任直隶总督兼北洋大臣。袁世凯靠天津小站编练新军起家，以此为基础，袁世凯利用自己手中的权力编练成了六镇的北洋常备军。北洋常备军的大多数将领都是从小站练兵时就跟随袁世凯的，有不少的将领都毕业于北洋武备学堂。袁世凯继承了李鸿章的衣钵，最终超越了李鸿章，形成了以袁世凯为首的更大势力的北洋军事集团，我们也称之为北洋军阀。