第二次鸦片战争后，清政府为镇压太平天国运动，大量采购西式武器武装清军。美国商人科尔嗅到商机，在上海虹口开办了一家旗记铁厂，可修造军舰、制造军火。然而其他洋人因租界内存在军工厂感到不安并强烈排斥，科尔不愿成为众矢之的，有意出售工厂。 此时恰逢李鸿章有意建厂仿制西式武器。旗记铁厂不仅具备武器制造能力，且规模在上海滩首屈一指，他自然不愿错过机会，遂与科尔接洽表达收购意向。但因科尔要价过高，此事暂被搁置。 不久，在江海关任职的唐国华、张灿、秦吉等因罪被革职收监。经总税务司赫德求情，苏松太道丁日昌准许几人凑足四万两白银买下旗记铁厂献给朝廷，成立江南制造总局，以"报效军需赎罪"。 此前李鸿章已通过英国人马格里开办上海洋炮局，后扩建为苏州洋炮局，拥有了一家可制造西式武器的军工厂。但江南制造总局规模更大、产品更全。李鸿章更为青睐，遂将苏州洋炮局部分并入以扩大规模。后曾国藩委派容闳从美国购回的百余部机器运抵上海，也全部拨给江南制造总局，使其生产能力进一步提升。 随着产能增长，原旗记铁厂已不敷使用。李鸿章在高昌庙另购地皮为江南制造总局新建厂房。扩建后的总局陆续建成机器制造、木工、铸铜、打铁、修船、火炮、步枪、火箭、锅炉等十余个分厂，拥有工人2800余名，成为晚清最大的军工企业之一。