1881年唐胥铁路建成，同年9月6日“龙号”机车开始试运行，为维修和保养“龙号”机车，1882年开平矿务局组建开平矿务局修车场，之后修车场从开平矿务局分离，改为专门从事机车运用与维护工作的唐山车房，这是唐山机务段的早期雏形。

铁路向东延伸至古冶后，1923年古冶兴建机车房，1925年古冶车房落成并投入使用，唐山车房大部分人员和设备分到古冶车房。

1937年七七事变后，古冶车房改称古冶机务段。抗日战争时期，古冶机务段为日本人管辖，1945年抗战胜利后，又被国民党政府所接管。1948年唐山和平解放，古冶机务段回到党和人民的怀抱。新中国成立后，古冶机务段的铁路工人继承发扬龙号机车精神，创造了辉煌的业绩。

上世纪70年代，唐山机务段派出36名同志支援坦赞铁路建设，受到坦赞两国政府的高度评价。1976年唐山大地震，机务段生产生活设施严重被毁，但震后8天就露天完成震后第一台洗修机车，被国务院授予“全国抗震救灾先进单位”称号。1987年，东风4型223号内燃机车配属该段，1998年最后一台蒸汽机车退出现役，实现了机车动能全部内燃化。

1994年11月10日，受京山铁路压煤改线工程影响，古冶机务段搬至唐山现址，更名为唐山机务段。经过5年苦干，建成花园式机务段。2004年11月，丰润机务段并入唐山机务段，在职工人数、车间班组数、机车数、运输量等方面基本增加了一倍。此后，唐山机务段不断发展，在安全、质量、经营、企业文化建设等方面取得优异成绩，成为北京局集团公司最大的货运机务段。

近年来，唐山机务段深入落实打赢蓝天保卫战、公转铁以及京津冀协同发展，聚焦“交通强国、铁路先行”，高质量完成了唐包线单元万吨列车开行、京唐京滨城际开通运营等重大运输任务，见证了中国铁路的飞速发展。