1937年7月7日，日军在北平（今北京）郊外的宛平城发动了“七七事变”（卢沟桥事变），由此全面抗战（八年抗战）正式打响。抗战初期全国各地抗日热情高涨，无论是国民政府的嫡系中央军，还是地方部队的桂军、川军、粤军、西北军、东北军、滇军等爱国将领和士兵，他们都在抛头颅洒热血。特别是淞沪会战期间，70万中国军队对战30万日本侵略军，打了整整3个月，期间真是壮怀激烈，慷慨激昂，多少壮士一去不复返，多少英雄血洒上海滩。还有忻口会战期间，国共两党也是精诚团结，一致对外，我军名将林彪在平型关更是一战摧毁了日军不可战胜的神话，极大地提振了全国军民的抗战士气。

然而，毕竟是国力悬殊，当时的抗日战争，就是农业国与工业国的对抗，面对武装到牙齿的日本侵略军，英勇的中国军民只得用血肉铸就新的长城，但是代价是显而易见的，往往是要付出几倍于日军的代价才能换的一场来之不易的胜利，如台儿庄大捷，国军虽歼灭日军2万余众，但自身伤亡远大于日军，这还是胜仗。淞沪会战，国军伤亡30万，也只不过换得日军4万人的伤亡，使得国军精锐为之一空。之后的南京保卫战（包括后来的南京大屠杀）、武汉会战的战役，国军的伤亡实在是令人痛心，真真是尸山血海的战争。即便如此，中国军队还是无法阻挡日军侵略的步伐，全面开战1年多，日军就占领了整个东部地区，国民政府只得西迁重庆，依靠大西南，坚持抗战。如此一来，处于东西部交界，又是重庆的屏障湖南的战略地位就开始凸显出来。

此后中日双方围绕着湖南的争夺展开了数次大战（四次长沙会战、常德保卫战、衡阳会战等）。1938年年底，国民政府在湖南衡阳召开了“第一次南岳军事会议”，周恩来和叶剑英也应邀参会，国共两党以民族大义为重，携手抗日。会上许多将领提到阵亡官兵多"暴尸战场，不能掩埋”，于是在会上达成了修建抗战公墓的决议，并责成第九战区司令长官兼湖南省政府主席薛岳将军主持，薛岳是一位爱兵如子的抗战名将，他非常重视这件事，薛岳将军仿照中山陵的样式，并取名“南岳忠烈祠”，在衡阳市南岳衡山香炉峰下方选址修建抗战公墓。

1940年9月10日，南岳忠烈祠正式破土动工。1943年7月7日，南岳忠烈祠举行了落成大典，薛岳将军在忠烈神位前恭读祭文，郑重宣布"抗战以来，各忠烈将士，即日入祠，岁时奉祀"，第一批入祠的将领有张自忠、郝梦麟、佟麟阁、赵登禹等三十八名。忠烈祠内还供奉了“抗日阵亡将士总神位”，忠烈祠内还分布着19座烈士墓葬，其中12座为个人墓，7座为集体墓，葬有抗日战争中二十二次正面大型作战，以及全国共计4万余次战斗所牺牲的将士，诚可谓青山有幸埋忠骨。

同盟会元老居正为忠烈祠撰写碑文，曰"盖闻尸裹马革，铜柱铭勋，死重豹皮，铁枪著节。丁国家多难之日，乃豪杰效命之秋。努力同心负兴亡，本匹夫有责;成仁取义死沙场，是男儿善终。宜乎!桓桓多士狂澜，捍八百里洞庭;耿耿孤忠捐命，救五千年华夏。作上游之保障，壮三楚之声威。忠魂毅魄，万古云霄，鬼雄国殇，千秋俎豆矣!兹者专祠建立，映山水而发幽光;绰楔标题，闻鼓鼙而思猛士。灵自冯而永式，云台图列宿之容;勋以懋而弥旌，麟阁绘精忠之象。从此丰碑宛在，群钦民族英雄;碧血长存，气壮山河颜色。铭曰:巍巍岘首，堕泪刊碑，旗常象魏，万事宏观。"