中山国的前身是北方狄（白狄）鲜虞[xiān yú]部落，最早活动在陕北一带，后转移到太行山区。春秋早期，鲜虞联合肥、鼓、仇由等部族攻邢侵卫，邢国国君出逃、卫国国君被杀。春秋首霸齐桓公以“尊王攘夷”为旗号，团结宋、曹、邢、卫等诸侯国挫败鲜虞，有效巩固了东周王朝的北方疆域。

春秋中后，晋国成了鲜虞的主要敌人，晋国采用逐步蚕食的方式进攻鲜虞，鲜虞也对晋国展开反击。中山一词首见《左传》“水潦方降，疾症方起，中山不服。弃盟取怨，无损于楚，而失中山。不如辞蔡侯”。公元前507年，鲜虞在平中大败晋军，俘虏了晋国将军观虎，晋国深以为耻。公元前506年，鲜虞人在中山城（今河北省唐县西北粟山）建国，因城中有山，故名“中山”，这便是中山国的最早来历。

公元前457年，受赵襄子之命，晋国将领新稚穆子伐中山，一日下两城，一雪前耻，中山国遭到重创。

公元前453年，韩、赵、魏三家分晋，晋国公室再无力组织军队攻打中山，中山国得到了喘息，趁着晋国内乱开始向东扩张领土。公元前414年，中山武公带领族人向平原迁徙，重建中山国，建都于顾（今河北省定州市）。

公元前406年，魏文侯派乐羊、吴起统帅军队袭击顾邑，占领中山国，中山残余势力退守太行山中，中山国第一次亡国。

公元前380年，中山桓公经过20多年的励精图治终于复国，建都灵寿（今河北省平山县三汲乡），一下子把赵国领土切割为了两半，导致南北不能相顾，中山国成了赵国心腹之患。中山王舋在位时期，中山国的综合国力达到鼎盛，成为仅次于战国七雄的“千乘之国”。

公元前323年，犀首公孙衍发起五国相王（韩、赵、魏、燕、中山），中山王舋乘机称王，中山国开始活跃在战国的“舞台上”。

公元前314年，中山王舋乘燕国“之子之乱”、齐国侵略燕国之机，派相邦司马赒伐燕，破城数十，克敌大邦，扩地百里，战利品无数，该历史事件有出土的铁足大鼎和夔龙纹方壶铭文可佐证。自此，中山国和燕国结仇，这为后来燕赵联军攻灭中山、迁其重器、绝其祭祀埋下了伏笔。

赵武灵王“胡服骑射”改革后，赵国军事实力大增，开始频繁对中山国用兵、攻城掠地，中山国陷入被动防御，丢失了大片土地。公元前301年，燕赵二十万联军攻破中山国都城灵寿，中山王（左妾右子）（上次下虫）逃亡，赵国立中山王尚，实为傀儡。公元前296年，赵武灵王废中山王尚，将其迁徙肤施（陕西延安），中山国彻底灭亡。