在南北朝时期，朝代常因为军权流入权臣手中而更替。南朝的军事制度大至延续两晋兵制，然而世兵制衰落，所以以募兵制为主。北朝在军事制度方面，在北魏初期采行兵民合一的部族兵制，统一华北后逐渐成为世兵制。北朝后期出现府兵制，成为隋唐兵制的基础。但西魏、北周的府兵制并不是如同隋唐府兵制：平时为民，战时为兵；兵不识将，将不知兵，而是鲜卑兵制，是部酋分属制，是兵农分离制，是特殊贵族制。

南朝兵种以步兵和水军为主，骑兵较少。兵源原本来自世兵制。但是因为战争的消耗、士兵的逃亡和被私家分割，部分兵户变为民户，兵源趋于枯竭，于是改以募兵制为主。南朝军队区分为中军（亦称台军）及外军。中军直属中央，平时驻守京城，有事出征。在刘宋时，宋武帝刘裕加强皇宫兵力，以图扭转东晋以来外强内弱的局面。然而，由于宗室自相残杀而失败，历朝屡次有篡位之事发生。外军则归各地都督管制。都督多兼刺史，而且常与中央抗衡。

北朝方面，北魏军队在初期以鲜卑骑兵为主力，其补给是由各部自行掠取。在统一华北过程中，汉族逐渐加入军队。当攻城战增加后变为步、骑兵混合。之后步兵成为主力兵种。北魏统一华北后，军队分为中军、镇戍兵和州郡兵。中军在平时守卫京城，有事则成为对外作战的主力。镇戍兵是为保卫边防而设置的。镇相当于州、戍相当于郡。初时仅设于北部边境，后来扩展到南部边境。州郡兵，是维持诸州治安的军队，有时也充作镇戍兵或是随军出征。北魏后期也逐渐形成固定的兵户。

东魏和北齐的军队主要由六镇镇民和洛阳的鲜卑兵所组成，在北齐时又编成“百保鲜卑”。另外，也选汉族勇士来防备边界。西魏和北周受到鲜卑传统和汉文化的影响，于550年创立府兵制。该制度将迁至关中的六镇军民编成六军，并设立八位柱国大将军。西魏权臣宇文泰为最高统帅，西魏广陵王元欣无实权，其他六个柱国则分领府兵，各督署2大将军。北周时又扩增柱国人数，并将兵权集中在皇帝手中。但此时府兵制不同于隋唐府兵制，他们仍然是职业兵，宇文泰将府兵将领（及其士卒）改从鲜卑姓，并使之与土地结合。组成一支隶籍关中、职业为军人、民族为胡人、组织为部落式的强大的军队。且府兵虽为主力，但仍有守卫京师的中军、地方的镇戍兵及州郡兵等其他军队。而且世家豪族势力强大，大都拥有实力不弱的私兵。