二战期间，日本陆军具有固定编制的最大战术单位是师团。在师团之上还有军、方面军、总军等编制，但是在师团之上的编制是战时临时组建，其编制并不固定。

二战中日本的军主要是执行战役任务，会根据战时不同的任务进行编组。因此，二战中日本的军相当于中国军队的集团军。日本的军通常下辖若干个师团、独立混成旅团及直属部队，军的司令官一般由中将担任，参谋长一般为陆军少将。

由于军是根据战时不同的任务而临时编组而成，各军的编制差别很大。如1941年日本关东军（方面军，1942年升格为总军）下辖的第二军和第六军，这两个军都只下辖1个师团、1个国境守备队，总兵力不足4万人；而在华中地区的日军第11军兵力最多时下辖9个师团、4个混成旅团以及直属山炮、高射炮、工兵等联队，总兵力约20多万人。

1938年日军第11军的编制：

司令官：冈村宁次（中将）

参谋长：吉本贞次（少将）

第6师团（师团长稻叶四郎）

第27师团（师团长本间雅晴）

第101师团（伊东政喜）

第106师团（松浦淳六郎）

波田支队（支队长波田重一）

1941年日军第11军的编制：

司令官：阿南惟几（中将）

参谋长：木下勇（少将）

第3师团（高桥多贺）

第6师团（神田正种）

第34师团（大贺茂）

第39师团（澄田赉四郎）

第40师团（青木成一）

独立混成第14旅团

独立混成第18旅团

整个抗日战争期间，日本先后组建了60多个军，参加过侵华战争的有20多个，到1945年日军投降时，日本还有52个军。