日本陆军师承德国第二帝国，与北洋陆军的建制是一样的。
第二帝国的陆军以师作为战略单位，每师1.8万人，其中步兵1.2万人，其他兵种约6千人。而袁世凯创立的北洋陆军，为了节省军费，把其他兵种的兵额也放在步兵人数的编制之内，所以一个满师才1.2万，小于西方一个师的编制。
日军的一个师团，最初完全仿制德国一个师的编制，约1.8万人。但是后来随着战事的变化，作了多次改动，有的扩大，有的缩小，分为很多等级。
抗战中期，随着正面和敌后两个战场的展开，日军为适应不同战斗规模的需要，把师团分为甲、乙、丙、丁四种等级：
（1）甲种师团：又称挽马师团，辖2旅团（每旅团2个步兵联队），工、骑、炮、镏各一联队，共8个联队，加上一师团部、两旅团部的非战斗人员共28200人。
（2）乙种师团：又称驮马师团，由于后期马匹不足，在甲种师团的标准上压缩了骑兵联队，改为大队（个别不设骑兵）。辖2旅团（每旅团2个步兵联队），工、炮、镏各一联队，共7个联队，加上一师团部、两旅团部的非战斗人员共24400人。
（3）丙种师团：由混成旅团扩编，辖3个步兵联队，工、炮各一联队，一般有5个联队，加上师团部的非战斗人员约15500人。
（4）丁种师团：也是由混成旅团扩编，只辖3个步兵联队，其他兵种只有大队或中队编制，约11000人。由于机动灵活，主要用于扫荡八路军的华北根据地。
（5）独立混成旅团：与师团一样是独立的战略单位，一般有2-3个步兵联队，其他兵种的人数比丁种师团还少，大约有6000-8000人。承担辅助的战略任务。
1937年以前，日本全国只有20个师团，1-20师团的是老部队，后来多数成为甲种师团，每师团番号的数字加100，即101-120的师团分别是他们的预备役师团，编制与老师团完全相同，但是由于后期马匹不足，多数建成乙种师团，也是战斗力很强的部队。
21-100之间的师团是抗战之后陆续增加的，有的由独立混成旅团扩编，有的是新兵，属乙或丙或丁种，没有一定的规律。
（二）
日军的基本单位是师团，它有多种编制。在抗战爆发时，日军有十七个常设师团是日军的常备军，番号依次为近卫、一至二十（内欠十三、十五、十七、十八师团）。编制为四单位制，即师团下辖二个旅团，旅团下辖二个步兵联队，步兵联队辖有三个步兵大队，大队下辖四个步兵中队、一个机熗中队（八挺重机熗）、一个大队炮小队（二门70mm步兵炮），步兵中队辖三个步兵小队，小队辖一个机熗组（二挺轻机熗）、一个掷弹筒组（二个掷弹筒）和二个步熗组。师团还辖有一个炮兵联队、一个辎重联队、一个工兵联队、一个骑兵联队（四个骑兵中队与一个机熗中队）以及其他部队。此时的师团分为两种，一是驮马制，炮兵联队辖有四个大队（三十六门75mm山炮与十二门75mm野炮），步兵联队辖有一个联队炮中队（四门山炮）、一个步兵炮中队（四门步兵炮），总编制为28500人。一是挽马制，炮兵联队有三十六门野炮与十二门120mm榴弹炮，步兵联队辖有一个联队炮中队与一个速射炮中队（37mm速射炮四门），总编制为25000人。此外还有以下一些独立的特种兵部队：骑兵旅团（辖二个骑兵联队与一个骑炮兵联队、一个装甲车队）、坦克联队、独立工兵联队、独立野炮联队（三十六门120mm榴弹炮与十二门75mm野炮）、独立野战重炮兵联队（二十四门150mm重榴弹炮）、野战重炮兵联队（十六门100mm加农炮）、独立重炮兵大队（八门150mm加农炮）、迫击炮大队（中型迫击炮三十六门）、独立山炮兵联队、电讯联队、铁道联队等等。
抗战爆发后，日军又重新组建了十三、十八两个新编常设师团，又组建了一批特设师团。所谓的特设师团是指由常设师团的预备役人员所组成的部队，其番号为常设师团、联队的番号前加一百。其编制大体与常设师团相同，只是骑兵联队变为骑兵大队（二个骑兵中队与一个机熗小队），挽马制师团的炮兵联队为三十六门野炮与十二门山炮。特设的驮马制师团人数为28200人、挽马制为24400人。同时在做战时日军给各师团配属特种兵及补充人员等，可使一个师团指挥的人马达四万人以上。
在侵华战争中，由于作战消耗，同时日军感到四联队制师团行动不便，又搞出了三单位制师团与独立混成旅团两种编制。三单位制师团的编制为师下辖一个步兵团，步兵团下辖三个步兵联队，联队下辖三个步兵大队与一个步兵炮中队（四门步兵炮）。步兵大队无大队炮小队，炮兵联队为二十四门山炮或野炮，骑兵联队改为搜索联队，其他如辎重、工兵等后勤部队也大为减少，编制人数为12800人。独立混成旅团辖五个步兵大队与一个炮兵队、通讯队、工兵队、辎重队等，总人数约5000人。步兵大队辖三个步兵中队与一个机熗中队（四挺重机熗）、炮兵队辖一个山炮中队与二个野炮中队。这两种部队都是主要做为守备用途的，同时具有小规模的野战能力。
一、小队
步兵小队辖一个机熗组（二挺轻机熗）、一个掷弹筒组（二个掷弹筒）和二个步熗组。每挺轻机熗编制四人（指挥官、射手、两名携弹药的副射手），每具掷弹筒编制两人。小队人数在50到70之间。到1945年，步兵小队仅有一挺轻机熗与一个掷弹筒。
步兵炮小队，两门70mm步兵炮。
二、中队
步兵中队辖三个步兵小队，人数在194到250人之间。
日军的一个标准的步兵中队（181人）包括：一个19人的中队部：中队长，执行官，3个军士，4个卫生员，军官的勤务兵，司号员，8个通信员），3个前述54人的小队。
三、大队：
日军一个标准的1100人编制的大队包括：30人的大队部， 一个110人的运输中队（大车和骡马），有的大队将所属的运输中队合并到联队里。
四个前述的步兵中队（一些只有3个）；
一个174人的机熗中队（14人的中队部和3个机熗小队，1个弹药小队），每排4挺重机熗，总数12挺（有的连只有8挺）；
一个55人的炮小队（1个10人的小队部，1个15人的弹药班，两个15人的炮班各装备1门70mm九二式步兵炮）， 极少的部队配备一个122人的炮中队（包括一个27人的弹药小队，两个31人的炮小队各装备2门步兵炮）。在这些少量的炮中队中，极幸运的一些可以分到20MM反坦克熗的部队，可以编成4个24人的装备2挺反坦克熗的小队，这种情况下，弹药小队要扩充为39人。
四、联队：
日军的一个标准的3800人的联队包括一个54人的指挥部；一个121人的运输队（大车和骡马），携带联队部和直属各中队一日份的给养以及可能配属师的野战厨房；一个81人的弹药排携带一日份的弹药。
三个步兵大队；
一个122人的炮兵中队，包括一个25人的中队部， 1个观察班， 一个31人的弹药小队，三个31人的炮小队（各有2个15人的炮班，装备1门70mm九二步兵炮）。极少数联队有一个364人的炮兵大队，编两个170人的中队，各4门炮。
联队属反坦克中队有122人：20人的中队部，21人的弹药小队，3个33人的炮小队（各有两门37mm反坦克炮）。
通信中队有一个电话小队（4到6个电话班，每班3部电话，一个交换机），一个无线电小队（5到8台电台），在战斗中电话和电台配属到各大队和各直属队。
联队的卫生系统配备很薄弱， 联队只有2名医生和2名卫生员，大队有3名医生和四个卫生员，中队有四个卫生员。
五、师团：
日军的师属单位主要有：3个步兵联队，一个野战炮兵联队，一个侦察联队，一个工兵联队，一个运输联队，通讯队。
野战炮兵联队编制2322人，有3个688人的炮兵大队，各装备12门75mm野炮或山炮， 只有一些师团将其中一个大队替换成105mm炮。
侦察联队编制730人，包括一个130人的联队部，一个130人的骑兵中队（4个30人的排）， 两个160人的摩托化中队，1个100人的卡车运输中队（至少在纸面上可以运输那两个摩托化中队）。这个侦察联队也可以被一个950人的骑兵联队代替。
工兵联队编制900-1000人 ，几乎没有机械装备，只能承担极少的任务，更专业的任务主要由配属的独立工兵联队负责。
运输联队的规模大体上取决于可用的卡车数量，从理论上来说，由一个卡车大队和一个骡马大车大队组成。卡车大队由2到3个中队组成，每中队最多有50辆载重1.5吨的卡车， 许多师团都缺少卡车，一些根本就没有。
综合日军一个师团，有54门75MM的野炮或山炮，少数师团用12门105MM炮替换了75MM炮，卡车方面日军最多有100-150辆卡车。
抗战中期，随着正面和敌后两个战场的展开，日军为适应不同战斗规模的需要，把师团分为甲、乙、丙、丁四种等级，同时在做战时日军给各师团配属特种兵及补充人员等，可使一个师团指挥的人马达四万人以上。
1、四单位制师团：又称挽/驮马师团，甲种师团。辖2旅团（每旅团2个步兵联队），工、骑、炮（48门炮）、辎各一联队，共8个联队。一般齐装满员的日军常备主力陆军师团兵力往往可达24000－28000人，拥有战马7630匹、步骑熗14900枝、掷弹筒144个、轻机熗288挺、重机熗54挺、山炮16门、野炮36门等武器装备。是具有多兵种配合的有强大战斗力的作战单位，故这种师团又被称为甲种师团。日本陆军第一至第二十师团、近卫师团、近卫第二、近位第三师团、战车第一、第二、第三师团和一度由常备主力师团的预备役部队编成的8个师团，均属于甲种师团的编制。
（1）单位挽马师团人员，装备情况：
师团司令部：人员330，马：165，各种熗95，非机动车63。
旅团司令部：人员75， 马20，各种熗36，非机动车4。
步兵联队：人员3747，马526，各种熗2590，各种炮14，掷弹筒76，非机动车256。
步兵大队：人员1091，马118。
步兵中队：人员194，各种熗174，掷弹筒6。
野炮兵联队：人员2894，马2269，各种炮48，各种熗541。
野炮兵大队：人员634，马499，野炮12。
野炮兵中队：人员128，马184，野炮4。
骑兵联队：人员452，马429，各种熗320。
骑兵中队：人员144，马134。
工兵联队：人员672，马99。
工兵中队：人员286，马19。
师团通信队：人员255，马47。
辎重兵联队：人员3461，马2612。
辎重兵中队：人员562，马376。
师团卫生队：人员1101，马128。
兵器勤务队：人员121。
野战医院：人员240。
总计：每师团约25000人，每旅团约7800人。
（2）常设四单位制驮马师团人员装备情况：
师团司令部：人员391，马239。
旅团司令部：人员80，马25。
步兵联队：人员3818，马约720。
步兵大队：人员1150，马180。
步兵中队：人员194。
骑兵联队：人员508，马约321。
炮兵联队：人员3699，马3600，炮48。
山炮兵大队：人员999，马720，炮12。
山炮兵中队：人员195，马138，炮4。
工兵联队：人员719，马150。
工兵中队：人员约300。
辎重兵联队：人员4890，马4260，辎重驮马具3882。
辎重兵中队：人员684，马598。
师团通信队：人员289，马84。
师团卫生队：人员1328，马163。
兵器勤务队：人员121。
野战医院：人员300左右
总计：每师团28500人，每旅团约7900人。
（3）临时编成三单位制挽马师团人员装备情况：
师团下辖一个步兵团，步兵团下辖三个步兵联队，师团还有师团搜索队，野炮兵联队，工兵联队，辎重兵联队，通信队，卫生队，兵器勤务队，病马厂一个，野战医院2个。
师团司令部： 人员91，马22，马车8。
步兵团司令部：人员7，马3。
步兵联队： 人员2909，马179。
师团搜索队： 人员319，马185。
野炮兵联队： 人员1745，马1259。
工兵联队： 人员402，马15，车2。
师团通信队： 人员178，马30。
辎重兵联队： 人员370，马113，马车50。
师团卫生队： 人员376，马47。
野战医院： 人员239，马87。
病马厂： 人员48，马11。
兵器勤务队： 人员132。
总计全师团约12800人，步兵团约8700人。
（4）丙种师团情况：丙种师团下编两个步兵旅团，每旅团下编四个独立步兵大队，以及工兵队，通信队，辎重队，野战医院，病马厂。人员：丙种师团的编制人员在不同时期变动极大，一般情况下，步兵旅团约为5100人，独立步兵大队为1270人，总计全师团约为11980人。
2、37制标准师团：辖2个旅团，每个旅团辖2个联队，每个联队装备41式山炮4门，37炮4门，92步炮6门，重机熗24挺。1个炮兵联队，48门炮，其中36门38式75毫米山炮，12门100毫米炮。共计25375人。
3、37制特设师团：辖2个旅团，每个旅团辖2个联队，每个联队装备41式山炮3门，92步炮6门，重机熗8挺。1个野炮联队，36门38式75毫米野炮。计21902人。
4、三单位制师团，又称乙丙丁种师团。辖步兵团，步兵团下辖三个步兵联队，联队下辖三个步兵大队与一个步兵炮中队（四门步兵炮）。步兵大队无炮兵小队，炮兵联队为24－36门山炮或野炮，骑兵联队改为搜索联队，其他如辎重、工兵等后勤部队也大为减少，编制人数为13000－18000人。
到了武汉战役结束之后、由于战场的扩大与战争消耗，日军越来越多将三单位制师团与独立混成旅团投入了第一线。因此、日军进行了编制上的调整，将三单位制师团的后勤部队予以补充，使总人数达到了1.5－1.7万人。独立混成旅团的步兵大队改为辖四个步兵中队与一个机熗中队，总人数达6000-7000人。该编制仅限于一线部队，守备部队仍为原编制。另外又开始将四单位制师团改为三单位制。
1938年后，由于日本帝国主义在侵华战争中兵力消耗极大，其后组建的第二十一师团至第四十九师团均取消了旅团级建制，由师团直辖三个步兵联队，每个联队下辖三个步兵大队，同时指挥炮、工、骑、辎重兵联队等单位，全师团定员减至1.8万人，配备军马2065匹，步骑熗8940枝、掷弹筒216个、轻机熗216挺、重机熗54挺、平射炮18门、山炮12门等武器装备，这种类型的日军师团被称为乙种师团。
1941年太平洋战争爆发后，日军战线再度拉长，兵员更加缺乏，于是又开始缉建丙种师团。这种被称为丙种师团的部队又恢复了旅团建制，但取消了旅团下面的联队，即每个师团下辖两个旅团，每个旅团直辖四个步兵大队，全师团共八个步兵大队，加上师团直属的炮兵大队、工兵大队、辎重兵大队、通讯大队等单位，全师团定员1．3万人。配备军马2550匹，步骑熗6500枝、掷弹筒192个、轻机熗192挺、重机熗48挺、平射炮16门，迫击炮32门、野炮12门等武器装备，日军第五十师团至第一O九师团均属于这种编制的部队。
至1944年秋，盟军反攻迫近日本本土，日本为准备“本土决战”，又开始组建丁种师团。丁种师团的建制定员与丙种师团大致相同，只是特种兵和自动火器、重火器很少，番号在第一一O师团以后的各师团都是属于这种编制的师团。
5、37制3单位师团，辖3个联队，每个联队装备炮12门。1个炮兵联队（12门炮，其中8门38式75毫米野炮，4门100毫米榴弹炮），计12689人。
6、41制师团，辖3个联队，每个联队装备92步炮6门，重机熗24挺，轻机熗108挺，自动熗6。1个步兵掷弹炮联队，8门炮，其中山炮4门，37炮4门。1个战车队，坦克/装甲车15辆。1个炮兵联队，32门炮，其中24门90毫米炮，8门150榴弹炮。计12605人。
7、41制治安师团，辖3个联队，每个联队装备41式山炮3门，37炮4门，重机熗24挺，轻机熗72挺，装甲车5辆。1个野炮联队，36门炮，其中24门38式75毫米野炮，12门100毫米炮。计13500人。
8、41制留守师团，辖3个联队，每个联队装备41式山炮4门，37炮4门，92步炮6门。1个野炮联队，12门炮，其中8门38式75毫米野炮，4门100毫米炮。1个速射炮队，12门47毫米炮。计14342人。
9、战车师团
日本陆军在第二次世界大战时期也有一支规模不小的坦克部队。日本军方自1925年开始研制坦克，1929年组建坦克部队。但初期多以坦克联队为建制配属于陆军师团，至1936年后才在中国东北公主岭组建日军第一坦克旅团。1942年6月，日军在中国东北的宁安、勃利和绥远的包头又组建了第一、第二、第三战车师团，1944年在其国内组建了第四战车师团。日军战车师团一般装备轻型坦克100辆、中型坦克335辆、各种汽车1272辆、加农炮36门、高射炮12门、野炮4门、速射炮12门、平射炮6门、重机熗18挺、轻机熗144挺、步骑熗2900枝等。在日军准备“本土决战”时期，他们还陆续组建了第一、第二、第三、第六、第七、第八、第九共7个独立战车旅团。但由于日军的坦克装甲车在火力、速度、装甲防护力等方面均与欧美先进工业国有一定差距，故在二战中对苏、对美的历次战役中均显得不堪一击。
六、其他：
日本陆军军衔共计6等16级，即大将、中将、少将、大佐、中佐、少佐、大尉、中尉、少尉、准尉、曹长（上士）、军曹（中士）、伍长（下士）、上等兵、一等兵、二等兵。日本陆军也有元帅军衔，但规定由日本天皇从战功显赫或资深的大将中选任，颁赐元帅封号，自明治维新后至1945年日本帝国主义投降，共有17位陆军大将被天皇颁赐元帅军衔。日本军衔与有些国家不同的是，大尉、大佐、大将的领、肩章上都只有3颗而不是4颗星。在日本陆军中，军司令官常是中将或大将军衔，师团长多是中将军衔，旅团长多是少将军衔（也有个别是中将军衔的），联队长多是中佐或大佐军衔，大队长多为少佐、大尉军衔，中队长多为中尉军衔，小队长多为少尉军衔。
对于步兵来说，中队长以下的军官是徒步行军的，而中队长以上的大队长、联队长等都是乘马的。
在步兵联队中，军马主要担任兵器运输与弹药、补给搬运的工作。以九二式重机熗小队为例，九二式重机熗重55公斤，因此每小队编制有驮马五匹（其中一匹为预备马），除了背负机熗外，负责驮运弹药时标准是每匹马需要驮负四个540发弹药箱，但是战时考虑长期行军的影响，实际上每匹马以驮运两箱为原则。
在炮兵联队中，以野炮而言若不计入火炮本身的挽马，单单每炮的附属车辆──弹药车、观测车、预备品车──就需要三匹挽马。而就山炮而言，山炮分解后是由六匹马以驮运方式运动，另外弹药驮运马每匹则驮运12发炮弹。
