1938年7月，国民革命军第三十八军改编为第三十一军团（11月又改编为第四集团军），孙蔚如任军团长，下辖三十八军（军长赵寿山）和九十六军（军长李兴中）。九十六军辖一七七师、陕西警一旅、警三旅等部。8月，该军参加了中条山保卫战，固守中条山西部防统。至1940年换防，经历了芮城、风伯峪、二十里岭、王泉寺、苍陵峪、大小沟南、六六、四一七等战役，与第三十八军共在中条山歼灭日军两万以上，迭挫凶锋。1940年8月，九十六军积极策应配合八路军百团大战，派出两个加强团出击临晋、猗氏以南和虞乡、解县以北地区，派一个加强营夜袭虞乡车站。出击部队破坏铁路、公路，炸毁桥梁。1941年初，九十六军布防河南洛阳、偃师一带，与太行山区八路军多有往来。在1944年四五月的豫中战役中，该军五三O团坚守虎牢关七昼夜，歼灭日军2500余人。1945年春，该军一七七师在豫西灵宝战役中，与日军血战官道口，歼敌2000余人，确保了关中的安全。