陆军方面的失败令大本营很是不满，近代以来，一直到诺门坎战役前，日军对苏俄军队有一种先天的心理优势，这种优势来源于1905年的日俄战争。作为战争的胜利者，日军一向瞧不起俄国军队，以及后来的苏联红军。
尤其是当日军得到情报，由于斯大林的肃反，红军中大多数优秀而且经验丰富的指挥员，都被处决的消息后，更是对红军不屑一顾，甚至狂妄的宣称日军1师团能打3个师苏军。也正是因为这样，这次惨败在大本营看来简直是不能容忍的耻辱，为此关东军司令官植田大将遭到大本营的严厉斥责。就连一向不怎么关心日军行动的多位元老都公开声称这是大日本皇军，尤其是战无不胜的关东军唯一的一次耻辱，也是最大的耻辱。
这样的斥责令植田大将很不满意，原本从一开始植田大将就不支持第二十三师团师团长小松原的这次行动，但是耐不住小松原中将的多番请示，最终才答应了他的作战计划，没想到最后的结局竟然是这样一次惨败！
然而，事情并未就此结束。由于日军高层的刻意宣传，关东军各部队好战情绪已经被激发起来，他们早就盼望着与苏军交手了，这次失败在所有人看来不过是个意外，没错，就是意外。失败带来的不是反省，而是更加的狂躁，关东军全体都处在一种病态的“亢奋”中蠢蠢欲动。
没有人在意第23师团骑兵联队和重装甲车部队为何在包抄奇袭蒙军指挥部得手之后还被打的溃不成军，也没有人在意为何大日本皇军强大的重装甲车为何被苏军的坦克一打就碎。更没有人在意骑兵面对苏军这些横冲直撞的“钢铁怪兽”束手无策，只好绝望地挥舞着马刀砍。狂热的日军都热切盼望与苏军交手。90%以上的军官对苏军情况一无所知，却毫无理由地轻视对手。
5月20日，前一阶段战事的善后工作还未处理完毕，关东军又接到小松原的电报。电报内容是：（l）苏军在诺门坎不断增兵，18日已经把“满洲国”军驱逐出了诺门坎地区；（2）苏军飞机轰炸温泉一带和甘古尔庙，造成损失。作为诺门坎地区守备司令，小松原中将建议主动给以严惩。
关东军司令部接到电报后，立即召开作战会议。20日命今向诺门坎方向调集兵力。调集的兵力有补充后的第二十三师团全部，由第一坦克团和第七师团的一部组成的安冈支队，还有配属的第二飞行集团。这是边界争端中没有先例的大规模调集兵力，其方针是不惜与苏军展开正面冲突，态度非常强硬。
而且在关东军的作战计划里面还有一个大轰炸计划，主要是用飞机轰炸外蒙境内一切军用民用目标。只是关东军估计会遭到反对，而事先未予提及并请示。当参谋本部在偶尔的情况下。听到这个轰炸计划时，害怕扩大事态，立即拍电报表示不当，又派作战次长有未次中佐去满洲，企图说服关东军不要轰炸。
可是速度还是慢了一步，在有未次中佐抵达关东军司令部之前。关东军已对外蒙境内据点塔木斯克进行了轰炸，第二次诺门坎事件爆发。为确保制空权，日军出动了130架飞机，对苏蒙空军基地进行了空袭。
在关东军向诺门坎地区的苏蒙军再次发动进攻的同时，华北方面军也接到了中国派遣军司令部的命令。大本营命令华北方面军做好随时出兵增援关东军的准备，同时命令华北方面军要抽调部分兵力在华北地区进行一次针对陈锋所部的局部战争。以防陈锋所部越过东乌旗向诺门坎地区开进，威胁皇军的侧翼。
接到中国派遣军司令部的命令之后彬山元大将不敢怠慢，立即召开师旅团主要军官会议，商讨作战计划。
但是包括参谋长岗部直三郎中将在内的绝大多数军官都不同意在没有准备好的情况下与陈锋所部开战，那样成功的几率并不高，更重要的是，经历过多次败仗，方面军普通士兵以及基层军官对于同陈锋所部作战已经产生了阴影，一旦再次战败，那么士气将会进一步下降，这是方面军无论如何都不能承受的。
但是上级的命令也不能违抗，最终还是岗部直三郎中将出了一个主意，既然方面军不愿意深入陈锋所部的防区作战，那么就引陈锋所部主动来攻，这样既完成了上级的命令又不违背自己的方面军司令部的意愿。
岗部直三郎中将分析，结合陈锋的家庭来看，陈锋与二战区阎锡山的关系很密切，再怎么说陈锋也是阎锡山的女婿，在没有太多的利益相争的情况下，这种亲戚关系还是很牢固的，再加上上一次陈锋所部出动15万大军配合阎锡山所部围攻第一军，因此岗部直三郎中将认为，只要华北方面军再次向阎锡山的晋绥军发动进攻，而阎锡山所部只要露出一点败相，那么陈锋这个女婿就不会袖手旁观的。
因此岗部直三郎中将建议，方面军再次向盘踞在山西的阎锡山所部发动一次大规模进攻，一方面是因为帝国这次调到方面军的部队里面有很多新兵，需要晋绥军这样的弱旅练兵。另一方面是因为方面军实力基本上恢复了，第一军有能力也有这个必要打开山西高原的局面，不能这样被动下去。最后才是上级的那个任务。
岗部直三郎中将的这个提议迅速被在场的所有军官通过了，正如岗部直三郎中将所说的那样，这次从国内调来的那些部队数量确实不小，除了那22个步兵大队以外还有7个步兵旅团和两个步兵师团。但是在检查过这些新部队之后所有日军军官傻眼了，这都是些什么兵了，那22个步兵大队就不说了，都是新兵蛋子，除了极个别的是在乡军人（退伍兵）以外，绝大多数的士兵都只是接受过三个月的新兵训练，然后就被被送到了支那。
即使是那些有番号有编制的旅团师团情况也好不到哪里，绝大多数的部队都是半老半新，即一半老兵一半新兵，有些甚至老兵的数量只能占到三分之一甚至更少。这样的部队在后方维持秩序都勉强，更不要说是去参加野战了，要想让这些部队挑大梁那就得练。
而练兵也是有技巧的，干练是不行的，就算是在操场上跑上一百年也是白搭，上了战场还是新兵蛋子，所以这练兵还是需要以战代练的，只有在炮火中诞生的队伍才能称之为精锐，不然就是花架子。以战代练说得轻巧，但是真正操作起来却不容易，要是再练兵的过程中遭遇重大损失的话，那么整支部队很可能会一蹶不振的，因此练兵的磨刀石很重要，既不能太强也不能太弱。太弱了也起不到作用，太强了没等练好兵兵就全没了，不合算！
在华北这片土地上，最适合做磨刀石就是晋绥军了，当然还有土八路。不过这八路军虽然合适，但是人却神出鬼没的，想要找他们做磨刀石那就得先找到他们，问题是现在一是没时间，二是找不到，用八路军做磨刀石显然不合适，所以这磨刀石就只能找上晋绥军了。
最后彬山元大将拍板决定，此次进攻山西高原以驻山西第一军为主，由梅津美治郎大将担任指挥官，所部下辖第4师团、第20师团、第108师团、独立混成第1旅团、第3旅团、第4旅团、第7旅团、第8旅团、山炮兵第一旅团、战车第一联队、山本特种大队、皇协军第三师、骑兵独立团、独立第六支队等，总兵力合计十万余人。
另外，华北方面军司令部又命令方面军直属的第32师团、独立混成第5旅团、第15旅团、第9旅团、战车第三旅团、重炮第2旅团、方面军飞行大队等五万余人作为第一军的预备队。
此次作战目的是，重新夺回太原，重创阎锡山的第二战区，最好是能全歼晋绥军。
日军的行动很快，但是由于第一军各部队都在石门一线，所以部队调动并不明显，所以日军的这次行动并没有引起二战区以及陈锋所部的注意。
5月22日，驻扎在盂县的第六集团军新编第二军军部遭到日军小股部队偷袭，军长魏长虎重伤，副军长李国华战死，参谋长徐斯战死，同时战死的还有1个中将师长、2个少将旅长、4个上校团长以及6个中校团副营长，与此同时日军两个旅团在炮兵以及装甲部队的配合下猛攻盂县到寿阳一线的阵地，一夜之间新二军这个新成立不到半年的部队便被日军击溃了，两万多人逃回晋中的不到四千人，其余的不是战死就是被俘，盂县到寿阳一线的门户大开。