晉西北地區位於同蒲鐵路以西，黃河以東，平綏鐵路以南，汾離公路以北，是陝甘寧邊區通向華北、華中各敵後抗日根據地的重要通道。創建晉西北抗日根據地，對堅持華北敵後抗戰有著重要的戰略意義。1937年9月下旬，按照中共中央關於在敵人側後晉西北廣大山區和鄉村開展游擊戰爭的指示，賀龍、關向應率八路軍第一二○師師部及第三五八旅進入山西省神池縣八角堡地區。主力部隊向同蒲鐵路、雁門關出擊，一度奪取雁門關，截斷日軍後方交通，配合了忻口戰役。10月1日，關向應率政治機關大部和教導團共700多人到達岢嵐，隨即組成工作團，分赴山西省朔縣、偏關、臨縣等14個縣，開展游擊戰爭和民眾工作。續範亭率領的動委會（山西民族革命戰爭戰地總動員委員會，簡稱“動委會”）和新軍部隊1萬餘人也進入晉西北地區。在中共晉西北臨時區委員會及犧盟會（山西犧牲救國同盟會，簡稱“犧盟會”）、動委會的配合下，八路軍廣泛宣傳抗日救國十大綱領和抗日民族統一戰線政策，收編散兵游勇，安定社會秩序，發動民眾，組織抗日武裝。到1938年1月，第一二○師由兩個旅三個團8200餘人，擴大到六個團共2.5萬餘人。晉西北各縣都成立了1000至2000人的自衛軍或游擊隊。晉西北抗日根據地逐步形成。在平綏鐵路以北，沿大青山山脈建立游擊根據地，不僅可以屏障晉察冀邊區，守衛陝甘寧邊區的北大門，而且對牽制日軍向大西北進攻具有重要的戰略意義。1938年5月，毛澤東電示朱德、彭德懷、賀龍等，在平綏路以北沿大青山脈建立游擊根據地。1938年7月，第一二○師派出由李井泉等率領的大青山支隊，從五寨進入雁北地區。8月，向綏遠挺進。9月初，越過平綏鐵路進入大青山地區，同當地黨組織領導的蒙漢游擊隊會合。9月下旬，大青山支隊留一部在綏中活動，主力進到武川、百靈廟以西地區開展游擊戰爭。到12月，開闢以大青山為依託的綏西、綏南、綏中三塊游擊根據地，並逐步同晉西北根據地連成一片。
