1937年10月，日軍向山東進攻。中共山東省委（書記黎玉）在沒有主力部隊的情況下，指示各地黨組織廣泛發動民眾，舉行抗日武裝起義。從1937年11月至1938年3月，山東先後有十幾個地區爆發武裝起義，並與原國民黨山東省第六區專員兼保全司令范築先建立了合作抗日的親密關係，開闢了魯西北30多個縣的抗戰局面。中共中央和中央軍委非常重視發展山東的抗日游擊戰爭，要求有計畫地建立根據地，使山東成為八路軍在華北的一個重要戰略基地和聯繫華中的戰略樞紐。1938年5月，中央派郭洪濤率一部分軍政幹部到山東工作，並由郭洪濤任省委書記。7月，中央根據徐州失守後的形勢，將山東省委擴大為蘇魯豫皖邊區省委，並決定派一部分八路軍主力部隊到山東，以加強這一地區的抗日游擊戰爭，擴大和鞏固抗日根據地。1938年六七月間，冀南的第一一五師第五支隊和第一二九師津浦支隊向冀魯邊的寧津、樂陵地區挺進，協同地方黨組織領導的抗日武裝開展游擊戰爭，建立根據地。1938年9月下旬，第一一五師政治部副主任蕭華率第三四三旅的百餘名幹部到達樂陵，隨即成立冀魯邊區軍政委員會，並將這個地區黨領導的各種武裝力量合編成八路軍東進抗日挺進縱隊，總計1萬餘人，蕭華任軍政委員會書記、縱隊司令員兼政治委員。到1938年底，開闢了以寧津、樂陵為中心，包括滄縣、鹽山、慶雲、東光、南皮等縣的平原游擊根據地。山東地方部隊在魯南、魯中、魯北、膠東等地建立游擊根據地。1938年12月，中央根據形勢的變化，又決定改蘇魯豫皖邊區省委為中共中央山東分局。山東地方部隊還在魯南、魯中、魯北、膠東等地建立游擊根據地。為了加強對山東各地武裝起義部隊的統一領導，決定成立八路軍山東縱隊，任命張經武為指揮，黎玉為政治委員，江華為政治部主任，共約2.5萬人。至此，八路軍山東縱隊成為在戰略上有統一指揮的游擊兵團，對創建、鞏固和發展山東根據地，堅持長期抗戰，起了重大的作用。
