1937年12月24日至1938年4月，中國共產黨膠東特別委員會領導膠東地區人民從天福山開始的大小近10次抗日武裝起義，歷史上又稱膠東抗日武裝起義。 天福山位於文登縣東20多公里處，是中共膠東特委機關所在地。中共膠東特委根據中共山東省委在濟南召開的秘密會議精神，召開特別擴大會議，決定以1935年膠東起義保存下來的、在崑嵛山開展游擊戰爭的隊伍為骨幹，在天福山舉行起義，建立共產黨領導的人民抗日武裝。
1937年12月，日軍沿膠濟路和從海上登入向膠東進犯。占領了青島、煙臺等地。中共膠東特委決定立即舉行起義。24日，特委宣布成立山東人民抗日救國軍第3軍，並命名聚集在天福山的抗日武裝為第3軍第1大隊。31日，第1大隊遭國民黨文登縣長率領的軍隊的突然襲擊，受到很大損失。1938年1月中旬，在中共膠東特委書記理祺的領導下，國民黨第2區政訓處的部分武裝和威海郊區農民武裝在威海舉行起義，奪取威海專員公署軍械庫，武裝了自己，正式成立了第3軍軍政委員會，理祺任司令員兼主席，呂志恆任副主席，林一山任政治部主任。2月，日軍侵占煙臺後，繼又侵占了牟平。第3軍為展開抗日工作，擴大軍隊的影響，於13日拂曉以100餘人的兵力，突然襲入牟平縣城，將日軍剛剛扶植起來的偽縣長、偽公安局長、偽商會會長和維持會長等170餘人全部俘獲，繳獲槍枝100餘支。戰鬥結束後，部隊撤到城外休息。第3軍的領導20餘人在城南1。5公里的雷神廟內開會。此時，煙臺日軍100餘人乘汽車5輛，在4架飛機掩護下，將雷神廟包圍，部隊依託圍牆頑強抵抗，連續打垮日軍4次衝擊，打死打傷日軍四五十人，擊毀汽車2輛，擊落飛機1架。第3軍也付出了重大代價，司令員理祺陣亡。3月，第3軍一部又收復福山縣城，摧毀了該縣的偽組織，部隊很快發展到1000餘人。在天福山、威海起義的同時，中共膠東特委還組織領導蓬萊、黃縣、萊陽、即墨、掖縣等縣的人民舉行抗日武裝起義，分別建立了山東人民抗日救國軍第3軍第2路、第3大隊、第9大隊、第7大隊和膠東抗日游擊隊第3大隊，先後收復掖縣、蓬萊、黃縣等縣城，並建立了掖縣、蓬萊抗日政權。3月18日，日軍200餘人由平度向萊陽進犯，經過萊陽城西花園頭村，萊陽起義武裝一個班協同該村300餘民眾對日軍進行英勇抗擊，他們扼守有利地形，用土槍土炮打擊日軍，並用鐵鍬、鍘刀等與日軍肉搏，經過6小時激戰，斃傷日軍75人，起義部隊和民眾陣亡67人，負傷33人。此戰，顯示了膠東人民英勇不屈的頑強精神。
4月，為了加強對部隊的統一領導，第3軍軍政委員會對膠東起義武裝進行整編，分別編為第1、第2、第3、第4路，各路設指揮部，每路下轄若干大隊。總計7000餘人。另有由共產黨人和一些進步人士在即墨一帶發展了一個團的武裝，於是年冬亦正式編入第3軍。這支部隊一直戰鬥在蓬萊、黃縣、掖縣等地，創建了以蓬黃掖為中心的膠東抗日根據地。
