1937年“七七”盧溝事變發生,
日本帝國主義大舉侵略中國。1938年春,台兒莊戰役後,山東幾乎全部淪入敵手。魯西南地區黨組強根據黨中央積極發展敵後游擊戰爭的指示,採取了以下幾種方法和形式,組織武裝,開展游擊戰爭:第一、改造綠林武裝,第二、利用各種關係,改造國民黨的鄉自衛隊、區各安中隊和縣保全大隊及其他舊式武裝,第三、通過深入宣傳黨的抗日救國主張,動員地富獻槍、青壯年參戰,組織地方武裝部隊。魯西南人民子弟冀魯豫支隊五大隊,就是在這樣形勢下,組建和逐步發展壯大起來的。
五大隊的來源是:山東省曹縣三區義合鄉的自衛隊,冉固集的地方武裝,二區董玉修(外號二扁食)的地方武裝和周江南(女)的地主武裝,河南民權地區的地方武裝,河北清豐、南樂縣的保全大隊,以及武裝起來的愛國青壯年。當時的口號主要是抗日救國保家鄉,有錢出錢,有力出力,不當亡國奴等。
在
冀魯豫支隊沒有來到魯西南以前,這支地方武裝的番號是范築先部的三十五支隊。1938年底,改為八路軍隴海支隊。1939年春,正式改編為冀魯豫支隊第五大隊。
1938年到1940年5月,五大隊的組織情況是:1938年8月份,組建三十五支隊時,支隊司令員是王德修,後為徐茂里。1938年底,改不八路軍隴海支隊時,答仍為支隊領導。1939年春,部隊改為冀魯豫支隊五大隊,大隊長為王伯生,副大隊長為郭心齋,陳麗泉為參謀長,政治委員是宋力華,後為胡永書(胡是冀魯豫支隊派來的),王石鈞為政治處主任(王是魯西南地委派來的,曾任中共曹縣縣委委員、部長)。1939年5月,領導成員又有所變更,胡繼成(由支隊調來)繼任大隊長,王石鈞任政治委員,李一非任政治處主任,其餘不變。隨著領導調整,大隊司、政、後、衛等領導機構和工作制度也逐漸健全起來。如司令部設有作戰參謀(藺斌)、偵察參謀、通信參謀、書記和收發等。政治處設有組織、保衛、民運、宣傳、敵工等股。組織股長郭永昌,保衛股副股長曾昭敏,民權股長周民軒、副股長宋傑,宣傳股長李再望、副股長酒文濤,敵工股長張君奇等。還組織了一個三四十人的宣傳隊。後勤部門,供應處處長潘岷原,財務股長王子平,軍需股長張海涵,糧秣股長蔡尚志。衛生部門,隊長郭潤楚,醫生有白友功等。直屬分隊有警衛連,連長程玉贊,指導員曹子端;通訊連連長張運升,指導員任耀庭(後為王運清)。部隊營級單位的領導人有:一中隊長魏新民,教導員胡開貴,副中隊長王潔存;二中隊長王朝鑒,教導員惠占榮;三中隊長董玉修,教導員董根順,副中隊長楊恩仁。二團(實力相當營),團長周江南(女)。各連隊領導幹部為:一連連長楚玉遲,指導員董守榮,二連連長喬憲志,指導員朱潛,三連連長張朝軒,四連指導員張魁仁,六連指導員王啟運(其餘不祥)。在五大隊領導成員中有幾位特殊人物:王伯生大隊長,系曹縣三區白茅的封建實力派王德修的兒子,不信部隊,不隨部隊行動,只管聯絡,擴大隊伍;周江南團長,她原來的武裝,主要是保衛其他莊園的,接授黨的領導後,該部大部分時間是單獨活動,本人也不常同部隊在一起;郭心齋副大隊長,原是曹縣三區義合鄉長兼自衛隊長,思想比較進步,這個自衛隊,後來成了五大隊的基礎。胡繼成、李一非等同志繼任大隊領導工作後,進一步加強了部隊的政治思想工作和戰備、訓練,使這支弱小的游擊隊較快地轉變成一支有戰鬥力的正規軍。
在組織領導方面,五大隊受雙重領導。作戰行動,黨政工作由冀魯豫支隊主管,也受中共魯西南地委的領導。如幹部調配,不僅冀魯豫支隊直接調配幹部,魯西南地委也經黨給五大隊補充幹部。五大隊的活動地區在隴海路以北,黃河以南,以山東曹縣地區為中心,包括山東的曹縣、單縣、金鄉、定陶、荷澤,
河南的東明、
考城、蘭封、民權等縣。五大隊的主要任務是:與日、偽軍作戰,肅清漢奸和反動會道門等,用實際行動宣傳黨抗日救國政策;支援和保衛魯西南根據地的政權建設。1939年秋,他們在這裡逐步建立起一批抗日政權,如山東曹縣縣政府,河南考城縣政府(重建),以及定陶、荷澤、東明等地區的幾個區政府和一些鄉政權等。