1927年大革命失敗後,黨派王維舟秘密潛回川東老家,他團結從上海、北京、廣州、武漢等地撤回家鄉的共產黨員,建立黨的組織,開展農民運動,籌備武裝起義,準備將在川、陝、鄂三省交界地區城口、萬源、巫溪等縣為主建立一個革命根據地。在宣漢、達縣、城口、萬源、梁山、開江一帶,發動農民民眾反剝削反壓迫,並與固軍壩進步青年萬源的李家俊、達縣的唐伯壯、宣漢的雷玉書等,開展農村武裝鬥爭,他先後任副總指揮、總指揮。李家俊利用他父親地方勢力掩護下組織農民,以農會代替工農革命政府。1929年4月27日,萬源固軍壩、牡羊廟、宣漢廠溪、官渡等地的農民起義隊伍和煤、鐵礦工人起義隊伍,以及王維舟從梁山、開江等縣動員前來參加起義的部分工會、農會會員,匯集固軍壩,成立川東遊擊軍第一路軍,從此,豎起了川東第一面武裝鬥爭的紅旗。
游擊軍迅速把革命的火種播向川東各地,勢力日趨雄厚。四川軍閥劉存厚大受震驚,急令第三路軍代司令廖雨辰帶一個師,向游擊軍活動中心固軍壩、牡羊廟等地進攻。游擊軍採取避敵優勢,乘敵不備,攻其虛弱的游擊戰術,擊潰敵人多次進攻,游擊軍乘勝將革命浪潮推廣開來,游擊根據地不斷擴大。至1930年春,以固軍壩為中心的游擊根據地已擴大到5個區20多個場鎮,共1500多平方公里的土地上。劉存厚匪軍對萬源一帶的農會瘋狂鎮壓[3] 。革命的暴風驟雨迅速遍及萬源、宣漢、城口三縣。9月,王維舟同志派冉南軒、孫安榮策動劉存厚駐宣漢七里峽的一個連起義投奔游擊軍參加戰鬥。游擊軍先後戰鬥年余,粉碎了敵人多次圍剿。受李立三“左”傾機會主義路線錯誤影響,上級黨把所有剛建立起來的游擊隊調往參加包圍武漢的戰役。唐伯壯同志率領游擊軍被迫離開根據地去遠征,到達鄂西竹溪、房縣一帶,被敵人包圍,英勇奮戰數日,因敵眾我寡,最後遭受失敗。川東遊擊隊的鬥爭遭到了第一次的失敗。
第一次的失敗,並沒有使王維舟灰心,他又以百折不回的精神回到川東,深入梁山的虎城場、太平場、開江的任市鋪、廣福場等地重新組織農民武裝,開展游擊戰爭。不久又發起了第二次武裝起義。1930年7月29日,在中共川東軍事委員會的領導下,他又發動虎南、達縣、南嶽的農民起義,組織紅軍第三路游擊隊,各路農民武裝隊伍共3000多人,匯集忠縣黃家場,正式組建了中國工農紅軍川東遊擊軍第三路(又稱川東遊擊縱隊)。並組建了黨的前敵委員會,紅旗又一次在川東大地豎立起來了。在敵強我弱的白色恐怖環境裡,紮根於民眾之中,長期堅持武裝鬥爭,開闢了威震一方的川東遊擊根據地。1930年,“左”傾路線在黨內占主導地位,王維舟不得不奉命率川東遊擊隊攻打漢口,實現“會師武漢”和“在一省或幾省首先勝利”的盲目計畫。在此情況下,王維舟又提出:“為了維護省委決議,可以選派部分精幹部隊東征,留下一部分在本地堅持武裝鬥爭。”但這一意見又被否決了。同年8月3日,川東遊擊縱隊向東進發,途經九亭擊潰了阻截的數百民團。8月4日,第三路游擊隊繞過忠州城,渡過長江。5日,進駐石柱縣西樂坪,準備在此休整幾日再進。10日凌晨,忽遭國民黨陳蘭亭師張曉平團及6個民團近萬人的前堵後追,游擊軍在疲憊之際,回頭應戰,與敵人激戰了三天三夜,最後,終因寡不敵眾,彈盡糧絕,游擊軍受到慘重損失。王維舟率帶部分隊員艱難地突出重圍,歷盡艱辛返回開江、宣漢、梁山一帶,總結教訓,將突圍出來的數百人分散在有民眾基礎的梁山、達縣、宣漢和開江交界的地區,繼續發動民眾,組織農民協會。
1931年5月,王維舟前往成都參加四川省委會議,根據省委決定成立梁(山)萬(縣)中心縣委,加強黨對武裝鬥爭的領導,重新組建川東遊擊軍堅持游擊戰爭,吸納有覺悟的青年農民,壯大隊伍。游擊軍發展到上萬人,使革命的星星之火在川東重新燃起,為建立川陝革命根據地創造了有利條件。當時,王維舟正被軍閥劉湘以10萬大洋懸賞捉拿。因此他不得不繞道萬縣回宣漢。王維舟回到宣漢後,立即決定在芭蕉場、峽口場一帶重組川東遊擊軍,實行工農武裝割據。他首先整頓組織,召開黨的緊急會議,傳達省委指示,總結前兩次失敗的教訓,並結合川東北地區的政治、經濟、軍事形勢,制定了新的鬥爭方針和策略。
1933年底,川東遊擊軍與紅四方面軍勝利會師,使川陝革命根據地與川東遊擊區連成了一片。.此後,川東遊擊軍改編為中國工農紅軍第33軍,王維舟任軍長,下轄三個師(九十七、九十八、九十九師),蔣群麟任九十九師師長,冉南軒為九十八師師長,王波為九十七師師長。從此,王維舟率領紅三十三軍將士踏上了新的革命征程。