1934年8月，湘贛軍區獨立第4團掩護紅軍第6軍團由湘贛蘇區西征後，留在湘南地區開展游擊戰爭。11月，中央紅軍長征途經湘南時留下的傷病員-200餘人組成湘南紅軍支隊，也在該地區堅持游擊活動。1935年春，國民黨地方武裝1個旅和5個保全團隊向獨立第4團及紅軍支隊進行“圍剿”，湘南紅軍支隊失敗，獨立第4團遭受嚴重損失，中共湘南特委書記彭林昌犧牲。4月，獨立第4團餘部100餘人轉移到桂東縣東邊山地區，另以該團6名傷員為骨幹組成湘南紅軍獨立大隊（後改為湘粵邊赤色游擊大隊），在郴縣與宜章縣交界的騎田嶺一帶堅持游擊活動，部隊發展到80餘人。同月，贛粵邊地區游擊隊300餘人及贛粵邊北山前擊隊轉至桂東地區，同獨立第4團、湘贛軍區第4軍分區1個連、紅軍第24師第71團餘部以及桂東遊擊隊共近千人，合編為湘粵贛邊游擊支隊，蔡會文任支隊長兼政治委員（下轄8個大隊），同時成立中共湘粵贛邊特委，陳山任特委書記。隨後游擊支隊多次取得反“清剿”的勝利，並建立了包括湖南省酃縣、茶睦，江西省上猶、崇義，廣東省始興、南雄等16個縣450平方公里的湘粵贛邊游擊根據地。同年秋到1936年春，在國民黨軍重兵“清剿”中，部隊遭重大損失，蔡會文犧牲。湘粵贛邊特委與湘南特委合併成立新的湘南特委，游擊支隊在特委書記兼支隊政治委員周里和支隊長游世雄率領下，繼續開展游擊戰爭。與此同時，湘南赤色游擊第2、第3大隊分別在茶（陵）安（仁）酃（縣）和耒（陽）安（仁）永（興）邊界地區堅持游擊戰爭。全國抗日戰爭爆發後，國共兩黨達成停止內戰、共同抗日的協定。湘南紅軍和游擊隊下山集結，擴大部隊。1938年2月由湘粵贛邊游擊支隊改編的湘粵贛邊區人民抗日義勇軍300餘人，開赴江西省大庾（今大余）縣池江，編入新四軍第1支隊第2團；湘粵邊赤色游擊大隊和湘南赤色游擊第3大隊共300餘人，進到安徽省太平縣城，改編為新四軍軍部特務營，奔赴抗日前線。
