1938年3月至4月，在新四軍完成改編、集結、整訓的同時，日軍在華北、華中的主力沿津浦線南北對進，企圖奪取徐州，進占華中。國民黨軍大部集結於徐州、武漢及長江一線，準備與日軍決戰。為此，中共中央指示新四軍，利用有利時機，深入日軍後方，發動、組織民眾，在大江以南創建抗日根據地。4月下旬，新四軍從第一、二、三支隊抽調團以下幹部和偵察分隊組成先遣支隊，由第二支隊副司令員粟裕率領，挺進蘇南敵後，進行戰略偵察。第四支隊在高敬亭率領下，在皖中舒城、桐城、廬江、無為地區展開，江南的部隊也從集結地區出動。6月14日，陳毅率第一支隊進入茅山，經南陵挺進蘇南。張鼎臣率第二支隊於7月進入寧蕪鐵路和寧杭公路間的江寧、當塗、潥水、高淳地區。譚震林率第三支隊策應第一、二支隊的行動後，於7月中旬進入皖南蕪湖、繁昌、青陽地區。新四軍軍部進駐皖南涇縣雲嶺村。9月底，在河南竹溝地區的新四軍游擊支隊在彭雪楓的率領下，挺進豫皖蘇邊區，開始了創建抗日根據地的鬥爭。新四軍挺進大江南北後，先後作戰200餘次，斃傷日偽軍3200餘人，俘敵600餘人，消耗了敵人的有生力量，配合了正面戰場的作戰。
