近年來中國人類基因調查表明，漢族南方居民的基因更接近於南方的少數民族，而與北方漢族居民明顯不同。這說明南方漢族居民的主體來自古代南方的非漢族居民。如果對史書的記載作深一層的分析，我們也可以得到同樣的結論。
古代東南地區居民，文獻上通稱百越，有于越、甌越、閩越、東越、揚越、南越、駱越等。《漢書·地理志》臣瓚註：“自交阯至會稽七八千里，百越雜處，各有種姓”，指的就是這些民族。這些民族的人數並非人們認為的那么少。試以南越（粵）、閩越、甌越為例，南越、閩越的甲卒都有數十萬，甚至近百萬，其全國人口當然都以百萬計。吳王濞造反的時候，東甌曾派軍隊到丹徒配合作戰，兵力“可萬餘人”，東甌國決不會把全國的兵力都派去幫劉濞作戰，這“萬餘人”只不過是全國兵力的小部分。建元三年，閩越發兵圍東甌，東甌雖然不支，但是也相持到漢軍到來，說明東甌的兵力即使沒有閩越那么多，但是與閩越的“數十萬”相比不會差得太大，如此推測，東甌國也可能有近百萬人口。
東甌、東越、閩越三國後來都被漢武帝內遷，《史記·東越列傳》：“地遂虛”。但是被內遷的只是王國的君臣、軍隊及王畿居民，實際上仍有大量的遁逃遺民，史稱山越。一直到東漢，這些地區的越族勢力仍然相當強大，漢王朝在東甌、東越、閩越三王故都全都建立了軍事據點，還派驃騎將軍大肆鎮壓。到三國的時候，內陸仍是越人的勢力，東南各地還是百越人的居住區。據《三國志》載許靖給曹操的信說：他從會稽“南至交州，經歷東甌、閩越之國，行經萬里，不見漢地”，也就是說，三國時代從浙北一直到越南的廣大土地上，都很少看到有漢人居住。
