刪除資料庫重複數據

原因

為什麼需要我們刪除資料庫的重複數據呢？多數是因為資料庫設計者在設計資料庫時的疏漏，沒有對不該重複的實體或欄位加以限制。

分類

數據重複一般可分為二類，根據不同的重複類型有不同的解決方法。

第一類重複

實體重複，完全重複：即所有欄位完全重複。

第二類重複

欄位重複：某一個或多個不該重複的欄位重複了，比如Name欄位重複。

目的

刪除重複數據是為了保護數據的安全性，完整性，可維護性等等。

解決方法

方法一

對於完全重複的記錄，比較容易解決，使用 select distinct * from tableName 就可以得到無重複記錄的結果集。

如果該表需要刪除重複的記錄（重複記錄保留1條），可以按以下方法刪除

select distinct * into #Tmp from tableName

drop table tableName

select * into tableName from #Tmp

drop table #Tmp

發生這種重複的原因是表設計不周產生的，增加唯一索引列即可解決。

方法二

欄位重複，這類重複問題通常要求保留重複記錄中的第一條記錄，操作方法如下：

假設有重複的欄位為Name要求得到這個欄位唯一的結果集

select identity(int,1,1) as autoID, * into #Tmp from tableName

select min(autoID) as autoID into #Tmp2 from #Tmp group by Name

select * from #Tmp where autoID in(select autoID from #tmp2)

最後一個select即得到了Name不重複的結果集（但多了一個autoID欄位，實際寫時可以寫在select子句中省去此列，如果要刪除庫里的重複數據，只要將對應的delectable或drop掉就可以了）。

方法三

欄位重複，刪除表中多餘的重複記錄，要保證（rowname）欄位不重複，只留有rowid（標識列）最小的記錄

delete from tableName

where rowname in (select rowname from tableName group by rowname

having count(rowname ) > 1)

and rowid not in (select min(rowid) from tableName group by rowname having count(rowname )>1)