在模式識別中,費雪線性判別(Fisher's linear discriminant)是一種線性判別方法。
基本介紹
- 中文名:費雪線性判別
- 外文名:Fisher's linear discriminant
- 屬於:線性判別方法
- 學科:模式識別
簡介,兩類情況,多類情況,套用,人臉識別,
簡介
在模式識別中,費雪線性判別(Fisher's linear discriminant)是一種線性判別方法,其意圖是將d維空間中的數據點投影到c-1維空間上去,使得不同類的樣本點在這個空間上的投影儘量分離,同類的儘量緊湊。
兩類情況
在二類判別時,費雪線性判別將d維空間中的數據點投影到一條直線上去,使得不同類的樣本點在這條直線上的投影儘量分離,同類的樣本點在這條直線上儘量緊湊。假設有兩類樣本集的類別為ω1,樣本數為n1,的類別為ω2,樣本數為n2。定義樣本均值mi和類內散布Si。
投影直線的方向向量為w,樣本投影在直線上的值為y。則可得兩類樣本投影后的均值和類內散布為,i=1,2。
在兩個類別的分布是多元常態分配,且協方差矩陣相同時,根據貝葉斯決策理論,,並且w0是一個與w和先驗機率有關的常數。我們可以用樣本均值與樣本協方差去估計ui和Σ。更一般地說,如果我們對投影后的數據進行平滑,或用一維高斯函式進行擬合,ω0就位於使兩類的後驗機率相同的位置上。
多類情況
費雪線性判別在面對二類判別時,將兩類樣本向一條直線投影,也就是將數據從d維空間向1維空間投影。這樣在面對c個類的判別時,所要做就是將數據從d維空間向c-1維空間投影。這就需要推廣投影方程、類間散布矩陣SB和類內散布矩陣SW。從d維空間向c-1維空間的投影是通過c-1投影方程進行的:
這裡的為第i類的樣本集。設,c-1個方程可以更簡練地表達:
這裡的為第i類的樣本的投影向量集。類間散布矩陣SB和類內散布矩陣SW可以由總體散布矩陣ST和總體均值向量m推導得到:
可以證明,當W的列向量wi是的廣義特徵向量時,可以使得J(w)最大。因為SB中c個秩為1或0的矩陣相加,而且其中只有c-1個矩陣是相互獨立的。所以SB的秩最多為c-1。所以最多只有c-1個特徵向量是非零的。