模式分類方法

模式分類是通過構造一個分類函式或者分類模型將數據集映射到某一個給定的類別中，它是模式識別的核心研究內容，關係到其識別的整體效率，廣泛套用於各個研究領域。

基本介紹

• 中文名：模式分類方法
• 外文名：Pattern Classification Method
• 套用領域：人工智慧
• 傳統方法：Bayesian、Fisher、K-近鄰分類等
• 先進方法：支持向量機、BP神經網路等
• 屬於：模式識別的核心研究內容

概念

模式分類是通過構造一個分類函式或者分類模型將數據集映射到某一個給定的類別中，它是模式識別的核心研究內容，關係到其識別的整體效率，廣泛套用於各個研究領域。模式分類方法主要包括支持向量機( SVM) 、BP 神經網路、K 近鄰( KNN) 、樸素貝葉斯( Naive Bayes) 、線性判別分析( LDA) 和二次判別分析( QDA) 共六種模式分類方法。支持向量機的高效性和BP 神經網路適合處理複雜性問題的特性，使這兩種方法是當前套用最廣泛的分類方法。K 近鄰方法是一種基於權值的聚類方法，在分類中能得到較好的分類效果。樸素貝葉斯是基於機率的分類方法，易於理解且容易實現。線性判別分析、二次判別分析是採用不同判別函式的判別分析方法，是最常採用的分類方法。

主要方法

用於模式分類的方法很多，主要基於統計分析理論，如Bayesian 方法、Fisher 判別、K-近鄰分類等。

支持向量機

支持向量機方法( Support Vector Machine，SVM) 是通過統計學習理論發展起來的，主要是研究有限樣本的情況。支持向量機的任務是找到最大化兩類數據點邊緣的決策平面，即最優分類面。

BP 神經網路

BP( Back Propagation) 神經網路是一種神經網路學習算法，由輸入層、中間層、輸出層組成的階層型神經網路，中間層可擴展為多層。BP神經網路是一種誤差逆向傳播算法，採用梯度下降法作為其學習規則，網路的權值和閾值是不斷地通過方向傳播進行調整，從而達到最好的分類效率。

K 近鄰

K 近鄰法( K － Nearest Neighbour，KNN) 是在1967年由Cover 和Hart 提出的，是一種理論上比較成熟的方法。KNN 分類算法是非參數化方法，其基本思想：首先搜尋訓練集，找出最接近待分類對象d 的k 個訓練樣本，這k 個訓練樣本是d 的最近鄰，其度量方法有歐氏距離法、馬氏距離法、曼哈頓距離法等。

線性判別分析

判別分析是在觀測樣本數據的基礎上，判斷研究對象屬於哪一類的方法。進行判別分析必須已知觀測對象的分類和若干表明觀測對象特徵的變數值，判別分析就是要從中挑選出含有較多信息的變數並建立判別函式，然後對未知樣本的類別進行分類。

線性判別分析( Linear Discriminant Analysis，LDA)即fisher 線性判別，被廣泛用於模式分類中，其主要是將高維的樣本投影到最佳鑑別矢量空間，提取分類信息並壓縮特徵維數，以達到使類內距離最小同時類間距離最大，從而使各模式能被最好地分離開。

樸素貝葉斯方法

樸素貝葉斯（Naive Bayes）是貝葉斯的一種，樸素是指特徵之間必須相互獨立。樸素貝葉斯是一種非常簡單高效的分類方法。

二次判別分析

二次判別分析( Quadratic Discriminant Analysis，QDA) 類似於線性判別分析，線性判別分析進行分類時用的是直線，故為線性的，而二次判別分析在進行分類時用的是二次曲面將數據或相關事務分成兩個或以上的類，它是線性判別分析的一般版本。

方法比較

支持向量機的高效性和BP 神經網路適合處理複雜性問題的特性，使這兩種方法是當前套用最廣泛的分類方法。K 近鄰方法是一種基於權值的聚類方法，在分類中能得到較好的分類效果。樸素貝葉斯是基於機率的分類方法，易於理解且容易實現。線性判別分析、二次判別分析是採用不同判別函式的判別分析方法，是最常採用的分類方法。

相較區別

模式識別和分類的區別

模式識別主要是對已知數據樣本的特徵發現和提取，比如人臉識別、雷達信號識別等，強調從原始信息中提取有價值的特徵，在機器學習裡面，好的特徵所帶來的貢獻有時候遠遠大於算法本身的貢獻；模式分類可以理解為對具有了給定特徵的樣本通過分類器來進行分類，典型的模式分類方法有線性分類器（感知器，Fisher判別）、非線性分類器（BP神經網路、RBF、SVM），現實場景中主要是非線性啦，還有貝葉斯判決、C4.5、隨機森林等。
這兩者還會有個區別，目前模式識別主要是無監督學習，人為構造算法的成分比較大（比如，人臉裡面，工程師會事先告訴算法某些地方的特徵），而在模式分類上，機器學習可以發揮的空間就比較大，只要有了訓練樣本，適當降維和清洗數據，分類器是可以自動發現樣本中的特徵的，此所謂有監督機器學習。