萬普尼克-澤范蘭傑斯理論（英語：Vapnik–Chervonenkis theory），又稱VC理論（VC theory）是一個於1960年代到1990年代由弗拉基米爾·萬普尼克（Vapnik）及亞歷克塞·澤范蘭傑斯建立的一套機器學習理論。
基本介紹
- 中文名：萬普尼克-澤范蘭傑斯理論
- 外文名：Vapnik–Chervonenkis theory
- 簡稱：VC理論
- 提出者：弗拉基米爾·萬普尼克
- 建立時間 ：1960年代到1990年代
簡介,主要內容,損失函式,支持向量機,條件隨機場,相關,
簡介
萬普尼克-澤范蘭傑斯理論（英語：Vapnik–Chervonenkis theory），又稱VC理論（VC theory）是一個於1960年代到1990年代由弗拉基米爾·萬普尼克（Vapnik）及亞歷克塞·澤范蘭傑斯建立的一套機器學習理論，使用統計的方法，因此有別於歸納學習等其它機器學習方法。
由這套理論所引出的支持向量機對機器學習的理論界以及各個套用領域都有極大的貢獻。
主要內容
損失函式
在最最佳化，統計學，計量經濟學，決策論，機器學習和計算神經科學的領域中，損失函式或成本函式是指一種將一個事件（在一個樣本空間中的一個元素）映射到一個表達與其事件相關的經濟成本或機會成本的實數上的一種函式，藉此直觀表示的一些"成本"與事件的關聯。一個最佳化問題的目標是將損失函式最小化。一個目標函式通常為一個損失函式的本身或者為其負值。當一個目標函式為損失函式的負值時，目標函式的值尋求最大化。
在統計學中，損失函式的作用是估計參數。
支持向量機
在機器學習中，支持向量機（英語：support vector machine，常簡稱為SVM，又名支持向量網路）是在分類與回歸分析中分析數據的監督式學習模型與相關的學習算法。給定一組訓練實例，每個訓練實例被標記為屬於兩個類別中的一個或另一個，SVM訓練算法創建一個將新的實例分配給兩個類別之一的模型，使其成為非機率二元線性分類器。SVM模型是將實例表示為空間中的點，這樣映射就使得單獨類別的實例被儘可能寬的明顯的間隔分開。然後，將新的實例映射到同一空間，並基於它們落在間隔的哪一側來預測所屬類別。
除了進行線性分類之外，SVM還可以使用所謂的核技巧有效地進行非線性分類，將其輸入隱式映射到高維特徵空間中。
當數據未被標記時，不能進行監督式學習，需要用非監督式學習，它會嘗試找出數據到簇的自然聚類，並將新數據映射到這些已形成的簇。將支持向量機改進的聚類算法被稱為支持向量聚類，當數據未被標記或者僅一些數據被標記時，支持向量聚類經常在工業套用中用作分類步驟的預處理。
