判別模型是一種對未觀測數據y與已觀測數據x之間關係進行建模的方法，直接對條件機率p(y|x;θ)建模。
基本介紹
- 中文名：判別模型
- 外文名：Discriminative Model
簡介,定義,種類,生成模型,
簡介
在機器學習領域判別模型是一種對未知數據 y 與已知數據 x 之間關係進行建模的方法。判別模型是一種基於機率理論的方法。已知輸入變數 x ，判別模型通過構建條件機率分布 P(y|x) 預測 y 。
定義
在機率框架內，已知輸入變數x，判別模型通過求解條件機率分布P(y|x)預測y。
常見的判別式模型有線性回歸模型、線性判別分析、支持向量機SVM、神經網路等。
與生成模型不同，判別模型不考慮x與y間的聯合分布。但對於諸如分類和回歸問題，由於不考慮聯合機率分布，採用判別模型可以取得更好的效果。另一方面，生成模型在刻畫複雜學習任務中的依賴關係方面較判別模型更加靈活。
大部分判別模型本身是監督學習模型，不易擴展用於非監督學習過程。具體套用的特點最終決定判別模型和生成模型的適用性。
種類
- 邏輯回歸
生成模型
在機率統計理論中,生成模型是指能夠隨機生成觀測數據的模型，尤其是在給定某些隱含參數的條件下。它給觀測值和標註數據序列指定一個聯合機率分布。在機器學習中，生成模型可以用來直接對數據建模（例如根據某個變數的機率密度函式進行數據採樣），也可以用來建立變數間的條件機率分布。條件機率分布可以由生成模型根據貝葉斯定理形成。
香農(1948) 給出了有一個英語雙詞頻率表生成句子的例子。可以生成如“representing and speedily is an good”這種句子。一開始並不能生成正確的英文句子，但隨著詞頻表由雙詞擴大為三詞甚至多詞，生成的句子也就慢慢的成型了。
生成模型的定義與判別模型相對應：生成模型是所有變數的全機率模型，而判別模型是在給定觀測變數值前提下目標變數條件機率模型。因此生成模型能夠用於模擬（即生成）模型中任意變數的分布情況，而判別模型只能根據觀測變數得到目標變數的採樣。判別模型不對觀測變數的分布建模，因此它不能夠表達觀測變數與目標變數之間更複雜的關係。因此，生成模型更適用於無監督的任務，如分類和聚類。
典型的生成模型包括:
- AODE分類器
- 潛在狄利克雷分配模型
如果觀測數據是由生成模型中採樣的，那么最大化數據似然機率是一個常見的方法。但是，大部分統計模型只是近似於真實分布，如果任務的目標是在已知一部分變數的值的條件下，對另一部分變數的推斷，那么可以認為這種模型近似造成了一些對於當前任務來說不必要的假設。在這種情況下，使用判別模型對條件機率函式建模可能更準確，儘管具體的套用細節會最終決定哪種方法更為適用。
