Nadaraya-Watson回歸

Nadaraya-Watson回歸（Nadaraya-Watson regression）是核回歸（kernel regression）方法的一種，是使用核函式對數據進行非參數估計（nonparametric estimation）的回歸模型。

基本介紹

• 中文名：Nadaraya-Watson回歸
• 外文名：Nadaraya-Watson regression
• 類型：回歸模型，非參數模型
• 提出者：E.A.Nadaraya，G.S. Watson
• 提出時間：1964年
• 學科：統計學

發展歷史

Nadaraya-Watson回歸是前蘇聯數學家Èlizbar A. Nadaraya和澳大利亞統計學家Geoffrey S. Watson於1964年分別提出的非參數回歸模型。1989年，德國統計學家Wolfgang K. Härdle提出了可用於計算Nadaraya-Watson回歸置信區間的漸進極大偏差（asymptotic maximal deviation）方法。

理論

Nadaraya-Watson回歸使用樣本的局部平均對回歸目標進行估計，可視為k近鄰算法（K-Nearest Neighbour, KNN）的推廣。在回歸問題中給定輸入數據和學習目標：，以及特徵空間（feature space）映射函式所對應的核函式（kernel function）：。Nadaraya-Watson回歸有如下形式：

常見的核函式選擇包括徑向基函式核（RBF kernel）和均勻分布核（uniform kernel）。

性質

Nadaraya-Watson回歸具有非參數模型（nonparametric model）的一般性質。相比於使用參數估計的回歸模型，Nadaraya-Watson回歸的優勢在於其複雜度由數據而不是預先給定的參數決定，且沒有學習，即參數估計步驟；其不足在於模型的每次預測都需要處理所有樣本，且在高維樣本的情形下表現不佳。