非參數化回歸

評價

(1)回歸函式形式自由，受約束少，對數據的分布一般不做任何要求；

(2)適應能力強，穩健性高，回歸模型完全由數據驅動；

(3)模型的精度高；

(4)對於非線性、非齊次問題，有非常好的效果。

(1)不能進行外推運算；

(2)估計的收斂速度慢；

(3)一般只有在大樣本的情況下才能得到很好的效果，而小樣本的效果較差；

(4)高維詛咒, 光滑參數的選取一般較複雜。

理想的情況是希望選擇合適的光滑參數h，使得通過樣本數據擬合的回歸曲線能夠最好的逼近真實的回歸曲線(即達到風險最小)，這裡真實回歸函式m(x)一般是未知的。

但是這並不是一個好的估計，會導致過擬合（欠光滑），原因在於兩次利用了數據，一次估計函式，一次估計風險。我們選擇的函式估計就是使得殘差平方和達到最小，因此它傾向於低估了風險。