Efron於2004年提出的一種變數選擇的方法，類似於向前逐步回歸(Forward Stepwise)的形式。從解的過程上來看它是lasso regression的一種高效解法。
基本介紹
- 中文名：最小角回歸
- 外文名：Least angle regression (LAR)
- 時間：2004
- 作者：Efron
簡介,算法執行步驟,
簡介
英文：Least angle regression (LAR)
向前逐步回歸(Forward Stepwise)不同點在於，Forward Stepwise每次都是根據選擇的變數子集，完全擬合出線性模型，計算出RSS，再設計統計量（如AIC）對較高的模型複雜度作出懲罰，而LAR是每次先找出和因變數相關度最高的那個變數, 再沿著LSE的方向一點點調整這個predictor的係數，在這個過程中，這個變數和殘差的相關係數會逐漸減小，等到這個相關性沒那么顯著的時候，就要選進新的相關性最高的變數，然後重新沿著LSE的方向進行變動。而到最後，所有變數都被選中，就和LSE相同了。
算法執行步驟
1. 對Predictors進行標準化（去除不同尺度的影響），對Target Variable進行中心化（去除截距項的影響），初始的所有係數都設為0，此時殘差 r 就等於中心化後的Target Variable
2. 找出和殘差r相關度最高的變數X_j
3. 將X_j的係數Beta_j 從0開始沿著LSE（只有一個變數X_j的最小二乘估計）的方向變化，直到某個新的變數X_k與殘差r的相關性大於X_j時
4. X_j和X_k的係數Beta_j和Beta_k，一起沿著新的LSE（加入了新變數X_k的最小二乘估計）的方向移動，直到有新的變數被選入
5. 重複2，3，4，直到所有變數被選入，最後得到的估計就是普通線性回歸的OLS。
