基本介紹
基本含義,擬合方程,最小二乘法,回歸係數,回歸方程誤差,離差平方和,利用預測值,不確定度,斜率b,截距a,套用,數學,趨勢線,流行病學,金融,經濟學,
基本含義
在統計學中，線性回歸（Linear Regression）是利用稱為線性回歸方程的最小平方函式對一個或多個自變數和因變數之間關係進行建模的一種回歸分析。這種函式是一個或多個稱為回歸係數的模型參數的線性組合。只有一個自變數的情況稱為簡單回歸，大於一個自變數情況的叫做多元回歸。（這反過來又應當由多個相關的因變數預測的多元線性回歸區別，而不是一個單一的標量變數。）
線上性回歸中，數據使用線性預測函式來建模，並且未知的模型參數也是通過數據來估計。這些模型被叫做線性模型。最常用的線性回歸建模是給定X值的y的條件均值是X的仿射函式。不太一般的情況，線性回歸模型可以是一個中位數或一些其他的給定X的條件下y的條件分布的分位數作為X的線性函式表示。像所有形式的回歸分析一樣，線性回歸也把焦點放在給定X值的y的條件機率分布，而不是X和y的聯合機率分布（多元分析領域）。
線性回歸是回歸分析中第一種經過嚴格研究並在實際套用中廣泛使用的類型。這是因為線性依賴於其未知參數的模型比非線性依賴於其未知參數的模型更容易擬合，而且產生的估計的統計特性也更容易確定。
線性回歸模型經常用最小二乘逼近來擬合，但他們也可能用別的方法來擬合，比如用最小化“擬合缺陷”在一些其他規範里（比如最小絕對誤差回歸），或者在橋回歸中最小化最小二乘損失函式的懲罰.相反,最小二乘逼近可以用來擬合那些非線性的模型.因此，儘管“最小二乘法”和“線性模型”是緊密相連的，但他們是不能劃等號的。
擬合方程
最小二乘法
一般來說，線性回歸都可以通過最小二乘法求出其方程，可以計算出對於y=bx+a的直線。
一般地，影響y的因素往往不止一個，假設有x1，x2，...，xk，k個因素，通常可考慮如下的線性關係式：
其中，
互不相關均是與
同分布的隨機變數。為了用矩陣表示上式，令：
線性回歸
線性回歸
線性回歸
線性回歸
於是有
，使用最小二乘法得到
的解
。其中，
稱為
的偽逆。
回歸係數
一般地，要求這個值大於5%。對大部分的行為研究者來講，最重要的是回歸係數。年齡增加1個單位，文檔的質量就下降 -.1020986個單位，表明年長的人對文檔質量的評價會更低。這個變數相應的t值是 -2.10，絕對值大於2，p值也<0.05，所以是顯著的。結論是，年長的人對文檔質量的評價會更低，這個影響是顯著的。相反，領域知識越豐富的人，對文檔的質量評估會更高，但是這個影響不是顯著的。這種對回歸係數的理解就是使用回歸分析進行假設檢驗的過程。
回歸方程誤差
離差平方和
根據回歸係數與直線斜率的關係，可以得到等價形式： ，其中b為直線斜率
利用預測值
不確定度
斜率b
法1：用
法2：把斜率b帶入
截距a
套用
數學
線性回歸有很多實際用途。分為以下兩大類：
- 如果目標是預測或者映射，線性回歸可以用來對觀測數據集的和X的值擬合出一個預測模型。當完成這樣一個模型以後，對於一個新增的X值，在沒有給定與它相配對的y的情況下，可以用這個擬合過的模型預測出一個y值。
- 給定一個變數y和一些變數X1,...,Xp，這些變數有可能與y相關，線性回歸分析可以用來量化y與Xj之間相關性的強度，評估出與y不相關的Xj，並識別出哪些Xj的子集包含了關於y的冗餘信息。
趨勢線
一條趨勢線代表著時間序列數據的長期走勢。它告訴我們一組特定數據（如GDP、石油價格和股票價格）是否在一段時期內增長或下降。雖然我們可以用肉眼觀察數據點在坐標系的位置大體畫出趨勢線，更恰當的方法是利用線性回歸計算出趨勢線的位置和斜率。
流行病學
有關吸菸對死亡率和發病率影響的早期證據來自採用了回歸分析的觀察性研究。為了在分析觀測數據時減少偽相關，除最感興趣的變數之外,通常研究人員還會在他們的回歸模型里包括一些額外變數。例如，假設我們有一個回歸模型，在這個回歸模型中吸菸行為是我們最感興趣的獨立變數，其相關變數是經數年觀察得到的吸菸者壽命。研究人員可能將社會經濟地位當成一個額外的獨立變數，已確保任何經觀察所得的吸菸對壽命的影響不是由於教育或收入差異引起的。然而，我們不可能把所有可能混淆結果的變數都加入到實證分析中。例如，某種不存在的基因可能會增加人死亡的幾率，還會讓人的吸菸量增加。因此，比起採用觀察數據的回歸分析得出的結論，隨機對照試驗常能產生更令人信服的因果關係證據。當可控實驗不可行時，回歸分析的衍生，如工具變數回歸，可嘗試用來估計觀測數據的因果關係。
金融
經濟學
線性回歸是經濟學的主要實證工具。例如，它是用來預測消費支出，固定投資支出，存貨投資，一國出口產品的購買，進口支出，要求持有流動性資產，勞動力需求、勞動力供給。
