主成分回歸分析

主成分回歸分析(principle component regression；PCR)，以主成分為自變數進行的回歸分析。是分析多元共線性問題的一種方法。用主成分得到的回歸關係不像用原自變數建立的回歸關係那樣容易解釋。

用主成分分析法對回歸模型中的多重共線性進行消除後，將主成分變數作為自變數進行回歸分析，然後根據得分係數矩陣將原變數代回得到的新的模型。

基本介紹

• 中文名：主成分回歸分析
• 外文名：principle component regression
• 領域：數學
• 學科：統計學
• 性質：回歸分析
• 目的：解決多元共線性問題

概念

在統計學中，主成分回歸分析(principle component regression；PCR)，以主成分為自變數進行的回歸分析。是分析多元共線性問題的一種方法。用主成分得到的回歸關係不像用原自變數建立的回歸關係那樣容易解釋。

用主成分分析法對回歸模型中的多重共線性進行消除後，將主成分變數作為自變數進行回歸分析，然後根據得分係數矩陣將原變數代回得到的新的模型。

主成分分析

主成分分析（Principal Component Analysis，PCA）， 是一種統計方法。通過正交變換將一組可能存在相關性的變數轉換為一組線性不相關的變數，轉換後的這組變數叫主成分。

在實際課題中，為了全面分析問題，往往提出很多與此有關的變數（或因素），因為每個變數都在不同程度上反映這個課題的某些信息。

主成分分析首先是由K.皮爾森（Karl Pearson）對非隨機變數引入的，爾後H.霍特林將此方法推廣到隨機向量的情形。信息的大小通常用離差平方和或方差來衡量。

主成分分析是設法將原來眾多具有一定相關性（比如P個指標），重新組合成一組新的互相無關的綜合指標來代替原來的指標。

主成分分析，是考察多個變數間相關性一種多元統計方法，研究如何通過少數幾個主成分來揭示多個變數間的內部結構，即從原始變數中導出少數幾個主成分，使它們儘可能多地保留原始變數的信息，且彼此間互不相關.通常數學上的處理就是將原來P個指標作線性組合，作為新的綜合指標。

最經典的做法就是用F1（選取的第一個線性組合，即第一個綜合指標）的方差來表達，即Var(F1)越大，表示F1包含的信息越多。因此在所有的線性組合中選取的F1應該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來P個指標的信息，再考慮選取F2即選第二個線性組合，為了有效地反映原來信息，F1已有的信息就不需要再出現在F2中，用數學語言表達就是要求Cov(F1, F2)=0，則稱F2為第二主成分，依此類推可以構造出第三、第四，……，第P個主成分。

概括起來說，主成分分析主要由以下幾個方面的作用。

1．主成分分析能降低所研究的數據空間的維數。即用研究m維的Y空間代替p維的X空間(m<p)，而低維的Y空間代替高維的x空間所損失的信息很少。即：使只有一個主成分Yl(即 m=1)時，這個Yl仍是使用全部X變數(p個)得到的。例如要計算Yl的均值也得使用全部x的均值。在所選的前m個主成分中，如果某個Xi的係數全部近似於零的話，就可以把這個Xi刪除，這也是一種刪除多餘變數的方法。

2．有時可通過因子負荷aij的結論，弄清X變數間的某些關係。

3．多維數據的一種圖形表示方法。我們知道當維數大於3時便不能畫出幾何圖形，多元統計研究的問題大都多於3個變數。要把研究的問題用圖形表示出來是不可能的。然而，經過主成分分析後，我們可以選取前兩個主成分或其中某兩個主成分，根據主成分的得分，畫出n個樣品在二維平面上的分布況，由圖形可直觀地看出各樣品在主分量中的地位，進而還可以對樣本進行分類處理，可以由圖形發現遠離大多數樣本點的離群點。

4．由主成分分析法構造回歸模型。即把各主成分作為新自變數代替原來自變數x做回歸分析。

5．用主成分分析篩選回歸變數。回歸變數的選擇有著重的實際意義，為了使模型本身易於做結構分析、控制和預報，好從原始變數所構成的子集合中選擇最佳變數，構成最佳變數集合。用主成分分析篩選變數，可以用較少的計算量來選擇量，獲得選擇最佳變數子集合的效果。

回歸分析

回歸分析（regression analysis）是確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。運用十分廣泛，回歸分析按照涉及的變數的多少，分為一元回歸和多元回歸分析；按照因變數的多少，可分為簡單回歸分析和多重回歸分析；按照自變數和因變數之間的關係類型，可分為線性回歸分析和非線性回歸分析。如果在回歸分析中，只包括一個自變數和一個因變數，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變數，且自變數之間存線上性相關，則稱為多重線性回歸分析。

相關分析研究的是現象之間是否相關、相關的方向和密切程度，一般不區別自變數或因變數。而回歸分析則要分析現象之間相關的具體形式，確定其因果關係，並用數學模型來表現其具體關係。比如說，從相關分析中我們可以得知“質量”和“用戶滿意度”變數密切相關，但是這兩個變數之間到底是哪個變數受哪個變數的影響，影響程度如何，則需要通過回歸分析方法來確定。

一般來說，回歸分析是通過規定因變數和自變數來確定變數之間的因果關係，建立回歸模型，並根據實測數據來求解模型的各個參數，然後評價回歸模型是否能夠很好的擬合實測數據；如果能夠很好的擬合，則可以根據自變數作進一步預測。

多元共線性問題

多元共線性（Multicollinearity）是指線性回歸模型中的解釋變數之間由於存在精確相關關係或高度相關關係而使模型估計失真或難以估計準確。

一般來說，由於經濟數據的限制使得模型設計不當，導致設計矩陣中解釋變數間存在普遍的相關關係。完全共線性的情況並不多見，一般出現的是在一定程度上的共線性，即近似共線性。

解決方法：

（1）排除引起共線性的變數

找出引起多重共線性的解釋變數，將它排除出去，以逐步回歸法得到最廣泛的套用。

（2）差分法

時間序列數據、線性模型：將原模型變換為差分模型。

（3）減小參數估計量的方差：嶺回歸法（Ridge Regression）。