估計理論

估計理論是對收信端接收到的混有噪聲的信號，用統計學方法估計出信號的參量或狀態的理論。估計分為參量估計和狀態估計兩類。參量和狀態的區別是：前者隨著時間保持不變或只緩慢變化；後者則隨著時間連續變化。例如，根據雷達回波來估計每一時刻在連續變化的衛星的三個空間位置矢量和三個速度矢量，這是狀態估計。對衛星的質量和慣量等的估計則屬於參量估計。被估計的參量又可分為隨機變數和非隨機變數兩種。要估計的狀態則又有離散時間和連續時間的區別。

基本介紹

• 中文名：估計理論
• 外文名：estimationtheory
• 套用學科：通信

簡史

19世紀初，德國數學家C．F．高斯提出了最小二乘法估計，即最小平方誤差估計。從20世紀20~30年代，英國統計學家R．A．費什爾系統地建立經典估計理論。1941年蘇聯科學家A． H．柯爾莫戈洛夫首先論述離散時間情況下的預測問題，1942年推導出連續時間濾波。他們都把統計方法套用於解決與狀態估計有關的最佳線性濾波問題，為現代估計理論奠定了基礎。20世紀60年代初R．E．卡爾曼等人發展了維納理論，把狀態變數法引入濾波理論，用時域微分方程表示濾波問題，得到遞歸濾波算法，稱為卡爾曼濾波，適於用計算機求解和實時處理，從而使估計理論在許多領域得到套用。20世紀80年代初，光纖通信和雷射雷達等的發展，促進了量子檢測和估計理論的發展。

基本概念

源的輸出通常是時間t的函式,並且包含待估計的參量。例如,在雷達系統中,目標在每一時刻的回波就是源的輸出,可寫成Acos[2πf(t-tR)+φ0]，A是回波幅度；f是回波頻率；tR是時延。這些都是待估計的參量，包含著目標的散射特性、空間距離和運動速度等信息。源發出的數據在到達數據處理裝置前總是受到隨機噪聲的干擾。機率轉移機構把數據和噪聲按照數學規則轉移成具有一定機率模型的信號，作為處理裝置的輸入 y。處理裝置的任務就是對具有機率特性的數據進行必要的處理，然後按設定的規則得到估計量。如果待估計的參量只有一個θ，從對 y的n個觀測數據的處理所得的估計量為；因y具有隨機特性，估計量也將是一個隨機變數，它本身也有一階矩、二階矩等統計特性。估計量的好壞可用它的統計特性來表示。當θ 為實際參量時,稱與θ（稱為真值）之差為估計誤差。

基本內容

常用的估計方法有最小平方誤差估計，極大似然估計和貝葉斯估計。最小平方誤差估計是使次觀測值與理論計算值的絕對誤差在平方和意義下為最小，並由此求得估計量。極大似然估計是以似然函式的概念為基礎的。例如，用Y來表示一組觀測量，θ表示一組未知參量，則條件機率密度函式p（Y|θ）是Y和θ兩者的函式。如果規定Y等於其觀測量Y*，則 p(Y*|θ)只是θ的函式，並稱之為似然函式。其涵義是p(Y*|θ)的值越大，則θ是準確值的可能性也越大。使(Y*|θ)最大的θ就是極大似然估計量。貝葉斯估計首先要給定隨機參量θ的機率密度函式p(θ)和因估計誤差而帶來的代價函式C(θ，）。假設處理裝置對Y進行了n次測量：y=(y1，y2…yn），對每次測量的估計為帶來可用c(θ，)表示的風險，使平均風險為最小的估計就是貝葉斯估計。

套用實例

如果的期望值為零，即

表示估計量的期望值等於真值,稱為無偏估計。如果對同一參量θ用不同估計方法得出不同的無偏估計1,2,…，其中之一κ的方差是所有估計量方差中最小的，並達到相應的下限時,則稱κ為有效估計。如果對任一小的正數ε有下列機率的極限關係

則稱為一致估計。

估計方法

常用的估計方法有最小平方誤差估計、極大似然估計和貝葉斯估計。

最小平方誤差估計

：對信號和噪聲的統計知識可以不作任何要求。它的基本點是使 n次觀測值與理論計算值的絕對誤差在平方和意義下最小，並由此求得估計量。若u是變數x,y,…的函式並含有m個參量θ1,θ2，…，θm，即

u=f(θ1,θ2,…,θm;x,y,…)

對u和x，y，…作n次觀測，得

(xi,yi,…,ui)　 (i=1,2,…,n)

於是u的理論計算值與觀測值ui的絕對誤差為，i=1，2，…,n。如n個絕對誤差的平方和最小,從而使函式u與觀測值u1,u2,…，un最佳擬合,也就是使參量θ1，θ2，…，θm滿足下列關係

為最小。根據微分學中求極值方法可知，θ1,θ2,…,θm，應滿足下列方程組

媉θ/媉θi=0　 (i=1，2，…，m)

由此可求得最小平方誤差估計量1，2，…，m。

極大似然估計:以似然函式的概念為基礎

用Y表示一組觀測量，θ表示一組未知參量，則條件密度函式p（Y|θ）是Y 和θ兩者的函式。如果規定Y等於其觀測量Y*，則p(Y*│θ只是θ的函式,並稱為似然函式。其涵義是似然函式p(Y*|θ)的值越大,則θ是準確值的可能性也越大。使p(Y*θ)最大的θ就是極大似然估計量，通常用表示。

貝葉斯估計

對於單參量估計（多參量估計的情況相似）來說，首先要給定隨機參量 θ的機率密度函式p(θ)和因估計誤差而帶來的代價函式C(θ，)。假設處理裝置對Y進行了n次測量,y=(y1,y2,…，yn),且已知θ時y的條件聯合機率密度為p(y│θ)，則估計量(y)帶來的風險為

平均風險為

貝葉斯估計就是使平均風險R()成為最小的估計。可由方程

解出貝葉斯估計量。