基本介紹
- 中文名：率失真理論
- 外文名：（Rate distortion theory
- 定義：碼率下能達到最小期望失真
- 類型：理論
- 套用學科：通信（資訊理論）
起源,量度,計算,限失真編碼定理,套用,
起源
率失真理論的名稱來源於信息速率失真函式，率失真理論包含兩個中心內容：一是率失真函式或失真率函式，二是限失真編碼定理。這就是針對不同的信源．不同的失真量度和不同信源機率分布計算率失真函式和證明相應的限失真編碼定理。
量度
率失真理論涉及三個基本概念；信源、編碼和失真量度。失真量度是這一理論特有的。它是對編解碼器輸入x和輸出y之間的失真所給予的量度，即d（x，y）。數學上，任何範數或距離（度量）都可作為失真量度。但在具體選擇時要考慮到物理上或主觀上應有意義，且數學上易處理和計算方便。已有的失真量度按量度的性質可分為範數失真量度和擬範數失真量度，按高階失真量度與一階失真量度的關係又可分為可加性量度和非可加性量度。現在常用的是差值失真量度和漢明失真量度。均方誤差失真量度，即d（x，y）=（x-y）2，既屬於範數失真量度，也屬於距離失真量度，又是一種差值失真量度，不僅有明確的物理意義，而且數學上也易於處理。
計算
率失真函式和失真率函式（即率失真函式的反函式）是通過互信息的概念加以定義的。將編解碼器看成是一種信道，稱為試驗信道有條件機率P（y|x）。這一信道的輸入x和輸出y分別對應編碼的輸入和解碼的輸出。試驗信道輸入輸出間的互信息相當於信源通過編解碼器給信宿的信息量。這樣，率失真函式R（D）被定義為試驗信道輸入輸出間的平均失真量度，失真量度不超過D的條件下，試驗信道輸入輸出間互信息量的最小值，即如圖1 。
圖1
圖1而D=Ed（x，y），失真率函式D（R）則相反，它是指互信息的值不超過R的條件下，失真度D可能達到的最小值。這兩個函式的計算在原則上都可以用拉格朗日乘子法或變分法來解決，但除了一些簡單的情況，如獨立二元信源，平穩高斯信源以外，一般很難得到解析解。R．E．勃拉赫特提出的疊代算法為獲得數值解提供了一種通用的算法。此外，在某些情況下利用求出上下界的辦法對函式進行估計。例如，在非可加性失真量度和擬範數失真量度下，求解高階率失真函式的仙農下界。
圖2
圖2儘管這兩個函式的求解有一定難度，但這兩個函式變化的一般趨勢都很簡單。其中率失真函式R（D）是一個在（0，Dmax）區間上嚴格遞減、下凸的函式，D大於Dmax以後均取零。而在D=0時，對離散信源等於信源的熵，對連續信源則趨於無限大，如圖所示。失真率函式D（R）同樣是R的單調下降的下凸函式。
限失真編碼定理
在最簡單的離散、無記憶、平穩信源和分組編況下，設信源的率失真函式是R（D），當R>R（D）時，一定存在一種具體的編碼方法， 使其失真小於D+ε，其中ε是一個無窮小量。反之若R<R（D），則不論用什麼編碼方法，其失真必大於D；對一般遍歷信源，平穩非遍歷信源、漸近平穩非遍歷信源等其它信源，以及移不變碼（滑動分組碼）等非分組碼的情況下，也有類似的定理。該定理的證明所使用的是隨機編碼的方法，雖然不能從中得到一種具體的編解碼方法，但卻證明了這樣的好碼必然存在。這樣，信源編碼定理就在數據壓縮的具體編碼方法和率失真函式之間建立起一種聯繫，對具體編碼方法的研究起到了指導作用。
套用
率失真理論的主要套用有兩種：①數據壓縮。為數據壓縮的性能提供理論極限和比較標準，對具體編碼方法的研究起方向指導作用；②模式識別。統計模式識別與數據壓縮是兩個具有交叉領域的學科。率失真理論在模式分類、特徵選擇等問題上有重要的套用。
率失真理論在套用中，也存在一些問題。例如：它解決得較好的信源是平穩遍歷信源，而在實際中，信源經常是非平穩非遍歷的；它解決得比較好的編碼是分組碼，但在實際套用中，非分組碼相當普遍。同時，理論上要求對信源建立精確的模型，但實際上只能得到近似的模型；理論上假定已有正確的失真量度，但如何得到這量度尚無有效的辦法。
