有噪信道編碼定理

有噪信道編碼定理（又稱香農第二定理）是編碼存在定理。它指出只要信息傳輸速率小於信道容量，就存在一類編碼，使信息傳輸的錯誤機率可以任意小。隨著計算技術和數字通信的發展，糾錯編碼和密碼學得到迅速的發展。

基本介紹

• 中文名：有噪信道編碼定理
• 別稱：香農第二定理
• 表達式：C=B*log2(1+S/N)
• 提出者：香農
• 套用學科：資訊理論
• 適用領域範圍：信息與通信
• 分類：模數轉換和數據壓縮

基本信息

在信源編碼方面，1951年香農證明，當信源輸出有冗餘的訊息時可通過編碼改變信源的輸出，使信息傳輸速率接近信道容量。1948年香農就提出能使信源與信道匹配的香農編碼。1949年美國麻省理工學院的R.M.費諾提出費諾編碼。1951年美國電信工程師D.A.霍夫曼提出更有效的霍夫曼編碼。此後又出現了傳真編碼、圖像編碼和話音編碼，對數據壓縮進行了深入的研究，解決了數字通信中提出的許多實際問題。

在糾錯編碼方面,1948年香農就提出一位糾錯碼(碼字長=7,信息碼元數=4)。1949年出現三位糾錯的格雷碼(碼字長=23，信息碼元數=12)。1950年美國數學家R.W.漢明發表論文《檢錯碼和糾錯碼》，提出著名的漢明碼，對糾錯編碼產生了重要的影響。1955年出現卷積碼。卷積碼至今仍有很廣泛的套用。1957年引入循環碼。循環碼構造簡單,便於套用代數理論進行設計,也容易實現。1959年出現能糾正突發錯誤的哈格伯爾格碼和費爾碼。1959年美國的R.C.博斯和D.K.雷·喬達利與法國的A.奧崑岡幾乎同時獨立地發表一種著名的循環碼，後來稱為BCH碼(即Bose-Chaudhuri-Hocquenghem碼)。1965年提出序貫解碼序貫解碼已用於空間通信1967年A.J.維特比提出最大似然卷積解碼,稱為維特比解碼1978年出現矢量編碼法。矢量編碼法是一種高效率的編碼技術。1980年用數論方法實現里德－所羅門碼（Reed-Solomon碼）,簡稱RS碼。它實際上是多進制的BCH碼。這種糾錯編碼技術能使編碼器積體電路的元件數減少一個數量級。它已在衛星通信中得到了廣泛的套用。RS碼和卷積碼結合而構造的級連碼，可用於深空通信。

詳細介紹

在密碼學方面，1949年香農發表《保密系統的通信理論》，通常它被認為是密碼學的先驅性著作。1976年狄菲和赫爾曼首次提出公開密鑰體制，為密碼學的研究開闢了新的方向。超大規模積體電路和高速計算機的套用,促進了保密編碼理論的發展,同時也給保密通信的安全性帶來很大的威脅。70年代以來把計算機複雜性理論引入密碼學,出現了所謂P類、NP類和NP完全類問題。算法的複雜性函式呈指數型增長，因此密鑰空間擴大，使密碼的分析和搜尋面臨嚴重的挑戰。密碼學開始向縱深方向發展。

信源編碼廣義的信源編碼包括模數轉換（即把模擬量變換成二進制的數字量）和數據壓縮（即對這些數字量進行編碼來降低數碼率）兩個方面。信源編碼的主要任務是壓縮數據。它有四種基本方法：、

匹配編碼

這種方法是根據編碼對象的出現機率（機率分布），分別給予不同長短的代碼，出現機率越大，所給代碼長度越短。這裡所謂匹配就是指代碼長度與機率分布相匹配。莫爾斯碼是一種匹配編碼。匹配編碼還常採用去相關性的方法進一步壓縮數據。

變換編碼

這種方法是先對信號進行變換，從一種信號空間變換成另一種信號空間，然後針對變換後的信號進行編碼。變換編碼在話音和圖像編碼中有廣泛的套用。目前常用的變換編碼有預測編碼和函式編碼兩類。預測編碼是根據信號的一些已知情況來預測信號即將發生的變化。它不傳送信號的採樣值，而傳送信號的採樣值與預測值之差。預測編碼用在數字電話和數位電視中。函式變換最常用的是快速傅立葉變換(FFT)、餘弦變換、沃爾什變換、哈爾變換和阿達馬變換等。通過變換可得到信號的頻譜特性，因而可根據頻譜特點來壓縮數碼。

矢量編碼

這種方法是將可能傳輸的訊息分類按地址存儲在接收端的電子計算機資料庫中，傳送端只傳送資料庫的地址，即可查出訊息的內容，從而大大壓縮傳送的數據。

識別編碼

這種方法主要用於有標準形狀的文字、符號和數據的編碼。但話音也可以進行識別編碼。識別編碼的作用不僅限於壓縮數據，它在模式識別中也有廣泛的套用。常用的識別方法有關聯識別和邏輯識別等方法。識別編碼可大大壓縮數據。例如，用話音識別的方法傳輸話音，平均數碼率小於100比特/秒。而用Δ調製話音的方法傳輸話音,數碼率達38400比特/秒。兩者相差約400倍。但識別編碼在恢復時是根據一個代碼恢復一個標準聲音，只能用於不必知道發話人是誰的特殊電話和問答裝置。識別編碼用於文字傳輸時，恢復出來的都是印刷體符號，只能用於普通電報。