基本介紹
- 中文名：香農極限
- 外文名：Shannon–Hartley theorem
簡介,有噪信道編碼定理,理想加白噪聲情況下香農限,香農定理與香農限,香農定理概述,數學概述,香農哈特利定律,概述,奈奎斯特率,哈特利定律,哈特利定律與香農限的關係,可替代形式,非靜止記憶信道的信道容量,各種編碼對於接近香農限的程度,
簡介
有噪信道編碼定理
在資訊理論里，有噪信道編碼定理指出，儘管噪聲會干擾通信信道，但還是有可能在信息傳輸速率小於信道容量的前提下，以任意低的錯誤機率傳送數據信息。這個令人驚訝的結果，有時候被稱為信息原理基本定理，也叫做香農-哈特利定理或香農定理，是由克勞德·艾爾伍德·香農於1948年首次提出。
通信信道的信道容量或香農限制是指在指定的噪音標準下，信道理論上的最大傳輸率。
根據香農1948年的陳述，本定理描述了在不同級別的噪音干擾和數據損壞情況下，錯誤監測和糾正可能達到的最高效率。定理沒有指出如何構造錯誤監測的模型，只是告訴大家有可能達到的最佳效果。香農定理可以廣泛套用在通信和數據存儲領域。本定理是現代資訊理論的基礎理論。香農只是提出了證明的大概提綱。1954年，艾米爾·范斯坦第一個提出了嚴密的論證。
香農定理假設一個有噪音的信道，信道容量為C，信息以速度R傳送，如果
那么就存在一種編碼技術使接收端收到的錯誤達到任意小的數值。這意味著理論上，有可能無錯誤地傳送信息直到達到速度限制C。
反過來同樣重要。如果
那么想達到任意小的錯誤率是不可能實現的。因此，在傳送速度超過信道容量的時候，可靠傳輸信息是不能被保證的。定理並沒有指出在什麼特殊情況下速度和容量相等。
簡單的流程如"重複傳送數據3遍，用一個投票系統在數據不一樣的時候選擇3個裡面相同的那兩個的值"是低效的錯誤糾正的方式，不能保證數據塊能完全沒有錯誤地傳送。先進一些的技術如里德-所羅門碼編碼技術和更現代一些的Turbo碼、LDPC碼等編碼技術更逼近香農限制，但是計算複雜度很高。
理想加白噪聲情況下香農限
考慮數據率、噪聲以及誤碼率的關係。噪聲的存在會破壞一個或多個比特。假如數據率增加，那么這些比特會變短，因而給定的噪聲模式會影響更多個比特。於是，給定一個噪聲值，數據率越高則誤碼率也越高。所有的這些概念可以通過香農公式清楚聯繫在一起，此公式由數學家克勞德·艾爾伍德·香農(Claude Elwood Shannon，1916-2001）推導得出的。
如剛才所描繪的，數據率越高，無用的噪聲會帶來更嚴重的破壞。在噪聲存在的情況下，給點一個噪聲值，我們能夠通過提高信號強度來提高正確接收數據的能力。在這一推導過程中涉及的主要參數是信噪比(SNR或S/N)，它是指在傳輸過程中某一點的信號功率與噪聲包含功率之比。通常信噪比在接收器處測量，因為正是在這裡我們試圖處理信號並消除無用噪聲。為了使用方便，這個比率通常用分貝表示
信噪比對數字數據傳輸十分重要，因為它限定了一個可達到的數據率上限。香農得出的結果是，用bps來表示的信道的最大容量遵從等式
C是以比特/秒為單位的信道容量，淨比特率的理論上限（信息速率，有時表示為I），不包括糾錯碼;
B是頻寬的信道的在赫茲（通帶中的帶通信號的情況下的頻寬）;
S是以瓦（或伏平方）測量的頻寬上的平均接收信號功率（在載波調製通帶傳輸的情況下，通常表示為C）;
N是噪聲和頻寬上的干擾的平均功率，以瓦（或伏特平方）為單位測量;
S / N是通信信號對接收機噪聲和干擾的信噪比（SNR）或載波噪聲比（CNR）（表示為線性功率比，而不是對數分貝） 。
香農公式顯示出理論上可達到的最大值。然而在實際套用中能夠達到的速率要低得多。其中一個原因是該公式假定噪聲為白噪聲(熱噪聲)，既沒有考慮到衝激噪聲，也沒有考慮衰減和時延失真。即使在理想白噪聲情況下，因為編碼的原因(如編碼長度和複雜性等)，目前的技術仍然無法達到香農容量。
香農公式中提到的容量為無誤碼容量。經香農證明，假如信道上的實際信息率比無誤碼容量低，從理論上來說，通過適當的信息編碼，信道就有可能達到無誤碼容量。遺憾的是，香農的理論並沒有給出如何找到這種編碼的方法，但提供了一個用來衡量實際通信機制性能的計算標準。
通過香農公式我們可以考慮如何將信道容量上限提高。假如噪聲值給定，那么似乎通過增加信號強度或頻寬就能提高數據率；但是，如果信號強度增加了，則系統的非線性程度也會提高，這就導致互調噪聲的增加。還有一點需要注意，由於假定噪聲是白噪聲，那么頻寬越寬，因此系統容納的噪聲也就越多，因此隨著B的增加SNR反而降低了。
當
，或
時，
。
但是當
時，
將趨向何值？
令
，上式可以改寫為：
利用關係式：
上式變為：
上式表明，當給定
時，若頻寬B趨於無窮大，信道容量不會趨於無限大，而只是的1.44倍。這是
因為當頻寬B增大時，噪聲功率也隨之增大。
上式表明，為了得到給定的信道容量，可以增大頻寬B以換取
的減小；另一方面，在接收功率受 限的情況下，由於，可以增大
以減小S來保持和不變。
香農定理與香農限
香農定理概述
在信息理論中，噪聲信道編碼定理（有時是香農定理）確定了對於通信信道的任何給定程度的噪聲污染，可以將幾乎無錯誤的離散數據（數字信息）傳送到可計算的最大值通過渠道率。這個結果由克勞德·香農在1948年提出，部分原因是早期的工作和哈里·奈奎斯特（Harry Nyquist）和拉爾夫·哈特利（Ralph Hartley）的觀點。
香農定理指出，給定具有信道容量C和以速率R傳送的信息的噪聲信道，則if R <C 存在碼，其允許誤差的機率，以做得任意小，在接收器處。這意味著理論上可以以低於限制速率C的速度將信息幾乎無差錯地傳送出去。
相反也是重要的。如果 R> C，任意小的錯誤機率是無法實現的。所有代碼將具有大於某個正極小水平的誤差機率，並且該水平隨著速率的增加而增加。因此，不能保證通過信道容量以外的速率可靠地傳輸信息。定理沒有解決速度和能力相等的罕見情況。
信道容量C可以根據信道的物理性質來計算;
數學概述
- 對於每個離散的無記憶通道，通道容量
具有以下屬性。對於任何ε> 0且- [R <C，對於足夠大Ñ，存在的長度的代碼Ñ和速率≥[R和解碼算法， 使得塊差錯的最大機率≤ε。
2.如果位錯誤
的機率是可以接受的，則可以實現高達R()的速率，其中
（MacKay（2003），第162頁; cf Gallager（1968），ch.5; Cover和Thomas（1991），第198頁; Shannon（1948）11頁）
香農哈特利定律
概述
在資訊理論中，香農極限告訴在該信息可以通過一個特定頻寬的存在特定噪聲的通信信道數據被傳送的最大速率。這是噪聲信道編碼定理在受到高斯噪聲的連續時間、模擬通信信道的原型情況下的套用。該定理建立了對這種通信鏈路的信道香農限，限制了在存在噪聲干擾的情況下可以以指定頻寬傳送的每個時間單位的無錯誤信息的最大量，假設信號功率是有界的，並且高斯噪聲過程的特徵在於已知功率或功率譜密度。定理以Claude Shannon和Ralph Hartley命名。
香農 - 哈特利定理陳述了通道容量C，這意味著可以使用平均接收信號功率S通過經過加性白高斯的模擬通信通道以任意低的錯誤率傳送的數據的信息速率的理論上的最上限電源噪聲N：
奈奎斯特率
在1927年，奈奎斯特認為每單位時間可以通過電報通道的獨立脈衝數量被限制在通道頻寬的兩倍。在符號中，
其中
是脈衝頻率（以每秒脈衝數計），B是頻寬（赫茲）。數量2B後來被稱為奈奎斯特速率，並以每秒2個B脈衝的限制脈衝速率以奈奎斯特率傳送信號。奈奎斯特在1928年發表他的研究成果，作為他的論文“電訊傳播理論中的某些話題”的一部分。
哈特利定律
1928年，哈特利制定了一種量化信息和線路速率（也稱為數據信令速率 R比特每秒）的方法。這種方法，後來被稱為哈特利定律，成為香農更加複雜的通道容量概念的重要前身。
哈特利認為，可以通過通信信道可靠地傳送和接收的可區分脈衝電平的最大數量受到信號幅度的動態範圍和接收機能夠區分振幅電平的精度的限制。具體地說，如果傳送信號的幅度被限制在[ - A ... + A ]伏的範圍內，並且接收機的精度為± ΔV伏特，則不同脈衝M的最大數量由
其中
是脈衝速率，也稱為符號速率，以符號/秒或波特率表示。
然後，哈特利將上述量化與奈奎斯特的觀察結合起來，可以通過頻寬B 赫茲通道的獨立脈衝數為每秒2B脈衝，以達到其可實現線速率的定量測量。
哈特利定律有時引述只是模擬頻寬，B，以Hz為單位，和今天被稱為數字頻寬的R ，以比特/秒為單位之間的比例。其他時候，以這種更定量的形式引用，作為每秒可用的R比特率：
哈特利的速率結果可以被看作是一個無差錯的能力中號的2個進制信道B每秒符號。有些作者將其稱為容量。但是這樣一個無誤的信道是一個理想化的方式，如果選擇M小到足以使噪聲信道幾乎無誤，結果必然小於頻寬B的噪聲信道的香農容量，這是隨後的香農哈特利定律結果後來。
哈特利定律與香農限的關係
將信道容量與哈特利定律的信息比率進行比較，我們可以找到有效數量的可區分級別M：
可替代形式
頻率依賴（彩色噪聲）情況
在上面的簡單版本中，信號和噪聲完全不相關，在這種情況下，S + N是接收信號和噪聲的總功率。通過對多個窄獨立的高斯信道並行處理信道，獲得加性噪聲不是白色（或S / N在頻寬上的頻率不恆定）的情況下的上述等式的推廣，
C是以比特/秒為單位的信道容量 ;
B是信道的頻寬，單位為Hz;
S（f）是信號功率譜
N（f）是噪聲功率譜
f是以Hz為單位的頻率。
注意：該定理僅適用於高斯穩定過程噪聲。該公式引入頻率相關噪聲的方法不能描述所有的連續時間噪聲過程。例如，考慮噪聲過程，其包括在任何時間點加上振幅為1或-1的隨機波，以及將這樣的波加到源信號上的信道。這樣的波的頻率分量是高度依賴的。雖然這樣的噪聲可能具有高功率，但是如果底層噪聲是每個頻帶中的獨立噪聲之和，則傳輸比所需要的功率少得多的連續信號是相當容易的。
近似
對於大或小且恆定的信噪比，容量公式(香農公式)可以近似為：
- 如果S / N >> 1，那么
2. 同理，如果S / N <<1，那么
在這種低SNR近似中，如果噪聲為白色，則光譜密度的容量與頻寬無關
非靜止記憶信道的信道容量
假設通道是無記憶的，但是其轉換機率隨時間而變化，以發射機和接收機已知的方式。然後通道容量由
各種編碼對於接近香農限的程度
諸如“傳送訊息3次並且如果副本不同則使用最佳2投票方案”這樣的簡單方案是無效率的糾錯方法，不能夠漸近地保證一個數據塊可以毫無差錯地傳達。諸如Reed-Solomon碼的高級技術，以及最近的低密度奇偶校驗（LDPC）碼和turbo碼更接近於達到理論香農限制，但是以高的計算複雜度為代價。使用這些高效率的代碼和當今數位訊號處理器的計算能力，現在可以達到非常接近香農限額。實際上，已經表明，LDPC碼可以達到香農極限的0.0045dB（對於二進制AWGN信道，具有非常長的塊長度）。
