香農被稱為是“資訊理論之父”。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代資訊理論研究的開端。
概括的講，香農資訊理論是以機率論、隨機過程為基本研究工具，研究廣義通信系統的整個過程，而不是整個環節，並以編、解碼器為重點，其關心的是最優系統的性能及如何達到該性能（並不具體設計環節，也不研究信宿）。目前，香農資訊理論方面值得注意的研究方向有信息概念的深化問題、信息失真理論的發展及在數據壓縮中的套用、以計算機為中心的信息處理系統的基本理論等。
基本介紹
- 中文名：香農資訊理論
- 外文名：Shannon information theory
- 重要觀點：形式化假說、非決定論、不確定性
- 基本研究工具：機率論、隨機過程
- 重點：編、解碼器
- 套用範圍：數據傳輸、數據壓縮、檢測理論等
名稱由來,研究的主要內容,重要觀點與方法,形式化假說,非決定論,不確定性,套用範圍,
名稱由來
資訊理論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是資訊理論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯繫。
香農被稱為是“資訊理論之父”。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代資訊理論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為“熵”）的定義：香農
這一定義可以用來推算傳遞經二進制編碼後的原信息所需的信道頻寬。熵度量的是訊息中所含的信息量，其中去除了由訊息的固有結構所決定的部分，比如，語言結構的冗餘性以及語言中字母、詞的使用頻度等統計特性。
資訊理論中熵的概念與物理學中的熱力學熵有著緊密的聯繫。玻耳茲曼與吉布斯在統計物理學中對熵做了很多的工作。資訊理論中的熵也正是受之啟發。
互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為：
I(X,Y) = H(X) + H(Y) - H(X,Y)
其中H(X,Y) 是聯合熵(Joint Entropy)，其定義為：
互信息與多元對數似然比檢驗以及皮爾森χ2校驗有著密切的聯繫。
研究的主要內容
香農資訊理論研究的主要內容，包含如下問題：
（1）什麼是信息？如何度量？
（2）在給定的信道中，信息傳輸有沒有極限？
（3）信息能否被壓縮或恢復？極限條件是什麼？
（4）從實際環境中提取信息，極限條件是什麼？
（5）在允許一定失真的條件下，信息能否被更大程度地壓縮？極限條件是什麼？
（6）設計什麼樣的系統才能達到上述極限？
（7）現實中，接近極限的設備是否存在？
重要觀點與方法
香農資訊理論中的關鍵之處在於香農利用抽象化的方法，對現實中各種不同的通信背景下的根本問題進行了刻畫和抽象，主要依賴3種觀點和方法，即形式化假說、不確定性和非決定論。建立了相對普通的關於通信的數學模型，用數學方法定量描述信息，從而得出了大量的定量的結論，特別是三大極限定理，均是對通信中重要問題的重要度量的極限結論。
形式化假說
香農說：“通信的基本問題，是在訊息的接收端精確地或近似地複製傳送端所挑選的信息。通信訊息是有意義的，即是說，它按某種關係與某些物質或概念的實體聯繫著。通信的語義方面的問題與工程問題是沒有關係的。”
可提出如下假設：雖然信息的語義因素和語用因素對於廣義信息來說並不是次要因素，但對於作為“通信的訊息”來理解的狹義信息時，可以先把語義和語用因素擱置起來，假定各種信息的語義信息量和語用信息量恆定不變，而只單純考慮信息的形式因素。比如信息包含不同的語義，而且語義也存在遠近等不同；有些信息可能是有益的，有些可能是有害的，但是資訊理論暫時不管這些，以放棄一些複雜的“包袱”，這樣才能便於建立模型、減少參數。
這種通信工程的“形式化”假說，對複雜的信息問題進行分解，大膽地去掉了複雜、具有個性化特點的、難於處理的訊息的語義和語用因素，巧妙地保留了容易用數學描述的通用形式，因此，這使套用數學工具定量度量信息成為可能。此外，通過形式化的方法從通信問題中提取最為簡練的共性問題，這使得通信問題升華為能夠解決相對廣泛的信息問題的理論，而不是單純的個別套用，這種抽象使得所有訊息和數據都可以採用二進制數據的形式進行存儲、傳輸和處理，使得信息化可以滲透到各行各業，給當今社會帶來深遠的影響。
非決定論
我們知道，在科學史上，直到20世紀初，拉普拉斯的決定論的觀點始終處於統治的地位。這種觀點認為，世界上一切事物的運動都嚴格地遵從一定的機械規律。因此，只要知道了它的原因，就可以唯一地確定它的結果；反過來，只要知道了它的結果，就可以唯一地確定它在各個時刻的運動狀態。這種觀點只承認必然性，排斥和否認偶然性。
香農並沒有墨守成規，他說：“重要的是，一個實際的訊息，總是從可能發生的訊息集合中選擇出來的。因此，系統必須設計得對每一種選擇都能工作，而不是只適合工作於某一種選擇。因為，各種訊息的選擇是隨機的，設計者事先無法直到什麼時候會選擇什麼訊息來傳送。”這種“非決定論”觀點是對通信活動的總的認識觀，它從原則上回答了應採用什麼樣的數學工具來解決信息度量的問題，機率、集合的理論和方法由此得以在資訊理論中廣泛套用。這也使得資訊理論可以解決給定參數下的一類問題。
不確定性
香農指出：“人們只有在兩種情況下有通信的需要。其一，是自己有某種形式的訊息要告知對方，而估計對方不知道這個訊息；其二，是自己有某種疑問要詢問對方，而估計對方能做出一定的解答。”這裡的不知道和疑問是在一般情況下歸結為存在某種知識上的“不確定”。對於第一種情況，是希望消除對方的不確定性，對於第二種情況，則是請求對方消除不確定性，所以通信的作用是通過訊息的傳遞，使接收者從收到的訊息中獲取一樣東西，因而消除了通信前存在的“不確定性”。這種東西就是信息。這樣，我們有理由給信息一個明確的定義：“信息就是用來消除不確定的東西。”進而，可合理地推斷：通信後接收者獲取的信息在數量上等於通信前後“不確定性”的消除量。這就是資訊理論中度量信息的基本觀點。
那么，很自然的接著問這樣一個問題：“不確定性”本身是否可度量？是否可用數學方法來表示呢？我們知道不確定性是與“多種結果的可能性”相聯繫的，而在數學上，這些“可能性”正是以機率來度量的。機率大，即“可能性”大；機率小，“可能性”小。顯然，“可能性”大，即意味著“不確定性”小；“可能性”小，即意味著“不確定性”大。由此可見，“不確定性”與機率大小存在著一定的聯繫，“不確定性”應該是機率的某一函式；那么，“不確定性”的消除量（減少量），也就是狹義信息量，也一定可由機率的某一函式表示。這樣就完全解決了作為“通信的訊息”來理解的“狹義信息”的度量問題。這一點與非決定論有相似性。
以上三個觀點可以說是資訊理論的三大理論支柱。資訊理論的建立，在很大程度上澄清了通信的基本問題。它以機率論為工具，刻劃了信源產生信息的數學模型，導出了度量信息的數學公式；同時，描述了信道傳輸信息的過程，給出了表征信道傳輸能力的容量公式；此外，它還建立了一組信息傳輸的編碼定理，論證了信息傳輸的一些基本界限。這些成果的取得，一方面使通信技術從經驗走向科學，開闢了通信科學的新紀元。同時，也為整個信息科學的形成和發展奠定了必要的理論基礎。但是我們也應該看到，在形式化的各種假設和通信系統的各種模型中，均存在各種各樣的前提和假設，致使資訊理論只適合於一定的範圍，給這個理論帶來一定的局限性。
套用範圍
編碼學
密碼學與密碼分析學
數據傳輸
數據壓縮
檢測理論
估計理論
政治學（政治溝通）
資訊理論概述
