資訊理論(資訊理論)

資訊理論是運用機率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的套用數學學科。信息系統就是廣義的通信系統，泛指某種信息從一處傳送到另一處所需的全部設備所構成的系統。資訊理論是關於信息的理論，應有自己明確的研究對象和適用範圍。但從資訊理論誕生的那時起人們就對它有不同的理解。

基本介紹

• 中文名：資訊理論
• 外文名：A Theory of Communication
• 表達式：H = - ∑ pilogpi
• 提出者：克勞德·香農（Claude Shannon）
• 提出時間：1948年10月
• 套用學科：統計學
• 適用領域範圍：信息與計算科學
• 適用領域範圍：機率論與數理統計

名稱由來

資訊理論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是資訊理論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯繫。

香農被稱為是“資訊理論之父”。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代資訊理論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為“熵”）的定義：

這一定義可以用來推算傳遞經二進制編碼後的原信息所需的信道頻寬。熵度量的是訊息中所含的信息量，其中去除了由訊息的固有結構所決定的部分，比如，語言結構的冗餘性以及語言中字母、詞的使用頻度等統計特性。

資訊理論中熵的概念與物理學中的熱力學熵有著緊密的聯繫。玻耳茲曼與吉布斯在統計物理學中對熵做了很多的工作。資訊理論中的熵也正是受之啟發。

互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為：

其中是聯合熵(Joint Entropy)，其定義為：

互信息與多元對數似然比檢驗以及皮爾森χ2校驗有著密切的聯繫。

發展簡史

資訊理論是20世紀40年代後期從長期通訊實踐中總結出來的一門學科，是專門研究信息的有效處理和可靠傳輸的一般規律的科學。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經過中世紀啟蒙語言學，直到16世紀吉爾伯特（E.N.Gilbert）等人在電報學方面的工作。

20世紀20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統傳輸信息的能力，並試圖度量系統的信道容量。現代資訊理論開始出現。

1948年克勞德·香農（Claude Shannon）發表的論文“通信的數學理論”是世界上首次將通訊過程建立了數學模型的論文，這篇論文和1949年發表的另一篇論文一起奠定了現代資訊理論的基礎。

由於現代通訊技術飛速發展和其他學科的交叉滲透，資訊理論的研究已經從香農當年僅限於通信系統的數學理論的狹義範圍擴展開來，而成為現在稱之為信息科學的龐大體系。

基本內容

傳統的通信系統如電報、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統也是傳送各種信息的，只是信息類型不同，所以也屬於信息系統。有時，信息必須進行雙向傳送，例如電話通信要求雙向交談，遙控系統要求傳送控制用信息和反向的測量信息等。這類雙向信息系統實際上是由兩個信息系統構成。所有信息系統都可歸納成如圖所示的模型來研究它的基本規律。

信源：信息的源泉或產生待傳送的信息的實體，如電話系統中的講話者，對於電信系統還應包括話筒，它輸出的電信號作為含有信息的載體。

信宿：信息的歸宿或接受者，在電話系統中這就是聽者和耳機，後者把接收到的電信號轉換成聲音，供聽者提取所需的信息。

信道：傳送信息的通道，如電話通信中包括中繼 器在內的同軸電纜系統，衛星通信中地球站的收發信機、天線和衛星上的轉發器等。

編碼器：在資訊理論中是泛指所有變換信號的設備，實際上就是終端機的傳送部分。它包括從信源到信道的所有設備，如量化器、壓縮編碼器、調製器等，使信源輸出的信號轉換成適於信道傳送的信號。

解碼器：是編碼器的逆變換設備，把信道上送來的信號轉換成信宿能接受的信號，可包括解調器、解碼器、數模轉換器等。

當信源和信宿已給定、信道也已選定後，決定信息系統性能就在於編碼器和解碼器。設計一個信息系統時，除了選擇信道和設計其附屬設施外，主要工作也就是設計編解碼器。一般情況下，信息系統的主要性能指標是它的有效性和可靠性。有效性就是在系統中傳送儘可能多的信息；而可靠性是要求信宿收到的信息儘可能地與信源發出的信息一致，或者說失真儘可能小。最佳編解碼器就是要使系統最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導致不可靠，反之也是如此。從定量意義上說，應使系統在規定的失真或基本無失真的條件下，傳送最大的信息率；或者在規定信息率的條件下，失真最小。計算這最大信息率並證明達到或接近這一值的編解碼器是存在的，就是資訊理論的基本任務。只討論這樣問題的理論可稱為仙農資訊理論般認為資訊理論的內容尚應更廣泛一些，即包括提取信息和保證信息安全的理論。後者就是估計理論、檢測理論和密碼學。

資訊理論是建立在機率論基礎上而形成的，也就是從信源符號和信道噪聲的機率特性出發的。這類信息通常稱為語法信息。其實，信息系統的基本規律也應包括語義信息和語用信息。語法信息是信源輸出符號的構造或其客觀特性所表現與信宿的主觀要求無關，而語義則應考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小於語法信息率；電報的信息率可低於表達同一含義的語聲的信息率就是一個例子。更進一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小於語義信息。倘若只要求信息系統傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關於語法信息，已在機率論的基礎上建立了系統化的理論，形成一個學科；而語義和語用信息尚不夠成熟。因此，關於後者的論述通常稱為信息科學或廣義資訊理論，不屬於一般資訊理論的範疇。概括起來，信息系統的基本規律應包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計理論以及密碼學。

套用

範圍

編碼學

密碼學與密碼分析學

數據傳輸

數據壓縮

檢測理論

估計理論

政治學（政治溝通）

資訊理論概述

資訊理論是一門用數理統計方法來研究信息的度量、傳遞和變換規律的科學。它主要是研究通訊和控制系統中普遍存在著信息傳遞的共同規律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎理論。

研究範圍

資訊理論的研究範圍極為廣闊。一般把資訊理論分成三種不同類型：

(1)狹義資訊理論是一門套用數理統計方法來研究信息處理和信息傳遞的科學。它研究存在於通訊和控制系統中普遍存在著的信息傳遞的共同規律，以及如何提高各信息傳輸系統的有效性和可靠性的一門通訊理論。

(2)一般資訊理論主要是研究通訊問題，但還包括噪聲理論、信號濾波與預測、調製與信息處理等問題。

(3)廣義資訊理論不僅包括狹義資訊理論和一般資訊理論的問題，而且還包括所有與信息有關的領域，如心理學、語言學、神經心理學、語義學等。

信息的定義域

信息是確定性的增加----逆Shannon信息定義；

信息是物質、能量、信息的標示----Wiener信息定義的逆;

信息是事物及其屬性標識的集合。

信息與通訊

信息就是一種訊息，它與通訊問題密切相關。1948年貝爾研究所的香農在題為《通訊的數學理論》的論文中系統地提出了關於信息的論述，創立了資訊理論。維納提出的關於度量信息量的數學公式開闢了資訊理論的廣泛套用前景。1951年美國無線電工程學會承認資訊理論這門學科，此後得到迅速發展。20世紀50年代是資訊理論向各門學科衝擊的時期，60年代資訊理論不是重大的創新時期，而是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。到70年代，由於數字計算機的廣泛套用，通訊系統的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破申農資訊理論的狹隘範圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發展。人們已把早先建立的有關信息的規律與理論廣泛套用於物理學、化學、生物學等學科中去。一門研究信息的產生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。

信息科學

信息科學是人們在對信息的認識與利用不斷擴大的過程中，在資訊理論、電子學、計算機科學、人工智慧、系統工程學、自動化技術等多學科基礎上發展起來的一門邊緣性新學科。它的任務主要是研究信息的性質，研究機器、生物和人類關於各種信息的獲取、變換、傳輸、處理、利用和控制的一般規律，設計和研製各種信息機器和控制設備，實現操作自動化，以便儘可能地把人腦從自然力的束縛下解放出來，提高人類認識世界和改造世界的能力。信息科學在安全問題的研究中也有著重要套用。

資訊理論假說

英譯

Materialism

詳細定義

物質、能量與信息是組成世界的三大要素。人們已經很深入地了解了物質與能量，而對信息的認識才剛起步。那么，信息是什麼？它又是以何種方式存在的？它有著怎樣的作用？以下是我的猜想，希望對人類進一步認識世界有一定幫助。

一、信息的定義

非世界三要素的信息定義:信息是事物及其屬性標識的集合。不含世界三要素的的信息定義.

含三要素的信息定義：

1．信息是確定性的增加----逆Shannon信息定義；

2．信息就是信息，信息是物質、能量、信息及其屬性的標示----Wiener信息定義的逆.

信息（information）是客觀事物狀態和運動特徵的一種普遍形式，客觀世界中大量地存在、產生和傳遞著以這些方式表示出來的各種各樣的信息。然而，這只是對於我們所生活的三維空間而言的，信息還有更深藏的本質。那么，難道信息還存在於四維空間（這裡所說的四維空間不包括時間，而是空間的四維狀態）中嗎？是的，但要明確一點，信息只存在於四維空間，三維空間中的信息只是四維空間中真實信息的影子。信息大量存在於四維空間中，其本質是在四維空間中存在的一種信息子（informer，假想的存在於四維空間的組成信息的基本單位）的規則排布。

信息是事件（corritor）發生的根本原因，這將在第三節中細作分析。

二、信息的性質

信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯繫（第四節將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規則排布為完整的信息，其釋放的能量才足以使確定事件發生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發現。

三、資訊理論機制

在平常狀態下，信息子雜亂無章地分布於四維空間中。當三維空間中的分子摩擦碰撞時，其中的能量逃逸到四維空間中，啟動了信息子的規則排布，排布好的信息子又將能量釋放出來，進入三維空間，引起其他分子的摩擦碰撞，如此循環下去。如果被引起摩擦碰撞的分子恰好是決子（decider，決定事件的因子，如引起神經衝動的鈉鉀離子、引起雷電的電荷），並且有一定物質的量的決子被引起摩擦碰撞時，事件發生。當然，不同分子摩擦碰撞產生的能量不同，其引起的信息子的排布形式的種類也不同，因而決定的事件也不同。

然而，在宇宙爆炸前只有信息存在，一個決定因素（現在還不了解這個因素是什麼）導致了信息子的偶然規則排布，一部分信息子轉化為能量（信息子轉化為能量是有一定條件的，這隻有在宇宙爆炸前或初期才能實現），能量再在一定條件下轉化為物質，並繼續轉移轉化，最終形成了我們現在的宇宙。因此，信息子的有序排布是事件發生的根本原因，物質摩擦碰撞是事件發生的直接原因，而能量的傳遞是事件發生的必要條件。

四、資訊理論假說的實例

1．思想與記憶：思想是我們一直捉摸不透的東西，而按照資訊理論假說來講，思想其實就是一種信息。大腦中的某些特定分子摩擦碰撞，引起了某些信息子的規則排布，在三維空間中的表現就是產生電流，引起腦細胞的活動，這便是思想的本質，當然，不同信息表現出不同思想。然而，這不等於我們的思想是早已限定好了的嗎？其實就是這樣。只不過我們腦中分子數量是龐大的，其能引起信息子的排布形式的種類是極其多的，我們的思想不過也只開發了很少一部分。現實中我們所謂的思想還要有另一個因素，那就是需要通過一個完整複雜的調節機制將其表達出來，這個調節機制對於人類來說便是神經系統，因此只有我們能將複雜的思想表達出來。記憶是思想的特化，是信息引起摩擦碰撞的分子恰好是以前產生思想的分子（記憶的決子）時，以前的思想便會再次通過特定信息子的規則排布表達出來。這樣看來，我們的思想是連續的，前一刻的思想直接決定了後一刻的思想，只是我們並沒發覺也沒有手段去發現罷了。

2．生命現象：人的生老病死也可以通過資訊理論假說來解釋。人生病其實是不融合分子（細菌或病毒）與體內分子摩擦引起的信息。成長其實是各種各樣的外界分子（如鈣離子）進入人體內與體內分子摩擦引起的信息。衰老與死亡是細胞內分子摩擦引起的信息，其巨觀表現為細胞的衰老與凋亡，進而影響人。

3．預感與巧合：預感是思想的一種極特殊的形式，當腦中某些分子摩擦引起信息子排布後，信息並未釋放全部能量，而是只將其中一部分能量先釋放出來，引起預感決子的摩擦，剩下的能量則在另外的時刻釋放出來，並由於與前一部分能量同源，恰好引起事件決子的摩擦，從而印證了預感。巧合也是一種極特殊的現象，其本質是信息釋放的能量分為兩半進入到三維空間中的不同地點，引發相同分子的摩擦，從而引起不同地點相同事情的發生，這一般出現在同卵雙胞胎身上，因為其基因的相似性決定了其相同分子摩擦的幾率較大。

4．夢與不實印象（untrue impressions）：夢是在無意識情況下產生的思想，其本質也是信息。我們平時會產生不實印象，看到某情景感覺以前似乎發生過，可是以前卻並沒有發生，其實這是因為腦內分子摩擦引起信息，而信息並沒有將能量馬上釋放出來，而是暫時儲存起來，當另一時刻又有同樣的分子摩擦時，其能量被激活，雙倍能量釋放出來，其中一半能量使我們思想，另一半能量使我們產生印象，這便是不實印象的本質。

5．化學反應：一切化學反應的本質都是信息。幾種分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化學鍵斷裂與形成，完成化學反應。

6．命運與靈魂：古人相信命運，可能是冥冥之中感到在另一空間中我們是早已被安排好的個體，於是出現了人類對靈魂、神的遐想。

五、資訊理論假說的意義

資訊理論假說將物質與思想相統一，它是唯物主義發展所必經的一步，它用唯物的觀點解釋了人類一直無法弄清的問題。它自身只是一個假說，需要人類長時間去探索與證明，它自身也存在缺陷，需要人類的不斷發現。也許它本來就是個錯誤，但它是人類成長的見證，是人類偉大的精神財富。

用資訊理論假說的觀點看問題，可以使人類認識到一個全新的世界，並有助於探索世界更深的本質。它給人類提供了一個豐富的經驗，是人類跳出固有思想看問題的典範。總之，不管它是否正確，它都是人類的不朽之作。

圖書信息一

概述

書名：資訊理論

出版社：哈爾濱工程大學出版社

作者: 唐世偉劉賢梅

ISBN: 9787811332780

開本： 16

頁數: 217

定價： 25.00元

內容簡介

本書共分七章，第一章為緒論，介紹信息的基本概念和定義，資訊理論的起源、發展和研究內容；第二章為信源與信源熵，介紹各種熵的概念、性質、定理等；第三章為無失真信源編碼，介紹了信源的定長和變長編碼定理、方法，以及幾種實用的無失真信源編碼；第四章為限失真信源編碼，介紹了信息率失真函式的定義、性質、計算及語音、圖像信號的預測編碼；第五章為信道及信道容量，介紹了單符號離散信道、多符號離散信道和多用戶信道的信道模型及信道容量的計算；第六章為信道編碼，介紹了信道編碼的基本概念、信道編碼定理、線性分組碼和循環碼；第七章為網路信息安全及密碼學，介紹了密碼學的基本概念、各種加密算法及數字簽名等技術。

目錄

第1章 緒論

第2章 離散信息的度量

第3章離散信源

第4章 連續信息與連續信源

第5章 無失真信源編碼

第6章 離散信道及其容量

第7章 有噪信道編碼

第8章 波形信道

第9章 信息率失真函式

第10章 有約束信道及其編碼

第11章 網路資訊理論初步

第12章 信息理論方法及其套用

參考文獻

……

圖書信息四

資訊理論基礎教程（第2版）

作　者：李梅，李亦農　編著出版 社：北京郵電大學出版社

封面

出版時間：2008-10-1

字　數：310000

版 次：2

頁 數：217

印刷時間：2008-10-1

開 本：16開

印　 次：1

紙 張：膠版紙

I S B N ：9787563518685

包　裝：平裝

所屬分類：圖書>>工業技術>>電子通信>>通信>>通信理論

目錄第1章 緒論

1．1 信息的概念

1．2 資訊理論的研究對象、目的和內容

第2章 信息的度量

2．1 自信息和互信息

2．1.1 自信息

2．1.2 互信息

2．2 平均自信息

2．2.1 平均自信息的概念

2．2.2熵函式的性質

2．2.3 聯合熵與條件熵

2．3 平均互信息

2．3.1 平均互信息的概念

2．3.2 平均互信息的性質

2．3.3 數據處理定理

習題2

第3章 信源及信源熵

3．1 信源的分類及其數學模型

3．2 離散單符號信源

3．3 離散多符號信源

3．3.1 離散平穩無記憶信源

3．3.2 離散平穩有記憶信源

3．3.3馬爾可夫信源

3．3.4 信源的相關性和剩餘度

3．4 連續信源

3．4.1 連續信源的微分熵

3．4.2 連續信源的最大熵

3．4.3 連續信源的熵功率

習題3

第4章 信道及信道容量

4．1 信道的分類

4．2 離散單符號信道及其信道容量

4．2.1 離散單符號信道的數學模型

4．2.2 信道容量的概念

4．2.3 幾種特殊信道的信道容量

4．2.4 離散對稱信道的信道容量

4．2.5 一般離散信道的信道容量

4．2.6 信道容量定理

4.2.7 信道容量的疊代算法

4．3 離散多符號信道及其信道容量

4．4 組合信道及其信道容量

4．4.1 獨立並聯信道

4．4.2 級聯信道

4．5 連續信道及其信道容量

4．5.1 連續隨機變數的互信息

4．5.2高斯加性信道的信道容量

4．5.3 多維高斯加性信道的信道容量

4．6 波形信道及其信道容量

習題4

第5章 無失真信源編碼

5．1 信源編碼的相關概念

5．1.1 編碼器

5．1.2 碼的分類

5．2 定長碼及定長信源編碼定理

5．3 變長碼及變長信源編碼定理

5．3.1 Kraft不等式和McMman不等式

5．3.2 唯一可解碼的判別準則

5．3.3 緊緻碼平均碼長界限定理

5．3.4 無失真變長信源編碼定理（香農第一定理）

5．4 變長碼的編碼方法

5．4.1 香農編碼

5．4.2 香農一費諾一埃利斯編碼

5．4.3 二元霍夫曼碼

5．4.4 r元霍夫曼碼

5．4.5 費諾碼

5．5 實用的無失真信源編碼方法

5．5.1 遊程編碼

5．5.2 算術編碼

5．5.3 LZW編碼

習題5

第6章 有噪信道編碼

6．1 信道編碼的相關概念

6．1.1 錯誤機率和解碼規則

6．1.2 錯誤機率與編碼方法

6．2 有噪信道編碼定理

6．3 錯誤機率的上界

6．4 糾錯編碼

6．4.1 糾錯碼分類

6．4.2 糾錯碼的基本概念

6．4.3 線性分組碼

6．4.4 卷積碼

習題6

第7章 限失真信源編碼

7．1 失真測度

7．1.1 失真函式

7．1.2 平均失真

7．2 信息率失真函式

7．2.1 D失真許可信道

7.2.2 信息率失真函式的定義

7．2.3 信息率失真函式R（D）的性質

7．3 限失真信源編碼定理

7．4 信息率失真函式的計算

7．4.1 套用參量表示式計算R（D）

7．4.2 率失真函式的疊代算法

7．5 常用的限失真信源編碼方法

7．5.1 量化編碼

7．5.2 子帶編碼

7．5.3 預測編碼

7．5.4 變換編碼

習題7

附錄A 數學預備知識

A.1機率論與隨機過程

A.1.1 機率論的基本概念

A.1.2 隨機變數及其分布

A.1.3 多維隨機變數及其分布

A.1.4 隨機變數的數字特徵

A.1.5 隨機過程

A.2 凸函式及Jensen不等式

A.3 信道容量定理引理

A.4 漸進等分割性和￡典型序列

附錄B 上機作業

B.1 信道容量的疊代算法

B.2 唯一可解碼判決準則

B.3 Shannon編碼

B.4 Huffman編碼

B.5 Fano編碼

B.6 LZW編碼

B.7 BSC模擬器

B.8 Hamming（7，4）編解碼器

B.9通信系統仿真

參考文獻

圖書信息五

基本信息

中文書名：資訊理論基礎

英文書名：Elements of Information Theory

作者：Thomas M.Cover, Joy A, Thomas

譯者：阮吉壽，張華

出版社：機械工業出版社

版次：第1版 (2008年1月1日)

開本：16開

頁數：439

ISBN：9787111220404

內容簡介

本書是資訊理論領域中一本經典且簡明易懂的教材。主要內容包括：熵、信源、信道容量、率失真、數據壓縮與編碼理論和複雜度理論等方面的介紹。本書還對網路資訊理論和假設檢驗等進行了介紹，並且以賽馬模型為出發點，將對證券市場的研究納入了資訊理論的框架，從新的視角給投資組合的研究帶來了全新的投資理念和研究技巧。本書適合作為電子工程、統計學以及電信方面的高年級本科生和研究生的資訊理論基礎教程教材，也可供研究人員和專業人士參考。

目錄

第1章 緒論與概覽

第2章 熵、相對熵與互信息

第3章 漸近均分性

第4章 隨機過程的熵率

第5章 數據壓縮

第6章 博弈與數據壓縮

第7章 信道容量

第8章 微分熵

第9章高斯信道

第10章 率失真理論

第11章 資訊理論與統計學

第12章 最大熵

第13章 通用信源編碼

第14章科爾莫戈羅夫複雜度

第15章 網路資訊理論

第16章 資訊理論與投資組合理論

第17章 資訊理論中的不等式

參考文獻