資訊理論基礎(2005年機械工業出版社出版的圖書)

內容簡介

本書介紹資訊理論及其套用，內容豐富，涉及信息、統計，計算機科學等領域，系統和全面地介紹了香農資訊理論的基本理論與多類套用問題，其中包括作者的許多研究成果。本書包含大量的例題與背景說明，涉及信息處理與信息世界中的許多問題。本書是美國史丹福大學、萊斯大學等使用的資訊理論教材，是學習資訊理論的主要參考書。

　　本書全面系統地介紹了香農資訊理論的基本理論以及多類套用問題，其中包括了作者的許多研究成果。本書闡述了熵、相對熵和互信息之間的基本代數關係，論述了漸近均分性（AEP）、隨機過程和數據壓縮的熵率、Kolmogorov複雜度、信道容量定理、微分熵以及網路信息理論等內容，並採用“使用不等式串、中間不加任何文字、最後直接加以解釋”的創新表述方式，使讀者學習了一定數量的證明後，在沒有任何解釋的情況下就能理解其中的大部分步驟，並給予必要的解釋。本書適合作為通信理論、計算機科學和數學等專業學生學習資訊理論的教材。章後提供的習題便於老師的教學，以及增強學生對資訊理論的理解。

圖書目錄

譯者序

前言

第1章緒論與概覽

第2章熵、相對熵和互信息

2.1 熵

2.2 聯合熵和條件熵

2.3 相對熵和互信息

2.4 熵與互信息的關係

2.5 熵、相對熵和互信息的鏈式法則

2.6 Jensen不等式及其結果

2.7 對數和不等式及其套用

2.8 數據處理不等式

2.9 熱力學第二定律

2.10 充分統計量

2.11 Fano不等式

要點

習題

歷史回顧

第3章漸近均分性

3.1 漸近均分性的定義

3.2 AEP的結果套用：數據壓縮

3.3 高機率集與典型集

要點

習題

歷史回顧

第4章隨機過程的熵率

4.1 馬爾可夫鏈

4.2 熵率

4.3 例子：加權圖上隨機遊動的熵率

4.4 隱馬爾可夫模型

要點

習題

歷史回顧

第5章數據壓縮

5.1 有關編碼的例子

5.2 Kraft不等式

5.3 最優碼

5.4 最優碼長的界

5.5 惟一可解碼的Kraft不等式

5.6 赫夫曼碼

5.7 有關赫夫曼碼的評論

5.8 赫夫曼碼的最優性

5.9 Shannon-Fano-Elias編碼

5.10 算術編碼

5.11 香農碼的競爭最優性

資訊理論基礎(2005年機械工業出版社出版的圖書)

基本介紹

內容簡介

圖書目錄

相關詞條

熱門詞條