信息基礎理論解析

內容簡介

本書共分八章。di一章主要介紹資訊理論中重要的基本概念和相關的知識背景。第二章重點分析了信息的度量問題。第三章、第四章分別討論了信源和信道問題。前四章是後續章節討論香農三大定理的基礎。第五章重點介紹了香農di一定理（無失真變長信源編碼定理）以及香農第三定理（保真度準則下的限失真信源編碼定理），由於都是針對信源編碼，故將這兩部分內容融入一章中。第六章重點討論有噪信道編碼定理及幾種典型的信道編碼方法。第七章介紹了信息傳輸網路化理論。第八章介紹了信息基本理論在各個領域內的套用。

圖書目錄

第1章資訊理論概述 / 1

1.1　資訊理論與信息科學 / 3

1.2　信息的概念與性質 / 5

1.2.1　信息的概念 / 5

1.2.2　信息的性質 / 9

1.2.3　信息、訊息及信號 / 9

1.3　資訊理論研究的對象、目的和內容 / 11

1.3.1　資訊理論研究的對象 / 11

1.3.2　資訊理論研究的目的 / 13

1.3.3　資訊理論研究的內容 / 14

1.4　資訊理論的發展歷程 / 16

1.4.1　資訊理論的醞釀 / 16

1.4.2　資訊理論的建立 / 18

1.4.3　資訊理論的發展 / 19

1.4.4　香農及其貢獻 / 19

第2章信息的統一度量 / 21

2.1　自信息 / 24

2.1.1　自信息 / 24

2.1.2　條件自信息 / 26

2.2　信息熵 / 26

2.2.1　熵的定義 / 27

2.2.2　熵的性質 / 30

2.2.3　聯合熵 / 34

2.2.4　條件熵 / 35

2.3　互信息 / 36

2.3.1　互信息的定義 / 36

2.3.2　互信息的性質 / 37

2.4　平均互信息 / 38

2.4.1　平均互信息的定義 / 39

2.4.2　平均互信息的性質 / 40

2.5　各種信息度量之間的關係 / 45

2.6　擴展信源的信息度量 / 46

2.7　連續隨機變數的信息度量 / 48

第3章信源 / 57

3.1　信源的分類 / 60

3.2　信源的數學描述 / 61

3.2.1　用隨機變數描述離散訊息 / 61

3.2.2　用隨機矢量描述離散序列 / 62

3.2.3　用隨機過程描述波形信源 / 64

3.3　馬爾可夫信源 / 65

信息基礎理論解析

基本介紹

內容簡介

圖書目錄

作者簡介

相關詞條

熱門詞條