套用資訊理論基礎

本書從基本概念、基本方法和基本套用三個方面較系統地介紹了信息理論。包括信源的熵率、冗餘度與冗餘度壓縮編碼等。

基本介紹

• 書名：套用資訊理論基礎
• 作者：朱雪龍
• ISBN：9787302041542
• 印刷日期：2008-7-23

圖書簡介

本書從基本概念、基本方法和基本套用三個方面較系統地介紹了信息理論。全書共分9章。除第1章概述和第2章基本概念外，第3章至第6章分別介紹信源的冗餘度壓縮編碼、熵壓縮編碼和信道的容量與信道編碼。第7章討論最大熵與最小鑑別信息原理及其套用。非統計意義下的信息理論在第8章中討論，內容包括組合信息、算法信息與通用編碼。最後在第9章中簡要介紹了通信網中的信源編碼與信道容量問題。

圖書目錄

第1章資訊理論與資訊理論方法概述1

1.1信息、信息科學和資訊理論1

1.2資訊理論方法的套用及其取得的成果3

1.3資訊理論的形成與發展7

1.3.1通信技術的理論基礎7

1.3.2統計數學的一個分支11

1.3.3信號與信息處理的一般理論基礎12

第2章資訊理論的基本概念14

2.1離散熵14

2.1.1熵的定義14

2.1.2熵函式的性質19

2.1.3熵函式形式的唯一性23

2.1.4聯合熵與條件熵26

2.2離散互信息29

2.2.1互信息的定義29

2.2.2多個隨機變數下的互信息31

2.2.3互信息函式的性質35

2.3連續隨機變數下的熵與互信息38

2.3.1連續隨機變數下的微分熵38

2.3.2隨機變數函式的微分熵40

2.3.3連續隨機變數下的互信息42

2.4鑑別信息44

2.4.1鑑別信息的定義44

2.4.2Kullback與香農兩種信息量度之間的關係47

2.4.3鑑別信息的性質51

*2.4.4鑑別信息函式形式的唯一性57

2.5對資訊理論基本概念的若干評註70

習題71

第3章信源的熵率、冗餘度與冗餘度壓縮編碼74

3.1信源、信源模型與信源編碼74

3.1.1信源74

3.1.2信源模型75

3.1.3信源編碼77

3.2離散穩恆信源的熵率與冗餘度78

3.3離散無記憶信源的漸近等同分割性與信源的定長編碼定理82

3.3.1漸近等同分割性82

3.3.2定長編碼定理84

3.4離散無記憶信源的變長編碼86

3.4.1前綴碼與Kraft定理87

3.4.2唯一可解碼定理89

3.5變長編碼的平均碼長與最優編碼90

3.5.1變長編碼的平均碼長90

3.5.2最優編碼92

3.6離散無記憶信源的變長樹碼95

3.6.1算術碼95

3.6.2算術碼的存在性97

3.7離散馬爾可夫信源的熵率100

3.7.1馬爾可夫鏈的基本概念100

3.7.2離散馬爾可夫信源熵率的計算102

3.8離散馬爾可夫信源的編碼定理與最優編碼105

習題108

第4章信道、信道容量與信道的有效利用110

4.1信道、信道模型與信道分類110

4.1.1信道110

4.1.2信道模型與信道分類111

4.2離散無記憶信道及其信道容量112

4.3離散無記憶信道容量的計算116

4.3.1信道容量解的充要條件116

4.3.2某些簡單情況下信道容量的解119

4.3.3一般情況下信道容量的解122

*4.3.4信道容量的疊代解法124

4.4級聯信道和並聯信道的信道容量125

4.4.1級聯信道125

4.4.2並聯信道128

4.5信道達到充分利用時輸入輸出字母機率分布的唯一性131

4.6連續信道的信道容量135

4.6.1無記憶加性噪聲信道的信道容量費用函式136

4.6.2無記憶加性高斯噪聲信道的信道容量費用函式137

4.6.3一般無記憶加性噪聲信道的信道容量費用函式的界141

4.6.4無記憶加性高斯噪聲信道的級聯和並聯142

4.7模擬信道的信道容量145

4.7.1模擬隨機信號的正交展開145

4.7.2模擬信道下的信道容量費用函式及其計算148

4.8限帶加性白色高斯噪聲信道的極限性能及其與傳輸要求的

匹配156

4.8.1限帶加性白色高斯噪聲信道的性能及其極限157

4.8.2信道與信息傳輸要求的匹配160

4.9限帶模擬信道的數位化163

*4.10蜂窩移動通信條件下信道的有效利用165

4.10.1蜂窩移動通信與系統的頻譜利用效率165

4.10.2不同接入方法下蜂窩移動通信系統的頻譜利用

效率及其比較167

習題171

第5章信道編碼173

5.1信道編碼概述173

5.2信道解碼準則176

5.3聯合典型序列與聯合漸近等同分割定理179

5.4信道編碼定理181

5.5信道編解碼方法的最初範例——漢明碼183

5.6分組碼之一：線性碼185

5.6.1線性碼的定義、編碼與生成矩件185

5.6.2線性碼的伴隨式與伴隨式解碼187

*5.7分組碼之二：循環碼190

5.7.1循環碼的定義191

5.7.2循環碼的編碼與生成多項式191

5.7.3循環碼的伴隨式與解碼原理193

5.8樹碼、格線碼與卷積碼195

5.9關於信道編碼理論的若干評註199

習題200

第6章信源的信息速率失真函式與熵壓縮編碼203

6.1熵壓縮編碼和信源的信息速率失真函式204

6.1.1熵壓縮編碼204

6.1.2離散無記憶信源的熵壓縮分組編碼及信源的信息

速率失真函式204

6.2信息速率失真函式的性質206

6.3離散無記憶信源下的信息速率失真函式的計算211

6.3.1信息速率失真函式解的充要條件及參數方程211

*6.3.2求解信息速率失真函式的疊代算法217

6.3.3信息速率失真函式解的唯一性問題220

6.3.4乘積信源的信息速率失真函式222

6.4連續無記憶信源的信息速率失真函式224

6.4.1連續無記憶信源信息速率失真函式的定義及其解

的充要條件224

6.4.2差值失真量度下連續無記憶信源信息速率失真

函式的計算226

6.5標量量化233

6.5.1均勻量化235

6.5.2Lloyd\|Max算法235

6.6有記憶連續信源與模擬信源的信息速率失真函式236

6.6.1有記憶連續信源的信息速率失真函式的定義236

6.6.2模擬信源的信息速率失真函式的定義237

6.6.3高斯有記憶連續信源的信息速率失真函式237

6.6.4高斯模擬信源的信息速率失真函式240

6.7變換編碼——實用的熵壓縮分組編碼242

6.8預測編碼——實用的熵壓縮樹碼248

6.8.1最小均方誤差預測器249

6.8.2最小平均絕對誤差預測器249

6.8.3最大零誤差機率預測器249

習題251

第7章最大熵原理與最小鑑別信息原理254

7.1非適定問題與最大熵和最小鑑別信息原理254

7.1.1非適定問題的提出254

7.1.2最大熵原理與最小鑑別信息原理255

7.2最大熵原理的合理性258

*7.3最小鑑別信息原理與最大熵原理的公理化推導261

7.3.1最小鑑別信息原理的推導261

7.3.2最大熵原理的推導269

7.4最小失真意義下的最大熵原理與最小鑑別信息原理269

7.4.1方向正交與投影失真270

7.4.2投影失真的一般形式272

7.4.3最小失真準則與熵準則274

7.5最大熵與最小鑑別信息原理的套用及其解的分布276

7.5.1最大熵與最小鑑別信息原理的套用276

7.5.2最大熵分布與最小鑑別信息分布281

習題282

第8章組合信息、算法信息與通用編碼284

8.1信源統計特性不確定時的信源編碼問題284

8.1.1統計特性失配時統計編碼的性能285

8.1.2自適應統計編碼285

8.2基於組合的信息量度與通用編碼287

8.2.1基於組合的信息量度287

8.2.2通用編碼288

8.2.3Fitingof通用編碼的性能289

8.3算法信息量292

8.3.1單一事件或數值下的信息量度問題292

8.3.2Kolmogorov算法熵293

8.4二元字元序列的算法熵294

8.5算法熵的不可計算性296

8.6有限狀態壓縮編碼器298

8.7Lewpel\|Ziv編碼302

8.8LZ編碼壓縮比與香農熵305

習題306

第9章通信網中的信源編碼與信道容量309

9.1概述309

9.2反饋信道314

9.3多個隨機變數下的聯合典型序列316

9.4多源接入信道320

9.4.1多源接入信道的容量320

9.4.2相關信源輸入下的多源接入信道324

9.5高斯多源接入信道324

9.5.1高斯多源接入信道的容量域324

9.5.2對高斯多源接入信道容量域的討論326

9.5.3多源接入信道容量域與多址方法的關係327

9.6分布信源編碼329

習題333

參考文獻335

索引336