《資訊理論與編碼——理論及其套用》是2021年電子工業出版社出版的圖書。
基本介紹
- 中文名：資訊理論與編碼——理論及其套用
- 作者：張可,魏勤,劉雪冬 等
- 出版社：電子工業出版社
- 出版時間：2021年
- 開本：16 開
- ISBN：9787121409479
內容簡介,作者簡介,目 錄,
內容簡介
資訊理論與編碼是運用機率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、數據壓縮等問題的套用學科理論，是電子通信類專業重要的學科基礎課。本書介紹香農資訊理論的基本內容：信息的度量方法、信源編碼（無失真信源編碼和限失真信源編碼）及信道編碼（糾錯編碼、安全編碼和網路編碼）的基本理論與方法。為方便學生理解，本書對重點、難點進行了數位化處理與演示；為培養學生解決實際問題的能力，在每章中引入了理論聯繫實際的內容。 本書可配合中國大學MOOC上的“信息理論與編碼”線上課程使用，也可作為相關專業學生的配套教材。
作者簡介
張可，博士，武漢理工大學信息工程學院副教授，長期從事通信工程領域的教學與研究工作，發表論文多篇，獲得武漢理工大學校第九屆青年教師教學比賽三等獎。
目 錄
第1章 緒論 1
1.1 信息的定義 1
1.2 本課程的主要研究內容 2
1.3 資訊理論與編碼的發展歷程及相關套用 6
1.3.1 資訊理論與編碼的發展 6
1.3.2 資訊理論與編碼技術的交叉套用 8
習題 10
第2章 信源與熵 11
2.1 信息與信源的關係 11
2.1.1 信源與隨機變數 11
2.1.2 通信模型中的信源 12
2.2 香農熵及其特性 13
2.2.1 熵的來源 13
2.2.2 香農熵 14
2.2.3 香農熵的含義 15
2.2.4 香農熵的特性 17
2.3 聯合熵與條件熵 20
2.3.1 聯合分布與聯合熵 20
2.3.2 條件熵 21
2.3.3 各類信源熵的關係 21
2.4 平均互信息量 22
2.4.1 平均互信息量及其計算 22
2.4.2 平均互信息量的性質 24
2.4.3 熵及平均互信息量之間的關係 25
2.5 各類信源熵的擴展 25
2.5.1 離散無記憶擴展信源的信息熵 25
2.5.2 離散平穩信源的信息熵 26
2.5.3 連續信源的信息熵 28
2.5.4 馬爾可夫信源的信息熵 35
2.6 套用實例 38
2.6.1 信源信息傳播因素分析 38
2.6.2 智慧型變電站通信網路的廣義信源 38
本章基本概念 39
習題 41
第3章 信道及其容量 44
3.1 信道的分類及模型 44
3.1.1 信道的分類 44
3.1.2 信道的模型描述 46
3.1.3 離散信道的數學模型 47
3.2 信道的平均互信息量 48
3.2.1 信道的疑義度 48
3.2.2 信道的散布度 50
3.2.3 信道的平均互信息量 51
3.2.4 信道的平均條件互信息量 52
3.3 平均互信息量的特性 52
3.4 信道容量及其一般計算方法 54
3.4.1 信道容量的定義 54
3.4.2 離散無噪信道的信道容量 56
3.4.3 對稱離散信道的信道容量 59
3.4.4 準對稱信道的信道容量 62
3.4.5 Kuhn-Tucker定理及一般離散信道的信道容量 64
3.4.6 信道容量的疊代算法 68
3.5 連續信道及其信道容量 69
3.5.1 連續信道的數學模型 69
3.5.2 連續信道的平均互信息量及其特性 70
3.5.3 高斯加性噪聲信道的信道容量 71
3.5.4 一般加性噪聲信道的信道容量及其邊界 74
3.6 波形信道及其信道容量 75
3.6.1 波形信道的平均互信息量 75
3.6.2 加性噪聲波形信道的信道容量 76
3.7 擴展信道及其信道容量 79
3.7.1 擴展信道的數學模型 79
3.7.2 擴展信道的平均互信息量和信道容量 80
3.8 組合信道及其信道容量 82
3.8.1 串聯信道 82
3.8.2 獨立並聯信道 84
3.9 信源與信道的匹配 84
3.10 套用實例 85
本章基本概念 86
習題 89
第4章 無失真信源編碼 92
4.1 信源編碼的基本概念 93
4.2 編碼的可譯性 96
4.2.1 常見碼及其可譯性 96
4.2.2 碼樹與克拉夫特不等式 98
4.2.3 可解碼的判斷方法 100
4.3 離散無記憶信源的漸近等分性 102
4.3.1 典型序列 102
4.3.2 漸近等分性 102
4.3.3 離散無記憶信源序列集的劃分 103
4.4 定長編碼 104
4.4.1 定長編碼的基本約束 104
4.4.2 定長編碼定理 104
4.5 變長編碼定理 108
4.6 無失真信源編碼方法 110
4.6.1 霍夫曼編碼 111
4.6.2 費諾編碼 116
4.6.3 香農編碼 117
4.6.4 遊程編碼 119
4.6.5 算術編碼 120
4.6.6 字典編碼 123
4.7 套用實例 131
4.7.1 MH編碼 131
4.7.2 Zip和Gzip軟體 134
4.7.3 RAR和WinRAR軟體 135
4.7.4 GIF圖像 136
4.7.5 PNG圖像 136
本章基本概念 139
習題 140
第5章 信道糾錯編碼 143
5.1 糾錯編解碼的基本原理 143
5.1.1 糾錯編解碼方法 143
5.1.2 平均差錯率及解碼規則 145
5.1.3 分組碼舉例 149
5.2 有噪信道編碼定理 151
5.2.1 有噪打字機舉例 151
5.2.2 定理討論 153
5.2.3 有噪信道編碼逆定理 153
5.3 線性分組碼 154
5.3.1 線性分組碼編碼 154
5.3.2 伴隨式與標準陣列解碼 158
5.3.3 碼的小漢明距離與檢糾錯能力 159
5.3.4 標準陣列及解碼方法 160
5.3.5 完備碼 164
5.4 套用實例 165
5.4.1 模擬移動系統中數字信令的BCH編碼 166
5.4.2 深空通信中的信道編碼 166
5.4.3 GSM的信道編碼 166
5.4.4 窄帶CDMA系統（IS-95）中的前向糾錯編碼 166
5.4.5 3G通信中Turbo碼 166
5.4.6 5G通信中的信道編碼 167
本章基本概念 167
習題 169
第6章 限失真信源編碼 171
6.1 失真測度 172
6.2 信息率失真函式及其性質 173
6.2.1 信息率失真函式的定義 173
6.2.2 信息率失真函式R(D)的性質 174
6.3 限失真信源編碼定理 178
6.4 離散信源信息率失真函式的計算 178
6.4.1 離散信源信息率失真函式的參量表示計算方法 178
6.4.2 離散信源信息率失真函式的疊代計算方法 187
6.5 連續信源的信息率失真函式 190
6.5.1 連續信源信息率失真函式的參量表達式 190
6.5.2 高斯信源的信息率失真函式 191
6.6 圖像信源限失真編碼舉例 193
6.6.1 JPEG基本系統簡介 193
6.6.2 JPEG編碼過程示例 196
6.6.3 JPEG編碼率失真性能曲線的繪製 198
6.7 信息率失真函式的套用及套用中的困難 200
本章基本概念 201
習題 202
第7章 信道安全編碼 203
7.1 網路模型與安全服務功能 204
7.1.1 開放系統互連參考模型 204
7.1.2 安全分層原則 205
7.1.3 安全服務功能 205
7.2 香農的安全編碼思想 207
7.2.1 加密系統的資訊理論分析 208
7.2.2 資訊理論安全技術 210
7.2.3 有噪信道的安全通信 211
7.2.4 完全保密、強保密和弱保密 212
7.2.5 信道的安全編碼與傳統加密體制的對比 214
7.3 搭線竊聽信道 215
7.3.1 普通搭線竊聽信道模型 215
7.3.2 退化搭線竊聽信道模型 216
7.3.3 高斯搭線竊聽信道 218
7.3.4 關於搭線竊聽信道的幾點說明 219
7.4 安全編碼方法 219
7.4.1 Wyner的安全編碼思想 220
7.4.2 伴隨編碼機制 222
本章基本概念 225
習題 226
第8章 網路編碼 227
8.1 網路編碼基礎 227
8.1.1 蝴蝶網路 227
8.1.2 網路編碼的核心思想 229
8.1.3 線性網路編碼 229
8.2 網路編碼套用 229
8.2.1 網路編碼與無線通信 229
8.2.2 網路編碼與分散式存儲 230
本章基本概念 233
習題 234
附錄A 部分定理的證明 235
參考文獻 241
