《資訊理論基礎教程》是翟明岳著圖書。
基本介紹
- 中文名：資訊理論基礎教程
- 作者：翟明岳
- 出版社：科學出版社
- 出版時間：2021年11月1日
- 頁數：273 頁
- 定價：79.00 元
- 開本：16 開
- 裝幀：平裝
- ISBN：9787030697981
- 正文字數：420000 字
- 語種：zh-Hans
內容簡介,圖書目錄,
內容簡介
本書重點介紹經典資訊理論的基本理論，覆蓋了經典資訊理論的主要內容：離散信息和連續信息的度量、離散信源和連續信源、離散信道和連續信道及其容量，以及無失真信源編碼、限失真信源編碼和有噪信道編碼等重點內容。
圖書目錄
第1章 緒論 1
1.1 信息的概念 1
1.2 通信系統模型 2
習題 3
第2章 離散信息的度量 4
2.1 機率論基本知識 4
2.1.1 樣本空間與隨機事件 4
2.1.2 機率的有關概念 5
2.1.3 全機率公式和貝葉斯公式 6
2.1.4 先驗機率和後驗機率 7
2.1.5 離散隨機變數 8
2.1.6 離散隨機變數的統計特性 10
2.2 信息度量方法的引入 11
2.3 自信息量和信息熵 12
2.3.1 自信息量 12
2.3.2 信息熵 14
2.4 聯合自信息量與聯合熵 16
2.4.1 聯合自信息量 16
2.4.2 聯合熵 18
2.5 互信息量與平均互信息量 20
2.5.1 條件自信息量 20
2.5.2 條件熵 21
2.5.3 互信息量 23
2.5.4 互信息量的性質 25
2.5.5 平均互信息量 27
2.6 熵的性質以及各種熵之間的關係 31
2.6.1 信息熵的性質 31
2.6.2 各種熵之間的關係 40
習題 44
第3章 離散信源及信源熵 49
3.1 隨機過程基本知識 49
3.1.1 機率空間 49
3.1.2 隨機過程 50
3.2 信源的數學模型和分類 52
3.2.1 信源的數學模型 53
3.2.2 信源的分類 54
3.3 離散單符號信源 56
3.3.1 離散單符號信源的概念和數學模型 56
3.3.2 離散單符號信源的信息度量 57
3.4 離散多符號信源 57
3.4.1 離散平穩信源的性質 57
3.4.2 常見的離散平穩信源 58
3.4.3 離散多符號信源的信源熵 59
3.4.4 離散平穩無記憶信源 60
3.4.5 離散平穩有記憶信源 67
3.4.6 一維離散平穩信源的信源熵 69
3.5 馬爾可夫信源 71
3.5.1 有限狀態馬爾可夫鏈 71
3.5.2 齊次馬爾可夫鏈及其平穩分布 74
3.5.3 齊次馬爾可夫信源 79
3.5.4 m階齊次馬爾可夫信源 86
3.6 信源的相關性和剩餘度 90
3.6.1 信源的相關性 90
3.6.2 信源剩餘度 93
習題 95
第4章 離散信道及其容量 99
4.1 信道的基本概念、研究方法、數學模型及其分類 99
4.1.1 信道的基本概念和研究方法 99
4.1.2 離散信道的數學模型 102
4.1.3 離散信道的分類 102
4.2 離散無記憶信道 103
4.2.1 離散信道的數學模型 103
4.2.2 單符號離散信道 105
4.2.3 信道疑義度 107
4.3 離散信道中平均互信息量定理 109
4.3.1 固定信道的平均互信息量上凸函式定理 109
4.3.2 固定信源的平均互信息量下凸函式定理 111
4.4 離散無記憶擴展信道 114
4.4.1 離散無記憶擴展信道的定義 114
4.4.2 離散無記憶N次擴展信道的數學模型 115
4.4.3 多符號信道的平均互信息量 117
4.4.4 N次擴展信道平均互信息量定理 122
4.5 信道容量 123
4.5.1 信道中平均互信息量的含義 123
4.5.2 信道容量的概念 126
4.5.3 離散無噪信道的信道容量 129
4.5.4 離散對稱信道的信道容量 131
4.5.5 一般離散信道的信道容量 135
4.5.6 離散無記憶N次擴展信道的信道容量 140
習題 141
第5章 無失真信源編碼 145
5.1 信源編碼的相關概念 145
5.1.1 無失真信源編碼的數學模型 145
5.1.2 信源編碼的分類 147
5.1.3 即時碼存在定理及其構造方法 149
5.2 定長碼及定長編碼定理 150
5.2.1 唯一可譯定長碼存在的一般條件 150
5.2.2 定長編碼定理 152
5.3 變長碼和變長碼定理 156
5.3.1 Kraft不等式和McMillan不等式 157
5.3.2 唯一可解碼的判別準則 158
5.3.3 緊緻碼平均碼長界限定理 159
5.3.4 香農第一定理 163
5.4 變長碼的編碼方法 167
5.4.1 香農編碼 167
5.4.2 香農-費諾-埃利斯編碼 168
5.4.3 二元霍夫曼編碼 169
5.4.4 r元霍夫曼編碼 172
習題 173
第6章 有噪信道編碼 177
6.1 信道編碼的基本概念 177
6.1.1 編碼信道 177
6.1.2 錯誤機率的影響因素分析 178
6.1.3 解碼規則 179
6.2 錯誤機率與編碼方法 186
6.2.1 簡單重複編碼降低平均錯誤機率 186
6.2.2 訊息符號個數 189
6.2.3 (5,2)線性碼 191
6.3 有噪信道編碼定理 195
6.3.1 香農第二定理 195
6.3.2 有噪信道編碼逆定理 196
6.3.3 錯誤機率的上界 197
習題 198
第7章 限失真信源編碼 199
7.1 失真測度 199
7.1.1 試驗信道 199
7.1.2 失真函式 201
7.1.3 平均失真 203
7.2 信息率失真函式 203
7.2.1 保真度準則與允許信道 203
7.2.2 信息率失真函式的定義 204
7.3 信息率失真函式的性質 204
7.3.1 定義域 205
7.3.2 R(D)是D的下凸函式 208
7.3.3 R(D)是嚴格遞減函式 209
7.3.4 R(D)的典型曲線 210
7.4 信息率失真函式的計算 211
7.4.1 參量表示法求解R(D) 211
7.4.2 參量表示法求解R(D)例題 217
7.5 限失真信源編碼定理和逆定理 221
7.5.1 香農第三定理 221
7.5.2 限失真信源編碼逆定理 222
習題 222
第8章 連續信源和連續信道 223
8.1 連續隨機變數的基礎知識 223
8.1.1 連續隨機變數與機率密度函式 223
8.1.2 聯合機率密度函式與邊緣機率密度函式 224
8.1.3 隨機變數和的機率密度函式 224
8.2 連續信源的分類和統計特性 225
8.2.1 連續信源的分類 225
8.2.2 連續信源的統計特性 225
8.3 連續隨機變數的信息度量 227
8.3.1 連續隨機變數的熵 227
8.3.2 連續隨機變數的聯合熵、條件熵和平均互信息量 230
8.4 連續信源的信息度量 233
8.4.1 單符號連續信源的熵 233
8.4.2 多符號連續信源的熵 234
8.5 連續信源的最大熵 237
8.5.1 連續信源最大熵的數學模型 237
8.5.2 瞬時功率受限連續信源的最大熵 237
8.5.3 平均功率受限連續信源的最大熵 238
8.5.4 連續信源的熵功率 240
8.6 連續信道和波形信道 241
8.6.1 連續信道的分類 241
8.6.2 波形信道的分類 242
8.7 連續信道的平均互信息量 243
8.7.1 連續信道 243
8.7.2 加性信道 244
8.8 連續信道的信道容量 245
8.8.1 連續信道的信道容量定義 246
8.8.2 一維高斯加性信道的信道容量 246
8.8.3 一維非高斯加性信道的信道容量 247
8.8.4 多維無記憶高斯加性信道的信道容量 249
8.9 波形信道的信道容量 250
8.9.1 限帶AWGN信道的信道容量 251
8.9.2 香農公式的意義 252
習題 253
附錄A 凸函式的概念 255
附錄B Gibbs不等式 258
附錄C 信息熵是嚴格上凸函式 260
附錄D 馬爾可夫鏈轉移機率的漸近性質 262
附錄E 漸近等同分割性和ε典型序列 266
附錄F 有噪信道編碼定理證明 270
參考文獻 274
