《資訊理論與編碼》是2018年電子工業出版社出版的圖書。
基本介紹
- 中文名：資訊理論與編碼
- 作者：張小飛 等
- 類別：程式設計
- 出版社：電子工業出版社
- 出版時間：2018年
- 開本：128 開
- 裝幀：平裝
- ISBN：9787121350979
內容簡介,圖書目錄,作者簡介,
內容簡介
本書重點介紹由香農理論發展而來的資訊理論的基本理論，它主要套用機率論、隨機過程和現代數理統計方法來研究信息提取、傳輸和處理的一般規律，提高信息系統的有效性和可靠性。本書分9章，以信息熵為基本概念，以香農理論的3個基本定理為核心，系統地講述香農資訊理論的基本理論，主要內容包括離散信息和連續信息的度量、離散信道和連續信道的容量、無失真信源編碼定理、有噪信道編碼定理、信息率失真函式、信道編碼和網路資訊理論。本書注重概念，採用通俗的文字，聯繫實際，用較多的例題闡述基本概念、基本理論及實現原理。在各章的*後還附有小結和大量習題，便於讀者學習，加深對概念的理解。本書可作為高等院校電子、信息、通信、計算機、自動化及相關專業本科生和研究生的教材，也可供相關專業的科技人員參考。
圖書目錄
第1章 緒論 1
1.1 信息的概念和特性 1
1.2 熵的概念 2
1.3 資訊理論的基本問題和主要內容 3
1.3.1 資訊理論研究的基本問題 3
1.3.2 資訊理論的研究內容 4
1.4 香農簡介 5
1.5 本書結構 6
1.6 本章小結 7
第2章 數學基礎 8
2.1 機率論基礎 8
2.1.1 機率空間 8
2.1.2 隨機變數與分布函式 10
2.1.3 多維隨機變數及其分布 12
2.1.4 數字特徵 16
2.1.5 大數定律及中心極限定理 19
2.2 馬爾可夫鏈 22
2.2.1 有限狀態馬氏鏈 22
2.2.2 狀態轉移機率 23
2.2.3 齊次馬氏鏈 23
2.2.4 馬氏鏈的平穩分布 25
2.3 凸函式 26
2.4 本章小結 28
習題 28
第3章 信息度量 30
3.1 自信息、條件自信息和聯合自信息 30
3.1.1 自信息 30
3.1.2 條件自信息 32
3.1.3 聯合自信息 33
3.2 互信息和信息散度 33
3.2.1 互信息的定義 33
3.2.2 互信息的性質 34
3.2.3 條件互信息 35
3.2.4 信息散度 35
3.3 離散集合的平均信息量（熵） 37
3.3.1 信息熵 37
3.3.2 條件熵 38
3.3.3 聯合熵 38
3.3.4 熵的基本性質 39
3.3.5 各類熵的關係 42
3.3.6 熵函式的性 44
3.3.7 通信系統中熵的意義 44
3.4 平均互信息 46
3.4.1 平均互信息的定義 46
3.4.2 平均互信息與熵的關係 46
3.4.3 平均互信息的性質 48
3.4.4 多隨機變數的互信息 53
3.5 本章小結 59
習題 61
第4章 信源和熵 64
4.1 信源的分類與數學模型 64
4.1.1 信源的分類 64
4.1.2 信源的數學模型 64
4.2 離散信源 65
4.2.1 離散無記憶信源和熵 65
4.2.2 離散平穩信源和熵 66
4.2.3 馬爾可夫信源 69
4.2.4 信源的冗餘度 73
4.3 連續信源 76
4.3.1 連續信源的熵與平均互信息 76
4.3.2 連續隨機變數信息散度 79
4.3.3 幾種特殊分布連續信源熵 80
4.3.4 連續信源熵定理 83
4.3.5 熵功率 84
4.3.6 符號持續時間不同的信源的熵 85
4.4 本章小結 86
習題 88
第5章 信道與信道容量 91
5.1 信道的特性及其分類 91
5.1.1 信道模型 91
5.1.2 信道分類 91
5.2 離散信道及其信道容量 92
5.2.1 離散信道數學模型 92
5.2.2 離散信道的信道容量 95
5.2.3 多符號離散信道的信道容量 104
5.3 連續信道及其信道容量 106
5.3.1 加性噪聲信道及其信道容量 106
5.3.2 加性高斯信道和及其信道容量 108
5.3.3 加性非高斯信道及其信道容量 109
5.3.4 並聯加性高斯信道 112
5.3.5 限頻限功率高斯信道的信道容量 115
5.3.6 香農信道編碼定理 118
5.4 本章小結 120
習題 121
第6章 無失真信源編碼 124
6.1 信源編碼簡介 124
6.2 離散信源定長編碼 126
6.2.1 典型序列與漸近均分特性 127
6.2.2 定長編碼定理 129
6.2.3 定長碼參數 130
6.3 離散信源變長編碼 131
6.3.1 變長碼的可譯性 132
6.3.2 Kraft不等式 133
6.3.3 變長編碼定理 134
6.3.4 變長碼參數 136
6.4 變長編碼方法 137
6.4.1 Huffman編碼 137
6.4.2 實用的信源編碼方法 141
6.5 本章小結 143
習題 144
第7章 限失真信源編碼 147
7.1 系統模型和失真測度 148
7.1.1 系統模型 148
7.1.2 失真測度 148
7.1.3 失真函式舉例說明 149
7.2 信息率失真函式 149
7.2.1 定義 149
7.2.2 信息率失真函式的性質 150
7.2.3 簡單信源的信息率失真函式 153
7.3 離散信源R(D)計算 161
7.3.1 離散信源信息率失真函式的參量表示 161
7.3.2 離散信源R(D)求解矢量/矩陣表示 163
7.3.3 參量s的意義 164
7.4 連續信源的信息率失真函式 167
7.4.1 連續信源的平均失真函式 167
7.4.2 d(x,y)只與x?y有關的情況下率失真函式的求解 168
7.4.3 高斯信源的率失真函式 169
7.4.4 限帶白色高斯信源的率失真函式 171
7.4.5 一般信源率失真函式的上限和下限 171
7.5 限失真信源編碼定理 172
7.6 本章小結 173
習題 175
第8章 信道編碼 178
8.1 引言 178
8.2 糾錯編碼 182
8.3 簡單編碼 186
8.4 線性分組碼 189
8.5 其他信道編碼方式 196
8.5.1 卷積碼 196
8.5.2 Turbo碼 199
8.5.3 LDPC碼 203
8.6 本章小結 206
習題 206
第9章 網路資訊理論 208
9.1 信道模型 209
9.1.1 刪除信道 209
9.1.2 無線信道 210
9.2 數字噴泉碼的數學描述 210
9.2.1 數字噴泉碼的定義 210
9.2.2 Tanner圖 211
9.2.3 度分布函式 212
9.3 典型的數字噴泉碼 213
9.3.1 LT碼 213
9.3.2 Raptor碼 214
9.4 數字噴泉碼的解碼算法 216
9.4.1 刪除信道中的解碼算法 216
9.4.2 無線信道中的解碼算法 217
9.5 數字噴泉碼的性能分析方法 219
9.5.1 刪除信道中的密度演化 219
9.5.2 無線信道中的密度演化 222
9.6 數字噴泉碼的套用 225
9.7 網路編碼基礎 226
9.7.1 引言 226
9.7.2 流小割定理 226
9.7.3 網路編碼的數學描述 227
9.7.4 網路編碼的分類及特點 228
9.8 網路編碼實例：套用於蝶形網路 229
9.9 網路編碼的研究現狀 230
9.10 網路編碼的套用 231
參考文獻 232
作者簡介
張小飛，教授/博導。為中國通信學會青年工作委員會委員、中國電子學會教育工作委員會青年組委員、江蘇省科技評估專家和通信工程研究所常務副所長。為20多家國際會議TPC成員，擔任10多家刊物的編委；任國際刊物客座主編；受邀做會議主題報告10多次、主持國際會議一次。近年來發表SCI論文80多篇，ESI高被引論文2篇；出版著作5部，公開專利3項。主持國家自然科學基金2項，其他項目20多項。獲得通信學會自然科學一等獎1項、國防科學技術進步獎2項、“333”人才計畫、青藍工程“中青年學術帶頭人”、“六大人才高峰”B類、江蘇省航空航天學會“優秀科技工作者”；入選中國百篇影響國際學術論文。研究方向：移動通信、陣列信號處理、通信信號處理。
