《信息理論基礎》是由周蔭清編寫，北京航空航天大學出版社出版的一本書籍。本書是著重介紹信息理論的基本概念和基本方法，如有關信息及其度量，信源及其編碼，信道及其編碼的基本概念和基本理論。其次，作為套用例子，介紹了數據的傳輸碼、壓縮碼、檢錯及糾錯碼，多端信息網路，估計理論，試驗假設及條形碼等專題。本書可作高等院校的信息理論基礎課程的教材或參考書，也可供在各種套用領域中對信息理論感興趣的工程技術人員參考。
基本介紹
- 中文名：信息理論基礎
- ISBN：9787810776899
- 出版社：北京航空航天大學出版社
- 出版日期：2006年02月
- 作/譯者：周蔭清
內容簡介,目錄,
內容簡介
信息理論是套用十分廣泛的基礎學科。它隨著通訊技術的發展而成熟起來，其影響幾乎遍及所有的套用領域。
本書重點介紹經典資訊理論的基本理論，力圖將資訊理論及其工程套用聯繫起來。全書共分11章。內容包括信息的統計度量；離散信源和連續信源；信道與信道容量；信源與信宿之間的平均失真度以及信息率失真函式；信源編碼與信道編碼；網路資訊理論基礎；資訊理論方法在信號處理中的套用。
本書深入淺出，概念清晰，系統性強；可作為理工科高等院校電子類相關專業的教材，亦可供從事通信、雷達、導航、生物工程、系統工程、管理工程等有關專業的科技人員參考。
目錄
第1章 緒論
1.1 信息
1.2 通信系統模型
1.3 資訊理論的形成和發展
習題1
第2章 信息的統計度量
2.1 自信息量和條件自信息量
2.1.1 自信息量
2.1.2 條件自信息量
2.2 互信息量和條件互信息量
2.2.1 互信息量
2.2.2 互信息量的性質
2.2.3 條件互信息量
2.3 離散集的平均自信息量
2.3.1 平均自信息量（熵）
2.3.2 熵函式的數學特性
2.3.3 條件熵
2.3.4 聯合熵
2.3.5 各種熵的性質
2.3.6 加權熵
2.4 離散集的平均互信息量
2.4.1 平均條件互信息量
2.4.2 平均互信息量
2.4.3 平均互信息量的性質
2.5 連續隨機變數的互信息和相對熵
2.5.1 連續隨機變數的互信息
2.5.2 連續隨機變數的熵
習題2
第3章 離散信源
3.1 信源的數學模型及其分類
3.1.1 信源的數學模型
3.1.2 信源的分類
3.2 離散無記憶信源
3.3 離散無記憶信源的擴展信源
3.3.1 最簡單的離散信源
3.3.2 N次擴展信源
3.3.3 N次擴展信源的熵
3.4 離散平穩信源
3.4.1 平穩信源
3.4.2 平穩信源的熵
3.4.3 極限熵
3.5 馬爾可夫信源
3.5.1 有限狀態馬爾可夫鏈
3.5.2 馬爾可夫信源
3.6 信源的相關性和剩餘度
習題3
第4章 離散信道及其容量
4.1 信道的數學模型及其分類
4.2 離散無記憶信道
4.2.1 離散信道的數學模型
4.2.2 單符號離散信道
4.2.3 信道疑義度
4.2.4 平均互信息
4.2.5 各種熵、信道疑義度及平均互信息量之間的相互關係
4.3 離散無記憶擴展信道
4.3.1 N次擴展信道
4.3.2 定理
4.4 信道的組合
4.5 信道容量
4.5.1 信道容量的定義
4.5.2 離散無噪信道
4.5.3 離散對稱信道
4.5.4 一般離散信道
4.5.5 離散無記憶N次擴展信道
4.5.6 獨立並聯信道
4.5.7 信源和信道匹配
習題4
第5章 無失真信源編碼
5.1 編碼器
5.2 分組碼
5.3 定長碼
5.4 變長碼
5.4.1 碼的分類和主要編碼方法
5.4.2 克拉夫特不等式和麥克米倫不等式
5.4.3 惟一可解碼判別準則
5.4.4 變長編碼定理
5.4.5 變長碼的編碼方法
習題5
第6章 有噪信道編碼
6.1 噪聲信道的編碼問題
6.1.1 錯誤機率和解碼規則
6.1.2 解碼規則
6.2 錯誤機率與編碼方法
6.2.1 簡單重複編碼
6.2.2 訊息符號個數
6.2.3 (5.2)線性碼
6.2.4 漢明距離
6.3 有噪信道編碼定理
6.4 錯誤機率的上界
習題6
第7章 限失真信源編碼
7.1 失真測度
7.1.1 失真函式
7.1.2 平均失真
7.2 信息率失真函式
7.2.1 D允許信道（試驗信道）
7.2.2 信息率失真函式的定義
7.2.3 信息率失真函式R（D）的性質
7.3 限失真信源編碼定理和逆定理
7.3.1 限失真信源編碼定理
7.3.2 限失真信源編碼逆定理
7.4 信息率失真函式的計算
7.4.1 R（D）參量表示法求解
7.4.2套用參量表示式計算R（D）的例題
7.4.3 R（D）的疊代計算方法
習題7
第8章 連續信源和波形信道
8.1 連續信源的特徵
8.1.1 連續信源
8.1.2 連續信源的熵
8.1.3 連續信源的最大熵
8.1.4 聯合熵、條件熵和平均互動信息量
8.1.5 連續信源的熵速率和熵功率
8.2 連續信道的信道容量
8.2.1 時間離散信道的容量
8.2.2 時間連續信道的容量
8.3 連續信道的信道編碼定理
8.4 連續信源的信息率失真函式
習題8
第9章 糾錯編碼
9.1 糾錯碼的基本概念
9.2 糾錯碼分類
9.3 線性分組碼
9.3.1 校驗矩陣與生成矩陣
9.3.2 線性分組碼的糾、檢錯能力
9.3.3 校驗矩陣與最小距離的關係
9.3.4 線性分組碼的伴隨式
9.3.5 線性分組碼的解碼
9.3.6 漢明碼
9.4 幾種重要的糾錯碼
9.4.1 循環碼
9.4.2 卷積碼
習題9
第10章 網路資訊理論基礎
10.1 概述
10.2 網路信道分類
10.2.1 雙向信道
10.2.2 反饋信道
10.2.3 多源接入信道
10.2.4 廣播信道
10.2.5 中繼信道
10.2.6 串擾信道
10.2.7 多用戶通信網信道
10.3 網路資訊理論中的編碼問題
10.3.1 基本概念
10.3.2 相關信源獨立編碼
10.3.3 相關信源協同編碼
10.4 幾種典型的網路信道
10.4.1 多源接入信道
10.4.2 高斯多源接入信道
10.4.3 中繼信道
10.4.4 廣播信道
10.4.5 反饋信道
習題10
第11章 資訊理論方法在信號處理中的套用
11.1 最大熵譜估計
11.1.1 最大熵譜估計及伯格遞推算法
11.1.2 最大熵譜估計
11.2 最小誤差熵估計與卡爾曼濾波
11.2.1 最小均方誤差準則與最小誤差熵準則
11.2.2 最小誤差熵準則推導卡爾曼濾波方程
習題11
參考文獻
