資訊理論基礎（含習題與解答）

《資訊理論基礎》是2015年科學出版社出版的圖書，作者是張小飛。

基本介紹

• 書名：資訊理論基礎（含習題與解答）
• 作者：張小飛
• ISBN：978-7-03-044810-1
• 頁數：424頁
• 定價：68.00元
• 出版社：科學出版社
• 裝幀：平裝
• 開本：16開
• 責任編輯：潘斯斯

內容簡介

資訊理論為電子通信專業核心課程，也為必修課程。本課程以信息熵為基本概念，以仙農的三個基本定理為核心，系統地講述了仙農資訊理論的基本理論。在教學模式上，對資訊理論課程採用理論教學為主。在教學方法上，採用課堂教學和仿真實驗結合來進行。教學手段上，結合講授內容，安排中課堂的計算機仿真實例演示。同時要求學生通過使用MATLAB仿真工具，經過驗證的算法，對課本相關理論和算法進行實驗驗證，提高了學生的學習興趣和實際能力。以專題式講座、討論式教學、研究式教學的逐步深入的研究生專業課程教學方法。

目錄

《資訊理論基礎（含習題與解答）》目錄：

前言

第1章緒論

1.1信息概念和特性

1.2熵的概念

1.3資訊理論研究的基本問題和主要內容

1.3.1資訊理論研究的基本問題

1.3.2資訊理論研究內容

1.4香農簡介

1.5本書結構

1.6本章小結

第2章數學基礎

2.1機率論基礎

2.1.1機率空間

2.1.2隨機變數與分布函式

2.1.3多維隨機變數及其分布

2.1.4數字特徵

2.1.5大數定律及中心極限定理

2.2馬爾可夫鏈

2.2.1有限狀態馬氏鏈

2.2.2狀態轉移機率

2.2.3齊次馬氏鏈

2.2.4馬氏鏈的平穩分布

2.3凸函式和常用不等式

2.3.1凸函式

2.3.2常用不等式

2.4本章小結

習題

第3章信息度量和熵

3.1自信息、條件自信息和聯合自信息

3.1.1自信息

3.1.2條件自信息

3.1.3聯合自信息

3.2互信息和信息敞度

3.2.1互信息定義

3.2.2互信息的性質

3.2.3條件互信息

3.2.4信息散度

3.3離散集合的平均信息量（熵）

3.3.1信息熵

3.3.2條件熵

3.3.3聯合熵

3.3.4熵的基奉性質

3.3.5各類熵的關係

3.3.6熵函式的唯一性

3.3.7通信系統中熵的意義

3.4平均互信息

3.4.1平均互信息定義

3.4.2平均互信息與熵的關係

3.4.3平均互信息的性質

3.4.4多隨機變數的互信息

3.5本章小結

習題

第4章信源和熵

4.1信源的分類與數學模型

4.1.1信源的分類

4.1.2信源的數學模型

4.2離散信源

4.2.1離散無記憶信源和熵

4.2.2離散平穩信源和熵

4.2.3馬爾可夫信源

4.2.4信源的冗餘度

4.3連續信源

4.3.1連續信源的熵與平均互信息

4.3.2連續隨機變數信息散度

4.3.3幾種特殊分布連續信源熵

4.3.4最大熵定理

4.3.5熵功率

4.3.6隨機矢量通過線性系統後信息的變化

4.3.7符號持續時間不同信源的熵

4.4本章小結

習題

第5章信道與信道容量

5.1信道的特性及其分類

5.1.1信道模型

5.1.2信道分類

5.2離散信道及其容量

5.2.1離散信道數學模型

5.2.2離散信道容量

5.2.3多符號離散信道的容量

5.3連續/波形信道及其容量

5.3.1加性噪聲信道和容量

5.3.2加性商斯信道和容量

5.3.3加性非高斯信道的容量

5.3.4多維無記憶加性高斯信道

5.3.5限頻限功率高斯信道的容量

5.3.6香農信道編碼定理

5.4本章小結

習題

第6章無失真信源編碼

6.1信源編碼簡介

6.2離散信源定長編碼

6.2.1典型序列與信源序列的漸近均分特性

6.2.2定長編碼定理

6.2.3定長碼參數

6.3離散信源變長編碼

6.3.1變長碼的唯一可譯性和即時性

6.3.2Kraft不等式

6.3.3變長編碼定理

6.3.4變妊碼參數

6.4平穩信源和Markov信源的編碼

6.4.1平穩倩源的編碼

6.4.2馬爾可夫信源的編剛

6.5變長編碼方法

6.5.1香農編碼

6.5.2Fano編碼

6.5.3Huffman編碼

6.5.4實朋的信源編碼方法

6.6本章小結

習題

第7章限失真信源編碼

7.1系統模型和失真測度

7.1.1系統模型

7.1.2失真測度

7.1.3失真函式舉例說明

7.2信息率失真函式

7.2.1定義

7.2.2信息率失真函式的性質

7.2.3簡單信源的信息率失真函式

7.3離散信源月（D）討’算

7.3.1離散信源信息率失真函式的參量表示

7.3.2離散信源R（D）求解矢量/矩陣表示

7.3.3參量s的意義

7.3.4離散信源R（D）的疊代計算

7.4連續信源的信息率失真函式

7.4.1連續信源的平均失真函式

7.4.2d（x，y）只與x—y有關情況下率失真函式的求解

7.4.3高斯信源的率失真函式

7.4.4限帶高斯信源的率失真函式

7.4.5一般信源率失真函式的上限和下限

7.5限失真信源編碼定理

7.6本章小結

習題

第8章MIMO信道模型及容量

8.1引言

8.2無線信道特性—

8.2.1路徑損耗

8.2.2信道衰落

8.2.3信道擴展

8.2.4信道相關性

8.3MIMO信道模型

8.3.1常見信道模型

8.3.2基本信道模型

8.3.3擴展信道模型

8.4MIMO信道容量

8.4.1確定性MIMO信道

8.4.2隨機性MIMO信道

8.5本章小結

習題

9.1信道模型

9.1.1刪除信道

9.1.2無線信道

9.2數字噴泉碼的數學描述

9.2.1數字噴泉碼的定義

9.2.2數字噴泉碼的Tanner圖

9.2.3數字噴泉碼的度分布函式

9.3典型的數字噴泉碼

9.3.1LT碼

9.3.2Raptor碼

9.4數字噴泉碼的澤碼算法

9.4.1刪除信道中的解碼算法

9.4.2無線信道中的解碼算法

9.5數字噴泉碼的密度演化分析方法

9.5.1刪除信道中的密度演化

9.5.2無線信道中的密度演化

9.6本章小結

參考文獻

……