資訊理論基礎(2023年清華大學出版社出版的圖書)

內容簡介

本書重點介紹經典資訊理論的基本理論，覆蓋了經典資訊理論的主要內容：離散信息和連續信息的度量、離散信源和連續信源、離散信道和連續信道及其容量以及無失真信源編碼和限失真信源編碼和有噪信道編碼等重點內容。本書深入淺出，表述簡潔；概念清晰，系統性較強。考慮資訊理論基礎理論性的同時又兼顧其易讀性，注重基本知識的闡述，強調物理概念和理論的理解與掌握，配以大量的例題和習題便於工科和非數學專業的學生學習。

圖書目錄

第 1 章緒論 1

1.1 信息的概念 1

1.2 通信系統模型 2

習題 3

第 2 章離散信息的度量 4

2.1 機率論基本知識 4

2.1.1 樣本空間與隨機事件 4

2.1.2 機率的有關概念 5

2.1.3 全機率公式和貝葉斯公式 6

2.1.4 先驗機率和後驗機率 8

2.1.5 離散隨機變數 9

2.1.6 離散隨機變數的統計特性 11

2.2 信息度量方法的引入12

2.3 自信息量和信息熵 13

2.3.1 自信息量的定義與含義 13

2.3.2 信息熵的定義與含義15

2.4 聯合自信息量與聯合熵 17

2.4.1 聯合自信息量 17

2.4.2 聯合熵 19

2.5 互信息量與平均互信息量 21

2.5.1 條件自信息量 21

2.5.2 條件熵 22

2.5.3 互信息量的定義 24

2.5.4 互信息量性質 26

2.5.5 平均互信息量 29

2.6 熵的性質以及各種熵之間的關係 32

2.6.1 信息熵的性質 32

2.6.2 各種熵之間的關係 42

習題 46

第 3 章離散信源及信源熵 50

3.1 隨機過程基本知識 50

3.1.1 機率空間 50

3.1.2 隨機過程 51

3.2 信源的數學模型和分類 54

3.2.1 信源的數學模型 54

3.2.2 信源分類 55

3.3 離散單符號信源 57

3.3.1 離散單符號信源的概念和數學模型 57

3.3.2 離散單符號信源的信息度量 58

3.4 離散多符號信源. 58

3.4.1 離散平穩信源的性質59

3.4.2 常見的離散平穩信源60

3.4.3 離散多符號信源的信源熵 61

資訊理論基礎(2023年清華大學出版社出版的圖書)

基本介紹

內容簡介

圖書目錄

相關詞條

熱門詞條