資訊理論基礎(2005年機械工業出版社出版的圖書)

本詞條是多義詞,共6個義項
更多義項 ▼ 收起列表 ▲

《資訊理論基礎》是2005年機械工業出版社出版的圖書。

基本介紹

  • 中文名:資訊理論基礎
  • 出版時間:2005年5月1日
  • 出版社:機械工業出版社
  • ISBN:9787111162452
內容簡介,圖書目錄,

內容簡介

本書介紹資訊理論及其套用,內容豐富,涉及信息、統計,計算機科學等領域,系統和全面地介紹了香農資訊理論的基本理論與多類套用問題,其中包括作者的許多研究成果。本書包含大量的例題與背景說明,涉及信息處理與信息世界中的許多問題。本書是美國史丹福大學、萊斯大學等使用的資訊理論教材,是學習資訊理論的主要參考書。
  本書全面系統地介紹了香農資訊理論的基本理論以及多類套用問題,其中包括了作者的許多研究成果。本書闡述了熵、相對熵和互信息之間的基本代數關係,論述了漸近均分性(AEP)、隨機過程和數據壓縮的熵率、Kolmogorov複雜度、信道容量定理、微分熵以及網路信息理論等內容,並採用“使用不等式串、中間不加任何文字、最後直接加以解釋”的創新表述方式,使讀者學習了一定數量的證明後,在沒有任何解釋的情況下就能理解其中的大部分步驟,並給予必要的解釋。 本書適合作為通信理論、計算機科學和數學等專業學生學習資訊理論的教材。章後提供的習題便於老師的教學,以及增強學生對資訊理論的理解。

圖書目錄

譯者序
前言
第1章 緒論與概覽
第2章 熵、相對熵和互信息
2.1 熵
2.2 聯合熵和條件熵
2.3 相對熵和互信息
2.4 熵與互信息的關係
2.5 熵、相對熵和互信息的鏈式法則
2.6 Jensen不等式及其結果
2.7 對數和不等式及其套用
2.8 數據處理不等式
2.9 熱力學第二定律
2.10 充分統計量
2.11 Fano不等式
要點
習題
歷史回顧
第3章 漸近均分性
3.1 漸近均分性的定義
3.2 AEP的結果套用:數據壓縮
3.3 高機率集與典型集
要點
習題
歷史回顧
第4章 隨機過程的熵率
4.1 馬爾可夫鏈
4.2 熵率
4.3 例子:加權圖上隨機遊動的熵率
4.4 隱馬爾可夫模型
要點
習題
歷史回顧
第5章 數據壓縮
5.1 有關編碼的例子
5.2 Kraft不等式
5.3 最優碼
5.4 最優碼長的界
5.5 惟一可解碼的Kraft不等式
5.6 赫夫曼碼
5.7 有關赫夫曼碼的評論
5.8 赫夫曼碼的最優性
5.9 Shannon-Fano-Elias編碼
5.10 算術編碼
5.11 香農碼的競爭最優性
5.12 由均勻硬幣投擲生成離散分布
要點
習題
歷史回顧
第6章 博弈與數據壓縮
6.1 馬賽
6.2 博弈與邊信息
6.3 相依的馬賽及其熵率
6.4 英文的熵
6.5 數據壓縮與博弈
6.6 英文的熵的博弈估計
要點
習題
歷史回顧
第7章 Kolmogorov複雜度
7.1 計算模型
7.2 Kolmogorov複雜度:定義和例子
7.3 Kolmogorov複雜度與熵
7.4 整數的Kolmogorov複雜度
7.5 算法隨機序列與不可壓縮序列
7.6 普適機率
7.7 停止問題和Kolmogorov複雜度的不可計算性
7.8 Ω
7.9 普適投注策略
7.10 奧克姆剃刀
7.11 Kolmogorov複雜度與普適機率
7.12 Kolmogorov充分統計量
要點
習題
歷史回顧
第8章 信道容量
8.1 信道容量的例子
8.2 對稱信道
8.3 信道容量的性質
8.4 信道編碼定理預覽
8.5 定義
8.6 聯合典型序列
8.7 信道編碼定理
8.8 零誤差碼
8.9 Fano不等式與編碼定理的逆定理
8.10 信道編碼定理的逆定理中的等式
8.11 漢明碼
8.12 反饋容量
8.13 聯合信源信道編碼定理
要點
習題
歷史回顧
第9章 微分熵
9.1 定義
9.2 連續隨機變數的AEP
9.3 微分熵與離散熵的關係
9.4 聯合微分熵和條件微分熵
9.5 相對熵和互信息
9.6 微分熵、相對熵以及互信息的性質
9.7 離散熵的微分熵界
要點
習題
歷史回顧
第10章 高斯信道
10.1 高斯信道的定義
10.2 高斯信道編碼定理的逆定理
10.3 有限頻寬信道
10.4 並聯高斯信道
10.5 彩色高斯噪聲信道
10.6 帶反饋的高斯信道
要點
習題
歷史回顧
第11章 最大熵與譜估計
11.1 最大熵分布
11.2 例子
11.3 反常的最大熵問題
11.4 譜估計
11.5 高斯過程的熵率
11.6 Burg最大熵定理
要點
習題
歷史回顧
第12章 資訊理論與統計學
12.1 型方法
12.2 大數定律
12.3 通用信源編碼
12.4 大偏差理論
12.5 Sanov定理的例子
12.6 條件極限定理
12.7 假設檢驗
12.8 Stein引理
12.9 Chernoff界
12.10 Lempel-Ziv編碼
12.11 Fisher信息與Cram巖-Rao不等式
要點
習題
歷史回顧
第13章 率失真理論
13.1 量化
13.2 定義
13.3 率失真函式的計算
13.4 率失真定理的逆定理
13.5 率失真函式的可達性
13.6 強典型序列與率失真
13.7 率失真函式的特徵
13.8 信道容量與率失真函式的計算
要點
習題
歷史回顧
第14章 網路資訊理論
14.1 高斯多用戶信道
14.2 聯合典型序列
14.3 多接入信道
14.4 相關信源的編碼
14.5 Slepian-Wolf編碼與多接入信道之間的對偶性
14.6 廣播信道
14.7 中繼信道
14.8 具有邊信息的信源編碼
14.9 具有邊信息的率失真
14.10 一般多端網路
要點
習題
歷史回顧
第15章 資訊理論與股票市場
15.1 股票市場:定義
15.2 對數最優投資組合的Kuhn-Tucker特徵
15.3 對數最優投資組合的漸近最優性
15.4 邊信息與雙倍率
15.5 平穩市場中的投資
15.6 對數最優投資組合的競爭最優性
15.7 Shannon-McMillan-Breiman定理
要點
習題
歷史回顧
第16章 資訊理論的不等式
16.1 資訊理論的基本不等式
16.2 微分熵
16.3 熵與相對熵的界
16.4 型的不等式
16.5 子集的熵率
16.6 熵與Fisher信息
16.7 熵冪不等式與Brunn-Minkowski不等式
16.8 行列式的不等式
16.9 行列式的比值的不等式
全書要點
習題
歷史回顧
參考文獻
索引

相關詞條

熱門詞條

聯絡我們