信息理論基礎（第3版）

本書重點介紹經典資訊理論的基本理論，力圖將資訊理論及其工程套用聯繫起來。全書共分11章。內容包括信息的統計度量；離散信源和連續信源；信道與信道容量；信源與信宿之間的平均失真度以及信息率失真函式；信源編碼與信道編碼；網路資訊理論基礎；資訊理論方法在信號處理中的套用。

基本介紹

• 書名：信息理論基礎(第3版)
• 作者：周蔭清
• ISBN：978-7-8107-7689-9
• 頁數：306頁
• 定價：￥26.00
• 出版社：北京航空航天大學出版社
• 出版時間：2006年02月
• 開本：16開
• 字數：442千字
• 重量：0.430Kg

圖書簡介

本書重點介紹經典資訊理論的基本理論，力圖將資訊理論及其工程套用聯繫起來。全書共分11章。內容包括信息的統計度量；離散信源和連續信源；信道與信道容量；信源與信宿之間的平均失真度以及信息率失真函式；信源編碼與信道編碼；網路資訊理論基礎；資訊理論方法在信號處理中的套用。

本書深入淺出，概念清晰，系統性強；可作為理工科高等院校電子類相關專業的教材，亦可供從事通信、雷達、導航、生物工程、系統工程、管理工程等有關專業的科技人員參考。

圖書目錄

第1章 緒論

1.1 信息(1)

1.2 通信系統模型(3)

1.3 資訊理論的形成和發展(6)

習題1(7)

第2章 信息的統計度量

2.1 自信息量和條件自信息量(8)

2.1.1 自信息量(8)

2.1.2 條件自信息量(9)

2.2 互信息量和條件互信息量(10)

2.2.1 互信息量(10)

2.2.2 互信息量的性質(11)

2.2.3 條件互信息量(13)
2.3 離散集的平均自信息量(14)
2.3.1 平均自信息量（熵）(14)
2.3.2 熵函式的數學特性(16)
2.3.3 條件熵(24)
2.3.4 聯合熵(25)
2.3.5 各種熵的性質(25)
2.3.6 加權熵(31)
2.4 離散集的平均互信息量(32)
2.4.1 平均條件互信息量(33)
2.4.2 平均互信息量(34)
2.4.3 平均互信息量的性質(34)
2.5 連續隨機變數的互信息和相對熵(37)
2.5.1 連續隨機變數的互信息(37)
2.5.2 連續隨機變數的熵(39)
習題2(41)

第3章 離散信源

3.1 信源的數學模型及其分類(45)
3.1.1 信源的數學模型(45)
3.1.2 信源的分類(47)
3.2 離散無記憶信源(48)
3.3 離散無記憶信源的擴展信源(50)
3.3.1 最簡單的離散信源(50)
3.3.2 N次擴展信源(51)
3.3.3 N次擴展信源的熵(52)
3.4 離散平穩信源(54)
3.4.1 平穩信源(54)
3.4.2 平穩信源的熵(55)
3.4.3 極限熵(56)
3.5 馬爾可夫信源(58)
3.5.1 有限狀態馬爾可夫鏈(59)
3.5.2 馬爾可夫信源(64)
3.6 信源的相關性和剩餘度(67)
習題3(68)

第4章 離散信道及其容量

4.1 信道的數學模型及其分類(74)
4.2 離散無記憶信道(76)
4.2.1 離散信道的數學模型(76)
4.2.2 單符號離散信道(78)
4.2.3 信道疑義度(80)
4.2.4 平均互信息(82)
4.2.5 各種熵、信道疑義度及平均互信息量之間的相互關係(88)
4.3 離散無記憶擴展信道(89)
4.3.1 N次擴展信道(89)
4.3.2 定理(92)
4.4 信道的組合(98)
4.5 信道容量(104)
4.5.1 信道容量的定義(104)
4.5.2 離散無噪信道(105)
4.5.3 離散對稱信道(107)
4.5.4 一般離散信道(112)
4.5.5 離散無記憶N次擴展信道(118)
4.5.6 獨立並聯信道(119)
4.5.7 信源和信道匹配(120)
習題4(121)

第5章 無失真信源編碼

5.1 編碼器(126)
5.2 分組碼(128)
5.3 定長碼(131)
5.4 變長碼(140)
5.4.1 碼的分類和主要編碼方法(140)
5.4.2 克拉夫特不等式和麥克米倫不等式(141)
5.4.3 惟一可解碼判別準則(145)
5.4.4 變長編碼定理(146)
5.4.5 變長碼的編碼方法(153)
習題5(162)

第6章 有噪信道編碼

6.1 噪聲信道的編碼問題(166)
6.1.1 錯誤機率和解碼規則(167)
6.1.2 解碼規則(167)
6.2 錯誤機率與編碼方法(172)
6.2.1 簡單重複編碼(172)
6.2.2 訊息符號個數(174)
6.2.3 (5?2)線性碼(176)
6.2.4 漢明距離(178)
6.3 有噪信道編碼定理(180)
6.4 錯誤機率的上界(184)
習題6(185)

第7章 限失真信源編碼

7.1 失真測度(188)
7.1.1 失真函式(188)
7.1.2 平均失真(190)
7.2 信息率失真函式(193)
7.2.1 D允許信道（試驗信道）(193)
7.2.2 信息率失真函式的定義(193)
7.2.3 信息率失真函式R（D）的性質(194)
7.3 限失真信源編碼定理和逆定理(198)
7.3.1 限失真信源編碼定理(198)
7.3.2 限失真信源編碼逆定理(203)
7.4 信息率失真函式的計算(205)
7.4.1 R（D）參量表示法求解(205)
7.4.2套用參量表示式計算R（D）的例題(208)
7.4.3 R（D）的疊代計算方法(212)
習題7(216)

第8章 連續信源和波形信道

8.1 連續信源的特徵(217)
8.1.1 連續信源(217)
8.1.2 連續信源的熵(217)
8.1.3 連續信源的最大熵(219)
8.1.4 聯合熵、條件熵和平均互動信息量(221)
8.1.5 連續信源的熵速率和熵功率(223)
8.2 連續信道的信道容量(226)
8.2.1 時間離散信道的容量(227)
8.2.2 時間連續信道的容量(230)
8.3 連續信道的信道編碼定理(231)
8.4 連續信源的信息率失真函式(232)
習題8(236)

第9章 糾錯編碼

9.1 糾錯碼的基本概念(239)
9.2 糾錯碼分類(241)
9.3 線性分組

圖書前言

資訊理論是通信的數學理論，是套用近代數理統計方法研究信息的量度、編碼和通信的科學。

資訊理論是20世紀中葉從通信中發展起來的理論，是數學中的機率論與通信技術相結合的邊緣學科。自香農在1948年發表奠定資訊理論基礎的《通信的數學理論》一文以來，資訊理論這門學科有了很大的發展並已延伸到許多領域中。人們已經認識到，在現代科學技術高度發展的過程中，學習和掌握資訊理論日益成為一種需要。

從資訊理論涉及的內容和研究對象而言，常分為狹義資訊理論和廣義資訊理論兩類。狹義資訊理論是在香農資訊理論基礎上發展起來的，又稱為經典資訊理論。它仍然是當今研究資訊理論的基石，也是本書重點講述的內容。廣義資訊理論是在更為一般的基礎上建立的，是以廣義信息作為主要研究對象，亦稱為信息科學。這一學科雖尚未十分成熟，但是前景異常廣闊。

近二十多年來，作者為北京航空航天大學電子信息工程學院本科高年級學生和研究生開設了“信息理論基礎”課程，同時編寫了相應的教材《資訊理論基礎》，並於1993年由北京航空航天大學出版社出版，於2002年2月修訂再版。本書是在該書基礎上增補、修改而成，也是開設“信息理論基礎”課程以來教學經驗的總結。作為教材，本書注重基本理論、基本概念和基本方法的闡述以及對學生分析問題和解決問題能力的培養；同時在數學工具的運用上力求準確、簡明、適中，儘量使讀者套用適當的數學工具能夠準確、系統地認識和掌握信息理論的基本概念和分析方法，既不過於簡化，又不拘泥於數學細節。

本書可作為電子類有關專業高年級本科生和研究生教材。全書共11章。首先介紹信息的統計量度、離散信源、離散信道和信道容量；然後介紹無失真信源編碼、有噪信道編碼以及限失真信源編碼。這些內容是香農資訊理論的核心部分。在上述基礎上引出並論述連續信源和波形信道的信息測度以及網路信息理論。最後介紹糾錯碼以及資訊理論方法在信號處理中的套用。

本書力圖在內容編排上由淺入深，講解深入淺出，以最易接受的方式介紹信息理論的基本內容及其套用，有意注重教材編寫的特色。根據多年教學實踐，本書將信息的統計度量單列一章，作為全書的基礎。本書既保證理論的完整及系統性，又注意形成理論研究面向套用的特點。為了提高學生分析問題和解決問題的能力，各章後面都配有一些難易程度不等的習題，可根據實際需要選用。

本書於2004年榮獲北京市教學成果二等獎；於2000年被列為北京市高等教育精品教材立項項目，並於2005年被評為北京市高等教育精品教材。在2002年2月出版的《信息理論基礎（修訂版）》的基礎上，根據歷年來教材使用情況，作者對本書進行了必要的修改，並增加了“網路資訊理論”的內容。全書中第1～4章由周蔭清編寫；第5,6章由劉玉戰編寫；第7,11章由李景文編寫；第8,9章由李春升編寫；第10章由陳杰編寫。全書習題由徐華平編寫，全書由周蔭清統稿。

參加本書修訂、重訂工作的博士生燕英、段世忠、孫娜、唐智、劉慧、孫兵以及碩士生王玲軍等為本書出版做了大量工作，付出了許多辛勤勞動。

在最初編寫過程中曾得到中國科學技術大學研究生院傅祖芸教授的熱情幫助，並提出了許多寶貴意見，編者在此表示衷心感謝。

對於書中出現的錯誤和不當之處，殷切希望廣大讀者批評指正。

周蔭清
2005年12月於北京