《21世紀高等院校電子信息類規劃教材·資訊理論基礎》是作者多年教學和科研實踐的積累，是在吸收國內外優秀教材優點的基礎上，進一步最佳化整合教學內容，並進行改進和補充而成的。全書共分為12章，內容包括：信息的基本概念、香農資訊理論研究的內容與進展，離散信息的度量，離散信源，連續信息與連續信源，無失真信源編碼，離散信道及其容量，有噪信道編碼，波形信道，信息率失真函式，有約束信道及其編碼，網路資訊理論初步，信息理論方法與套用等。 《21世紀高等院校電子信息類規劃教材·資訊理論基礎》強調定理中物理概念和結論的理解與掌握，簡化煩瑣的數學推導，注重使用明確、直觀的物理概念，增加實例，力求讓講述的內容更適合工科專業學生的學習。《21世紀高等院校電子信息類規劃教材·資訊理論基礎》有*號的部分可以作為選學內容，有利於教師根據教學計畫進行調整。每章的思考題和習題可以作為課後的練習。 學習本課程的主要目的是，理解香農資訊理論的基本原理，掌握信息與熵的基本運算方法。
基本介紹
- 書名：21世紀高等院校電子信息類規劃教材•信息
- 類型：信息理論
- 出版日期：2008年8月1日
- 語種：簡體中文
- ISBN：9787115177902
- 品牌：人民郵電出版社
- 作者：田寶玉 楊潔
- 出版社：人民郵電出版社
- 頁數：275頁
- 開本：16
- 定價：29.80
內容簡介,圖書目錄,文摘,
內容簡介
《21世紀高等院校電子信息類規劃教材·資訊理論基礎》主要用做到等院校信息與通信及相關專業的教材，還可作為相關專業的研究生和工程技術人員的參考書。
圖書目錄
第1章 緒論
1.1 信息的基本概念
1.1.1 資訊理論的產生
1.1.2 信息的基本概念
1.2 香農資訊理論研究的內容
1.2.1 通信系統模型
1.2.2 香農資訊理論的主要內容
1.3 香農資訊理論研究的進展與套用
1.3.1 香農資訊理論創立的背景
1.3.2 香農的主要貢獻
1.3.3 香農資訊理論的研究進展
1.3.4 香農資訊理論的套用
思考題
第2章 離散信息的度量
2.1 自信息和互信息
2.1.1 自信息
2.1.2 互信息
2.2 信息熵
2.2.1 信息熵的定義與計算
2.2.2 條件熵與聯合熵
2.2.3 熵的基本性質
2.3 平均互信息
2.3.1 平均互信息的定義
2.3.2 平均互信息的性質
2.3.3 平均條件互信息
本章小結
思考題
習題
第3章 離散信源
3.1 離散信源的分類與數學模型
3.1.1 離散信源的分類
3.1.2 離散無記憶信源的數學模型
3.1.3 離散有記憶信源的數學模型
3.2 離散無記憶信源的熵
3.2.1 單符號離散無記憶信源的熵
3.2.2 離散無記憶信源N次擴展源的熵
3.3 離散平穩信源的熵
3.3.1 離散平穩信源
3.3.2 離散平穩有記憶信源的熵
3.4 有限狀態馬爾可夫鏈
3.4.1 馬氏鏈基本概念
3.4.2 齊次馬氏鏈
3.4.3 馬氏鏈狀態分類
3.4.4 馬氏鏈的平穩分布
3.5 馬爾可夫信源
3.5.1 馬氏源的基本概念
3.5.2 馬氏源的產生模型
3.5.3 馬氏鏈N次擴展源的熵的計算
3.5.4 馬氏源符號熵的計算
3.6 信源的相關性與剩餘度
3.6.1 信源的相關性
3.6.2 信源剩餘度（冗餘度）
3.6.3 自然語言的相關性和剩餘度
本章小結
思考題
習題
第4章 連續信息與連續信源
4.1 連續隨機變數集合的熵
4.1.1 連續隨機變數的離散化
4.1.2 連續隨機變數集的熵
4.1.3 連續隨機變數集的條件熵
4.1.4 連續隨機變數集的聯合熵
4.1.5 連續隨機變數集合差熵的性質
4.1.6 連續隨機變數集合的信息散度
4.2 離散時間高斯信源的熵
4.2.1 維高斯隨機變數集的熵
4.2.2 多維獨立高斯隨機變數集的熵
4.2.3 多維相關高斯隨機變數集的熵
4.3 連續最大熵定理
4.3.1 限峰值最大熵定理
4.3.2 限功率最大熵定理
4.3.3 熵功率和剩餘度
4.4 連續隨機變數集的平均互信息
4.4.1 連續隨機變數集的平均互信息
4.4.2 連續隨機變數集平均互信息的性質
4.5 離散集與連續集之間的互信息
4.5.1 離散事件與連續事件之間的互信息
4.5.2 離散集合與連續集合的平均互信息
本章小結
思考題
習題
第5章 無失真信源編碼
5.1 概述
5.1.1 信源編碼器
5.1.2 信源編碼的分類
5.1.3 分組碼
5.2 定長碼
5.2.1 無失真編碼條件
5.2.2 信源序列分組定理
5.2.3 定長碼信源編碼定理
5.3 變長碼
5.3.1 異前置碼的性質
5.3.2 變長碼信源編碼定理
5.4 哈夫曼編碼
5.4.1 二元哈夫曼編碼
5.4.2 多元哈夫曼編碼
5.4.3 馬氏源的編碼
*5.5 幾種實用的編碼方法
5.5.1 算術編碼
5.5.2 遊程編碼
5.5.3 L-Z編碼
本章小結
思考題
習題
第6章 離散信道及其容量
6.1 概述
6.1.1 信道的分類
6.1.2 離散信道的數學模型
6.1.3 信道容量的定義
6.2 單符號離散信道及其容量
6.2.1 離散無噪信道的容量
6.2.2 離散對稱信道的容量
6.2.3 般離散信道的容量
6.3 級聯信道及其容量
6.4 多維矢量信道及其容量
6.4.1 多維矢量信道輸入與輸出的性質
6.4.2 離散無記憶擴展信道及其容量
6.4.3 並聯信道及其容量
6.4.4 和信道及其容量
6.5 信道容量的疊代計算
本章小結
思考題
習題
第7章 有噪信道編碼
7.1 概述
7.1.1 信道編碼的基本概念
7.1.2 判決與解碼規則
7.1.3 解碼錯誤機率
7.2 最佳判決與解碼準則
7.2.1 最大後驗機率準則
7.2.2 最大似然準則
7.3 信道編碼與最佳解碼
7.3.1 線性分組碼
7.3.2 序列最大似然解碼
7.3.3 幾種簡單的分組碼
7.4 費諾（Fano）不等式
7.4.1 信道疑義度
7.4.2 費諾（Fano）不等式
7.5 有噪信道編碼定理
7.5.1 聯合典型序列
7.5.2 有噪信道編碼定理
7.5.3 無失真信源信道編碼定理
7.6 糾錯編碼技術簡介
7.6.1 線性分組碼的編解碼
7.6.2 幾種重要的分組碼
7.6.3 卷積碼簡介
*7.7 信道編碼性能界限
7.7.1 漢明球包界
7.7.2 Varsharmov-Gilberlt界
7.7.3 P1otkin界
本章小結
思考題
習題
第8章 波形信道
8.1 離散時間連續信道
8.1.1 時間離散連續信道模型
8.1.2 平穩無記憶連續信道
8.1.3 多維矢量連續信道的性質
8.1.4 離散時間連續信道的容量
8.2 加性噪聲信道與容量
8.2.1 加性噪聲信道的容量
8.2.2 加性高斯噪聲信道的容量
8.2.3 般加性噪聲信道容量界
8.2.4 並聯加性高斯噪聲信道的容量
8.3 AWGN信道的容量
8.3.1 加性高斯噪聲波形信道
8.3.2 波形信道的互信息與容量
8.3.3 AWGN信道的容量
8.3.4 高斯噪聲信道編碼定理
8.3.5 功率利用率和頻譜利用率的關係
8.4 有色高斯噪聲信道
8.4.1 有色高斯噪聲信道容量
8.4.2 AWGN信道容量的進一步討論
*8.5 數字調製系統的信道容量
本章小結
思考題
習題
第9章 信息率失真函式
9.1 概述
9.1.1 系統模型
9.1.2 失真測度
9.2 離散信源信息率失真函式
9.2.1 信息率失真函式
9.2.2 R（D）函式的性質
9.3 限失真信源編碼定理
9.3.1 碼率的壓縮
9.3.2 限失真信源編碼定理
9.3.3 限失真信源信道編碼定理
9.4 離散信源信息率失真函式的計算
9.4.1 R（D）參量表示法求解
9.4.2 R（D）求解過程歸納
9.4.3 參量s的意義
9.5 連續信源信息率失真函式
9.5.1 信息率失真函式與性質
9.5.2 R（D）函式的計算
9.5.3 差值失真測度
9.6 高斯信源的R（D）函式
9.6.1 離散時間無記憶高斯信源
9.6.2 獨立並聯高斯信源
9.7 一般連續信源R（D）函式
*9.8 有損數據壓縮技術簡介
9.8.1 量化
9.8.2 預測編碼
9.8.3 子帶編碼
9.8.4 變換編碼
本章小結
思考題
習題
第10章 有約束信道及其編碼
10.1 標號圖的性質
10.1.1 標號圖的基本概念
10.1.2 標號圖的變換
10.2 有約束信道容量
10.2.1 有約束信道容量的定義
10.2.2 等時長符號有約束信道的容量
10.2.3 不等時長符號無約束信道的容量
10.2.4 不等時長符號有約束信道的容量
10.3 有約束序列的性質
10.3.1 信道對傳輸序列的約束
10.3.2 遊程長度受限序列（RLL）
10.3.3 部分回響最大似然（PRML）序列
10.3.4 直流平衡序列
10.3.5 其他頻域受限序列
10.4 有約束信道編碼定理
10.4.1 編碼器的描述
10.4.2 有約束信道編碼定理
10.4.3 有限狀態編碼定理
10.4.4 編碼器性能指標
*10.5 有約束序列編碼與套用
10.5.1 塊編碼器
10.5.2 實用直流平衡序列
10.5.3 常用有約束序列編碼及套用
本章小結
思考題
習題
第11章 網路資訊理論初步
11.1 概述
11.2 多址接人信道
11.2.1 二址接入信道的容量
11.2.2 不同多址方式下的接入信道容量分析
11.2.3 多址接入信道的容量
11.3 廣播信道
11.3.1 退化廣播信道
11.3.2 退化廣播信道的容量區域
11.4 相關信源編碼
11.4.1 典型的相關信源編碼模型
11.4.2 S1epiarr—Wolf相關信源編碼定理
本章小結
思考題
習題
*第12章 信息理論方法及其套用
12.1 信源熵的估計
12.1.1 離散信源序列熵的估計
12.1.2 連續信源熵的估計
12.2 最大熵原理
12.2.1 最大熵原理的描述
12.2.2 熵集中定理
12.2.3 幾種重要的最大熵分布
12.3 最小交叉熵原理
12.3.1 最小交叉熵原理
12.3.2 交叉熵的性質
12.3.3 最小交叉熵推斷的性質
12.3.4 交叉熵法
12.4 信息理論方法的套用
12.4.1 DNA序列的熵估計和壓縮
12.4.2 最大熵譜估計和最小交叉熵譜估計
12.4.3 最大熵建模及其在自然語言處理中的套用
12.4.4 最大熵原理在經濟學中的套用
12.4.5 信息理論方法套用展望
本章小結
思考題
習題
參考文獻
1.1 信息的基本概念
1.1.1 資訊理論的產生
1.1.2 信息的基本概念
1.2 香農資訊理論研究的內容
1.2.1 通信系統模型
1.2.2 香農資訊理論的主要內容
1.3 香農資訊理論研究的進展與套用
1.3.1 香農資訊理論創立的背景
1.3.2 香農的主要貢獻
1.3.3 香農資訊理論的研究進展
1.3.4 香農資訊理論的套用
思考題
第2章 離散信息的度量
2.1 自信息和互信息
2.1.1 自信息
2.1.2 互信息
2.2 信息熵
2.2.1 信息熵的定義與計算
2.2.2 條件熵與聯合熵
2.2.3 熵的基本性質
2.3 平均互信息
2.3.1 平均互信息的定義
2.3.2 平均互信息的性質
2.3.3 平均條件互信息
本章小結
思考題
習題
第3章 離散信源
3.1 離散信源的分類與數學模型
3.1.1 離散信源的分類
3.1.2 離散無記憶信源的數學模型
3.1.3 離散有記憶信源的數學模型
3.2 離散無記憶信源的熵
3.2.1 單符號離散無記憶信源的熵
3.2.2 離散無記憶信源N次擴展源的熵
3.3 離散平穩信源的熵
3.3.1 離散平穩信源
3.3.2 離散平穩有記憶信源的熵
3.4 有限狀態馬爾可夫鏈
3.4.1 馬氏鏈基本概念
3.4.2 齊次馬氏鏈
3.4.3 馬氏鏈狀態分類
3.4.4 馬氏鏈的平穩分布
3.5 馬爾可夫信源
3.5.1 馬氏源的基本概念
3.5.2 馬氏源的產生模型
3.5.3 馬氏鏈N次擴展源的熵的計算
3.5.4 馬氏源符號熵的計算
3.6 信源的相關性與剩餘度
3.6.1 信源的相關性
3.6.2 信源剩餘度（冗餘度）
3.6.3 自然語言的相關性和剩餘度
本章小結
思考題
習題
第4章 連續信息與連續信源
4.1 連續隨機變數集合的熵
4.1.1 連續隨機變數的離散化
4.1.2 連續隨機變數集的熵
4.1.3 連續隨機變數集的條件熵
4.1.4 連續隨機變數集的聯合熵
4.1.5 連續隨機變數集合差熵的性質
4.1.6 連續隨機變數集合的信息散度
4.2 離散時間高斯信源的熵
4.2.1 維高斯隨機變數集的熵
4.2.2 多維獨立高斯隨機變數集的熵
4.2.3 多維相關高斯隨機變數集的熵
4.3 連續最大熵定理
4.3.1 限峰值最大熵定理
4.3.2 限功率最大熵定理
4.3.3 熵功率和剩餘度
4.4 連續隨機變數集的平均互信息
4.4.1 連續隨機變數集的平均互信息
4.4.2 連續隨機變數集平均互信息的性質
4.5 離散集與連續集之間的互信息
4.5.1 離散事件與連續事件之間的互信息
4.5.2 離散集合與連續集合的平均互信息
本章小結
思考題
習題
第5章 無失真信源編碼
5.1 概述
5.1.1 信源編碼器
5.1.2 信源編碼的分類
5.1.3 分組碼
5.2 定長碼
5.2.1 無失真編碼條件
5.2.2 信源序列分組定理
5.2.3 定長碼信源編碼定理
5.3 變長碼
5.3.1 異前置碼的性質
5.3.2 變長碼信源編碼定理
5.4 哈夫曼編碼
5.4.1 二元哈夫曼編碼
5.4.2 多元哈夫曼編碼
5.4.3 馬氏源的編碼
*5.5 幾種實用的編碼方法
5.5.1 算術編碼
5.5.2 遊程編碼
5.5.3 L-Z編碼
本章小結
思考題
習題
第6章 離散信道及其容量
6.1 概述
6.1.1 信道的分類
6.1.2 離散信道的數學模型
6.1.3 信道容量的定義
6.2 單符號離散信道及其容量
6.2.1 離散無噪信道的容量
6.2.2 離散對稱信道的容量
6.2.3 般離散信道的容量
6.3 級聯信道及其容量
6.4 多維矢量信道及其容量
6.4.1 多維矢量信道輸入與輸出的性質
6.4.2 離散無記憶擴展信道及其容量
6.4.3 並聯信道及其容量
6.4.4 和信道及其容量
6.5 信道容量的疊代計算
本章小結
思考題
習題
第7章 有噪信道編碼
7.1 概述
7.1.1 信道編碼的基本概念
7.1.2 判決與解碼規則
7.1.3 解碼錯誤機率
7.2 最佳判決與解碼準則
7.2.1 最大後驗機率準則
7.2.2 最大似然準則
7.3 信道編碼與最佳解碼
7.3.1 線性分組碼
7.3.2 序列最大似然解碼
7.3.3 幾種簡單的分組碼
7.4 費諾（Fano）不等式
7.4.1 信道疑義度
7.4.2 費諾（Fano）不等式
7.5 有噪信道編碼定理
7.5.1 聯合典型序列
7.5.2 有噪信道編碼定理
7.5.3 無失真信源信道編碼定理
7.6 糾錯編碼技術簡介
7.6.1 線性分組碼的編解碼
7.6.2 幾種重要的分組碼
7.6.3 卷積碼簡介
*7.7 信道編碼性能界限
7.7.1 漢明球包界
7.7.2 Varsharmov-Gilberlt界
7.7.3 P1otkin界
本章小結
思考題
習題
第8章 波形信道
8.1 離散時間連續信道
8.1.1 時間離散連續信道模型
8.1.2 平穩無記憶連續信道
8.1.3 多維矢量連續信道的性質
8.1.4 離散時間連續信道的容量
8.2 加性噪聲信道與容量
8.2.1 加性噪聲信道的容量
8.2.2 加性高斯噪聲信道的容量
8.2.3 般加性噪聲信道容量界
8.2.4 並聯加性高斯噪聲信道的容量
8.3 AWGN信道的容量
8.3.1 加性高斯噪聲波形信道
8.3.2 波形信道的互信息與容量
8.3.3 AWGN信道的容量
8.3.4 高斯噪聲信道編碼定理
8.3.5 功率利用率和頻譜利用率的關係
8.4 有色高斯噪聲信道
8.4.1 有色高斯噪聲信道容量
8.4.2 AWGN信道容量的進一步討論
*8.5 數字調製系統的信道容量
本章小結
思考題
習題
第9章 信息率失真函式
9.1 概述
9.1.1 系統模型
9.1.2 失真測度
9.2 離散信源信息率失真函式
9.2.1 信息率失真函式
9.2.2 R（D）函式的性質
9.3 限失真信源編碼定理
9.3.1 碼率的壓縮
9.3.2 限失真信源編碼定理
9.3.3 限失真信源信道編碼定理
9.4 離散信源信息率失真函式的計算
9.4.1 R（D）參量表示法求解
9.4.2 R（D）求解過程歸納
9.4.3 參量s的意義
9.5 連續信源信息率失真函式
9.5.1 信息率失真函式與性質
9.5.2 R（D）函式的計算
9.5.3 差值失真測度
9.6 高斯信源的R（D）函式
9.6.1 離散時間無記憶高斯信源
9.6.2 獨立並聯高斯信源
9.7 一般連續信源R（D）函式
*9.8 有損數據壓縮技術簡介
9.8.1 量化
9.8.2 預測編碼
9.8.3 子帶編碼
9.8.4 變換編碼
本章小結
思考題
習題
第10章 有約束信道及其編碼
10.1 標號圖的性質
10.1.1 標號圖的基本概念
10.1.2 標號圖的變換
10.2 有約束信道容量
10.2.1 有約束信道容量的定義
10.2.2 等時長符號有約束信道的容量
10.2.3 不等時長符號無約束信道的容量
10.2.4 不等時長符號有約束信道的容量
10.3 有約束序列的性質
10.3.1 信道對傳輸序列的約束
10.3.2 遊程長度受限序列（RLL）
10.3.3 部分回響最大似然（PRML）序列
10.3.4 直流平衡序列
10.3.5 其他頻域受限序列
10.4 有約束信道編碼定理
10.4.1 編碼器的描述
10.4.2 有約束信道編碼定理
10.4.3 有限狀態編碼定理
10.4.4 編碼器性能指標
*10.5 有約束序列編碼與套用
10.5.1 塊編碼器
10.5.2 實用直流平衡序列
10.5.3 常用有約束序列編碼及套用
本章小結
思考題
習題
第11章 網路資訊理論初步
11.1 概述
11.2 多址接人信道
11.2.1 二址接入信道的容量
11.2.2 不同多址方式下的接入信道容量分析
11.2.3 多址接入信道的容量
11.3 廣播信道
11.3.1 退化廣播信道
11.3.2 退化廣播信道的容量區域
11.4 相關信源編碼
11.4.1 典型的相關信源編碼模型
11.4.2 S1epiarr—Wolf相關信源編碼定理
本章小結
思考題
習題
*第12章 信息理論方法及其套用
12.1 信源熵的估計
12.1.1 離散信源序列熵的估計
12.1.2 連續信源熵的估計
12.2 最大熵原理
12.2.1 最大熵原理的描述
12.2.2 熵集中定理
12.2.3 幾種重要的最大熵分布
12.3 最小交叉熵原理
12.3.1 最小交叉熵原理
12.3.2 交叉熵的性質
12.3.3 最小交叉熵推斷的性質
12.3.4 交叉熵法
12.4 信息理論方法的套用
12.4.1 DNA序列的熵估計和壓縮
12.4.2 最大熵譜估計和最小交叉熵譜估計
12.4.3 最大熵建模及其在自然語言處理中的套用
12.4.4 最大熵原理在經濟學中的套用
12.4.5 信息理論方法套用展望
本章小結
思考題
習題
參考文獻
文摘
第1章 緒論
資訊理論即香農（aaude Edwood Shannon，1916——2001）資訊理論，也稱經典資訊理論，是研究通信系統極限性能的理論。從資訊理論產生到現在幾十年來，隨著人們對信息的認識不斷深化，對資訊理論的研究日益廣泛和深入，資訊理論的基本思想和方法已經滲透到許多學科。在人類社會已經進入資訊時代的今天，信息理論在自然科學和社會科學研究領域還會發揮更大的作用。
本章簡要地介紹了香農資訊理論的概況，內容安排如下：首先介紹信息的基本概念，說明香農信息屬於語法信息中的機率信息；然後以通信系統模型為基礎，簡單介紹香農資訊理論所研究的內容；最後介紹香農資訊理論產生的背景、主要的研究進展及其套用。
1.1.1 資訊理論的產生
1.1 信息的基本概念
我們知道，組成客觀世界三大基本要素是：物質、能量和信息。人類社會從農業時代經過工業時代發展到資訊時代，特別是在今天的資訊時代，社會的發展都離不開物質（材料）、能量（能源）和信息資源。美國學者歐廷格說：“沒有物質什麼都不存在，沒有能量什麼都不發生，沒有信息什麼都沒意義。”（“Without materials nothing exists.Without energynothing happens.Without information nothing makes sense.”）可見，關於信息的課程本應該像物理、化學、生物等課程一樣，是基礎課。但是，由於信息的抽象性以及當前人們對信息的認識並不完全清楚，所以在當前只能是專業基礎課。
人們普遍認為，1948年美國工程師和數學家香農發表的《通信的數學理論》 （AMatematical Theory of Communication，BSTJ，1948）這篇里程碑性的文章標誌著資訊理論的產生，而香農本人也成為資訊理論的奠基人。
香農指出，通信的基本問題是在一點精確地或近似地恢復另一點所選擇的訊息。人們從這個基本問題出發，對通信系統制定了三項性能指標：傳輸的有效性、傳輸的可靠性、傳輸的安全性。
資訊理論即香農（aaude Edwood Shannon，1916——2001）資訊理論，也稱經典資訊理論，是研究通信系統極限性能的理論。從資訊理論產生到現在幾十年來，隨著人們對信息的認識不斷深化，對資訊理論的研究日益廣泛和深入，資訊理論的基本思想和方法已經滲透到許多學科。在人類社會已經進入資訊時代的今天，信息理論在自然科學和社會科學研究領域還會發揮更大的作用。
本章簡要地介紹了香農資訊理論的概況，內容安排如下：首先介紹信息的基本概念，說明香農信息屬於語法信息中的機率信息；然後以通信系統模型為基礎，簡單介紹香農資訊理論所研究的內容；最後介紹香農資訊理論產生的背景、主要的研究進展及其套用。
1.1.1 資訊理論的產生
1.1 信息的基本概念
我們知道，組成客觀世界三大基本要素是：物質、能量和信息。人類社會從農業時代經過工業時代發展到資訊時代，特別是在今天的資訊時代，社會的發展都離不開物質（材料）、能量（能源）和信息資源。美國學者歐廷格說：“沒有物質什麼都不存在，沒有能量什麼都不發生，沒有信息什麼都沒意義。”（“Without materials nothing exists.Without energynothing happens.Without information nothing makes sense.”）可見，關於信息的課程本應該像物理、化學、生物等課程一樣，是基礎課。但是，由於信息的抽象性以及當前人們對信息的認識並不完全清楚，所以在當前只能是專業基礎課。
人們普遍認為，1948年美國工程師和數學家香農發表的《通信的數學理論》 （AMatematical Theory of Communication，BSTJ，1948）這篇里程碑性的文章標誌著資訊理論的產生，而香農本人也成為資訊理論的奠基人。
香農指出，通信的基本問題是在一點精確地或近似地恢復另一點所選擇的訊息。人們從這個基本問題出發，對通信系統制定了三項性能指標：傳輸的有效性、傳輸的可靠性、傳輸的安全性。
