一般而言，信道中總是存在著噪聲和干擾，信源發出訊息xi，通過信道後信宿只可能收到由於干擾作用引起的某種變形的 yi。信宿收到 yi 後推測信源發出 xi 的機率，這一過程可由後驗機率 P(xi | yi) 來描述。
基本介紹
- 中文名：互動信息量
- 定義：I(信息量)=不肯定程度的減小量
- 性質：名詞
- 特點：簡單通信系統模型
可以將信息量重複定義為：I(信息量)=不肯定程度的減小量
如果信道是無噪的，當信源發出訊息 後，信宿必能準確無誤地收到該訊息，徹底消除對 的不確定度，所獲得的信息量就是 的不確定度 ，即 本身含有的全部信息。
為什麼不用信源發出多少信息量來定義呢，而用不肯定程度的減小量呢？這是因為在通訊系統中一般都是有噪聲的。信源發出的信息量因為噪聲而減少，並不是信宿收到的信息量，而“不肯定程度的減小量”確是信宿收到的信息量。不肯定程度減少到極端0，那么信源的訊息信宿也就都收到了。
信宿在收信前後，其訊息的機率分布發生了變化，即其機率空間變了。
簡單通信系統模型
一般而言，信道中總是存在著噪聲和干擾，信源發出訊息xi，通過信道後信宿只可能收到由於干擾作用引起的某種變形的 yi。信宿收到 yi 後推測信源發出 xi 的機率，這一過程可由後驗機率 P(xi | yi) 來描述。相應地，信源發出 xi 的機率 P(xi) 稱為先驗機率。我們定義 xi 的後驗機率與先驗機率比值的對數為 yi 對 xi 的互信息量，也稱互動信息量（簡稱互信息），用 I(xi, yi) 表示，即
上式可以變換為：
上式表示互信息量等於自信息量減去條件信息量。
同樣的道理，可以定義 xi 對 yi 的互信息量為
