聯合熵

聯合熵是一集變數之間不確定性的衡量手段。

基本介紹

• 中文名：聯合熵
• 外文名：Joint entropy
• 學科：物理

定義

兩個變數 和 的聯合信息熵定義為：

其中 和 是 和 的特定值，相應地， 是這些值一起出現的聯合機率, 若為0，則定義為0。

對於兩個以上的變數，該式的一般形式為：

其中是 的特定值，相應地， 是這些變數同時出現的機率，若為0，則 被定義為0.

性質

大於每個獨立的熵

一集變數的聯合熵大於或等於這集變數中任一個的獨立熵。

少於獨立熵的和

一集變數的聯合熵少於或等於這集變數的獨立熵之和。這是次可加性的一個例子。該不等式有且只有在和均為統計獨立的時候相等。

與其他熵測量手段的關係

在條件熵的定義中，使用了聯合熵

互信息的定義中也出現了聯合熵的身影：

在量子信息理論中， 聯合熵被擴展到聯合量子熵。