熵的意義

熵的意義是對信息嫡解釋

嫡的意義(meaning of entropy)對信息嫡解釋.設離散信源X的機率空間為

{A,P(二)}={ai,az，…}av;

P <a1)}P<az)，…,P<aq)}，

若其中某一事件a的自信息量為

1(a)=一1gP <a;，

則信源X中所有事件的自信息量的平均值為

H<X)一萬P<a;)1gP<a;)

藝稱H(X)為信源的信息嫡(亦稱信源X的平均信息量).信息墒的物理含義為:

1.信息嫡H<X)表示信源輸出訊息後所提供的平均信息量.

2.信息嫡H<X)表示信源輸出訊息前，信源的平均不確定性.

3.信息嫡H<X)反映了變數X的隨機性.