仙農嫡Shannon's enlrnpy是美國工程師仙農( f' . }; . Shannon)在1918年首先提出的關於信急量定髦化的測度。
信息是指對事物認識“不肯定性”的減少，因此可用事件‘:出現機率P(二)的負對數來最度信息量I } .}.1即，r(.}卜一lgh}.} )}-'}1 1}tx)=i、r(一:)二0時，必然事件所帶來的信息為零;隨著?} }.r的增加，I(二)減少，1(二)是p(x)單調遞減函式;兩個獨立事件同時出現的信息量，等於兩事件各自信息量之和。若一個隨機試驗有，個可能的結果x, ,}z，一xn,各自出現的機率”卜八，一幾，且n,= }.漢p,-1，試驗後有一種且只有一神結果出現，其平均信息量H(x)一補:lod，此即仙農公式，仙農將H ( .}-，稱為”對數底a決定了嫡的單位.當a=2,e或10時，嫡的單位分別為6it} }}特),oat(奈特)和Hart(哈特)。
