漸近等分性

漸近等分性是指隨機變數長序列的一種重要特性，是編碼定理的理論基礎，簡稱AEP。C.E.仙農最早發現隨機變數長序列的漸近等分性，並在1948年發表的論文《通信的數學理論》中把它表述為一個定理。

基本介紹

• 中文名：漸近等分性
• 外文名：Asymptotic equipartition property
• 簡稱：AEP
• 發現者：C.E.仙農
• 提出時間：1948年

名詞釋義

隨機變數長序列的一種重要特性，是編碼定理的理論基礎，簡稱aep。當隨機變數的序列足夠長時,其中一部分序列就顯現出一種典型的性質：這些序列中各個符號的出現頻數非常接近於各自的出現機率，而這些序列的機率則趨近於相等，且它們的和非常接近於1,這些序列就稱為典型序列。其餘的非典型序列的出現機率之和接近於零。序列的長度越長，典型序列的總機率越接近於1,它的各個序列的出現機率越趨於相等。漸近等分性即因此得名。

發現歷史

C.E.仙農最早發現隨機變數長序列的漸近等分性，並在1948年發表的論文《通信的數學理論》中把它表述為一個定理。後來，B.麥克米倫在1953年發表的《資訊理論的基本定理》一文中嚴格地證明了這一結果,因此,有人也把它稱為麥克米倫定理。

表現形式

漸近等分性有許多不同的具體形式，但一般地可以表述如下：若X是一個符號表，共有M個不同的符號x1,x2，…,xM,它們的出現機率分別是p1，p2，…，pM。對X進行N次獨立的選擇,於是得到一個長度為N的符號序列;總共有MN個長度為N的不同序列。可以證明,對於給定的兩個任意小的數ε>0和δ>0，一定可以找到一個正整數N0(它是X,ε和δ的某種函式)，使所有長度為N≥N0的序列可劃分為以下兩組。第一組包含Aε<MN個序列，其中各個序列都具有幾乎相等的出現機率p，且有

1－ε<p·Aε<1

和式中H是X的符號熵。實際上,當N充分大時,Aε=2NH。第二組包含其餘的MN-Aε個序列，它們的出現機率之和小於ε。顯然第一組包含的是典型序列,第二組包含的是非典型序列。在各個符號的機率不相等的情況下，序列長度N越大,則Aε與MN的差別越大,而p·Aε與1的差別越小，-logp/N與H的差別也越小。
漸近等分性的意義在於：對於任意取有限個值的隨機變數X,當用N次獨立選擇的方法來形成編碼序列時,只要N取得足夠大，就可以只考慮其中Aε個典型序列，而其餘所有的非典型序列均可以忽略。