高斯信源嫡

高斯信源熵(entropy of Gauss source)是高斯信源的一種量度。高斯信源是指信源輸出的一維隨機變數X的機率密度分布是常態分配。

基本介紹

• 中文名：高斯信源熵
• 外文名：entropy of Gauss source
• 領域：數學
• 性質：量度
• 對象：高斯信源

概念

高斯信源熵(entropy of Gauss source)是高斯信源的一種量度。高斯信源是指信源輸出的一維隨機變數X的機率密度分布是常態分配，即：

式中m是X的均值，σ²是X的方差。這種連續信源稱為高斯信源。高斯信源的熵為：

式中：

當m=0時，X的方差σ²等於信源輸出的平均功率。

信源

信息科學中最基本、最重要的概念之一。是信息的產生與發出者，它可通過訊息來表達。信源可根據訊息出現的形式分為兩大類型：離散信源和連續信源。在通信系統中，收信者在未收到訊息以前，對信源發出什麼訊息是不確定的，所以可用隨機變數或隨機變數序列來描述信源輸出的訊息。信源的數學模型是一個在信源符號集中取值的隨機變數序列或隨機過程。

熵

最初，熵是一個熱力學概念，1865年，由物理學家克勞修斯(R.Clausius，德，1822—1888)提出來。

從統計力學的觀點看來，熵表示系統狀態自發實現之可能性的程度，所以可以看作為系統不肯定性的度量。因此，在資訊理論中利用熵的這一機率特徵來度量信息。

在資訊理論中，信息源所包含的平均信息量，稱為熵。

隨機試驗的主要特徵，是具有不肯定性，即在試驗前，無法肯定會出現哪一種結果。但不同隨機試驗的不肯定程度是有差別的。“熵”就在數值上描述出各種隨機試驗本身不肯定的程度，利用它，就有可能進行比較。

設試驗a有k個結果：A₁、A₂、…A_k，考慮到各個結果出現可能性的不同，關於a不肯定性的度量

H(a)=c[P(A₁)log P(A₁)+P(A₂)logP(A₂+…+P(A_k)log P(Ak)]，稱為試驗a的熵。其中c為常數，與選用的單位有關;P(Ai)為Ai的機率。

上述結果與統計熱力學某些公式的類似性，導致香農(C.E.Shannon，美，1916—2001)使用熱力學術語“熵”來命名平均信息量。

在熱力學、統計力學、資訊理論、機率論中，熵有重要意義;至今，在控制論、經濟學、生物學等學科的研究中，也使用了這一概念。

隨機變數

亦稱隨機變數。機率論的基本概念之一，是取值具有隨機性，能表示隨機現象各種結果的變數。許多隨機試驗的結果本身就是數量，如射擊命中的環數，擲骰子擲出的點數等。有些隨機試驗的結果雖然只是定性的，非數量的，但人們可以做出對應，使其結果用數字表示.例如，擲一枚硬幣，可以用1表示“出現正面”，用0表示“出現反面”.一般地，定義在基本事件空間Ω上的單值實函式ξ(ω)就稱為隨機變數。自然，為了能對這種函式作機率描述，還應當對它們作某些限制。

隨機變數的嚴格定義如下：(Ω，F，P)為機率空間，ξ=ξ(ω) (ω∈Ω)是定義在Ω上的單值實函式，若對於任一實數x，ω的集合{ω∶ξ(ω)≤x}是一隨機事件，亦即{ω|ξ(ω)≤x}∈F，則稱ξ(ω)為隨機變數。條件{ω|ξ(ω)≤x}∈F也可改為對於直線上的任一波萊爾點集B∈B₁，有{ω|ξ(ω)∈B}∈F。

實質上，隨機變數就是機率空間(Ω，F，P)上的F可測函式.隨機變數的引進和研究是機率論發展中的重大事件.由於隨機變數是取數值的，因此可以對它進行各種數學運算，這給機率論的研究帶來了極大的方便。