變分參數

變分參數

參數變分指的是自變數變換時保持不變的自適應參數,套用於數學分析,深度學習等領域。

基本介紹

  • 中文名:變分參數
  • 套用領域:數學分析,深度學習
簡介,變分貝葉斯方法的目的,變分參數的平均場方法概念,平均場方法的合理性,

簡介

對於普通的函式f(x),我們可以認為f是一個關於x的一個實數運算元,其作用是將實數x映射到實數f(x)。那么類比這種模式,假設存在函式運算元F,它是關於f(x)的函式運算元,可以將f(x)映射成實數F(f(x)) 。對於f(x)我們是通過改變x來求出f(x)的極值,而在變分中這個x會被替換成一個函式y(x),我們通過改變x來改變y(x),最後使得F(y(x))求得極值。
變分指的是泛函的變分。打個比方,從A點到B點有無數條路徑,每一條路徑都是一個函式吧,這無數條路徑,每一條函式(路徑)的長度都是一個數,那你從這無數個路徑當中選一個路徑最短或者最長的,這就是求泛函的極值問題。有一種老的叫法,函式空間的自變數我們稱為宗量(自變函式),當宗量變化了一點點而導致了泛函值變化了多少,這其實就是變分。變分,就是微分在函式空間的拓展,其精神內涵是一致的。求解泛函變分的方法主要有古典變分法、動態規劃和最優控制。

變分貝葉斯方法的目的

1、近似不可觀測變數的後驗機率,以便通過這些變數作出統計推斷。近似求P(Z|D)。
2、對一個特定的模型,給出觀測變數的邊緣似然函式(或稱為證據,evidence)的下界。主要用於模型的選擇,認為模型的邊緣似然值越高,則模型對數據擬合程度越好,該模型產生Data的機率也越高。
對於第一個目的,蒙特卡洛模擬,特別是用Gibbs取樣的MCMC方法,可以近似計算複雜的後驗分布,能很好地套用到貝葉斯統計推斷。此方法通過大量的樣本估計真實的後驗,因而近似結果帶有一定的隨機性。與此不同的是,變分貝葉斯方法提供一種局部最優,但具有確定解的近似後驗方法。
從某種角度看,變分貝葉斯可以看做是EM算法的擴展,因為它也是採用極大後驗估計(MAP),即用單個最有可能的參數值來代替完全貝葉斯估計。另外,變分貝葉斯也通過一組相互依然(mutually dependent)的等式進行不斷的疊代來獲得最優解。

變分參數的平均場方法概念

假設有一個很大很大的教室,裡面坐著很多很多的學生,這些學生都在晨讀,你是其中的一員。你聽到的聲音是所有學生髮出的聲音到擬這個位置的疊加,顯然這個求和很複雜,因為你的聽覺感受與聲源到你的距離有關。為了簡化這個求和,我們把所有學生在你這個位置產生的聲音效果看作是噪音。如果這個教室真的足夠大,大到我們可以忽略邊界效應。現在,換一個場景,如果所有學生保持戰鬥佇列(繼續晨讀),你現在是一位老師,在教室里巡視。然後無論你走到哪裡,你的聽覺感受都是一樣的。這個噪音在任何位置都一樣,無論往前走還是往右走一步都一樣,這就是平移不變性。這個時候,噪音和一個均勻外場產生的效果一樣,這個噪音就是平均場。

平均場方法的合理性

在量子多體問題中,用一個(單體)有效場來代替電子所受到的其他電子的庫侖相互作用。這個有效場包含所有其他電受到的其他電子的庫侖相互作用。這個有效場包含了所有其他電子對該電子的相互作用。利用有效場取代電子之間的庫侖相互作用之後,每一個電子在一個有效場中運動,電子與電子之間的運動是獨立的(除了需要考慮泡利不相容原理),原來的多體問題轉化為單體問題。

相關詞條

熱門詞條

聯絡我們