參數變分指的是自變數變換時保持不變的自適應參數，套用於數學分析，深度學習等領域。
基本介紹
- 中文名：變分參數
- 套用領域：數學分析，深度學習
簡介,變分貝葉斯方法的目的,變分參數的平均場方法概念,平均場方法的合理性,
簡介
對於普通的函式f(x)，我們可以認為f是一個關於x的一個實數運算元，其作用是將實數x映射到實數f(x)。那么類比這種模式，假設存在函式運算元F，它是關於f(x)的函式運算元，可以將f(x)映射成實數F(f(x)) 。對於f(x)我們是通過改變x來求出f(x)的極值，而在變分中這個x會被替換成一個函式y(x)，我們通過改變x來改變y(x),最後使得F(y(x))求得極值。
變分指的是泛函的變分。打個比方，從A點到B點有無數條路徑，每一條路徑都是一個函式吧，這無數條路徑，每一條函式（路徑）的長度都是一個數，那你從這無數個路徑當中選一個路徑最短或者最長的，這就是求泛函的極值問題。有一種老的叫法，函式空間的自變數我們稱為宗量（自變函式），當宗量變化了一點點而導致了泛函值變化了多少，這其實就是變分。變分，就是微分在函式空間的拓展，其精神內涵是一致的。求解泛函變分的方法主要有古典變分法、動態規劃和最優控制。
變分貝葉斯方法的目的
1、近似不可觀測變數的後驗機率，以便通過這些變數作出統計推斷。近似求P(Z|D)。
2、對一個特定的模型，給出觀測變數的邊緣似然函式（或稱為證據，evidence）的下界。主要用於模型的選擇，認為模型的邊緣似然值越高，則模型對數據擬合程度越好，該模型產生Data的機率也越高。
對於第一個目的，蒙特卡洛模擬，特別是用Gibbs取樣的MCMC方法，可以近似計算複雜的後驗分布，能很好地套用到貝葉斯統計推斷。此方法通過大量的樣本估計真實的後驗，因而近似結果帶有一定的隨機性。與此不同的是，變分貝葉斯方法提供一種局部最優，但具有確定解的近似後驗方法。
從某種角度看，變分貝葉斯可以看做是EM算法的擴展，因為它也是採用極大後驗估計(MAP)，即用單個最有可能的參數值來代替完全貝葉斯估計。另外，變分貝葉斯也通過一組相互依然（mutually dependent）的等式進行不斷的疊代來獲得最優解。
變分參數的平均場方法概念
假設有一個很大很大的教室，裡面坐著很多很多的學生，這些學生都在晨讀，你是其中的一員。你聽到的聲音是所有學生髮出的聲音到擬這個位置的疊加，顯然這個求和很複雜，因為你的聽覺感受與聲源到你的距離有關。為了簡化這個求和，我們把所有學生在你這個位置產生的聲音效果看作是噪音。如果這個教室真的足夠大，大到我們可以忽略邊界效應。現在，換一個場景，如果所有學生保持戰鬥佇列（繼續晨讀），你現在是一位老師，在教室里巡視。然後無論你走到哪裡，你的聽覺感受都是一樣的。這個噪音在任何位置都一樣，無論往前走還是往右走一步都一樣，這就是平移不變性。這個時候，噪音和一個均勻外場產生的效果一樣，這個噪音就是平均場。
平均場方法的合理性
在量子多體問題中，用一個（單體）有效場來代替電子所受到的其他電子的庫侖相互作用。這個有效場包含所有其他電受到的其他電子的庫侖相互作用。這個有效場包含了所有其他電子對該電子的相互作用。利用有效場取代電子之間的庫侖相互作用之後，每一個電子在一個有效場中運動，電子與電子之間的運動是獨立的(除了需要考慮泡利不相容原理)，原來的多體問題轉化為單體問題。
