噪聲對比估計

噪音對比估計（NCE, Noise Contrastive Estimation）是一種新的統計模型估計方法，由Gutmann和Hyv¨arinen提出來，能夠用來解決神經網路的複雜計算問題，因此在圖像處理和自然語言處理中得到廣泛套用。

基本介紹

• 中文名：噪音對比估計
• 外文名：Noise Contrastive Estimation）
• 縮寫：NCE

介紹

噪音對比估計（NCE, Noise Contrastive Estimation）是一個迂迴但卻異常精美的技巧，它使得我們在沒法直接完成歸一化因子（也叫配分函式）的計算時，就能夠去估算出機率分布的參數。

NCE與負採樣簡述

NCE 的系統提出是在 2010 年的論文 Noise-contrastive estimation: A new estimation principle for unnormalized statistical models 中，後面訓練大規模的神經語言模型基本上都採用 NCE 或者類似的 loss 了。

論文的標題其實就表明了 NCE 的要點：它是“非歸一化模型”的一個“參數估計原理”，專門應對歸一化因子難算的場景。

但事實上，“負採樣”的思想其實早就被使用了，比如就在 2008 年的 ICML 上，Ronan Collobert 和 Jason Weston 在發表的 A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning 中已經用到了負採樣的方法來訓練詞向量。

要知道，那時候距離 Word2Vec 發布還有四五年。關於詞向量和語言模型的故事，請參考 licstar 的《詞向量和語言模型》。

基於同樣的為了降低計算量的需求，後來Google的Word2Vec也用上了負採樣技巧，在很多任務下，它還比基於Huffman Softmax的效果要好，尤其是那個“詞類比（word analogy）”實驗。這裡邊的奧妙，我們馬上就來分析。