《基於和諧競爭的有限混合模型無監督學習算法研究》是依託哈爾濱工業大學，由劉國軍擔任項目負責人的面上項目。
基本介紹
- 中文名：基於和諧競爭的有限混合模型無監督學習算法研究
- 依託單位：哈爾濱工業大學
- 項目類別：面上項目
- 項目負責人：劉國軍
項目摘要,結題摘要,
項目摘要
聚類是智慧型信息處理中一個最核心的環節，而基於有限混合模型的聚類方法是最常用有效的。有限混合模型的無監督學習涉及到三個層次的推斷問題：每個樣本是由哪個模型成分產生的，所有成分的模型參數，以及模型成分的個數。其中如何確定模型成分的個數，即模型選擇，仍然是一個非常熱門的課題。本項目提出了基於和諧競爭的學習框架，該框架將三層推斷問題視為是有層次的且相互嵌套的。在完成第一層推斷之後，得到隱變數的後驗機率，通過增加其負熵而引入競爭。然後，直接傳遞給第二層推斷問題中混合係數的計算，迫使某些混合係數逐漸趨於0，從而完成在第三層推斷上的自動模型選擇。從幾何意義上講，這種競爭是一個從高維向低維參數子空間發生坍塌的過程。更重要的，這種競爭完全是數據驅動的，並具有保序性，且在參數空間形成了一個完美的幾何對稱劃分，因此，稱之為和諧競爭。最後，通過在圖像處理、視覺以及深度學習模型框架中的套用，驗證本項目成果的有效性。
結題摘要
聚類是智慧型信息處理中一個最核心的環節，而基於有限混合模型的聚類方法是最常用有效的。本項目提出了基於和諧競爭的有限混合模型的無監督學習方法。從一個全新的角度同時解決參數學習和模型選擇問題。此外，該方法還可避免底層使用EM算法時經常出現的崩潰現象，從而使算法更加穩定有效。同時，提出了基於負熵增大的完全數據驅動的和諧競爭規則。該規則與傳統的啟發式競爭規則相比，具有更好的魯棒性。此外，從更深層的關係上，統一了現有的一些學習算法。從幾何意義上探究了和諧競爭的本質。通過對機率單純形空間的幾何性質分析，和諧競爭的本質就是迫使混合係數在其參數空間中，從高維向低維子空間逐漸坍塌的過程，對這一過程進行深入的分析，從而可以更好地剖析與理解競爭學習背後所隱藏的原理。此外，提出了機率單純形空間的奇異點的存在。將和諧競爭思想融入到深度學習框架，在多個領域取得了非常好的效果。近期在研究我們提出的和諧競爭自動編碼器HCAE時，發現一開始我們所有研究的理論性質都是基於機率simplex之上的，其很難在神經網路的框架上進行推廣，因此，我們對其進行了擴充，並證明了在τ-simplex上仍然適用，同時給出了相關的理論證明和幾何性質分析。這是理論上的一個小突破。在深度學習框架上的推廣套用。在VAE架構下，近似後驗分布的選擇是關鍵問題之一，它對VAE的可操作性和靈活性有著重要的影響。本項目提出了一種將初始簡單的混合模型套用一系列可逆Householder變換可以進行任意複雜的近似後驗分布的新方法。此外，我們也給出了Householder變換的詳細理論和幾何解釋。最後，由於計算兩種混合密度之間的KL距離沒有封閉解。因此，我們利用它的上界重新定義了一個新的變分下界。實驗結果表明，我們的方法可以更有效地提高后驗分布的靈活性。
