《變分法與偏微分方程在機器學習中的套用》是依託北京大學，由林通擔任負責人的面上項目。
基本介紹
- 中文名：變分法與偏微分方程在機器學習中的套用
- 項目負責人：林通
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
當前機器學習研究領域主要以機率統計方法為理論工具，儘管取得了巨大成功，但也暴露出統計學習方法中諸如參數過多、經典統計分布與數據真實分布不一致等問題。我們期望從基礎數學的角度出發，特別是利用變分法與偏微分方程作為數學工具，來研究機器學習的三個核心問題：(1)高維數據到低維流形空間的非線性降維問題；(2)有監督的分類問題；(3)回歸或函式逼近問題。這三個問題都歸結為對某個未知映射函式的求解。求解思路可分為如下三步：(1)首先利用正則化方法，適度增加合理的約束條件，構造關於待求映射函式的能量泛函；(2)然後採用變分法進行推導和簡化，將能量泛函最小化問題轉化為對應的歐拉-拉格朗日偏微分方程；(3)最後利用數值方法對偏微分方程進行求解。此研究的特點是可充分利用變分法與偏微分方程的豐富理論結果，力爭在機器學習方法論層面上取得突破和創新。
結題摘要
當前機器學習研究領域主要以機率統計方法為主要算法工具，儘管取得了巨大成功，但也暴露出統計學習方法中諸如參數過多、經典統計分布與數據真實分布不一致等問題。我們從基礎數學的角度出發，以全變差與歐拉彈性能量為基礎建立幾何正則項，利用變分法與偏微分方程作為數學工具，來研究機器學習中的監督學習問題。具體分為如下三步：(1)首先利用幾何正則化方法，以全變差與歐拉彈性能量為基礎，構造監督學習的能量代價泛函；(2)然後採用變分法進行推導和簡化，將能量泛函最小化問題轉化為對應的歐拉-拉格朗日偏微分方程；(3)最後利用函式基逼近的數值方法，對偏微分方程進行數值求解。我們在兩類分類、多類分類、和回歸三個監督學習問題上做了大量實驗，與神經網路與支撐向量機相比較，我們算法取得了較高的準確度。此研究的特點是充分利用全變差與歐拉彈性能量的幾何屬性，以及變分法與偏微分方程的豐富理論結果，在機器學習的方法論層面上取得了突破和創新。
