《大規模機器學習的線上方法與實現》是依託北京大學，由張志華擔任負責人的面上項目。
基本介紹
- 中文名：大規模機器學習的線上方法與實現
- 項目負責人：張志華
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
經典的機器學習方法通常是針對適度規模的數據設計的。這使得它們在計算上難以適用於大規模的數據。而且，即使在計算上有所突破的機器學習方法也很少在理論上具有強有力的支撐。所以，如何設計能夠適應於大數據的機器學習方法(即可擴展性)，以及如何分析這些方法的理論性質(即穩定性)是大數據時代機器學習所面對的兩個基本挑戰。本項目利用線上的計算方式研究機器學習模型的可擴展性，利用機率論和實分析等工具研究算法的穩定性。主要包含四方面的工作：凸最佳化機器學習問題的線上學習方法；基於凸最佳化的分類方法及其線上訓練和線上預測；隱含數據模型及其線上貝葉斯推理方法；線上算法的冪流圖構架的實現與驗證等。
結題摘要
經典的機器學習方法通常是針對適度規模的數據設計的，這使得它們在計算上難以適用於大規模的數據。而且，即使在計算上有所突破的機器學習方法也很少在理論上具有強有力的支撐。所以，如何設計能夠適應於大數據的機器學習方法，以及如何分析這些方法的理論性質是大數據時代機器學習所面對的兩個基本挑戰。本項目系統、深入地研究了最最佳化問題線上學習算法和大規模矩陣分解隨機算法，解決了其中一些關鍵問題，取得了一批重要研究成果。具體地，給出了基於特徵分化的分散式最佳化的通訊複雜性的下界分析；提出了一類可擴展的用於結構化約束的最佳化問題的大規模算法；提出一類用於求解大規模對稱半正定矩陣分解問題的列選擇隨機算法，並給出一種高效的近似對稱半正定矩陣分解和CUR分解的原型算法；提出了魯棒頻繁方向方法一種魯棒頻繁方向的線上矩陣近似算法，並套用機遇矩陣分解的線上推薦系統中；給出了近似牛頓方法的一般構造框架，由此建立了收斂性結果；建立了聯邦學習在數據非獨立情況的收斂性結果，由此揭示了通訊有效性和收斂率之間的權衡。相關成果在國際重要期刊Journal of Machine Learning Research、Pattern Recognition,以及機器學習頂級會議ICML、AISTATS、ICLR、SIGKDD、AAAI、IJCAI、UAI等發表了論文10餘篇。
