基於深度學習框架的社交媒體信息挖掘

《基於深度學習框架的社交媒體信息挖掘》是依託香港理工大學深圳研究院，由劉焱擔任項目負責人的面上項目。

基本介紹

• 中文名：基於深度學習框架的社交媒體信息挖掘
• 項目類別：面上項目
• 項目負責人：劉焱
• 依託單位：香港理工大學深圳研究院

項目摘要

在網際網路時代,社交媒體中隱藏著豐富的娛樂、教育和商業信息。如何從大規模的社交媒體數據中挖掘有用信息已經成為一個重要的研究課題。 然而，社交媒體中媒體的多模態性、對象間複雜的關聯性、媒體內容的動態性使得該任務極具挑戰性。深度學習,通過多層的非線性結構來處理學習問題。研究表明，深層模型在解決海量數據的複雜問題方面具有獨特的優勢，它為解決社交媒體問題帶來了希望。本項目提出一個基於深度學習框架的社交媒體挖掘模型，這將是首次將深度學習技術用於社交媒體問題。該模型不僅能融合多模態媒體特徵從而學習出統一的語義表示，並能預測對象之間的相關性，包括社交媒體中的同質對象和異質對象。同時，該模型還將在真實媒體內容動態變化的情況下，進行動態媒體內容分析。我們將在標準的數據集以及自行開發的社交媒體平台數據集上測試我們提出的框架和算法。該項目的研究將會為機器學習和多媒體內容分析的研究以及社交媒體的產業發展作出貢獻。

結題摘要

本項目針對網際網路時代豐富而複雜的多媒體數據，研發了一系列有理論基礎和套用前景的深度學習技術，從海量動態的社交媒體數據中挖掘出隱藏的有用信息。項目申請書中提出的研究內容順利開展，並獲得了令人滿意的成果。第一，基於深度神經網路的多模態特徵學習和表示是我們的核心研究內容：我們採用多模態數據的聚集效應，構建了一個統一的社交媒體機器學習框架；利用耗散結構理論對人類的隱性學習機制進行建模。以此為基礎，我們根據不同媒體自身特點研發了十餘種算法，成功地套用於社交媒體上非完整圖像辨識、自動文本摘要、音頻情感計算、多媒體數據融合，相關成果在國際期刊和會議上發表文章15篇。 第二，在用戶隱性特徵學習和表示上，我們研發了新的用戶行為建模的算法，挖掘用戶的使用特點和偏好，並採用腦波分析的方法提高用戶體驗預測的準確性。 相關成果在國際期刊和會議上發表文章3篇。第三，在多媒體特徵和用戶特徵關聯性研究上，我們提出了三個新的算法，構建了視頻特徵、音頻特徵以及多模態特徵與用戶體驗之間的多層次關係的建模，相關成果在國際期刊和會議上發表文章3篇。第四，在動態媒體內容分析上，我們進行了時空數據的動態顯著性研究，並把用戶的注意力關聯性運用到社交媒體的推廣上。相關成果在國際期刊上發表文章2篇。在原定的研究內容以外，我們還將深度學習的研究成果套用於社交媒體與計算機安全的交叉問題研究。 我們利用社交媒體上的海量數據加強數據隱藏能力，研發了新的深度學習算法去提高數據隱藏的偵測能力。相關成果在國際會議上發表文章2篇。 該項目還為人才培養和發展提供了良好的環境，其中四位最初的參與成員已經取得了博士學位。這個項目的開展對中國在多媒體，人工智慧，和腦科學跨領域研究有著重要科學意義。 本項目還孕育了香港第一個認知計算實驗室，也成為中國國家自然科學基金的一個成果展示平台。