《網路視頻中的情感識別算法研究》是依託復旦大學，由姜育剛擔任項目負責人的面上項目。
基本介紹
- 中文名：網路視頻中的情感識別算法研究
- 依託單位：復旦大學
- 項目類別：面上項目
- 項目負責人：姜育剛
項目摘要,結題摘要,
項目摘要
網路視頻中的情感識別是指利用計算機算法自動發現視頻傳遞的情感，如“喜悅”、“生氣”等。相關技術可以套用於政府民意調查、智慧型視頻檢索與推薦等實際問題。本項目在視頻內容識別前沿技術基礎上，針對情感識別的特定需求，擬開展以下幾個方面的研究：（1）大規模、層次化網路視頻情感數據集構建；（2）情感知識的遷移學習；（3）多模態視頻特徵的提取與融合；（4）視頻時序關係建模。其中，數據集的構建是算法研究的基礎，遷移學習技術可以充分利用已有的其他領域的信息（如圖像情感標註等），多模態特徵融合是保證識別精度的關鍵手段，而時序關係建模可以幫助挖掘並利用視頻內的語義邏輯關係。在技術路線設計上，本項目採用近年來流行的深度學習方法，並針對以上幾個研究內容設計新的神經網路結構和學習算法。成果將發表在國際一流期刊、會議中，並通過開發套用演示系統進行可視化驗證與展示。
結題摘要
視頻情感識別是指利用計算機算法自動判斷視頻中傳達的情感，如“喜悅”、 “生氣”、“憤怒”、“恐慌”、“悲傷”等。對網路視頻大數據進行自動情感識別，可以幫助政 府及時掌握網路輿情、了解民情民意;也可幫助視頻服務商開發高效的視頻管理系統，創造巨大的商業價值;此外，視頻情感識別對於教育、藝術創作、廣告設計、人機互動等領域都有著重要意義。 針對視頻情感識別，本課題的主要研究內容包括：（1）視頻情感識別數據集的構建：本項目構建了一個視頻情感識別數據集。該視頻數據集從網路上爬取，採用Paul Ekman定義的6種基本情緒類別進行標記。該數據集總共包含1,673個視頻，為後續研究提供了良好的數據基礎。（2）情感知識的遷移學習：項目組提出的異構知識遷移學習方法利用豐富的圖像以及本文標註數據，將圖像以及文本數據集的知識遷移到標註數據量較小的視頻中來，有效地解決了視頻情感識別中的少樣本、零樣本問題。 （3）多模態特徵提取與融合：項目組探索了多模態特徵的提取與融合，挖掘了不同模態之間的互補關係，針對性地提出了基於物體和場景語義、基於高層上下文信息和基於混合深度學習框架的多模態特徵融合方法，有效地提高了視頻情感識別的準確率。（4）時序關係建模：針對如何有效利用視頻中的時序信息建模等問題，項目組提出了基於時空關係的視頻文本描述生成技術、基於時空關係的活動定位技術、基於時序關係的小樣本動作識別技術等方法。這些方法有效地利用了視頻幀與幀之間的時序信息建模，廣泛適用於各種複雜的套用場景。本的研究產生了多篇高水平論文和專利，對視頻情感識別的相關理論研究和技術研發起到一定的推動作用。
