《面向網路多視頻摘要的關聯學習關鍵技術研究》是依託天津大學，由冀中擔任項目負責人的面上項目。
基本介紹
- 中文名：面向網路多視頻摘要的關聯學習關鍵技術研究
- 項目類別：面上項目
- 項目負責人：冀中
- 依託單位：天津大學
項目摘要,結題摘要,
項目摘要
網路多視頻摘要主要研究同主題下海量網路視頻資源的高效內容分析及整合技術，其中一個關鍵技術是對視頻內容間關聯關係的有效分析，即將大而冗餘的視頻內容空間向小而簡約的內容空間有效的轉換。而這方面的研究仍處於起步階段，尚停留在採用傳統的表示方法和統計模型進行分析的階段。針對這一現狀，受到近年來關聯學習相關成果的啟發，本項目將主要從關聯推斷、傳播與排序機制、多樣性分析三個方面展開研究。具體包括：（1）基於多層貝葉斯和最大信息係數方法的關聯推斷模型的設計；（2）在機率超圖模型框架內，研究基於隨機遊走和流形排序的相關性傳播與排序機制；（3）基於上述兩項研究內容，分別引入半監督關聯聚類和吸收性的方法研究多樣性分析策略；（4）結合網際網路中的新聞、體育等類型的視頻構建原型系統，驗證算法的先進性和實用性。本項目的實施將豐富和完善視頻摘要和關聯學習領域的基礎理論研究，有效推動多媒體瀏覽、移動網際網路等相關產業的發展。
結題摘要
網路多視頻摘要主要研究相同主題下海量網路視頻資源的高效內容分析及整合技術，其中一個關鍵技術是對視頻內容間關聯關係的有效分析，即將大而冗餘的視頻內容空間向小而簡約的內容空間有效轉換。而這方面的研究仍處於起步階段，多停留在採用傳統的表示方法和統計模型進行分析的階段。針對這一問題，本項目利用關聯分析、傳播與排序機制以及深度學習等理論和技術展開研究。 項目構建並發布了目前多視頻摘要領域最大的公開標註數據集——MVS1K，受到相關專家的高度評價。提出了查詢感知的稀疏編碼框架，利用視頻幀和網路圖像的相似性關係來學習視頻與圖像之間的共有模式，進而獲得幀的重要性分數，同時考慮了摘要的稀疏性、代表性和重要性，在MVS1K上的F指標可達0.56的高分。在視頻摘要領域首次提出基於深度注意力機制的視頻摘要算法，已經被CVPR、 ECCV等主流會議論文借鑑和引用，並作為基於深度學習的摘要方法的代表方法之一。基於最大間隔學習、字典學習等框架，提出一系列關聯關係建模方法，在幾個基準測試數據集上達到了當時最好的性能水平。提出了一系列基於超圖模型的視頻摘要方法，不但能夠表示多個節點之間的局部聚合信息，而且可將節點間的相關關係嵌入到超圖模型中，取得了較好的性能。針對相關性排序，提出了一系列有效的方法。例如提出基於超球的相關保持投影與方法，將原始數據映射到超球空間，從而實現了數據的特徵變換。使數據特徵表示更適合於相關性排序。此外，還進一步依據距離超球球心的距離，提出了一種新的排序方法，稱為基於超球的排序方法。還分別提出一種基於半監督學習的方法以及相關圖和不相關圖的方法。提出了一種加權原型分析方法，通過初始化原型數目將數據聚合到不同的原型中，並結合視頻視覺特徵、相關文本語義特徵作為加權突出重點信息。 本項目的實施為豐富和完善視頻摘要的基礎理論研究，推動關聯分析、深度注意力模型的研究範疇以及多媒體瀏覽、移動網際網路等相關產業的發展具有十分重要的理論和實際意義。
