《基於多核一類SVM學習的視頻總結算法研究》是依託深圳大學，由江健民擔任項目負責人的面上項目。
基本介紹
- 中文名：基於多核一類SVM學習的視頻總結算法研究
- 項目類別：面上項目
- 項目負責人：江健民
- 依託單位：深圳大學
項目摘要,結題摘要,
項目摘要
目前的視頻總結研究，主要停留在對視頻內容特徵提取，並對特徵進行評估排序，選擇比重較大的幀或鏡頭組成總結視頻的階段。但由於局限於低層次的內容特徵而存在不能融合語義信息的缺點, 使得所產生的總結視頻難以接近人們對視頻內容的理解。從而不可避免地產生語義鴻溝，在實用中出現很多不足。雖然在近期的研究中，支持矢量機被嘗試著用於視頻處理和內容分類，但一般的支持矢量機存在對噪聲比較敏感，單一核函式的非線性分類不夠準確等問題。本項目提出一種新的視頻總結的研究思路和方案，即採用基於一類支持矢量機及自適應多核函式的學習方法和監測觀看視頻的相關信息並對它們進行融合的手段，通過對視頻內容提取語義信息及其用戶行為的分析和深入研究，系統地提出一種多核自適應學習，代表性廣，震撼力強且可連續播放的視頻總結方案。為未來視頻大數據的管理和分析，提供有效的解決方法。
結題摘要
視頻總結是可視媒體大數據分析的一個重要工具。它能夠讓用戶花很短的時間了解視頻大數據的主要內容。目前有關視頻總結的研究主要分為靜態總結和動態總結。前者採用關鍵幀圖像的方式，離散地總結視頻大數據中的主要內容。後者則是採用很短的視頻總結其中最有影響力的片段，讓觀眾知道它的主題及精彩。傳統的視頻總結研究主要聚焦於視頻特徵提取，建模和最佳化。目前的研究則是利用機器學習智慧型地分析視頻內容，從中決定主次內容的取捨。 本項目的主要研究內容包括三個方面。第一是對視頻或提取的關鍵幀圖像進行預處理，以突出和完成各部分相對視頻總結的份量評估。所採用的策略有兩種。一種是針對圖像內的運動目標和場景直接展開分割，跟蹤和識別，來確定它們的重要性。另一種是採用對視頻低解析度版本進行快速掃描和內容甄別，然後通過超解析度重構的手段產生最後的總結內容。第二個方面是機器學習，包括無監督學習，半監督學習及有監督的深度學習等。主要的策略一方面是通過學習的手段更加精準地找到能夠總結視頻的內容，另一方面是利用對視頻內容進行聚類和分類，來突出各部分在內容表達的作用。從而完成對視頻總結內容的鋪墊。第三個方面是基於內容選取的視頻總結。主要手段是在機器學習結果的基礎上，通過重要內容的檢測，聚類和分類，來選取最有代表的內容構成對視頻的總結。 項目執行期間在方法及理論上取得了一系列的科研成果。包括：（i）在無監督學習理論上提出了一種新的ensemble建模方法。通過結合常用的Bagging與Boosting手段實現對聚類結構的預測和最佳化；（ii）對圖像的預處理提出了一系列新的思路及算法，包括以張量為主的特徵提取，運動目標分割，跟蹤和識別；（iii）對總結視頻和圖像的超解析度重構，發展了一系列高效率和高質量的算法；（iv）從一類SVM學習到深度學習，提出了多種能夠自適應於學習內容及目標的新穎算法和思路。項目執行期間共發表SCI雜誌論文26篇，國際會議論文10篇，專利申請6項。
