《基於稀疏表示和超圖的視頻事件語義分析方法研究》是依託江蘇大學，由詹永照擔任項目負責人的面上項目。
基本介紹
- 中文名：基於稀疏表示和超圖的視頻事件語義分析方法研究
- 項目類別：面上項目
- 項目負責人：詹永照
- 依託單位：江蘇大學
項目摘要,結題摘要,
項目摘要
視頻事件語義分析是視頻檢索、檢測中非常重要而又異常困難的問題之一。本項目研究旨在快速有效地提取視頻事件的時空上下文信息、建立容忍信息干擾的視頻事件分析模型和綜合視頻事件的語義描述方法。主要研究內容包括：研究基於人工免疫的對象運動視頻關鍵幀提取方法，以獲取既能壓縮視頻數據又能較好反映對象運動特徵的關鍵幀；研究具有非線性可鑑別性的視頻事件特徵稀疏表示方法，使視頻事件的特徵表示具有更好可鑑別性同時容忍視頻圖像存在噪聲和干擾情形；研究基於機率超圖的弱監督學習視頻事件語義分析方法，使其能更有效地能處理視頻事件信息不確定性並能更準確、更快速地分析多事件語義；針對多對象運動的多視頻事件，研究基於對象運動事件的擴展格語法的綜合視頻事件語義理解與描述方法，以方便理解描述多事件的綜合視頻事件及充實完善事件分析模型。本項目研究對推動視頻檢索、檢測技術發展與套用具有重要的理論意義和實際套用價值。
結題摘要
視頻事件分析是多媒體技術和人機互動研究領域的熱點問題之一，本項目針對視頻事件時空上下文信息的有效獲取、容忍信息干擾的視頻語義分析模型和具有多對象多子事件的綜合視頻事件的理解與描述問題開展研究。主要研究內容：1）研究視頻圖像的有序關鍵幀提取和音視頻特徵的優選方法；2）研究可鑑別的視頻特徵稀疏表示及視頻語義有效分類算法，以使視頻事件語義分析能容忍信息干擾；3）研究基於超圖模型的視頻事件語義建模與檢測方法；4）研究基於多對象運動事件的擴展格語法的綜合視頻事件語義理解描述方法。主要成果包括：1）提出了基於人工免疫有序聚類的視頻關鍵幀提取方法，該方法能夠有效地提取出反映鏡頭內容隨時序變化的關鍵幀；提出了基於CNN的音視頻情感狀態潛在特徵自動學習方法和基於AdaBoost特徵優選方法，提高了複雜情形下的音視頻情感狀態檢測性能。2）提出了基於核可鑑別稀疏表示、自適應局部敏感可鑑別的稀疏表示、兩階段的稀疏表示和加權KNN及相關分類算法的視頻事件或語義概念檢測方法，這些算法能有效表征視頻特徵的內在關聯關係，有效改善了視頻事件檢測性能；3）提出了基於自適應機率超圖的增量式半監督學習方法和多超圖融合的視頻事件語義分析方法，使視頻事件超圖模型的構建更具泛化能力，能有效提高視頻多事件語義概念檢測的準確率和查全率；提出了軌跡和多標籤超圖配對融合的視頻複雜事件檢測方法，在複雜事件檢測中該方法具有更高的平均查準率和平均查全率。4）提出了時序頻繁模式挖掘視頻多對象運動事件方法、基於擴展格框架標註的視頻事件多維關聯規則挖掘方法和改進的多對象跟蹤算法，並用於綜合視頻事件語義理解描述，有效地促進綜合的視頻事件語義的檢測、理解和描述。本項目的研究為合理有效的視頻事件時空上下文信息的有效獲取、視頻事件底層特徵的可鑑別表達與有效分類識別、視頻多語義概念的建模與檢測、多對象運動的綜合視頻事件的理解與描述提供了有價值的參考。
