《面向體育視頻的小規模群體行為分析》是依託北京航空航天大學，由王蘊紅擔任項目負責人的面上項目。
基本介紹
- 中文名：面向體育視頻的小規模群體行為分析
- 依託單位：北京航空航天大學
- 項目負責人：王蘊紅
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
體育視頻分析因其重要的經濟和社會學意義正受到國內外科研工作者的廣泛關注，並成為多媒體智慧型處理領域內的一個研究熱點。傳統的體育視頻分析集中在中級語義信息提取、精彩事件檢測、自動摘要生成、視頻檢索等方向，主要針對視頻內容進行研究，而忽視了對運動主體即運動員及其之間的互動行為的分析。本項目擬對體育視頻中小規模的群體行為進行研究，建立基於運動員群體行為的事件分析理論框架。具體的將研究視頻中視覺、音頻和文本多模態特徵感知及融合方法，及複雜背景下快速、魯棒的多目標協同跟蹤算法，同時構建同一目標在不同鏡頭下的重定位模型，建立面向體育視頻的小規模群體行為分析和事件檢測理論框架，為體育視頻策略分析、戰術規劃等套用提供有效的技術支撐。本項目的研究不僅為面向體育視頻的戰術分析、事件檢測等套用提供有力的技術基礎，對完善體育視頻分析理論框架具有重要的意義，同時對監控視頻中小規模群體行為識別和視頻理解也具有理論價值。
結題摘要
本項目對面向體育視頻的小規模群體行為識別算法進行了深入探索，並取得較大進展。作為研究的基礎，我們採集了面向體育視頻的小規模群體行為分析的體育視頻庫，並利用該資料庫，圍繞群體行為分析展開了一系列底層到高層，基礎到套用的研究。從目標跟蹤、行為識別與定位、以人為中心的檢索等任務著手，先後提出了具有尺度遮擋魯棒的跟蹤模型，多目標運動員協同跟蹤模型，基於時空語義圖和結構化循環神經網路的視頻中群體行為識別，基於注意力循環神經網路的體育視頻描述生成模型，面向部分信息缺失視頻的動作識別方法，無標註樣本且類別未知的動作識別方法，基於離散哈希距離度量學習的行人再識別方法等。項目期間共發表論文18篇，申請專利1項。IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，European Conference on Computer Vision (ECCV)等國際權威學術會議上發表論文14篇，在IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)等國際權威學術期刊上發表SCI檢索論文4篇，申請專利1項。代表成果有：1，面向體育視頻的小規模群體行為分析的體育視頻庫。我們進行了跟蹤標註和動作標註，其滿足單目標跟蹤任務，多目標跟蹤任務，單目標動作識別任務和群體行為識別任務，為後續的研究奠定了基礎。2，協同的單目標運動員跟蹤與行為識別方法。以往的目標跟蹤和動作識別作為兩個獨立的任務來進行研究，並且有各自的資料庫。整合兩個任務具有相當大的挑戰，尤其是在體育視頻中。我們提出了一個協同運動員跟蹤和技戰術動作識別框架。對於運動員跟蹤，我們首先提出了一個尺度和遮擋魯棒的目標跟蹤方法，該方法在處理尺度變化和物體遮擋問題上具有良好的表現。其次，針對技戰術動作識別，我們提出了長時間區域導向的遞歸神經網路模型來對時序演變進行建模並對技戰術動作進行最後的識別。3，基於時空語義圖和結構化循環神經網路的視頻中群體行為識別方法。群體行為識別問題，對於體育視頻理解仍然是一個關鍵而困難的挑戰。傳統方法使用手工圖像特徵和機率圖模型來建模視頻時空關係，這些方法只能描述淺層特徵，不具備描述複雜圖像內容的能力。我們提出了一種語義注意力反饋神經網路模型，去識別視頻中的
