面向群體監控的視頻語義建模與描述研究

《面向群體監控的視頻語義建模與描述研究》是依託上海交通大學，由鄭世寶擔任項目負責人的面上項目。

基本介紹

• 中文名：面向群體監控的視頻語義建模與描述研究
• 項目類別：面上項目
• 項目負責人：鄭世寶
• 依託單位：上海交通大學

項目摘要

隨著中國城市化進程的提速和社會經濟的高速發展，群體監控已經成為公共安全監控領域的一個重要任務。本項目將在研究城市公共安全領域群體事件發生、發展和演變規律的基礎之上，綜合運用信息科學、認知科學和社會群體動力學等相關理論及研究成果，研究面向城市公共安全監控的群體語義建模和描述方法，建立基於本體的群體監控語義描述體系；提出基於可變粒度多Agent的細觀群體建模方法；進而通過融合群體動力學中的社會力模型和統計學習理論中的分層機率網路研究的理論成果，研究基於多Agent協同分析的群體高層語義信息的提取和綜合模型；最後運用雲端計算機視頻分析協處理器（VAC）和實驗室私有雲計算環境，仿真和實現群體監控語義描述系統。本項目將在面向群體監控語義描述體系方面進行前瞻性的研究，消除群體分析中視頻底層特徵同群體中、高層語義之間的鴻溝，為複雜群體事件的智慧型監控和事態發展的推演分析奠定理論和技術基礎。

結題摘要

面向群體監控的視頻語義建模和描述技術對於我國公共安全監控領域的科學研究和技術套用具有重要的現實意義。為了有效地對群體監控視頻進行智慧型分析和語義描述，上海交通大學鄭世寶教授領導的研究團隊，在國家自然科學基金面上項目的資助下，針對群體視頻語義建模和描述等相關難題，開展了深入的研究工作，主要成果包括： 1．大規模群體視頻數據集構建及標註系統開發：構建了大規模跨領域跨場景的群體視頻事件數據集（多少量？），用於評估群體分析算法的魯棒性；提出了半自動的基準數據標註算法，並開發了一套標註系統。 2．提出面向視頻監控的語義描述方案：提出的描述方案或系統，實現了兼具通用性、可擴展性的視頻語義描述算法；提出了面向運動目標的視頻分段及語義描述方案；面向多核CPU平台，提出了一個多層次並行最佳化方案。 3．基於多Agent群體建模：提出了基於可變粒度多Agent群體建模方法，連線底層視覺特徵和高層行為語義，降低了群體行為分析和理解的難度。 4．基於流體力學群體行為分析和語義描述：提出了基於粘性流體場的大規模群體行為分析算法，對時空域特徵進行語義描述，通過LDA模型實現人群行為的識別和異常事件檢測；提出了基於局部壓力模型的異常行為檢測算法；提出了基於流體通量和自適應遮擋係數的群體計數方法。 5．基於機率圖模型的視頻高層語義描述：提出了主動監督聯合主題模型用於異常行為的識別；提出利用格蘭傑因果模型分析原子行為之間的關係。 6．群體運動趨勢語義描述：提出了基於散度和旋度的運動描述子，具有旋轉不變和尺度不變特性；提出了基於運動場分解、編碼以及SVM分類的群體行為理解框架，可以有效檢測出多種典型的群體行為。 7． 多目標檢測跟蹤以及重識別系統：提出了一套多目標檢測以及鎖定跟蹤系統，融合了背景建模、自適應前景分割、行人檢測、以及改進的線上跟蹤算法；提出了視角自適應子空間學習算法的行人重識別算法。 8．群體視頻語義描述系統平台：構建了小型雲計算平台，將上述群體視頻語義分析與描述算法部署在該平台上，形成一套完整的面向群體監控的視頻語義描述系統平台，可以對外提供群體視頻語義描述服務。 上述研究成果已經部分套用於上海市公安局圖像監控平台，以及道路卡口監控。相關成果獲得AVSS2012最佳論文獎。已發表SCI/EI收錄的國際學術論文25篇，其中SCI收錄8篇。已申請專利15項，獲得授權2項。