視頻中場景理解的因果模型與推理方法

《視頻中場景理解的因果模型與推理方法》是依託北京理工大學，由梁瑋擔任項目負責人的面上項目。

基本介紹

• 中文名：視頻中場景理解的因果模型與推理方法
• 依託單位：北京理工大學
• 項目負責人：梁瑋
• 項目類別：面上項目

項目摘要

場景理解是計算機視覺、人工智慧以及認知科學備受關注的研究方向之一。而場景的表達對於理解場景至關重要。本項目面向視頻中場景理解的套用，研究場景的表達方法。研究內容包括：研究全局與局部相結合的場景表示方法，建立場景中物體之間的關係語義圖，研究物體關係描述所滿足的幾何約束、物理屬性約束、功能屬性約束以及統計約束，恢復由於觀測噪聲、遮擋等因素導致的物體的不完整軌跡。本項目的研究成果將為人機協同、視頻檢索以及智慧型人機互動等套用領域提供技術支撐，具有重要學術意義和套用價值。

結題摘要

本項目按照預定的計畫，面向場景理解的套用，對於場景的表達方法以及相關套用開展了研究。按研究計畫，本項目搭建了多目標跟蹤方法平台，獲取了高層語義所需的視覺元素；定義了場景中物體之間以及物體和人之間關係的抽象表達；對幾何約束、物理約束以及統計先驗進行了研究。在全局表示中，我們將場景表示為關係語義圖，構建物體和物體之間，物體和人之間的關係表達，幫助人機協同、視頻檢索以及智慧型人機互動等任務掌握物體之間高層關係；我們藉助物理渲染引擎，研究了物體關係描述所滿足的幾何約束、物理屬性約束、功能屬性約束以及統計約束，這些約束幫助消除由於數據獲取、預測產生的噪聲而導致的語義錯誤，提高關係語義圖表達的準確度。在局部表示中，我們研究利用物體之間的關係推理場景中所有物體的完整運動軌跡，研究了對於可見的物體進行魯棒跟蹤，對於不可見的物體進行軌跡推理的方法。通過一年的研究工作，我們在CCF A類會議上發表論文1篇（AAAI 2019），在CCF A類期刊上發表論文1篇（TVCG），在SCI 二區期刊上發表論文1篇（Pattern Recognition）。這些成果得到了國內外同行的認可。本項目圍繞研究計畫開展，在理論方面、套用方面、數據資源建設以及人才培養方面取得了一系列的研究成果，完成了項目的預期研究目標，取得了良好的效果，並為後續研究奠定了重要基礎。