基於本體的視頻語義內容分析方法研究

《基於本體的視頻語義內容分析方法研究》是依託中國人民解放軍國防科技大學，由白亮擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於本體的視頻語義內容分析方法研究
• 項目類別：青年科學基金項目
• 項目負責人：白亮
• 依託單位：中國人民解放軍國防科技大學

中文摘要

視頻語義內容分析的目標是跨越語義鴻溝獲取視頻高層語義。本項目試圖從分析框架和分析方法兩個方面系統全面地探討視頻語義內容分析。分析框架對視頻語義進行抽象，對相關領域知識和上下文信息進行建模，明確視頻語義內容分析要解決的根本問題；而分析方法研究視頻語義分析的技術實現途徑。視頻語義可歸納為概念語義和關係語義（對應於本項目定義的視頻感知概念、視頻概念及其關係），視頻感知概念與視頻概念及其關係的抽象與本體論是吻合的。因此，項目研究視頻概念模型和基於本體的視頻語義內容分析知識基礎，明確視頻語義內容分析的著重點在於感知概念與視頻概念的探測。在此基礎上，立足於視頻語義內容的層次特性以及模糊性和不確定性，提出基於上下文信息與機率統計關聯模型的視頻語義內容分析方法論；具體研究基於機器學習理論的感知概念探測方法和基於本體的視頻概念探測方法，為跨越語義鴻溝提供解決之道。

結題摘要

隨著Internet 網路套用和多媒體套用的迅猛發展，數字視頻信息的爆炸性增長和視頻信息消費方式的轉變，對數字視頻信息組織管理與內容服務的方法和技術提出了新的更高的要求。研究如何從大量視頻中獲取有價值信息已成為必然，而其核心在於分析獲取視頻包含的語義內容。語義鴻溝的存在使得視頻語義內容分析面臨巨大困難，嚴重製約了視頻消費與套用。本項目從分析框架和分析方法兩個方面系統全面地探討視頻語義內容分析。提出了基於本體的視頻語義內容分析框架。定義了視頻感知概念、概念、高層概念，將視頻內容抽象為上述概念以及概念間關係的集合；指明了視頻感知概念、視頻概念及其關係的抽象與本體理論的本質聯繫，提出了基於本體的視頻知識基礎構建方法；提出了基於上下文信息和機率統計關聯模型，分層跨域語義鴻溝的視頻分析方法。提出基於機器學習的視頻感知概念探測方法。視頻感知概念的探測需要對大量高維低層感知特徵樣本數據進行自動分析處理，從中發現有意義的模式，機器學習是解決這一類問題的有效方法。本文分別採用支持向量機、條件隨機域、高斯混合模型、決策樹模型等機器學習方法來分類識別重要的音頻概念、視覺對象概念和運動類型概念，提高了視頻感知概念的探測準確率。提出了視頻概念探測方法。針對以往基於內容的方法的缺陷，提出了本體支持的概念探測方法，在感知概念探測的基礎上，融合低層感知特徵和上下文語義信息探測元概念。區別於以往基於內容的方法以及簡單線性加權的融合模型，提出了基於貝葉斯網路模型的高層概念探測方法，通過貝葉斯網路建模高層概念與低層概念的關聯以探測高層概念，提高了視頻概念探測的性能。針對視頻情報分析與基於視頻的心理戰兩個套用領域，開展了套用研究。研究提出了基於視頻語義內容分析的視頻情報內容分析、整編、組織方法和關鍵技術，以及基於場景分類、對象識別等心理戰信息疊加方法和關鍵技術。設計實現了視頻情報分析與檢索系統和心理戰信息生成平台兩個套用原型系統。在完成項目計畫研究內容的同時，注意到社會網路媒體的快速發展，認識到多媒體計算與社會網路的結合日趨緊密，在網路媒體話題演化分析和社會媒體觀點演化動力學等方面開展了初步的研究工作。綜上所述，本文提出了基於本體視頻語義內容分析方法，深入研究了相關分析技術，完整的實現了視頻從低層語義抽取到高層語義概念探測的全過程，在一定程度上解決了視頻分析面臨的語義鴻溝難題。