《基於知識庫構建的圖像和視頻角色語義關係的研究》是依託山東大學，由王雅芳擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於知識庫構建的圖像和視頻角色語義關係的研究
- 項目類別：青年科學基金項目
- 項目負責人：王雅芳
- 依託單位：山東大學
中文摘要,結題摘要,
中文摘要
隨著社會的進步和多媒體技術的發展，網路頻寬和終端計算能力不斷增強，圖像和視頻越來越成為信息傳播的主要載體。快速高效處理大量的圖像視頻數據，找到自己需要的內容，已經成為迫切的需求。如何正確識別出圖像和視頻中的角色，即人、物體和場景，以及他們之間的語義關係，是對圖像、視頻內容理解的基本要素。.本項目研究如何分析圖像和視頻中的角色語義關係，構建知識庫系統的相關問題。我們擬從圖像和視頻的知識獲取以及知識管理兩個層面進行研究。項目的主要研究內容為：1、如何設計算法分析圖像中的角色從中抽取常識知識；2、如何結合文本和視頻數據共同進行關係抽取；3、如何設計算法結合視頻信息對視頻字幕或腳本進行實體消歧；4、如何設計含有圖像和視頻多媒體知識庫的查詢界面及解析算法。最後，基於理論研究成果，構建有效測試平台和原型系統，並為深入理解分析圖像和視頻中的角色，進行語義分析提供實際可用的知識庫系統。
結題摘要
隨著社會的進步和多媒體技術的發展，網路頻寬和終端計算能力不斷增強，圖像和視頻越來越成為信息傳播的主要載體。快速高效處理大量的圖像視頻數據，找到自己需要的內容，已經成為迫切的需求。如何正確識別出圖像和視頻中的角色，即人、物體和場景，以及他們之間的語義關係，是對圖像、視頻內容理解的基本要素。 本項目研究如何分析圖像和視頻中的角色語義關係，構建知識庫系統以及研究其相關套用的問題，並且實現實際可用的系統。我們從圖像和視頻的知識獲取、知識管理與展示和知識庫套用三個層面進行研究。本項目設計算法從圖像中抽取常識知識構建知識庫以輔助物體識別，並且設計基於Kinect的步態識別算法，研究了知識庫的連結預測算法，設計並實現基於多媒體知識庫的智慧型問答系統、可視分析系統。項目研究成果可以套用於新聞傳播領域，因為新聞數據是多媒體數據，包含文本、圖片和視頻等。近些年融媒體時代的到來，加大了信息表現形式的發展，出現了大量的VR/AR新聞。因此項目研究了媒體上的內容和傳播分析，基於知識獲取的自動摘要算法，並且基於VR知識研發了3D虛擬場景的協同構建。項目理論成果還可以套用於機器人等領域。
