《基於視覺動態認知特性的上下文視頻語義捕捉》是依託哈爾濱工業大學，由姚鴻勛擔任項目負責人的面上項目。
基本介紹
- 中文名：基於視覺動態認知特性的上下文視頻語義捕捉
- 依託單位：哈爾濱工業大學
- 項目類別：面上項目
- 項目負責人：姚鴻勛
項目摘要,結題摘要,
項目摘要
本課題目標是，通過對視覺注意、轉移、競爭式聯想等視覺動態特性的研究，推進對視覺認知機理的認識，通過對視覺語義基元合理性定義，尋求基於上下文語義基元的視頻語義理解關聯計算方法，探索異構數據和異構任務間的學習模式，發展半監督學習、主動學習和生成學習理論，創新出自主式視頻語義挖掘計算方法、視頻語義學習方法和語義表達方式，使語義計算過程貼近真實的視覺理解過程，使捕捉的語義更加本質、充分，且支持語義跨媒介形式的表達。該課題將獲得對人類認知過程的更深了解, 也將是對現有視頻語義理解研究的實質性推進。該課題對計算機視覺和認知科學發展具有重要的科學意義。
結題摘要
本項目從探索人類視覺動態認知特性出發，試圖通過計算機視覺、心理學、神經科學的交叉研究，實現精確、全面的上下文視頻語義捕捉。課題主要包含兩方面研究內容：1、視覺動態認知特性研究，包括神經網路動力學仿真、視覺注意轉移、選擇性信息獲取與注意建模，語義敏感的局部視覺表達等，探究如何把生理學、心理學等認知學科中的關於視覺動態認知特性的啟發式理論和假說轉化為高效、合理的可計算模型並在實際套用中進行合理驗證；2、上下文視頻語義捕捉，具體包括視覺語義概念的理解與建模、異構數據（圖像與視頻）學習傳遞、異構語義（身份、情感、動作）的提取、視覺數據語義相似性度量等問題。本項目的研究深入探索了基於上下文的視頻語義理解、異構數據學習、語義挖掘計算等熱點研究方向，獲得了對人類認知過程的更深層的理解，同時實現了對現有視頻語義理解研究的實質性推進。課題組的研究成果發表在相關的國際期刊和會議上，已發表（含接收）學術論文51篇，其中國際期刊14篇，國際會議37篇，分別被SCI/EI/ISTP檢索12/41/10篇，申請發明專利2項，其中已授權1項。項目培養已畢業博士3人,已畢業碩士10人。其中，在讀博士生孫曉帥獲得“微軟學者”獎，博士張盛平剛畢業就得到了“香江學者”人才計畫的資助。邀請到多名國際知名學者來訪，並有多名組內學生獲得國際交流訪問。
