《基於標籤和多特徵融合的圖像語義空間學習技術研究》是依託西北大學，由管子玉擔任項目負責人的面上項目。
基本介紹
- 中文名：基於標籤和多特徵融合的圖像語義空間學習技術研究
- 項目類別：面上項目
- 項目負責人：管子玉
- 依託單位：西北大學
項目摘要,結題摘要,
項目摘要
語義鴻溝問題是圖像智慧型分析的主要挑戰之一。為此，研究人員提出各種圖像特徵，以期捕捉圖像的內在語義。然而，不同的特徵有其自身的優缺點，在不同套用問題中的重要性不是一成不變的。面對眾多圖像特徵，如何結合利用它們來較好地解決具體圖像智慧型分析問題已成為迫切需要解決的基礎性問題。另一方面，Web 2.0社會化網站產生了大量圖像標籤標註數據。作為圖像的語義描述信息，標籤在指導圖像特徵融合方面具有很大潛在價值。本課題將研究基於標籤標註數據和多種圖像特徵的圖像語義特徵空間學習問題。研究內容包括：（1）創建大規模標籤標註圖像集，檢測並過濾噪聲圖片；（2）過濾非視覺語義標籤；（3）衡量標籤語義關係並構建標籤語義關聯網路；（4）研究剝離背景並提取圖片中語義對象的圖像分割技術；（5）構建包含標籤和圖片的異質關聯網路，學習最優保持關聯結構的語義特徵空間及映射（融合）函式。
結題摘要
語義鴻溝問題是圖像檢索和識別等問題的主要挑戰之一。為此，研究人員提出各種圖像特徵，以期捕捉圖像的內在語義。然而，不同的特徵有其自身的優缺點，在不同的套用問題中的重要性不是一成不變的。面對眾多的圖像特徵，如何結合利用它們來較好地解決具體圖像套用問題已成為迫切需要解決的基礎性問題。另一方面，Web 2.0社會化套用產生了大量圖像標籤標註數據。作為圖像的語義描述信息，標籤在指導圖像特徵融合方面具有很大潛在價值。在此背景下，本項目從以下四方面開展研究工作，取得顯著成果：（1）垃圾數據過濾：提出一種面向高質量主題相關資源獲取的聚焦爬蟲；（2）標籤語義處理和噪聲影響去除：結合流形學習思想提出一種針對標籤數據的圖排序框架；解決了複雜關聯情況下的標籤特徵選擇問題；採用弱監督學習方式直接利用標籤弱標註信息學習語義空間；（3）圖像語義空間學習：基於矩陣分解、流行學習等技術思想提出了一系列圖像高層語義空間學習方法，並在分類、聚類等套用問題上進行了方法驗證；（4）語義空間隨時間演化的分析建模：提出機率圖生成模型和時間敏感的長短時記憶網路來實現演化分析建模。共發表成果論文17篇，其中中國計算機學會A類期刊/會議論文9篇。聯合出版學術專著1部。項目負責人成功獲批國家優青項目。培養博士生3人，碩士生6人。
