海量圖像數據的混合媒質建模理論和融合檢索技術研究

《海量圖像數據的混合媒質建模理論和融合檢索技術研究》是依託浙江大學，由李曉燕擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：海量圖像數據的混合媒質建模理論和融合檢索技術研究
• 依託單位：浙江大學
• 項目負責人：李曉燕
• 項目類別：青年科學基金項目

項目摘要

以海量的包含多媒質特徵的圖像數據為研究對象，針對其在語義認知和檢索技術上的瓶頸，總結當前研究在融合分析和集成創新方面的不足，以圖像多特徵融合分析的思想為指導，引入圖分析、模式分析等數據挖掘理論，提出一套以混合媒質建模理論和多特徵融合檢索技術為核心的海量圖像數據管理方案。重點研究：基於混合媒質連結圖分析的語義自動標註模型；基於劃分圖理論的啟發式分類算法，提供動態快速的圖像語義分類；基於多特徵融合分析建立有效的多特徵索引結構，提供靈活高效的融合檢索機制；集成以上系統性研究成果，實現海量圖像語義檢索原型系統，驗證所提出的方法。借鑑一系列典型圖分析和模式挖掘理論算法，解決圖像數據多樣性和複雜性帶來的管理和查詢問題是一種新穎的研究思路，具有深遠的理論意義。圖像是視頻的基礎，項目研究成果不僅能給網路圖像搜尋、數字圖像管理等科學發展提供更好的支持，同時也為視頻管理和檢索提供理論基礎。

結題摘要

本項目預期目標是針對海量圖像數據存在的多煤質特性，突破混合煤質融合分析和檢索技術上的瓶頸，引入圖分析和模式分析等數據挖掘理論算法，提出多特徵無縫融合的檢索框架，研究語義標註、語義分類、子空間匹配索引、多媒質特徵融合索引等關鍵技術。項目自開展以來基本按計畫進行，研究了連結圖分析理論，對已標註圖像訓練樣本集分析建立其多模態特徵及對象的混合媒質關係圖，實現了基於連結圖分析的自動標註算法；分析了圖像視覺特徵之間、文本標註之間的相似匹配和關聯性，提出了結合多媒質特徵的融合檢索框架；基於圖建模的理論基礎對圖像分類、圖像推薦問題展開研究，實現了基於圖劃分的啟發式快速圖像語義分類算法；結合關聯分析及模式挖掘理論，實現了動態子空間索引算法；同時將頻繁模式、序列模式、以及結構模式分析引入圖像特徵語義分析，構建了索特徵索引結構；最終集成以上系統性研究成果，實現了海量圖像語義檢索原型系統。隨著地理信息標註圖像的套用發展，項目在原有的研究架構下，擴充了對包含地理信息標註的圖像集的語義分析、語義分類等技術研究。針對圖像地理坐標信息與文本標籤信息的語義不匹配問題，設計一種結合圖像地理空間信息和語義特徵的雙層聚類算法，將地理標註圖片集形成屬性均勻的語義簇，進而提高圖像檢索結果的準確性。同時還用統計學模型建模圖像地理位置與文本標籤間的關係，設計出一種同時將圖像數據點與文本標籤進行聚類的正則化二元聚類算法。將上述地理信息圖像語義分析成果和空間資料庫的空間位置索引技術、基於三部圖的圖像語義傳播算法等結合，設計出一套完整的對地理標註圖像進行語義標註的解決方案。項目還進一步將研究對象擴展到同樣具有多媒質特徵的音頻數據上，在原有框架下，展開對音頻推薦、索引等算法的研究。區別於現有音頻檔案推薦研究，本項目研究引入人的因素，從用戶本身音色特徵分析的角度，建立音色特徵與適合歌曲的音樂檔案的聯繫，提出了基於個人發聲能力的音樂推薦算法，實現了音樂推薦原型系統。