《基於多任務稀疏特徵學習的海量圖像理解方法研究》是依託中國科學院大學，由李亮擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於多任務稀疏特徵學習的海量圖像理解方法研究
- 項目類別：青年科學基金項目
- 項目負責人：李亮
- 依託單位：中國科學院大學
項目摘要,結題摘要,
項目摘要
作為多媒體內容分析領域的一個基本問題，海量圖像理解一直吸引著研究人員和工業界的興趣。但目前網際網路圖像存在背景複雜、類內散度高和類間差異大等問題給其帶來了巨大的挑戰。本項目擬結合深度學習、稀疏表示、多特徵學習、獨立性分析技術對圖像理解方法展開研究，實現對圖像中出現的物體和場景等進行自動、全面地標註和整理。主要研究內容包括：（1）深入討論海量圖像理解中的視覺多義性和概念多態性問題，提出一種視覺語義關聯詞典的解決思路；（2）在圖像表示問題上，在受限波爾茲曼機中融合空間信息，並與稀疏表示有機結合，從而得到有強表征能力的圖像視覺表示；（3）在圖像視覺表觀與高層語義的關聯建模問題上，提出一種魯棒的多任務稀疏特徵學習模型，通過對這種關聯關係構建一種非凸約束，來抑制噪聲干擾，提高模型的魯棒性；（4）基於提出的視覺語義詞典，圖像可表示成一種層次化的語義描述，引入獨立性分析方法來實現圖像不同層面語義描述的距離度量。
結題摘要
網路多媒體數據在網際網路時代的信息傳播中發揮著越來越重要的作用，其數據總體上呈現出異構性、高噪聲、弱標註等特點，這對於其高層語義的分析帶來了巨大的挑戰。本項目探索了無監督圖像特徵表示學習、圖像表觀與語義關聯建模、跨模態度量學習等理論方法，研究了深度模型與流形學習的互補融合、多語義間的關聯關係、局部結構保持的跨模態遷移機制等關鍵問題，克服上述挑戰，建立多媒體理解框架，為多媒體人工智慧計算領域的實際套用提供有力的理論與技術支撐。
