《海量社群圖像語義理解關鍵技術研究》是依託北京交通大學，由馮松鶴擔任項目負責人的面上項目。
基本介紹
- 中文名：海量社群圖像語義理解關鍵技術研究
- 項目類別：面上項目
- 項目負責人：馮松鶴
- 依託單位：北京交通大學
項目摘要,結題摘要,
項目摘要
本課題的研究目標是面向網際網路社群圖像的語義理解。主要研究內容：(1)基於機器學習的單幅圖像顯著性檢測和群組圖像協同顯著性檢測算法。(2)研究基於多標記排序的圖像級自動標註算法，通過挖掘標籤間的配對排序關係和語義相關性，實現一種高效的圖像級標註算法。(3) 針對區域級自動標註問題，研究在結構化稀疏表示理論框架下，從輸入端和輸出端同時挖掘圖像區域的語義上下文信息，並據此提升區域級標註的準確性。(4) 針對社群圖像中存在的標籤序列無序性的特點，通過分析社群圖像的顯著性特徵分布，研究自適應地從標籤與圖像的語義相關度及標籤所對應圖像區域顯著度角度實現標籤排序算法。(5) 針對社群圖像標籤填充問題，研究在矩陣填充理論框架下，引入矩陣低秩正則約束項和標籤配對排序關係，最佳化得出圖像-標籤關係矩陣。課題的特色是，以社群圖像為研究對象，充分挖掘圖像和標籤的語義上下文信息，為海量社群圖像檢索提供有效的檢索途徑。
結題摘要
本課題的研究目標是面向網際網路社群圖像的語義理解。主要研究內容：(1)基於機器學習的單幅圖像顯著性檢測和群組圖像協同顯著性檢測算法。(2)研究基於多標記排序的圖像級自動標註算法，通過挖掘標籤間的配對排序關係和語義相關性，實現一種高效的圖像級標註算法。(3) 針對區域級自動標註問題，研究在結構化稀疏表示理論框架下，從輸入端和輸出端同時挖掘圖像區域的語義上下文信息，並據此提升區域級標註的準確性。(4) 針對社群圖像中存在的標籤序列無序性的特點，通過分析社群圖像的顯著性特徵分布，研究自適應地從標籤與圖像的語義相關度及標籤所對應圖像區域顯著度角度實現標籤排序算法。(5) 針對社群圖像標籤填充問題，研究在矩陣填充理論框架下，引入矩陣低秩正則約束項和標籤配對排序關係，最佳化得出圖像-標籤關係矩陣。課題的特色是，以社群圖像為研究對象，充分挖掘圖像和標籤的語義上下文信息，為海量社群圖像檢索提供有效的檢索途徑。經過項目組核心成員(馮松鶴、郎叢妍、王濤等人)的研究工作，該項目取得了一系列的研究成果，在包括IEEE Trans. on PAMI, IEEE Trans. on Image Processing, IEEE Trans. on Multimedia, IEEE Trans. on NNLS, Pattern Recognition 等知名國際學術期刊以及ICCV, ECCV, AAAI, ACM MM 等知名國際會議上發表了多篇學術論文，其中國際學術期刊論文發表及錄用15篇，國際會議論文發表9 篇，總計24篇。此外，項目組申請了國家發明專利2項，軟體著作權6 項。對照面上項目申請書中提出的完成10-15 篇學術論文的指標，該項目超額完成了預期目標。
