《基於社會媒體信息挖掘的圖像標註技術研究》是依託遼寧工業大學，由孫福明擔任項目負責人的面上項目。
基本介紹
- 中文名：基於社會媒體信息挖掘的圖像標註技術研究
- 項目類別：面上項目
- 項目負責人：孫福明
- 依託單位：遼寧工業大學
項目摘要,結題摘要,
項目摘要
隨著社會媒體網站的興起，用戶共享的圖像、文本和視頻等多媒體數據呈爆炸式增長。如何利用海量的社會媒體信息，解決大規模訓練樣本不足，實現圖像的自動標註，是當前計算機圖像與視頻處理領域的一個研究熱點。本課題將基於機器學習框架，通過社會媒體信息挖掘，深入研究3個關鍵問題：弱標註網路圖像的標籤最佳化、圖像特徵的有效表征及概念分類器學習。針對這些問題，本課題擬首先深入研究標籤最佳化技術，基於數據驅動和主動學習構建一個大規模的訓練樣本庫；然後基於該庫，通過挖掘圖像內容連線和上下文連線所蘊含的語義信息，建立圖像特徵的魯棒表示方法；進而研究概念分類器學習技術,提出一種基於上下文信息挖掘的離線學習算法和一種基於群體智慧驅動的線上學習算法；最後，構建一個標註算法驗證系統。本課題將有利於推動圖像語義理解理論和套用的發展，為新一代網路多媒體服務和海量圖像管理提供核心算法。
結題摘要
隨著數字成像技術和網際網路技術的發展，特別是社交媒體的興起，圖像數據產生爆炸性增長。針對日益增長的海量圖像數據，如何進行有效地管理、檢索並從中挖掘有價值的內容，吸引了國內外眾多的計算機視覺、圖像處理、人工智慧、機器學習等領域專家學者的高度關注。在諸如圖像特徵表示、圖像理解（圖像分類、圖像標註）和圖像搜尋等方面，研究者提出了大量的理論和算法。這些研究成果為推動圖像內容分析和理解，實現圖像搜尋任務，奠定了堅實的基礎。 本項目主要利用海量的社會媒體信息，實現圖像的自動標註任務。項目在機器學習框架下，通過社會媒體信息挖掘，深入研究了3個關鍵問題：弱標註網路圖像的標籤最佳化、圖像特徵的有效表征及概念分類器學習。（1）深入研究了標籤最佳化技術，提出了一種構建大規模數據集的解決方案。利用社交媒體大數據，提出2種標籤最佳化方法，通過過濾噪聲樣本實現訓練樣本自動收集，有效解決了圖像分類學習器所需要的大規模訓練樣本不足的問題。（2）提出了一種圖像視覺特徵表示方法。通過挖掘圖像內容的特徵關聯關係及語義標籤上下文關聯關係所蘊含的語義信息，通過學習標籤間的稀疏化結構，給出一種更優良的圖像視覺特徵表示。（3）基於矩陣分解理論建立了一種聯合特徵表示和語義學習的統一分析框架。基於非負矩陣分解（NMF）理論，採納多種約束及特徵融合方法增強NMF的圖像特徵局部表示能力。（4）為進一步提升傳統分類器SVM的學習性能，提出利用未標註樣本進行參數尋優的SVM改進方法。在傳統SVM學習過程中，參數一直保持固定不變，這限制了SVM的學習性能。提出利用主動學習選擇富含信息的樣本輸入SVM尋找最優參數，提升了SVM分類器的學習性能。（5）提出一種具有判別和特徵選擇的多實例學習方法。多實例學習由於其利用了圖像的區域信息而被廣泛套用於圖像標註問題中。通過特徵映射，MIL可以轉換為單實例學習問題，再利用傳統的監督學習方法進行求解。然而，特徵映射通常忽略了判別能力及所生成的特徵噪聲。算法中，挖掘了概念的相關性並利用AdaBoost算法實現特徵選擇。（6）此外，提出了一種集成顏色矩和形狀匹配的交通標誌檢測與識別方法。 研究圖像、視頻語義理解，實現海量圖像和視頻的精準搜尋及高效管理，提升社交媒體大數據的使用效能，有助於保障網際網路的健康發展，推進信息產業的發展。
