《數據驅動的大規模圖像自動標註關鍵技術研究》是依託清華大學，由丁貴廣擔任項目負責人的面上項目。
基本介紹
- 中文名：數據驅動的大規模圖像自動標註關鍵技術研究
- 依託單位：清華大學
- 項目負責人：丁貴廣
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
隨著網路社區和圖像共享網站的發展，網路中產生大量無標籤或有很少標籤的圖像，這給基於關鍵字的圖像檢索方法帶來了新的挑戰。數據驅動的圖像自動標註技術是一種有效的圖像語義特徵提取技術，其利用網際網路這個近乎無限的語義倉庫和知識倉庫，通過數據挖掘、機器學習、計算機視覺等技術自動學習語義概念空間與視覺特徵空間的潛在關聯或者映射關係，來預測圖像的標註。該技術是一個新興的研究領域，包括眾多基礎理論和實用技術，其研究具有重要理論意義和廣泛套用價值。現有圖像自動標註技術尚不能滿足大規模網路圖像的標註需求，本項目將對數據驅動的圖像自動標註技術展開研究，主要研究內容有：網路圖像知識庫構建與維護、網路圖像標籤處理、候選標籤選擇及傳播等，並在以上關鍵技術與算法研究的基礎上，研發基於自動標註技術的圖像語義檢索系統。本項目力爭在圖像自動標註的理論上有所突破，在技術方法上有所創新，為該項技術的理論研究和實際套用奠定基礎。
結題摘要
圖像標註是指通過計算機視覺、機器學習、數據挖掘等方法，讓計算機自動地、客觀地為圖像數據添加能夠準確描述其語義內容的文本標籤。數據驅動的圖像自動標註技術是利用網際網路這個近乎無限的語義倉庫和知識倉庫，實現圖像語義特徵提取的方法。本項目對數據驅動的圖像自動標註技術開展了深入分析與算法研究，主要研究內容有：網路圖像知識庫構建與圖像K近鄰檢索技術、圖像標籤補全與去噪技術、候選標籤選擇及傳播技術等，並在以上關鍵技術與算法研究的基礎上，設計開發圖像近鄰查詢與標註系統。在項目執行期間，提出了多種基於哈希的圖像K近鄰檢索方法、基於線性稀疏重構的圖像標籤補全方法、多源環境下的圖像自動標註方法、基於標籤依賴隨機搜尋的圖像標註方法等。項目執行期間，發表/錄用論文26篇，包括IEEE Trans. Image Processing, IEEE Transactions on Cybernetics, IEEE Transactions on Multimedia, IEEE Transactions on Knowledge and Data Engineering等SCI期刊論文7篇，CVPR、ICCV、AAAI、IJCAI、ICML、SIG IR等CCF A類會議論文13篇，相關論文Google Scholar引用200餘次；申請發明專利4項，其中1項已經獲得授權；培養碩士博士研究生15名，其中4名學生先後獲得清華大學優秀畢業論文。項目執行後期，對基於深度模型的圖像描述技術進行了擴展研究，提出了基於參考LSTM的圖像描述解決方案，在MS COCO數據集上的評測結果證明了方法的有效性，也為本項目的後續研究奠定了良好基礎。
