草圖的文本描述及其圖像檢索算法

《草圖的文本描述及其圖像檢索算法》是依託北京郵電大學，由齊勇剛擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：草圖的文本描述及其圖像檢索算法
• 項目類別：青年科學基金項目
• 項目負責人：齊勇剛
• 依託單位：北京郵電大學

項目摘要

基於草圖的圖像檢索是計算機視覺及模式識別的一個熱點問題。現有方法大部分都採用基於形狀特徵的圖像檢索算法，然而人的手繪草圖是一種高度抽象的繪畫形式，往往很難與圖像物體的邊緣形狀相吻合，會直接導致檢索效果不佳。本項目擬從探究草圖與一般圖像所蘊涵的語義內容出發，提出其語義內容的文本描述模型及其自動生成算法，在此基礎上，通過兩者文本描述的語義相似度進行基於草圖的圖像檢索。本項目的意義在於：通過草圖的文本描述，更加深入和準確的理解草圖所表達的內容與人的檢索意圖，實現在語義級別上草圖與一般圖像的關聯。概括來講，本項目從圖像理解和語義分析的角度嘗試解決基於草圖的圖像檢索任務。本項目分為三個研究內容：圖像的文本描述生成算法，草圖的文本描述生成算法，以及文本描述的語義距離衡量算法。

結題摘要

本課題首次從圖像理解和語義分析的角度嘗試解決基於草圖的圖像檢索任務。人的手繪草圖是一種高度抽象的繪畫形式，往往很難與圖像物體的邊緣形狀相吻合，導致檢索效果不佳。因此，課題從探究草圖與一般圖像所蘊涵的語義內容出發，研究如何通過衡量兩者文本描述的語義相似度來達到基於草圖的圖像檢索的目標。具體地，課題涉及的研究內容有：（1）如何通過對草圖進行語義級別的分割理解；（2）如何收集大規模草圖及其文本描述數據集；（3）如何通過對圖像的文本描述進行推理，從而檢索相關圖像；（4）從非監督學習的角度，學習圖像到草圖的跨域生成模型，並用於草圖圖像檢索。對應的重要結果包括：（1）構建了一個超大規模草圖分割數據集，並基於谷歌QuickDraw草圖數據集提出了SketchSeg-150K草圖分割數據集，是一個包含15萬張草圖筆畫粒度標註的分割數據集。此外，還提出了一個筆畫級別草圖分割算法SketchSegNet+，是一個端到端的深度學習框架（RNN），能夠有效進行草圖的筆畫級別分割。解決草圖分割問題是解決細粒度的草圖理解的關鍵，對於很多草圖相關的套用都有極其重要的意義，例如包括草圖識別、基於草圖的圖像檢索等。（2）研究了其中一些關鍵算法和環節，包括如何將圖像文本描述化、如何將密集文本描述轉化為場景圖網路、以及如何對場景圖網路進行相似度匹配。這些環節是基於文本描述的圖像相似度匹配的最關鍵步驟，有重要意義。（3）提出了一種非監督的一般圖像-草圖的翻譯深度模型，能夠完成一般圖像的“草圖化”，跨域生成式模型也可將一般圖像的特徵轉化到草圖域，因此可以用於草圖-一般圖像的相似度度量，完成草圖-圖像的檢索任務。這對於傳統的有監督學習是極大不同的，更適合不易得到標註數據的草圖-圖像檢索場景當中。（4）建立草圖-文本描述數據集，相對於一般圖像的文本描述，草圖的文本描述很難收集。課題採取給一般圖像描繪草圖的方式來讓草圖與文本描述對應。