噪聲環境下的弱監督圖像語義分割研究

《噪聲環境下的弱監督圖像語義分割研究》是依託中國人民大學，由盧志武擔任項目負責人的面上項目。

基本介紹

• 中文名：噪聲環境下的弱監督圖像語義分割研究
• 項目類別：面上項目
• 項目負責人：盧志武
• 依託單位：中國人民大學

項目摘要

圖像語義分割是一個極具挑戰性的計算機視覺問題。雖然強監督圖像語義分割已經取得大量的研究成果，但是它需要利用像素語義標籤作為強監督信息，而這一信息在實際套用中往往難以獲取。因此，弱監督圖像語義分割開始得到較多的關注，它僅利用相對容易獲取的圖像語義標籤作為弱監督信息。但是，圖像語義標籤可能來自社交媒體或者由圖像分類器預測，所含的噪聲會對弱監督圖像語義分割產生嚴重的影響，而很少有工作給出直接的解決方案。因此，本項目擬重點研究噪聲環境下的弱監督圖像語義分割問題。具體地，我們擬首先利用稀疏學習將圖像語義分割建模為超像素的標籤去噪問題，進一步利用降維等技術快速求解超像素上定義的大規模去噪問題，最後針對圖像標籤不來自社交媒體的情形，利用深度學習預測測試圖像標籤以預先為語義分割提供弱監督信息。本項目有望在基礎方法和關鍵技術方面取得進展，並推動機器學習、模式識別、計算機視覺等相關領域的發展。

結題摘要

圖像語義分割是一個極具挑戰性的計算機視覺問題。雖然強監督圖像語義分割已經取得大量的研究成果，但是它需要利用像素語義標籤作為強監督信息，而這一信息在實際套用中往往難以獲取。因此，弱監督圖像語義分割開始得到較多的關注，它僅利用相對容易獲取的圖像語義標籤作為弱監督信息。但是，圖像語義標籤可能來自社交媒體或者由圖像分類器預測，所含的噪聲會對弱監督圖像語義分割產生嚴重的影響，而很少有工作給出直接的解決方案。本項目重點研究了噪聲環境下的弱監督圖像語義分割問題。具體地，我們首先利用稀疏學習將圖像語義分割建模為超像素的標籤去噪問題，進一步利用降維等技術快速求解超像素上定義的大規模去噪問題，最後針對圖像標籤不來自社交媒體的情形，利用深度學習預測測試圖像標籤以預先為語義分割提供弱監督信息。此外，本項目對弱監督學習算法進行了推廣，成功地將其用於解決遙感圖像分類、社交圖像標註等實際問題，並且還研究了與弱監督學習緊密相關的兩類問題：零樣本學習和小樣本學習，很好地擴展了本項目的深度和廣度。相關成果已經發表了19篇論文，其中在重要國際期刊TPAMI、TIP、TCYB、TGRS、CVIU上發表5篇，在頂級國際會議NeurIPS、CVPR、SIGIR、AAAI、IJCAI上發表7篇。