《基於形狀結構線索的弱監督圖像語義分割》是依託北京大學，由甘銳擔任負責人的青年科學基金項目。
基本介紹
- 中文名：基於形狀結構線索的弱監督圖像語義分割
- 項目負責人：甘銳
- 項目類別：青年科學基金項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
圖像語義分割是計算機視覺、圖像處理和模式識別中一個基本和重要的研究問題。本項目研究圖像的弱監督語義分割問題，即訓練圖像只標定了所含物體類別，但沒有它們的位置、形狀、表象等信息，目的是得到測試圖像像素級別的類別標籤。項目研究目標包括（1）在弱監督語義分割中引入物體形狀、結構分布等新穎的多重視覺線索，並以數據驅動地方式實現準確的分割和識別效果；（2）以“補丁集拼接”的拆分和組裝視角建模問題，根據超像素局部表象模型將用戶輸入圖像拆分為訓練圖像不同部分的組裝，將超像素局部表象比較、形狀抽取、結構解析、圖像分割、物體識別放入統一的問題定義中；（3）根據圖像區域對應關係設計馬爾可夫隨機場和條件隨機場模型，描述弱監督語義分割中識別和分割的相互作用關係，從理論層面研究解決弱監督語義分割的數學模型，並從技術層面上設計高效求解算法，避免複雜最佳化問題的局部最優解和收斂性問題，達到與基於監督學習方法相似的分割精度。
結題摘要
弱監督語義分割是計算機視覺中困難但重要的研究問題。本項目利用單幅圖像中和多幅圖像間的表觀和形狀等視覺線索，在統一的框架下聯合求解圖像識別和物體分割問題。利用大數據和深度學習技術提取特徵，編碼局部區域的紋理和形狀信息。利用場景結構知識度量圖像塊/超像素的相似性，拼裝成能夠提供輪廓信息的潛在物體區域。利用穩健統計和場景布局知識得到魯棒圖像配準，在多幅圖像中融合表觀和形狀線索進行協同分割。我們還嘗試利用物體構成和場景結構先驗修正識別錯誤、提高分割邊界的精度，端對端訓練和聯合最佳化深度分類網路和高階上下文條件隨機場，得到高質量的弱監督語義分割。項目的研究成果發表了7篇學術論文，包括一篇計算機頂級會議CVPR論文。獲得了2016年ImageNet大規模視覺識別挑戰賽（ILSVRC）場景解析分組第四名，和2017年國內計算機視覺旗艦會議CCCV的最佳論文獎。
