基於部件結構的圖像協同分割方法研究

《基於部件結構的圖像協同分割方法研究》是依託電子科技大學,由孟凡滿擔任醒目負責人的青年科學基金項目。

基本介紹

• 中文名：基於部件結構的圖像協同分割方法研究
• 依託單位：電子科技大學
• 項目類別：青年科學基金項目
• 項目負責人：孟凡滿

項目摘要

圖像分割是計算機視覺和多媒體處理領域中的重要研究內容，而如何從圖像數據中高效地發現和提取感興趣對象仍然是一個挑戰性的問題。本項目針對目前語義對象分割的研究現狀，提出了基於部件結構的協同分割新方法。由於引入了對象的局部區域關聯特性，該方法比傳統的對象分割方法具有更好的語義特性。通過分析不同部件的特徵表現，建立基於深度學習的區域部件描述，構建了初始部件的回歸生成模型。針對對象的部件關係，提出了具有空間結構關係的部件描述與圖匹配方法。並在此基礎上，利用部件結構的一致性，構建了基於部件結構的協同分割最佳化模型。本項目研究有望為解決圖像語義分割提供新的思路和理論依據。

結題摘要

協同分割致力於從一組包含共同對象的圖像中分割出共同對象，是弱監督分割的一種有效方法。然而，傳統協同分割方法僅分割對象區域，未考慮更精細的部件區域分割。而部件區域是精細化分類、行人再識別、圖像文本解析等諸多套用的基礎。為此，本項目開展了針對部件的協同分割研究，旨在弱標籤標註下實現部件區域的分割。 所開展的研究包含初始部件生成、部件及部件結構的描述與相似性測量、部件協同分割模型的構建與最佳化等三個研究內容。 研究團隊圍繞上述三個內容開展了一系列研究，共發表學術論文23篇（SCI期刊論文15篇，會議論文8篇），其中包括高水平IEEE彙刊論文11篇，及ACMMM18和ECCV2018等高水平會議論文。申請國家發明專利3項，取得了多個研究成果。 （1）提出了基於邊緣方向性分析的區域相似性測量方法，實現了基於全局聚類的部件區域生成方法。基於深度學習方法，分別建立了通用區域的深度特徵描述及語義性評價模型、基於排序正則化等的圖像質量分析模型及基於信息融合和多尺度分析的深度分割質量評估模型，有效實現了部件區域的語義性和分割質量評估。 （2）提出了基於局部紋理變化的圖像特徵描述符編碼方法，建立了基於保留流形排序嵌入、基於全局和局部語義分析及基於非負矩陣分解的區域哈希描述與相似性度量方法，構建了基於高階圖匹配的部件集相似性度量模型，有效實現了部件區域和區域拓撲結構的描述和匹配，為部件的提取和協同分割模型構建奠定了基礎。 （3）提出了基於形變分析、種子點互動、人體分塊等策略的部件先驗生成方法，解決了弱標籤下的部件先驗構建難題；建立了基於視頻全局分析、圖像上下文語義分析、對象尺度分析和可判別區域分析的區域分割模型，為部件協同分割提供了多種基礎分割模型。構建了基於形態變化、基於少量種子互動、基於分割傳播策略等的部件協同分割模型及最佳化方法，有效實現了不同弱標籤下的部件區域協同提取。相關研究成果獲得了VCIP2016前10%最佳論文獎，被研究同行評價為“代表目前水平”的方法。