內容敏感的圖像集圖像聯合分割和聯合摳圖技術研究

《內容敏感的圖像集圖像聯合分割和聯合摳圖技術研究》是依託南京大學，由郭延文擔任項目負責人的面上項目。

基本介紹

• 中文名：內容敏感的圖像集圖像聯合分割和聯合摳圖技術研究
• 項目類別：面上項目
• 項目負責人：郭延文
• 依託單位：南京大學

項目摘要

圖像集分割是近年來圖形學與視覺領域的研究熱點，針對具有複雜和多樣內容圖像的圖像集的分割仍是一個研究難點。本項目擬圍繞圖像集中圖像的前背景聯合分割和聯合摳圖涉及的關鍵問題進行探索，具體包括: 研究圖像集中具有內容代表性的樣本選取方法；探索圖像集所包含各圖像間關聯性計算方法；基於樣本的前、背景分割信息及圖像間相關性，設計一個行之有效的算法實現圖像集中圖像的自動聯合分割；對於初始分割結果不理想的目標圖像，探索切實可行的協同最佳化方法以改進相關圖像的分割結果；提出基於回歸分析等機器學習方法的摳圖置信度計算模型；定義圖像聯合摳圖的目標最佳化框架和方程，提出聯合摳圖方法；研究實現圖像集分割的高效並行算法並建立一個原型系統；探索圖像集分割在公共安全和醫學圖像處理等領域的套用。在國內外重要刊物和會議上發表20篇以上論文，包含15篇頂級期刊（IEEE/ACM會刊或其他知名SCI期刊）或會議論文，申請專利4項。

結題摘要

作為本項目研究的核心，圖像視頻分割是圖像視頻處理領域經久的研究熱點。關於同一前景，人們往往能夠獲得多張照片或多段視頻，不同圖像（視頻）前景的相似性可以作為前景提取的先驗，將其融入分割框架中可以幫助圖像視頻的前景提取，促進分割問題的解決。我們稱針對具有相同或相似前景的多張圖像（多段視頻）的前景提取為圖像視頻的前景聯合分割。在項目的支持下，課題組圍繞圖像視頻前景聯合分割及其套用展開深入研究，取得了系統性進展： 首先提出一種在多張圖像間檢測相似物體的方法，將該問題轉化為特徵變換的聚類分析問題，提出了能夠針對變換進行聚類的非線性均值漂移算法，發展了均值漂移理論；其次，提出了樣本驅動的圖像聯合分割方法，能對包含一定數量規模圖像的圖像集實現高效並行分割，突破了前人工作圖像背景不同的假設和對所處理圖像數量的限制；進而定義了圖像協同摳圖問題，提出了國際上第一個協同摳圖方法，提出了摳圖效果的置信度學習模型，採用局部摳圖效果互最佳化的方式協同改進多張相關圖像的摳圖效果；再次，提出了視頻前景的聯合分割框架，提出了綜合考慮紋理、運動等多維特徵的時空超像素子空間聚類方法，是國際上較早能同時提取多段視頻共同前景的方法，發布了視頻聯合分割數據集；此外，在套用方面，將聯合分割的思想套用於遙感影像的目標變化檢測，將目標物體空間和時間變化特徵有機結合併融入聯合分割的最佳化框架，綜合利用時空特徵檢測目標變化。在項目的支持下，課題組還在內容敏感的多圖像拼接顯示、高光譜圖像去噪增強、視頻的矢量化以及內容的故事版表示、室內場景三維重建和紋理材質智慧型推薦等方面取得創新性成果。 報告研究成果的論文發表於IEEE Trans. Image Processing、IEEE Trans. Visualization and Computer Graphics、IEEE Trans. Multimedia、IEEE Trans. Geoscience and Remote Sensing以及AAAI、Pacific Graphics、軟體學報等，申請或獲授權發明專利多項，取得了較豐碩的科研成果，課題組在圖像視頻的前景聯合分割方面的研究引起了較好的學術反響。課題組較圓滿地完成了項目的研究。