基於結構信息重構的大尺度缺損圖像修補技術研究

《基於結構信息重構的大尺度缺損圖像修補技術研究》是依託上海交通大學，由陳立擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於結構信息重構的大尺度缺損圖像修補技術研究
• 項目類別：青年科學基金項目
• 項目負責人：陳立
• 依託單位：上海交通大學

項目摘要

圖像修補技術通過對圖像缺損區域的信息恢復，能有效的提高圖像的主觀質量，現常用於數字電影修復、圖像壓縮、圖像錯誤掩蓋、圖像編輯和圖像合成等領域，具有廣泛的套用價值。本項目針對大尺度缺損圖像修補的難題，以貝葉斯框架為基礎，基於多解析度分析，利用多尺度圖像間的相關性和先驗模型約束，研究通過多次疊代重構缺損區域的結構信息。結合非參數化模型計算簡單、數值解穩定和參數化模型的靈活性高，能匹配圖像特性變化的特點，提出參數化模型和非參數化模型自適應的方法來完成圖像的修補，根據局部像素分布的數值特性來合理選擇模型，利用多個相似匹配圖像塊信息完成圖像修補。同時，將高層圖像概念引入圖像修補工作中，基於相同物體和場景的識別和提取技術，更好的完成大尺度缺損的修補。本項目的研究成果有望進一步提升圖像修補的性能。

結題摘要

缺損圖像的修補是圖像處理中的一個重點研究的問題，在小尺度缺損圖像的修復上已經有了很多成熟的算法，如基於樣條函式的插值方法，基於偏微分方程的Image Inpainting算法等。但這些算法在修復大尺度缺損圖像上效果都不理想，大尺度缺損圖像的修復仍然是一個困難的問題。在本項目研究中，結合近幾年機器學習和計算機視覺等相關領域的最新技術，研究並提出了基於樣本圖像的大尺度缺損圖像修復算法，取得了較好的修復效果。針對大尺度缺損圖像結構信息恢復的難題，提出了有效的基於樣本的圖像結構信息重構算法。在此算法中，通過採用Graph Cut和均值漂移的方法提取圖像的結構信息，並通過全局輪廓匹配的方法建立樣本圖像和源圖像的關係，從而在局部結構平滑的約束下，較好的重構待修復圖像的結構信息。在結構信息恢復和重構的基礎上，本項目提出了有效的基於樣本圖像的紋理區域修補算法，在此算法中通過在樣本圖像中查找多個相似匹配塊，然後將圖像塊通過相似度的大小加權填充到待修補區域，能較好的完成缺損區域的修補。為了進一步提高圖像修補的性能，在本項目中還提出了基於樣本檢索的圖像修補算法，充分利用海量的圖像數據來提高樣本匹配的豐富性。在此算法中，採用基於梯度回響的算法提高了圖像匹配的準確度，能較好的匹配缺失的結構信息，與原算法相比，能取得了更好的圖像修復效果。在基於樣本的圖像處理中，相似圖像塊匹配是算法的核心模組，也是計算最複雜的環節。在本項目中，為了提高算法的運算速度，對塊匹配算法進行了有效的改進和最佳化。通過引入Jump Flooding算法完成塊匹配算法的並行化，使其易於在並行化平台上實現。與串列化算法相比運行速度得到很大的提升。同時在GPU平台上完成了該算法的實現，大大提高了本項目提出的圖像修補算法運行速度。