基於稀疏表達與間隙度描述的紋理分析研究

《基於稀疏表達與間隙度描述的紋理分析研究》是依託華南理工大學，由全宇暉擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於稀疏表達與間隙度描述的紋理分析研究
• 項目類別：青年科學基金項目
• 項目負責人：全宇暉
• 依託單位：華南理工大學

項目摘要

紋理是自然圖像和視頻的最基本特徵之一，而紋理分析一直是計算視覺領域的基本問題，也是眾多計算視覺套用的關鍵環節。紋理分析的研究在過去十年取得了很大進展，但現有方法在性能和實用性方面仍有很大的改進空間。本項目擬從三個方面開展對紋理分析方法的研究：基於稀疏字典學習的紋理局部模式提取方法、基於間隙度分析的全局紋理描述方法和基於稀疏表達的高層次紋理特徵提取方法。我們擬提出不變性字典學習方法，以提升局部模式提取對拍攝視角變化及環境影響的魯棒性。針對高清圖像和視頻數據，我們擬提出結構化張量字典學習方法，以減少局部模式提取的計算開銷。為捕捉局部模式的空間和時間布局細節，我們擬通過分析局部模式間隙度的多尺度行為構建全局紋理特徵。為有效提取高層次紋理特徵，我們擬引入集成學習機制和核方法，提出能高效刻畫數據非線性的有監督稀疏編碼方法。本課題的開展將會為提升紋理分析性能和增強其實用性提供新思路。

結題摘要

紋理是視覺數據的最基本特徵之一，能為很多計算視覺任務提供重要的線索。本項目對圖像/視頻的紋理特徵提取和描述開展了深入的研究，基於稀疏表達和間隙度描述子，圍繞局部特徵、全局特徵、高層次特徵三個方面提出了有效的紋理分析方法，並發展出一系列針對圖像的稀疏表達方法。主要的研究成果包括：(1) 提出了基於字典學習的紋理局部特徵分析方法，並套用於視覺數據局部紋理填充以及弱監督紋理分割，在這兩個任務中皆取得了世界一流的實驗結果；(2) 提出了面向視頻的時空多重間隙譜，用於提取視頻中的動態紋理特徵，在多個動態紋理數據集上取得了世界一流的分類結果；（3）結合結構化稀疏編碼和集成學習，提出了有效的數據集特徵提純方法，該方法能用於紋理圖像乃至自然圖像的高層次特徵提取，並在多個圖像分類任務中取得了優秀的結果; (4) 把雨滴圖層建模為特定模式的紋理，針對其特有的屬性，提出一種能用卷積操作實現的雨滴檢測方法，該方法能有效地輔助卷積網路去除圖像中的雨滴遮擋。基於以上成果，項目開展期間共發表了13篇高水平學術論文，其中包括2篇CCF-A類會議論文，6篇JCR-1區期刊論文，以及5篇JCR-2區期刊論文。項目的研究成果能套用於圖像/視頻的分類、分割和處理任務中，同時為稀疏表達、字典學習，以及深度學習領域提供了新模型和新思路。