材質感知與識別及其在大洋礦物分類中的套用

《材質感知與識別及其在大洋礦物分類中的套用》是依託中國海洋大學，由亓琳擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：材質感知與識別及其在大洋礦物分類中的套用
• 項目類別：青年科學基金項目
• 項目負責人：亓琳
• 依託單位：中國海洋大學

中文摘要

實物表面都由一定的材質構成，人類可以通過視覺信息識別材質種類（比如金屬或塑膠）並評估其屬性。材質感知與識別是視覺科學與計算機視覺領域的重要組成部分，然而目前對材質感知機理和材質圖像識別算法的研究與物體識別研究近年來取得的長足進步相比，卻十分滯後。現有的材質識別系統使用的是適用於物體識別的圖像特徵，這些特徵並不能很好地描述材質的屬性。本項目在反向光學和統計外觀模型理論的基礎上，使用眼動儀進行大量心理物理學實驗，研究感知數據與參數化的成像因素（光照、表面形狀）和分解後的圖像信息（顏色、輪廓、邊緣、高光反射等）之間的關係，建立相應的感知模型。在感知數據的啟發下對相應的圖像信息進行分析，從而設計符合視覺感知的、能夠描述材質屬性的圖像特徵。由於大洋礦物樣本的特殊性，材質是對其進行分類的重要參考指標，本項目研究的材質感知與識別方法，將用於大洋礦物樣本的分類和相關屬性的數值量化。

結題摘要

視覺領域中對材質圖像的感知與識別一直是研究的熱點，在多個領域的具有重要意義。 本項目執行期間完成了既定目標，團隊主要進行了以下幾個方面的研究工作：在表面光澤度和反射特性的感知與計算建模方面，首次進行錯覺光澤與鏡面光澤的對比研究，進行了感知光澤度與感知表面起伏程度的歧義性研究，設計提出了適用於真實圖像反射特性的手工特徵提取方法。在心理物理學實驗與材質圖像顯著性預測模型方面，開發了眼動追蹤及數據收集系統，對眼動信息數據進行處理，生成對應的注視區域圖像，驗證了材質圖像的顯著性區域對材質圖像的分類任務的積極作用。在材質與物體融合識別深度學習模型研究方面，構建同時包含多種物體類別與多種材質類別的圖像數據集，驗證了深度學習方法對於材質識別的有效性。在基於語義屬性的牆紙紋理圖像的預測和生成方面，對牆紙紋理圖像進行分類和感知評分，建立了帶有語義標籤的牆紙紋理數據集，使用基於感知驅動的紋理生成方法，生成符合要求的牆紙圖像，實現了對牆紙圖像風格轉換和美學評估。通過網路模型生成相應條件下的材質屬性的BTF紋理照片，我們可以通過給定新的視角來生成新視角下紋理圖片。在多視角下三維圖像重建與拼接方面，將三維重建與紋理合成相結合，提出兩種拼接方式。在醫學套用方面，對肺結節進行分類和分割，實現了肺紋理圖像分析和肺結節檢測，並使用時序網路對步態數據進行了建模分析。 在本項目的資助下，研究人員參與了本領域的國際會議並將研究成果以論文的形式進行了發表，一共取得25項研究成果，論文25篇，另外申請軟著1項。項目參與人積極參與國內外會議的組織等工作。 本項目的研究內容具有較強的學科交叉背景和套用意義。和國內外專家同行進行了廣泛的學術交流，取得了較好的學術影響力。本項目已培養研究生4名，均已獲得碩士學位。