多模態材質屬性的視覺表征與關聯計算

《多模態材質屬性的視覺表征與關聯計算》是依託北京航空航天大學，由陸峰擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：多模態材質屬性的視覺表征與關聯計算
• 依託單位：北京航空航天大學
• 項目負責人：陸峰
• 項目類別：青年科學基金項目

項目摘要

隨著視覺計算技術的快速發展，人們期望計算機能夠更精準、全面地理解日益複雜的視覺場景和生成新場景。這就要求在傳統的幾何形狀建模之外，進一步突破材質屬性（光、觸、熱等多模態屬性）的視覺解析計算，從而滿足航空航天、智慧型製造、公共安全等領域的重要需求。本項目圍繞“多模態材質屬性的視覺表征與關聯計算”，針對多模態材質屬性在獲取、解析和關聯等方面的難點，重點開展光反射屬性的獲取解析、非光反射屬性的視覺表征、多模態材質屬性的關聯計算等方面的基礎研究，力爭取得高動態範圍光反射數據單相機獲取、光反射對稱性約束的光度立體求解、基於微觀幾何解析的觸感屬性表征、基於光度演化解析的熱感屬性表征、語義學習引導的材質屬性關聯計算等方面的算法與方法創新，為支持更加精準高效的視覺場景解析計算提供理論創新和關鍵技術，推動視覺計算技術的發展和套用。

結題摘要

隨著計算機視覺相關技術的快速發展，人們期望計算機能夠更高效全面地理解和構建複雜場景。這一目標的達到不但需要更好的幾何計算能力，還包括場景的其它類型屬性的處理能力，例如材質、表面反射、環境光照、紅外屬性、偏振屬性等等。本項目圍繞“多模態材質屬性的視覺表征與關聯計算”，經過3年項目周期的研究，獲得了一系列創新研究成果，在上述問題的解決上做出了顯著貢獻。首先，在基於可見光的材質屬性獲取與解析方面，重點開展和完成了基於單幅光場圖像的物體表面材質類型自動識別、基於變光照圖像的物體材質分析和三維形狀重構、基於多光照圖像的三維對象形狀與環境光源重建、基於多分支卷積神經網路的低光圖像增強等方面的研究；其次，在基於非可見光的視覺屬性獲取與解析方面，重點開展和完成了基於普通矽相機和深度網路的短波紅外成像與分析、24小時可見光結合紅外的彩色成像解決方案、面向色度和偏振聯合成像的神經網路插值算法等方面的研究；最後，在基於多屬性解析的圖像處理套用方面，重點開展和完成了基於雙向屬性解析網路的人臉化妝移除、注意力引導的富細節場景深度屬性獲取、基於多視覺屬性融合的視網膜血管分割融合、視網膜圖像中病變區域檢測和可解釋性研究、基於多模態三維視覺解析的對象理解和互動操作等方面的研究。上述研究從可見光、非可見光、不同場景套用三個層次，形成了本項目研究成果。在學術水平方面，本項目成果達到國際前沿水平，在驗收指標方面，本項目成果顯著超出了任務書規定水平，同時體現出良好的套用前景。