基於沉浸式的航空維修遙操作技術研究

《基於沉浸式的航空維修遙操作技術研究》是依託鄭州大學，由趙新燦擔任項目負責人的聯合基金項目。

基本介紹

• 中文名：基於沉浸式的航空維修遙操作技術研究
• 項目類別：聯合基金項目
• 項目負責人：趙新燦
• 依託單位：鄭州大學

項目摘要

民用航空器是一種大型的結構複雜、技術高度密集的機電系統，它的使用和維修對機務維修人員的水平要求較高，本課題擬將沉浸式遙操作機器人技術引入到航空器維修中，以提高維修人員的工作效率。結合大型虛擬現實設備（CAVE）立體顯示、增強現實和光學跟蹤技術，利用場景理解和深度信息實現三維混合場景動態重建；將光學跟蹤設備、視線跟蹤設備和虛擬手模型相結合，研究基於人體姿態跟蹤、手勢、視線相結合的多通道遙操作互動方法。通過操作人員的精確跟蹤、定位，將虛擬增強信息疊映於真實場景視頻流之中，操作者融合於遠程設備工作的環境與對象中，使遙操作人機互動從精確的位置擴展到整個環境，改善了航空維修系統的可操作性，增強了遙作業系統的臨場感。本課題通過以上基礎理論和方法研究為研製具有較強的臨場感、可操作性的沉浸式遙作業系統奠定理論和技術基礎。

結題摘要

本項目緊緊圍繞沉浸式遙操作環境中三維混合場景動態建模和多通道人機互動兩大關鍵問題進行研究。課題組將深度攝像機和立體（雙目）攝像機相結合，基於深度信息和場景理解實現了混合場景動態建模，增強了沉浸式遙作業系統的臨場感；設計了沉浸式環境中單目平面視線跟蹤和雙目空間三維視線追蹤兩套系統，結合人體姿態、手勢初步解決了沉浸式環境中的人機自然互動問題，建立互動模型並提高了算法計算效率；為了驗證所提出理論模型的實際效果，課題組在工業模型讀取和解析、工作流程獲取與編輯、三維場景採集與感知、人機自然互動與控制、增強信息融合與顯示五個方面進行了沉浸式遙操作原型系統核心模組開發工作，完成了沉浸式遙操作原型系統的硬體和軟體平台構建。項目資助在國際會議和國內期刊發表論文10餘篇，獲得授權發明專利1項，實用新型專利3項。