基於立體視覺的動態在體軟組織表面三維運動跟蹤研究

《基於立體視覺的動態在體軟組織表面三維運動跟蹤研究》是依託電子科技大學,由楊波擔任醒目負責人的青年科學基金項目。

基本介紹

• 依託單位：電子科技大學
• 項目類別：青年科學基金項目
• 項目負責人：楊波

項目摘要

高度動態的微創手術環境下，如何實時、準確的恢復在體軟組織表面三維形態並估計其運動，是機器人輔助微創手術系統未來智慧型化發展的瓶頸問題。立體內窺鏡的出現為套用被動視覺跟蹤技術解決該問題提供了良機，但多數已有的視覺跟蹤方法並不適用於動態的手術環境和複雜的軟組織形變。本項目致力於探索高效、魯棒的軟組織運動三維視覺跟蹤方法。擬採用統計形狀和生物戀享悼腿力學模型描述軟組織三維形變；套用與呼吸和心動周期相關的準周期信號對軟組織時間運動建模。擬套用線上學習和循邀承多解析度分析技術提取組織表面的可辨識特徵。在特徵空間，基於形變和運動模型將三維重構和運動估計描述為統一的數學問題並探究其快速求解。研究應對術中典型動態干擾的魯棒性方法。探索無真值情況下跟蹤結果的定量評價問題，嘗試建立標準測試集。本項目是對複雜環境下非剛性形變目標視覺跟蹤的最新拓展和深化，預期成果可提升手術機器人現有能力，具有較高的科學意義和重要的臨床套用價值。

結題摘要

微創手術環境下，基於立體內窺鏡圖像對在體動態軟組織表面進行實時3D重構和跟蹤，是手棕船束術機器人領域一個關鍵和極具挑籃多蜜戰性的問題。本項目針對現有技術和方法在應對複雜軟組織形變、動態手術環境以及實時性要求等方面存在的問題，開展了軟組織空間形變建模和時間運動建模、軟組織表面可辨識特徵提取與描述、魯棒三維視覺跟蹤框架以及跟蹤結果評價等方面的研究，獲得了一系列具有原創性的成果，主要包括：1）提出交疊薄板樣條形變模型，大幅提高心和辨騙祖髒運動跟蹤算法的效率，並有效解決了術中器械局部遮擋的問題。2）提出3D視覺跟蹤中的“幀間”和“幀內”匹配問題，根據內窺鏡立體圖像序列在幀間和幀內一致性上的差異，分別基於空間-顏色聯合機率分布和薄板樣條模型進行匹配，並提出一種幀間幀內熱擊紙並行疊代計算框架，實現快速、準確和魯棒的軟組織3D跟蹤。3）提出新的基於雙卡爾曼濾波的心臟運動預測方法，將原非線性的雙時變傅立葉級數運動模型轉換成兩個線性子模型分別進行卡爾曼濾波，簡化了運動預測算法的計算和實現，同時避免了對非線性模型線性化時容易引起的收斂和互耦合問題；該方法可有效應對術中動態因素引起的跟蹤中斷及自恢復問題，提高跟蹤算法的魯棒性。4）首次揭示了心跳和呼吸循環引起的心臟表面目標點運動的方向性問題，在雙卡爾曼濾波架構下分別在心跳和呼吸最優運動方向上對兩種運動分量的瞬時頻率進行線上估計，提出最優正交子帶融合和疊代最優濾波兩種頻率估計算法。5）建立基於“達文西”手術機器人埋她立體內窺鏡視頻的軟組織3D視覺跟蹤測試數據集，對近萬幀次內窺鏡圖像中的興趣點進行人工標記，獲得其3D運動定量評價基準數據；基於活體心臟運動數據，製作並發布了三維形態真值已知的心跳運動人工合成立體圖像數據集；與四川省人民醫院心臟外科中心合作，對術中內窺鏡參數進行標定，建立真實心臟微創手術圖像數據集；基於以上數據集，建立了較完整的軟組織視覺跟蹤性能評價體系。