《腦血管虛擬介入手術的關鍵科學問題研究》是依託首都師範大學，由夏立坤擔任項目負責人的面上項目。
基本介紹
- 中文名：腦血管虛擬介入手術的關鍵科學問題研究
- 項目類別：面上項目
- 項目負責人：夏立坤
- 依託單位：首都師範大學
項目摘要,結題摘要,
項目摘要
隨著虛擬現實技術的發展，虛擬手術已成為國內外學者研究的熱點，在包括術前規劃、醫生培訓在內的多個方面具有廣泛的套用前景。其中腦血管分割建模問題和多信息融合顯示問題的研究對虛擬手術系統精確性和實用性的提高起著至關重要的作用，是虛擬手術研究中迫切需要解決的關鍵科學問題。由於受到腦血管細節信息提取不全、顯示界面可用信息較少等關鍵問題的制約，目前尚未出現完整的普適性解決方案，為此本項目將開展針對虛擬手術中以上關鍵理論和技術的系統研究。本項目完成後將突破利用多分支預測思想進行腦血管結構與輪廓的提取、利用虛擬視野擴張和二維造影圖像實現多信息融合顯示等關鍵技術，提供一套完善的腦血管分割建模和多信息融合顯示的解決方案，並將在此基礎上搭建實驗系統來驗證本項目所提出的理論方法和解決方案的準確性和有效性。本項目的開展有望取得一系列創新性成果，對於推動虛擬手術系統在我國的套用具有十分重要的實際意義和套用價值。
結題摘要
隨著虛擬現實技術的發展，虛擬手術已成為國內外學者研究的熱點，在包括術前規劃、醫生培訓在內的多個方面具有廣泛的套用前景。其中腦血管分割建模問題和多信息融合顯示問題的研究對虛擬手術系統精確性和實用性的提高起著至關重要的作用，是虛擬手術研究中迫切需要解決的關鍵科學問題。由於受到腦血管細節信息提取不全、顯示界面可用信息較少等關鍵問題的制約，目前尚未出現完整的普適性解決方案，為此本項目主要針對虛擬手術中以上關鍵理論和技術進行系統研究。針對申報書設定目標、研究內容和關鍵性問題，本課題深度研究虛擬手術中腦血管分割建模和多信息融合顯示的理論和方法體系，並在此基礎上研發一套實時互動腦血管介入虛擬手術軟硬體實驗系統。此系統的構建主要分為兩個部分：基於U-net網路結構的腦血管自適應分割建模和以Unity3D和VIVEPORT，SteamVR以及3ds Max為平台的多信息動態融合與增強顯示。前者以Python語言為基礎，採用Retinex圖像增強技術和U-net網路分割技術實現預處理以及腦血管分割建模。後者首先將分割好的血管輸入到Unity3D環境中，實現血管模型三維重建和手術設施模型；其次採用A*算法實現3D中路徑規劃，計算最優的手術路徑；然後為其添加碰撞器組件以實現血管碰撞檢測；最後，採用SLAM算法，將VR場景與眼前真實場景動態渲染，實現混合現實增強顯示。本系統能夠同步完成手術室虛擬場景顯示、三維腦血管模型虛擬場景、手術路徑規劃和手術導絲模擬的任務，從而實現虛擬手術訓練系統中對臨床手術環境的真實模擬和多信息融合顯示。在實際操作過程中，使用者僅需佩戴VR頭戴式設備即可對血管模型、手術設施、手術路徑進行全方位觀察，操作手柄進行手術導絲模擬，產生碰撞時手柄通過震動進行反饋，多種信息在虛擬手術系統中得到動態融合和有效呈現。本系統不僅能夠用於手術訓練，而且還能夠用於其它領域，比如飛行員駕駛培訓、教育領域、汽車駕駛培訓、器件維修等，具有十分廣闊的套用前景。
