基於內鏡視頻圖像的胃內壁動態表面建模研究

《基於內鏡視頻圖像的胃內壁動態表面建模研究》是依託浙江大學，由劉濟全擔任項目負責人的面上項目。

基本介紹

• 中文名：基於內鏡視頻圖像的胃內壁動態表面建模研究
• 依託單位：浙江大學
• 項目負責人：劉濟全
• 項目類別：面上項目

項目摘要

本項目主要研究完全基於內鏡視頻圖像重建人體軟性腔體器官的三維動態表面的技術方法，並以胃鏡為切入點，嘗試構建基於胃鏡光學圖像的胃內壁動態表面模型。與常規通過斷層掃描成像重建瞬時靜態模型的方法不同，本項目擬採用的方法僅依賴內鏡檢查過程中的光學圖像實現動態模型的構建。本項目擬採用的技術方案具體如下：1、研究建立基於內鏡檢查的空間定標體系，研製具有實時定位功能的胃鏡鏡頭；2、研究弱特徵下胃鏡視頻圖像的密集特徵點提取和序列圖像間的配準方法；3、利用運動恢復結構方法，研究實現基於單目可追蹤鏡頭下的胃鏡視頻圖像重建胃內壁的幾何結構；4、研究實現胃鏡檢查下非完備表面的融合技術以及視頻紋理映射技術，以形成具有真實視覺效果的、完整的胃內壁動態表面；5、研製一種具有增強現實效果的胃鏡檢查介入引導系統，對本項目的建模方法進行驗證。本項目的研究成果可以在結腸等其它人體軟性器官的動態建模和介入引導手術得到套用。

結題摘要

本項目主要研究了完全基於內鏡視頻圖像重建胃腔這種人體軟性腔體器官的三維動態表面，並通過構建圖像引導胃鏡檢查系統進行了實踐驗證。具體來講，主要包括： 1、將電磁空間定位裝置的感測器與胃鏡設備綁定，通過胃鏡鏡頭的手眼定標算法實現了可進行實時位置追蹤的胃鏡鏡頭，並且構建了基於內鏡檢查的空間定標體系。 2、研究出了適用於腹腔軟性器官內窺鏡檢查的圖像配準算法Homograph Patch Feature Transfrom (HPFT)。本項目基於傳統的影像紋理的配準算法，結合腹腔軟性器官內壁表面平滑的特徵，通過疊代的方法，不斷地在當前的配準結果中檢測滿足空間單應性映射關係的匹配面片。實驗結果表明，HPFT相對於其他經典配準算法，能夠在內窺鏡圖像上匹配更多特徵點對，並且取得更好的配準結果。 3、研究出了內窺鏡檢查中的病灶跟蹤算法。基於HPFT配準算法，構建能夠表達內窺鏡影像之間空間變換關係的圖譜結構，從而將內窺鏡檢查過程中的病灶跟蹤問題，轉換為待跟蹤病灶所在的影像與圖譜中影像節點的配準問題，並採用基於圖譜結構的路徑規划算法實現了病灶跟蹤。 4、利用運動恢復結構方法，實現了基於單目可追蹤鏡頭下的胃鏡視頻圖像重建胃內壁的幾何結構。通過內窺鏡視頻圖像構建軟性器官的三維表面模型，並與真實的檢查場景進行配準，建立可導航的內窺鏡檢查空間，最終實現了內窺鏡複查中的病灶定位和導航。 5、實現了基於單目視頻的內窺鏡視野擴展算法。該算法通過對單目內窺鏡影像進行拼接，為醫生提供了更全面的檢查視野。在本文的全景建模算法中，構建的模型共有兩種：一是局部全景模型，該模型以原始內窺鏡檢查視野為中心，通過影像拼接來擴大醫生術中的檢查視野；二是全局全景模型，該模型能夠反映術中器官的全局紋理信息。如在胃鏡檢查中，將從原始胃鏡影像序列選取的幀樣本集合映射到雙立方體模型上，然後再通過模型展開實現胃內壁的全局全景呈現。 6、綜合以上的研究算法及成果，構建了圖像引導胃鏡檢查系統，並開展了臨床實驗評估和驗證。目前我們已在浙江大學附屬邵逸夫醫院進行了六十多例臨床實驗，實驗結果表明，該系統能夠在解決表達胃腔實時運動形變特徵的問題基礎上，實現對基於胃鏡的微創手術、無創定標活檢技術進行書中引導和導航。