雙相機的多光譜成像系統和方法

《雙相機的多光譜成像系統和方法》是北京數字精準醫療科技有限公司於2012年06月14日申請的發明專利，該專利的公布號為：CN102721469A，專利公布日：2012年10月10日，該專利申請號為2012101960998，發明人是田捷，遲崇巍，秦承虎，楊鑫。

一種雙相機的多光譜成像系統，包括：光源模組，用於提供近紅外光和可見光；光學信號採集模組，用於採集螢光和可見光圖像；計算機模組，用於處理採集到的圖像，並將處理後的圖像顯示在計算機顯示器上。《雙相機的多光譜成像系統和方法》採用光學分光稜鏡將通過鏡頭的光線一分為二，用兩台CCD相機同時進行實時採集。我們在各相機前增加帶通濾光片，使得兩台相機分別在不同光波長範圍內成像，最終通過軟體進行圖像處理，將不同譜段的圖像拼合到一起，實現螢光與可見光融合的圖像效果。拓展了光學分子影像探針可供選擇的空間，延伸了光學分子影像研究與套用的範圍。

2020年7月14日，《雙相機的多光譜成像系統和方法》獲得第二十一屆中國專利優秀獎。

（概述圖為《雙相機的多光譜成像系統和方法》摘要附圖 ）

基本介紹

• 中文名：雙相機的多光譜成像系統和方法
• 公布號：CN102721469A
• 發明人：田捷，遲崇巍，秦承虎，楊鑫
• 公布日：2012年10月10日
• Int. Cl.：G01J3/28(2006.01)I；G01J3/10(2006.01)I
• 申請號：2012101960998
• 專利代理機構：中科專利商標代理有限責任公司
• 申請日：2012年06月14日
• 代理人：戎志敏
• 申請人：中國科學院自動化研究所
• 專利類別：發明專利
• 地址：北京市海淀區中關村東路95號

專利背景

截至2012年6月，由於分子影像學技術的不斷發展，繼放射性核素成像、正電子發射斷層掃描、單光子發射計算機斷層和磁共振成像之後，出現了高解析度的光學成像，其中近紅外螢光成像倍受關注。由於光穿透組織的能力與組織吸收光的強弱、光波的特性、生物組織結構及其物理化學特性均有關係。650～900納米的近紅外光（Near-Infrared，NIR）被稱為“組織光窗（Tissue Optical Window）”，與可見光相比具有：⑴生物組織對此波段近紅外光的吸收和散射效應最小，與可見光相比近紅外光可穿透更深層的組織；⑵由於生物組織對此波段近紅外光的自體螢光較小，信背比（Signal-to-backgroundratio，SBR)相對高等優點。

2012年市場上有關探測近紅外光線的產品均是採用單台相機進行實時成像，由於近紅外光線肉眼不可見，所以一般採集到的圖像和肉眼看到的圖像有所不同。根據《Nature Medicine》2011年9月報導的國際最新進展，荷蘭科學家Gooitzen Mvan Dam等人採用三台相機協同工作的方法進行拍攝，可以同時看到螢光圖像、彩色圖像以及拼合圖像。其中三台相機主要由三個CCD組成，分別用來拍攝彩色圖像（光譜範圍400納米-650納米），螢光圖像（光譜範圍745納米-845納米）以及背景圖像（光譜範圍740納米-760納米）。通過兩台計算機進行協同工作，同步處理拍攝到的圖像，達到螢光、彩色以及拼合三幅圖像顯示的目的。

發明內容

專利目的

《雙相機的多光譜成像系統和方法》的目的是提供一種基於雙CCD相機的視頻成像系統和方法。

技術方案

按照《雙相機的多光譜成像系統和方法》的一方面，一種雙相機的多光譜成像系統，包括：

光源模組，用於提供近紅外光和可見光，其中，所述光源模組包括LED近紅外光源、鹵素燈白光光源、第一濾光片和第四濾光片，所述第一濾光片的光譜範圍是710納米-770納米，所述第四濾光片的光譜範圍是400納米-650納米；

光學信號採集模組，用於採集螢光和可見光圖像，其中，所述光學信號採集模組包括鏡頭、分光稜鏡、第二濾光片、第三濾光片、近紅外CCD相機和彩色CCD相機，所述第二濾光片的光譜範圍是810納米-870納米，所述第三濾光片的光譜範圍是400納米-650納米；

計算機模組，用於處理採集到的圖像，並將處理後的圖像顯示在計算機顯示器上。

改善效果

《雙相機的多光譜成像系統和方法》採用光學分光稜鏡將通過鏡頭的光線一分為二，用兩台CCD相機同時進行實時採集。我們在各相機前增加帶通濾光片，使得兩台相機分別在不同光波長範圍內成像，最終通過軟體進行圖像處理，將不同譜段的圖像拼合到一起，實現螢光與可見光融合的圖像效果。拓展了光學分子影像探針可供選擇的空間，延伸了光學分子影像研究與套用的範圍。

附圖說明

圖1是《雙相機的多光譜成像系統和方法》的組織結構圖；

圖2是《雙相機的多光譜成像系統和方法》的系統原理圖；

圖3是《雙相機的多光譜成像系統和方法》的稜鏡結構圖；

圖4是《雙相機的多光譜成像系統和方法》的系統支架結構示意圖；

圖5是《雙相機的多光譜成像系統和方法》的算法流程圖；

圖6是《雙相機的多光譜成像系統和方法》實施案例的結果圖。

技術領域

《雙相機的多光譜成像系統和方法》涉及一種成像系統，特別是關於一種雙相機的多光譜成像的系統和方法。

權利要求

1.一種雙相機的多光譜成像系統，包括：光源模組，用於提供近紅外光和可見光，其中，所述光源模組包括LED近紅外光源、鹵素燈白光光源、第一濾光片和第四濾光片，所述第一濾光片的光譜範圍是710納米-770納米，所述第四濾光片的光譜範圍是400納米-650納米；光學信號採集模組，用於採集螢光和可見光圖像，其中，所述光學信號採集模組包括鏡頭、分光稜鏡、第二濾光片、第三濾光片、近紅外CCD相機和彩色CCD相機，所述第二濾光片的光譜範圍是810納米-870納米，所述第三濾光片的光譜範圍是400納米-650納米；計算機模組，用於處理採集到的圖像，並將處理後的圖像顯示在計算機顯示器上。

2.根據權利要求1所述的系統，其中，所述計算機模組包括：軟體控制模組，用於控制近紅外CCD相機和彩色CCD相機；圖像處理模組，用於處理近紅外CCD相機和彩色CCD相機拍攝的圖像數據，並完成分割點運算和圖像疊加功能；顯示模組，用於在計算機顯示器上顯示圖像。

3.根據權利要求1所述的系統，還包括系統支撐模組，用於支撐和連線各部件，所述系統支撐模組包括光源支架、光學平台支架和系統支架。

4.根據權利要求1所述的系統，其中，近紅外CCD相機的圖片解析度為1024*1024，彩色CCD相機的解析度為2136*2548。

實施方式

下面結合附圖對《雙相機的多光譜成像系統和方法》的實施做詳細的描述。

我們根據近紅外光線的特點，並基於長期在近紅外成像領域的研究經驗，《雙相機的多光譜成像系統和方法》採用兩台相機來實現螢光、彩色以及拼合圖像的獲取功能,同樣達到三幅圖像顯示的目的。系統所拍攝的視頻和圖像均可以達到其報導的水平，並且所有的操作最終在一台計算機上運行實現。

如圖1所示，

系統支撐模組（110），用於支撐和連線各部件；

光源模組（120），用於提供近紅外光和可見光；

光學信號採集模組（130），用於採集螢光和可見光圖像；

計算機模組（140），軟體控制模組（141）控制近紅外CCD相機（101）和彩色CCD相機（102），圖像處理模組（142）處理採集到的圖像，顯示模組（143）將處理後的圖像顯示在計算機顯示器上。

其中：

濾光片一（122）表示帶通濾光片，光譜範圍是710納米-770納米；

濾光片二（133）表示帶通濾光片，光譜範圍是810納米-870納米；

濾光片三（124）表示帶通濾光片，光譜範圍是400納米-650納米；

濾光片四（125）表示帶通濾光片，光譜範圍是400納米-650納米。

系統支撐模組（110）包括光源支架（111）、光學平台支架（112）和系統支架（113）。光源支架（111）主要是用來支撐LED近紅外光源（121），連線方式是將燈的手柄插入光源支架（111）的前端，如圖4光源支架（111）箭頭所指位置。系統支撐裝置（110）主要是為了支撐起光學平台支架（112）以及光源支架（111），並且保證可以移動。系統支撐裝置（110）縱向可調節，整體高度範圍是1500mm-1800mm。光學平台支架（112）掛接在系統支撐裝置的上端，如圖4光學平台支架（112）箭頭所指位置。

光源模組（120）包括LED近紅外光源（121）、鹵素燈白光光源（123）和濾光片一（122）、濾光片四（125）。濾光片一（122）套有金屬圈，圈上有一圈外螺紋，外形類似市面銷售的UV鏡。LED近紅外光源（121）由47個LED燈焊接在一塊圓形電路板上，電路板外套有金屬套筒，焊接好的電路板放置在金屬套筒底部，頂部有內螺紋，可以與濾光片一（122）的金屬圈旋緊固定。電源線由底部小孔引出，外接電源適配器，電壓24伏，功率20瓦。其外形如同圖1中的（121）所示。濾光片四（125）可以放置在鹵素燈白光光源（123）的濾光片槽（104）內，鹵素燈白光光源（123）產生的光信號通過光纖（105）引出。

光學信號採集模組（130）包括鏡頭（131）、分光稜鏡（132）、濾光片二（133）、濾光片三（124）、近紅外CCD相機（101）和彩色CCD相機（102）。分光稜鏡（132）是由一塊經過特殊鍍膜的立方體玻璃（1324）、基座（1325）、金屬外殼（1326）所組成，如圖3所示，立方體玻璃（1324）放置在基座（1325）上，基座（1325）上方套有金屬外殼（1326），與基座（1325）由螺絲固定。金屬外殼（1326）上有4個圓孔，將孔（1321）與鏡頭（131）對接，孔（1322）與彩色CCD相機（102）對接，孔（1323）與近紅外CCD相機（101）對接。濾光片二（133）放置在近紅外CCD相機（101）的進光孔處。濾光片三（124）放置在彩色CCD相機（102）的進光孔處。鏡頭（131）、分光稜鏡（132）、近紅外CCD相機（101）和彩色CCD相機（102）按照中軸線對齊原則固定在同一光學平台上，位置擺放如圖2中（101）、（102）、（131）、（132）、（133）、（124）所示。

計算機模組（140）包括軟體控制模組（141）和圖像處理模組（142）。其中軟體控制模組（141）是通過近紅外CCD相機（101）和彩色CCD相機（102）的數據線（106）與計算機模組（140）相連。工作人員通過操作軟體控制模組（141）來達到控制近紅外CCD相機（101）和彩色CCD相機（102）的目的。圖像處理模組（142）主要是處理近紅外CCD相機（101）和彩色CCD相機（102）拍攝的圖像數據，完成分割點運算和圖像疊加功能。

如圖2所示

近紅外CCD相機（101），用於採集近紅外圖像。

彩色CCD相機（102），用於採集可見光圖像。

分光稜鏡（132），用於將光路一分為二，一半透射，一半反射。

鏡頭（131），用於調節使得圖像成像清晰。

LED近紅外光源（121），用於發射近紅外光線。

鹵素燈白光光源（123），用於發射可見光光線；濾光片槽（104）用於放置濾光片四（125）；光纖（105）用於將光線引出。

濾光片二（133），用於過濾其他波長光線，保證需要波長的光線進入近紅外CCD相機（101）；濾光片三（124），用於過濾其他波長光線，保證需要波長的光線進入彩色CCD相機（102）。

數據線（106）用於傳輸採集的圖像數據。

計算機模組（140）用於控制相機和處理圖像數據。

圖3所示，孔（1321）、孔（1322）和孔（1323）均用於保證光線的進出。

立方體玻璃（1324），用於將光線分成兩路，是分光稜鏡（132）的核心部件。

基座（1325）用於托住立方體玻璃（1324），並與金屬外殼（1326）固定。

金屬外殼（1326）用於將立方體玻璃（1324）從其他面固定住。

圖4所示，

光學平台支架（112）用於將各元器件固定在同一平台上。

光源支架（111）用於將LED近紅外光源（121）進行支撐。

系統支撐裝置（110）用於將光學平台支架（112）和光源支架（111）進行固定和調節，並保證整體可以移動。

下面描述《雙相機的多光譜成像系統和方法》的方法。

鹵素燈白光光源（123）對探測區域（103）進行照射；

系統支撐模組（110）調整系統支架（113）至合適高度，光學信號採集模組（130）調節鏡頭（131）焦距，軟體控制模組（141）採集彩色CCD相機（102）視頻圖像，計算機模組（140）中顯示模組（141）進行實時顯示，調整為清晰成像；

LED近紅外光源（121）對探測區域（103）進行照射，計算機模組（140）中軟體控制模組（141）切換到拍照模式，獲取一組校準圖像；

計算機模組（140）中軟體控制模組（141）採集近紅外CCD相機（101）視頻圖像，進行實時觀測；

計算機模組（140）中軟體控制模組（141）切換到拍照模式，獲取一組圖像，進行存檔；

圖像處理模組（142）對存檔的圖像進行運算，計算分割點，圖像處理模組（142）根據計算出的分割點進行圖像拼合，顯示模組（143）將處理後的圖像顯示到計算機顯示器上。

校準圖像。由於近紅外CCD相機（101）和彩色CCD相機（102）感光晶片大小不同，所以當系統支撐模組（110）調整系統支架（113）至合適高度，光學信號採集模組（130）調節鏡頭（131）焦距後，我們需要獲取一組校準圖像，為圖像處理模組（142）計算分割點做準備。如圖5所示，《雙相機的多光譜成像系統和方法》所述圖像處理模組（142）分割點計算算法流程圖。

步驟501：MATLAB讀取兩台相機拍照所得圖像灰度值矩陣；

步驟502：通過硬體信息可以得知近紅外CCD相機（101）晶片面積為1.3英寸，圖片解析度為1024*1024，彩色CCD相機（102）晶片面積為2/3英寸，解析度為2136*2548。通過MATLAB軟體的工具包插值運算，將彩色CCD相機（102）圖像解析度轉化為534*637，近紅外CCD相機（101）取得圖像中以i，j為基點選擇一塊534*637的數據矩陣賦給A，插值後的彩色CCD相機（102）圖像矩陣賦給B，其中，設定變數i，j均為0；

步驟503：計算矩陣A中各點的均值賦給mA，通過公式計算

；

步驟504：計算矩陣B中各點的均值賦給mB，通過公式計算

；

步驟505：根據矩陣A、B以及mA、mB，計算，然後計算得到A、B的相關係數

步驟506：得到該相關係數之後，再重複步驟3-5步驟，比較兩個相關係數的大小，取較大值，並記錄i，j的數值；

步驟507：疊代運算200次，i=i+1,j=0，重複步驟3-6，當i>200時，結束循環，最終返回i，j的值，公式中i,j代表兩個程式變數，用於記錄運算過程中矩陣的頂點坐標；A，B分別代表一個534*637的數據矩陣；mA代表A矩陣中各點的平均值；mB代表B矩陣中各點的平均值；aij代表矩陣A中第i行第j列的數值；bij代表矩陣B中第i行第j列的數值；DA、DB、corAB、corrcoef_AB分別是通過公式計算後的結果。

實施例

光學信號採集模組（130）按照圖2所示組裝好，光學信號採集模組（130）固定在光學平台支架（112）上，按照圖4所示光學平台支架（112）掛接在系統支撐裝置（110）端，LED近紅外光源（121）插入光源支架（111）中。系統支撐模組（110）移動到探測區域（103）正上方，數據線（106）與計算機模組（140）對應連線埠連線。

光源模組（120）中光纖（105）固定在光源支架（111）上，鹵素燈白光光源（123）對準探測區域（103）進行照射。

軟體控制模組（141）控制採集彩色CCD相機（102）視頻圖像，光學信號採集模組（130）調整鏡頭（131）焦距保證清晰成像。軟體控制模組（141）獲取近紅外CCD相機（101）和彩色CCD相機（102）圖像，並保存。

用遮光布對探測區域（103）進行避光處理。LED近紅外光源對準探測區域（103）進行照射。

軟體控制模組（141）控制採集近紅外CCD相機（101）視頻圖像，拍攝物體放置最佳拍攝角度後，保持不動，軟體控制模組（141）採集近紅外CCD相機（101）和彩色CCD相機（102）圖像。

圖像處理模組（142）計算3中獲取的近紅外CCD相機（101）和彩色CCD相機（102）圖像分割點。圖像處理模組（142）將近紅外CCD相機（101）獲取圖像增加偽綠，圖像處理模組（142）用分割點拼合5中採集彩色CCD相機（102）圖像和增加偽綠的近紅外CCD相機（101）圖像。

實驗結果如圖6所示，《雙相機的多光譜成像系統和方法》使用0.01毫克/毫升濃度的吲哚菁綠螢光染料注入EP管中作為實驗，驗證系統的可行性。可以看到圖（601）為近紅外CCD相機（101）拍到的圖像，圖（602）為彩色CCD相機（102）拍到的圖像。圖（603）為圖像處理模組（142）計算拼合後的圖像。可以看到，雖然通過肉眼看到的（602）中為透明液體，但是通過激發光源照射後，明顯看出有螢光發出（601），通過圖像處理模組（142）將兩幅圖像進行拼合，我們便在肉眼可見的（601）圖像上同時看到了（602）圖像信息。

儘管為說明目的公開了《雙相機的多光譜成像系統和方法》的具體實施案例與附圖，輔助理解《雙相機的多光譜成像系統和方法》的內容並據以實施，但是專業技術人員可以理解：在不脫離《雙相機的多光譜成像系統和方法》及所附的權利要求的精神與範圍內，各種替換和修改都是可能的。因此，《雙相機的多光譜成像系統和方法》不應該局限於最佳實施案例和附圖所公開的內容，《雙相機的多光譜成像系統和方法》要求保護的範圍以權利要求書界定的範圍為準。

榮譽表彰

2020年7月14日，《雙相機的多光譜成像系統和方法》獲得第二十一屆中國專利優秀獎。