圖像融合

圖像融合（Image Fusion）是指將多源信道所採集到的關於同一目標的圖像數據經過圖像處理和計算機技術等，最大限度的提取各自信道中的有利信息，最后綜合成高質量的圖像，以提高圖像信息的利用率、改善計算機解譯精度和可靠性、提升原始圖像的空間解析度和光譜解析度，利於監測。

基本介紹

• 中文名：圖像融合
• 外文名：Image Fusion
• 性質：融合
• 屬性：圖像

簡介

圖像融合作為信息融合的一個分支，是當前信息融合研究中的一個熱點。圖像融合的數據形式是包含有明暗、色彩、溫度、距離以及其他的景物特徵的圖像。這些圖像可以以一幅，或者一列的形式給出。而圖像融合是將2張或2張以上的圖像信息的融合到1張圖像上，使得融合的圖像含有更多的信息、能夠更方便人來觀察或者計算機處理。圖像融合的目標是在實際套用目標下將相關信息最大合併的基礎上減少輸出的不確定度和冗餘度。圖像融合的優點很明顯，它能擴大圖像所含有的時間空間信息，減少不確定性，增加可靠性，改進系統的魯棒性能。最早的圖像融合工作可以追溯到20世紀80年代中期，Burt P J最早使用拉普拉斯金字塔方法對雙筒望遠鏡圖像進行了融合，1995年，Li H最先運用小波方法對圖像進行融合，這對圖像融合技術產生了巨大的推進。經過長期的實踐，從事圖像融合的工作者對圖像融合的方法和手段有了一定的共識，提出了圖像融合需要遵守的3個基本原則：

1)融合後圖像要含有所有源圖像的明顯突出信息；

2)融合後圖像不能加入任何的人為信息；

3)對源圖像中不感興趣的信息，如噪聲要儘可能多地抑制其出現在融合圖像中。

定義

圖像融合（Image Fusion）是指將多源信道所採集到的關於同一目標的圖像數據經過圖像處理和計算機技術等，最大限度的提取各自信道中的有利信息，最后綜合成高質量的圖像，以提高圖像信息的利用率、改善計算機解譯精度和可靠性、提升原始圖像的空間解析度和光譜解析度，利於監測。 待融合圖像已配準好且像素位寬一致，綜合和提取兩個或多個多源圖像信息（參考文獻：陳浩，王延傑。基於小波變換的圖像融合技術研究. 微電子學與計算機, 2010 ,27( 5 )：39-41）。兩幅（多幅）已配準好且像素位寬一致的待融合源圖像，如果配準不好且像素位寬不一致，其融合效果不好。

優點

高效的圖像融合方法可以根據需要綜合處理多源通道的信息，從而有效地提高了圖像信息的利用率、系統對目標探測識別地可靠性及系統的自動化程度。其目的是將單一感測器的多波段信息或不同類感測器所提供的信息加以綜合，消除多感測器信息之間可能存在的冗餘和矛盾，以增強影像中信息透明度，改善解譯的精度、可靠性以及使用率，以形成對目標的清晰、完整、準確的信息描述。

這諸多方面的優點使得圖像融合在醫學、遙感、計算機視覺、氣象預報及軍事目標識別等方面的套用潛力得到充分認識、尤其在計算機視覺方面。

層次

一般情況下，圖像融合由低到高分為三個層次：數據級融合、特徵級融合、決策級融合。數據級融合也稱像素級融合，是指直接對感測器採集來得數據進行處理而獲得融合圖像的過程，它是高層次圖像融合的基礎，也是目前圖像融合研究的重點之一。這種融合的優點是保持儘可能多得現場原始數據，提供其它融合層次所不能提供的細微信息。

像素級融合中有空間域算法和變換域算法，空間域算法中又有多種融合規則方法，如邏輯濾波法，灰度加權平均法，對比調製法等；變換域中又有金字塔分解融合法，小波變換法。其中的小波變換是當前最重要，最常用的方法。

在特徵級融合中，保證不同圖像包含信息的特徵，如紅外光對於對象熱量的表征，可見光對於對象亮度的表征等等。

決策級融合主要在於主觀的要求，同樣也有一些規則，如貝葉斯法，D-S證據法和表決法等。

融合算法常結合圖像的平均值、熵值、標準偏差、平均梯度；平均梯度反映了圖像中的微小細節反差與紋理變化特徵，同時也反映了圖像的清晰度。目前對圖像融合存在兩個問題：最佳小波基函式的選取和最佳小波分解層數的選取。

結構

三層結構

實際的融合過程可以根據信息流的不同形式分為不同的等級。現在普遍接受的一種分層方式是將融合的過程分成像素級、特徵級以及符號決策級3級，如圖1所示。圖像在像素一級的融合是處在最低部的一層，它將不同的物理參數進行融合。在得到的融合圖像中，每一個像素都是由幾個源圖像所對應的區域決定而得。特徵級的融合是在各個輸入圖像抽出的特徵基礎上，對這些特徵進行融合，這些特徵可以是形狀、大小、紋理、對比度等。在這些抽取的特徵上進行融合，使得這些有用的特徵能夠更好的體現出來。在符號決策級的融合是對圖像信息的更高的抽象。此時輸入的圖像已經是信息抽取得到的特徵和分類，融合處理得到一個代表性符號或者對應決策。對於各個適應等級的選擇取決於實際中不同的因素，比如，圖像源。同時，選擇不同的級別處理與圖像預處理得到的結果也有關。

圖像融合過程的三層結構

系統框架

實際的圖像融合不能單獨的存在以構成系統，它是連線實際採集信息和系統控制之間的紐帶。圖2給出了一個標準的圖像融合系統的框架，由圖的描述可看出系統的框架可分為4個部分：圖像配準、圖像預處理、圖像融合、輸出和圖像後處理。

圖像融合系統結構

在融合前期最重要的工作就是圖像配準，除非是給出的為了融合而融合的圖像，否則都需要進行圖像配準。配準的目的是使圖像滿足時問和空間上的一致。在實際工程中，導致採集的圖像時空不一致的因素很多，比如，攝像頭的視野不同、鏡片的焦距不同、圖像單位時間的幀數的差異、攝像頭的移動等。而且，實際工程中的圖像的空間和時間上的差異在融合中是很難把握，現在也沒有通用的標準來衡量這些誤差。這些其他因素產生的誤差是不能簡單地運用融合算法來消除的。因此，只有先完成圖像的配準工作，後期的圖像預處理和融合算法才有意義。實際配準的過程是以一幅圖像作為基礎，把其他的圖像通過一定算法複合在其上。

圖像預處理是融合前期的一步工作。很多研究人員認為圖像預處理過程並不必要，因為圖像預處理過程並不是為了在視覺上的最佳化，而且這個過程常常是不能被用戶觀察到的。實際上，對於一些有先驗知識的圖像，在預處理階段可以把對先驗知識表示加入到圖像中，這樣出來的圖像再去融合，就能得到比較好的結果。如果不加預處理階段，一味地對圖像用融合方法進行融合，得到結果的可靠性就自然降低了不少。

經過融合後，系統將輸出一幅圖像，理論上這幅圖像將含有所有輸入圖像的有用信息。輸出的這幅圖像可以直接用於用戶觀測，或者經過後期處理，即圖像信息套用，直接用於控制系統。由於融合過程中已經對圖像進行了很好的信息抽取，此時後期處理階段就相對會容易很多。對於一個控制系統，這個模組起到了控制器的作用。