圖像拼接技術

圖像拼接技術就是將數張有重疊部分的圖像（可能是不同時間、不同視角或者不同感測器獲得的）拼成一幅無縫的全景圖或高解析度圖像的技術。

基本介紹

• 中文名：圖像拼接技術
• 外文名：Image stitching
• 別名：圖像拼接
• 定義：將多張有重疊部分的圖像拼接成一張的技術
• 預處理：數字圖像處理的基本操作

基本介紹

圖像配準（image alignment）和圖像融合是圖像拼接的兩個關鍵技術。圖像配準是圖像融合的基礎,而且圖像配準算法的計算量一般非常大,因此圖像拼接技術的發展很大程度上取決於圖像配準技術的創新。早期的圖像配準技術主要採用點匹配法,這類方法速度慢、精度低,而且常常需要人工選取初始匹配點,無法適應大數據量圖像的融合。圖像拼接的方法很多,不同的算法步驟會有一定差異,但大致的過程是相同的。一般來說,圖像拼接主要包括以下五步:

圖像預處理

包括數字圖像處理的基本操作(如去噪、邊緣提取、直方圖處理等)、建立圖像的匹配模板以及對圖像進行某種變換(如傅立葉變換、小波變換等)等操作。

圖像配準

就是採用一定的匹配策略,找出待拼接圖像中的模板或特徵點在參考圖像中對應的位置,進而確定兩幅圖像之間的變換關係。

建立變換模型

根據模板或者圖像特徵之間的對應關係,計算出數學模型中的各參數值,從而建立兩幅圖像的數學變換模型。

統一坐標變換

根據建立的數學轉換模型,將待拼接圖像轉換到參考圖像的坐標系中,完成統一坐標變換。

融合重構

將待拼接圖像的重合區域進行融合得到拼接重構的平滑無縫全景圖像。

圖像拼接的基本流程圖

相鄰圖像的配準及拼接是全景圖生成技術的關鍵,有關圖像配準技術的研究至今已有很長的歷史,其主要的方法有以下兩種:基於兩幅圖像的亮度差最小的方法和基於特徵的方法。其中使用較多的是基於特徵模板匹配特徵點的拼接方法。該方法允許待拼接的圖像有一定的傾斜和變形,克服了獲取圖像時軸心必須一致的問題,同時允許相鄰圖像之間有一定色差。全景圖的拼接主要包括以下4個步驟：圖像的預拼接,即確定兩幅相鄰圖像重合的較精確位置,為特徵點的搜尋奠定基礎。特徵點的提取,即在基本重合位置確定後,找到待匹配的特徵點。圖像矩陣變換及拼接,即根據匹配點建立圖像的變換矩陣並實現圖像的拼接。最後是圖像的平滑處理。

圖像拼接技術分類

圖像拼接技術主要包括兩個關鍵環節即圖像配準和圖像融合。對於圖像融合部分，由於其耗時不太大，且現有的幾種主要方法效果差別也不多，所以總體來說算法上比較成熟。而圖像配準部分是整個圖像拼接技術的核心部分，它直接關係到圖像拼接算法的成功率和運行速度，因此配準算法的研究是多年來研究的重點。

目前的圖像配準算法基本上可以分為兩類:基於頻域的方法(相位相關方法)和基於時域的方法。

相位相關法

相位相關法最早是由Kuglin和Hines在1975年提出的，並且證明在純二維平移的情形下，拼接精度可以達到1個像素，多用於航空照片和衛星遙感圖像的配準等領域。該方法對拼接的圖像進行快速傅立葉變換，將兩幅待配準圖像變換到頻域，然後通過它們的互功率譜直接計算出兩幅圖像間的平移矢量，從而實現圖像的配準。由於其具有簡單而精確的特點，後來成為最有前途的圖像配準算法之一。但是相位相關方法一般需要比較大的重疊比例(通常要求配準圖像之間有50%的重疊比例)，如果重疊比例較小，則容易造成平移矢量的錯誤估計，從而較難實現圖像的配準。

基於時域的方法

基於時域的方法又可具體分為基於特徵的方法和基於區域的方法。基於特徵的方法首先找出兩幅圖像中的特徵點(如邊界點、拐點)，並確定圖像間特徵點的對應關係，然後利用這種對應關係找到兩幅圖像間的變換關係。這一類方法不直接利用圖像的灰度信息，因而對光線變化不敏感，但對特徵點對應關係的精確程度依賴很大。這一類方法採用的思想較為直觀，大部分的圖像配準算法都可以歸為這一類。基於區域的方法是以一幅圖像重疊區域中的一塊作為模板，在另一幅圖像中搜尋與此模板最相似的匹配塊，這種算法精度較高，但計算量過大。

按照匹配算法的具體實現又可以分為直接法和搜尋法兩大類，直接法主要包括變換最佳化法，它首先建立兩幅待拼接圖像間的變換模型，然後採用非線性疊代最小化算法直接計算出模型的變換參數，從而確定圖像的配準位置。該算法效果較好，收斂速度較快，但是它要達到過程的收斂要求有較好的初始估計，如果初始估計不好，則會造成圖像拼接的失敗。搜尋法主要是以一幅圖像中的某些特徵為依據，在另一幅圖像中搜尋最佳配準位置，常用的有比值匹配法，塊匹配法和格線匹配法。比值匹配法是從一幅圖像的重疊區域中部分相鄰的兩列上取出部分像素，然後以它們的比值作模板，在另一幅圖像中搜尋最佳匹配。這種算法計算量較小，但精度較低;塊匹配法則是以一幅圖像重疊區域中的一塊作為模板，在另一幅圖像中搜尋與此模板最相似的匹配塊，這種算法精度較高，但計算量過大;格線匹配法減小了塊匹配法的計算量，它首先要進行粗匹配，每次水平或垂直移動一個步長，記錄最佳匹配位置，然後在此位置附近進行精確匹配，每次步長減半，然後循環此過程直至步長減為0。這種算法較前兩種運算量都有所減小，但在實際套用中仍然偏大，而且粗匹配時如果步長取的太大，很可能會造成較大的粗匹配誤差，從而很難實現精確匹配。

圖像拼接算法概述

• 首先，需要算法來確定合適的數學模型，將一幅圖像中的像素坐標與另一幅圖像中的像素坐標關聯起來。
  
• 其次，算法需要確定與各種圖像相關的正確配準。可以使用點到點（pixel-to-pixel）的直接比較與梯度下降相結合的算法估計這些參數（配準）。
  
• 找到每幅圖像中不同的特徵，進行有效匹配，以便在圖像對之間快速建立對應關係。當一個全景圖中存在多個圖像時，使用現有技術計算全局一致性的配準集，並找出圖像重疊的部分。
  
• 對於圖像拼接，算法必須先確定扭曲或投影變換的最終合成曲面，並將所有對齊的圖像放置在該曲面上。即使圖像存在視差、鏡頭失真、場景運動和曝光差異，也需要編寫算法來無縫混合重疊的圖像。