立體圖像處理

立體圖像是在同一場景下左右兩隻眼睛分別看到的圖像。物體在這兩幅圖像中的相對位置差稱為立體視差(disparity)，我們的大腦能測量這種立體視差，經過大腦視神經的融合，從而產生深度感覺。立體圖像處理包括靜態立體圖像壓縮編碼、基於立體視差的圖像分割、立體圖像的可靠性傳輸等。

基本介紹

• 中文名：立體圖像處理
• 外文名：Stereo image processing
• 具體包含：圖像壓縮編碼、分割、傳輸等
• 基於：人眼雙目視差、運動視差
• 立體圖像：基於大腦產生的深度感覺
• 獲取方法：立體攝像機對、深度攝像機等

立體圖像簡述

人的大腦可以處理左右兩眼觀察到的外部三維(3D)世界的兩幅圖像之間的細微的差別，這種能力就叫做立體視覺。立體圖像對就是在同一場景下左右兩隻眼睛分別看到的圖像。物體在這兩幅圖像中的相對位置差稱為立體視差(disparity)，我們的大腦能測量這種立體視差，經過大腦視神經的融合，從而產生深度感覺。目前的立體成像系統多是通過為人類的雙目視覺系統提供體圖像對(stereo image pairs)來實現的。

人類從各種各樣的線索中獲取三維信息，其中最重要的兩種是雙目視差(binocular paraⅡaX)和運動視差(motion paranaX)。雙目視差始於Charles Whea_tstone1838年的研究工作，指的是雙眼看到同一物體的不同映像；運動視差始於Helmholtz 1866年的研究工作，指的是頭部運動時看到同一物體的不同映像。1833年，Wheatstone用世界上第一台三維顯示裝置科學地驗證了視差和立體感之間的聯繫。從此，研究者們就不斷地致力於開發新的立體圖像技術。所謂的“視差創造立體”的原理，是指人的兩隻眼睛從不同的角度觀看世界，即左眼看到的物體與右眼看到的同一物體之間有細微的差別，兩眼之間平均相距約6．5cm，因而描述場景輪廓的方式也不盡相同。大腦根據這兩個有細微差別的場景進行綜合處理，產生精確的三維物體，並在場景中對該物體進行定位，這就是具有深度的立體感。

立體圖像獲取

這裡介紹三種常見的獲取立體圖像的方法：用立體攝像機對拍攝立體圖像、用深度攝像機拍攝立體圖像以及通過平面圖像生成立體圖像。

立體攝像機對

使用立體攝像機對，分別拍攝獨立的左、右視圖以模擬人類雙眼感知立體圖像的方式。立體攝像機對包括平行配置和會聚配置兩種結構。當平行配置立體攝像機對時：兩部攝像機模擬人的雙眼，在水平方向分隔一定的距離，這兩部攝像機的變焦、會聚、及視頻記錄都嚴格地同步，並對所獲取的兩路視頻信號以某種方式進行記錄。

平行配置立體攝像機對結構

一個攝像機對可獲得一個立體圖像對，其產生雙視點的立體圖像。如果將多個攝像機對在同一平面內線性排列，則可產生同處一個平面的多個視點。如果將多個攝像機在空間內以某種特定陣列方式排列，則可產生空間上的多視點。

深度攝像機

使用深度攝像機，拍攝具有深度映射圖的二維視圖是一種快速的獲取立體圖像素材的方法。其將一個紅外線雷射雷達系統的掃描器集成在傳統二維攝像機中，該掃描器產生一面光牆(light wall)，通過物體對光的反射，產生物體的印記，以記錄反映物體的深度信息。由這些來自該印記的物體深度信息，可重建出物體的深度映射圖。該深度圖實際上是一個二維函式，它以一個與圖像相關的函式形式，給出了相對於攝像機位置的二維視圖上點的深度。

深度攝像機示意圖

平面圖像生成

隨著計算機圖形(CG)技術的發展，可通過一定算法對現有的二維視頻節目進行計算，得出深度信息，將其轉化為三維圖像節目。將現有的是二維視頻節目轉化為立體節目，是對立體節目製作的一個有益補充。但該類立體成像系統設備複雜，要求嚴格。

當一個攝像機相對靜止物體平行運動，或者圍繞靜止物體運動時，可以從拍攝所得的平面圖像中，得到物體的立體深度信息；另一種情況，當攝像機靜止不動，而物體相對於攝像機作簡單線性運動時，也可以根據拍攝所得的平面圖像，獲得物體的立體深度信息。文獻給出了一種可行的平面二維圖像轉換為立體圖像的方法。該方法對於符合一定條件的運動情況，可以從時間連續拍攝所得的平面圖像之間，獲得立體深度信息，同時利用人的立體心理深度暗示，最終實現由平面二維圖像計算生成立體圖像。但是，現實拍攝的物體，運動往往十分複雜，若使用此方式提取立體深度信息，可能帶來較大複雜度。

立體圖像處理

壓縮編碼技術

隨著立體圖像套用需求的日益增加，建立立體圖像的壓縮標準也提到了日程上來。去除立體圖像對的冗餘的最有效的方法，也是用得最多的方法是選擇一幅圖像為參考圖像，右圖獨立編碼，然後估計兩幅圖像之間的視差矢量場以去除立體圖像對之間的冗餘，第一個提出這個視差估計/補償方法的是Lukacs。Yamaguchi[後來又提出了對視差估計/補償得到的誤差幀進行編碼，並傳輸以得到更好的圖像質量。Dinstein等人提出，根據視差補償的精確度確定左圖的每個圖像塊是用視差補償的方式編碼還是獨立編碼的方法。

現有的立體圖像編碼技術，採用的策略大多是在現代的二維圖像編碼技術的基礎上採用視差(disparity)估計/補償的思想來去除立體圖像對之間的冗餘，以達到高壓縮比的目的。在靜態圖像壓縮標準JPEG的基礎上，利用立體圖像對之間的交叉視覺冗餘，進行壓縮編碼。

圖像分割技術

圖像分割技術在圖像工程中占據著重要地位，它是計算機視覺和圖像理解的最基本問題。其分割結果關鍵性的決定了圖像處理系統高層模組的性能，如分析、理解和辨識等。立體圖像中的視差矢量與實際場景中物體的深度有著一一對應的關係，基於立體視差的圖像分割方法的想法是利用前景物體與背景深度的不同來得到標識待分割物體的大概位置及形狀的二值掩模，並通過和邊緣檢測得到的邊緣圖像相與得到粗略的邊緣，最後通過數學形態學的方法細化以得到精確的邊緣分割。

具體流程圖如下所示：

基於立體視差的圖像分割算法流程圖

所謂的分割就是按照一定的準則把圖像劃分成若干互不交疊區域，被分割的區域滿足同質性和唯一性，其中，同質性是指分割區域中的所有像素點應具有某種相同特性，如灰度、紋理[、彩色和運動等特徵：唯一性指分割的區域的特性是唯一的，與相鄰的其他分割區域存在明顯差異。不論是靜態圖像的分割還是運動圖像的分割，不論是基於邊緣的分割還是基於紋理的分割。研究者已經研究了或正在研究著各種各樣的算法。可以大致分為以下幾類：

1. 基於像素分類的分割：在特徵空間裡，定義一個分類函式，通過函式隸屬關係，將像素映射到不同的類別的集合，所分割的圖像是由一組特定的像素點組成的。主要有閾值法和聚類法等。
   
2. 基於邊緣檢測的分割：基本思想是先檢測圖像中的邊緣點，再按照一定的策略連線成輪廓，從而構成分割區域。
   
3. 基於區域的分割：直接以在圖像空間區域中所劃分的區域滿足同質性為準則來提取若干特徵相近或相同的像素點組成區域。主要方法有區域生長法、分裂合併法、水線法和基於圖論的分割方法。
   
4. 基於運動的分割：運動圖像序列為目標分割提供了比靜止圖像更多的有用信息，運動目標分割中常用到光流場和運動估計等．
   

立體圖像傳輸

隨著網際網路和無線移動通信的快速發展，圖像、視頻等多媒體通信得到日益廣泛的套用。但是在網際網路和無線移動信道等環境下的壓縮圖像、視頻的傳輸業務質量會受到信道傳輸差錯的嚴重影響，甚至整個圖像、視頻的通信完全癱瘓，對於立體圖像的傳輸也面臨同樣的問題，因此必須提出一個保證圖像、視頻可靠性傳輸的機制。為了保證在網際網路和無線移動通信等信道中的圖像、視頻傳輸業務質量，差錯復原技術就成為易發生差錯信道下的圖像、視頻編碼的必不可少的一部分。

為了減少或消除信道差錯的影響，必須採用適當的技術來對抗信道差錯，這樣，差錯復原技術就成為易發生差錯信道下視頻壓縮編碼的重要內容之一。現有的或正在制定的視頻壓縮編碼標準，如H．263+和MPEG一4等為了提高差錯復原能力和滿足易發生差錯信道下視頻傳輸業務的要求，均採用了若干差錯復原技術，並成為標準的重要內容。

差錯復原技術(error resilience)是指在編碼器端通過改進傳輸碼流的結構，使其利於解碼器檢測差錯和恢復丟失的或差錯的數據；在解碼器端則利用圖像的空間及時間相關性來消除或降低信道差錯是圖像質量的影響。