《三維圖像的獲得方法、裝置及系統》是深圳奧比中光科技有限公司於2016年8月19日申請的專利，該專利的公布號為CN106254854A，授權公布日為2016年12月21日，發明人是黃源浩、肖振中、劉龍、許星。
《三維圖像的獲得方法、裝置及系統》公開了三維圖像的獲得方法、裝置及系統。其中，上述方法包括：分別獲取以第一視點對目標進行採集得到的第一深度圖像和以第二視點對所述目標進行採集得到的第一彩色圖像；利用所述第一深度圖像和所述第一彩色圖像得到所述目標在第一視點的第二彩色圖像；由所述第一彩色圖像和第二彩色圖像形成三維圖像。通過上述方式，能夠提高基於二維圖像生成的三維顯示效果。
2020年7月14日，《三維圖像的獲得方法、裝置及系統》獲得第二十一屆中國專利獎優秀獎。
（概述圖為《三維圖像的獲得方法、裝置及系統》摘要附圖）
基本介紹
- 中文名：三維圖像的獲得方法、裝置及系統
- 申請人：深圳奧比中光科技有限公司
- 申請日：2016年8月19日
- 申請號：201610695365X
- 公布號：CN106254854A
- 公布日：2016年12月21日
- 發明人：黃源浩、肖振中、劉龍、許星
- 地址：廣東省深圳市南山區粵興三道8號中國地質大學產學研基地中地大樓A808
- Int. Cl.：H04N13/02(2006.01)I
- 代理機構：深圳市威世博智慧財產權代理事務所
- 代理人：何青瓦
- 類別：發明專利
專利背景,發明內容,專利目的,技術方案,有益效果,附圖說明,技術領域,權利要求,實施方式,榮譽表彰,
專利背景
人類雙眼由於位置不同在對具有一定距離的物體進行觀看時會產生視覺差異，正是這種視差讓人們有了三維的感觀效果。三維顯示技術根據這一原理，通過將同時獲取的雙眼圖像分別被對應的眼睛接收，從而產生三維效果。由於這一技術給人們帶來了全新的立體觀看體驗，近年來人們對三維圖像資源的需求也日漸增加。
2016年前獲得三維圖像的方法之一是將二維圖像通過圖像處理技術轉化為三維圖像。具體為運用圖像處理技術計算得到已有二維圖像的場景深度信息，進而繪製出虛擬的其他視點圖像，利用已有二維圖像和虛擬的其他視點圖像形成三維圖像。
由於該其他視點圖像是由已有視點的二維圖像進行圖像處理得到虛擬圖像，這一過程會導致圖像細節信息的流失，影響三維顯示的效果。
發明內容
專利目的
《三維圖像的獲得方法、裝置及系統》主要解決的技術問題是提供三維圖像的獲得方法、裝置及系統，能夠提高基於二維圖像生成的三維顯示效果。
技術方案
《三維圖像的獲得方法、裝置及系統》採用的一個技術方案是：提供一種三維圖像的獲得方法，包括：分別獲取以第一視點對目標進行採集得到的第一深度圖像和以第二視點對所述目標進行採集得到的第一彩色圖像；利用所述第一深度圖像和所述第一彩色圖像得到所述目標在第一視點的第二彩色圖像；由所述第一彩色圖像和第二彩色圖像形成三維圖像。
其中，所述第一深度圖像由設定在所述第一視點的深度相機對所述目標進行採集得到，所述第一彩色圖像由設定在所述第二視點的彩色相機對所述目標進行採集得到。
其中，所述利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像，包括：
利用下面公式1計算得到所述第一深度圖像的第一像素坐標（uD，vD）與所述第一彩色圖像的第二像素坐標（uR，vR）之間的對應關係，
（1）
其中，所述ZD為所述第一深度圖像中的深度信息，表示所述目標距離所述深度相機的深度值；ZR表示所述目標距離所述彩色相機的深度值；
為所述彩色相機的圖像坐標繫上的像素齊次坐標；
為所述深度相機的圖像坐標繫上的像素齊次坐標；MR為所述彩色相機的內參矩陣，MD為所述深度相機的內參矩陣；R為深度相機相對於彩色相機的外參矩陣中的旋轉矩陣，T為深度相機相對於彩色相機的外參矩陣中的平移矩陣。
將所述第一深度圖像的第一像素坐標的像素值設定為所述第一彩色圖像中與所述第一像素坐標具有對應關係的第二像素坐標的像素值，以形成所述目標在第一視點的第二彩色圖像。
其中，所述平移矩陣T＝[t，0，0]，其中，所述t為設定值。
其中，還包括:當判斷所述目標與所述深度相機和所述彩色相機的距離均大於第一距離值時，將所述設定值t調大；當判斷所述目標與所述深度相機和所述彩色相機的距離均小於第二距離值時，將所述設定值t調小，其中，所述第一距離值大於或等於所述第二距離值。
其中，所述第一視點與第二視點之間的位置關係為人體雙眼之間的位置關係。
其中，所述彩色相機和所述深度相機的圖像採集靶面大小相等、解析度相同以及焦距相同；或所述彩色相機和所述深度相機的圖像採集靶面大小、解析度以及焦距中的至少一個不相同，在所述利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像之後，所述方法還包括：對所述第一彩色圖像和/或所述第二彩色圖像進行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和解析度相同。
其中，所述第一深度圖像和所述第一彩色圖像為照片或者視頻，當所述第一深度圖像和所述第一彩色圖像為視頻時，所述深度相機和彩色相機的採集頻率同步，或者若深度相機和彩色相機的採集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。
為解決上述技術問題，該發明採用的另一種技術方案是：提供一種三維圖像獲得裝置，包括：獲取模組，用於分別獲取以第一視點對目標進行採集得到的第一深度圖像和以第二視點對所述目標進行採集得到的目標的第一彩色圖像；計算模組，用於利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像；形成模組，用於由所述第一彩色圖像和第二彩色圖像形成三維圖像。
為解決上述技術問題，該發明採用的再一種技術方案是：一種三維圖像獲得系統，包括深度相機、彩色相機、與所述深度相機和彩色相機連線的圖像處理設備；所述圖像處理設備用於：分別獲取所述深度相機以第一視點對目標進行採集得到的第一深度圖像和所述彩色相機以第二視點對所述目標進行採集得到的目標的第一彩色圖像；利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像；由所述第一彩色圖像和第二彩色圖像形成三維圖像。
有益效果
《三維圖像的獲得方法、裝置及系統》的有益效果是：利用採集得到的第一視點的第一深度圖像和第二視點的第一彩色圖像得到第一視點的第二彩色圖像，進而由第一彩色圖像和第二彩色圖像形成三維圖像，由於該第一視點的第二彩色圖像基於該第一視點的第一深度圖像形成，而非單純依靠其他不同視點的圖像處理得到，因此減少了圖像細節信息的流失，以更準確獲得兩個視點的彩色圖像，進而減少了合成的三維圖像的失真度，提高了基於二維圖像生成的三維顯示效果。
附圖說明
圖1是《三維圖像的獲得方法、裝置及系統》三維圖像的獲得方法一實施例的流程圖；
圖2是該發明三維圖像的獲得方法一套用場景的示意圖；
圖3是該發明三維圖像的獲得方法另一實施例的部分流程圖；
圖4是該發明三維圖像的獲得方法再一實施例的部分流程圖；
圖5是該發明三維圖像獲得裝置一實施例的結構示意圖；
圖6是該發明三維圖像獲得系統一實施例的結構示意圖；
圖7是該發明三維圖像獲得系統另一實施例的結構示意圖。
技術領域
《三維圖像的獲得方法、裝置及系統》涉及三維顯示技術領域，特別是涉及三維圖像的獲得方法、裝置及系統。
權利要求
1.一種三維圖像的獲得方法，其特徵在於，包括：分別獲取以第一視點對目標進行採集得到的第一深度圖像和以第二視點對所述目標進行採集得到的第一彩色圖像；利用所述第一深度圖像和所述第一彩色圖像得到所述目標在第一視點的第二彩色圖像；由所述第一彩色圖像和第二彩色圖像形成三維圖像。
2.根據權利要求1所述的方法，其特徵在於，所述第一深度圖像由設定在所述第一視點的深度相機對所述目標進行採集得到，所述第一彩色圖像由設定在所述第二視點的彩色相機對所述目標進行採集得到。
3.根據權利要求2所述的方法，其特徵在於，所述利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像，包括：利用下面公式1計算得到所述第一深度圖像的第一像素坐標（uD，vD）與所述第一彩色圖像的第二像素坐標（uR，vR）之間的對應關係，（1）
其中，所述ZD為所述第一深度圖像中的深度信息，表示所述目標距離所述深度相機的深度值；ZR表示所述目標距離所述彩色相機的深度值；為所述彩色相機的圖像坐標繫上的像素齊次坐標；為所述深度相機的圖像坐標繫上的像素齊次坐標；MR為所述彩色相機的內參矩陣，MD為所述深度相機的內參矩陣；R為深度相機相對於彩色相機的外參矩陣中的旋轉矩陣，T為深度相機相對於彩色相機的外參矩陣中的平移矩陣。
將所述第一深度圖像的第一像素坐標的像素值設定為所述第一彩色圖像中與所述第一像素坐標具有對應關係的第二像素坐標的像素值，以形成所述目標在第一視點的第二彩色圖像。
4.根據權利要求3所述的方法，其特徵在於，所述平移矩陣T＝[t，0，0]，其中，所述t為設定值。
5.根據權利要求4所述的方法，其特徵在於，還包括:當判斷所述目標與所述深度相機和所述彩色相機的距離均大於第一距離值時，將所述設定值t調大；當判斷所述目標與所述深度相機和所述彩色相機的距離均小於第二距離值時，將所述設定值t調小，其中，所述第一距離值大於或等於所述第二距離值。
6.根據權利要求2至5任一項所述的方法，其特徵在於，所述第一視點與第二視點之間的位置關係為人體雙眼之間的位置關係。
7.根據權利要求6所述的方法，其特徵在於，所述彩色相機和所述深度相機的圖像採集靶面大小相等、解析度相同以及焦距相同；或所述彩色相機和所述深度相機的圖像採集靶面大小、解析度以及焦距中的至少一個不相同，在所述利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像之後，所述方法還包括：對所述第一彩色圖像和/或所述第二彩色圖像進行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和解析度相同。
8.根據權利要求2至5任一項所述的方法，其特徵在於，所述第一深度圖像和所述第一彩色圖像為照片或者視頻，當所述第一深度圖像和所述第一彩色圖像為視頻時，所述深度相機和彩色相機的採集頻率同步，或者若深度相機和彩色相機的採集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。
9.一種三維圖像獲得裝置，其特徵在於，包括：獲取模組，用於分別獲取以第一視點對目標進行採集得到的第一深度圖像和以第二視點對所述目標進行採集得到的目標的第一彩色圖像；計算模組，用於利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像；形成模組，用於由所述第一彩色圖像和第二彩色圖像形成三維圖像。
10.一種三維圖像獲得系統，其特徵在於，包括深度相機、彩色相機、與所述深度相機和彩色相機連線的圖像處理設備；所述圖像處理設備用於：分別獲取所述深度相機以第一視點對目標進行採集得到的第一深度圖像和所述彩色相機以第二視點對所述目標進行採集得到的目標的第一彩色圖像；利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像；由所述第一彩色圖像和第二彩色圖像形成三維圖像。
實施方式
參閱圖1，圖1是《三維圖像的獲得方法、裝置及系統》三維圖像的獲得方法一實施例的流程圖。該實施例中，該方法可由三維圖像獲得裝置執行，包括以下步驟：
S11：分別獲取以第一視點對目標進行採集得到的第一深度圖像和以第二視點對所述目標進行採集得到的第一彩色圖像。值得注意的是，該發明所述的深度圖像和彩色圖像均為二維圖像。其中，該第一視點和第二視點位於目標的不同位置，以獲得該目標的兩個視點處的圖像。通常，由於三維感觀是由雙眼觀看到的不同圖像疊加形成，故該第一視點和第二視點用於作為人體雙眼的兩個視點，即第一視點與第二視點之間的位置關係為人體雙眼之間的位置關係。例如，常規人體雙眼的距離為t，則將第一視點和第二視點之間的距離設定為t，該t具體如為6.5厘米。而且，為保證第一視點和第二視點的圖像深度相同或者類似，將第一視點和第二視點設定為與該目標的距離相同或者距離相差不超過設定閾值，在具體套用中，該設定閾值可設定為不大於10厘米或20厘米的值。
在一具體套用中，如圖2所示，該第一深度圖像由設定在所述第一視點的深度相機21對目標23進行採集得到，該第一彩色圖像由設定在所述第二視點的彩色相機22對目標23進行採集得到。深度相機21和彩色相機將其採集得到的圖像傳輸至三維圖像獲得裝置24，以進行下述三維圖像的獲取。由於彩色相機與深度相機的位置不同，故該第一彩色圖像與第一深度圖像中的相同像素坐標上所對應的空間三維點並不相同。
具體地，該深度相機21可以是基於結構光或TOF等其它原理的相機，這一類的深度相機可由一個投影鏡頭及採集鏡頭組成，比如結構光深度相機由投影模組及圖像採集鏡頭組成，其中投影模組用於向目標區域投射特定圖案的結構光，圖像採集鏡頭用於採集目標區域帶結構光圖案並進一步經計算可得到目標的第一深度圖像。
進一步地，由於利用深度相機獲取的深度圖像可能存在一些數據壞點或區域，在後面步驟中進一步處理時會將這些數據進行放大，進而嚴重影響三維顯示效果，為避免深度圖像的壞點或區域數據對三維顯示的影響，該S11還包括：對該第一深度圖像進行去噪、平滑處理，再利用處理後的該第一深度圖像進行下述步驟S12。
S12：利用所述第一深度圖像和所述第一彩色圖像得到所述目標在第一視點的第二彩色圖像。
例如，根據三維圖像轉換（3D Image Wrapping）理論——空間任一三維坐標點與圖像採集平面上的二維坐標點可通過透射變換理論對應起來，故由此理論可將第一視點和第二視點的圖像的像素坐標對應起來，並根據該對應關係和第二視點的第一彩色圖像的像素值，為第一視點的圖像像素坐標設定第二視點的第一彩色圖像中對應像素坐標的像素值。
結合參閱圖3，在另一實施例中，該第一深度圖像由設定在所述第一視點的深度相機對目標進行採集得到，該第一彩色圖像由設定在所述第二視點的彩色相機對目標進行採集得到，該S12包括以下子步驟：
S121：利用下面公式11計算得到所述第一深度圖像的第一像素坐標（uD，vD）與所述第一彩色圖像的第二像素坐標（uR，vR）之間的對應關係，（11）
其中，所述ZD為所述第一深度圖像中的深度信息，表示所述目標距離所述深度相機的深度值；ZR表示所述目標距離所述彩色相機的深度值；為所述彩色相機的圖像坐標繫上的像素齊次坐標；為所述深度相機的圖像坐標繫上的像素齊次坐標；MR為所述彩色相機的內參矩陣，MD為所述深度相機的內參矩陣；R為深度相機相對於彩色相機的外參矩陣中的旋轉矩陣，T為深度相機相對於彩色相機的外參矩陣中的平移矩陣。
上述相機的內參矩陣和外參矩陣可預先設定的，具體該內參矩陣可根據相機的設定參數計算得到，該外參矩陣可由深度相機與彩色相機之間的位置關係確定。在一具體實施例中，由相機的圖像採集鏡頭的像素焦距以及圖像採集靶面的中心位置坐標構成的內部參數矩陣。由於第一視點和第二視點的位置關係設定為人眼雙眼的位置關係，人體雙眼之間沒有任何的相對旋轉而僅有設定值t的距離，因此彩色相機相對於深度相機的旋轉矩陣R為單位矩陣，平移矩陣T＝[t，0，0]。
進一步地，該設定值t可根據深度相機和彩色相機與目標的距離進行調整。在再一實施例中，在上述S11之前還包括以下步驟：獲取目標與深度相機和彩色相機的距離；當判斷所述目標與所述深度相機和所述彩色相機的距離均大於第一距離值時，將所述設定值t調大；當判斷所述目標與所述深度相機和所述彩色相機的距離均小於第二距離值時，將所述設定值t調小。
其中，所述第一距離值大於或等於所述第二距離值。例如，當目標與深度相機的距離為100厘米，目標與彩色相機的距離也為100厘米，由於100厘米小於第二距離值200厘米，則將設定值調小一個步長值，或者按照當前目標與深度相機和彩色相機的距離計算得到調小值後進行調整。當目標與深度相機和彩色相機的距離均為300厘米，由於300厘米大於第二距離值200且小於第一距離值500厘米，則不將該設定值進行調整。
S122：將所述第一深度圖像的第一像素坐標的像素值設定為所述第一彩色圖像中與所述第一像素坐標具有對應關係的第二像素坐標的像素值，以形成所述目標在第一視點的第二彩色圖像。
例如，將第一視點的第一深度圖像的深度信息ZD代入上述公式11後，可求得公式11左邊的第二視點的深度信息也即第一彩色圖像的深度信息ZR，以及第一彩色圖像的圖像坐標繫上的像素齊次坐標
。在該實施例中，深度相機和彩色相機與目標的距離相同，即求得的ZD與ZR是相等的。由像素齊次坐標可得到與該第一深度圖像的第一像素坐標（uD，vD）一一對應的第一彩色圖像的第二像素坐標（uR，vR），例如其對應關係為（uR，vR）＝（uD+d，vD）。然後，根據對應關係，將第一彩色圖像的像素值（也可稱為RGB值）賦值於第一深度圖像，以生成第二彩色圖像。以圖像的其中一個像素坐標舉例，若d為1，則第一深度圖像的像素坐標（1，1）與第一彩色圖像的像素坐標（2，1）對應。然後，將第一深度圖像的像素坐標（1，1）的像素值設定為第一彩色圖像中像素坐標（2，1）的像素值（r，g，b）。
S13：由所述第一彩色圖像和第二彩色圖像形成三維圖像。
例如，將第一彩色圖像和第二彩色圖像分別作為人體雙眼圖像，以合成三維圖像，具體地可以是上下格式、左右格式或者紅藍格式的用於3D顯示的三維圖像。進一步地，在合成三維圖像後，還可將該三維圖像進行顯示，或者輸出至連線的外部顯示裝置進行顯示。
該實施例中，利用採集得到的第一視點的第一深度圖像和第二視點的第一彩色圖像得到第一視點的第二彩色圖像，進而由第一彩色圖像和第二彩色圖像形成三維圖像，由於該第一視點的第二彩色圖像基於該第一視點的第一深度圖像形成，而非單純依靠其他不同視點的圖像處理得到，因此減少了圖像細節信息的流失，以更準確獲得兩個視點的彩色圖像，進而減少了合成的三維圖像的失真度，提高了基於二維圖像生成的三維顯示效果。
參閱圖4，在再一實施例中，三維圖像獲得裝置不根據上述第一視點和第二視點的彩色圖像合成三維圖像，而是根據該上述其中一個視點以及不同於上述兩個視點的第三視點的彩色圖像合成三維圖像。故，在上述13包括以下子步驟：
S131：根據所述第一視點的第一深度圖像與第二彩色圖像得到第三視點的第三彩色圖像；
S132：由所述第三彩色圖像與所述第一彩色圖像或第二彩色圖像形成三維圖像。
在S131中，可根據深度圖像繪製（depth-image-based rendering，DIBR）技術繪製得到第三視點的第三彩色圖像。例如，
a.將所述第一視點作為參考視點；
b.利用下述公式12得到第三視點的第三彩色圖像與所述參考視點的彩色圖像之間的圖像視差值d，
其中，B為第三視點與參考視點的間距，Z為所述參考視點的深度圖像的深度信息，表示所述目標距離所述第三視點和所述參考視點的深度值；所述f為所述參考視點所設定的相機的焦距；
c.按照所述圖像視差值移動所述參考視點的彩色圖像中的像素坐標，得到所述第三彩色圖像。
例如，將與該參考視點的彩色圖像的像素坐標（u1，v1）均移動圖像視差值d，得到第三彩色圖像的像素坐標（u2，v2）＝（u1+d，v1），並將像素坐標（u1，v1）的像素值對應賦值給得到第三彩色圖像的像素坐標（u2，v2），得到第三彩色圖像每個像素坐標的像素值。
值的注意的是，上述第三視點的第三彩色圖像可以第二視點作為參考視點，由第二視點的第一彩色圖像和第二深度圖像獲得，具體獲得方式可參考上述a-c。而該第二視點的第二深度圖像可根據上述S121得到第一深度圖像與第一彩色圖像之間的像素坐標的對應關係後，將所述第一彩色圖像的第二像素坐標的深度值設定為所述第一深度圖像中與所述第二像素坐標具有對應關係的第一像素坐標的深度值，以形成得到。
由於該實施方式可利用第一視點和第二視點的圖像繪製出第三視點的彩色圖像，進而利用第三視點的彩色圖像和第一視點或第二視點的彩色圖像作為人體雙眼圖像合成三維圖像，故根據實際觀看者雙眼兩個視點距離進行實時調整選擇與之匹配的兩個視點的彩色圖像合成三維圖像，以保證三維顯示效果，例如當觀看者雙眼距離為9厘米，則可繪製出與該第一視點距離9厘米的第三視點的彩色圖像，由該第三視點和第一時點的彩色圖像形成三維顯示。而且，由於該第一視點和第二視點的深度值可由採集得到的第一深度圖像直接得到，而無需經過圖像處理轉換得到，因此減少了圖像細節信息的流失。另外，由於該實施例可繪製出任意視點的真實彩色圖像，故無需對第一視點和第二視點的位置關係做出限定，即第一視點和第二視點的距離可設定為任意值，簡化了操作流程，降低了圖像採集難度。
可以理解的是，上述實施例中，可設定該深度相機和彩色相機的圖像採集靶面大小相等、解析度相同以及焦距相同。或者，彩色相機和所述深度相機的圖像採集靶面大小、解析度以及焦距中的至少一個不相同，例如彩色相機的靶面大小以及解析度都比深度相機大，此時，上述S12之後，該獲得方法還包括：對所述第一彩色圖像和/或所述第二彩色圖像進行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像對應的目標區域相同，且圖像大小與解析度也相同。由於彩色相機與深度相機在裝配時存在誤差，故上述該深度相機和彩色相機的圖像採集靶面大小相等、解析度相同以及焦距相同應理解為：該深度相機和彩色相機的圖像採集靶面大小、分辨力和焦距為在允許誤差的範圍內的相同。
而且，上述圖像包括照片或者視頻，當上述圖像為視頻時，所述深度相機和彩色相機的採集頻率同步，或者若深度相機和彩色相機的採集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。
參閱圖5，圖5是該發明三維圖像獲得裝置一實施例的結構示意圖。該實施例中，該獲得裝置50包括獲取模組51、計算模組52和形成模組53。其中，獲取模組51用於分別獲取以第一視點對目標進行採集得到的第一深度圖像和以第二視點對所述目標進行採集得到的目標的第一彩色圖像；計算模組52用於利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像；形成模組53用於由所述第一彩色圖像和第二彩色圖像形成三維圖像。
可選地，所述第一深度圖像由設定在所述第一視點的深度相機對所述目標進行採集得到，所述第一彩色圖像由設定在所述第二視點的彩色相機對所述目標進行採集得到。
可選地，計算模組52具體用於利用上述公式11計算得到所述第一深度圖像的第一像素坐標（uD，vD）與所述第一彩色圖像的第二像素坐標（uR，vR）之間的對應關係；將所述第一深度圖像的第一像素坐標的像素值設定為所述第一彩色圖像中與所述第一像素坐標具有對應關係的第二像素坐標的像素值，以形成所述目標在第一視點的第二彩色圖像。
進一步可選地，所述平移矩陣T＝[t，0，0]，其中，所述t為設定值。
更進一步地，計算模組52還可用於:當判斷所述目標與所述深度相機和所述彩色相機的距離均大於第一距離值時，將所述設定值t調大；當判斷所述目標與所述深度相機和所述彩色相機的距離均小於第二距離值時，將所述設定值t調小，其中，所述第一距離值大於或等於所述第二距離值。
可選地，所述第一視點與第二視點之間的位置關係為人體雙眼之間的位置關係。
可選地，所述彩色相機和所述深度相機的圖像採集靶面大小相等、解析度相同以及焦距相同；或所述彩色相機和所述深度相機的圖像採集靶面大小、解析度以及焦距中的至少一個不相同，該計算模組52還可用於：對所述第一彩色圖像和/或所述第二彩色圖像進行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和解析度相同。
可選地，所述第一深度圖像和所述第一彩色圖像為照片或者視頻，當所述第一深度圖像和所述第一彩色圖像為視頻時，所述深度相機和彩色相機的採集頻率同步，或者若深度相機和彩色相機的採集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。其中，該獲得裝置的上述模組分別用於執行上述方法實施例中的相應步驟，具體執行過程如上方法實施例說明，在此不作贅述。
參閱圖6，圖6是該發明三維圖像獲得系統一實施例方式的結構示意圖。該實施例中，該系統60包括深度相機61、彩色相機62、與所述深度相機61和彩色相機62連線的圖像處理設備63。該圖像處理設備63包括輸入接口631、處理器632、存儲器633。
該輸入接口631用於獲得深度相機61和彩色相機62採集得到的圖像。存儲器633用於存儲電腦程式，並向處理器632提供所述電腦程式，且可存儲處理器632處理時所採用的數據如深度相機61和彩色相機62的內參矩陣和外參矩陣等，以及輸入接口631獲得的圖像。處理器632用於：通過輸入接口631分別獲取所述深度相機61以第一視點對目標進行採集得到的第一深度圖像和所述彩色相機62以第二視點對所述目標進行採集得到的目標的第一彩色圖像；利用所述第一深度圖像和所述第一彩色圖像獲得所述目標在第一視點的第二彩色圖像；由所述第一彩色圖像和第二彩色圖像形成三維圖像。
該實施例中，圖像處理設備63還可包括顯示屏634，該顯示屏634用於顯示該三維圖像，以實現三維顯示。當然，在另一實施例中，圖像處理設備63不用於顯示該三維圖像，如圖7所示，該三維圖像獲得系統60還包括與圖像處理設備63連線的顯示設備64，顯示設備64用於接收圖像處理設備63輸出的三維圖像，並顯示該三維圖像。
可選地，處理器632具體用於利用上述公式11計算得到所述第一深度圖像的第一像素坐標（uD，vD）與所述第一彩色圖像的第二像素坐標（uR，vR）之間的對應關係；將所述第一深度圖像的第一像素坐標的像素值設定為所述第一彩色圖像中與所述第一像素坐標具有對應關係的第二像素坐標的像素值，以形成所述目標在第一視點的第二彩色圖像。
進一步可選地，所述平移矩陣T＝[t，0，0]，其中，所述t為設定值。
更進一步地，處理器632還可用於:當判斷所述目標與所述深度相機61和所述彩色相機62的距離均大於第一距離值時，將所述設定值t調大；當判斷所述目標與所述深度相機61和所述彩色相機62的距離均小於第二距離值時，將所述設定值t調小，其中，所述第一距離值大於或等於所述第二距離值。
可選地，所述第一視點與第二視點之間的位置關係為人體雙眼之間的位置關係。
可選地，所述彩色相機62和所述深度相機61的圖像採集靶面大小相等、解析度相同以及焦距相同；或所述彩色相機62和所述深度相機61的圖像採集靶面大小、解析度以及焦距中的至少一個不相同，該處理器632還可用於：對所述第一彩色圖像和/或所述第二彩色圖像進行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和解析度相同。
可選地，所述第一深度圖像和所述第一彩色圖像為照片或者視頻，當所述第一深度圖像和所述第一彩色圖像為視頻時，所述深度相機和彩色相機的採集頻率同步，或者若深度相機和彩色相機的採集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。
該圖像處理設備63可作為上述三維圖像獲得裝置，用於執行上述實施例所述方法。例如，上述《三維圖像的獲得方法、裝置及系統》實施方式揭示的方法也可以套用於處理器632中，或者由處理器632實現。處理器632可能是一種積體電路晶片，具有信號的處理能力。在實現過程中，上述方法的各步驟可以通過處理器632中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的處理器632可以是通用處理器、數位訊號處理器（DSP）、專用積體電路（ASIC）、現成可程式門陣列（FPGA）或者其他可程式邏輯器件、分立門或者電晶體邏輯器件、分立硬體組件。可以實現或者執行該發明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合該發明實施例所公開的方法的步驟可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機存儲器，快閃記憶體、唯讀存儲器，可程式唯讀存儲器或者電可擦寫可程式存儲器、暫存器等該領域成熟的存儲介質中。該存儲介質位於存儲器633，處理器632讀取相應存儲器中的信息，結合其硬體完成上述方法的步驟。
榮譽表彰
2020年7月14日，《三維圖像的獲得方法、裝置及系統》獲得第二十一屆中國專利獎優秀獎。
