《一種2D/3D圖像處理方法及裝置》是深圳超多維光電子有限公司於2013年3月25日申請的專利，該專利的公布號為CN103236074A，申請公布日為2013年8月7日，發明人是簡培雲、宋磊、劉寧、戈張。該發明涉及圖形圖像處理領域。
《一種2D/3D圖像處理方法及裝置》用以動態、實時的在一個或多個不規則顯示區域中呈現3D顯示；所述方法包括：創建至少一個圖像容器；所述圖像容器具有顯示維度標識和覆蓋面積標識；將顯示圖像在相應顯示維度標識和覆蓋面積標識的圖像容器中顯示；該發明適用於顯示器製造領域。
2020年11月，《一種2D/3D圖像處理方法及裝置》獲得第六屆廣東專利獎金獎。
（概述圖為《一種2D/3D圖像處理方法及裝置》摘要附圖）
基本介紹
- 中文名：一種2D/3D圖像處理方法及裝置
- 申請人：深圳超多維光電子有限公司
- 申請日：2013年3月25日
- 申請號：2013100973800
- 公布號：CN103236074A
- 公布日：2013年8月7日
- 發明人：簡培雲、宋磊、劉寧、戈張
- 地址：廣東省深圳市南山區華僑城東部工業區H-1棟101
- 分類號：G06T15/00(2011.01)I、G06T11/00(2006.01)I、H04N13/00(2006.01)I
- 類別：發明專利
專利背景,發明內容,專利目的,技術方案,改善效果,附圖說明,權利要求,實施方式,榮譽表彰,
專利背景
2013年3月之前的自由立體顯示設備通過視差障礙光柵或透鏡光柵等分光器件在水平方向上發生折射來為雙眼提供不同的透視圖像，利用人眼視差特性，不需要任何助視設備（如3D眼鏡，頭盔等），在人眼裸視條件下即可獲得具有完整深度信息的圖像，實現立體顯示效果。
2013年前，為了滿足用戶不同的瀏覽需求，提高用戶體驗，很多自由立體顯示設備可以進行2D/3D的硬體切換，他們之間的切換隻需在硬體上按下按鈕即可輕鬆實現。當2D顯示模式無法滿足瀏覽需求時，可以切換到3D模式播放立體圖像，還可隨時切換回2D即時瀏覽平面圖像。
但這種切換隻是單方面從硬體上改變顯示器的分光器件，而播放的圖像內容並沒有實時改變；顯示設備只有在2D模式下播放平面圖像，3D模式下播放立體圖像時才具有理想的觀看效果。所以，這種在硬體上按下按鈕切換2D/3D的方法，是對同一圖像內容在兩種不同模式下的顯示，不會在兩種模式下都具有清晰的顯示效果。
此外，還出現了一種2D/3D共融的技術，在硬體上設計3D模式的局部視窗，從而達到顯示畫面中局部區域呈現3D效果，其餘區域呈現2D效果。該技術存在上述同一顯示內容在不同顯示模式下的顯示效果不清晰的問題外，由於其3D模式的局部視窗形狀通常為規則的矩形，很難實現任意形狀的3D局部視窗及多個3D局部視窗的顯示效果，大大限制用戶體驗。
發明內容
專利目的
該發明主要解決的技術問題是提供一種圖像處理方法及裝置，能夠動態、實時的在一個或多個不規則顯示區域中呈現3D顯示，豐富用戶體驗。
技術方案
《一種2D/3D圖像處理方法及裝置》採用如下技術方案：
一方面，提供一種2D/3D圖像處理方法，其特徵在於，包括：創建至少一個圖像容器；所述圖像容器具有顯示維度標識和覆蓋面積標識；將顯示圖像在相應顯示維度標識和覆蓋面積標識的圖像容器中顯示。進一步的，所述顯示維度標識包含2D顯示和3D顯示；所述顯示圖像還包括動態數據，用於指示所述顯示圖像內包含的3D動態圖像元素，所述方法還包括：創建與所述3D動態圖像元素對應的動態圖像容器，並根據後續顯示圖像中3D動態圖像元素覆蓋面積、位置的變化更新所述動態圖像容器。
進一步的，所述顯示圖像還包含互動指令，用於指示用戶對所述顯示圖像的互動操作，所述方法還包括：根據所述互動指令對所述顯示圖像對應的圖像容器進行操作。進一步的，所述將顯示圖像在相應顯示維度的圖像容器中顯示包括：根據各個圖像容器的遮擋關係，獲取整個顯示區域信息；將所述整個顯示區域信息傳送給終端設備。其中，所述圖像容器還具有容器級別和深度級別；所述遮擋關係包括：下級圖像容器遮擋上級圖像容器，同級圖像容器中，深度級別大的圖像容器遮擋深度級別小的圖像容器。進一步的，所述整個顯示區域信息通過掩碼數據或者幾何參數兩種形式傳送。可選的，所述整個顯示區域信息通過掩碼數據傳送，所述將所述整個顯示區域信息傳送給終端設備包括：當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述整個顯示區域信息通過所述掩碼數據傳送給終端設備。
具體的，當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述覆蓋面積標識發生變化前後的掩碼數據進行異或，得到變化區域數據，將所述變化區域數據及所述變化區域位置信息傳送給終端設備；進一步的，所述方法還包括：將所述掩碼數據或者所述變化區域數據進行壓縮，將壓縮後的掩碼數據或者變化區域數據及所述變化區域數據的位置信息傳送給終端設備。可選的，所述整個顯示區域信息通過幾何參數傳送，所述將所述整個顯示區域信息傳送給終端設備包括：當所述圖像容器的維度標識為3D顯示，將所述幾何參數組合起來傳送給所述終端。
進一步的，所述將顯示圖像在相應顯示維度的圖像容器中顯示包括：根據各個圖像容器的遮擋關係，確定各個圖像容器的最終顯示維度標識；當所述最終顯示維度標識為3D顯示時，獲取對應3D圖像容器的視圖數據，按照終端設備預設的3D格式合成所述視圖數據，將合成後的所述視圖數據覆蓋到整個顯示區域中所述3D圖像容器對應的位置；當所述最終顯示維度標識為2D顯示時，將對應2D圖像容器複製到整個顯示區域中所述2D圖像容器對應的位置，形成2D/3D融合圖像；將所述2D/3D融合圖像傳送給終端設備。進一步的，所述圖像容器還具有容器級別和深度級別；所述遮擋關係包括：下級圖像容器遮擋上級圖像容器，同級圖像容器中，深度級別大的圖像容器遮擋深度級別小的圖像容器。
一方面，提供一種2D/3D圖像處理裝置，包括：創建模組，用於創建至少一個圖像容器；所述圖像容器具有顯示維度標識和覆蓋面積標識；顯示控制模組，用於控制顯示圖像在相應顯示維度標識和覆蓋面積標識的圖像容器中顯示。進一步的，所述顯示維度標識包含2D顯示和3D顯示；所述顯示圖像還包括動態數據，用於指示顯示圖像內包含的3D動態圖像元素；所述創建模組還用於創建與所述3D動態圖像元素對應的動態圖像容器，並根據後續顯示圖像中3D動態圖像元素覆蓋面積、位置的變化更新所述動態圖像容器。
進一步的，所述顯示圖像還包含互動指令，用於指示用戶對所述顯示圖像的互動操作；所述裝置還包括：互動模組，用於根據所述互動指令對所述顯示圖像對應的圖像容器進行操作。進一步的，所述顯示控制模組包括：顯示信息獲取單元，用於根據各個圖像容器的遮擋關係，獲取整個顯示區域信息；傳送單元，用於將所述整個顯示區域信息傳送給終端設備。可選的，所述整個顯示區域信息通過掩碼數據傳送；所述裝置還包括：第一處理單元，用於當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述整個顯示區域信息通過所述掩碼數據傳送給終端設備；壓縮單元，用於將所述掩碼數據進行壓縮；所述傳送單元，用於將壓縮後的掩碼數據傳送給終端設備。
可選的，所述整個顯示區域信息通過幾何參數傳送；所述裝置還包括：第二處理單元，用於當所述圖像容器的維度標識為3D顯示，將所述幾何參數組合起來，得到組合幾何參數；所述傳送單元，用於將所述組合幾何參數傳送給終端設備。進一步的，所述顯示控制模組包括：顯示維度確定單元，用於根據各個圖像容器的遮擋關係，確定各個圖像容器的最終顯示維度標識；圖像融合單元，用於當所述最終顯示維度標識為3D顯示時，獲取對應3D圖像容器的視圖數據，按照終端設備預設的3D格式合成所述視圖數據，將合成後的所述視圖數據覆蓋到整個顯示區域中所述3D圖像容器對應的位置；當所述最終顯示維度標識為2D顯示時，將對應2D圖像容器複製到整個顯示區域中所述2D圖像容器對應的位置，形成2D/3D融合圖像；傳送單元，用於將所述2D/3D融合圖像傳送給終端設備。
改善效果
《一種2D/3D圖像處理方法及裝置》能夠動態、實時的在一個或多個不規則顯示區域中呈現3D顯示，並保持其他區域呈現2D顯示的效果；同時，根據3D終端設備的互動指令可以實現相應的互動操作，豐富用戶體驗。
附圖說明
圖1是該發明提供的2D/3D圖像處理方法的流程圖；
圖2是該發明圖像容器的一種示意圖；
圖3是該發明圖像容器的另一種示意圖；
圖4是該發明圖像容器的另一種示意圖；
圖5是該發明圖像顯示區域的一種示意圖；
圖6是圖5所示圖像顯示區域對應的掩碼數據；
圖7是t-1時刻和t時刻整個顯示區域對應的掩碼數據；
圖8是圖7中t-1時刻和t時刻掩碼數據進行異或操作得到的異或數據；
圖9是圖8中區域702壓縮後得到的傳輸數據；
圖10是通過幾何參數表示圖像容器的示意圖；
圖11是2D/3D圖像數據融合後的圖像效果；
圖12是該發明提供的2D/3D圖像處理裝置的結構示意圖。
權利要求
1.一種2D/3D圖像處理方法，其特徵在於，包括：創建至少一個圖像容器；所述圖像容器具有顯示維度標識和覆蓋面積標識；將顯示圖像在相應顯示維度標識和覆蓋面積標識的圖像容器中顯示。
2.根據權利要求1所述的方法，其特徵在於：所述顯示維度標識包含2D顯示和3D顯示；所述顯示圖像還包括動態數據，用於指示所述顯示圖像內包含的3D動態圖像元素，所述方法還包括：創建與所述3D動態圖像元素對應的動態圖像容器，並根據後續顯示圖像中3D動態圖像元素覆蓋面積、位置的變化更新所述動態圖像容器。
3.根據權利要求1所述的方法，其特徵在於：所述顯示維度標識包含2D顯示和3D顯示；所述顯示圖像還包含互動指令，用於指示用戶對所述顯示圖像的互動操作，所述方法還包括：根據所述互動指令對所述顯示圖像對應的圖像容器進行操作。
4.根據權利要求1-3任一項所述的方法，其特徵在於，所述將顯示圖像在相應顯示維度的圖像容器中顯示包括：根據各個圖像容器的遮擋關係，獲取整個顯示區域信息；將所述整個顯示區域信息傳送給終端設備。
5.根據權利要求4所述的方法，其特徵在於：所述圖像容器還具有容器級別和深度級別；所述遮擋關係包括：下級圖像容器遮擋上級圖像容器，同級圖像容器中，深度級別大的圖像容器遮擋深度級別小的圖像容器。
6.根據權利要求4所述的方法，其特徵在於：所述整個顯示區域信息通過掩碼數據或者幾何參數兩種形式傳送。
7.根據權利要求6所述的方法，其特徵在於：若所述整個顯示區域信息通過掩碼數據傳送，所述將所述整個顯示區域信息傳送給終端設備包括：當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述整個顯示區域信息通過所述掩碼數據傳送給終端設備。
8.根據權利要求7所述的方法，其特徵在於：所述當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述整個顯示區域信息通過所述掩碼數據傳送給終端設備包括：當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述覆蓋面積標識發生變化前後的掩碼數據進行異或，得到變化區域數據，將所述變化區域數據及所述變化區域位置信息傳送給終端設備。
9.根據權利要求8所述的方法，其特徵在於：若所述整個顯示區域信息通過掩碼數據傳送，所述方法還包括：將所述掩碼數據或者所述變化區域數據進行壓縮，將壓縮後的掩碼數據或者變化區域數據及所述變化區域數據的位置信息傳送給終端設備。
10.根據權利要求6所述的方法，其特徵在於：若所述整個顯示區域信息通過幾何參數傳送，所述將所述整個顯示區域信息傳送給終端設備包括：當所述圖像容器的維度標識為3D顯示，將所述幾何參數組合起來傳送給所述終端。
11.根據權利要求1-3任一項所述的方法，其特徵在於，所述將顯示圖像在相應顯示維度的圖像容器中顯示包括：根據各個圖像容器的遮擋關係，確定各個圖像容器的最終顯示維度標識；當所述最終顯示維度標識為3D顯示時，獲取對應3D圖像容器的視圖數據，按照終端設備預設的3D格式合成所述視圖數據，將合成後的所述視圖數據覆蓋到整個顯示區域中所述3D圖像容器對應的位置；當所述最終顯示維度標識為2D顯示時，將對應2D圖像容器複製到 整個顯示區域中所述2D圖像容器對應的位置，形成2D/3D融合圖像；將所述2D/3D融合圖像傳送給終端設備。
12.根據權利要求11所述的圖像處理方法，其特徵在於，還包括：所述圖像容器還具有容器級別和深度級別；所述遮擋關係包括：下級圖像容器遮擋上級圖像容器，同級圖像容器中，深度級別大的圖像容器遮擋深度級別小的圖像容器。
13.一種2D/3D圖像處理裝置，其特徵在於，包括：創建模組，用於創建至少一個圖像容器；所述圖像容器具有顯示維度標識和覆蓋面積標識；顯示控制模組，用於控制顯示圖像在相應顯示維度標識和覆蓋面積標識的圖像容器中顯示。
14.根據權利要求13所述的裝置，其特徵在於：所述顯示維度標識包含2D顯示和3D顯示；所述顯示圖像還包括動態數據，用於指示顯示圖像內包含的3D動態圖像元素；所述創建模組還用於創建與所述3D動態圖像元素對應的動態圖像容器，並根據後續顯示圖像中3D動態圖像元素覆蓋面積、位置的變化更新所述動態圖像容器。
15.根據權利要求14所述的裝置，其特徵在於：所述顯示維度標識包含2D顯示和3D顯示；所述顯示圖像還包含互動指令，用於指示用戶對所述顯示圖像的互動操作；所述裝置還包括：互動模組，用於根據所述互動指令對所述顯示圖像對應的圖像容器進行操作。
16.根據權利要求13-15任一項所述的裝置，其特徵在於：所述顯示控制模組包括：顯示信息獲取單元，用於根據各個圖像容器的遮擋關係，獲取整個顯示區域信息；傳送單元，用於將所述整個顯示區域信息傳送給終端設備。
17.根據權利要求16所述的裝置，其特徵在於：所述整個顯示區域信息通過掩碼數據傳送；所述裝置還包括：第一處理單元，用於當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述整個顯示區域信息通過所述掩碼數據傳送給終端設備；壓縮單元，用於將所述掩碼數據進行壓縮；所述傳送單元，用於將壓縮後的掩碼數據傳送給終端設備。
18.根據權利要求16所述的裝置，其特徵在於：所述整個顯示區域信息通過幾何參數傳送；所述裝置還包括：第二處理單元，用於當所述圖像容器的維度標識為3D顯示，將所述幾何參數組合起來，得到組合幾何參數；所述傳送單元，用於將所述組合幾何參數傳送給終端設備。
19.根據權利要求13-15任一項所述的裝置，其特徵在於：所述顯示控制模組包括：顯示維度確定單元，用於根據各個圖像容器的遮擋關係，確定各個圖像容器的最終顯示維度標識；圖像融合單元，用於當所述最終顯示維度標識為3D顯示時，獲取對應3D圖像容器的視圖數據，按照終端設備預設的3D格式合成所述視圖數據，將合成後的所述視圖數據覆蓋到整個顯示區域中所述3D圖像容器對應的位置；當所述最終顯示維度標識為2D顯示時，將對應2D圖像容器複製到整個顯示區域中所述2D圖像容器對應的位置，形成2D/3D融合圖像；傳送單元，用於將所述2D/3D融合圖像傳送給終端設備。
實施方式
《一種2D/3D圖像處理方法及裝置》實施例中所述的終端設備可以是具有三維（threedimensional，3D）顯示功能的任意終端設備（如：3D電視、3D手機、3D電腦等），其中，3D顯示終端可以包含多種3D顯示技術，如基於偏振光眼鏡技術、基於快門式眼鏡技術、裸眼稜鏡顯示技術、裸眼狹縫顯示技術、逐點切換的3D顯示技術、真逐點切換3D顯示技術等。這些不同的3D顯示技術各有不同的技術特性，如開口率、光柵傾斜方向、刷新速度等等，因此，不同3D顯示技術對應的3D終端會有各自不同的3D畫面格式要求，如基於快門式眼鏡技術需要左右視圖按照一定頻率快速切換，偏振光眼鏡技術需要隔行交錯，裸眼狹縫顯示技術需要按照周期和角度進行排列等等；因此，在實現3D顯示過程中需要根據這些3D顯示格式要求，對左右視圖或更多的視圖，進行時間和空間上的重新排列。
其中，互動終端包括一些如滑鼠、鍵盤、觸控螢幕、攝像頭、陀螺儀等的輸入設備；或者，如距離感應器、遙控器等的感應器。互動設備可以發出直接的互動指令，如滑鼠點擊，手指移動等；也可以提供原始互動數據，再通過一些模式識別方法分析得到互動指令，如通過人臉跟蹤算法分析得到用戶的位置及視線方向等。互動終端將互動指令傳送給圖像處理裝置，圖像處理裝置會根據互動指令對圖像進行相應的處理，並將處理結果傳送給3D終端，完成互動過程。
該發明提供的圖像處理方法是基於3D硬體顯示設備，以實現動態、實時的在一個或多個不規則視窗中，呈現3D，並保持其他區域呈現二維（twodimensional，2D）的顯示效果。如圖1所示，該方法包括：
101、創建至少一個圖像容器。其中，所述圖像容器用於形成顯示區域的2D或3D區域。圖像容器可以是任意封閉的幾何形狀。各個圖像容器具有顯示維度標識和覆蓋面積標識；其中，顯示維度標識包括3D顯示和2D顯示，用於標識該圖像容器內部的內容通過2D還是通過3D顯示。例如可以通過邏輯數據“1”標識3D顯示，“0”標識2D顯示；覆蓋面積標識用於標識該圖像容器的位置、形狀及覆蓋面積，具體可以用一組掩碼數據來進行標識；若圖像容器是如三角形、矩形、橢圓等的規則幾何體，也可以用對應幾何體的幾何參數作為覆蓋面積標識。
進一步的，圖像容器還可以具有容器級別和深度級別，用於後續確定各個圖像容器的遮擋關係，其中，深度級別可以用深度值來表示；圖像容器還可以包括位置標識，用於確定圖像容器在整個顯示區域中的位置，可以通過圖像容器最小外接矩形的坐標來表示。以多個視頻套用為例，首先創建一個最頂級的圖像容器，在頂級圖像容器內部可創建多個子圖像容器，在各個子圖像容器的內部也可以繼續創建下一級的子圖像容器。通過各級圖像容器的融合形成顯示圖像的2D和3D區域。
具體的，如圖2所示，兩個視頻套用需要在矩形和橢圓形的3D區域中顯示，而其他區域保護2D顯示效果。首先，創建矩形頂級圖像容器201，其顯示維度標識為0，表示該容器為2D顯示；其覆蓋面積為整個顯示圖像，其覆蓋面積標識可以用一組掩碼數據，也可以用矩形的幾何參數（即矩形的四個頂點坐標）表示。接著，在頂級圖像容器201內部可以分別創建矩形子圖像容器202和橢圓形子圖像容器203，子圖像容器202和子圖像容器203的維度標識為1，表示其為3D顯示。其位置、形狀及覆蓋面積分別與顯示視頻套用的矩形和橢圓形的3D區域相同，可以通過掩碼數據或相應的幾何參數表示。這樣，通過各級圖像容器的融合，在整個顯示區域中可以形成如圖2所示的2D和3D區域；其中斜線區域為2D顯示，空白區域為3D顯示。
進一步的，若顯示圖像內部含有3D動態顯示，即顯示圖像內包含隨時間變化的3D動態圖像元素，則顯示圖像還包括動態數據，用於指示所述顯示圖像內包含的3D動態圖像元素。該步驟還包括：創建與所述3D動態圖像元素對應的動態圖像容器，並根據後續顯示圖像中3D動態圖像元素覆蓋面積、位置的變化更新所述動態圖像容器。
例如對於在視頻、用戶界面（UserInterface，UI）、遊戲、演示等環境下，描述一個隨著時間逐漸變化的物體。如圖3所示，在t時刻，顯示圖像中的杯子記為A:t，其形狀、位置和面積如圖3所示隨後杯子不斷的旋轉變大並移動，在t'時刻變為杯子A:t'。在此過程中杯子始終為3D顯示，顯示圖像的其餘部分為2D顯示。首先，將杯子作為3D動態圖像元素，創建與杯子對應的動態圖像容器301，其維度顯示標識為1，表示圖像容器301為3D顯示；其形狀、位置和覆蓋面積與杯子A:t相同，通過掩碼“1”填充圖像容器301，掩碼“0”填充圖像容器301以外的其它區域，其中“0”表示該顯示單元為2D顯示，“1”表示該顯示單元為3D顯示。然後，根據後續顯示圖像中杯子的位置、形狀及覆蓋面積更新圖像容器301的掩碼數據，使圖像容器301掩碼數據的位置、形狀及覆蓋面積與杯子相一致，這樣，通過實時更新圖像容器301的位置、形狀和覆蓋面積實現了顯示圖像動態變化的效果。其中，3D動態圖像元素對應的動態圖像容器的位置、形狀和掩碼數據可以從實時渲染環境中獲取，或者通過外部數據讀取。
進一步的，若用戶通過互動終端與顯示圖像進行互動，則顯示圖像還包含互動指令，用於指示用戶對所述顯示圖像的互動操作。其中，互動指令由互動終端（如滑鼠、觸控螢幕、攝像頭等）發出，互動指令可以包括放大、縮小、旋轉、位移、仿射變換、裁剪等操作。其中，用戶通過互動終端發出上述互動指令的過程可以通過2013年3月之前的實體按鍵、虛擬觸摸按鍵等實現。
該步驟還包括：根據互動指令對顯示圖像對應的圖像容器進行操作。其中，互動指令的對象可以是已創建的各級圖像容器，例如圖4中整個顯示區域中顯示2D區域和3D區域，2D區域對應頂級圖像容器401，3D區域對應次級圖像容器402，用戶通過滑鼠點擊3D區域，發出旋轉、放大並移動的互動指令將3D區域移動至圖像容器402’所在的位置，則圖像容器402後續的掩碼數據按照該互動指令更新至圖像容器402’。
102、將顯示圖像在相應顯示維度標識和覆蓋面積標識的圖像容器中顯示。首先，根據步驟101創建的各個所述圖像容器的容器級別和深度級別確定各個圖像容器的遮擋關係，獲得整個顯示區域信息。其中，所述遮擋關係包括：下級圖像容器遮擋上級圖像容器，同級圖像容器中，深度級別大的圖像容器遮擋深度級別小的圖像容器。如圖5所示頂級圖像容器501是2D顯示，其子圖像容器502和子圖像容器503為同級圖像容器，且均為3D顯示，但圖像容器502的深度級別要小於圖像容器503。子容器502中有2D顯示的下一級子容器504。則子圖像容器502和503將遮擋頂級容器501，深度級別大的子圖像容器503將遮擋深度級別小的子圖像容器502，下一級子容器504將遮擋上級子容器502和503，最終得到如圖5所示整個顯示區域信息，其中斜線區域為2D顯示，非斜線區域為3D顯示。
其次，將整個顯示區域信息傳送給終端設備。終端設備是指具有3D顯示功能的終端設備。3D終端設備根據所採用的3D顯示技術的不同其所要求的3D格式也各不相同。下面以真逐點技術的3D終端設備為例說明顯示區域信息傳送的整個過程。整個顯示區域信息可以通過掩碼數據表示並傳送。掩碼數據是一種直觀、簡單的表示形式，每位掩碼數據可映射到一個顯示單元，這樣，可以精確記錄顯示螢幕中每個顯示單元的顯示狀態。當然，在精度要求不高的情況下，每位掩碼數據可以映射到較多的顯示單元，比如每位掩碼覆蓋2×2個顯示單元、4×4個顯示單元等。圖6為圖5對應的掩碼數據圖，其中"0"表示該顯示單元為2D狀態，"1"表示該顯示單元為3D狀態。若整個顯示區域信息通過上述的掩碼數據表示，則這些掩碼數據通過USB、IC、HDMI、MIPI等數據線傳輸給3D終端設備。進一步的，可以在時間和空間上減少冗餘的掩碼數據，再進行傳輸。
具體的，當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述整個顯示區域信息通過所述掩碼數據傳送給終端設備。這樣，只在3D圖像容器的位置、形狀或面積發生變化時，才傳送掩碼數據，不用在各個顯示時刻傳送對應的掩碼數據，可以減少掩碼數據的傳送頻率，從而減小數據傳輸量。具體的，當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述覆蓋面積標識發生變化前後的掩碼數據進行異或，得到變化區域數據，將所述變化區域數據及所述變化區域位置信息傳送給終端設備。
如圖7所示為t-1時刻和t時刻整個顯示區域對應的掩碼數據，其中，整個顯示區域包括三個圖像容器701、702和703，在t-1時刻到t時刻之間，只有圖像容器702內部的掩碼數據發生了變化，則只需將t-1時刻和t時刻圖像容器702的掩碼數據進行異或操作，得到如圖8所示的異或數據。這樣，截取t-1時刻到t時刻之間的變化區域數據（即圖8中容器702對應的掩碼數據），只需將變化區域的數據和變化區域的位置信息傳送給3D終端設備即可。
進一步的，為了減小數據傳送量，可以將掩碼數據或者變化區域的數據進行壓縮，將壓縮後的掩碼數據或者變化區域數據及變化區域位置信息傳送給3D終端設備。具體可以對“0”和“1”數據分布的信息進行編碼，以對變化區域數據進行壓縮為例，如圖8中的變化區域702，可以將每一行的“0”和“1”連續出現的次數作為傳輸數據，則圖8中702區域的數據壓縮後得到如圖9的表格中所示的傳輸數據。在數據傳輸過程中，只需向終端設備傳送表9中的傳輸數據即可。
終端設備接收到變化區域的數據後，如果檢測到這些數據是經過壓縮的，則需要根據壓縮的方式進行解壓縮，即將圖9的數據還原為圖8中區域702的數據，驅動顯示裝置中對應位置的2D/3D切換單元的顯示狀態重新設定。
上述過程中，若t-1時刻到t時刻3D圖像容器的覆蓋面積標識未發生變化，則不需要進行數據傳輸，3D終端保持原有狀態。其中，若顯示區域內圖像容器為三角形、橢圓等規則形狀，且結構比較簡單；則整個顯示區域信息還可以通過幾何參數表示並傳送。
例如三角形圖像容器用TRI表示，並記錄圖像容器三個頂點A、B、C的坐標；四邊形圖像容器用QUAD表示，並記錄圖像容器的四個頂點A、B、C、D的坐標；多邊形圖像容器則用POLYGON表示，並記錄圖像容器的所有頂點A、B、C、D、E…等的坐標；圓或橢圓的圖像容器可用ELLIPSE表示，並按照公式記錄其參數a、b和圓心的坐標，具體如圖10所示。對於通過多個規則圖像容器組合得到的比較複雜的圖像，可以將各個圖像容器對應的幾何參數組合起來通過USB、IC、HDMI、MIPI等數據線傳輸給3D終端設備；3D終端設備通過幾何參數，將所有圖像容器的幾何形狀還原出來，並按照各圖像容器的容器級別和深度級別確定各個圖像容器的遮擋關係，得到各個圖像容器最終的顯示維度標識，並根據圖像容器的幾何參數和最終的顯示維度標識驅動顯示裝置中對應位置的2D/3D切換單元的顯示狀態重新設定。
上述兩種顯示區域信息的表示和傳送形式可以根據不同的套用環境單獨使用，也可以組合使用。如對於形狀非常複雜的圖像容器，可採用掩碼數據表示，而對於形狀規則的圖像容器可採用幾何參數表示，最後按照各自的容器級別和深度級別進行遮擋處理，得到整個顯示區域信息。
進一步的，步驟102還可以包括：根據各個圖像容器的遮擋關係，確定各個圖像容器的最終顯示維度標識。當所述最終顯示維度標識為3D顯示時，獲取對應3D圖像容器的視圖數據，按照終端設備預設的3D格式合成所述視圖數據，將合成後的所述視圖數據覆蓋到整個顯示區域中所述3D圖像容器對應的位置。具體的，可以通過圖形渲染或者外部檔案讀取的方式獲取兩個或多個視圖的數據；例如，遊戲中可以對3D物體進行多次不同角度的渲染得到；視頻回放中可以從多視圖的視頻檔案讀取不同的視圖。得到兩個或多視圖數據後，需要按照3D終端所需的3D格式進行合成，即將兩個或多個視圖的信息按照一定的時間或空間的邏輯順序進行像素或次像素的重新排列，最後將兩個或多個視圖的信息合成一幅圖像，從而使3D圖像容器中的內容成為3D終端所需的3D格式。隨後，將合成後的視圖數據覆蓋到整個顯示區域中3D圖像容器對應的位置。
當所述最終顯示維度標識為2D顯示時，將對應2D圖像容器複製到整個顯示區域中該2D圖像容器對應的位置中，形成2D/3D融合圖像。圖11顯示了2D/3D圖像數據融合後的圖像效果，其中物體A為3D顯示，對物體A的左右視圖進行了隔行交錯的排列；B為2D物體，則保持其2D顯示效果。最後，將2D/3D融合圖像傳送給終端設備。3D終端設備根據2D/3D融合圖像以及顯示裝置中對應位置的2D/3D切換單元的顯示狀態，實現2D/3D不同區域的同屏顯示。
通過上述方法能夠動態、實時的在一個或多個不規則顯示區域中呈現3D顯示，並保持其他區域呈現2D顯示的效果；同時，根據3D終端設備的互動指令可以實現相應的互動操作，豐富用戶體驗。
該發明還提供一種2D/3D圖像處理裝置，如圖12所示，該裝置包括：創建模組01，用於創建至少一個圖像容器；所述圖像容器具有顯示維度標識和覆蓋面積標識；顯示控制模組02，用於控制顯示圖像在相應顯示維度標識和覆蓋面積標識的圖像容器中顯示。進一步的，所述顯示維度標識包含2D顯示和3D顯示；所述顯示圖像還包括動態數據，用於指示顯示圖像內包含的3D動態圖像元素；所述創建模組01還用於創建與所述3D動態圖像元素對應的動態圖像容器，並根據後續顯示圖像中3D動態圖像元素覆蓋面積、位置的變化更新所述動態圖像容器。
進一步的，所述顯示維度標識包含2D顯示和3D顯示；所述顯示圖像還包含互動指令，用於指示用戶對所述顯示圖像的互動操作；所述裝置還包括：互動模組03，用於根據所述互動指令對所述顯示圖像對應的圖像容器進行操作。進一步的，顯示控制模組02包括：顯示信息獲取單元021，用於根據各個圖像容器的遮擋關係，獲取整個顯示區域信息；傳送單元022，用於將所述整個顯示區域信息傳送給終端設備。
可選的，所述整個顯示區域信息通過掩碼數據傳送；所述裝置還包括：第一處理單元023，用於當圖像容器的維度標識為3D顯示，且覆蓋面積標識發生變化時，將所述整個顯示區域信息通過所述掩碼數據傳送給終端設備；壓縮單元024，用於將所述掩碼數據進行壓縮；所述傳送單元022，用於將壓縮後的掩碼數據及傳送給終端設備。可選的，所述整個顯示區域信息通過幾何參數傳送；所述裝置還包括：第二處理單元023’（圖中未畫出），用於當所述圖像容器的維度標識為3D顯示，將所述幾何參數組合起來，得到組合幾何參數；所述傳送單元022，用於將所述組合幾何參數傳送給終端設備。
進一步的，所述顯示控制模組02包括：顯示維度確定單元025，用於根據各個圖像容器的遮擋關係，確定各個圖像容器的最終顯示維度標識；圖像融合單元026，用於當所述最終顯示維度標識為3D顯示時，獲取對應3D圖像容器的視圖數據，按照終端設備預設的3D格式合成所述視圖數據，將合成後的所述視圖數據覆蓋到整個顯示區域中所述3D圖像容器對應的位置；當所述最終顯示維度標識為2D顯示時，將對應2D圖像容器複製到整個顯示區域中所述2D圖像容器對應的位置，形成2D/3D融合圖像；傳送單元022，用於將所述2D/3D融合圖像傳送給終端設備。
榮譽表彰
2020年11月，《一種2D/3D圖像處理方法及裝置》獲得第六屆廣東專利獎金獎。
