《一種電視遙控方法及用該方法遙控操作電視機的系統》是TCL集團股份有限公司於2008年10月14日申請的發明專利，該專利的申請號為2008101991449，公布號為CN101729808A，公布日為2010年6月9日，發明人是邵詩強。
《一種電視遙控方法及用該方法遙控操作電視機的系統》所述電視遙控方法，其特徵在於包括以下步驟：操作者對攝像頭給出特定手勢動作；攝像頭獲取的特定手勢傳輸到電視內的三維運動識別模組，進行三維運動及動作識別；模組獲得特定手勢的三維運動坐標，輸出控制信號；電視機內的執行裝置根據控制信號執行相對應的程式。利用上述的方法，即可用手勢來進行電視的遙控操作，並且藉助於對應的遙控作業系統，使得電視的遙控操作變得更為簡單和人性化。特別是可以藉此為平台，不需要配置滑鼠、鍵盤等計算機外圍設備，就可以在電視上完成原本只有在計算機上才能進行的娛樂功能。
2014年11月6日，《一種電視遙控方法及用該方法遙控操作電視機的系統》獲得第十六屆中國專利優秀獎。
（概述圖為《一種電視遙控方法及用該方法遙控操作電視機的系統》摘要附圖）
基本介紹
- 中文名：一種電視遙控方法及用該方法遙控操作電視機的系統
- 公布號：CN101729808A
- 公布日：2010年6月9日
- 申請號：2008101991449
- 申請日：2008年10月14日
- 申請人：TCL集團股份有限公司
- 地址：廣東省惠州市廣東省惠州市鵝嶺南路6號TCL工業大廈8樓技術中心
- 發明人：邵詩強
- 分類號：H04N5/44（2006.01）I、G06F3/048（2006.01）I
- 代理機構：廣州粵高專利商標代理有限公司
- 類別：發明專利
- 代理人：羅曉林、曾志洪
專利背景,發明內容,專利目的,技術方案,改善效果,附圖說明,權利要求,實施方式,榮譽表彰,
專利背景
隨著數位電視的逐漸普及，廣大消費者更多地希望能與電視進行互動，既可以收看廣播電視節目，又可以在不中斷正在播放的電視節目的時同時，查看其他服務信息，如電子節目指南、股票行情、時事新聞、娛樂信息等；或者通過數位電視來與數位電視運營商提供的其他服務項目互動，如遊戲、瀏覽網頁、照片的播放、收發電子郵件、視頻點播等只有在計算機上才能進行的娛樂活動，此時，套用於電視上的控制裝置，尤其是遙控器就顯得格外重要。然而，傳統的利用紅外線的遙控器已經越來越不適應數位電視的操作要求
2008年10月前，也可以通過計算機外圍設備，如滑鼠、鍵盤等來實現上述互動目的，而計算機外圍設備雖然可以進行完善的人機互動，但該類設備需要藉助於茶几或桌面的操作平台。此外，該類設備的便攜性較差，也不符合消費者用遙控操作習慣。
另一方面，藉助遙控器或其它外設輸入裝置，可以解決操作距離的問題，但無任使用哪種類型的操作設備都存在丟失、尋找不便的麻煩。
因此，提供一種利用手勢進行遙控操作電視的方法及用該方法實現的遙控系統將是非常必要的。
發明內容
專利目的
《一種電視遙控方法及用該方法遙控操作電視機的系統》要解決的技術問題是，提供一種利用手勢進行遙控操作電視的方法。
技術方案
利用手勢進行遙控操作電視的方法包括以下步驟：操作者對攝像頭給出特定手勢動作；攝像頭獲取的特定手勢傳輸到電視內的三維運動識別模組，進行三維運動及動作識別；模組獲得特定手勢的三維運動坐標，輸出控制信號；判斷手勢的位置坐標是否與相應操作界面的選單位置區域相對應，如是，進入下一個步驟；電視機內的執行裝置根據控制信號執行相對應的程式。
其中攝像頭採集特定手勢圖像的參數包括手的膚色特徵，或手的邊緣方向特徵，或手的紋理特徵，或手的形狀特徵。
其中的三維運動及動作識別過程，包括以下的步驟：
1）在三維運動識別模組中以二維的坐標數據為基礎建立物體姿態模板；
2）物體識別單元根據姿態模板對被識別物體進行姿態識別；
3）聚焦控制檢測電路對被識別物體進行聚焦，獲得被識別物體在成像空間上的圖像二維坐標和焦距；
4）將該成像空間上的二維坐標和焦距參數進行轉換，輸出物體的三維空間坐標數據；
5）以三維坐標空間數據為基礎構造得出物體三維運動及動作特徵。
其中上述的步驟4）可以替換為：建立參數初始化模板，將成像空間上的二維坐標和焦距與參數初始化模板內數據進行比較和參數轉換，輸出物體的三維空間坐標數據。
上述步驟3）和4）可以替換為：建立參數初始化模板，將被識別物體在成像空間上的象素坐標和大小與參數初始化模板內數據進行比較和參數轉換，輸出物體的三維空間坐標數據。所述的電視遙控方法採用一個或兩個攝像頭。
該發明要解決的另一個技術問題是提供一種利用手勢遙控操作電視機的系統。一種套用上述電視遙控方法實現遙控操作電視機的系統，其特徵在於包括：一個或一個以上用於獲取操作者特定手勢動作的攝像頭；一個接收攝像頭獲取的特定手勢信息並進行三維運動及動作識別的三維運動識別模組；一個將三維運動識別模組所獲得的三維運動坐標轉換成控制信號的轉換器；一個將手勢的位置坐標與相應操作界面的選單位置區域相比較、並輸出控制信號的比較器；一個根據控制信號來執行相對應的程式的執行裝置。
所述三維運動識別模組包括：一個以二維的坐標數據為基礎建立的物體姿態模板；一個根據姿態模板對被識別物體進行姿態識別的物體識別單元；一個對被識別物體進行聚焦，獲得被識別物體在成像空間上的圖像二維坐標和焦距的聚焦控制檢測電路；一個將二維坐標和焦距參數進行轉換，輸出物體三維運動坐標數據的空間坐標輸出模組。
改善效果
《一種電視遙控方法及用該方法遙控操作電視機的系統》利用一種新的三維運動識別方法，從圖像中檢測運動目標並識別其三維運動和特定動作，首先通過對圖像進行必要的預處理，從圖像中提取出圖像特徵，根據特徵的對應關係估計圖像的二維運動特性，進行特徵匹配；然後根據剛體運動方程和投影關係建立一組方程，求解物體的運動參數和結構。通過對該方法的利用，用手勢來進行電視的遙控操作，並且藉助於特定的遙控作業系統，使得電視的遙控操作變得更為簡單和人性化。特別是可以藉此最為平台，在電視上擴展原本只有在計算機上才能進行的娛樂功能，而且還不需要配置滑鼠、鍵盤等計算機外圍設備。
附圖說明
圖1為單個攝像頭的二維識別圖像處理單元的結構框圖；
圖2為手的二維坐標示意圖；
圖3為方法1中單個攝像頭三維識別圖像處理單元的結構框圖；
圖4為單個攝像頭所形成的三維空間示意圖；
圖5為被識別物體的空間位置與成像坐標關係示意圖；
圖6為方法2中單個攝像頭三維識別圖像處理單元的結構框圖；
圖7為特定被識別物體的成像關係示意圖；
圖8為原始物體的空間位置與成像坐標關係示意圖；
圖9為方法3中兩個攝像頭三維識別圖像處理單元的結構框圖；
圖10為兩個攝像頭所形成的三維坐標示意圖；
圖11為兩個攝像頭所形成的三維空間分區示意圖；
圖12為被識別物體在X軸上的成像關係示意圖；
圖13為被識別物體在Y軸和Z軸組成的平面上圖像位置和實物的關係。
權利要求
1.一種電視遙控方法，其特徵在於包括以下步驟：
1）操作者對攝像頭給出特定手勢，攝像頭採集該特定手勢圖像；
2）將該手勢圖像傳輸到電視內的三維運動及動作識別模組，進行三維運動及動作識別，根據相應的手勢輸出操作界面；
3）操作者移動手勢，攝像頭採集手勢的運動圖像，經三維運動及動作識別模組處理獲取手勢類型及其空間位置座標；
4）判斷手勢的位置坐標是否與相應操作界面的選單位置區域相對應，如是，進入下一個步驟；
5）電視機內的指令執行單元根據手勢類型及其空間位置座標的變化判定手勢指令的輸入，執行相對應的程式；
其中，步驟2）中的三維運動及動作識別過程，包括以下的步驟：
2.1）在三維運動識別模組中以二維的坐標數據為基礎建立物體姿態模板；
2.2）物體識別單元根據姿態模板對被識別物體進行姿態識別；
2.3）聚焦控制檢測電路對被識別物體進行聚焦，獲得被識別物體在成像空間上的圖像二維坐標和焦距；
2.4）將該成像空間上的二維坐標和焦距參數進行轉換，輸出物體的三維空間坐標數據；
2.5）以三維坐標空間數據為基礎構造得出物體三維運動及動作特徵。
2.根據權利要求1所述的電視遙控方法，其特徵在於：步驟1）中的攝像頭採集特定手勢圖像的參數包括手的膚色特徵，或手的邊緣方向特徵，或手的紋理特徵，或手的形狀特徵。
3.根據權利要求1所述的電視遙控方法，其特徵在於：步驟2.4）為：建立參數初始化模板，將成像空間上的二維坐標和焦距與參數初始化模板內數據進行比較和參數轉換，輸出物體的三維空間坐標數據。
4.根據權利要求1所述的電視遙控方法，其特徵在於：步驟2.3）和2.4）為：建立參數初始化模板，將被識別物體在成像空間上的象素坐標和大小與參數初始化模板內數據進行比較和參數轉換，輸出物體的三維空間坐標數據。
5.根據權利要求1至4任一項所述的電視遙控方法，其特徵在於：所述方法採用一個或兩個攝像頭。
6.一種套用權利要求1所述電視遙控方法遙控操作電視機的系統，其特徵在於包括：一個或一個以上用於獲取操作者特定手勢動作的攝像頭；一個接收攝像頭獲取的特定手勢信息並進行三維運動及動作識別的三維運動識別模組；一個將三維運動識別模組所獲得的三維運動坐標轉換成控制信號的轉換器；一個將手勢的位置坐標與相應操作界面的選單位置區域相比較、並輸出控制信號的比較器；一個根據控制信號來執行相對應的程式的執行裝置；其中，所述三維運動識別模組包括：一個以二維的坐標數據為基礎建立的物體姿態模板；一個根據姿態模板對被識別物體進行姿態識別的物體識別單元；一個對被識別物體進行聚焦，獲得被識別物體在成像空間上的圖像二維坐標和焦距的聚焦控制檢測電路；一個將二維坐標和焦距參數進行轉換，輸出物體三維運動坐標數據的空間坐標輸出模組。
實施方式
圖1表示目前攝像頭識別特定物體二維運動時候的框架，例如要識別的特定物體是一個手，那么將手的姿勢先存入到圖1中的姿態模板中，然後啟動攝像頭對外部空間進行拍攝，如果不能發現姿態模板中具有相同外形的物體，則不進行後面動作的輸出，如果發現有類似外形物體出現，則進行後面動作的輸出。圖2表述手的坐標，可以只選取其手指上一點，把這個圖像的左下角的位置定義為坐標（0，0），因為這個圖像的外形尺寸是已知的，那么很容易知道手指上那一點的對應在圖像空間上的坐標（x，y）了。這樣通過不斷的識別手的形狀在成像空間上的位置，就可以不斷的輸出其真實所在的位置，於是就可以識別物體的二維運動了。
利用手勢遙控操作電視的一個前提是電視如何對手勢的運動進行三維識別，而手勢識別包括對手圖像的識別及動作的識別兩個部分，也就是說先要識別出什麼是手，然後需要計算手的位置信息，最後才能根據位置信息執行手的動作所代表的指令要求，下面先對如何識別手的圖像進行說明。
人手的檢測與跟蹤技術可採用如下個特徵：1.人手的膚色特徵；2.人手圖像的邊緣方向特徵；3.人手的紋理特徵；4.人手的形狀特徵。其中第1種利用艷色信息，後3種利用人手圖像的形狀信息。下面分別對其中的兩個方法進行闡述。
人手的膚色特徵提取方法如下，對於RGB格式的彩色圖像，首先將其變換為HSV彩色空間，然後只採用色調成份（hue），作為人手檢測與跟蹤的特徵，由RGB色彩計算色調H的方法如下：
人手圖像的邊緣方向特徵提取方法採用兩個核：
Gx（x，y）＝Kx*I（x，y）
Gy（x，y）＝Ky*I（x，y）
這樣可以計算得到絕對值圖像S（x，y）與方向信息圖像Φ（x，y）：
結合上面的兩個量可以得到邊緣信息向量：V（x，y）＝S（x，y）e，這樣就取得人手的圖像信息。
下面結合附圖在識別出手的圖像的基礎上對如何判斷手的位置信息進行說明，共有三個方法，以便能更好的理解該發明利用手勢遙控操作電視的方法及系統。
方法一：
請參閱圖3，通過一個攝像頭來識別物體三維運動特徵的結構框圖，攝像頭有可控制聚焦的功能，‘被識別物體’的模板先存入到姿態模板中，這樣就可以開始後面的識別動作的運行。
攝像頭先對外部圖像進行拍攝，成像結果經過‘物體識別’單元和‘姿態模板’的模板進行比對來判定是否在拍攝區域內出現事先被設定的‘被識別物體’，如果沒有則沒有後續的動作。如果發現‘被識別物體’，那么就啟動‘聚焦控制檢測電路’來對‘被識別物體’進行聚焦，聚焦完成後，我們就可以得到‘被識別物體’在成像空間上的XY坐標和焦距了，這三個參數經過轉換得到實際的空間坐標XYZ。具體過程如下：
如附圖4所示，根據攝像頭確定了一個三維空間，Z軸方向就是攝像頭拍攝方向的中軸線，XY則是一個與Z軸垂直的二維平面坐標，空間中一點A1的坐標是（x1，y1，z1），拍攝後形成的圖像如左邊的小圖描述的那樣，坐標是（X2，Y2），但是（X2，Y2）和（x1，y1，z1）的單位是不同的。假設（X2，Y2）是像素（pixel）數目為單位，（x1，y1，z1）以實際的距離mm為單位，而焦距假定為Z2，焦距的單位假設為T，其實成像面跟物體面以及XYZ三維空間坐標可以簡化為附圖5所示。這樣就得出了（x1，y1，z1）同（X2，Y2，Z2）的關係了：
公式1中的K1和K2都是常數，所以只要知道了K1和K2，又知道‘被識別物體’的像素坐標和焦距，就可以知道‘被識別物體’在圖4中攝像頭所描述的三維空間中的具體位置了。
K1和K2的獲得可以通過以下方式：按圖4的方式放置‘被識別物體’於拍攝空間中，當然該物體不能在Z軸上，通過實際測量得到了A1的實際物理坐標（x1，y1，z1），同時根據正確圖像識別系統形成的圖像坐標（X2，Y2，Z2），將兩個坐標帶入到（公式1）就可以得到兩個參數K1和K2。這樣圖3中的‘空間XYZ坐標輸出’模組在獲得了‘被識別物體’的圖像坐標和焦距參數（X2，Y2，Z2）之後，就可以通過K1和K2係數計算得到正確的x1y1z1坐標了。
如果被識別物體的空間關係與成像後的坐標關係不能如同圖5所描述的那樣，如果焦距和實際的距離比例關係不是常數K1，那就可以在距離攝像頭不同的位置進行測量，即採用近似的方式來處理，那么只需要在攝像空間內設定多個測試點（距離攝像頭遠近不同的位置），獲得其真實的空間坐標（x，y，z）和圖像坐標以及焦距（X，Y，Z），這樣就可以得到多組的K1和K2的係數，把這些係數放入到‘參數初始化’模組中。在實際的處理的時候，我們對空間中一個物體進行處理得到其像素坐標和焦距（xxyy，zz），只需要對查詢‘參數初始化’模組中與該（xxyy，zz）那一組數據，得到其K1和K2並在‘空間XYZ坐標輸出’對（xxyy，zz）和K1和K2進行處理就可以得到了該‘被識別物體’的空間近似坐標，如果想得到更精細的坐標，那么就在攝像空間內選取更多的點就可以了。
方法二：
請參閱圖6與圖7，其與方法一的區別在於，攝像頭不具有可控制聚焦功能。不具有可控聚焦功能的攝像頭進行三維識別的結構框圖如圖6所示，雖然攝像頭沒有可以控制聚焦功能，但是一個物體離攝像頭的遠近所成像是不同的，物體離攝像頭近的時候圖像上的物體就大一點，遠的時候就小一點。那么如果要識別是一個特定的物體，還是很容易得到其空間坐標的。根據圖7所示的成像關係，可以得到：
通過對特定‘被識別物體’的空間位置進行測量，以及對成像經過進行處理就可以得到公式2中的P、D、PP這三個數據，從而就可以知道了d，這樣在後面如果知道P的時候，就可以得出距離D了。
同時根據圖8所示，還可以得到一個原始物體的XY坐標和成像的關係，結合‘被識別物體’的大小和PP是已知的這個關係可以得到：
那么當我們得到‘被識別物體’在成像空間上的像素坐標和大小的時候，就可以通過公式2和公式3得到其真實的空間坐標了。
如果成像關係不遵循圖中的幾何線性關係，那么就需要採用方法1中那樣的方式，設定大批的已知位置的空間點，然後得到其成像後的坐標和成像大小，得到一批公式2和公式3所描述的K1和K2，這些數據存入到圖6中的‘參數初始化’模組中，在實際測試的時候就可以根據‘被識別物體’的空間位置和事先測試過的已知位置的空間點來比較，利用最近距離的那個點的K1和K2就可以得到物體實際的空間位置了。
方法三：
方法三與方法一的區別在於利用兩個都不具有可控制聚焦功能的攝像頭來進行三維識別。
由於兩個攝像頭拍攝的時候兩個拍攝空間可能是不一致的，那么就要確定一個有效的拍攝空間，圖10中虛線圈定的空間範圍就是兩個攝像頭都可以拍攝到的空間，一個‘被識別物體’的運動要在這個虛線空間中運動才能同時被兩個攝像頭捕捉到，這樣才能保證後續的正確處理。
為了得到一個空間坐標，那么就得首先對空間進行定義。圖10中兩個攝像頭A和B的拍攝方向可以不是嚴格一致，但是要儘量的保證兩個拍攝方向在一個平面內，雖然很多的時候AB的拍攝方向不在一個平面內，但是經過近似也可以按圖10的方式來處理：
首先把AB兩個攝像頭的中心點連線，從中心線的中點出發，在攝像頭A和B的拍攝方向形成的平面內做垂直於中心線的線作為Z軸，那么AB的連線作為X軸，然後做一個同X軸和Z軸同時垂直的軸線Y軸，這樣形成了一個三維坐標空間。
如附圖11所示，根據攝像頭的拍攝方向把原先的拍攝空間分成了C1，C2，C3三個空間，當‘被識別物體’在C1空間的時候，A和B攝像頭成像之後，‘被識別物體’處於成像空間的左半部分，分別在A和B成像的左邊陰影中。當‘被識別物體’在C2空間的時候，A和B攝像頭成像之後，‘被識別物體’成像分布在A右邊陰影中和B的左邊陰影中。當‘被識別物體’在C3空間的時候，A和B攝像頭成像之後，‘被識別物體’成像分布在A和B成像的右邊陰影中。
對於一個空間的任意運動，都可以在任意一個投影平面內分解為一個二維動作，但是同一個運動在兩個位置不同的平面上分解後的二維動作可能是不同的。
我們先根據附圖12分析其在X軸上的成像關係。根據幾何關係我們可以得到下面的公式：
公式4中的Xa+Xb實際近似就是兩個攝像頭A和B的距離，這個是可以測量的，而XA，XB則是圖像分別在A和B上的成像X坐標的絕對值，這個可以從圖像上計算得到，圖中Zab是攝像頭連線到物體在Z軸上的距離，這個也是可以測量的，那么公式4中只有ZA是未知的，而一旦知道了ZA，同時知道Xa+Xb和XA，XB的話，那么‘被識別物體’在Z軸上的距離就非常容易知道了。
那么可以通過在空間中實現放置一個物體，測量出Zab和Xa+Xb來，然後成像，通過對圖像進行分析得到XA，XB，然後將這些數據帶入公式4就可以得到ZA了。一旦一個識別系統確定的時候，ZA和Xa+Xb是不會變化的，變化的只有物體的空間位置以及其引起的XA，XB的變化，那么這個時候我們可以得到物體的空間Z坐標：
其X坐標也可以得到：
由公式6和公式7可以得到X坐標：
公式8
現在分析物體三維運動在Y軸上的坐標：
圖13為‘被識別物體’在Y軸和Z軸組成的平面上圖像位置和實物的關係（僅表示了一個攝像頭的成像關係），通過上圖可以得到公式：
公式9
因為公式中的ZA是個常數，而Zab可以通過公式5得到，那么我們只需要通過圖像得知YAB之後就知道Yab了，嚴格來說通過A和B攝像頭得到的結果經過處理得到的Yab應該是相等的，但是由於計算的精度和實際攝像頭裝配的誤差，A和B得到的兩個Y坐標YabA和YabB是不嚴格一致的，這樣我們可以通過公式10來得到一個相對準確的Yab：
這樣就可以得出空間中‘被識別物體’的XYZ坐標（Xab、Yab、Zab）了。
根據上面列舉的三種方法，在準確的獲得了被檢測物體的空間坐標（X，Y，Z）之後，就可以結合不同的需求來套用，下面是一個利用該發明物體三維運動及動作識別方法來實現手勢遙控電視的套用舉例：
如附圖14所示，是一個裝有兩個攝像頭的電視機，以及根據其攝像頭位置所定義的識別空間坐標（XYZ）的示意圖。
假設需要完成的動作流程是：‘打開電視’→‘打開控制選單’→‘切換電視輸入信號源’→‘退出選單’一系列動作，假設電視的初始狀態是待機模式。
通過在電視機內配置一個三維運動及動作識別的模組，在該模組的姿態模板上設定特定的一個手勢或連續的姿勢來代表‘打開電視’的動作，以及一個特定的手勢來代表‘打開控制選單’的動作（在這個步驟中我們只需要知道手勢的姿態，並不需要知道其XYZ坐標），當攝像頭獲取我們所做出的相應手勢時，物體識別單元根據姿態模板對被識別物體進行姿態識別，然後執行相應‘打開電視’、‘打開控制選單’動作。出來的界面如附圖15所示。
此時，我們為了實現切換電視輸入信號源，需要移動圖中箭頭位置，這是，我們可以採用一個在姿態模板上預先設定的“手勢A”，攝像頭獲取到上面的“手勢A”之後，三維運動及動作識別的模組就可以採用前面描述的方法計算該手勢的空間坐標XYZ。最初的時候我們把手勢的初始位置定義在螢幕的中間，同時在螢幕上顯示一個白色的箭頭來表示該手勢的位置，如圖15所示。這樣通過移動該“手勢A”的位置（儘量在XY平面內移動），就可以使得螢幕上的白色箭頭移動到“信號源”的選單位置。保持白色箭頭在“信號源”的選單位置，同時將“手勢A”沿Z方向向電視的方向移動一段距離，表示點擊的動作，模組獲得手的三維運動坐標，於是輸出控制信號，在“信號源”選單下出現一組二級選單，如圖16所示。然後儘量保持該手勢的XY坐標，將“手勢A”移動使得箭頭的位置移到DVI的位置，同時沿Z方向向電視的方向移動該“手勢A”，實現點擊“DVI”選單的動作。這樣就可以完成信號源切換過程了。系統在執行指令的過程中，首先是判斷手勢A的XY位置是否在相應的選單位置區域內，只有XY位置是保持在相應的選單位置區域內，才判斷Z方向的座標變化大小，並據此判定是否有指令輸入。
退出選單的方式比較簡單，只需要如上述方法那樣，通過手指的移動把箭頭的位置移到選單如附圖16所示的右上角的X位置按下去就可以了。
利用上述的方法，即可用手勢來進行電視的遙控操作，並且藉助於上述的遙控作業系統，使得電視的遙控操作變得更為簡單和人性化。特別是可以藉此為平台，不需要配置滑鼠、鍵盤等計算機外圍設備，就可以在電視上完成原本只有在計算機上才能進行的娛樂功能。
同時利用該發明中所公開的遙控操作方法，即可以實現非接觸性的操作各種設備，特別是在一些公用設備上，可以防止由於多人操作而引起的細菌的傳播和交叉感染。
榮譽表彰
2014年11月6日，《一種電視遙控方法及用該方法遙控操作電視機的系統》獲得第十六屆中國專利優秀獎。
