識別圖像中障礙物的方法和裝置:專利背景,發明內容,專利目的,技術方案,改善效果,附

《識別圖像中障礙物的方法和裝置》是東軟集團股份有限公司於2008年12月15日申請的專利，該專利的申請號為2008101858334，公布號為CN101419667，授權公布日為2009年4月29日，發明人是段勃勃、劉威、袁淮。

《識別圖像中障礙物的方法和裝置》公開了一種識別圖像中障礙物的方法，包括：獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同的方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度；根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；根據每個塊區域確定圖像中的障礙物。套用該發明，在降低了誤檢測率的同時提高了檢測的準確率，能夠準確的判斷出圖像中的障礙物。同時，該發明還公開了一種識別圖像中障礙物的裝置。

2016年12月7日，《識別圖像中障礙物的方法和裝置》獲得第十八屆中國專利優秀獎。

（概述圖為《識別圖像中障礙物的方法和裝置》摘要附圖）

基本介紹

中文名：識別圖像中障礙物的方法和裝置
公布號：CN101419667
授權日：2009年4月29日
申請號：2008101858334
申請日：2008年12月15日
申請人申請人：東軟集團股份有限公司
地址：遼寧省瀋陽市渾南新區新秀街2號
發明人：段勃勃、劉威、袁淮
Int.Cl.：G06K9/00(2006.01)I；G06T7/00(2006.01)I
代理機構：北京集佳智慧財產權代理有限公司
代理人：馬敬、逯長明
類別：發明專利

專利背景,發明內容,專利目的,技術方案,改善效果,附圖說明,技術領域,權利要求,實施方式,榮譽表彰,

專利背景

在該領域，障礙物通常是指高於地面的立體物。

截至2008年12月，基於運動補償的方法是基於單目視覺的障礙物檢測常用方法之一。它的原理是在道路平坦、短時間內光照條件不變前提下，道路平面的任一點在相鄰時刻圖像幀內所成對應像點的像素值不變。如果假設前一時刻圖像中所有的點都是路面上的點的對應的成像點，則由相機運動參數和成像原理，能夠計算出由前一時刻圖像中所有的點在下一時刻相機發生運動後所組成的假想圖像，則該假設圖像與當前時刻實際拍攝到的圖像的差異都是由於那些不是道路平面上的點所引起的。這些差異所對應的圖像像素即可能是突出地面的障礙物。

2008年12月之前的方法主要是單純基於運動補償的結果來判斷圖像中某個區域是存在障礙物，這種識別策略在運動參數精度較低或圖像噪聲的影響下，會導致運動補償的結果達不到理想的效果，從而對於某些非障礙物被誤識別為障礙物。

發明內容

專利目的

《識別圖像中障礙物的方法和裝置》實施例提供一種識別圖像中障礙物的方法和裝置，能夠降低誤檢測率。

技術方案

《識別圖像中障礙物的方法和裝置》實施例提供的一種識別圖像中障礙物的方法，包括：

獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度；根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；根據每個塊區域確定圖像中的障礙物。

其中，所述計算當前幀的每個塊區域的運動障礙物置信度的步驟包括：

i）獲取運動參數，生成當前幀之前n-k時刻的假想圖像；n>＝2，k>＝1；

ii）對於一個塊區域計算當前幀與所述假想圖像的相似程度，獲得第一運動置信度C_M_A1；

iii）對於一個塊區域計算當前幀與當前幀之前n-k時刻圖像的相似程度，獲得第二運動置信度C_M_A2；

iv）若所述第一運動置信度C_M_A1的值大於第一運動閾值，且所述第一運動置信度C_M_A1與第二運動置信度C_M_A2的比值大於第二運動閾值，則當前幀的該塊區域的運動障礙物置信度C_M為1，否則當前幀的該塊區域的運動障礙物置信度C_M為0；

v）重複執行步驟ii）至iv），直到計算出每個塊區域的運動障礙物置信度。

其中，所述確定當前幀圖像中每個塊區域是否為障礙物的步驟包括：若當前幀及與當前幀最近的之前N幀所對應的某個相同塊區域的運動障礙物置信度的值等於1的數量大於第一數量閾值，則當前幀圖像中該塊區域的總置信度C_Total為1，否則該塊區域的總置信度C_Total為0；若當前幀圖像中所述某個塊區域的總置信度C_Total為1，則該塊區域為障礙物，否則該塊區域為非障礙物。

其中，所述計算當前幀的每個塊區域的運動障礙物置信度的步驟包括：

i）獲取運動參數，生成當前幀之前n-k時刻的假想圖像；n>＝2，k>＝1；

ii）對於一個塊區域計算當前幀與所述假想圖像的相似程度，獲得第一運動置信度C_M_A1；

iii）對於一個塊區域計算當前幀與當前幀之前n-k時刻圖像的相似程度，獲得第二運動置信度C_M_A2；

v）重複執行步驟ii）至iv），直到計算出每個塊區域的運動障礙物置信度。

其中，所述特徵障礙物置信度包括基於垂直特性的特徵障礙物置信度、或者基於紋理特性的特徵障礙物置信度。

其中，所述根據垂直特性計算當前幀的每個塊區域的特徵障礙物置信度的步驟包括：

a）判斷當前幀一塊區域是否具有垂直屬性，若有則當前幀該塊區域的特徵障礙物置信度為1，否則當前幀的該塊區域的特徵障礙物置信度C_F為0；

b）重複執行步驟a），直到計算出每個塊區域的特徵障礙物置信度。

其中，所述判斷當前幀一塊區域是否具有垂直屬性的步驟包括：

a01）計算一個塊區域的垂直方向的強度I_v；

其中，中c_i，j是當前幀圖像的第i行，第j列像素的灰度值，k為整數，i，j∈R，R為該圖像塊區域，N為圖像寬度，M為圖像高度。

a02）若步驟a01）所述垂直方向的強度I_v大於強度閾值，則所述塊區域具有垂直屬性，否則所述塊區域不具有垂直屬性。

其中，所述確定當前幀圖像中每個塊區域是否為障礙物的步驟包括：

若當前幀及與當前幀最近的之前N幀所對應的某個相同塊區域的運動障礙物置信度的值等於1的數量大於第一數量閾值，且，當前幀及與當前幀最近的之前N幀所對應的所述某個相同塊區域的特徵障礙物置信度的值等於1的數量大於第二數量閾值，則當前幀圖像中該塊區域的總置信度C_Total為1，否則該塊區域的總置信度C_Total為0；若當前幀圖像中所述某個塊區域的總置信度C_Total為1，則該塊區域為障礙物，否則該塊區域為非障礙物。

《識別圖像中障礙物的方法和裝置》實施例提供的一種識別圖像中障礙物的裝置，包括：圖像分割單元，用於獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；運動障礙物置信度計算單元，用於計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度，第一塊區域障礙物識別單元，用於根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；障礙物確定單元，用於根據每個塊區域確定圖像中的障礙物。

其中，所述運動障礙物置信度計算單元包括：

假想圖像生成單元，用於獲取運動參數，生成當前幀之前n-k時刻的假想圖像；n>＝2，k>＝1；第一運動置信度計算單元，用於對於一個塊區域計算當前幀與所述假想圖像的相似程度，獲得第一運動置信度C_M_A1；第二運動置信度計算單元，對於一個塊區域計算當前幀與當前幀之前n-k時刻圖像的相似程度，獲得第二運動置信度C_M_A2；運動障礙物置信度確定單元，用於在所述第一運動置信度C_M_A1的值大於第一運動閾值，且所述第一運動置信度C_M_A1與第二運動置信度C_M_A2的比值大於第二運動閾值時，確定當前幀的該塊區域的運動障礙物置信度C_M為1，否則確定當前幀的該塊區域的運動障礙物置信度C_M為0。

其中，所述第一塊區域障礙物識別單元包括：

第一總置信度確定單元，用於在當前幀及與當前幀最近的之前N幀所對應的某個相同塊區域的運動障礙物置信度的值等於1的數量大於第一數量閾值時，確定當前幀圖像中該塊區域的總置信度C_Total為1，否則確定該塊區域的總置信度C_Total為0；第一識別單元，用於獲知當前幀圖像中所述某個塊區域的總置信度C_Total為1時，確定該塊區域為障礙物，否則確定該塊區域為非障礙物。

《識別圖像中障礙物的方法和裝置》實施例提供的另一種識別圖像中障礙物的裝置，包括：

圖像分割單元，用於獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；運動障礙物置信度計算單元，用於計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度，特徵障礙物置信度計算單元，用於計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的特徵障礙物置信度；第二塊區域障礙物識別單元，用於根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，和每個塊區域的特徵障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；障礙物確定單元，用於根據每個塊區域確定圖像中的障礙物。

其中，所述運動障礙物置信度計算單元包括：

其中，所述特徵障礙物置信度包括基於垂直特性的特徵障礙物置信度、基於垂直邊緣特性的特徵障礙物置信度，或者基於紋理特性的特徵障礙物置信度。

其中，在所述特徵障礙物置信度基於垂直特性時，所述特徵障礙物置信度計算單元包括：

垂直屬性判斷單元，用於判斷當前幀的某一塊區域是否具有垂直屬性，將判斷結果通知給特徵障礙物置信度確定單元；特徵障礙物置信度確定單元，用於獲知當前幀某塊區域具有垂直屬性時，確定當前幀該塊區域的特徵障礙物置信度為1，否則確定當前幀的該塊區域的特徵障礙物置信度C_F為0。

其中，所述第二塊區域障礙物識別單元包括：

第二總置信度確定單元，用於在當前幀及與當前幀最近的之前N幀所對應的某個相同塊區域的運動障礙物置信度的值等於1的數量大於第一數量閾值，且，當前幀及與當前幀最近的之前N幀所對應的所述某個相同塊區域的特徵障礙物置信度的值等於1的數量大於第二數量閾值時，確定當前幀圖像中該塊區域的總置信度C_Total為1，否則確定該塊區域的總置信度C_Total為0；第二識別單元，用於獲知當前幀圖像中所述某個塊區域的總置信度C_Total為1時，確定該塊區域為障礙物，否則確定該塊區域為非障礙物。

改善效果

套用《識別圖像中障礙物的方法和裝置》實施例提供的一種識別圖像中障礙物的方法和裝置，與傳統僅基於運動補償方法相比，不但採用了基於運動補償的絕對程度的策略，還採用了基於運動補償的相對的策略，從而降低了誤檢測率，能夠準確的判斷出圖像中的障礙物。

套用《識別圖像中障礙物的方法和裝置》實施例提供的另一種識別圖像中障礙物的方法和裝置，與傳統僅基於運動補償方法相比，不但採用了基於運動補償的絕對程度的策略，以及採用了基於運動補償的相對的策略，並在此基礎上進一步融合了特徵分析的策略，從而更進一步地降低了誤檢測率，能夠準確的判斷出圖像中的障礙物。

附圖說明

圖1是根據《識別圖像中障礙物的方法和裝置》實施例的識別圖像中障礙物的方法流程圖；

圖2是根據《識別圖像中障礙物的方法和裝置》實施例的計算當前幀的每個塊區域的運動障礙物置信度的方法流程圖；

圖3是根據《識別圖像中障礙物的方法和裝置》實施例的所設定的世界坐標系和前一時刻圖像的攝相機的世界坐標系的關係示意圖；

圖4是根據《識別圖像中障礙物的方法和裝置》實施例的當前時刻假想圖像的示意圖；

圖5是根據《識別圖像中障礙物的方法和裝置》實施例的一種識別圖像中障礙物的裝置結構圖；

圖6是根據《識別圖像中障礙物的方法和裝置》實施例的另一種識別圖像中障礙物的裝置結構圖。

技術領域

《識別圖像中障礙物的方法和裝置》涉及障礙物識別技術領域，特別涉及識別圖像中障礙物的方法和裝置。

權利要求

1、一種識別圖像中障礙物的方法，其特徵在於，包括：獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度；根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；根據每個塊區域確定圖像中的障礙物。

2、根據權利要求1所述的方法，其特徵在於，所述計算當前幀的每個塊區域的運動障礙物置信度的步驟包括：

i）獲取運動參數，生成當前幀之前n-k時刻的假想圖像；n>＝2，k>＝1；

ii）對於一個塊區域計算當前幀與所述假想圖像的相似程度，獲得第一運動置信度C_M_A1；

iii）對於一個塊區域計算當前幀與當前幀之前n-k時刻圖像的相似程度，獲得第二運動置信度C_M_A2；

v）重複執行步驟ii）至iv），直到計算出每個塊區域的運動障礙物置信度。

3、根據權利要求2所述的方法，其特徵在於，所述確定當前幀圖像中每個塊區域是否為障礙物的步驟包括：

若當前幀及與當前幀最近的之前N幀所對應的某個相同塊區域的運動障礙物置信度的值等於1的數量大於第一數量閾值，則當前幀圖像中該塊區域的總置信度C_Total為1，否則該塊區域的總置信度C_Total為0；若當前幀圖像中所述某個塊區域的總置信度C_Total為1，則該塊區域為障礙物，否則該塊區域為非障礙物。

4、一種識別圖像中障礙物的方法，其特徵在於，包括：獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度，和每個塊區域的特徵障礙物置信度；根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，和每個塊區域的特徵障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；根據每個塊區域確定圖像中的障礙物。

5、根據權利要求4所述的方法，其特徵在於，所述計算當前幀的每個塊區域的運動障礙物置信度的步驟包括：

i）獲取運動參數，生成當前幀之前n-k時刻的假想圖像；n>＝2，k>＝1；

ii）對於一個塊區域計算當前幀與所述假想圖像的相似程度，獲得第一運動置信度C_M_A1；

iii）對於一個塊區域計算當前幀與當前幀之前n-k時刻圖像的相似程度，獲得第二運動置信度C_M_A2；

v）重複執行步驟ii）至iv），直到計算出每個塊區域的運動障礙物置信度。

6、根據權利要求4所述的方法，其特徵在於，所述特徵障礙物置信度包括基於垂直特性的特徵障礙物置信度、或者基於紋理特性的特徵障礙物置信度。

7、根據權利要求6所述的方法，其特徵在於，所述根據垂直特性計算當前幀的每個塊區域的特徵障礙物置信度的步驟包括：

a）判斷當前幀一塊區域是否具有垂直屬性，若有則當前幀該塊區域的特徵障礙物置信度為1，否則當前幀的該塊區域的特徵障礙物置信度C_F為0；

b）重複執行步驟a），直到計算出每個塊區域的特徵障礙物置信度。

8、根據權利要求7所述的方法，其特徵在於，所述判斷當前幀一塊區域是否具有垂直屬性的步驟包括：

a01）計算一個塊區域的垂直方向的強度I_v；

其中，中c_i，j是當前幀圖像的第i行，第j列像素的灰度值，k為整數，i，j∈R，R為該圖像塊區域，N為圖像寬度，M為圖像高度。

a02）若步驟a01）所述垂直方向的強度I_v大於強度閾值，則所述塊區域具有垂直屬性，否則所述塊區域不具有垂直屬性。

9、根據權利要求7所述的方法，其特徵在於，所述確定當前幀圖像中每個塊區域是否為障礙物的步驟包括：若當前幀及與當前幀最近的之前N幀所對應的某個相同塊區域的運動障礙物置信度的值等於1的數量大於第一數量閾值，且，當前幀及與當前幀最近的之前N幀所對應的所述某個相同塊區域的特徵障礙物置信度的值等於1的數量大於第二數量閾值，則當前幀圖像中該塊區域的總置信度C_Total為1，否則該塊區域的總置信度C_Total為0；若當前幀圖像中所述某個塊區域的總置信度C_Total為1，則該塊區域為障礙物，否則該塊區域為非障礙物。

10、一種識別圖像中障礙物的裝置，其特徵在於，包括：圖像分割單元，用於獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；運動障礙物置信度計算單元，用於計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度，第一塊區域障礙物識別單元，用於根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；障礙物確定單元，用於根據每個塊區域確定圖像中的障礙物。

11、根據權利要求10所述的裝置，其特徵在於，所述運動障礙物置信度計算單元包括：

12、根據權利要求10所述的裝置，其特徵在於，所述第一塊區域障礙物識別單元包括：

13、一種識別圖像中障礙物的裝置，其特徵在於，包括：

14、根據權利要求13所述的裝置，其特徵在於，所述運動障礙物置信度計算單元包括：

15、根據權利要求13所述的裝置，其特徵在於，所述特徵障礙物置信度包括基於垂直特性的特徵障礙物置信度、基於垂直邊緣特性的特徵障礙物置信度，或者基於紋理特性的特徵障礙物置信度。

16、根據權利要求15所述的方法，其特徵在於，在所述特徵障礙物置信度基於垂直特性時，所述特徵障礙物置信度計算單元包括：垂直屬性判斷單元，用於判斷當前幀的某一塊區域是否具有垂直屬性，將判斷結果通知給特徵障礙物置信度確定單元；特徵障礙物置信度確定單元，用於獲知當前幀某塊區域具有垂直屬性時，確定當前幀該塊區域的特徵障礙物置信度為1，否則確定當前幀的該塊區域的特徵障礙物置信度C_F為0。

17、根據權利要求13所述的裝置，其特徵在於，所述第二塊區域障礙物識別單元包括：

實施方式

《識別圖像中障礙物的方法和裝置》實施例提供的一種識別圖像中障礙物的方法，包括：獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度；根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；根據每個塊區域確定圖像中的障礙物。套用《識別圖像中障礙物的方法和裝置》，與傳統僅基於運動補償方法相比，不但採用了基於運動補償的絕對程度的策略，還採用了基於運動補償的相對的策略，從而降低了誤檢測率，能夠準確的判斷出圖像中的障礙物。

《識別圖像中障礙物的方法和裝置》實施例提供的另一種識別圖像中障礙物的方法，包括：獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按相同方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域；計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度，和每個塊區域的特徵障礙物置信度；根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，和每個塊區域的特徵障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物；根據每個塊區域確定圖像中的障礙物。套用《識別圖像中障礙物的方法和裝置》，與傳統僅基於運動補償方法相比，不但採用了基於運動補償的絕對程度的策略，還採用了基於運動補償的相對的策略，並在此基礎上進一步融合了特徵分析的策略，從而在降低了誤檢測率的同時提高了檢測的準確率，能夠準確的判斷出圖像中的障礙物。

參見圖1，其是根據《識別圖像中障礙物的方法和裝置》實施例的識別圖像中障礙物的方法流程圖。該例中既採用了基於運動補償的絕對程度的策略，還採用了基於運動補償的相對的策略，並在此基礎上進一步融合了特徵分析的策略。具體包括：

步驟101，劃分圖像塊區域，具體的，獲取當前幀以及與當前幀最近的之前N幀的圖像，對所獲取的每幀圖像按照相同的方式進行劃分，對於每幀圖像均獲得若干個劃分後的塊區域。

例如，首先從圖像序列中取出當前幀的圖像F_n和之前與當前幀最接近的N幀圖，其中，n>＝1；圖像序列的幀間隔可以設為Δt。

其次，將上述的每幀圖像都分成多個塊區域，塊區域的形狀可以是矩形，也可以是三角形等能夠將圖像完全劃分的任何形狀，該實施例為：都劃分為N×M像素的互不重疊的矩形塊區域，這樣，對於每幀圖像均獲得了相同的若干個劃分的矩形塊區域。至於具體的分割方法該文未做限定，只要能夠分割成多個矩形塊區域即可。

上述與當前幀最近的之前N幀圖像中的N，具體數目可根據實際需要確定，例如，可以根據物體移動的速度，在相機中從出現到消失這段時間內所獲得的幀數作為前述N的具體數目。

步驟102，計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度。

所謂運動障礙物置信度，是指基於運動補償後的該塊區域是否為障礙物的置信度，這裡的運動補償與2008年12月之前的運動補償稍有不同，2008年12月之前的運動補償通常只包括基於運動補償的絕對程度，而《識別圖像中障礙物的方法和裝置》中的運動補償包括基於運動補償的絕對程度和相對程度。

可以理解，由於與當前幀最近的之前N幀所對應的每個塊區域的運動障礙物置信度的計算方法，和當前幀的每個塊區域的運動障礙物置信度的計算方法相同，下面僅對當前幀的每個塊區域的運動障礙物置信度的計算方法進行說明，對於與當前幀最近的之前N幀的不再重複說明。

參見圖2，其是根據《識別圖像中障礙物的方法和裝置》實施例的計算當前幀的每個塊區域的運動障礙物置信度的方法流程圖。具體包括：

步驟201，獲取相機運動參數。

《識別圖像中障礙物的方法和裝置》實施例中所獲取的相機運動參數可以由感測器獲得，如可以通過速度感測器和陀螺儀感測器等獲取，也可以由序列圖像用計算的方法獲得，如採用光流方法、運動恢復結構（Structure form Motion，SFM）的方法或基於特徵點檢測、直接法等方法估計得到，如文獻1“A robust method for computingvehicle ego-motion（一種計算自車運動的直接方法）”採用直接的方法估計運動參數，文獻2“Transforming camera geometry to a virtual downward-lookingcamera：robust ego-motion estimation and ground-layerdetection”採用改進的直接方法獲得運動參數。《識別圖像中障礙物的方法和裝置》實施例採用文獻1的直接估計方法獲取相機運動參數。

在《識別圖像中障礙物的方法和裝置》實施例中設定世界坐標系[O；X_w，Y_w，Z_w]和前一時刻圖像的相機的世界坐標系[O′；X_c，Y_c，Z_c]的原點O，O重合，坐標軸之間可以有旋轉角，世界坐標系的Zw軸平行於道路平面，Y_w垂直於道路平面。如圖3所示。

根據道路平面假設，相機運動參數m表示為m＝{t_x，t_z，ω_y}，即在X_w，Z_w方向有一個平移，在Y_w方向有一個旋轉。

步驟202，生成當前幀之前n-k時刻的假想圖像；其中，n>＝2，k>＝1；

所謂的假想圖像是指假設前一時刻圖像中所有像素點都是道路平面上的點所成的像（其中Y_w＝相機高度），相機運動後，這些地面上的點在新的相機位置下所成的像，即為假想圖像。如圖4所示。下面以前一時刻圖像上某點P為例，說明如何生成新的相機位置下的假想圖像。

假設前一時刻圖像上點P是道路平面上點P₀所成的像（實際上是立體物上的點P₁所成的像），相機運動後，P₀所成的像點P′即為當前時刻假想圖像上與P對應的點，即將點P的灰度值賦給點P′。基於這一原理，可以得到當前時刻假想圖像上其它像素點與前一時刻圖像上點的對應關係，從而可以得到新的相機位置下的當前時刻的假想圖像。

下面說明如何求得假想圖像中P′點的坐標。

以前一時刻圖像中某一像素點P（r，c）為例，r，c分別為該點在圖像中的行坐標和列坐標，P是道路平面上點P₀（X_W，Y_W，Z_W）的所成的像點。

根據攝像機成像公式可以計算出點P₀的世界坐標（X_w，Y_w，Z_w）。

（1）

其中α_x，α_y，u₀，v₀是相機內部參數，可由相機標定獲得；

其中t＝[T_x，T_y，T_z]為平移向量，T_x，T_y，T_z為攝像機坐標系原點在世界坐標系下的位置，為相機外部參數，在安裝相機時獲得；

其中

為旋轉矩陣，α，β，γ分別是攝像機坐標系繞世界坐標系X，Y，Z軸的旋轉角，為相機外部參數，在安裝相機時獲得；已知Y_W＝攝像機高度，P（r，c）為像素的坐標；求解上述方程，可得X_W，Z_W和Z_C，Z_C是P的在攝像機坐標系中Z軸的坐標。

利用獲得的運動參數m＝{t_x，t_z，ω_y}可得運動後攝像機坐標系原點在世界坐標系下的坐標為T_x+t_x，T_y，T_z+t_z，攝像機坐標系繞世界坐標系x，y，z軸的旋轉角變為α，β+ω_y，γ。根據此時攝像機的旋轉矩陣和平移矩陣，以及已經計算出的P₀的世界坐標（X_W，Y_W，Z_W），再由上述攝像機成像公式（1），方程右端為已知，可求得左端未知數，即點P₀在假象圖像中的成像P′坐標。具體的，基於上述變換，可將之前某圖像F_n-k上所有的點按運動參數運動，產生了一幅新的假想圖像。如果不考慮噪聲的影響，在平面運動的假設前提下，假想圖像中的平面區域與當前時刻的圖像F_n的平面區域是完全一致的，而非平面區域則不同，以下將利用這個原理，確定區域為立體物的置信度。

步驟203，對於一個塊區域計算當前幀與之前n-k時刻的假想圖像的相似程度，將所述獲得的相似程度作為基於運動補償的第一運動置信度C_M_A1。

需要說明的是，該文將當前幀與之前n-k時刻的假想圖像的相似程度稱為第一運動置信度C_M_A1，該第一運動置信度實際是基於運動補償絕對程度的；將當前幀與之前實際的n-k時刻圖像的相似程度稱為第二運動置信度C_M_A2，該第二運動置信度實際是經運動補償的；而第一運動置信度C_M_A1與第二運動置信度C_M_A2的比值實際是基於運動補償相對程度的。

具體的，步驟203包括：針對圖像F_n中某個塊區域中的所有像素，在假想圖像中尋找坐標相同的像素，然後基於對應點的像素值計算該塊區域的當前時刻圖像和當前時刻的假想圖像的相似程度，從而獲得該塊區域為障礙物的第一運動置信度C_M_A1，其中可以採用歸一化相關值（NC）計算所述相似程度NC：

其中，塊區域的大小為N*M，X（i，j）為圖像F_n中的像素（i，j）的灰度值，X′（i，j）為圖像F_n的假想圖像中的像素（i，j）灰度值。

步驟204，對於一個塊區域計算當前幀與之前n-k時刻圖像的相似程度，將所述獲得的相似程度作為不進行運動補償的第二運動置信度C_M_A2；具體的，針對圖像F_n中某個塊區域中的所有像素，在F_n-k中尋找坐標相同的像素，然後基於對應點對的像素值計算該塊區域的當前時刻圖像和之前n-k時刻圖像的相似程度，從而得該塊區域為障礙物的第二運動置信度C_M_A2，其中可以採用歸一化相關值（NC）計算所述相似程度NC：

其中，塊區域的大小為N*M，X（i，j）為圖像F_n中的像素（i，j）的灰度值，X″（i，j）為之前n-k時刻圖像中的像素（i，j）灰度值。

步驟205，確定運動障礙物置信度C_M。

具體的，若所述第一運動置信度C_M_A1的值大於第一運動閾值，且所述第一運動置信度C_M_A1與第二運動置信度C_M_A2的比值大於第二運動閾值，則當前幀的該塊區域的運動障礙物置信度C_M為1，否則當前幀的該塊區域的運動障礙物置信度C_M為0。

也就是說，上述運動障礙物置信度C_M是基於運動補償絕對程度（即C_M_A1的值大於第一運動閾值的情況），與基於運動補償相對程度（即C_M_A1與C_M_A2的比值大於第二運動閾值的情況）獲得的。

其中需要說明的是，第一運動置信度C_M_A1與第二運動置信度C_M_A2的比值是一個廣義的概念，該比值既可以是C_M_A1/C_M_A2的值，也可以是（C_M_A1-C_M_A2）/（1-C_M_A2）的值，還可以是其他表現形式的值。

步驟206，重複執行上述步驟203～205，直到計算出每個塊區域的運動障礙物置信度。

步驟103，計算當前幀以及與當前幀最近的之前N幀所對應的每個塊區域的特徵障礙物置信度C_F。

下面以垂直特性為例，具體說明如何計算特徵障礙物置信度C_F。

步驟a，判斷當前幀一塊區域是否具有垂直屬性，若有則當前幀該塊區域的特徵障礙物置信度C_F為1，否則當前幀的該塊區域的特徵障礙物置信度C_F為0。具體的判斷當前幀一塊區域是否具有垂直屬性的步驟包括：

a01）計算一個塊區域的垂直方向的強度I_v；

其中，中c_i，j是當前幀圖像的第i行，第j列像素的灰度值，k為整數，i，j∈R，R為該圖像塊區域，N為圖像寬度，M為圖像高度。

a02）若步驟a01）所述垂直方向的強度I_v大於強度閾值T，即I_V>T，則所述塊區域具有垂直屬性，否則所述塊區域不具有垂直屬性。

步驟b，重複執行步驟a，直到計算出每個塊區域的特徵障礙物置信度。

步驟104，根據所述當前幀以及與當前幀最近的之前N幀的所述每個塊區域的運動障礙物置信度，和每個塊區域的特徵障礙物置信度，依次確定當前幀圖像中每個塊區域是否為障礙物。

識別圖像中障礙物的方法和裝置

基本介紹

專利背景

發明內容

專利目的

技術方案

改善效果

附圖說明

技術領域

權利要求

實施方式

榮譽表彰

相關詞條

熱門詞條