圖像序列分析

圖像序列分析利用計算機視覺技術從圖像序列中檢測運動及運動物體並對其進行運動分析、跟蹤或識別。圖像序列分析在國民經濟和軍事領域的許多方面有著廣泛的套用。

基本介紹

• 中文名：圖像序列分析
• 外文名：image sequence analysis
• 技術：計算機視覺技術
• 目的：進行運動分析、跟蹤或識別
• 套用：國民經濟和軍事領域
• 所屬領域：圖像處理與計算機視覺領域

簡介

世界是變化的，序列圖像為我們提供了比單一靜止圖像更豐富的信息。序列圖像分析的意義是將圖像處理從靜止圖像轉移到序列圖像上，通過對多幀連續圖像分析，可獲得從單一圖像中不可能得到的信息。只有在序列圖像中我們才有可能認識和分析動態過程。硬體技術的迅猛發展使計算機對圖像的存儲量和處理速度有巨大的進步，為序列圖像分析提供了有力支持，使得實時的序列圖像分析成為可能。

序列圖像分析的基本任務是從圖像序列中檢測出運動信息或目標，識別或跟蹤運動目標，估計運動物體的三維運動及結構參數。它是圖像處理與計算機視覺領域中的一個非常活躍的分支，由於在國民經濟和軍事領城的許多方面有著廣泛的套用，對它的研究受到各國科學家的普通關注。

研究重點

圖像序列分析主要是針對序列圖像進行分析處理，根據分析與處理的目的不同，它通常涉及到運動目標檢側、運動參數估計、運動景物分割、目標跟璐以及識別幾部分內容。其中，運動檢側、運動今數估計、目標分割、目標跟蹤屬於視覺中的低級和中級處理部分，而目標識別則屬於高級處理。當然，它們之間也可能存在交又( 比如先檢側，再識別，然後跟蹤等)。下面將重點從處理方法入手回顧這幾個方面國內外的發展現狀。

運動檢測

運動檢測的目的是從序列圖像中將變化區域從背最圖像中提取出來。運動區域的有效檢側對於目標分割、跟蹤和目標識別等後期處理是非常重要的，因為以後的處理過程僅僅考慮圖像中對應於運動區域的像素。然而，由於背景圖像的動態變化，如天氣、光照、陰影及混亂干擾等的影響，使得運動檢測成為一項相當困難的工作。下面歸納出目前幾種常用的方法。

1、背景減除

背景減除方法是目前運動分割中最常用的一種方法。它是利用當前圖像與背景圖像的差分來檢測出運動區域的一種技術。它一般能夠提供最完全的特徵數據，但對於動態場景的變化，如光照和外來無關事件的干擾等特別敏感。

2、時間差分

時間差分方法是在連續的圖像序列中兩個或三個相鄰幀間採用基於像素的時間差分並且閱值化來提取出圈像中的運動區域。時間差分運動檢測方法對於動態環境具有較強的自適應性，但一般不能完全提取出所有相關的特徵像素點，在運動實體內部容易產生空洞現象。

3、光流

基於光流方法的運動檢側採用了運動目標隨時間變化的光流特性，該方法的優點是在攝像機運動存在的煎提下也能檢側出獨立的運動目標。然而，大多數的光流計算方法相當複雜，且抗噪性能差，如果沒有特別的硬體裝置則不能被套用於全幀視頻流的實時處理。

運動估計

在隨時間變化的圖像序列中，核與幀之間存在著很大的空間冗餘，通過運動估算可以有效的去除冗餘，保留幀間的有效信息，這對於圖像序列數據壓縮和傳輸是非常重要的。如果景物和攝像設備都是靜止的，其在當前幀中的位里與在下一幀中的位里應當是相同的；如果在靜止景物中還有運動的物體，則對當前幀中運動物體上某一像素點，在未來時刻的最佳運動位置估計，應為該像素點在下一幀中的位里。常用的運動估計方法有：

1、基於光流方程的方法

它依據時空圖像的亮度梯度得到一個光流場的估算。對於灰度圖象，光流方程要與合適的時空平滑約束條件聯合使用，要求位移矢量在附近區域緩慢變化。對於彩色圖像，光流方程可分別施加於每個顏色帶上，約束三個方向的位移矢量。

2、基於塊的方法

假設圖像是由運動的塊構成的。相位相關法中，兩個相鄰幀之間的傅立葉相位差決定了運動估計的結果。塊匹配算法是使用“ 距離準則” 搜尋出相鄰幀間的固定大小的最佳匹配塊的位置。

3、像素遞歸法

像素遞歸法是預測校正型的位移估算器。預測值可以作為前一個像素位里的運動估計值，或作為當前像素淋浴內的運動估算線形組合，依據該像素上的位移幀差的梯度最小值，對預測作進一步的修正。

4、貝葉斯法

它利用隨機平滑約束條件，通常採用Gibbs隨機場方法來估算位移場。貝葉斯方法的主要不足是需要大童計算。

目標切割

目標分割的目的是從檢測到的運動區域中將對應於目標的運動區域提取出來。不同的運動區域可能對應於不同的運動目標，比如交通道路上監控攝像機所捕捉的序列圖像中可能包含行人、車輛及其它諸如飛鳥、流雲、搖動的樹枝等運動物體，為了便於進一步對自標景物進行跟蹤和行為分析，運動目標的正確分割是完全必要的。

目標跟蹤

跟蹤即是對目標在圖像中的位置進行連續的或按時間採樣的離散測量，通過對目標運動行為的估計，預測連續的感測器範圍內目標在圖像中的下一個位置，其等價於在連續的圖像幀間創建基於位置、速度、形狀、紋理、色彩等有關特徵的對應匹配問題，常用的數學工具有卡爾曼濾波、Condensation 算法及動態貝葉斯網路等。其中Kalman濾波是基於高斯分布的狀態預測方法，不能有效地處理多峰模式的分布情況；Condensation 算法是以因子抽樣為基礎的條件密度傳播方法，結合可學習的動態模型，可完成魯棒的運動跟蹤。

目標識別

運動檢測、目標分割與目標跟蹤是序列圖像分析中研究較多的三個問題，而目標的識別是近年來被廣泛關注的研究熱點，它是指對目標的運動模式進行分析和識別，它同樣包括特徵提取和模式匹配兩個主要部分。模式匹配可以簡單地被認為是時變數據的分類問題, 即將測試序列與預先標定的代表典型運動的參考序列進行特徵匹配。由此可見, 模式匹配的關鍵問題是如何從學習樣本中獲取參考運動序列, 並且學習和匹配的運動序列必須能夠處理在相似的運動模式類別中空間和時間尺度上輕微的特徵變化。

匹配時變數據的技術通常有: a) 動態時間規整DTW(Dynamic Time Warping)：DTW具有概念簡單、算法魯棒的優點，早期被廣泛地套用於語音識別中，並且最近才被用於匹配視頻的運動模式。b) 隱馬爾可夫模型HMMs(Hidden Markov Models) ：HMMs 在學習能力和處理未分割的連續數據流方面比DTW有更好的優越性，當前被廣泛地套用於運動目標的模式匹配中。c) 神經網路NN(Neural Network) ：同樣也是 目前比較感興趣的匹配時變數據的方法。

難點

儘管圖像序列分析研究己經取得了一定的成果，但下述幾個方面仍是今後研究的難點問題，迫切需要引起廣大科研工作者的高度關注。

（1）運動分割

快速準確的運動分割是個相當重要但又是比較困難的問題。這是由於動態環境中捕捉的圖像受到多方面的影響，比如天氣的變化、光照條件的變化、背景的混亂干擾、運動目標的影子、物體與環境之間或者物體與物體之間的遮擋、甚至攝像機的運動等，這些都給準確有效的運動分割帶來了困難。

（2）遮擋處理

目前，大部分圖像序列分析系統都不能很好地解決目標之間互遮擋和自遮擋問題。遮擋時，目標只有部分是可見的，而且這個過程一般是不可訓練的，簡單依賴於背景減除進行運動分割的技術此時將不再可靠，為了減少遮擋或深度所帶來的歧義性問題，必須開發更好的模型來處理遮擋時特徵與目標各部分之間的準確對應問題。

（3）三維建模與跟蹤

二維方法在早期的圖像序列分析中證明是很成功的，尤其對於那些不需要精確的圖像恢復或低圖像解析度的套用場合。而三維方法在不受限的複雜的人的運動判斷、更加準確的物理空間的表達、遮擋的準確預測和處理等方面的優點是二維方法所不能比擬的；目前基於視覺的三維跟蹤研究仍相當有限, 三維運動恢復的實例亦很少，且大部分系統由於要求魯棒性而引入了簡化的約束條件。

（4）多攝像機的使用

多攝像機的使用不僅可以擴大監視的有效範圍，而且可以提供多個不同的方向視角以用於解決遮擋問題。對於多攝像機跟蹤系統而言，我們需要確定在每個時刻使用哪一個攝像機或哪一幅圖像。也就是說，多攝像機之間的選擇和信息融合是一個比較關鍵的問題。

（5）性能評估

一般而言，魯棒性、準確度、速度是人運動分析系統的二個基本要求。例如，系統的魯棒性對於監控套用特別重要，系統的準確度對於控制套用特別重要，而系統的處理速度對於那些需要實時高速的監控系統而言更是非常關鍵。因此，如何選擇有效的工作方案來提高系統性能、降低計算代價是個特別值得考慮的問題。

發展趨勢

隨著圖像序列分析研究和其它相關技術的發展，下述幾個方面己經成為未來的發展趨勢：

（1）從特定目標檢測的角度，通過引入目標先驗知識來研究目標的檢測和分割；

（2）深入分析形狀特徵及其對目標檢測算法的影響；

（3）討論多目標的檢測和分割；

（4）就多視角採樣識別中的採樣充分性判別加以討論；

（5）研究人機互動的紀錄和重用等問題。