主動外觀模型(active appearance model,AMM)是基於主動外觀模型的圖像分割算法,該方法可以分為兩大部分,第一部分是訓練部分,即構造一個事物的主動外觀模型,這部分需要一個訓練集,它的作用是讓程式記住需要切割的圖像的形狀特徵和外觀特徵;第二部分是圖像分割階段,這個部分是將剛才的訓練集收集的關於該事物的特徵在需要分割的圖像裡面尋找,找到與訓練集相似的物體圖像的輪廓和外觀,然後將其從整幅的圖像中分割出來。
基本介紹
- 中文名:主動外觀模型
- 外文名:active appearance model
概述,AAM的算法原理,主動外觀模型的構造,主動外觀模型的訓練,AMM存在問題,
概述
圖像分割是由圖像處理進入圖像分析的關鍵步驟。圖像在分割後處理,如特徵處理、目標識別等都依賴於圖像的分割質量,因此具有十分重要的意義。目前,研究圖像分割的算法可謂多種多樣,如基於邊緣的分割方法、基於區域的分割方法、結合邊緣和區域的分割方法和基於模型的分割方法等。
基於主動外觀模型AAM的圖像分割方法,利用PCA方法得到的平均模型不僅包括形狀輪廓模型,還包括紋理輪廓模型,這樣使得分割過程讓人覺得更加可信。除此以外,更加重要的是在圖像分割的運用中,通常精確度具有很強的說服力,例如對於某些情況下,精確度不夠有可能導致誤診:用圖像分割來測試某人的心臟或其它器官是否正常,通常極小的偏差都可能會導致醫生的誤診,因此這時候AAM(主動外觀模型)就突出了它的優勢。
所謂的AAM算法就是基於主動外觀模型的圖像分割算法,該方法可以分為兩大部分,第一部分是訓練部分,即構造一個事物的主動外觀模型,這部分需要一個訓練集,它的作用是讓程式記住需要切割的圖像的形狀特徵和外觀特徵;第二部分是圖像分割階段,這個部分是將剛才的訓練集收集的關於該事物的特徵在需要分割的圖像裡面尋找,找到與訓練集相似的物體圖像的輪廓和外觀,然後將其從整幅的圖像中分割出來。這種算法在訓練集收集事物特徵時,不僅要收集事物的輪廓特徵,也要收集事物的外觀特徵,即物體表面的顏色灰度分布和紋理特徵等。主動外觀模型能夠有效組合目標的外觀信息和輪廓信息,可以取得較好的圖像分割效果。
AAM的算法原理
該方法的基本思想是用一條由n個控制點組成的連續閉合曲線作為snake模型,再用一個能量函式作為匹配度的評價函式,首先將模型設定在目標對象預估位置的周圍,再通過不斷疊代使能量函式最小化,當內外能量達到平衡時即得到目標對象的邊界與特徵。
主動外觀模型的構造
主動外觀模型算法中的取點對整個實驗具有很大的作用,好的取點可以使實驗誤差更小,因此在取點的過程中,必須遵守以下原則:在高曲率或轉折點的地方用關鍵點進行標記,在平滑的地方用藍色點(實驗中這樣定義)進行描述,目的是更好地標記邊界,並且還會在兩個關鍵點之間等距的插入若干個點,使得標記更加詳盡。
事物的輪廓,即事物的形狀模型,在該實驗中,事物的形狀輪廓是由取點得到的矩陣來描述的,例如,該實驗中是二維圖形,然後取點為n個,因此此時就會有2n個元素,先將該向量矩陣設為x,即得到表示形狀輪廓的矩陣為:
設該訓練集中有s個訓練樣本,即可得到該訓練集有s個xi向量矩陣。
事物的紋理是指一幅圖中的顏色和光強度,在一個主動外觀模型的構造過程中,需要用點矩陣將訓練集裡的圖形更加具體的描繪出來。這些點矩陣不僅要包括事物的輪廓,也要包括事物的紋理,即:
其中x指的是模型的輪廓,指的是圖形的平均輪廓,g指的是模型的紋理,指的是圖形的平均紋理,Qx和Qg代表了訓練集裡描述圖像的點協方差特徵向量組成的矩陣,c指的是控制物體形狀和紋理的參數。
主動外觀模型的訓練
完成主動外觀模型的構造後,需對這些點進行處理從而建立一個主動外觀模型,因此先要將這些數據建立成一個訓練集,它的作用在於使計算機知道所要分割的圖像是什麼。在訓練中運用梯度下降法、PCA(主分量分析)以及金字塔這些數學模型,其中圖像金字塔模型是研究創新點。原理是以多解析度來解釋圖像的一種有效且概念簡單的結構,它是由一系列以金字塔形狀排列的解析度逐漸下降的圖像集合。如圖,它的底部是待處理的圖像的高解析度模型,然後隨著向金字塔上層移動,模型的尺寸和解析度逐漸降低,從而得到不同解析度的模型。對於數字圖像,假如底部的解析度為1,則通過數據的提取和重新組合,分別得到1/2、1/4、1/8等解析度的模型,這些解析度的模型組成的圖像即是金字塔模型。
主動外觀模型算法其實就是利用模型的形狀特徵和外觀特徵來對圖像進行還原或者是分割以及邊界檢測。主動外觀模型的訓練步驟如下:
- 收集大量的實驗訓練樣本,對樣本進行取點,然後利用PCA方法找出樣本中最能表現特徵的數據,從而建立描述形狀的控制點的運動模型。
- 運用金字塔原理從平均模型中得到不同解析度下的平均模型,同時運用梯度下降法對平均模型進行多次擬合以達到最最佳化處理。
- 通過以上的處理,就會得到相對比較理想的訓練集平均模型(如果訓練集樣本足夠龐大的話)。用該模型對新的圖形進行分割,這裡同樣需要調整位置、尺度和外觀分布等參數,調整過程利用到梯度下降法,從而得到最接近原圖像本身的形狀和紋理,即得到最最佳化的模型。
綜上所述,主動外觀模型就是圖像分割時所運用的算法之一。且其可作為圖像分割的較優算法主要在於它能夠更好的體現和表示出事物的本身,因為在圖像分割的擬合階段,訓練集得到的模型不僅會得到該事物的基本形狀的信息,同時還會得到它的外觀信息,這樣做的結果使得訓練集模型在測試模型擬合過程中對噪聲等具有更強的抗干擾能力,因此雖然付出了時間的代價,但相對與ASM(主動形狀模型)算法而言,可以獲得較好的分割結果。
AMM存在問題
人們已經針對AMM在實際套用中存在的問題提出了很多改進方法,但這些改進對於實際中的套用仍顯不足。以下是存在的問題:
- AMM釆用梯度下降法尋找最優解,從初始值開始沿著梯度減小的方向,疊代進行,直至找到極值,由於可能存在局部極值,初始值對這類方法有很大影響,好的初始值可以減少疊代次數,從而提高運算效率,並且儘可能的減少其陷入局部極值的機會。
- AMM模型對於光照和姿態的變化比較敏感,在姿態變化時,若初值不理想,疊代容易陷入局部極值,使得匹配的精度下降。
- 由於AMM將紋理切分為三角格線後進行對齊和誤差最小化,並採用全局最優的方式尋解。找到的特徵點為格線的頂點,梯度下降的對象是其相鄰的面片的紋理,相鄰的面片數多且對應在基礎形狀中像素數較多的頂點其精度相比較少的頂點精度要高,而位於臉部邊緣的頂點由於僅有一側有紋理信息,精度會較低,容易向臉內部塌縮。
- 在AMM提取面部特徵點後,如何在儘可能減少人工干預的情況下,方便快捷的向非真實感表情傳遞,尤其是由視頻驅動的漫畫風格的表情或臉譜化表情傳遞,是其在動畫領域套用的主要研究內容。