一種基於分區統計模型的顱面復原方法

一種基於分區統計模型的顱面復原方法

《一種基於分區統計模型的顱面復原方法》是西北大學於2011年1月20日申請的專利,該專利的申請號為2011100223542,公布號為CN102073776A,授權公布日為2011年5月25日,發明人是周明全、馮筠、耿國華、張彥飛、李康。

《一種基於分區統計模型的顱面復原方法》屬於計算機圖像處理領域,具體涉及一種基於分區統計模型的顱面復原方法。該方法通過統計人類顱面模型形狀的先驗知識,對待覆原顱骨進行麵皮重建,具體是將顱骨和麵皮模型按照不同器官分區後建立基於分區的統計模型,然後分別復原顱骨分區的各個麵皮分區,而後再將各個麵皮分區拼接為一個麵皮整體模型。通過對顱骨麵皮分區後,提高了統計模型的表示能力,降低了復原結果的誤差。該方法在考古學,法醫學以及虛擬手術等領域都有重要的套用價值。

2016年12月7日,《一種基於分區統計模型的顱面復原方法》獲得第十八屆中國專利優秀獎。

基本介紹

  • 中文名:一種基於分區統計模型的顱面復原方法
  • 公布號:CN102073776A
  • 授權日:2011年5月25日
  • 申請號:2011100223542
  • 申請日:2011年1月20日
  • 申請人:西北大學
  • 地址:陝西省西安市長安區郭社教育科技產業園區學府大道1號
  • 發明人:周明全、馮筠、耿國華、張彥飛、李康
  • Int.Cl.:G06F17/50(2006.01)I;G06T17/00(2006.01)I
  • 代理機構:西安恆泰智慧財產權代理事務所
  • 代理人:王彩花
  • 類別:發明專利
專利背景,發明內容,專利目的,技術方案,附圖說明,技術領域,權利要求,實施方式,榮譽表彰,

專利背景

基於統計模型的計算機輔助顱面復原方法是2005年才出現的一種新的顱面復原方法。其過程是通過建立顱骨麵皮的聯合統計模型,得出顱骨和麵皮的在高維空間的特徵向量和特徵值,其中特徵向量控制著模型的變形趨勢,特徵值控制著變形範圍,然後再根據待覆原顱骨的形狀和統計模型聯合求解,從而恢復出待覆原顱骨對應的麵皮。該方法的特點是:不再使用少數特徵點來代替顱面特徵,而是將所有的頂點均參與到復原過程中,復原結果在細節上具有更強的表示能力,統計變形更符合人臉形狀變化規律;且統計可變形模型根據許多真實人臉形狀進行統計,模型的形變是在人臉形狀空間範圍內進行變形,使得復原結果的細節更為符合人臉的生理結構。但是人臉可變形統計模型的建立需要海量的樣本,而數據的獲取需要耗費大量的人力,物力,實踐中往往只能獲得少量的樣本,經常會遇到的小樣本問題。

發明內容

專利目的

《一種基於分區統計模型的顱面復原方法》的目的是利用顱骨和麵皮的相應器官部位部分相關的關係(例如麵皮的嘴巴只和顱骨的頜骨以及牙齒等部分相關)提出一種新的基於分區統計模型的顱面復原方法,以解決傳統統計模型顱面復原方法中遭遇的小樣本問題,更大程度的降低顱面復原結果的誤差。

技術方案

《一種基於分區統計模型的顱面復原方法》的基本構思是通過將顱骨和麵皮模型按照不同器官分區後建立基於分區的統計模型,然後分別復原顱骨分區的各個麵皮分區,而後再將各個麵皮分區拼接為一個麵皮整體模型,所述方法通過下列步驟進行:
步驟一,三維顱骨與麵皮分區統計模型建立:
(1)數據預處理:
(1.1)三維顱骨與麵皮模型重構:分別獲取原始的顱骨與麵皮輪廓,然後採用中心射線法剔除輪廓雜質,接著將相鄰輪廓拼接,得到無雜質單層三維顱骨與麵皮模型;
(1.2)三維顱骨與麵皮模型配準:對其中一套重構好的顱骨與麵皮模型分別進行法蘭克福坐標系校正,將其作為顱骨與麵皮模型基準樣本,接著將其餘重構好的三維顱骨模型與顱骨模型基準樣本、三維麵皮模型與麵皮模型基準樣本採用ICP配準方法進行配準處理;
(1.3)建立點對應關係:將所有經配準過的三維顱骨模型與顱骨模型基準樣本、三維麵皮模型與麵皮模型基準樣本建立點對應關係,使所有三維顱骨模型和麵皮模型都與相對應的基準樣本具有相同的頂點個數,並且所有三維顱骨和麵皮模型相同序號的頂點具有位置對應的關係;
(2)三維顱骨與顱面模型分區:
(2.1)特徵點標定:對顱骨和麵皮分別定義特徵點,採用預先導入特徵點基本空間位置,在三維視圖上手動微調特徵點位置的方法對經預處理過的三維顱骨與麵皮模型分別進行特徵點標定;
(2.2)構造輔助分割幾何模板:將與某個具體的生理感官區域相關的特徵點擬合構造出與各個生理感官區域相對應的輔助分割幾何模板,得到顱骨輔助分割幾何模板和麵皮輔助分割幾何模板,顱骨輔助分割幾何模板包括三個橢球體和一個四面體,分別對應顱骨的左眼、右眼、嘴巴和鼻子生理感官區域,麵皮輔助分割幾何模板包括三個橢球體和一個四面體,分別對應麵皮的左眼、右眼、嘴巴和鼻子生理感官區域;
(2.3)三維顱骨與麵皮模型分區:對於顱骨與麵皮輔助分割幾何模板中的每一個幾何模型,遍歷各三維顱骨模型與麵皮模型中的每一個頂點,判斷對象頂點是否在該幾何模型內部,如果頂點在某個幾何模型內部,則該頂點屬於該幾何模型的對應分區,否則,不屬於該分區,最後將屬於該分區的所有頂點組成一個頂點集合,最終將所有三維顱骨與麵皮模型均劃分為眼睛、嘴巴、鼻子以及其它生理感官部分四個分區;
(3)分區統計模型的建立:針對眼睛、嘴巴、鼻子以及其它生理感官部分四個獨立分區,分別建立顱骨和麵皮的分區聯合統計模型;
步驟二,待覆原顱骨的麵皮復原:
(1)數據預處理:
(1.1)三維待覆原顱骨模型重構:獲取待覆原顱骨的原始輪廓,採用中心射線法剔除輪廓雜質,將提取的相鄰輪廓拼接,得到無雜質單層三維待覆原顱骨模型;
(1.2)三維待覆原顱骨模型配準:將重構好的三維待覆原顱骨模型通過ICP配準方法,與步驟一(1.2)中所述的顱骨模型基準樣本進行配準處理;
(1.3)建立點對應關係:將配準後的三維待覆原顱骨模型通過最近歐式距離原理與步驟一(1.2)中所述的顱骨模型基準樣本建立點對應關係,使其與顱骨模型基準樣本有相同的頂點個數,且相同序號的頂點具有位置對應的關係;
(2)三維待覆原顱骨模型分區:
(2.1)特徵點標定:根據步驟一(2.1)中定義的顱骨特徵點,採用預先導入特徵點基本空間位置,在三維視圖上手動微調特徵點位置的方法對經預處理過的三維待覆原顱骨模型進行特徵點標定;
(2.2)三維待覆原顱骨模型分區:對於步驟一(2.2)中所述的顱骨輔助分割幾何模板中的每一個幾何模型,遍歷待覆原顱骨模型中的每一個頂點,判斷該頂點是否在該幾何模型內部,如果頂點在某個幾何模型內部,則該頂點屬於該幾何模型的對應分區,否則,不屬於該分區,最後將屬於該分區的所有頂點組成一個頂點集合,最終將待覆原顱面模型劃分為眼睛、鼻子、嘴巴以及其它部分四個分區;
(3)麵皮分區復原:將待覆原顱骨的四個分區分別代人到步驟一所建立的四個分區中相應的分區聯合統計模型中,分別復原出各個麵皮分區;
(4)麵皮分區拼接:將復原得出的四個麵皮分區採用光滑拼接算法拼接為一個整體麵皮。
優選的,步驟一(1.1)中所述的獲取原始的顱骨與麵皮輪廓採用Snake算法。
優選的,步驟一(1.1)中所述的相鄰輪廓拼接採用Ganapathy算法。
優選的,步驟一(2.1)中對顱骨和麵皮分別定義37和39個特徵點。
優選的,步驟二(1.1)中所述的獲取待覆原顱骨輪廓採用Snake算法。
優選的,步驟二(1.1)中所述的相鄰輪廓拼接採用Ganapathy算法。
優選的,步驟一(3)中分區統計模型的建立過程如下:
設i={ER,NR,MR,OR},代表經過分區的成套顱骨和麵皮模型中四個分區的集合,對於第i個分區,設其顱骨相應分區模型為Si=(S1,S2,…,Sn),對應麵皮部分為Fi=(F1,F2,…,Fm),頂點個數分別為n,m,設j={1,2,…,M},代表第j套顱骨與麵皮模型,每一套顱骨與麵皮模型在該分區的部分可以表示為一個行向量:Ti,j=(S1x,S1y,S1z,….Snx,Sny,Snz,F1x,F1y,F1z,…,Fmx,Fmy,Fmz),則第i個分區下所有成套的顱骨與麵皮模型的樣本均值
(式1)
每套顱骨與麵皮模型均去除樣本均值後
,有第i個分區下的協方差矩陣
(式2)
通過特徵值和特徵向量的定義式SiPi,k=λi,kPi,k,計算出(式2)對應的特徵值λi,k和特徵向量Pi,k,其中有意義的特徵值的個數等於顱骨與麵皮模型套數M-1,建立好的各分區統計模型表示為:
(式3)
其中,Pi中的每一列為協方差矩陣Si的前t個最大的特徵值所對應的特徵向量,t是主成分的個數,並且滿足t<min{M,n+m},b=(b1,b2,…,bt)是每個主成分的變形權值,bk滿足
優選的,步驟二(3)中麵皮分區復原方法如下:
步驟一(3)中建好的各分區統計模型重新表示為:
(式4)
根據待覆原顱骨自身的模型和步驟一中建立的分區聯合統計模型通過(式4)對待覆原顱骨進行麵皮復原,通過偏微分求解,(式4)的解為:
(式5與式6)
通過(式5與式6)分別計算出待覆原顱骨的麵皮的各個分區。
優選的,步驟二(4)中所述的光滑拼接算法通過下列步驟實現:
利用各個分區統計模型中的均值模型作為分區曲面變形限制約束,並針對具體的不平滑格線原因,採取相應的平滑拼接算法:
針對分區整體位置不當的問題,採取調整分區重心法:
步驟一,計算不平滑格線分區內所有頂點的重心,即重心A;
步驟二,計算均值模型分區內所有頂點重心,即重心B;
步驟三,將重心A位置對齊到重心B,求出平移變換參數;
步驟四,將平移變換參數施加到不平滑格線分區所有頂點,
針對分區整體位置正確,部分邊緣區域頂點位置差別較大的問題,採取調整分區邊界重心法:
步驟一,計算不平滑格線分區內邊界頂點的重心,即重心C;
步驟二,計算均值模型分區內邊界頂點重心,即重心D;
步驟三,將重心C對齊到重心D,求出平移變換參數;
步驟四,將平移變換參數施加到不平滑格線分區所有頂點,
針對兩分區邊緣處曲率較大的問題,採取調整邊界曲率法:
步驟一,調整邊界處頂點坐標,根據需要設定平滑係數t,其中0.00≤t≤0,對每一個邊界頂點根據平滑係數t值進行頂點位置調整,設V2是需要平滑的不平滑格線涉及分區模型中某一邊界點,V1是該分區均值模型中的對應點,則調整後的新頂點:V=V2+Di,其中Di=(V1-V2)*t是調整第i個邊界頂點所進行的平移向量,V是根據平滑係數t對原始頂點V2進行調整後的結果;
步驟二,調整分區內其它頂點坐標,根據該分區模型所有邊界處頂點的位移來調整當前頂點坐標,每一個邊界點的位移對當前頂點的位移影響權重採用倒數平方的加權方式,如(式7),
(式7)
其中disi為第i個邊界點到該方法的步驟一中被調整坐標的頂點的距離,Di是調整第i個邊界頂點所進行的平移向量,在(式7)中根據所有邊界頂點處的平移加權得出該頂點所需要的平移向量D,則調整後的頂點V’=V+D。
該方法基於同一顱面中顱骨與麵皮上相同生理感官部位之間的部位形狀等特徵聯繫,將三維顱骨和麵皮模型劃分成四個分區,並對各個分區建立獨立的統計模型,以此分區獨立統計模型為樣本資料庫,對待覆原顱骨相應的各個分區進行獨立復原。與現有的技術相比,在相同樣本個數情況下,降低了小樣本特殊性對整體統計模型復原影響,提高了統計模型的表達能力,有效提高了計算機輔助顱面復原方法復原結果的準確度。

附圖說明

圖1為《一種基於分區統計模型的顱面復原方法》的算法流程圖;
圖2為實施例中顱骨和麵皮特徵點編碼與位置標定示意圖,其中圖(a)為麵皮特徵點編碼與位置標定示意圖,圖(b)為顱骨特徵點編碼與位置標定示意圖,圖(a)、(b)中黑色圓形點代表為輪廓特徵點,黑色三角形點為器官特徵點;
圖3為實施例中顱骨與麵皮輔助分割幾何模板,其中(a)為顱骨輔助分隔幾何模型,(b)為麵皮輔助分隔幾何模型;
圖4為對比試驗中的嘴巴分區統計變形示意圖;
圖5為對比試驗中鼻子分區統計變形示意圖;
圖6為對比試驗中基於整體和分區的統計模型面貌復原結果,其中(a)圖為基於全局統計模型的復原結果、(b)圖為基於分區統計模型的復原結果、(c)圖為原始麵皮(groundtruth)。

技術領域

《一種基於分區統計模型的顱面復原方法》屬於計算機圖像處理技術領域,具體涉及一種基於分區統計模型的顱面復原方法。

權利要求

1.《一種基於分區統計模型的顱面復原方法》特徵在於,該方法通過下列步驟進行:步驟一,三維顱骨與麵皮分區統計模型建立:
(1)數據預處理:
(1.1)三維顱骨與麵皮模型重構:分別獲取原始的顱骨與麵皮輪廓,然後採用中心射線法剔除輪廓雜質,接著將相鄰輪廓拼接,得到無雜質單層三維顱骨與麵皮模型;
(1.2)三維顱骨與麵皮模型配準:對其中一套重構好的顱骨與麵皮模型分別進行法蘭克福坐標系校正,將其作為顱骨與麵皮模型基準樣本,接著將其餘重構好的三維顱骨模型與顱骨模型基準樣本、三維麵皮模型與麵皮模型基準樣本採用ICP配準方法進行配準處理;
(1.3)建立點對應關係:將所有經配準過的三維顱骨模型與顱骨模型基準樣本、三維麵皮模型與麵皮模型基準樣本建立點對應關係,使所有三維顱骨模型和麵皮模型都與相對應的基準樣本具有相同的頂點個數,並且所有三維顱骨和麵皮模型相同序號的頂點具有位置對應的關係;
(2)三維顱骨與顱面模型分區:
(2.1)特徵點標定:對顱骨和麵皮分別定義特徵點,採用預先導入特徵點基本空間位置,在三維視圖上手動微調特徵點位置的方法對經預處理過的三維顱骨與麵皮模型分別進行特徵點標定;
(2.2)構造輔助分割幾何模板:將與某個具體的生理感官區域相關的特徵點擬合構造出與各個生理感官區域相對應的輔助分割幾何模板,得到顱骨輔助分割幾何模板和麵皮輔助分割幾何模板,顱骨輔助分割幾何模板包括三個橢球體和一個四面體,分別對應顱骨的左眼、右眼、嘴巴和鼻子生理感官區域,麵皮輔助分割幾何模板包括三個橢球體和一個四面體,分別對應麵皮的左眼、右眼、嘴巴和鼻子生理感官區域;
(2.3)三維顱骨與麵皮模型分區:對於顱骨與麵皮輔助分割幾何模板中的每一個幾何模型,遍歷各三維顱骨模型與麵皮模型中的每一個頂點,判斷對象頂點是否在該幾何模型內部,如果頂點在某個幾何模型內部,則該頂點屬於該幾何模型的對應分區,否則,不屬於該分區,最後將屬於該分區的所有頂點組成一個頂點集合,最終將所有三維顱骨與麵皮模型均劃分為眼睛、嘴巴、鼻子以及其它生理感官部分四個分區;
(3)分區統計模型的建立:針對眼睛、嘴巴、鼻子以及其它生理感官部分四個獨立分區,分別建立顱骨和麵皮的分區聯合統計模型;具體建立過程如下:
設i={ER,NR,MR,OR},代表經過分區的成套顱骨和麵皮模型中四個分區的集合,對於第i個分區,設其顱骨相應分區模型為Si=(S1,S2,…,Sn),對應麵皮部分為Fi=(F1,F2,…,Fm),頂點個數分別為n,m,設j={1,2,…,M},代表第j套顱骨與麵皮模型,每一套顱骨與麵皮模型在該分區的部分可以表示為一個行向量:Ti,j=(S1x,S1y,S1z,…,Snx,Sny,Snz,F1x,F1y,F1z,…,Fmx,Fmy,Fmz),則第i個分區下所有成套的顱骨與麵皮模型的樣本均值
(式1)
每套顱骨與麵皮模型均去除樣本均值後
,有第i個分區下的協方差矩陣
(式2)
通過特徵值和特徵向量的定義式SiPi,k=λi,kPi,k,計算出(式2)對應的特徵值λi,k和特徵向量Pi,k,其中有意義的特徵值的個數等於顱骨與麵皮模型套數M-1,建立好的各分區統計模型表示為:
(式3)
其中
Pi中的每一列為協方差矩陣Si的前t個最大的特徵值所對應的特徵向量,t是主成分的個數,並且滿足t<min{M,n+m},b=(b1,b2,…,bt)是每個主成分的變形權值,bk滿足
步驟二,待覆原顱骨的麵皮復原:
(1)數據預處理:
(1.1)三維待覆原顱骨模型重構:獲取待覆原顱骨的原始輪廓,採用中心射線法剔除輪廓雜質,將提取的相鄰輪廓拼接,得到無雜質單層三維待覆原顱骨模型;
(1.2)三維待覆原顱骨模型配準:將重構好的三維待覆原顱骨模型通過ICP配準方法,與步驟一(1.2)中所述的顱骨模型基準樣本進行配準處理;
(1.3)建立點對應關係:將配準後的三維待覆原顱骨模型通過最近歐式距離原理與步驟一(1.2)中所述的顱骨模型基準樣本建立點對應關係,使其與顱骨模型基準樣本有相同的頂點個數,且相同序號的頂點具有位置對應的關係;
(2)三維待覆原顱骨模型分區:
(2.1)特徵點標定:根據步驟一(2.1)中定義的顱骨特徵點,採用預先導入特徵點基本空間位置,在三維視圖上手動微調特徵點位置的方法對經預處理過的三維待覆原顱骨模型進行特徵點標定;
(2.2)三維待覆原顱骨模型分區:對於步驟一(2.2)中所述的顱骨輔助分割幾何模板中的每一個幾何模型,遍歷待覆原顱骨模型中的每一個頂點,判斷該頂點是否在該幾何模型內部,如果頂點在某個幾何模型內部,則該頂點屬於該幾何模型的對應分區,否則,不屬於該分區,最後將屬於該分區的所有頂點組成一個頂點集合,最終將待覆原顱面模型劃分為眼睛、鼻子、嘴巴以及其它部分四個分區;
(3)麵皮分區復原:將待覆原顱骨的四個分區分別代人到步驟一所建立的四個分區中相應的分區聯合統計模型中,分別復原出各個麵皮分區;
(4)麵皮分區拼接:將復原得出的四個麵皮分區採用光滑拼接算法拼接為一個整體麵皮。
2.如權利要求1所述的基於分區統計模型的顱面復原方法,其特徵在於,步驟一(1.1)中所述的獲取原始的顱骨與麵皮輪廓採用Snake算法。
3.如權利要求1所述的基於分區統計模型的顱面復原方法,其特徵在於,步驟一(1.1)中所述的相鄰輪廓拼接採用Ganapathy算法。
4.如權利要求1所述的基於分區統計模型的顱面復原方法,其特徵在於,步驟一(2.1)中對顱骨和麵皮分別定義37和39個特徵點。
5.如權利要求1所述的基於分區統計模型的顱面復原方法,其特徵在於,步驟二(1.1)中所述的獲取待覆原顱骨輪廓採用Snake算法。
6.如權利要求1所述的基於分區統計模型的顱面復原方法,其特徵在於,步驟二(1.1)中所述的相鄰輪廓拼接採用Ganapathy算法。
7.如權利要求1-6任一權利要求所述的基於分區統計模型的顱面復原方法,其特徵在於,步驟二(4)中所述的光滑拼接算法通過下列步驟實現:
利用各個分區統計模型中的均值模型作為分區曲面變形限制約束,並針對具體的不平滑格線原因,採取相應的平滑拼接算法:
針對分區整體位置不當的問題,採取調整分區重心法:
步驟一,計算不平滑格線分區內所有頂點的重心,即重心A;步驟二,計算均值模型分區內所有頂點重心,即重心B;
步驟三,將重心A位置對齊到重心B,求出平移變換參數;步驟四,將平移變換參數施加到不平滑格線分區所有頂點,
針對分區整體位置正確,部分邊緣區域頂點位置差別較大的問題,採取調整分區邊界重心法:
步驟一,計算不平滑格線分區內邊界頂點的重心,即重心C;步驟二,計算均值模型分區內邊界頂點重心,即重心D;
步驟三,將重心C對齊到重心D,求出平移變換參數;
步驟四,將平移變換參數施加到不平滑格線分區所有頂點,針對兩分區邊緣處曲率較大的問題,採取調整邊界曲率法:
步驟一,調整邊界處頂點坐標,根據需要設定平滑係數t,其中0.0≤t≤1.0,對每一個邊界頂點根據平滑係數t值進行頂點位置調整,設V2是需要平滑的不平滑格線涉及分區模型中某一邊界點,V1是該分區均值模型中的對應點,則調整後的新頂點:V=V2+Di,其中Di=(V1-V2)*t是調整第i個邊界頂點所進行的平移向量,V是根據平滑係數t對原始頂點V2進行調整後的結果;
步驟二,調整分區內其它頂點坐標,根據該分區模型所有邊界處頂點的位移來調整當前頂點坐標,每一個邊界點的位移對當前頂點的位移影響權重採用倒數平方的加權方式,如(式7),
(式7)
其中disi為第i個邊界點到該方法的步驟一中被調整坐標的頂點的距離,Di是調整第i個邊界頂點所進行的平移向量,在(式7)中根據所有邊界頂點處的平移加權得出該頂點所需要的平移向量D,則調整後的頂點V′=V+D。

實施方式

實施例1:該實施例通過如下步驟進行:
步驟一,三維顱骨與麵皮分區統計模型建立:
(1)數據預處理:
為了將統計的方法套用到顱骨面貌復原的研究工作中,需要對採集的原始數據進行一系列預處理工作,其結果好壞直接影響後續步驟的效果。
(1.1)無雜質單層三維顱骨與麵皮模型重構:
該實施例中使用的原始數據均由螺旋CT(Computer Tomography)機採集得到,CT機對人的頭部每隔1.5毫米進行一次掃描,最終根據每個人頭部的大小得到約200-300張CT圖像,CT機將這些圖像保存成計算機可以識別的DICOM(Digital Imagingand Communicationin Medicine)格式的檔案;
輪廓提取是三維重建的基礎,首先需要對CT圖像進行顱骨與麵皮輪廓的分別提取,即指麵皮或者顱骨最外層輪廓,不包含脖子和耳廓等數據信息。該實施例中採用Snake算法和中心射線法相結合,首先通過Snake算法分別提取顱骨和麵皮的輪廓,然後採用中心射線算法進行雜質剔除保證輪廓線單層化,其過程是由中心發射出射線,該射線和輪廓線有多處相交點,則每次只保留最外層的交點,如果最外層的交點是雜質點,則手工去除掉,得到每層CT圖像中無雜質單層輪廓點集合;
採用Ganapathy算法,將相鄰的輪廓拼接為三維格線模型,當對一套顱骨與麵皮的模型所有的輪廓拼接完成後,便得到光滑的、無雜質的三維顱骨和麵皮模型;
(1.2)三維顱骨與麵皮模型配準:在三維視圖中,對其中一套重構好的顱骨和麵皮模型分別進行法蘭克福坐標系校正,將校正後的顱骨和麵皮模型作為基準樣本,通過ICP配準處理,將其餘重構好的三維顱骨模型與顱骨模型基準樣本、三維麵皮模型與麵皮模型基準樣本進行配準處理,去除數據見仿射變換對後續實驗步驟的影響;
(1.3)建立點對應關係:將所有經配準過的三維顱骨模型與顱骨模型基準樣本、三維麵皮模型與麵皮模型基準樣本建立點對應關係,使所有三維顱骨模型和麵皮模型都與相對應的基準樣本具有相同的頂點個數,並且所有三維顱骨和麵皮模型相同序號的頂點具有位置對應的關係,即使得所有的模型都有相同的頂點個數,以及不同模型的相同序號的頂點都具有位置對應的關係;
(2)三維顱骨與麵皮模型分區
(2.1)特徵點標定:特徵點是用來描述顱骨和麵皮的關鍵特徵,該實施例參考MPEG4專家組中人臉和身體動畫專業小組的相關研究結論,定義了一套顱面特徵點標準:其中對顱骨定義了37個特徵點,麵皮定義了39個特徵點,每個特徵點的具體編號和位置見圖2;
採用預先導入特徵點基本空間位置,在三維視圖上手動微調特徵點位置的方法對顱面和麵皮模型特徵點分別進行標定,首先將預先導入特徵點構成的格線和待標定模型的相關角度分布值進行對比,產生一個候選特徵點的集合,然後採用手工方式從候選點集中標定到準確的特徵點;
(2.2)構造輔助分割幾何模板:根據顱骨和麵皮的生理結構特徵定義一套輔助分割幾何模板,用以輔助顱面分區的劃分。具體是將與某個具體的生理感官區域相關的特徵點擬合構造出與各個生理感官區域相對應的輔助分割幾何模板,各輔助分割幾何模板中的幾何模型參數通過相關顱面特徵點確定。各幾何模版對應特徵點對於麵皮模型見表1,對於顱骨模型見表2。
表1:麵皮模型各分區使用的特徵點
區域名稱
使用的特徵點
幾何體類型
左眼
2,5,6,7,14
橢球體
右眼
4,11.12,13,15
橢球體
鼻子
3,17,18.19,21
四面體
嘴巴
22,24,25,26,28
橢球體
除過表中所列特徵點編號,其他剩餘特徵點編號代表麵皮上其他生理感官部位。
表2:顱骨模型各分區使用的特徵點
區域名稱
使用的特徵點
幾何體類型
左眼
2,5,6,7,12
橢球體
右眼
4,9,10,11,13
橢球體
鼻子
3,15,16,17,19
四面體
嘴巴
20,22,24,26
橢球體
除過表中所列特徵點編號,其他剩餘特徵點編號代表顱骨上其他生理感官部位。
通過以上的過程,對顱骨和麵皮模型分別構造出一套輔助分割幾何模板,顱骨和麵皮輔助分割幾何模板均由四個和人臉不同部位形狀近似的幾何模型構成,其中顱骨輔助分割幾何模板包括三個橢球體和一個四面體,分別對應顱骨的左眼、右眼、嘴巴和鼻子生理區域,麵皮輔助分割幾何模板包括三個橢球體和一個四面體,分別對應麵皮的左眼、右眼、嘴巴和鼻子生理區域,剩餘區域為其他生理感官部位,構造的顱骨與麵皮輔助分割幾何模板結果如圖3。其中的橢球體的構造過程是將若干個特徵點代入到橢球體的一般方程中,然後計算出該橢球體對應的參數,得出橢球體方程;
(2.3)三維顱骨和麵皮模型分區:使用輔助分割幾何模板對三維顱骨和麵皮模型進行符合生理的劃分。基本過程是:首先對顱骨模型進行分區處理,對顱骨模型中每一個頂點進行遍歷,判定該頂點是否歸屬於顱骨輔助分割幾何模板中的四個幾何模型中的某一個,如頂點歸屬於某一個輔助分隔幾何中的幾何模型,則頂點歸屬於該分區,否則該頂點屬於其他區域;遍歷完畢,將顱骨模型的所有頂點劃分為四個分區,分別是眼睛、鼻子、嘴巴和其他分區;過程中具體判斷某個頂點是否屬於某個輔助幾何模板所對應的分區時,某個頂點位於輔助分隔幾何模板中四個幾何模型中某一個的所有表面的反側(設幾何模型所有表面法向量都指向外側),則認為該頂點在該幾何模型的內部。採用相同的方法對麵皮模型進行遍歷,劃分四個份區。劃分完畢,歸屬於一個區域的頂點集合就構成一個分區。
(3)分區統計模型的建立
通過上述處理過程,所有的顱骨和麵皮數據都劃分成了眼睛、嘴巴、鼻子和其它部分四個分區。針對每個分區,分別建立起顱骨與麵皮的分區聯合活動統計模型。因為在每個分區中的頂點個數相對來說減少了很多,因此相同樣本個數的情況下,在每個獨立區域上可以形成一個形狀表示能力更強的統計模型。該實施例的建立過程如下:
設i={ER,NR,MR,OR},代表經過分區的成套顱骨和麵皮模型中四個分區的集合,對於第i個分區,設其顱骨相應分區模型為Si=(S1,S2,…,Sn),對應麵皮部分為Fi=(F1,F2,…,Fm),頂點個數分別為n,m,設j={1,2,…,M},代表第j套顱骨與麵皮模型,總數為M,則每套顱骨與麵皮模型在該分區的部分可以表示為一個行向量:Ti,j=(S1x,S1y,S1z,….Snx,Sny,Snz,F1x,F1y,F1z,…,Fmx,Fmy,Fmz),則第i個分區下所有成套的顱骨與麵皮模型的樣本均值
(式1)
每套顱骨與麵皮模型均去除樣本均值後
,有第i個分區下的協方差矩陣
(式2)
通過特徵值和特徵向量的定義式SiPi,k=λi,kPi,k,計算出(式2)對應的特徵值λi,k和特徵向量Pi,k,其中有意義的特徵值的個數等於顱骨與麵皮模型套數M-1,建立好的各分區統計模型表示為:
(式3)
其中,Pi中的每一列為協方差矩陣Si的前t個最大的特徵值所對應的特徵向量,t是主成分的個數,並且滿足t<min{M,n+m},b=(b1,b2,…,bt)是每個主成分的變形權值,bk滿足
步驟二,待覆原顱骨的麵皮復原:
(1)數據預處理:
(1.1)三維待覆原顱骨模型重構:採用Snake算法從待覆原顱骨的圖像中獲取待覆原顱骨的原始輪廓,採用中心射線法剔除輪廓雜質,採用Ganapathy算法將提取的相鄰輪廓拼接,得到無雜質單層三維待覆原顱骨模型;
(1.2)三維待覆原顱骨模型配準:將重構好的三維待覆原顱骨模型通過ICP配準方法,與該實施例步驟一(1.2)步驟中所述的顱骨模型基準樣本進行配準處理;
(1.3)建立點對應關係:將配準後的三維待覆原顱骨模型通過最近歐式距離原理與該實施例步驟一(1.2)步驟中所述的顱骨模型基準樣本建立點對應關係,使其與顱骨模型基準樣本有相同的頂點個數,且相同序號的頂點具有位置對應的關係;
(2)三維顱骨模型分區:
(2.1)特徵點標定:根據該實施例步驟一(2.1)中定義的顱骨特徵點,採用預先導入特徵點基本空間位置,在三維視圖上手動微調特徵點位置的方法對經預處理過的三維待覆原顱骨模型進行特徵點標定;
(2.2)三維待覆原顱骨模型分區:對於該實施例步驟一(2.2)中所述的顱骨輔助分割幾何模板中的每一個幾何模型,分別循環判斷待覆原顱骨模型中的每一個頂點,判斷該頂點是否在該幾何模型內部,如果頂點在某個幾何模型內部,則該頂點屬於該幾何模型的對應分區;否則,不屬於該分區,最後將屬於該分區的所有頂點組成一個頂點集合,最終將待覆原顱面模型劃分為眼睛、鼻子、嘴巴以及其它部分四個分區;
(3)麵皮分區復原:將待覆原顱骨的四個分區分別代人到步驟一所建立的四個分區中相應的分區聯合統計模型中,分別復原出各個麵皮分區;
該實施例步驟一(3)中建立好的每個分區的獨立顱骨與麵皮聯合統計模型可以重新表示為:
(式4)
當某個顱骨沒有對應的麵皮信息,可以通過(式4)根據已知的待覆原顱骨的信息和該實施例中步驟一得到的分區聯合統計模型進行麵皮重建。這意味著在該分區的統計模型下(式4)中左邊向量的顱骨部分Si=(S1,S2,…,Sn)是已知的,而其對應的麵皮部分Fi=(F1,F2,…,Fm)和形變參數b=(b1,b2,…,bt)均是未知參數,構成了一個方程組,
通過偏微分求解,(式4)的解為:
(式5與式6)
通過(式5與式6)分別計算出待覆原顱骨的麵皮的各個分區;
步驟四,麵皮分區拼接:
顱面各個分區的邊界形狀具有不確定性,因此復原後的麵皮模型的各個分區不能直接拼接得到復原麵皮模型。基於分區的統計模型中各分區的均值模型是所有樣本該分區模型的平均形狀,在邊界處較為平滑,因此使用該均值模型作為分區曲面變形限制約束。根據分區拼接過程產生不平滑格線的原因,分別採用3種平滑算法平滑分區拼接後形成的不平滑格線:
(1)調整分區重心
針對分區整體位置不當,也就是分區過於偏向某個方向造成的拼接部分不平滑格線的問題,拼接時對整個分區進行剛性的平移變化,將整個分區的重心調整到均值模型對應分區的重心。其步驟如下:
步驟一,計算不平滑格線分區內所有頂點的重心,即重心A;
步驟二,計算均值模型分區內所有頂點重心,即重心B;
步驟三,將重心A位置對齊到重心B,求出平移變換參數;
步驟四,將平移變換參數施加到不平滑格線分區所有頂點,
(2)調整分區邊界重心
針對分區整體位置正確,部分邊緣區域頂點位置差別較大,造成拼接部分不平滑格線的問題,拼接時採用計算區域邊界的重心,突出考慮邊界位置,最後將對整個分區區域進行平移變換。其步驟如下:
步驟一,計算不平滑格線分區內邊界頂點的重心,即重心C;
步驟二,計算均值模型分區內邊界頂點重心,即重心D;
步驟三,將重心C對齊到重心D,求出平移變換參數;
步驟四,將平移變換參數施加到不平滑格線分區所有頂點,
(3)調整邊界曲率
針對兩分區邊緣處曲率較大,造成拼接部分不平滑格線,無法通過對分區進行位置調整改善不平滑格線的問題,本方法採用對分區進行非剛性變換,施加約束變形限制,根據拼接邊界處的曲率來約束分區頂點的坐標。具體的算法過程分為如下兩步。第一步,調整邊界處頂點坐標,首先在邊界處平滑。第二步,調整分區內其它頂點坐標,保證分區內所有頂點的相對關係。
具體操作細節如下:
步驟一,調整邊界處頂點坐標。首先,由用戶根據需要設定平滑係數t,其中t滿足0.0≤t≤1.0(t越接近0表示調整幅度越小,為0則表示不對邊界頂點進行任何調整,越接近1表示調整幅度越大,為1則表示對邊界頂點進行最大程度地調整)。對每一個邊界頂點根據平滑係數t值進行頂點位置調整。設V2是待平滑分區某一邊界點,V1是均值模型中的對應點,則調整後的新頂點:V=V2+Di,其中Di=(V1-V2)*t。
其中Di是調整第i個邊界頂點所進行的平移向量,V是根據平滑係數t對原始頂點V2進行調整後的結果。
步驟二,調整分區內其它頂點坐標。為了最大程度上保證對分區的非剛性變化不改變分區的整體形狀,即分區內頂點的相對位置關係,對所有分區內頂點進行如下操作:根據該模型所有邊界處頂點的位移來調整當前頂點坐標,每一個邊界點的位移對當前頂點的位移影響權重採用如下倒數平方的加權方式,如(式7),
(式7)
其中disi為第i個邊界點到該頂點的距離,Di是調整第i個邊界頂點所進行的平移向量,在(式7)中根據所有邊界頂點處的平移加權得出該頂點所需要的平移向量D
則調整後的頂點V’=V+D。在該平滑算法中可以根據對平滑的效果的要求適當調整平滑因子t(0.0≤t≤1.0)。
實施例2:該實施例中基於實施例1中步驟一所建立的分區統計模型,對另一待覆原顱骨進行麵皮復原,其麵皮復原過程與實施例1中步驟二所述的未知顱骨麵皮復原過程相同。
以下是發明人提供的對比試驗:
分別採用《一種基於分區統計模型的顱面復原方法》所提供的方法和基於全局統計模型的顱面復原方法對同一待覆原顱骨進行復原,圖4和圖5分別顯示了嘴巴分區和鼻子分區的統計模型的變形情況。
從圖4和圖5中可以看出,基於分區的統計模型可以在更好的變形細節,通過全局統計模型很難達到這種效果。圖6顯示了對同一顱骨的基於分區統計模型的面貌復原結果和基於全局統計模型復原結果的對比,從該圖可以看出,基於分區統計模型的面貌復原結果要優於基於整體統計模型的面貌復原結果。
表3:基於整體和分區的統計模型面貌復原絕對誤差

ER
NR
MR
OR
TOTAL
整體統計模型
6.8519
3.7495
4.0836
15.277
11.223
分區統計模型
6.4648
3.4768
4.0515
14.787
10.836
表4:基於整體和分區的統計模型面貌復原相對誤差

ER
NR
NIR
OR
TOTAL
整體統計模型
0.95%
0.52%
0.57%
2.12%
1.56%
分區統計模型
0.90%
0.48%
0.56%
2.05%
1.50%
提高
5.3%
7.7%
1.8%
0.33%
0.65%
表3中列出了基於分區統計模型面貌復原和給予整體統計模型的面貌復原的相對誤差的對比,表4中列出了這兩種不同復原方法的相對誤差對比。從表3中可以看出,基於分區的統計模型在各個分區都達到了更好的復原誤差,在總體的復原絕對誤差上,基於分區的統計模型平均提高了0.4個像素,相比基於全局的統計模型復原結果,該算法具有更高的準確度。從表4相對誤差對比上,總體平均復原誤差提高了0.65%。其中復原結果提升最明顯的是其鼻子和眼睛等麵皮和骨骼聯繫較為緊密的區域。鼻子區域提升了7.7%的準確度,眼睛分區提升了5.3%的準確度,復原效果提升明顯。

榮譽表彰

2016年12月7日,《一種基於分區統計模型的顱面復原方法》獲得第十八屆中國專利優秀獎。

相關詞條

熱門詞條

聯絡我們