局部圖像變換運算元

局部圖像運算元是圖像特徵的局部表達，它反映了圖像上具有的局部特性，適合於對圖像進行特徵提取、匹配、檢索等套用領域。

基本介紹

• 中文名：局部圖像變換運算元
• 外文名：Local image transformation operator 
• 基本釋義：對圖像局部進行變換的運算元
• 歸屬學科：計算機技術
• 反映：圖像的局部特性
• 套用：特徵提取

背景

目前計算機視覺領域的圖像內容表示方法分為基於全局特徵的圖像內容表示方法和基於局部特徵的圖像內容表示方法。為提高圖像內容表示的性能，研究者提出了大量的圖像區域描述算法，其中部分描述算法是為全局特徵設計的，部分是為局部特徵設計的。由於全局特徵和局部特徵描述運算元在本質上沒有明顯差別，全局特徵描述運算元用於描述局部圖像區域即可作為局部特徵描述運算元，而局部特徵描述運算元用於描述整幅圖像，即可視為全局特徵描述子。

圖像區域表示是計算機視覺和模式識別領域的重要問題，圖像區域能力的強弱，直接決定著後續圖像內容分類、識別和檢索等高級處理的結果。一種較好的局部圖像運算元應該具備：重複性、判別性、局部不變性、富含信息、量化描述以及精確高效等特性。

局部圖像運算元是圖像特徵的局部表達，它反映了圖像上具有的局部特殊性，適合於對圖像進行匹配，檢索等套用。而全局圖像運算元更反映一些全局特徵，如顏色分布，紋理特徵，主要物體的形狀等。全局圖像運算元容易受到環境的干擾，光照、旋轉、噪聲等不利因素都會影響全局特徵。相比而言，局部圖像運算元，往往對應著圖像中的一些線條交叉，明暗變化的結構中，受到的干擾也少。

基於分布統計的描述運算元

基於分布統計的描述運算元使用直方圖表現圖像的不同外觀或形狀特點下面，下面為幾種套用比較廣泛的基於分布統計的描述運算元。

SIFT描述運算元

可以用來描述任意的歸一化後的圖像區域，是一個3D梯度位置方向直方圖，位置被量化到4×4局部柵格，梯度角度分為8個方向，運算元為4×4×8=128維。

GLOH 描述運算元

GLOH是SIFT描述子的一種延伸，為了增強其魯棒性和獨立性。以對數極坐標在半徑方向建立三個帶（6，11，15）和8個角度方向，形成17個位置帶，中心帶在半徑方向不分塊。梯度方向量化為16個帶，形成272維矢量，並利用PCA降維。

Shape context描述運算元

與SIFT描述運算元相似，但是基於邊緣 Shape context是一個邊緣點位置和方向的3D直方圖，以對數極坐標在半徑方向建立三個帶（6，11，15）和4個角度方向，生成36維描述子。

Geometric histogram描述運算元

在一個區域內描述邊緣分布直方圖。

PCA-SIFT描述運算元

以特徵點周圍39×39像素塊形成3024維矢量，用PCA降維36維。

Spin image描述運算元

是一個量化像素位置和強度的直方圖 ，在5個圓環中計算10個強度帶，生成50維運算元。

基於矩的描述運算元

針對於一幅圖像，我們把像素的坐標看成是一個二維隨機變數（X,Y）,那么一幅灰度圖像可以用二維灰度密度函式來表示，因此可以用矩來描述灰度圖像的特徵。矩和不變矩是一種常用的局部圖像運算元。矩特徵主要表征了圖像區域的幾何特徵，又稱為幾何矩， 由於其具有旋轉、平移、尺度等特性的不變特徵，所以又稱其為不變矩。它是一處高度濃縮的圖像特徵。

基於濾波器的描述運算元

Koenderink 和 VanDoorn 提出利用"local jet"建模人類視覺系統的感應域，後來該描述方法被Schmid和Mohr用來描述圖像區域。該描述算法基本思想是通過對待描述圖像區域與高斯函式的各階導數實施卷積運算而得到待描述區域的量化表示。Schaffalitzky和Zisserman利用複數濾波器進行圖像表示。該描述子首先對待描述圖像區域進行變換，以達到對光照和仿射具備一定的不變性，然後，在處理後的局部圖像區域上使用濾波器組濾波。除了上面提到的各濾波器，還有其他很多基於濾波器的圖像區域內容表示方法，如Schaffalitzky和Zisserman提出了複數濾波器圖像區域描述子。這些特徵對圖像內容的幾何形變以及一維仿射變換，都具有很好的魯棒性。[1]

微分運算元

一階微分邊緣運算元，經典運算元比如：Roberts(羅伯特)、Prewitt（普魯伊特）、Sobel(索貝爾)，Canny（坎尼）等，二階微分邊緣運算元，LOG邊緣檢測運算元。

Sobel運算元

Sobel運算元是典型的基於一階導數的邊緣檢測運算元，由於該運算元中引入了類似局部平均的運算，因此對噪聲具有平滑作用，能很好的消除噪聲的影響。Sobel運算元對於象素的位置的影響做了加權，與Prewitt運算元、Roberts運算元相比因此效果更好。

Sobel運算元包含兩組3x3的矩陣，分別為橫向及縱向模板，將之與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值。

Robert運算元

是一種最簡單的運算元，是一種利用局部差分運算元尋找邊緣的運算元，他採用對角線方向相鄰兩象素之差近似梯度幅值檢測邊緣。檢測垂直邊緣的效果好於斜向邊緣，定位精度高，對噪聲敏感,無法抑制噪聲的影響。1963年，Roberts提出了這種尋找邊緣的運算元。

Roberts邊緣運算元是一個2x2的模板，採用的是對角方向相鄰的兩個像素之差。從圖像處理的實際效果來看，邊緣定位較準，對噪聲敏感。適用於邊緣明顯且噪聲較少的圖像分割。Roberts邊緣檢測運算元是一種利用局部差分運算元尋找邊緣的運算元,Robert運算元圖像處理後結果邊緣不是很平滑。經分析，由於Robert運算元通常會在圖像邊緣附近的區域內產生較寬的回響，故採用上述運算元檢測的邊緣圖像常需做細化處理，邊緣定位的精度不是很高。

Prewitt運算元

該運算元與Sobel運算元類似，只是權值有所變化，但兩者實現起來功能還是有差距的，據經驗得知Sobel要比Prewitt更能準確檢測圖像邊緣。

Prewitt運算元是一種一階微分運算元的邊緣檢測，利用像素點上下、左右鄰點的灰度差，在邊緣處達到極值檢測邊緣，去掉部分偽邊緣，對噪聲具有平滑作用 。其原理是在圖像空間利用兩個方向模板與圖像進行鄰域卷積來完成的，這兩個方向模板一個檢測水平邊緣，一個檢測垂直邊緣。

對數字圖像f(x，y)，Prewitt運算元的定義如下：

G(i)=|[f(i-1,j-1)+f(i-1,j)+f(i-1，j+1)]-[f(i+1,j-1)+f(i+1，j)+f(i+1，j+1)]|

G(j)=|[f(i-1,j+1)+f(i,j+1)+f(i+1，j+1)]-[f(i-1,j-1)+f(i,j-1)+f(i+1，j-1)]|

則 P(i,j)=max[G(i),G(j)]或 P(i,j)=G(i)+G(j)

經典Prewitt運算元認為：凡灰度新值大於或等於閾值的像素點都是邊緣點。即選擇適當的閾值T，若P(i,j)≥T，則(i,j)為邊緣點，P(i,j)為邊緣圖像。這種判定是欠合理的，會造成邊緣點的誤判，因為許多噪聲點的灰度值也很大，而且對於幅值較小的邊緣點，其邊緣反而丟失了。因為平均能減少或消除噪聲，Prewitt梯度運算元法就是先求平均，再求差分來求梯度。該運算元與Sobel運算元類似，只是權值有所變化，但兩者實現起來功能還是有差距的，據經驗得知Sobel要比Prewitt更能準確檢測圖像邊緣。

Canny運算元

該運算元實現起來較為麻煩，Canny運算元是一個具有濾波，增強，檢測的多階段的最佳化運算元，在進行處理前，Canny運算元先利用高斯平滑濾波器來平滑圖像以除去噪聲，Canny分割算法採用一階偏導的有限差分來計算梯度幅值和方向，在處理過程中，Canny運算元還將經過一個非極大值抑制的過程，最後Canny運算元還採用兩個閾值來連線邊緣。

Canny邊緣檢測算法：

step1: 用高斯濾波器平滑圖象；

step2: 用一階偏導的有限差分來計算梯度的幅值和方向；

step3: 對梯度幅值進行非極大值抑制

step4: 用雙閾值算法檢測和連線邊緣

Laplacian運算元

拉普拉斯運算元是一種二階微分運算元，若只考慮邊緣點的位置而不考慮周圍的灰度差時可用該運算元進行檢測。對於階躍狀邊緣，其二階導數在邊緣點出現零交叉，並且邊緣點兩旁的像素的二階導數異號。

Laplace運算元是一種各向同性運算元，二階微分運算元，在只關心邊緣的位置而不考慮其周圍的象素灰度差值時比較合適。Laplace運算元對孤立象素的回響要比對邊緣或線的回響要更強烈，因此只適用於無噪聲圖象。存在噪聲情況下，使用Laplacian運算元檢測邊緣之前需要先進行低通濾波。所以，通常的分割算法都是把Laplacian運算元和平滑運算元結合起來生成一個新的模板。

Laplacian運算元一般不以其原始形式用於邊緣檢測，因為其作為一個二階導數，Laplacian運算元對噪聲具有無法接受的敏感性；同時其幅值產生算邊緣，這是複雜的分割不希望有的結果；最後Laplacian運算元不能檢測邊緣的方向；所以Laplacian在分割中所起的作用包括：（1）利用它的零交叉性質進行邊緣定位；（2）確定一個像素是在一條邊緣暗的一面還是亮的一面；一般使用的是高斯型拉普拉斯運算元（Laplacian of a Gaussian,LoG)，由於二階導數是線性運算，利用LoG卷積一幅圖像與首先使用高斯型平滑函式卷積改圖像，然後計算所得結果的拉普拉斯是一樣的。所以在LoG公式中使用高斯函式的目的就是對圖像進行平滑處理，使用Laplacian運算元的目的是提供一幅用零交叉確定邊緣位置的圖像；圖像的平滑處理減少了噪聲的影響並且它的主要作用還是抵消由Laplacian運算元的二階導數引起的逐漸增加的噪聲影響。

LoG運算元

也就是 Laplace of Gaussian function（高斯拉普拉斯函式）。常用於數字圖像的邊緣提取和二值化。LoG 運算元源於D.Marr計算視覺理論中提出的邊緣提取思想, 即首先對原始圖像進行最佳平滑處理, 最大程度地抑制噪聲, 再對平滑後的圖像求取邊緣。

發展現狀及趨勢

局部圖像運算元的提取通常是作為計算機視覺與數字圖像處理中許多問題的第一步,例如圖像分類、圖像檢索、寬基線匹配等，提取特徵的優劣直接影響任務的最終性能。因此，局部特徵提取方法具有重要的研究價值。然而，圖像經常發生尺度、平移、旋轉、光照、視角以及模糊等變化，特別是在實際套用場景中，圖像不可避免的會存在較大噪聲干擾、複雜背景和較大的目標姿態變化。這就給圖像局部特徵提取問題帶來了更大的挑戰。因此，局部圖像運算元研究仍然具有重要的理論意義和套用價值，值得研究者繼續關注。