王濤

（中航工業(yè)洛陽電光設(shè)備研究所 河南 洛陽471009）

平顯圖像的抖動(dòng)將直接影響飛行員的視覺效果。目前，評(píng)估平顯成像系統(tǒng)質(zhì)量一般都是通過人眼對(duì)振動(dòng)情況下平顯圖像的長(zhǎng)時(shí)間觀察做出判斷，主觀因素較大，容易產(chǎn)生誤判。因此，研究一套實(shí)時(shí)客觀的平顯圖像振動(dòng)檢測(cè)系統(tǒng)具有重要意義。

1 運(yùn)動(dòng)估計(jì)算法的選取

運(yùn)動(dòng)估計(jì)是圖像振動(dòng)檢測(cè)技術(shù)的核心，獲得精確的圖像序列幀間偏移向量的方法就是運(yùn)動(dòng)估計(jì)[1-2]。運(yùn)動(dòng)估計(jì)的準(zhǔn)確性與實(shí)時(shí)性極大的影響著整個(gè)系統(tǒng)的性能。

前后相鄰的兩幅圖像的映射關(guān)系是由前一幀圖像和偏移量共同作用的函數(shù)，即

其中，Im g(i)表示前一幀圖像，g(d x,d y)表示偏移量，Im g(i+1)表示后一幀圖像。

運(yùn)動(dòng)估計(jì)算法在振動(dòng)檢測(cè)、電子穩(wěn)像、視頻壓縮等領(lǐng)域廣泛被使用[3]。關(guān)于運(yùn)動(dòng)估計(jì)的算法有很多，包括塊匹配法、灰度投影法、特性匹配法等[4-5]。

通過對(duì)各種運(yùn)動(dòng)估計(jì)算法的研究與分析，比較它們的優(yōu)缺點(diǎn)，得到表1。

表1 運(yùn)動(dòng)估計(jì)算法的比較Tab.1 Comparison of motion estimation algorithm

由表1可知，特征匹配的優(yōu)越性高，而且對(duì)于其缺點(diǎn)可以采取一些算法補(bǔ)救，來提高匹配的精度。所以本文采用基于特征匹配的振動(dòng)檢測(cè)算法。

2 特征匹配算法的選取

2.1 基于特征點(diǎn)的振動(dòng)檢測(cè)算法分析

振動(dòng)檢測(cè)算法的重要思路之一就是“特征匹配”，它的實(shí)質(zhì)就是構(gòu)造出某種相關(guān)的運(yùn)算機(jī)制，然后得到圖像幀與幀間的運(yùn)動(dòng)向量。它主要依賴于圖像的某個(gè)或某些特征，因此有比較高的精度。這里的特征包括點(diǎn)特征、線特征、面積特征等。點(diǎn)特征是應(yīng)用范圍最廣的一種特征量，與直線特征相比較，點(diǎn)特征具有易提取、計(jì)算量小的優(yōu)點(diǎn)。可以通過多個(gè)特征點(diǎn)來保證算法的穩(wěn)定性和精確性。特征點(diǎn)匹配算法的原理是分別在參考幀圖像和當(dāng)前圖像選取一些特征點(diǎn)，然后對(duì)特征點(diǎn)進(jìn)行相關(guān)的匹配，最后求出運(yùn)動(dòng)向量。

本文是要滿足實(shí)時(shí)振動(dòng)檢測(cè)的要求，即在實(shí)現(xiàn)振動(dòng)檢測(cè)的同時(shí)達(dá)到很好的實(shí)時(shí)性，選擇基于特征點(diǎn)匹配，是因?yàn)樗哂幸韵碌奶攸c(diǎn)：

1)精度高

本系統(tǒng)的目的就是檢測(cè)出振動(dòng)的幅度，檢測(cè)出圖像序列間的不規(guī)則運(yùn)動(dòng)，使觀察者觀察、分析起來更加方便，因此較高的精度是必不可少的。而特征點(diǎn)是個(gè)局部的特征，它的匹配對(duì)位置的變化相對(duì)比較敏感，當(dāng)選取多個(gè)特征點(diǎn)進(jìn)行匹配時(shí)，可大大提高匹配精度。

2)實(shí)時(shí)性好

實(shí)時(shí)性好的實(shí)質(zhì)是幀處理率高，即每一幀圖像的處理速度快，這樣在檢測(cè)系統(tǒng)中能夠及時(shí)反映實(shí)際中的變化。圖像的特征點(diǎn)的個(gè)數(shù)比圖像的整個(gè)像素點(diǎn)的個(gè)數(shù)少很多，因此，可以大大提高匹配時(shí)的速度。

2.2 特征點(diǎn)提取算法的分析

一般常用的提取特征點(diǎn)的方法有：基于角點(diǎn)提取，如Susan法、Harris法等；基于興趣點(diǎn)提取，如Moravec操作數(shù)、Forstner操作數(shù)等;基于邊緣提取，如Log算子、Canny算子等。

2.2.1 基于角點(diǎn)提取算法

圖像中的角點(diǎn)一般指圖像邊界上曲率高 (即曲率變化明顯)的點(diǎn)。基于角點(diǎn)的算法有很多，如Susan法、Harris法、Kitchen法等。Harris算子[6]是1988年C.Harris和M.J.Stephens提出的基于信號(hào)強(qiáng)度的點(diǎn)特征提取算子。該算子引入了信號(hào)處理中自相關(guān)函數(shù)理論，將圖像的局部自相關(guān)函數(shù)與角點(diǎn)檢測(cè)緊密的結(jié)合在一起，最后是通過對(duì)特征值的分析判斷待檢測(cè)點(diǎn)是否為角點(diǎn)。該算子計(jì)算量相對(duì)小，因?yàn)樗挥玫交叶鹊囊浑A差分以及高斯濾波。由于用到圖像的一階導(dǎo)數(shù)，所以當(dāng)圖像存在旋轉(zhuǎn)、灰度變化或視點(diǎn)變化時(shí)，不影響角點(diǎn)提取的效果，而且Harris算子的穩(wěn)定性也比較高。利用Harris算子對(duì)平顯圖像進(jìn)行特征點(diǎn)提取結(jié)果如圖1所示。

2.2.2 基于興趣點(diǎn)提取算法

圖1 Harris算子提取特征點(diǎn)圖Fig.1 To extract the feature points by Harris

相對(duì)于領(lǐng)域表現(xiàn)出某種奇異性的點(diǎn)稱為興趣點(diǎn)，例如一些在局部區(qū)域中各個(gè)方向上灰度變化最大的像素點(diǎn)。它們?nèi)菀滋崛。⑶覍?duì)信號(hào)的噪聲、數(shù)據(jù)采集時(shí)參數(shù)變化和圖像變換等具有很好的魯棒性。一般常用的算法有Moravec算子、Forstner算子、Hannah算子等。

Moravec在1977年提取利用灰度方差提取特征的方法，隨后這種方法被稱為Moravec算子。該算法是沿著圖像中的每一個(gè)像素點(diǎn)的4個(gè)方向，即水平、垂直、對(duì)角線和反對(duì)角線計(jì)算其灰度差，選取最小值作為響應(yīng)值，最后通過局部非極大值抑制檢測(cè)出特征點(diǎn)[7]。該算法思想簡(jiǎn)單，但是也造成它的局限性，即只利用4個(gè)方向計(jì)算，這樣導(dǎo)致該算法在方向性上的缺陷。而且該算法對(duì)噪聲的抑制性差，容易把一些孤立點(diǎn)和邊緣點(diǎn)當(dāng)做角點(diǎn)提取出來，準(zhǔn)確率不高?；诖怂阕犹崛√卣鼽c(diǎn)情況如圖2所示。

圖2 Moravec算子提取特征點(diǎn)圖Fig.2 To extract the feature points by Moravec

2.2.3 基于邊緣檢測(cè)提取特征點(diǎn)

一幅圖像的邊緣實(shí)質(zhì)上意味一個(gè)區(qū)域的截止另一個(gè)區(qū)域的開始，它是以圖像局部特征不連續(xù)性的形式出現(xiàn)，故邊緣具體是指與其周圍像素灰度有階躍變化的像素點(diǎn)的集合。邊緣檢測(cè)是利用圖像一階導(dǎo)數(shù)的極值或二階導(dǎo)數(shù)的過零點(diǎn)信息來提供判斷邊緣點(diǎn)的基本依據(jù)。因此，選取邊緣點(diǎn)作為特征點(diǎn)，同樣可以保證特征點(diǎn)定位的準(zhǔn)確性和魯棒性。

下面對(duì)比幾種常見的邊緣檢測(cè)算子：

1)Roberts算子

由Roberts提出的一種算子，其原理是在2×2鄰域上計(jì)算對(duì)角導(dǎo)數(shù)作為差分算子尋找邊緣寫成模板為：

由于Robert算子通常會(huì)在圖像邊緣附近的區(qū)域內(nèi)產(chǎn)生較寬的響應(yīng)，故采用上述算子檢測(cè)的邊緣圖像常需做細(xì)化處理，而且邊緣定位的精度不是很高。所以通過Robert算子圖像處理后結(jié)果邊緣不是很平滑。

2)Sobel算子

Sobel提出一種將方向差分運(yùn)算與局部平均相結(jié)合的邊緣檢測(cè)方法。Sobel算子的原理是在3×3的鄰域內(nèi)做灰度加權(quán)和差分運(yùn)算，利用像素點(diǎn)上下左右相鄰點(diǎn)的灰度加權(quán)算法，依據(jù)在邊緣點(diǎn)處達(dá)到極值這一現(xiàn)象進(jìn)行邊緣檢測(cè)。

它采用的模板如下：

Sobel算子利用快速卷積函數(shù)使得它具有簡(jiǎn)單有效的特點(diǎn)，得到廣泛的應(yīng)用。但是，Sobel算子并沒有嚴(yán)格地區(qū)分圖像的背景和主體，即Sobel算子沒有基于圖像灰度進(jìn)行處理，提取的圖像輪廓有時(shí)并不能達(dá)到很好的效果。

3)LOG算子

Marr和Hildreth將高斯濾波和拉普拉斯邊緣檢測(cè)算法有機(jī)結(jié)合，提出了拉普拉斯邊緣檢測(cè)算子，形成了LOG(Laplacian of Gaussian)算法。之前敘述的算子都是利用邊緣處的梯度最大來進(jìn)行邊緣檢測(cè)，而拉普拉斯邊緣檢測(cè)是利用拐點(diǎn)處二階導(dǎo)數(shù)為0，也就是尋找邊緣可以通過尋找二階導(dǎo)數(shù)的零交叉點(diǎn)來完成。以模板形式表示如下：

由于一階導(dǎo)數(shù)對(duì)噪音敏感，二階導(dǎo)數(shù)對(duì)噪音就更敏感，因而不穩(wěn)定。所以LOG算法就是在用拉普拉斯算子之前，先用高斯濾波器對(duì)圖像進(jìn)行平滑。該算子具有以下特點(diǎn)：

①節(jié)省計(jì)算時(shí)間。其它的微分法，需要計(jì)算不同方向的微分，而LOG算法無方向性，不用計(jì)算不同方向的微分，因此可以缺省這部分計(jì)算量，從而節(jié)省計(jì)算時(shí)間；

②由于LOG算法先對(duì)圖像進(jìn)行平滑，這樣尺度小于σ(高斯分布的均方差)的圖像強(qiáng)度變化可以被消除；

③邊緣連續(xù)性好、定位精度高，可以提取對(duì)比度較弱的邊緣點(diǎn)。

綜上所述，Robert算子通常會(huì)在圖像邊緣附近的區(qū)域內(nèi)產(chǎn)生較寬的響應(yīng)，由于邊緣定位的精度不是很高，所以通過其對(duì)圖像進(jìn)行處理后結(jié)果邊緣不是很平滑；Sobel算子并沒有將圖像的主體與背景嚴(yán)格地區(qū)分開來，它沒有基于圖像灰度進(jìn)行處理，故提取的圖像輪廓有時(shí)并不能令人滿意；LOG算子在邊緣檢測(cè)中是讓圖像與高斯濾波器進(jìn)行卷積，這樣既對(duì)圖像進(jìn)行了平滑又降低了噪聲，并且LOG算子定位精度高，邊緣連續(xù)性好，也可以較好提取對(duì)比度較弱的邊緣點(diǎn)。利用3種檢測(cè)算子分別對(duì)平顯圖像進(jìn)行邊緣檢測(cè)，結(jié)果如圖3～5所示。

圖3 Robert算子Fig.3 Robert

圖4 Sobel算子Fig.4 Sobel

圖5 LOG算子Fig.5 LOG

綜上所述，本系統(tǒng)采取LOG算子對(duì)圖像進(jìn)行邊緣檢測(cè)。

在對(duì)圖像進(jìn)行邊緣檢測(cè)后，將圖像分成互不重疊的r×s大小的區(qū)域，在覆蓋的圖像區(qū)域中選取灰度最大的點(diǎn)作為特征點(diǎn)。

3 基于邊緣檢測(cè)提取特征點(diǎn)的振動(dòng)檢測(cè)算法

由于基于角點(diǎn)提取和基于興趣點(diǎn)提取都是對(duì)整幅圖像來進(jìn)行搜索計(jì)算，所以算法比較復(fù)雜，計(jì)算量大，耗時(shí)長(zhǎng)，不利于系統(tǒng)的實(shí)時(shí)處理。而基于邊緣檢測(cè)提取特征點(diǎn)是在邊緣點(diǎn)中進(jìn)行選取，這樣無形中提高了特征點(diǎn)提取速度。

另外，當(dāng)選取LOG算子對(duì)圖像進(jìn)行邊緣檢測(cè)還能彌補(bǔ)平顯圖像預(yù)處理中利用中值濾波去噪的缺陷。由于中值濾波對(duì)高斯噪聲無能為力，但是LOG算子的特點(diǎn)就是對(duì)圖像進(jìn)行高斯濾波然后再邊緣檢測(cè)，所以，當(dāng)平顯圖像中包含高斯噪聲，利用邊緣檢測(cè)也能達(dá)到去噪的效果。因此，本文選取基于邊緣檢測(cè)提取特征點(diǎn)。

但是基于邊緣檢測(cè)提取特征點(diǎn)算法在對(duì)圖像進(jìn)行邊緣檢測(cè)后，選取圖像區(qū)域中灰度最大的點(diǎn)作為特征點(diǎn)，而根據(jù)本系統(tǒng)采集的平顯圖像(如圖6所示)特征來看，灰度變化不明顯，而且之前已經(jīng)對(duì)圖像進(jìn)行二值化處理，整幅圖像只有兩種灰度值(0或255)，顯然利用灰度最大提取特征點(diǎn)已經(jīng)不合理。因此，需對(duì)邊緣檢測(cè)提取特征點(diǎn)算法加以改進(jìn)。

圖6 原始圖像Fig.6 Original image

3.1 邊緣檢測(cè)提取特征點(diǎn)算法改進(jìn)

由于不能在已經(jīng)進(jìn)行閾值分割的圖像中選取灰度值最大的點(diǎn)作為特征點(diǎn)進(jìn)行提取，也就意味著不能從灰度變化這個(gè)方面對(duì)平顯圖像進(jìn)行特征點(diǎn)提取。所以，需選取基于角點(diǎn)的原理提取特征點(diǎn)。具體方法是在對(duì)圖像進(jìn)行邊緣檢測(cè)處理后，利用基于角點(diǎn)提取特征點(diǎn)的方法對(duì)圖像進(jìn)行特征點(diǎn)提取，這樣做不僅能克服不能直接利用邊緣檢測(cè)提取特征點(diǎn)，還能縮短基于角點(diǎn)提取特征點(diǎn)的時(shí)間，因?yàn)檫@里的角點(diǎn)都是在圖像邊緣上選取。具體計(jì)算過程如下：

1)LOG邊緣檢測(cè)。利用LOG算子進(jìn)行邊緣檢測(cè)步驟：

①在一定范圍內(nèi)對(duì)圖像做平滑濾波處理；

②利用差分算子檢測(cè)在相應(yīng)尺度上的圖像邊緣。使用的差分算子是各向同性的拉普拉斯二階差分算子。常用5×5的LOG算子模板為：

圖像與上述模板進(jìn)行進(jìn)行卷積后，提取邊緣如圖7所示。

2)角點(diǎn)提取。角點(diǎn)提取特征點(diǎn)的步驟：

①計(jì)算圖像在邊緣點(diǎn)上的梯度，也就是在水平X方向和垂直Y方向的差分Ix和Iy；

②構(gòu)造一個(gè)與自相關(guān)函數(shù)相聯(lián)系的矩陣C^，該矩陣的特征值λ1,λ2是自相關(guān)函數(shù)的一階曲率，其公式為：

圖7 LOG算子邊緣檢測(cè)Fig.7 Edge detection by LOG

其中Ix為x方向的差分，Iy為y方向的差分，I^表示為對(duì)I做高斯濾波，式(2)表示對(duì)操作的圖像中的像素點(diǎn)，計(jì)算其在橫向和縱向的差分，以及二者的乘積，這樣得到的新的圖像上的像素對(duì)應(yīng)的值就是和IxIy，然后再對(duì)其進(jìn)行高斯濾波。

③ 提取特征點(diǎn)：如果特征值 λ1，λ2是極大值，即兩個(gè)一階曲率值都高，那么該點(diǎn)就被認(rèn)為是特征點(diǎn)。計(jì)算公式如下

式(4)中 λ1，λ2為自相關(guān)矩陣C^的兩個(gè)特征值。 det(C^)代表求矩陣行列式，trace(C^)代表求矩陣的跡，K是常數(shù)。其中k的經(jīng)驗(yàn)取值范圍為0.04至0.06。K·trace2(C^)是修正，目的是為了抑制邊緣點(diǎn)的誤檢。

計(jì)算完后，將圖像分成互不重疊的r×s個(gè)區(qū)域Ak，在Ak覆蓋的圖像區(qū)域中選取H最大的點(diǎn)作為特征點(diǎn)。選取結(jié)果如圖8所示。

圖8 改進(jìn)算法后提取特征點(diǎn)圖Fig.8 To extract the feature points by Improved algorithm

利用角點(diǎn)檢測(cè)法對(duì)邊緣進(jìn)行特征點(diǎn)提取具有較高的魯棒性和穩(wěn)定性，能夠在圖像旋轉(zhuǎn)、噪聲干擾等情況下準(zhǔn)確的檢測(cè)特征點(diǎn)，具有較低的誤檢率。

4 結(jié)束語

本文首先對(duì)運(yùn)動(dòng)估計(jì)算法進(jìn)行研究并對(duì)其進(jìn)行比較，并研究了3種特征點(diǎn)提取算法，針對(duì)平顯圖像的特點(diǎn)，對(duì)基于邊緣檢測(cè)提取特征點(diǎn)算法進(jìn)行改進(jìn)，并在VC6.0環(huán)境下對(duì)其做了實(shí)驗(yàn)，分別計(jì)算了改進(jìn)前和改進(jìn)后提取特征點(diǎn)的時(shí)間，試驗(yàn)結(jié)果驗(yàn)證了改進(jìn)算法的優(yōu)越性。利用該算法提取圖像序列的特征點(diǎn)后并進(jìn)行特征點(diǎn)匹配，根據(jù)特征點(diǎn)對(duì)位移量計(jì)算圖像序列的振動(dòng)量，完成圖像的振動(dòng)檢測(cè)。

[1]趙紅穎,金宏,熊經(jīng)武.電子穩(wěn)像技術(shù)概述[J].光電精密工程，2001,9(4):353-358.ZHAO Hong-ying,JIN Hong,XIONG Jing-wu?.Overview of the electronic image stabilization technology[J].Optics and Precision Engineering,2001,9(4):353-358.

[2]周同.基于改進(jìn)Canny邊緣檢測(cè)算子的電子穩(wěn)像算法研究[D].蘇州:蘇州大學(xué),2010.

[3]高曉明.電子穩(wěn)像系統(tǒng)主要算法的研究 [D].西安:西安科技大學(xué),2008.

[4]Pourreza H R,Rahmatt M,Behazin F.An electronic digital image stabilizer based on stationary wavelet transform(SWT)[J].ICIP 2003(2):383-386.

[5]Erturk S Dennis T J.Image sequence stabilization based on DFT filtering.IEEE Proc.On Image Vision and Signal Processing,2000(127):95-102.

[6]劉宇斌.一種分階段的高精度亞像素特征點(diǎn)提取方法[J].南華大學(xué)學(xué)報(bào):自然科學(xué)版,2006,20(2):54-57.LIU Yu-bin.A method of extracting highly accurateSubpixel Features by stages[J].Journal o fN anhuaUn iversity(Sc ience and Technology),2006.06,20(2):54-57.

[7]郭飛飛.基于特征點(diǎn)的圖像配準(zhǔn)方法及其應(yīng)用 [D].重慶:重慶大學(xué),2010.