胡海洋 李海林
(海軍工程大學(xué)電子工程學(xué)院 武漢 430033)
近年來,無人機在幾次高技術(shù)局部戰(zhàn)爭的卓越表現(xiàn),引起了世界各國的高度重視,許多國家開始大力發(fā)展軍用無人機技術(shù)。為了滿足現(xiàn)代信息化戰(zhàn)爭精確打擊的要求,利用無人機偵察圖像實現(xiàn)對探測目標(biāo)的精確定位是其中的關(guān)鍵技術(shù)。作為一種特殊的飛行載體,無人機飛行特性復(fù)雜、飛行速度較高、成像條件多變,使得具有更為復(fù)雜的圖像運動特性。而且受天氣、光照、噪聲等外界因素影響,無人機偵察圖像不可避免出現(xiàn)對比度低、模糊甚至遮擋現(xiàn)象[1~2]。為了解決這些問題,從而實現(xiàn)對探測目標(biāo)的精確定位,需要把無人機圖像與具有地理信息的基準(zhǔn)圖像進(jìn)行精確匹配。因此,魯棒性強、實時性好的圖像匹配算法成為其中的關(guān)鍵。
由于無人機偵察圖像與基準(zhǔn)圖像不可避免地存在尺度變化、旋轉(zhuǎn)變化和光照變化,而且傳統(tǒng)SIFT算法存在耗時長,錯匹配多等問題,因此,本文在深入研究SIFT算法的基礎(chǔ)上,提出一種基于改進(jìn)SIFT的圖像匹配方法以求達(dá)到圖像的最佳匹配效果,從而實現(xiàn)對目標(biāo)的精確定位。
所謂圖像匹配就是把不同傳感器或者同一傳感器在不同時間、不同成像條件下對同一景物獲取的兩幅或多幅圖像在空間上進(jìn)行對準(zhǔn),以確定兩幅圖像之間的平移以及旋轉(zhuǎn)關(guān)系,或根據(jù)已知模式到另一幅圖像中尋找相應(yīng)的模式[3]。
如果兩幅圖像由I1和I2表示,I1(x,y)和I2(x,y)分別表示圖像在響應(yīng)位置(x,y)上的灰度值,那么圖像I1和I2的匹配關(guān)系可用下面關(guān)系式表示:
式中f是幾何變換函數(shù),常用的變換模型有:仿射變換、線性等角變換、局部加權(quán)平均變換、分段線性變換以及投影變換。
目前,國內(nèi)外有關(guān)專家學(xué)者提出了許多圖像匹配算法,如基于模板的方法、FFT相關(guān)匹配方法、相位相關(guān)算法、序貫相似檢測算法等,這些匹配算法在某種程度上能夠?qū)崿F(xiàn)圖像之間的配準(zhǔn)。但是,如果兩幅圖像之間存在平移、旋轉(zhuǎn)、仿射變換時,算法適應(yīng)性較差。近年來,局部不變特征對圖像旋轉(zhuǎn)、縮放等變化具有較好的適應(yīng)力,已經(jīng)成為研究的熱點。目前提取點特征比較有名的算子有:Moravec算子、Harris算子、Forstner算子、SUSAN算子等。尤其是1999年Lowe提出的SIFT(Scale Invariant Feature Trans-form)局部特征,它是局部特征研究過程中的里程碑。2005年,Mikolajczyk和Schmid針對不同的場景,對光照變化、圖像幾何變形、分辨率差異、旋轉(zhuǎn)、模糊和圖像壓縮等六種情況,對比SIFT、PCA-SIFT、矩不變量、互相關(guān)等十種描述子后指出,SIFT描述子性能最好[4]。
SIFT特征提取主要包括五個步驟:建立尺度空間;極值點檢測;特征點位置精確定位;確定特征點方向;生成SIFT特征描述符[5~8]。
尺度空間理論的目的是模擬圖像數(shù)據(jù)的多尺度特征。高斯卷積核是實現(xiàn)尺度變換的唯一線性核,于是一幅二維圖像的尺度空間定義為
然后利用式(2),構(gòu)造高斯差分尺度空間(DoG scalespace):
尺度空間的構(gòu)建過程如圖1所示。
圖1 構(gòu)建高斯差分尺度空間
建立好尺度空間后,傳統(tǒng)SIFT算法按照金字塔從第一層至最后一層的順序?qū)γ恳粋€采樣點進(jìn)行與它同尺度和上下相鄰尺度的相鄰點相比較的操作。如果中間的檢測點與它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點共26個點比較中是最大或最小,就認(rèn)為該點是圖像在該尺度下的一個極值點。
由于DoG檢測到的極值點的位置坐標(biāo)均為整數(shù),而實際的特征點不一定位于整數(shù)坐標(biāo)位置上。因此,在進(jìn)行極值點遴選之前,先要通過三維二次函數(shù)精確定位特征點,再通過計算該位置的DOG響應(yīng)值及曲率來剔除低對比度的極值點和不穩(wěn)定的邊緣響應(yīng)點,以此得到真正的穩(wěn)定極值點,以增強匹配穩(wěn)定性、提高抗噪聲能力。
差分金字塔DoG在候選極值點周圍的泰勒展開式如下:
其中,X=(x,y,σ)T為特征點的位置和尺度信息的向量,X0為候選特征點的位置和尺度信息的向量,D(X0)為該點的差分金字塔DoG值。
利用特征點領(lǐng)域像素的梯度方向分布特性為每個特征點指定方向參數(shù),使算子具備旋轉(zhuǎn)不變性。點坐標(biāo)為(x,y)處的梯度幅值和方向分別為
在以特征點為中心的領(lǐng)域窗口內(nèi)采樣,并用直方圖統(tǒng)計領(lǐng)域像素的梯度方向。梯度直方圖的范圍是0°~360°,其中每10°一個柱,總共36柱。梯度方向直方圖的峰值代表了該特征點處鄰域梯度的主方向,即作為該特征點的主方向。當(dāng)梯度方向直方圖中存在主峰值能量80%以上的峰值時,該峰值所對應(yīng)的方向作為輔方向。特征點可以有一個主方向和多個輔方向,這樣可以提高特征匹配的穩(wěn)定性。
至此,圖像的特征點已檢測完畢,每個特征點有三個信息:位置、所在尺度、方向。由此可以確定一個SIFT特征區(qū)域。
首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的方向,以確保旋轉(zhuǎn)不變性。以特征點為中心取16×16的領(lǐng)域作為窗口,將采樣點與特征點的相對方向通過高斯加權(quán)后歸入到8個方向直方圖,繪制每個梯度方向的累加值,形成一個種子點。一個特征點由4×4共16個種子點組成,特征描述子由所有子塊的梯度方向直方圖構(gòu)成。因此,最終形成128維的SIFT特征向量就是特征描述符。此時SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響,再繼續(xù)將特征向量的長度歸一化,則可以進(jìn)一步去除光照變化的影響。
現(xiàn)有原始圖像如圖2所示,對其按照上述步驟進(jìn)行處理,其特征提取結(jié)果如圖3所示,共檢測到2724個特征點,其中箭頭方向表示特征點方向,可以發(fā)現(xiàn)某些特征點存在多個方向。
圖2 原始圖
圖3 SIFT特征提取結(jié)果
SIFT特征向量的匹配主要就是對兩幅待匹配圖像的SIFT特征向量進(jìn)行相似性度量。傳統(tǒng)SIFT算法采用比較最近鄰特征點和次近鄰特征點的歐式距離來判斷特征點之間是否匹配。由于SIFT特征向量高達(dá)128維,計算量大,程序耗時長,極大影響匹配速度。為了減少運算時間,我們采用文獻(xiàn)[9]提出的準(zhǔn)歐式距離作為相似度量準(zhǔn)則。準(zhǔn)歐式距離是準(zhǔn)歐式距離矩陣按照水平、垂直、和對象合集分段估計全部的歐式距離,即
由式(7)可知,利用準(zhǔn)歐式距離進(jìn)行兩特征向量的相似性度量,只需要一次乘法,而傳統(tǒng)歐式距離需要128次乘法和一次開方。因此,準(zhǔn)歐式距離能夠大大減小計算復(fù)雜度,減少匹配時間。
在傳統(tǒng)SIFT方法中,按照DoG結(jié)構(gòu)來逐層檢測極值點不可避免會出現(xiàn)冗余點或某些特征點同時擁有幾個不同特征尺度,從而給后續(xù)匹配增加計算復(fù)雜度。而圖像間基于特征點的匹配,關(guān)鍵問題是確定匹配特征點對的數(shù)目。假設(shè)圖像間存在如下仿射變換:
其中{(x′n,y′n)?(xn,yn)|n≥3,n∈N}是匹配特征點對集合。由式(8)可知,變換矩陣含有6個未知參數(shù),因此若檢測到3組不共線的精確匹配特征點對,即可完成圖像之間的相互匹配[13]。在實際操作中,為提高匹配精度,可適當(dāng)增加匹配特征點對數(shù)目。
根據(jù)上述分析,為了減少特征點匹配時間,考慮匹配過程從金字塔頂層開始,由粗至精進(jìn)行匹配。如果無人機偵察圖像和基準(zhǔn)圖像正確匹配,能夠滿足無人機對偵察目標(biāo)的定位,則停止匹配過程。具體步驟如下:
1)構(gòu)建偵察圖像的高斯差分尺度空間,建立圖像金字塔結(jié)構(gòu);
2)對金字塔頂層圖像進(jìn)行極值點檢測,特征點位置精確定位,特征點方向確定和特征描述符生成;
3)將獲得的特征點與基準(zhǔn)圖像的所有特征點進(jìn)行匹配,并利用RANSAC算法去除錯誤匹配和估算仿射變換模型后,若獲取的匹配對數(shù)目達(dá)到一定閾值(在這里我們給定經(jīng)驗閾值NThreshold=40),再根據(jù)求取的仿射變換模型進(jìn)行圖像變換以完成匹配,否則,進(jìn)入金字塔的下一層圖像;
4)在新一層圖像中,重復(fù)2),3)步驟,直至獲得足夠多的正確特征點匹配對數(shù)目,完成匹配。
為驗證本文算法的有效性,檢驗算法對噪聲和場景變化的魯棒性,針對多幅航拍圖像進(jìn)行了仿真實驗。以圖2為基準(zhǔn)圖像,可以看出實驗圖像4(a)與基準(zhǔn)圖像存在著尺度變化,實驗圖像4(b)與基準(zhǔn)圖像存在旋轉(zhuǎn)變化,實驗圖像4(c)有大量的噪聲,并與基準(zhǔn)圖像存在光照變化。經(jīng)過匹配后的實驗結(jié)果如圖5(a)、(b)、(c)所示。實驗表明,在場景發(fā)生變化和存在噪聲的情況下,該方法有效地完成了圖像的正確匹配,對噪聲和場景變化具有較強的魯棒性,進(jìn)而能夠?qū)崿F(xiàn)無人機對偵察目標(biāo)的精確定位。
從表1可知,該方法在匹配速度上遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)SIFT方法,從而提高了無人機對目標(biāo)定位的實時性。
圖4 實驗圖像
圖5 實驗結(jié)果
表1 本文算法與傳統(tǒng)SIFT耗時對比表(ms)
隨著科學(xué)技術(shù)的發(fā)展和信息化戰(zhàn)爭的需求,各種多用途的新型無人機應(yīng)運而生。相比于衛(wèi)星等空天偵察平臺,無人機的一大優(yōu)點是能夠?qū)崟r偵察和監(jiān)視戰(zhàn)場,并能及時將戰(zhàn)場信息以圖像方式傳輸給指揮中心。利用無人機偵察圖像實現(xiàn)對目標(biāo)的精確定位,需要把無人機圖像與具有地理信息的基準(zhǔn)圖像(比如衛(wèi)星圖像)進(jìn)行正確匹配。由于SIFT特征是圖像的局部特征,其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性,本文提出一種基于改進(jìn)SIFT的圖像快速匹配方法。實驗表明,該方法可以實現(xiàn)圖像之間的正確匹配,有利于無人機對探測目標(biāo)的精確定位,并且具有較好的實時性。
[1]程遠(yuǎn)航.無人機航空遙感圖像動態(tài)拼接技術(shù)的研究[D].遼寧:東北大學(xué),2008:3-5.
[2]楊濤,張艷寧,張秀偉,等.基于場景復(fù)雜度與不變特征的航拍視頻實時配準(zhǔn)算法[J].電子學(xué)報,2010,38(5):1070-1076.
[3]吳雅娟,陳堯,尚福華.一種新的基于相似度計算的本體映射算法[J].計算機應(yīng)用研究,2009,26(3):870-872.
[4]王永明,王貴錦.圖像局部不變性特征與描述[M].北京:國防工業(yè)出版社,2010,4.
[5]Mikolajczyk K,Schmid C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.
[6]Lowe D G.Object recognition from local scale-invariant features[C]//Proceedings of the ICCV,Kerkyra,Greece,1999:1150-1157.
[7]Tomasi C,Kanade T.Detection and tracking of point features[R].Camegie Mellon University,Technical Report,1991:1-20.
[8]Lindberg T,Scale-space theory:a basic tool for analyzing structures at different scales[J].Journal of Applied Statistics,1994,21(2):224-270.
[9]程德志,李言俊,余瑞星.基于改進(jìn)SIFT算法的圖像匹配方法[J].計算機仿真,2011,28(7):285-288.
[10]李山飛,龔俊斌,李斌,等.基于實時地形校正的InSAR圖像匹配算法[J].計算機與數(shù)字工程,2012(1).
[11]杜振鵬,李德華.基于KD-Tree搜索和SURF特征的圖像匹配算法研究[J].計算機與數(shù)字工程,2012(2).
[12]李竹林,常艷梅.一種基于Hausdorff距離的圖像匹配算法[J].計算機與數(shù)字工程,2012(6).
[13]張書真,宋海龍,向曉燕,等.采用快速SIFT算法實現(xiàn)目標(biāo)識別[J].計算機系統(tǒng)應(yīng)用,2010,19(6):82-85.