摘 "要: 當(dāng)前基于特征的圖像配準(zhǔn)算法較多,而SURF算法由于其性能優(yōu)越和運(yùn)算效率較快,被眾多學(xué)者廣泛應(yīng)用于圖像匹配算法的研究中。在圖像匹配算法研究的基礎(chǔ)上,通過比較SURF算法和Harris算法在通用型、計算效率和配準(zhǔn)精度三個方面的差異,驗證SURF算法在圖像配準(zhǔn)應(yīng)用中的可行性。實驗結(jié)果及數(shù)據(jù)表明基于SURF的圖像配準(zhǔn)技術(shù)不僅能夠適用于不同條件下的圖像變化,并且可以實現(xiàn)快速、精確的圖像配準(zhǔn)。
關(guān)鍵詞: SURF; Harris; 計算效率; 配準(zhǔn)精度
中圖分類號: TN919?34 " " " " " " " " " 文獻(xiàn)標(biāo)識碼: A " " " " " " " " " " " " " "文章編號: 1004?373X(2015)06?0094?03
Feasibility Research of image registration technology based on SURF
GU Da?long
(Beijing Aerospace Control Center, Beijing 100094, China)
Abstract: Currently, there are many image registration algorithms based on characteristic. However, the SURF algorithm is widely used in the research of image matching by many scholars because of its superior performance and fast computational efficiency. On the basis of the research of image matching algorithm, the feasibility of the SURF applied to the image registration is confirmed in this paper by means of comparing the differences of universality, computational efficiency and registration precision between SURF and Harris. The experimental results and data indicate the image registration technology based on SURF not only can apply to image changes under different conditions, but also achieve the fast and accurate image registration.
Keywords: SURF; Harris; computational efficiency; registration precision
0 "引 "言
圖像配準(zhǔn)是圖像處理中的一個非常關(guān)鍵的技術(shù),其廣泛應(yīng)用于醫(yī)學(xué)、軍事、遙感及計算機(jī)視覺等領(lǐng)域,比如軍事領(lǐng)域中的目標(biāo)毀傷效果評估,圖像配準(zhǔn)技術(shù)是實現(xiàn)及時、準(zhǔn)確獲取目標(biāo)打擊前后信息的關(guān)鍵步驟。目前,常用的圖像配準(zhǔn)算法主要分2大類:一類是基于頻率域的圖像配準(zhǔn)方法,如Fourier變換和小波變換等;另一類是基于空間域的圖像配準(zhǔn)方法,主要包括基于區(qū)域的圖像配準(zhǔn)算法和基于特征的圖像配準(zhǔn)算法,而隨著一些良好的特征提取算子出現(xiàn),它們具有計算量小、運(yùn)算速度快,對圖像變形、亮度變化適應(yīng)性較好等優(yōu)點,因此被學(xué)者廣泛研究。
基于特征的圖像配準(zhǔn)通常包括特征提取、圖像匹配、變換模型和圖像重采樣4個步驟,其中前兩個是圖像配準(zhǔn)的關(guān)鍵。目前,可實現(xiàn)基于特征的圖像配準(zhǔn)算法有很多,例如, SUSAN[1]、Harris[2?3]等角點檢測法和SIFT[4]與SURF[5]等斑點檢測法,文獻(xiàn)[6]對SIFT,PCA?SIFT和SURF的性能及運(yùn)算速度進(jìn)行比較,結(jié)果證明SURF在運(yùn)算速度和綜合性能上均優(yōu)于SIFT;文獻(xiàn)[7]針對SIFT算法進(jìn)行降維處理,提出了SAFOH?SIFT,并在匹配性能和時間上對比Open?SIFT、SAFOH?SIFT和SURF,實驗表明SURF運(yùn)算還是最快的。綜上分析,本文采用SURF算法實現(xiàn)圖像的特征提取及匹配,為了進(jìn)一步對其實現(xiàn)圖像配準(zhǔn)的可行性進(jìn)行分析,作者通過選取具有不同變化類型的四組圖像,比較SURF算法和Harris算法在通用性、計算效率及配準(zhǔn)精度3個方面的差異,從而驗證SURF算法在實現(xiàn)圖像配準(zhǔn)技術(shù)方面的優(yōu)越性。
1 "Harris相關(guān)理論
Harris算法是目標(biāo)跟蹤、運(yùn)動估計及目標(biāo)識別等領(lǐng)域中應(yīng)用比較普遍的一種方法,基本原理是利用圖像的灰度信息,設(shè)定一個窗口作為檢測窗口,沿著水平、垂直及傾斜等方向移動檢測窗口,并記錄每一次移動窗口的平均能量變化,如果變化值超過設(shè)定的閾值,那窗口中心點的像素點就被認(rèn)為是角點。
互相關(guān)系數(shù)法是Harris角點檢測算法實現(xiàn)圖像匹配的一種常用方法[8],操作簡單?;驹硎腔诮y(tǒng)計學(xué)理論,通過相關(guān)計算找到參考圖像中的角點在待匹配圖像中可能對應(yīng)的角點。具體過程是給定參考圖像中的角點x并以其為中心,將r為半徑的圓形區(qū)域作為相關(guān)窗口,然后在待匹配圖像中圍繞具有相同坐標(biāo)的點選定一個固定尺寸的矩形區(qū)域作為搜索區(qū)域,在參考圖像的角點x與待匹配圖像中搜索落入?yún)^(qū)域內(nèi)的全部角點,從而在給定的窗口內(nèi)完成一次相關(guān)操作。
2 "SURF相關(guān)理論
SURF算法包括特征點檢測和特征點描述兩個部分[9]。通過采用積分圖像和框狀模板極大簡化算法的復(fù)雜度,減少了特征點檢測的時間,并用不同尺寸的框狀模板與積分圖像卷積得到SURF算法的尺度空間,采用3D非最大值抑制求取尺度空間中不同尺度的特征點,實現(xiàn)特征點的精確定位。為了保證特征矢量具有旋轉(zhuǎn)不變性,需要為每個特征點分配一個主方向,SURF算法采用Haar小波響應(yīng)模板,統(tǒng)計以特征點為中心的圓形區(qū)域中每個扇形區(qū)域的Haar小波x和y方向的累積值,將累積最大的矢量作為特征點主方向,在以特征點為中心的矩形區(qū)域,將矩形區(qū)域劃分16個子區(qū)域,統(tǒng)計每個子區(qū)域的Haar小波的4維累計值,最后構(gòu)建64維的特征點描述符。特征匹配中,SURF算法采用最小歐式距離與次小歐式距離比,并根據(jù)人工設(shè)定的閾值進(jìn)行匹配對粗提取。
3 "兩種算法實驗比較
3.1 "通用性及計算效率比較
針對圖像配準(zhǔn)中特征提取,本文分別采用Harris算法和SURF算法進(jìn)行特征點提取,并針對Harris算法采用互相關(guān)系數(shù)法實現(xiàn)匹配對的粗提取,而SURF算法采用最小歐式距離與次小歐式距離比實現(xiàn)粗提取。然后采用本文作者在文獻(xiàn)[10]提出的多層次匹配方法實現(xiàn)匹配對精提取。圖1~圖4為采用上述兩個方法獲取的圖像粗匹配結(jié)果。
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t1.tifgt;
圖1 具有2.5倍放縮和75°旋轉(zhuǎn)變化圖像匹配結(jié)果
圖1(a)~圖4(a)均為采用Harris算法獲得的粗匹配結(jié)果圖,圖1(a)和圖2(a)經(jīng)目視判讀觀察匹配結(jié)果雜亂無章,通過對每對匹配結(jié)果進(jìn)行校驗,沒有一對正確匹配對,因此無法實現(xiàn)圖像配準(zhǔn);圖3(a)提取的粗匹配對數(shù)量較少,而且還包含數(shù)目較多的誤匹配對,在實際配準(zhǔn)過程中,必須要剔除這些誤匹配對,作者采用RANSAC算法進(jìn)行精提取操作,經(jīng)過多次運(yùn)算,均難以剔除全部誤匹配對,而存在誤匹配對將極大影響配準(zhǔn)精度;圖4(a)提取的粗匹配對數(shù)目較多,匹配效率較好,能夠?qū)崿F(xiàn)粗匹配對的精確提取。圖1(b)~圖4(b)為SURF算法的匹配結(jié)果,如表1所述,除了具有視角變化圖像匹配效率一般以外,其余三組的圖像匹配效率均高達(dá)94%以上,并且均可以實現(xiàn)粗匹配對的精提取,而且精提取后的數(shù)目依舊很可觀,即SURF算法能夠?qū)崿F(xiàn)不同類型的圖像匹配。由于圖2(a)和圖2(a)沒有提取到正確匹配對,作者僅僅對后兩組圖像進(jìn)行時間比較,如表2所示,SURF算法在提取特征點時間與匹配時間上普遍低于Harris算法花費的時間,并且提取的特征點數(shù)目與匹配點數(shù)目遠(yuǎn)遠(yuǎn)大于Harris算法,因此平均特征點提取時間和平均匹配時間上明顯低于Harris算法,因此SURF算法具有較高的計算效率,綜上,在通用型和計算效率兩個方面,SURF表現(xiàn)優(yōu)異。
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t2.tifgt;
圖2 具有較大視角變化圖像匹配結(jié)果
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t3.tifgt;
圖3 房屋目標(biāo)變化前后匹配結(jié)果
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t4.tifgt;
圖4 機(jī)場飛行區(qū)域變化前后匹配結(jié)果
3.2 配準(zhǔn)精度比較
兩種方法均采用透視投影變換模型和雙線性插值法實現(xiàn)圖像配準(zhǔn)。本文對圖3所示的匹配結(jié)果,分別采用上述兩種方法獲取配準(zhǔn)結(jié)果,并進(jìn)行圖像差值運(yùn)算,最后比較差值圖像。采用Harris算法獲取圖5所示的房屋目標(biāo)變化圖像配準(zhǔn)結(jié)果。然后提取包含目標(biāo)區(qū)域的公共區(qū)域部分,見圖6(a)和(b),最后對兩幅圖像進(jìn)行差值運(yùn)算,得到圖6(c)所示的差值圖像;采用SURF算法實現(xiàn)房屋目標(biāo)變化前后的配準(zhǔn),并分別提取包含目標(biāo)區(qū)域的公共區(qū)域部分,如圖7(a)和(b),最后對兩幅圖像進(jìn)行圖像差值運(yùn)算,得到如圖7(c)所示差值結(jié)果。
表1 SURF算法與Harris算法通用性比較
表2 Harris算法與SURF算法時間比較
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t5.tifgt;
圖5 房屋目標(biāo)變化前后的Harris配準(zhǔn)結(jié)果
觀察上述兩個差值圖像的實驗結(jié)果,經(jīng)Harris算法獲取的差值圖像除了變化區(qū)域外,還存在大量地物變化,這些偽變化信息將嚴(yán)重干擾信息的提取;經(jīng)SURF算法獲取的差值圖像,能夠準(zhǔn)確地將目標(biāo)變化區(qū)域檢測出來,僅僅包含少量的地物變化,可以通過后處理手段將目標(biāo)變化信息精確提取出來。
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t6.tifgt;
圖6 Harris算法圖像差值結(jié)果
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t7.tifgt;
圖7 SURF算法圖像差值結(jié)果
4 "結(jié) "語
綜合分析上述實驗結(jié)果,采用SURF算法實現(xiàn)圖像配準(zhǔn)是可行的,并且在在實現(xiàn)圖像配準(zhǔn)中具有以下優(yōu)點:
(1) 具有較好的通用性。能夠適用于存在多種不同特征的圖像變換;
(2) 計算效率較高。對比兩組不同目標(biāo)變化前后的仿真圖像,SURF算法特征點提取時間及匹配時間均明顯低于Harris算法;
(3) 較高的圖像配準(zhǔn)精度。配準(zhǔn)實驗及上述差值實驗結(jié)果表明SURF算法可實現(xiàn)目標(biāo)變化信息精確提取。
參考文獻(xiàn)
[1] 于合龍,蘇恒強(qiáng),汪巖,等. SUSAN角點檢測和匹配算法在高溫變形測量中的應(yīng)用[J].航空學(xué)報,2013,34(5):1064?1072.
[2] 侯艷杰,曹杰.一種基于Harris角點特征的圖像拼接方法[J].信息化研究,2010,36(10):23?25.
[3] 張永,紀(jì)東升.一種改進(jìn)的Harris特征點檢測算法[J].計算機(jī)工程,2011,37(13):196?198.
[4] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International Journal of Comput Vis, 2004, 60(2): 91?110.
[5] THAKOOR K, MARAT S, NASIATKA P, et al. Attention biased speeded up robust features (AB?SURF): a neurally?inspired object recognition algorithm for a wearable aid for the visually?impaired [C]// "Proceedings of IEEE Conference on Multimedia and Expo (ICME), Workshop on Multimodal and Alternative Perception for the Visually Impaired People. [S.l.]: IEEE, 2013:1?6.
[6] LUO Juan, GWUN Oubong. A comparison of sift, pca?sift and surf [J]. International Journal of Image Processing, 2009, 3(4): 143?152.
[7] 曾巒,顧大龍.一種基于扇形區(qū)域分割的SIFT特征描述符[J].自動化學(xué)報,2012,38(9):1513?1519.
[8] 陳賢巧.基于特征的圖像配準(zhǔn)算法研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2009.
[9] 王永明,王貴錦.圖像局部不變性特征與描述[M].北京:國防工業(yè)出版社,2010.
[10] 顧大龍,曾巒,翟優(yōu).基于SURF的圖像匹配算法改進(jìn)[J].現(xiàn)代電子技術(shù),2012,35(14):79?82.