張磊 鄭子健 張殿明 張澤仲

摘? 要： 針對(duì)ORB特征匹配算法特征提取穩(wěn)定性差，匹配精度低的問(wèn)題，提出一種改進(jìn)的ORB圖像匹配方法。通過(guò)小波變換對(duì)圖像預(yù)處理，利用自適應(yīng)頻譜抑制方法提取候選特征點(diǎn)集，再建立多尺度空間模型，篩選具有尺度不變性的精確特征點(diǎn)，并通過(guò)BRIEF算子生成特征描述子，最后使用Hamming距離進(jìn)行特征匹配，完成配準(zhǔn)。通過(guò)3組圖像匹配實(shí)驗(yàn)對(duì)改進(jìn)算法的有效性進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法在兼顧 ORB實(shí)時(shí)性的同時(shí)，提高了匹配精度，改善了圖像尺度變化較大時(shí)特征提取的穩(wěn)定性。

關(guān)鍵詞： ORB算法; 特征點(diǎn)提取; 圖像匹配; 自適應(yīng)頻譜抑制; 多尺度空間模型; 特征匹配

中圖分類號(hào)： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）03?0027?04

An improved ORB image matching algorithm

ZHANG Lei1， ZHENG Zijian2， ZHANG Dianming2， ZHANG Zezhong1

（1. Hebei University of Technology， Tianjin 300132， China; 2. China Automotive Technology & Research Center Co.， Ltd.， Tianjin 300300， China）

Abstract： An improved ORB （oriented FAST and rotated BRIEF） image matching method is proposed to deal with the fact of poor feature extraction stability and low matching precision of the ORB algorithm. The image is preprocessed by wavelet transform， and the candidate feature point sets are extracted by adaptive spectrum suppression method. Then the multi?scale spatial model is created to select the precise feature points with scale invariance and the feature descriptors are generated by BRIEF operator. The Hamming distance is used for feature matching to complete registration. The effectiveness of the improved algorithm is verified by three groups of image matching experiments， which show that the improved algorithm improves the matching accuracy and perfects the feature extraction stability when the image scale changes greatly while taking the real?time property of ORB into account.

Keywords： ORB algorithm; feature point extraction; image matching; adaptive spectrum suppression; multi?scale space model; feature matching

0? 引? 言

隨著計(jì)算機(jī)視覺(jué)技術(shù)的研究在國(guó)內(nèi)外迅速發(fā)展，圖像拼接技術(shù)作為計(jì)算機(jī)視覺(jué)重要組成部分也在不斷地革新進(jìn)步。目前圖像拼接技術(shù)已在醫(yī)用影像處理、全景視圖、圖像遙感技術(shù)等方面有較為成熟的應(yīng)用[1?2]。在圖像拼接技術(shù)研究不斷深入的過(guò)程中，先后涌現(xiàn)出許多優(yōu)秀的特征匹配算法。文獻(xiàn)[3]基于原有的尺度及角度不變性檢測(cè)方法的總結(jié)研究的基礎(chǔ)上完善了尺度不變特征變換（Scale?Invariant Feature Transform，SIFT）算法;文獻(xiàn)[4]提出了加速魯棒特征（Speeded Up Robust Features，SURF）算法，大大加快了算法的運(yùn)行速度;文獻(xiàn)[5]提出了實(shí)時(shí)性能表現(xiàn)突出的ORB（Oriented FAST and Rotated BRIEF）算法，但ORB算法的缺點(diǎn)是圖像匹配精度低，特征點(diǎn)提取穩(wěn)定性差。本文為了解決ORB算法匹配精度低和特征點(diǎn)提取穩(wěn)定性差的缺陷，結(jié)合小波變換自適應(yīng)頻譜抑制和多尺度空間提取精確特征點(diǎn)的方法，提出一種改進(jìn)ORB算法的圖像拼接方法。改進(jìn)算法相比ORB算法，在保證實(shí)時(shí)性的前提下，改善了傳統(tǒng)ORB特征點(diǎn)提取不穩(wěn)定，特征點(diǎn)誤匹配嚴(yán)重導(dǎo)致匹配精度低的問(wèn)題，使其在不同的圖像變換場(chǎng)景也能實(shí)現(xiàn)良好的拼接效果。

1? ORB圖像匹配算法

1.1? 特征點(diǎn)提取

ORB算法在提取特征點(diǎn)時(shí)采用FAST算法[6]快速檢測(cè)特征點(diǎn)。通過(guò)對(duì)比某個(gè)像素點(diǎn)與其鄰域內(nèi)足夠多像素點(diǎn)的灰度級(jí)來(lái)檢測(cè)特征點(diǎn)，當(dāng)該點(diǎn)的灰度級(jí)與其他點(diǎn)差值的絕對(duì)值大于設(shè)定閾值時(shí)，可視其為特征角點(diǎn)。為了使ORB特征描述子具有旋轉(zhuǎn)不變性，需為特征點(diǎn)分配一個(gè)方向。主方向選取是利用灰度質(zhì)心法實(shí)現(xiàn)的，即確定特征點(diǎn)鄰域的像素矩，利用特征點(diǎn)到質(zhì)心構(gòu)造的向量來(lái)表示其主方向。

1.2? 生成特征描述子

為了快速表示特征點(diǎn)鄰域信息，ORB算法采用BRIEF算子進(jìn)行特征點(diǎn)描述。通過(guò)對(duì)FAST算法提取的特征點(diǎn)周圍鄰域的[n]個(gè)點(diǎn)對(duì)進(jìn)行灰度值比較，得到一個(gè)長(zhǎng)度為[n]的二值碼串描述[fnI]，如下式所示：

式中：[Ix]為特征點(diǎn)周圍鄰域比點(diǎn)對(duì)[x+μ，y+?]處的灰度值，[μ，?]為特征點(diǎn)在[x，y]方向上的偏移量;[n]為進(jìn)行灰度比較的點(diǎn)對(duì)個(gè)數(shù)，一般[n]取256。

由特征點(diǎn)的主方向[θ]，可以得到特征點(diǎn)的旋轉(zhuǎn)矩陣為[Rθ=cosθsinθ-sin θcos θ]。特征點(diǎn)鄰域測(cè)試點(diǎn)對(duì)[xi，yi]可以構(gòu)造一個(gè)2[×n]矩陣[S]，通過(guò)[Rθ]與[S]得到矩陣[S]的校正版本[Sθ=RθS]，這樣就可以得到表示特征點(diǎn)方向信息，具有旋轉(zhuǎn)不變性的特征描述子，如式（3）所示：

1.3? 圖像配準(zhǔn)

考慮到BRIEF特征點(diǎn)描述子由一串二進(jìn)制字符串表示，所以選取Hamming距離[7]表述特征距離，其優(yōu)勢(shì)在于僅需要計(jì)算兩個(gè)字符串的不同字符數(shù)目即可，整個(gè)過(guò)程僅需1次按位異或計(jì)算，既可以極大地提高特征點(diǎn)匹配的速度，同時(shí)可以保證匹配效率。Hamming距離的大小可以表示特征點(diǎn)的相似程度，漢明距離越小越相似，對(duì)兩個(gè)特征點(diǎn)描述子的漢明距離進(jìn)行判斷，當(dāng)其小于設(shè)定閾值時(shí)，則認(rèn)為匹配成功。

2? 改進(jìn)的ORB匹配算法

改進(jìn)的ORB圖像拼接方法流程如圖1所示。主要內(nèi)容可大致分為四部分：

1） 對(duì)待拼接圖像預(yù)處理，進(jìn)行一級(jí)小波變換分解，提取包含圖像特征的子帶圖像，有效地去除圖像中的無(wú)關(guān)信息;

2） 利用固定灰度閾值和非極大值抑制的方法對(duì)子帶圖像頻譜特征進(jìn)行處理，去除低響應(yīng)特征點(diǎn)，保留高辨識(shí)度的特征點(diǎn)，提高了算法對(duì)圖像高相似紋理的適應(yīng)能力，得到候選特征點(diǎn)集;

3） 建立尺度空間，篩選候選特征點(diǎn)集中具有尺度不變性且精確穩(wěn)定的ORB特征點(diǎn);

4） 通過(guò)Hamming距離進(jìn)行特征匹配。

2.1? 基于小波變換的圖像自適應(yīng)頻譜抑制

2.1.1? 圖像小波變換預(yù)處理

圖像中的噪聲成分主要集中在圖像的高頻信息中，通過(guò)小波變換對(duì)圖像進(jìn)行多層分解[8]既可以提取到圖像的有用頻譜信息，保留圖像特征，又可以在特征提取階段有效地降低噪聲的干擾，提高后續(xù)處理的特征提取及匹配精度。因此，改進(jìn)算法選取小波變換對(duì)原始圖像進(jìn)行一級(jí)小波分解處理，提取低頻圖像用于后續(xù)特征提取處理?？紤]到圖像分解后低頻圖像可提取特征點(diǎn)過(guò)少，無(wú)法保證圖像匹配精度，所以改進(jìn)算法采用Haar小波函數(shù)[9]對(duì)圖像進(jìn)行分解預(yù)處理。Haar小波是一種緊支集正交小波基函數(shù)，其數(shù)學(xué)定義為：

尺度函數(shù)為：

利用Haar小波函數(shù)分別對(duì)待拼接圖像的行與列進(jìn)行一級(jí)小波變換分解，得到圖像的4個(gè)子帶圖像LL，HL，LH，HH，如圖2所示。

選取反映水平和垂直輪廓特征的子圖像分量HL和LH將其疊加，得到圖像的水平和垂直方向上的頻譜特征。

2.1.2? 圖像自適應(yīng)頻譜抑制

為了獲得分布均勻且具有較好匹配性質(zhì)的特征點(diǎn)，除剔除噪聲角點(diǎn)干擾外，還要對(duì)子帶圖像的頻譜特征進(jìn)行抑制。從頻域角度僅保留高辨識(shí)度的特征點(diǎn)，減少無(wú)效特征點(diǎn)，降低配準(zhǔn)耗時(shí)，同時(shí)抑制誤匹配的產(chǎn)生，提高拼接速度。所以改進(jìn)算法采取固定閾值與局部非極大值抑制的方法對(duì)子帶圖像完成自適應(yīng)篩選候選特征點(diǎn)，具體算法思想分為以下幾步：

1） 根據(jù)小波函數(shù)定義的二元光滑函數(shù)，通過(guò)對(duì)其變量求導(dǎo)得到尺度[k]下的小波母函數(shù)，由小波母函數(shù)與圖像函數(shù)的卷積運(yùn)算可得到圖像在尺度[k]下的水平及垂直方向上的小波變換系數(shù);

2） 由水平方向和垂直方向上的小波系數(shù)求得小波梯度向量，向量的模表示該點(diǎn)的灰度強(qiáng)度;

3） 求局部模極大值，通過(guò)小波分解后選取的子帶圖像上的任一點(diǎn)與其周圍鄰域的梯度模值比較進(jìn)行非極大值抑制，保留極大值點(diǎn)作為待定特征點(diǎn);

4） 判斷待定特征點(diǎn)的灰度值是否大于設(shè)定的固定灰度閾值，若大于設(shè)定閾值，記為候選特征點(diǎn);否則，將該點(diǎn)剔除。

2.2? 幾何ORB特征提取

多尺度空間理論可以消除配準(zhǔn)算法對(duì)尺度和方向的依賴性，實(shí)現(xiàn)穩(wěn)定的特征匹配。幾何ORB特征提取即建立圖像的多尺度幾何空間，檢測(cè)圖像在不同的尺度空間下的特征點(diǎn)位置，使特征點(diǎn)具有較好的尺度不變性，進(jìn)一步提高特征點(diǎn)匹配穩(wěn)定性。

1） 通過(guò)高斯核[Gx，y，δ]對(duì)原圖像[Sx，y]進(jìn)行尺度變換，得到不同尺度下的圖像尺度函數(shù)[Lx，y，δ=Gx，y，δ×Sx，y]。由尺度函數(shù)建立高斯金字塔和高斯差分金字塔（DOG）[10]，DOG為相鄰兩尺度空間函數(shù)之差，表示為：

式中：[k]為同階金字塔中相鄰兩層的尺度因子比例系數(shù);[δ]為尺度因子。

2） 對(duì)應(yīng)圖像進(jìn)行小波變換處理后得到候選特征點(diǎn)集，在DOG金字塔空間內(nèi)進(jìn)行極值點(diǎn)檢測(cè)，尋找局部極值點(diǎn)。對(duì)得到的極值點(diǎn)進(jìn)行檢驗(yàn)，去除不穩(wěn)定的邊緣響應(yīng)，得到精確極值點(diǎn)的位置和尺度，進(jìn)一步提高特征匹配時(shí)的精度和穩(wěn)定性。去除邊緣極值點(diǎn)的方法為計(jì)算待檢測(cè)極值點(diǎn)的主曲率比值，即該極值點(diǎn)Hessian矩陣[11]跡的平方與行列式的比值，將主曲率比值大于8的極值點(diǎn)剔除[12]。

3） 得到具有精確特征點(diǎn)后，結(jié)合上述ORB算法的特征描述和匹配方法完成特征匹配。利用灰度質(zhì)心法求得特征點(diǎn)的主方向，通過(guò)BRIEF算子對(duì)特征點(diǎn)描述得到二值碼串特征描述子，最終生成旋轉(zhuǎn)不變性和尺度不變性的特征點(diǎn)進(jìn)行Hamming距離特征匹配。

3? 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文算法的有效性，隨機(jī)選取自然場(chǎng)景下采集的圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，針對(duì)尺度變化情形驗(yàn)證了所提算法的適用性，并將所提算法與ORB，SIFT，SURF進(jìn)行對(duì)比，定量分析了算法特征匹配性能。實(shí)驗(yàn)中，取小波變換閾值[ST=50]，匹配距離比閾值[α=0.85]。所有實(shí)驗(yàn)均在Windows 10 Intel[?] CoreTM i5?4590 CPU @3.3 GHz 16 GB RAM硬件環(huán)境中，Matlab 8.5和Visual Studio 2013軟件環(huán)境中混合編程得到。

3.1? 實(shí)驗(yàn)1：尺度不變性匹配結(jié)果對(duì)比

為了驗(yàn)證在圖像尺度發(fā)生較大變化時(shí)，本文算法對(duì)ORB特征點(diǎn)尺度不變性缺陷的改進(jìn)效果，實(shí)驗(yàn)1隨機(jī)選取了一組尺度存在較大變化的圖像進(jìn)行尺度不變性特征匹配對(duì)比實(shí)驗(yàn)，匹配實(shí)驗(yàn)結(jié)果如圖3所示。

由圖3a）可知，ORB算法提取特征點(diǎn)時(shí)檢測(cè)到大量特征點(diǎn)，但不具有尺度不變的性質(zhì)，所以O(shè)RB匹配結(jié)果中出現(xiàn)了大量一對(duì)多的誤匹配現(xiàn)象，如文字部分的出版社和英文等內(nèi)容全部匹配錯(cuò)誤，圖片部分也與文字進(jìn)行了誤匹配，而使用改進(jìn)算法進(jìn)行特征匹配時(shí)，特征點(diǎn)基本正確匹配。對(duì)比圖3a），圖3b）結(jié)果可知，當(dāng)圖像尺度發(fā)生較大變化時(shí)，改進(jìn)算法可以穩(wěn)定提取到具有尺度不變性的特征點(diǎn)，并取得較好的匹配效果，有效地抑制了誤匹配的情況。

3.2? 實(shí)驗(yàn)2：特征匹配結(jié)果對(duì)比

為進(jìn)一步驗(yàn)證本文所提算法的有效性，定量分析所提算法的匹配效果，隨機(jī)選取不同形變程度的4組圖像，并利用本文算法、ORB算法、經(jīng)典的SIFT算法及SURF算法進(jìn)行匹配實(shí)驗(yàn)。表1和表2分別統(tǒng)計(jì)了4種算法在不同圖像上提取的特征數(shù)量、特征提取時(shí)間。選取其中一組作為實(shí)驗(yàn)圖像，如圖4所示，本文算法特征匹配效果如圖5所示，圖6為各算法匹配點(diǎn)對(duì)數(shù)對(duì)比。

由提取的特征數(shù)量和圖5的匹配點(diǎn)對(duì)數(shù)來(lái)看，改進(jìn)后的ORB算法比原始ORB算法提取的特征點(diǎn)數(shù)少，特征提取時(shí)間有所增加，但其正確匹配的特征點(diǎn)對(duì)數(shù)較原始ORB多，解決了ORB算法特征匹配時(shí)一對(duì)多的問(wèn)題，抑制了大量誤匹配，匹配精度較高。改進(jìn)后算法提取特征點(diǎn)平均耗時(shí)為0.234 s，用時(shí)約為SIFT算法的[1100]，同時(shí)也低于SURF算法。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法具有更高的匹配精度，且其特征提取效率較高，并保證了算法實(shí)時(shí)性的優(yōu)勢(shì)。

3.3? 實(shí)驗(yàn)3：自然場(chǎng)景圖像拼接

為了驗(yàn)證本文算法對(duì)圖像拼接效果的改善及算法的可行性，對(duì)圖4所示的947×434，940×429待拼接圖像進(jìn)行拼接實(shí)驗(yàn)，拼接結(jié)果如圖7所示。

從圖7可以看到：利用本文算法獲得的拼接圖像結(jié)構(gòu)清晰，局部細(xì)節(jié)對(duì)齊精準(zhǔn)，同時(shí)，整個(gè)匹配過(guò)程耗時(shí)分別為0.532 641 s，因此，本文算法匹配效率快，同時(shí)具有較高的匹配精度。

4? 結(jié)? 論

本文提出了一種結(jié)合自適應(yīng)頻譜抑制的小波變換和多尺度空間思想的改進(jìn)ORB算法，在保證原算法實(shí)時(shí)性的優(yōu)越性下，通過(guò)對(duì)特征提取階段的改進(jìn)提高了特征的表達(dá)能力，抑制了大量誤匹配點(diǎn)對(duì)，改善了原ORB算法匹配精度低和特征點(diǎn)提取穩(wěn)定性差的問(wèn)題。最后通過(guò)3組圖像匹配實(shí)驗(yàn)證明了改進(jìn)算法的有效性和可行性。

參考文獻(xiàn)

[1] 劉增峰，楊俊.SIFT、ORB及KAZE算法的分析和比較[J].江西科學(xué)，2017，35（6）：952?955.

[2] ZHUO L， ZHEN G， ZHANG J， et al. ORB feature based web pornographic image recognition [J]. Neurocomputing， 2016， 173： 511?517.

[3] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[4] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features （SURF） [J]. Computer vision and image understan?ding， 2008， 110（3）： 346?359.

[5] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF [C]// 2011 International Conference on Computer Vision. Barcelona， Spain： IEEE， 2011： 2564?2571.

[6] 公維思，周紹磊，吳修振，等.基于改進(jìn)FAST特征檢測(cè)的ORB?SLAM方法[J].現(xiàn)代電子技術(shù)，2018，41（6）：53?56.

[7] KIM J， KANG M， ISLAM M S， et al. A fast and energy?efficient Hamming decoder for software?defined radio using graphics processing units [J]. The journal of supercomputing， 2015， 71（7）： 2454?2472.

[8] NISKANEN K. Multi?scale spatial analysis of Neolithic pictographs at Astuvansalmi， Finland [J]. Quaternary international， 2018， 491： 146?158.

[9] 劉娜，田大為.基于小波變換的圖像融合算法研究[J].現(xiàn)代電子技術(shù)，2018，41（7）：71?74.

[10] 張旭勃，王軍鋒，楊永永，等.基于小波變換的圖像拼接算法[J].計(jì)算機(jī)仿真，2011，28（10）：219?222.

[11] 杜京義，胡益民，劉宇程.基于區(qū)域分塊的SIFT圖像匹配技術(shù)研究與實(shí)現(xiàn)[J].光電工程，2013，40（8）：52?58.

[12] 單寶明，胥喜龍.一種結(jié)合ORB算法的SIFT圖像配準(zhǔn)算法[J].工業(yè)儀表與自動(dòng)化裝置，2017（2）：27?30.