李秀華， 姚 佳

(長春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 吉林 長春 130012)

?

歸一化積相關(guān)Brisk圖像配準(zhǔn)算法

李秀華， 姚 佳

(長春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 吉林 長春 130012)

首先應(yīng)用歸一化積的相關(guān)系數(shù)進(jìn)行圖像塊的匹配，對(duì)匹配成功的圖像運(yùn)用AGAST算法提取特征點(diǎn)，再將提取的特征點(diǎn)應(yīng)用Brisk描述子進(jìn)行描述，最后應(yīng)用漢明距離對(duì)Brisk描述子進(jìn)行匹配。

AGAST算法； Brisk算法； 歸一化積相關(guān)

0 引 言

圖像配準(zhǔn)不僅在機(jī)器視覺、遙感、醫(yī)學(xué)等眾多領(lǐng)域已得到普遍應(yīng)用，在軍事方面也取得了令人矚目的成績。人類要從相同場景的兩幅或多幅圖像中獲得更多的可利用信息時(shí)，就應(yīng)該采取圖像配準(zhǔn)方法，對(duì)得到的圖像進(jìn)行處理。其中，Lowe[1]在2004年完善后的SIFT算法是一種效果較好也是比較成功的一種算法，但是該方法提取的冗余點(diǎn)多、計(jì)算復(fù)雜度較高。針對(duì)SIFT算法速度上的不足，Y.Ke[2]等結(jié)合主成分分析提出了一種PCA-SIFT算法，而Bay[3]等應(yīng)用積分圖像與黑森矩陣(Hessian)檢測算子提出了SURF算法。隨后，為了滿足圖像配準(zhǔn)越來越高的實(shí)時(shí)性，Rublee[4]等在2011年提出了ORB算法，同年，Leutenegger[5]等提出了Brisk算法。在2012年，由王宏志[6]等將比值法與小波變換理論相結(jié)合的圖像拼接方法改善了圖像拼接的精度。

Brisk算子是一種新提出的二進(jìn)制描述算子，并且同時(shí)具有尺度不變和旋轉(zhuǎn)不變性。與SIFT、ORB等其他描述算法相比，Brisk算子在計(jì)算量和特征點(diǎn)匹配的時(shí)間方面也有明顯提高，并且具有很高的性能。目前，在角點(diǎn)特征檢測[7]、圖像匹配[8]、圖像識(shí)別[9]等領(lǐng)域,Brisk算法一直都是研究的熱點(diǎn)。對(duì)Brisk算法的改進(jìn)方法也層出不窮，分別在自適應(yīng)閾值[10]、融合深度信息[11]、尺度空間[12]等多個(gè)方面進(jìn)行了改進(jìn)。因此,文中針對(duì)提取的特征點(diǎn)較為廣泛，而提取的有些特征點(diǎn)在兩幅圖像的非重疊區(qū)域之中，會(huì)降低匹配特征點(diǎn)的效率。針對(duì)這個(gè)問題提出采用歸一化積相關(guān)的方法來優(yōu)化Brisk算法，用優(yōu)化的算法對(duì)圖像重疊區(qū)域提取的進(jìn)行特征點(diǎn)匹配，以提高匹配效率和匹配正確率。

1 基于Brisk的圖像配準(zhǔn)方法

Brisk的圖像配準(zhǔn)方法主要包括3個(gè)環(huán)節(jié)：關(guān)鍵點(diǎn)提取、生成描述符和關(guān)鍵點(diǎn)匹配。

1.1 關(guān)鍵點(diǎn)提取

在檢測環(huán)節(jié)，Brisk算法首先應(yīng)用高斯差分濾波器(Difference of Gaussian， DOG)把圖像構(gòu)建成為N組S層的高斯差分金字塔，如圖1所示。

圖1 高斯差分金字塔

然后分別在尺度空間金字塔的每層都使用AGAST角點(diǎn)檢測算法，對(duì)AGAST算子檢測出的關(guān)鍵特征點(diǎn)，根據(jù)檢測出的響應(yīng)值分布進(jìn)行尺度空間的非極大值抑制，并應(yīng)用曲線擬合的方法來計(jì)算圖像亞像素精度的分布位置，如圖2所示。

圖2 尺度空間關(guān)鍵點(diǎn)檢測

AGAST檢測算子主要應(yīng)用了模式為FAST9-16的檢測算子，分別使用相同閾值T對(duì)各個(gè)圖像組以及內(nèi)插組來對(duì)關(guān)鍵點(diǎn)進(jìn)行提取與檢測，即在提取的關(guān)鍵點(diǎn)周圍16個(gè)圓環(huán)點(diǎn)中至少存在9個(gè)連續(xù)的點(diǎn)，這9個(gè)連續(xù)的點(diǎn)一定要與中心點(diǎn)的像素值不同。對(duì)滿足條件的關(guān)鍵點(diǎn)進(jìn)行提取，并應(yīng)用非極大值抑制方法來去除不穩(wěn)定的特征點(diǎn)。

1.2 特征點(diǎn)描述子構(gòu)造

描述符采樣模式如圖3所示。

圖3 描述符采樣模式

在描述特征點(diǎn)過程中，為了確保描述子的旋轉(zhuǎn)不變形，應(yīng)對(duì)提取關(guān)鍵點(diǎn)的鄰域像素對(duì)應(yīng)用主方向歸一化的方法，從而構(gòu)造具有旋轉(zhuǎn)不變性的描述子。因此Brisk采用圖3所示的采樣模式，即對(duì)關(guān)鍵點(diǎn)周圍像素采樣的固定采樣模式。平滑采樣點(diǎn)的方法是使用高斯函數(shù)的標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差到關(guān)鍵點(diǎn)的距離隨著采樣點(diǎn)到關(guān)鍵點(diǎn)距離的增長而增長，對(duì)采樣點(diǎn)的劃分采用采樣點(diǎn)間灰度關(guān)系的方法，分為短距離點(diǎn)對(duì)和長距點(diǎn)對(duì)集合兩類。關(guān)鍵點(diǎn)方向的計(jì)算主要是利用長距離點(diǎn)對(duì)集合，把采樣點(diǎn)對(duì)的方向旋轉(zhuǎn)到與關(guān)鍵點(diǎn)方向一致，生成二進(jìn)制描述符是利用比較短距離點(diǎn)對(duì)間的亮度來生成的。

1.2.1 采樣與主方向估計(jì)

為了提高描述子的抗干擾性與甄別性，在關(guān)鍵點(diǎn)的中心選擇N個(gè)鄰域點(diǎn)進(jìn)行采樣，對(duì)采樣點(diǎn)的中心半徑σ平滑就要采用方差為?的高斯濾波器。對(duì)于N·(N-1)個(gè)采樣點(diǎn)對(duì)g(pi,pi)其局部的梯度值g(pi,pj)通過平滑后的像素值來估計(jì)：

對(duì)所有的采樣點(diǎn)集合：

其中，通過對(duì)長距離的像素設(shè)置距離閾值，通過迭代的方法可以估計(jì)出關(guān)鍵點(diǎn)的主方向。為了降低算法的運(yùn)算復(fù)雜度和降低對(duì)關(guān)鍵點(diǎn)的整體梯度的影響，應(yīng)基于對(duì)短距離的像素對(duì)梯度選取長距離的像素對(duì)。

1.2.2 構(gòu)建描述子

必須對(duì)描述子進(jìn)行旋轉(zhuǎn)與尺度歸一化，以保持Brisk描述子的旋轉(zhuǎn)和尺度不變性。在算法中α=arctan2(gy,gx)為描述子主方向的角度，而描述子向量則采用像素值之比，此像素值之比是經(jīng)過方向歸一化后的短距離像素對(duì)之比。

描述子的構(gòu)造采用了一些Brief的傳統(tǒng)思想，但與之相比，本質(zhì)上又有一些不同，在采樣點(diǎn)的選取與相鄰采樣點(diǎn)的處理上也有一些不同的操作方法。首先，需要在歸一化的半徑范圍內(nèi)對(duì)采樣點(diǎn)進(jìn)行選取，也就是通過尺度的不同可以自動(dòng)調(diào)整采樣區(qū)域半徑；其次，不會(huì)對(duì)相鄰采樣點(diǎn)之間的高斯濾波造成影響，進(jìn)而描述子的魯棒性也有了提高；最后，對(duì)采樣點(diǎn)的像素對(duì)同時(shí)進(jìn)行分組，分為兩組，即長距離組與短距離組。由于采樣數(shù)量偏少，分別計(jì)算長、短距離組描述子的主方向與描述向量。

1.3 描述子匹配

在生成Brisk描述符后，應(yīng)用hamming距離來估量二進(jìn)制描述符的相似性，進(jìn)而實(shí)現(xiàn)提取關(guān)鍵點(diǎn)的匹配。然后應(yīng)用RANSAC剔除誤匹配，利用準(zhǔn)確匹配關(guān)鍵點(diǎn)之間的對(duì)應(yīng)關(guān)系估計(jì)圖像的變換模型參數(shù)，最后應(yīng)用變換矩陣對(duì)圖像進(jìn)行插值與變換。

2 基于歸一化積相關(guān)的Brisk算法

2.1 歸一化積相關(guān)算法

歸一化積相關(guān)算法是一種經(jīng)典的灰度相關(guān)算法，因此，具有不受比例因子誤差的影響和抗白噪聲能力強(qiáng)等優(yōu)點(diǎn)。文中相似性度量值是以待配準(zhǔn)圖像與配準(zhǔn)圖像之間歸一化積相關(guān)系數(shù)作為準(zhǔn)則，通過逐步比較待配準(zhǔn)圖像搜索矩陣與原圖像搜索矩陣之間的相關(guān)系數(shù)，得到其中的最大值點(diǎn)，也就是配準(zhǔn)圖像的最佳匹配位置。從而對(duì)匹配成功的圖像進(jìn)行特征點(diǎn)提取和特征點(diǎn)匹配，最后實(shí)現(xiàn)兩幅圖像的配準(zhǔn)。首先，歸一化積相關(guān)計(jì)算過程是計(jì)算相關(guān)矩陣，并且應(yīng)用歸一化積相關(guān)算法，通過尋找相關(guān)系數(shù)來確定矩陣之間的最大值點(diǎn)(即匹配點(diǎn))。相關(guān)矩陣可以表示為:

設(shè)I為待配準(zhǔn)圖像，大小為W×H，T為配準(zhǔn)圖像，大小為M×N,則相關(guān)矩陣尺寸為(W-M+1)×(H-N+1),即包含了(W-M+1)×(H-N+1)個(gè)相關(guān)系數(shù)。坐標(biāo)(x,y)處的待配準(zhǔn)圖像與原圖像的歸一化積相關(guān)系數(shù)的定義形式為：

2.2 歸一化積相關(guān)的區(qū)域分割方法

文中應(yīng)用區(qū)域分割的方法，也就是模板分塊匹配的方法，通過設(shè)定不同的閾值，對(duì)分割后的小區(qū)域進(jìn)行計(jì)算和比較，排除了不需要特征點(diǎn)提取的區(qū)域，以及提高了在特征點(diǎn)提取、特征點(diǎn)匹配的速度。區(qū)域分割法是應(yīng)用分割圖來代替原來的模板，通過計(jì)算圖像分塊區(qū)域的相關(guān)性的計(jì)算來判斷匹配區(qū)域的位置，即圖像配準(zhǔn)的最佳匹配位置。

首先設(shè)定原圖像為基準(zhǔn)圖f，待配準(zhǔn)圖像為實(shí)時(shí)圖g，對(duì)實(shí)時(shí)圖與基準(zhǔn)圖進(jìn)行同樣的方式按列劃分，分塊后的實(shí)時(shí)圖分別為T1,T2，…,TN，基準(zhǔn)圖分別為S1,S2，…,SN，將實(shí)時(shí)圖的N塊圖像分別記為搜索模板,并且分別與基準(zhǔn)圖的圖像塊進(jìn)行交叉匹配。模板T在圖像S上平移，(i,j)為左上角頂點(diǎn)的搜索圖S中的坐標(biāo)。設(shè)定最大相似性度量的值為一個(gè)常數(shù)，搜索圖和模板的相似性通過度量函數(shù)來度量。在搜索過程中，采用歸一化積相關(guān)匹配算法，計(jì)算模板塊的相似度，如果模板塊的相似度小于設(shè)定的最大相似性度量的常數(shù)，則對(duì)第2塊模板塊進(jìn)行相似性度量的計(jì)算，并且與相似性度量的最大值進(jìn)行比較，直到最后的相似性度量的結(jié)果大于設(shè)定的最大相似性度量的常數(shù)，則停止接下來的匹配計(jì)算，并對(duì)匹配成功的區(qū)域進(jìn)行特征點(diǎn)的提取以及特征點(diǎn)的匹配。

2.3 圖像的配準(zhǔn)

在對(duì)圖像進(jìn)行匹配完成之后，應(yīng)用對(duì)應(yīng)的Brisk算法對(duì)匹配完成的圖像進(jìn)行圖像配準(zhǔn)，包括提取特征點(diǎn)，特征點(diǎn)描述子的生成以及最后的描述子的匹配。最后得到相應(yīng)的圖像配準(zhǔn)結(jié)果。

3 實(shí)驗(yàn)結(jié)果

采用VS2010程序開發(fā)環(huán)境和OpenCV2.4.3庫進(jìn)行編程，使用的圖片是在實(shí)驗(yàn)室采集的。為驗(yàn)證文中改進(jìn)算法的有效率及準(zhǔn)確性，將原算法與改進(jìn)算法的特征點(diǎn)數(shù)、時(shí)間、正確匹配率的結(jié)果分別進(jìn)行比較，從而得出配準(zhǔn)的實(shí)驗(yàn)結(jié)論。

3.1 匹配結(jié)果對(duì)比分析

對(duì)比實(shí)驗(yàn)分別是原始算法與文中算法的實(shí)驗(yàn)結(jié)果對(duì)比和文中算法與原經(jīng)典算法ORB的實(shí)驗(yàn)結(jié)果對(duì)比，文中采用3組圖像進(jìn)行實(shí)驗(yàn)，分別如圖4～圖6所示。

(a) 原始算法匹配結(jié)果 (b) 文中算法匹配結(jié)果

(a) 原始算法匹配結(jié)果 (b) 文中算法匹配結(jié)果

(a) 原始算法匹配結(jié)果 (b) 文中算法匹配結(jié)果

從原始圖像的實(shí)驗(yàn)結(jié)果可以看出，匹配的特征點(diǎn)較多，特征點(diǎn)匹配對(duì)分布較為雜亂，而從文中改進(jìn)算法的實(shí)驗(yàn)結(jié)果可以看到，特征點(diǎn)匹配對(duì)較為集中，匹配精確度較高。對(duì)比匹配結(jié)果可以看出，文中算法能夠自動(dòng)匹配兩幅圖像的重疊區(qū)域，并且只對(duì)重疊區(qū)域的特征點(diǎn)進(jìn)行匹配，得到的匹配對(duì)分布均勻，擁有較好的實(shí)用能力。由于文中算法與原始算法都是對(duì)兩幅圖片的特征點(diǎn)進(jìn)行提取，因此，對(duì)比結(jié)果中的特征點(diǎn)數(shù)相差無幾，在精度分析的數(shù)據(jù)中不做顯示。

文中對(duì)比實(shí)驗(yàn)結(jié)果為文中算法與原經(jīng)典算法ORB的實(shí)驗(yàn)結(jié)果。本對(duì)比實(shí)驗(yàn)為更加突出原BRISK算法與文中算法的先進(jìn)之處，依舊采用前3組圖片進(jìn)行對(duì)比實(shí)驗(yàn)，分別如圖7～圖9所示。

(a) 文中算法匹配結(jié)果 (b) ORB算法匹配結(jié)果

(a) 文中算法匹配結(jié)果 (b) ORB算法匹配結(jié)果

(a) 文中算法匹配結(jié)果 (b) ORB算法匹配結(jié)果

根據(jù)以上實(shí)驗(yàn)結(jié)果可以看出，OBR算法的匹配點(diǎn)數(shù)繁多，且匹配出的無效點(diǎn)較多，匹配正確率較低。針對(duì)文中算法對(duì)特征點(diǎn)的匹配區(qū)域比較集中，且匹配正確率較高，在實(shí)際應(yīng)用方面有很大優(yōu)勢。

3.2 匹配精度分析

文中的配準(zhǔn)精度客觀評(píng)價(jià)標(biāo)準(zhǔn)參見文獻(xiàn)[13]，采用均方根誤差的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià)。本實(shí)驗(yàn)采用閾值為60的Brisk算法參與對(duì)比實(shí)驗(yàn)。兩種方法的時(shí)間統(tǒng)計(jì)結(jié)果對(duì)比分析見表1。

表1 原始算法與改進(jìn)算法特征點(diǎn)檢測的時(shí)間統(tǒng)計(jì)

在匹配階段，文中算法由于采用歸一化積進(jìn)行圖像匹配，最后又計(jì)算了漢明距離的匹配正確率，可能在計(jì)算速度上有所降低，但隨后進(jìn)行的特征點(diǎn)匹配則大大降低了匹配時(shí)間，通過部分圖像的特征點(diǎn)對(duì)的匹配及檢測漢明距離以確定匹配的正確率，剔除了大量的非匹配點(diǎn)。對(duì)3組實(shí)驗(yàn)圖像進(jìn)行特征點(diǎn)匹配的正確率與時(shí)間統(tǒng)計(jì)對(duì)比分別見表2和表3。

表2 文中算法特征點(diǎn)匹配的正確率和時(shí)間統(tǒng)計(jì)

表3 Brisk算法特征點(diǎn)匹配的正確率和時(shí)間統(tǒng)計(jì)

通過對(duì)比實(shí)驗(yàn)可以看出，文中算法不僅提高了執(zhí)行效率，達(dá)到了預(yù)先的理想效果，并且與BRISK匹配速度基本一致，但在總體匹配正確率上文中算法有著明顯的優(yōu)勢。

通過表2、表3的對(duì)比可以看出，文中算法不僅提高了匹配效率，而且大大提高了匹配正確率。

表4 文中算法與ORB算法特征點(diǎn)匹配的正確率和時(shí)間統(tǒng)計(jì)

表5 ORB算法特征點(diǎn)匹配的正確率和時(shí)間統(tǒng)計(jì)

通過表4、表5文中算法與ORB算法的對(duì)比數(shù)據(jù)可以看出，文中算法不僅在運(yùn)算速度上比ORB算法快，并且在特征點(diǎn)匹配的正確率上有著明顯優(yōu)勢。

4 結(jié) 語

針對(duì)原始Brisk算法的特征點(diǎn)檢測過于繁多、特征點(diǎn)匹配效率過低等問題，提出了一種改進(jìn)的Brisk算法。實(shí)驗(yàn)結(jié)果表明，通過改進(jìn)原始的Brisk算法能夠減少配準(zhǔn)時(shí)間，提高配準(zhǔn)效率與配準(zhǔn)的準(zhǔn)確性，并且也很好地繼承了原始算法的優(yōu)點(diǎn)。

[1] Lowe D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision,2004,60(2):91-110.

[2] Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on,2004,2(2):506-513.

[3] Bay H, Tuytelaars T, Van Gool L. Surf: Speeded up robust features [M]. [S.l.]: Computer Sion-ECCV,2006:404-417.

[4] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF [M]. [S.l.]: Computer Vision (ICCV),2011:2564-2571.

[5] Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary robust invariant scalable keypoints [M]. [S.l.]: Computer Vision (ICCV),2011:2548-2555.

[6] 王宏志,李美靜,張立偉，等.畸變圖像拼接算法研究[J].長春工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2012,33(5):533-536.

[7] 曹建,謝曉方,梁捷，等.基于BRISK改進(jìn)的快速角點(diǎn)特征算法[J].艦船電子工程，2013,5:44-47.

[8] 衛(wèi)星,樊紹勝,高山，等.基于BRISK的圖像快速匹配與變換算法[J].電子測量技術(shù)，2015,38:43-47.

[9] 桂振文,劉越,陳靖，等.一種適用于智能手機(jī)的圖像識(shí)別算法[J].電子學(xué)報(bào)，2014(8):1487-1494.

[10] 石祥斌,孫奇,張德園，等.一種自適應(yīng)閾值分塊BRISK的圖像配準(zhǔn)方法[J].沈陽航空航天大學(xué)學(xué)報(bào)，2014,31:65-72.

[11] 張恒,劉大勇,劉艷麗，等.融合深度信息的BRISK改進(jìn)算法[J].計(jì)算機(jī)應(yīng)用，2015,35(8):2285-2290.

[12] 何林陽,劉晶紅,李剛，等.改進(jìn)BRISK特征的快速圖像配準(zhǔn)算法[J].紅外與激光工程，2014,43:2722-2727.

[13] 許斌，徐萬朋,陳向?qū)?，?基于BPT分割的SAR與可見光圖像配準(zhǔn)方法[J].四川兵工學(xué)報(bào)，2014,35:105-108.

Normalized product correlation Brisk image registration algorithm

LI Xiuhua， YAO Jia

(School of Computer Science and Engineering, Changchun University of Technology, Changchun 130012， China)

The normalized product correlation coefficient is applied for image block matching, and the feature points of matched images are extracted with AGAST algorithm. Then the feature points are described with Brisk descriptor which is matched with Hanming distance.

AGAST algorithm； Brisk algorithm； normalized product correlation.

2016-12-28

吉林省科技廳基金資助項(xiàng)目(KJT2016-1)

李秀華(1971-)，女，漢族，吉林樺甸人，長春工業(yè)大學(xué)副教授，博士,主要從事智能控制與圖像處理方向研究,E-mail:lixiuhua@ccut.edu.cn.

10.15923/j.cnki.cn22-1382/t.2017.2.12

TP 301.6

A

1674-1374(2017)02-0167-07