楊金玲，曹先革, 王霞迎, 萬(wàn) 偉

(1.東華理工大學(xué) 測(cè)繪工程學(xué)院, 南昌 330013; 2.東華理工大學(xué) 高等教育研究與評(píng)估中心, 南昌 330013)

在圖像信息處理方面，綜合利用多傳感器圖像信息進(jìn)行數(shù)據(jù)的挖掘和信息的分析是一項(xiàng)重要而又富有挑戰(zhàn)的工作。多傳感器提供的圖像信息與單一傳感器相比，具有可靠性、冗余性、互補(bǔ)性等特點(diǎn)，能夠?yàn)檠芯繉?duì)象提供更多的細(xì)節(jié)信息。近紅外傳感器和可見(jiàn)光傳感器是兩種最常見(jiàn)的圖像源，近紅外圖像與可見(jiàn)光圖像的融合既可以獲得較高的空間分辨率、清晰的地物特征，又可以保留近紅外圖像所攜帶的區(qū)域場(chǎng)景的反射輻射信息，被廣泛地應(yīng)用在圖像融合[1-2]、遙感[3]、圖像增強(qiáng)[4]、監(jiān)視[5]、目標(biāo)識(shí)別跟蹤[6-7]等領(lǐng)域。

由于記錄地物信息譜段的差異，近紅外圖像與可見(jiàn)光圖像中的像素強(qiáng)度一般沒(méi)有直接關(guān)系，呈現(xiàn)較為復(fù)雜的灰度差異，因此兩幅圖像中同名特征點(diǎn)提取和匹配具有一定的難度。針對(duì)圖像特征匹配，眾多學(xué)者進(jìn)行了大量的研究，提出了不同的匹配算法[2,7-9]。其中，近紅外與可見(jiàn)光圖像的匹配方法通常分為兩類：基于區(qū)域的匹配和基于特征的匹配，其中基于特征的匹配算法在該領(lǐng)域使用較為普遍。然而，如何進(jìn)一步改善基于特征的匹配算法對(duì)近紅外圖像與可見(jiàn)光圖像的匹配效果，仍然是需要攻克的關(guān)鍵問(wèn)題之一。

文中在分析近紅外圖像與可見(jiàn)光圖像共有特征信息的基礎(chǔ)上，充分顧及圖像特征信息和同名點(diǎn)分布情況，基于文獻(xiàn)[10]的ORB算法提出了一種改進(jìn)的近紅外和可見(jiàn)光圖像特征匹配方法。首先通過(guò)引入BRISK算法思想[11]進(jìn)行圖像尺度空間的構(gòu)建，以使圖像具有尺度信息；然后采用FAST9-16獲取特征點(diǎn)，其中c0層為特例，需采用FAST5-8獲取特征點(diǎn)；第三步，利用灰度質(zhì)心法進(jìn)行特征點(diǎn)方向的確定；第四步，構(gòu)造向量，利用rBrief描述子描述特征；第五步，利用hamming距離進(jìn)行匹配，最后采用漸進(jìn)采樣一致性算法進(jìn)行誤匹配的剔除，最終實(shí)現(xiàn)可見(jiàn)光與近紅外圖像特征的匹配。

1 改進(jìn)算法簡(jiǎn)介

1.1 尺度空間構(gòu)建

尺度不變性對(duì)高質(zhì)量關(guān)鍵點(diǎn)的提取至關(guān)重要，為增強(qiáng)算法的尺度不變性，本算法首先進(jìn)行尺度空間的構(gòu)建。受文獻(xiàn)[11]BRISK算法的啟示，尺度空間金字塔層由2n層的金字塔組成，包括n個(gè)普通層圖像octavesci和n個(gè)內(nèi)層圖像intra-octavesdi，其中i={0,1,…,n-1}。

每個(gè)普通層圖像octavesci是通過(guò)對(duì)原始圖像(即圖像c0)不斷進(jìn)行兩倍下采樣而形成的。每個(gè)內(nèi)層圖像intra-octavedi位于層ci和ci+1之間(如圖1所示)[11]。第一個(gè)內(nèi)層圖像intra-octaved0是通過(guò)對(duì)原始圖像(即圖像c0)進(jìn)行1.5倍的下采樣來(lái)獲得的，而其余的內(nèi)層圖像intra-octavedi則是通過(guò)連續(xù)的兩倍下采樣來(lái)獲得的。

圖1 尺度空間構(gòu)建

1.2 特征點(diǎn)探測(cè)與插值

特征點(diǎn)探測(cè)時(shí)，首先利用FAST 9-16檢測(cè)算子以相同的閾值T分別在普通層圖像octave和內(nèi)層圖像intra-octave上識(shí)別潛在的感興趣區(qū)域。其次，在尺度空間中對(duì)屬于這些區(qū)域的點(diǎn)進(jìn)行非極大值抑制篩選響應(yīng)較強(qiáng)的角點(diǎn)：即在同層的8鄰域中FAST得分S最大的點(diǎn)為特征點(diǎn)，同時(shí)該點(diǎn)還需要滿足在相鄰的上下兩層中得分值S盡量小。由于相鄰層即intra-octave和octave是由不同的形式離散表示的，所以在鄰域邊界上需要進(jìn)行插值。

上述2n層金字塔構(gòu)成的是一個(gè)離散的尺度空間，由于圖像的顯著性實(shí)際上是連續(xù)的，因此還需要對(duì)粗篩選出的特征點(diǎn)進(jìn)行子像素和尺度上的進(jìn)一步插值?？衫米钚《朔▽?duì)特征點(diǎn)坐標(biāo)進(jìn)行x,y方向的二維二次插值,得到修正后的子像素位置，然后如圖1所示在尺度方向上進(jìn)行拋物線插值，以得到極值點(diǎn)所在尺度，并用這個(gè)尺度根據(jù)上下層極值點(diǎn)與關(guān)鍵點(diǎn)位置的偏移量再次對(duì)特征點(diǎn)位置進(jìn)行二次修正，并把這個(gè)位置作為特征點(diǎn)的最終位置。在插值過(guò)程中，為避免重采樣文中采用3×3的得分patch插值圖像的坐標(biāo)及最終尺度。圖1描述了下采樣和極大值搜索的示例。

1.3 特征點(diǎn)描述

1)特征點(diǎn)的方向。灰度質(zhì)心方法[12]是一種簡(jiǎn)單有效的特征點(diǎn)方向檢測(cè)算法，其原理為：設(shè)某特征點(diǎn)所在圖像塊灰度質(zhì)心為C，圖像塊的幾何中心為O，若C與O不重合則以向量OC作為特征點(diǎn)的方向。描述步驟如下。

首先，定義圖像塊的矩mpq：

(1)

式中：I(x,y)為圖像的灰度值x,y∈[-r,r]，r為特征點(diǎn)領(lǐng)域s的半徑。

然后，根據(jù)圖像塊的距計(jì)算質(zhì)心C：

(2)

第三步，構(gòu)建一個(gè)從幾何中心O到質(zhì)心C的向量OC)。

特征點(diǎn)的方向可以簡(jiǎn)化為：

θ=atan2(m01,m10).

(3)

至此，每個(gè)關(guān)鍵點(diǎn)都確定了主方向，具有了旋轉(zhuǎn)不變性。

2)特征點(diǎn)的描述。BRIEF特征描述子[13]是對(duì)由一系列二值灰度測(cè)試構(gòu)成的圖像區(qū)塊的二進(jìn)制字符串進(jìn)行描述。對(duì)于平滑圖像區(qū)塊p，定義一個(gè)二值測(cè)試函數(shù)τ：

(4)

其中p(x)是平滑后圖像領(lǐng)域p在點(diǎn)x的灰度值。特征點(diǎn)被定義為n個(gè)二值測(cè)試的矢量：

(5)

n可以取值128、256、512等。由于BRIEF描述子對(duì)噪聲敏感，因此二值測(cè)試前需要對(duì)圖像進(jìn)行平滑，根據(jù)文獻(xiàn)[10]對(duì)選擇平滑窗口的建議，文中在31×31的圖像塊上以5×5的子窗口對(duì)圖像進(jìn)行平滑。

3)轉(zhuǎn)向BRIEF的計(jì)算。當(dāng)圖像平面旋轉(zhuǎn)過(guò)大時(shí)，BRIEF匹配性能隨之下降。Calonder[13]提出為每個(gè)圖像區(qū)塊的每一組旋轉(zhuǎn)和透視變形分別計(jì)算一個(gè)BRIEF特征描述，但是這個(gè)解決方法計(jì)算代價(jià)太大。一個(gè)更加有效的方法是根據(jù)關(guān)鍵點(diǎn)的旋轉(zhuǎn)情況來(lái)調(diào)整BRIEF方向。對(duì)于點(diǎn)(xi,yi)上n個(gè)二值測(cè)試中任意特征集合，定義一個(gè)2×n矩陣：

(6)

用圖像塊的旋轉(zhuǎn)角θ和相應(yīng)的旋轉(zhuǎn)矩陣Rθ，可構(gòu)造一個(gè)S的“轉(zhuǎn)向”版本Sθ：

Sθ=RθS,

(7)

那么轉(zhuǎn)向BRIEF就變成：

gn(p,θ):=fn(p)|(xi,yi)∈Sθ.

(8)

得到Steered BRIEF后，執(zhí)行一個(gè)貪婪搜索選擇相關(guān)性最低的n個(gè)像素塊對(duì)，即得到最終的rBRIEF描述子。

1.4 特征匹配

利用rBRIEF計(jì)算另一幅圖像中特征點(diǎn)描述子，并將其與第一幅圖像中特征點(diǎn)進(jìn)行匹配，獲得最佳匹配對(duì)，并記錄對(duì)應(yīng)的漢明距離。

遍歷第二幅圖像中所有特征點(diǎn)Qn；首先，將Qn與第一幅圖像中所有聚類的中心點(diǎn)Pc,i進(jìn)行匹配。即用dist(Pn,Pc,i)=Pn⊕Pc,i；i=1,2,…,k，計(jì)算Qn與聚類中心點(diǎn)的漢明距離。如果與中心點(diǎn)Pc,i計(jì)算的漢明距離符合設(shè)定閾值，則可得最佳匹配的聚類中心點(diǎn)Pc,i，然后再與該聚類下的其他特征點(diǎn)進(jìn)行匹配，計(jì)算漢明距離，并取得最佳匹配; 如果與中心點(diǎn)Pc,i計(jì)算漢明距離超出設(shè)定閾值，則舍棄該匹配點(diǎn); 匹配結(jié)束后，記錄匹配結(jié)果C：

C={matchi(P,Q,dist)|i=1,2,3,…,n}.

(9)

式中：C為最終取得的匹配點(diǎn)集合；n為最終取得匹配的特征點(diǎn)的個(gè)數(shù)；dist為每對(duì)匹配點(diǎn)之間的漢明距離，漢明距離越小，證明匹配精度越高。

1.5 基于漸進(jìn)采樣一致性算法剔除誤匹配

在誤匹配剔除方面，RANSAC算法是應(yīng)用最廣泛的穩(wěn)健估計(jì)方法，但是該方法依賴于預(yù)先定義的參數(shù)化模型，當(dāng)圖像存在非剛性變換或誤匹配較多時(shí)，該模型會(huì)退化；并且該算法等價(jià)的看待所有匹配對(duì)，不進(jìn)行任何區(qū)分就進(jìn)行隨機(jī)采樣，缺乏針對(duì)性。

Chum等人對(duì)RANSAC方法進(jìn)行改進(jìn)，提出了漸進(jìn)采樣一致性算法[14]。

原理如下：設(shè)假定匹配對(duì)為N個(gè)，數(shù)據(jù)集記作uN。

首先，利用評(píng)價(jià)函數(shù)q對(duì)匹配數(shù)據(jù)進(jìn)行質(zhì)量評(píng)價(jià)，記作q(ui)，并對(duì)數(shù)據(jù)進(jìn)行降序排列，即若i

然后，在評(píng)價(jià)函數(shù)值最高的匹配數(shù)據(jù)子集M(M?uN)中進(jìn)行隨機(jī)采樣獲得假設(shè)模型，并利用所有匹配對(duì)進(jìn)行驗(yàn)證；數(shù)據(jù)集M可根據(jù)驗(yàn)證結(jié)果的需要逐漸增大，因此在該方法中采樣數(shù)據(jù)集不容易被誤匹配影響；

最后，當(dāng)uN中內(nèi)點(diǎn)數(shù)In*滿足非隨機(jī)性和極大值策略時(shí)停止“采樣-驗(yàn)證”循環(huán)。非隨機(jī)性是指：n*個(gè)數(shù)據(jù)的內(nèi)點(diǎn)In*恰好也是某一個(gè)錯(cuò)誤模型內(nèi)點(diǎn)的概率小于閾值ψ(通常設(shè)為5%)。極大值策略是指：給定概率閾值η0(通常設(shè)為5%)，k為n*個(gè)數(shù)據(jù)中的采樣次數(shù)，其需要滿足：

kn*(η0)≥log(η0)/log(1-PIn*).

(10)

2 實(shí)驗(yàn)與分析

2.1 運(yùn)行環(huán)境與數(shù)據(jù)簡(jiǎn)介

實(shí)驗(yàn)采用的運(yùn)行環(huán)境為Intel(R)Core(TM)i7-5500U CPU @ 2.4GHz，8G內(nèi)存，64位操作系統(tǒng)的PC機(jī)，以VS2017和Opencv4.4.0作為主要實(shí)驗(yàn)平臺(tái)。

研究區(qū)域位于紐約哈姆林海灘州立公園，實(shí)驗(yàn)數(shù)據(jù)為RIT-18數(shù)據(jù)集，數(shù)據(jù)大小約3G，由搭載在DJI-1000直升機(jī)上的Tetracam Micro-MCA6多波段傳感器獲取[15]。數(shù)據(jù)包括3個(gè)通道的近紅外圖像和包含R、G、B等3個(gè)通道的可見(jiàn)光圖像。本研究從整幅圖像中選取了具有代表性的區(qū)域(大?。?40像素×857像素)進(jìn)行近紅外和可見(jiàn)光數(shù)據(jù)匹配實(shí)驗(yàn)。

2.2 結(jié)果與分析

為評(píng)估改進(jìn)算法的性能，文中采用文獻(xiàn)[16]中的假定匹配率(Putative Match Ratio)、精度(Precision)、匹配得分(Match Score)3個(gè)指標(biāo)對(duì)算法進(jìn)行評(píng)定。

基于改進(jìn)算法探測(cè)出的特征點(diǎn)分布情況和特征點(diǎn)匹配結(jié)果如圖2和圖3所示，基于ORB算法探測(cè)出的特征點(diǎn)分布情況和特征點(diǎn)匹配結(jié)果如圖4和圖5所示。改進(jìn)算法和ORB算法特征識(shí)別和匹配結(jié)果統(tǒng)計(jì)數(shù)據(jù)見(jiàn)表1。當(dāng)可見(jiàn)光圖像尺寸縮小10%后，基于改進(jìn)算法的特征匹配結(jié)果見(jiàn)圖6。

圖2 改進(jìn)算法特征點(diǎn)探測(cè)結(jié)果(左：近紅外，右：可見(jiàn)光)

圖3 改進(jìn)算法特征點(diǎn)匹配結(jié)果(左：粗匹配，右：精匹配)

圖4 ORB算法特征點(diǎn)探測(cè)結(jié)果(左：近紅外，右：可見(jiàn)光)

在誤匹配點(diǎn)對(duì)剔除階段，針對(duì)經(jīng)典的RANSAC算法等價(jià)的看待所有匹配點(diǎn)對(duì)，隨機(jī)選擇點(diǎn)對(duì)估算單應(yīng)矩陣參數(shù)的情況，文中采用一種半隨機(jī)的方式進(jìn)行點(diǎn)對(duì)的選擇，即首先對(duì)匹配點(diǎn)對(duì)的質(zhì)量進(jìn)行評(píng)價(jià)并排序，然后采取逐漸增大采樣點(diǎn)對(duì)的策略進(jìn)行點(diǎn)對(duì)的選擇，有效改善了誤匹配剔除性能。由于算法每次特征識(shí)別和匹配用時(shí)均有一定幅度的變化，因此文中取算法10次運(yùn)算所用時(shí)間的平均值作為漸進(jìn)采樣一致性算法和RANSAC算法的用時(shí)，算法運(yùn)行時(shí)間和正確匹配點(diǎn)對(duì)數(shù)見(jiàn)表2。

表1 基于改進(jìn)算法和ORB算法的特征識(shí)別與匹配結(jié)果

圖5 ORB算法匹配結(jié)果(左：粗匹配，右：精匹配)

圖6 基于改進(jìn)算法的圖像尺度變化特征匹配結(jié)果

表2 漸進(jìn)采樣一致性算法和RANSAC算法用時(shí)

3 結(jié)果分析

1)從圖2和圖4特征點(diǎn)探測(cè)結(jié)果的對(duì)比分析可知，改進(jìn)算法在近紅外圖像和可見(jiàn)光圖像中均能夠有效探測(cè)出特征點(diǎn)；與ORB算法相比，文中提出的改進(jìn)算法性能明顯，并且探測(cè)出的特征點(diǎn)分布相對(duì)均勻。在道路和草地區(qū)域內(nèi)(邊緣除外)，由于圖像對(duì)比度差，像素趨于同質(zhì)化，兩種算法探測(cè)出的特征點(diǎn)數(shù)均趨近于零。

2)從表1可知，改進(jìn)算法在近紅外圖像和可見(jiàn)光圖像中分別探測(cè)出特征點(diǎn)9 212個(gè)和6 961個(gè)，ORB算法在近紅外圖像和可見(jiàn)光圖像中分別探測(cè)出特征點(diǎn)506個(gè)和522個(gè)。與ORB算法相比，改進(jìn)算法在近紅外圖像中探測(cè)出的特征點(diǎn)個(gè)數(shù)提升了17.21倍，在可見(jiàn)光圖像中探測(cè)出的特征點(diǎn)個(gè)數(shù)提升了12.34倍，假定匹配率減少了0.14%，匹配得分提高了5.2%。

3)從表1可知，改進(jìn)算法獲得粗匹配點(diǎn)對(duì)2 576對(duì)，正確點(diǎn)對(duì)844對(duì)，匹配精度為32.76%，ORB算法獲得粗匹配點(diǎn)對(duì)188對(duì)，正確點(diǎn)對(duì)35對(duì)，匹配精度18.62%。與ORB算法相比，改進(jìn)算法匹配精度提高了14.14%。改進(jìn)算法最終得到的正確點(diǎn)對(duì)數(shù)提升了23.11倍，可見(jiàn)本算法在近紅外和可見(jiàn)光圖像特征點(diǎn)識(shí)別和匹配方面具有明顯優(yōu)勢(shì)。

4)從表2可知，與經(jīng)典RANSAC算法相比，基于漸進(jìn)采樣一致性算法的誤匹配點(diǎn)對(duì)剔除方法在近紅外和可見(jiàn)光圖像特征識(shí)別和匹配過(guò)程中總體時(shí)間減少了14%，最終匹配的點(diǎn)對(duì)僅減少了0.35%。

5)如圖6所示，當(dāng)圖像尺寸發(fā)生變化時(shí)(縮小10%)，改進(jìn)算法能夠有效克服尺度變化帶來(lái)的影響。在圖中，改進(jìn)算法在近紅外圖像中探測(cè)出特征點(diǎn)9 212個(gè)，在可見(jiàn)光圖像中探測(cè)出特征點(diǎn)5 620個(gè)，其中粗匹配點(diǎn)對(duì)2 122個(gè)，正確點(diǎn)對(duì)614個(gè)，匹配精度為28.93%。

4 結(jié)束語(yǔ)

近紅外和可見(jiàn)光圖像成像原理不同，針對(duì)同一場(chǎng)景獲取的圖像灰度差異大，圖像誤匹配多。為進(jìn)一步改善基于特征的匹配算法對(duì)近紅外圖像與可見(jiàn)光圖像的匹配效果，文中提出了一種改進(jìn)的算法，該算法在初始階段通過(guò)引入BRISK算法思想進(jìn)行圖像金字塔的設(shè)計(jì)，使圖像具備了尺度不變性；在誤匹配剔除階段針對(duì)傳統(tǒng)RANSAC算法等價(jià)看待所有匹配點(diǎn)對(duì)的不足之處，文中通過(guò)采用對(duì)匹配點(diǎn)對(duì)質(zhì)量評(píng)價(jià)、逐漸增大采樣點(diǎn)對(duì)等方式計(jì)算單應(yīng)矩陣進(jìn)而剔除誤匹配。實(shí)驗(yàn)證明，文中提出的改進(jìn)算法，增加了提取特征點(diǎn)的魯棒性，顯著提高了特征點(diǎn)探測(cè)的數(shù)量，與ORB算法相比，在Putative Match Ratio、Precision和Match Score方面均得到了明顯提高。采用漸進(jìn)采樣一致性算法進(jìn)行誤匹配點(diǎn)對(duì)的剔除，有效減少了特征匹配的時(shí)間，提高了算法的效率。