韋春桃，張冬梅，朱旭陽(yáng)

(重慶交通大學(xué) 土木工程學(xué)院，重慶 400074)

無(wú)人機(jī)技術(shù)在地質(zhì)災(zāi)害監(jiān)測(cè)、交通物流等方面的應(yīng)用前景非常廣闊。利用無(wú)人機(jī)拍攝到的圖像通常存在覆蓋范圍小、旋轉(zhuǎn)角度變化大、容易發(fā)生畸變等問(wèn)題，也使無(wú)人機(jī)圖像匹配變得愈加困難，Lowe教授提出的SIFT算子[1]在無(wú)人機(jī)圖像上也不能達(dá)到很好效果。針對(duì)以上問(wèn)題，提出一種匹配精度高、效果好的算法是目前亟需解決的問(wèn)題。

圖像匹配分為兩大類，即基于灰度的圖像匹配和基于特征的圖像匹配。尚明姝等[2]提出了Harris與SIFT算子結(jié)合的快速匹配方法，主要針對(duì)Harris算子進(jìn)行改進(jìn)，再用改進(jìn)的SIFT算法進(jìn)行匹配，提高匹配效率。也有針對(duì)傳統(tǒng)的SURF算法進(jìn)行改進(jìn)，張文卿等[3]提出一種基于Radon變換對(duì)SURF特征的維度降低，以增加圖像配準(zhǔn)的效率。主要是改進(jìn)傳統(tǒng)的SURF描述符計(jì)算方法,達(dá)到對(duì)SURF描述符降維的效果,并將圖像的色彩信息與特征信息融合進(jìn)行圖像粗匹配。產(chǎn)葉林等[4]則是將FAST和SURF結(jié)合，提高匹配的效率。關(guān)于描述符的改進(jìn)，楊順等[5]提出一種基于梯度信息GM和GO融合的新方法,構(gòu)建兩種具有高分辨能力的新描述符。針對(duì)傳統(tǒng)的圖像匹配方法還有ORB算法、KAZE算法、AKAZE算法等[6]。目前有很多人工智能深度學(xué)習(xí)的方法應(yīng)用在圖像匹配中。圖像匹配中的經(jīng)典網(wǎng)絡(luò)包括MatchNet以及對(duì)經(jīng)典網(wǎng)絡(luò)的創(chuàng)新產(chǎn)生的PN-Net、L2-Ne[7]，文獻(xiàn)[8]提出端到端圖像匹配網(wǎng)絡(luò)RF-Net，這些算法均能從一定程度上提高匹配的精度，實(shí)現(xiàn)跨源圖像塊的準(zhǔn)確匹配。2015年提出針對(duì)SAR圖像匹配的SAR-SIFT算法[14]，且該方法能應(yīng)用在無(wú)人機(jī)影像匹配上。該方法匹配的正確率較高，比較穩(wěn)定，但匹配數(shù)量少，故文中提出基于改進(jìn)SAR-SIFT算法的無(wú)人機(jī)圖像匹配方法，利用無(wú)人機(jī)圖像的光譜信息和特征信息進(jìn)行特征點(diǎn)提取，采用SAR-SIFT算法進(jìn)行圖像匹配，設(shè)置描述符的最鄰近距離和次臨近距離的閾值，剔除不滿足要求的特征點(diǎn)后用余弦距離進(jìn)行匹配，最后采用VFC算法進(jìn)行圖像匹配剔錯(cuò)。實(shí)驗(yàn)證明文中算法增加了圖像的匹配對(duì)數(shù)，匹配的準(zhǔn)確率較高。

1 圖像的RGB分量提取

彩色圖像都是由R，G，B三原色組成，R，G，B是圖像的紅、綠、藍(lán)顏色的3個(gè)通道，其他各種彩色均是通過(guò)R，G，B三原色按照不同比例疊加而成。圖像中不同物體對(duì)應(yīng)著不同的R，G，B值，例如植被為綠色，其在G分量上的值會(huì)大于其在R，B分量上的值[9]。所以為充分利用圖像的彩色信息，增加提取特征點(diǎn)數(shù)量，文中采用3個(gè)顏色分量分別對(duì)圖像進(jìn)行特征提取，針對(duì)不同物體都能正確檢測(cè)特征點(diǎn)信息。原圖含有不同顏色的地物，其在3個(gè)分量上表現(xiàn)也是不同的，如圖1所示。

圖1 無(wú)人機(jī)圖像三分量圖

文中通過(guò)對(duì)圖像的B，G，R 3個(gè)分量進(jìn)行提取特征點(diǎn)，然后將所有的特征點(diǎn)集合在一起進(jìn)行匹配，再將有效特征點(diǎn)提取較多的圖像計(jì)算其梯度方向和梯度幅值，增加正確匹配的數(shù)量。這種改進(jìn)方法在SAR-SIFT的基礎(chǔ)上增加正確匹配的數(shù)量。文中算法流程如圖2所示。

圖2 文中算法流程

2 圖像匹配

傳統(tǒng)圖像匹配算法有尺度不變特征變換算法[10](Scale-Invariant Feature Transform，SIFT)，ORB(Oriented Fast and Rotated Brief)算法[11]和加速穩(wěn)健特征(Speeded Up Robust Features,SURF)算法[12]。ORB算法所提取的特征點(diǎn)分布不均勻、存在冗雜，且不具有尺度不變性。SURF算法雖然在時(shí)間上比SIFT算法更加高效，但是較SIFT算法而言，其計(jì)算復(fù)雜度高、配準(zhǔn)精度低。Schwind等證實(shí)SIFT算法也能應(yīng)用在SAR圖像匹配上[13]。在2015年一種適用于SAR圖像的SIFT改進(jìn)算法被提出[14]，其算法原理類似于SIFT算法，將此算法應(yīng)用在無(wú)人機(jī)圖像上也能取得很好的效果。

2.1 圖像初匹配

SIFT算法由Lowe于1999年提出，后來(lái)于2004年進(jìn)行改進(jìn)，以匹配自然圖像中的局部特征。該算法結(jié)合兩個(gè)運(yùn)算符：特征檢測(cè)器和特征描述符。特征檢測(cè)包括選擇興趣點(diǎn)，然后計(jì)算描述符以描述特征。SIFT算子包括關(guān)鍵點(diǎn)檢測(cè)、方向分配、描述符計(jì)算和圖像匹配4個(gè)步驟。在SAR-SIFT算法中仍然遵從這4個(gè)步驟。

1)關(guān)鍵點(diǎn)檢測(cè)。首先通過(guò)像素點(diǎn)的坐標(biāo)(x,y)和尺度σ和方向θ來(lái)選擇和描述關(guān)鍵點(diǎn)。然后選擇符合要求的局部極值點(diǎn)來(lái)定位關(guān)鍵點(diǎn)，把高斯尺度空間中的插值LOG空間中不同尺度下穩(wěn)定性較高的候選點(diǎn)標(biāo)記為關(guān)鍵點(diǎn)，將具有低對(duì)比度或位于邊緣的候選點(diǎn)用DOG值的閾值和Hessian矩陣準(zhǔn)則進(jìn)行過(guò)濾。高斯尺度空間是采用不同尺度的高斯卷積核對(duì)圖像進(jìn)行卷積得到。設(shè)有圖像I(x,y)，圖像大小為m×n，σ為尺度因子。

L(x,y,σ)=G(x,y,σ)*I(x,y).

(1)

其中，G(x,y,σ)表示高斯卷積核。

(2)

在改進(jìn)算法中，采用了新的卷積核計(jì)算方式,

(3)

在進(jìn)行興趣點(diǎn)提取時(shí)，利用多尺度Harris矩陣計(jì)算滿足閾值的點(diǎn)，

依據(jù)SVD原理,將本次所測(cè)得的振動(dòng)信號(hào)進(jìn)行降噪處理.過(guò)濾掉噪聲等干擾信號(hào)后,經(jīng)過(guò)多次調(diào)整和試算,利用SVD的逆運(yùn)算重構(gòu)出振動(dòng)相空間矩陣.該矩陣就是降噪后振動(dòng)信號(hào)的最佳逼近值,如圖7所示.

(4)

R(x,y,σ)=det(C(x,y,σ))+t×tr(C(x,y,σ))2.

(5)

(6)

在新的梯度算法將像元鄰域分為上、下、左和右4個(gè)方向，采用4個(gè)不同的模板對(duì)圖像進(jìn)行卷積，獲得圖像4部分卷積值mup，mdown，mright，mleft。

則其水平、垂直方向梯度表示為：

(7)

(8)

其梯度幅值m(x,y)和梯度角θ(x,y)分別表示為：

(9)

與傳統(tǒng)SIFT方法一致，在文中仍采用直方圖來(lái)統(tǒng)計(jì)像素領(lǐng)域內(nèi)的梯度和方向。并將梯度直方圖的角度分為36個(gè)柱(bins)，每柱10°。最后取直方圖的峰值方向作為關(guān)鍵點(diǎn)的主方向。

在傳統(tǒng)方法中，計(jì)算梯度都是利用彩色圖像的灰度來(lái)計(jì)算。在將彩色圖像轉(zhuǎn)化為灰度圖像時(shí)均是通過(guò)R,G,B 3個(gè)通道的灰度值進(jìn)行加權(quán)平均，得到灰度圖像。其采用的算式為：

GRAY=0.3×R+0.59×G+0.11×B.

(10)

由式(10)可以看出在圖像灰度化的過(guò)程中，將圖像色彩差異明顯的地區(qū)平均化，在后續(xù)計(jì)算像素點(diǎn)梯度時(shí)會(huì)漏掉色彩差異明顯的特征點(diǎn)。如圖3所示，圖3為圖1的部分截圖，其中圖3(a)表示原始彩色圖像，圖3(b)表示原圖像的灰度特征點(diǎn)提取圖像，特征點(diǎn)提取個(gè)數(shù)為29；圖3(c)表示原圖像的B通道的特征點(diǎn)提取圖像，特征點(diǎn)個(gè)數(shù)為62；圖3(d)表示G通道的特征點(diǎn)提取圖像，特征點(diǎn)個(gè)數(shù)為39；圖3(e)表示R通道的特征點(diǎn)提取圖像，特征點(diǎn)個(gè)數(shù)為22，說(shuō)明將圖像灰度化后，大大減少了圖像的明顯特征。藍(lán)色房頂在B通道圖像上的特征點(diǎn)數(shù)量最多，且均勻分布在圖像中物體的邊緣。

圖3 特征點(diǎn)提取

在文中提及的算法中，需將三通道圖像提取的特征點(diǎn)去重后集合在一起，查漏補(bǔ)缺，提高匹配準(zhǔn)確率。在文中去重采用計(jì)算兩特征點(diǎn)距離的方法。若兩個(gè)特征點(diǎn)相同，則其歐式距離為0。將三通道圖像的特征點(diǎn)放在集合P1中，創(chuàng)建新的特征點(diǎn)集合P2，逐一遍歷P1每個(gè)特征點(diǎn)并判斷P2中是否存在該特征點(diǎn)，將P2中不存在的特征點(diǎn)存入P2中，直到遍歷完所有特征點(diǎn)，得到去重后的特征點(diǎn)集合P2。

3)描述符計(jì)算。使用GLOH的圓形鄰域(半徑為12σ)和對(duì)數(shù)極性扇區(qū)，而不是用原始SIFT描述符中那樣使用正方形鄰域和4×4正方形扇區(qū)。傳統(tǒng)SIFT算子描述子采用4×4×8=128維向量表征，在文中采用17個(gè)定位倉(cāng)來(lái)創(chuàng)建特征描述符，將0°～360°梯度方向分8個(gè)間隔分別計(jì)算各個(gè)方向的描述符，如圖4所示。

圖4 GLOH描述符計(jì)算

2.2 VFC算法

VFC(Vector Field Consensus)算法是向量場(chǎng)一致性算法，該算法與隨機(jī)采樣一致性(Random Sample Consensus,RANSAC)算法的作用相同，用于圖像匹配的剔錯(cuò)處理。但是RANSAC算法依賴幾何參數(shù)模型，當(dāng)圖像間的幾何關(guān)系將不滿足任何參數(shù)模型，算法也將不再適用,另外當(dāng)初始特征匹配點(diǎn)對(duì)中包含過(guò)多離群點(diǎn)時(shí)，算法的效率會(huì)急劇下降[15]。而VFC算法能夠解決這些問(wèn)題，并在文獻(xiàn)[16]得到證實(shí)。故文中采用VFC算法進(jìn)行圖像精匹配，該剔錯(cuò)算法的基本思路是將粗匹配過(guò)后的特征點(diǎn)對(duì)應(yīng)關(guān)系轉(zhuǎn)換為圖像運(yùn)動(dòng)場(chǎng)的樣本，再根據(jù)先驗(yàn)概率求出具有強(qiáng)魯棒性的插值算法進(jìn)行轉(zhuǎn)換插值，然后根據(jù)前者轉(zhuǎn)換的樣本數(shù)據(jù)估計(jì)出適合整個(gè)圖像的模型，來(lái)確定匹配對(duì)中特征點(diǎn)精確的對(duì)應(yīng)關(guān)系，其算法大致有如下步驟[16]。

以初始匹配的(xn,yn)為樣本組成樣本點(diǎn)集合S，S中既含有正確匹配的點(diǎn)也含有誤匹配點(diǎn)?；谠摌颖炯琕FC通過(guò)插值計(jì)算，估計(jì)出光滑、魯棒的向量場(chǎng)模型，滿足該模型的點(diǎn)為正確匹配，不滿足該模型的點(diǎn)為錯(cuò)誤匹配。由于正確匹配點(diǎn)的位置誤差在場(chǎng)中呈高斯分布，錯(cuò)誤匹配點(diǎn)的位置誤差在場(chǎng)中呈均勻分布。因此，樣本集滿足如下似然函數(shù)模型:

(11)

式中：X，Y分別是xn，yn的集合；zn∈{0,1}是隱含變量，p(zn=0)=1-γ表示均勻分布；p(zn=1)=γ表示高斯分布；σ為高斯標(biāo)準(zhǔn)差；a為均勻分布常數(shù)；f為向量場(chǎng)模型；δ{f,σ2,γ}表示3個(gè)未知量的集合。

δ*=arg maxδp(δ|X,Y|)=

arg maxδp(Y|X,δ)p(f),

(12)

(13)

3 實(shí)驗(yàn)及分析

文中針對(duì)無(wú)人機(jī)影像匹配的效率研究，實(shí)驗(yàn)環(huán)境為：Intel(R)Core(TM)i7-10750H CPU，2.6 GHz，16G內(nèi)存的筆記本;軟件開發(fā)工具為Window10 64位操作系統(tǒng)，Visual Studio2015、OpenCV3.4編程環(huán)境。

首先對(duì)無(wú)人機(jī)影像進(jìn)行預(yù)處理: 無(wú)人機(jī)影像大小為6 000像素×4 000像素，為節(jié)省匹配時(shí)間和內(nèi)存，重采樣得到800像素×533像素。并分別進(jìn)行與傳統(tǒng)匹配算法的對(duì)比實(shí)驗(yàn)，其中每種匹配算法均用VFC精匹配。實(shí)驗(yàn)中SURF算法的Hessian矩陣閾值為400。SIFT算法的比例閾值為0.04，邊緣閾值為10，高斯尺度空間為1.6。在改進(jìn)的算法中，生成描述子采用的是GLOH模板，其中GLOH網(wǎng)格中間圓半徑和外圓半徑之比為0.73，最內(nèi)層圓半徑和外圓半徑之比0.25，描述子閾值為0.2，領(lǐng)域半徑為12。RatioTest的取值一般為0.6～0.8，在本實(shí)驗(yàn)中采用RatioTest=0.8。

3.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)為遼寧省某地采用飛馬無(wú)人機(jī)拍攝的影像和大疆無(wú)人機(jī)拍攝的重慶某地的影像，文中采用9組目標(biāo)不一致圖像，分別表示植被圖像、道路圖像、建筑圖像和植被與建筑混雜的圖像。實(shí)驗(yàn)的9組原始影像如圖5所示。

圖5 實(shí)驗(yàn)數(shù)據(jù)

3.2 實(shí)驗(yàn)結(jié)果及分析

由于SAR-SIFT在光學(xué)圖像上匹配具有很好的穩(wěn)定性，從圖6中看出其匹配正確率較高。較傳統(tǒng)匹配方法SIFT、SURF而言，SAR-SIFT算法在特征初匹配中的正確率較高，因?yàn)樵谔掊e(cuò)后召回率較高，錯(cuò)誤率較低。相對(duì)傳統(tǒng)算法而言，SAR-SIFT的特征點(diǎn)匹配對(duì)數(shù)量較少，容易導(dǎo)致圖像的配準(zhǔn)和融合效果差，后續(xù)的圖像三維重建工作增加難度。針對(duì)這一缺點(diǎn)，文中提出利用圖像的R，G，B分量提取特征點(diǎn)，充分利用圖像的色彩信息，增加算法的正確匹配對(duì)數(shù)。

從圖6可知，文中方法是在SAR-SIFT上的改進(jìn)算法，相對(duì)于傳統(tǒng)SIFT方法和SURF算法在總體上可以提高圖像的匹配精度。文中方法在保持原來(lái)的匹配精度基礎(chǔ)上增加匹配的數(shù)量，但是匹配時(shí)間相對(duì)較長(zhǎng)，可能是在進(jìn)行圖像通道計(jì)算并進(jìn)行特征點(diǎn)檢測(cè)，并且進(jìn)行特征點(diǎn)去重處理，所以耗費(fèi)時(shí)間較長(zhǎng)。在圖像提取特征點(diǎn)方面，SAR-SIFT比SURF算法、SIFT算法檢測(cè)的相對(duì)較少，文中方法增加特征點(diǎn)提取數(shù)量，經(jīng)過(guò)誤匹配剔除處理之后，匹配正確的數(shù)量也相對(duì)較多。本實(shí)驗(yàn)得到的特征點(diǎn)如表1所示，文中的方法增加特征點(diǎn)數(shù)量。

圖6 匹配結(jié)果

表1 特征點(diǎn)檢測(cè)數(shù)量

無(wú)人機(jī)圖像可能會(huì)受到拍攝光線以及噪聲等影響，導(dǎo)致匹配的效果不佳，如圖7所示。本實(shí)驗(yàn)將采用前3組數(shù)據(jù)從噪聲和光照變化來(lái)分析算法的匹配效果，實(shí)驗(yàn)中的所有變量取值與上面實(shí)驗(yàn)一致，其為原參考圖像與噪聲待匹配、亮度變換后待匹配圖像之間的匹配。匹配結(jié)果如圖8和圖9所示，文中方法較SIFT、SURF算法，在匹配時(shí)間和匹配數(shù)量差不多時(shí)，正確率較高。在匹配時(shí)間相差不大的情況下，增加了匹配數(shù)量。

圖7 改變后圖像

圖8 噪聲圖像匹配結(jié)果

圖9 亮度變化圖像匹配結(jié)果

4 結(jié) 論

文中將SAR圖像匹配方法SAR-SIFT應(yīng)用在無(wú)人機(jī)圖像上，表現(xiàn)出較好效果，較高正確率。但是該算法較傳統(tǒng)算法而言，其匹配對(duì)數(shù)量較少，故將SAR-SIFT算法進(jìn)行改進(jìn)，利用圖像的R,G,B分量增加圖像的正確匹配數(shù)量。實(shí)驗(yàn)結(jié)果表明，改進(jìn)方法在增加正確匹配數(shù)量上有一定進(jìn)展。由于需要計(jì)算圖像的各個(gè)分量并提取其特征點(diǎn)，故該改進(jìn)方法在匹配時(shí)間上比SAR-SIFT算法長(zhǎng)一點(diǎn)。在未來(lái)的工作中，需繼續(xù)改進(jìn)該方法，將匹配時(shí)間縮短，提高匹配效率。