張巖, 李建增, 李德良, 杜玉龍

(軍械工程學(xué)院, 河北 石家莊 050003)

快速魯棒性非線性尺度不變的特征匹配算子

張巖, 李建增, 李德良, 杜玉龍

(軍械工程學(xué)院, 河北 石家莊 050003)

提出了一種快速魯棒性非線性尺度不變的特征匹配算子(speeded up robust nonlinear scale invariant feature,SURNSIF),通過(guò)檢測(cè)子非線性尺度空間的快速求解去除了噪聲,同時(shí)保證了圖像邊緣細(xì)節(jié),并將自適應(yīng)選取尺度空間組數(shù)、adaptive and generic corner detection based on the accelerated segment test(AGAST)與框狀拉普拉斯濾波器去除邊緣響應(yīng)相結(jié)合,兼顧了檢測(cè)的準(zhǔn)確性與實(shí)時(shí)性;描述子交疊帶的構(gòu)建、規(guī)范微分響應(yīng)與非線性尺度空間約束的引入增強(qiáng)了描繪準(zhǔn)確性。通過(guò)與scale invariant feature transform(SIFT)、speeded up robust features(SURF)、KAZE、binary robust invariant scalable keypoints(BRISK)、AGAST以及快速海森(fast-Hessian)的實(shí)驗(yàn)對(duì)比,SURNSIF的5種變換魯棒性均較強(qiáng),同時(shí)速度也更快,綜合性能較KAZE提高約10.87%,速度提高約47%。

特征匹配;SURNSIF;KAZE;AGAST

圖像匹配是將不同時(shí)間、不同視角、相同或不同傳感器獲取的同一地區(qū)的2幅或多幅影像進(jìn)行空間上對(duì)準(zhǔn)的過(guò)程。其主要解決視點(diǎn)、模糊、照度、JPEG壓縮,尺度以及旋轉(zhuǎn)變換問(wèn)題[1],總體分為基于特征與基于灰度兩大類[2]。在利用像素方面,特征匹配比基于灰度信息減少了運(yùn)算點(diǎn)數(shù)目,從而大大減少了匹配的計(jì)算量;同時(shí)特征匹配對(duì)位置比較敏感,從而提高了匹配精度;在特征提取過(guò)程中,該類方法減弱了噪聲、照度、圖像變形及遮擋的影響,并且同名點(diǎn)坐標(biāo)可以直接估計(jì)圖像之間的空間變換關(guān)系。由于以上的優(yōu)勢(shì),該類算法近些年來(lái)被廣泛使用與研究[3]。

Lowe于1999年提出了經(jīng)典的scale invariant feature transform(SIFT)[4]算法,并于2004年對(duì)該算法進(jìn)行了進(jìn)一步完善。該算法在高斯差分尺度空間(difference of Gaussians,DoG)內(nèi)檢測(cè)極值點(diǎn),并剔除對(duì)比度低的點(diǎn)及邊緣響應(yīng),同時(shí)建立梯度方向分布直方圖,生成128維描述符。該算法具有尺度與旋轉(zhuǎn)不變性,同時(shí)對(duì)視點(diǎn)、模糊、照度與JPEG壓縮等變換魯棒性強(qiáng),但實(shí)時(shí)性不高。2006年,Bay等人改進(jìn)了SIFT,提出了speeded up robust features(SURF)算法[5]。該算法使用不同尺寸快速海森矩陣檢測(cè)關(guān)鍵點(diǎn),同時(shí)利用小波響應(yīng)生成64維描述符,使得檢測(cè)與描述速度大幅提升,但對(duì)模糊、照度與JPEG壓縮等變換敏感。2011年,Leutenegger改良了binary robust independent elementary features(BRIEF)算法[6],提出了binary robust invariant scalable keypoints(BRISK)算法[7]。該算法在近似尺度空間中利用adaptive and generic corner detection based on the accelerated segment test(AGAST)檢測(cè)特征點(diǎn)[8],同時(shí)利用長(zhǎng)距離迭代法為特征點(diǎn)賦予方向,并在關(guān)鍵點(diǎn)周圍利用固定的采樣模式生成二進(jìn)制描述符。該算法不僅具有視點(diǎn)、模糊、照度、JPEG壓縮、旋轉(zhuǎn)與尺度等不變性,而且完全滿足實(shí)時(shí)性要求,但與SIFT、SURF等算法相比,各方面魯棒性較弱。2011年,Alahi等人提出一種基于人眼視網(wǎng)膜的fast retina keypoint(FREAK)描述子[9]。其本質(zhì)也是二進(jìn)制描述符,利用掃視匹配搜索,比BRISK描述符的各種變換魯棒性均有提高,而且速度完全滿足實(shí)時(shí)需求,但各方面魯棒性還是較弱。Pablo等人于2012年提出一種非線性特征檢測(cè)的KAZE算法[10]。傳統(tǒng)基于線性高斯金字塔進(jìn)行多尺度檢測(cè)的算法都是以犧牲局部精度為代價(jià),來(lái)提取特征點(diǎn)同時(shí)消除噪聲,這容易造成邊界模糊和細(xì)節(jié)丟失,使匹配穩(wěn)定性差與誤匹配點(diǎn)多,非線性尺度分解有望解決此類問(wèn)題[11]。KAZE的描述子與檢測(cè)子都是基于SURF而改進(jìn)設(shè)計(jì)的,采用任意步長(zhǎng)來(lái)構(gòu)造穩(wěn)定的非線性尺度空間,同時(shí)考慮了子區(qū)域交疊帶,使得對(duì)于各種變換比SIFT更為穩(wěn)健,但速度大幅下降。2013年,Pablo等人又提出一種快速的accelerated-KAZE算法[12]。該算法利用fast explicit diffusion(FED)數(shù)學(xué)框架,動(dòng)態(tài)加速了非線性尺度空間的計(jì)算,同時(shí)提出一種二進(jìn)制描述符modified-local difference binary(M-LDB),使得算法的速度大大提高,但描述子各方面魯棒性弱于KAZE描述子。

傳統(tǒng)特征匹配算子存在問(wèn)題有:高斯尺度空間無(wú)法同時(shí)消除噪聲并保持圖像細(xì)節(jié);DoG或快速海森矩陣等的檢測(cè)速度無(wú)法滿足實(shí)時(shí)性需求;尺度空間組數(shù)與層數(shù)的選取無(wú)法滿足不同圖像處理;去除邊緣響應(yīng)的算法實(shí)時(shí)性不高;網(wǎng)格性描述子過(guò)分分割了空間,打破了圖像的連續(xù)性;基于小波響應(yīng)的描繪力較弱,同時(shí)并未考慮景深問(wèn)題。所以欲改良傳統(tǒng)特征匹配算子的魯棒性與實(shí)時(shí)性問(wèn)題,其重點(diǎn)是解決尺度空間的構(gòu)建、檢測(cè)算子的選用、去除邊緣響應(yīng)算法速度的提高、交疊描述、描述響應(yīng)的選用與景深描述的問(wèn)題。

1 算子概述

本文提出了一種快速魯棒性非線性尺度不變的特征匹配算子(speeded up robust nonlinear scale invariant feature,SURNSIF),該算子包含檢測(cè)子和描述子兩部分,其構(gòu)成如圖1所示。

圖1 SURNSIF算子示意圖

1) 自適應(yīng)選取尺度空間組數(shù)來(lái)滿足不同圖像的檢測(cè)。

2) 快速求解非線性尺度空間以去除噪聲,同時(shí)保證邊緣。

3) 引入AGAST來(lái)提高檢測(cè)的速度與魯棒性。

4) 引入框狀拉普拉斯濾波器以提高邊緣響應(yīng)去除的速度與準(zhǔn)確性。

5) 構(gòu)建網(wǎng)格交疊帶來(lái)增強(qiáng)描繪的準(zhǔn)確性。

6) 引入規(guī)范微分響應(yīng)與鄰域響應(yīng)加權(quán)求和以改善對(duì)于模糊、照度以及旋轉(zhuǎn)變換魯棒性。

7) 增加尺度空間位置約束來(lái)增強(qiáng)反映特征點(diǎn)在圖像中的灰度關(guān)系以及景深關(guān)系。

2 SURNSIF特征檢測(cè)子

2.1 非線性尺度空間建模

非線性擴(kuò)散濾波方法可以通過(guò)非線性偏微分方程來(lái)描述：

(1)

c(x,y,t)=

(2)

所選擇的c函數(shù)能夠有效保留邊界信息同時(shí)平滑區(qū)域內(nèi)部。對(duì)比度因子k能控制擴(kuò)散程度,邊緣信息保留量與其負(fù)相關(guān),經(jīng)過(guò)大量實(shí)驗(yàn),其值取為圖像的梯度直方圖70%百分位上的值。

2.2 自適應(yīng)選取尺度空間組數(shù)

為了提高對(duì)不同圖像檢測(cè)的準(zhǔn)確度與效率,本文提出了適應(yīng)選取尺度空間組數(shù)的方法,其原理如下:

構(gòu)造尺度級(jí)別按對(duì)數(shù)遞增的尺度空間,尺度參數(shù)σi如(3)式所示

σi(o,s)=σ02o+s/So=0,1,…,O-1,

s=0,1,…,S-1 i=0,1,…,N

(3)

式中,o表示組,s表示層,σ0表示尺度參數(shù)的初始值,O為總組數(shù),S為總層數(shù)。N=O×S為尺度空間包含的圖像總數(shù)。

過(guò)大的O與S會(huì)導(dǎo)致構(gòu)造線性尺度空間耗時(shí)較長(zhǎng),過(guò)少的O與S會(huì)導(dǎo)致匹配率下降。經(jīng)過(guò)大量實(shí)驗(yàn),將S定為經(jīng)驗(yàn)值4,然后根據(jù)圖像尺寸來(lái)自適應(yīng)選取O,公式如下

(4)

式中,c與r分別表示圖像的行數(shù)與列數(shù),[]表示取整(四舍五入)。

2.3 非線性尺度空間的快速求解

傳統(tǒng)正向歐拉法求解非線性擴(kuò)散方程時(shí),由于迭代步長(zhǎng)太短導(dǎo)致計(jì)算復(fù)雜。針對(duì)上述問(wèn)題,本文擬采用FED算法[12]求解非線性擴(kuò)散方程,此方法可以采用任意步長(zhǎng)來(lái)構(gòu)造穩(wěn)定的非線性尺度空間,并且運(yùn)算快捷。FED算法是通過(guò)因數(shù)分解盒子濾波器進(jìn)行動(dòng)態(tài)循環(huán)加速,而達(dá)到快速求解非線性系統(tǒng)的目的,其原理如下:

根據(jù)尺度參數(shù)σi按(5)式求出進(jìn)化時(shí)間:

(5)

然后從因數(shù)分解盒子濾波器得到不同步長(zhǎng)τi來(lái)執(zhí)行顯式擴(kuò)散步驟,τi按(6)式求得,(7)式為該非線性偏微分方程的解:

Li+1,j+1=(I+τjAl(Li))Li+1,jj=0,…,n-1

(7)

式中,I表示單位矩陣,Al為傳導(dǎo)運(yùn)算符,n表示顯性擴(kuò)散步數(shù),τi表示對(duì)應(yīng)步長(zhǎng),τmax表示滿足條件的最大步長(zhǎng)。

構(gòu)建非線性尺度空間的流程為:首先對(duì)輸入圖像進(jìn)行高斯濾波,然后為得到對(duì)比度參數(shù)k求出梯度直方圖,最后由一組進(jìn)化時(shí)間求解隱式差分方程即可得到非線性尺度空間的所有圖像。圖2為高斯與非線性尺度空間效果對(duì)比。

圖2 尺度空間對(duì)比圖

2.4 AGAST算子檢測(cè)

AGAST改進(jìn)了features from accelerated segment test(FAST)算法[13],進(jìn)一步提高了檢測(cè)效率,與KAZE的海森矩陣檢測(cè)法相對(duì)比,該算法大大提高了速度,同時(shí)保證了效果[8]。其本質(zhì)是有足夠多的像素點(diǎn),其灰度值小于或大于周圍鄰域內(nèi)待檢測(cè)點(diǎn),則該點(diǎn)被認(rèn)定為特征點(diǎn)。模板是以待檢測(cè)點(diǎn)為圓心,半徑為3個(gè)像素的Bresenham圓。經(jīng)Rosten測(cè)試,閾值定為9的檢測(cè)穩(wěn)定性與速度綜合性能最優(yōu),此閾值可以很快排除偽角點(diǎn)。

然后將AGAST9-16(圓周上共有16個(gè)像素,閾值為9)算子應(yīng)用于非線性尺度空間每一層,并記錄下候選點(diǎn)所在非線性尺度空間位置(o與s),求出候選點(diǎn)及其AGAST分?jǐn)?shù)V。

2.5 邊緣響應(yīng)的去除

比較候選點(diǎn)與相鄰的上下尺度層中的9×2個(gè)點(diǎn)以及同尺度的8個(gè)相鄰點(diǎn)的AGAST分?jǐn)?shù)V,若所有相鄰點(diǎn)的分?jǐn)?shù)均小于該點(diǎn),則保留該點(diǎn)。這種方法檢查效率極高,因?yàn)榇蟛糠趾蜻x點(diǎn)在開(kāi)始幾次檢測(cè)中就被剔除了。

經(jīng)過(guò)上述步驟,不穩(wěn)定點(diǎn)和局部極值點(diǎn)均已排除,但仍存在一些邊緣點(diǎn),這對(duì)特征點(diǎn)的選取影響極大。本文選用拉普拉斯剔除法來(lái)去除邊緣響應(yīng),通過(guò)對(duì)應(yīng)尺度的5×5框狀拉普拉斯濾波器對(duì)候選點(diǎn)進(jìn)行處理,如果鄰域內(nèi)各像素點(diǎn)灰度的拉普拉斯值不為0,則保留該點(diǎn)。這種方法比SIFT計(jì)算海森矩陣的跡與行列式[4]更快,且準(zhǔn)確度更高。

然后經(jīng)過(guò)亞像素級(jí)矯正[15]步驟完成特征點(diǎn)的定位。最后為使特征點(diǎn)檢測(cè)子具有旋轉(zhuǎn)不變性,通過(guò)規(guī)范微分響應(yīng)[16]按扇形環(huán)繞的方法[5]賦予每一個(gè)特征點(diǎn)方向特征。

3 SURNSIF特征描述子

3.1 構(gòu)造網(wǎng)格描述子交疊帶

近年來(lái),描述子的構(gòu)建方式主要有2種:網(wǎng)格式與二進(jìn)制式,二者各有優(yōu)缺點(diǎn),網(wǎng)格式更準(zhǔn)確,二值式更快捷。由于本實(shí)驗(yàn)更注重準(zhǔn)確性,所以采取網(wǎng)格的方式構(gòu)建描述子,SIFT、SURF等網(wǎng)格式描述子的描繪方式會(huì)包含更加豐富的信息,因此網(wǎng)格描述子比二進(jìn)制描繪器具有更強(qiáng)的獨(dú)特性[15,17-18]。

網(wǎng)格描述子容易過(guò)分分割了空間,打破圖像的連續(xù)性。為解決此問(wèn)題,可在選用網(wǎng)格描述子的同時(shí),構(gòu)建描述子交疊帶。即以特征點(diǎn)為中心,以24S(S為該特征點(diǎn)對(duì)應(yīng)的尺度)為邊長(zhǎng),確定一個(gè)正方形鄰域,如圖3所示。

圖3 構(gòu)建描述子向量示意圖

將該正方形區(qū)域分成16個(gè)子正方形區(qū)域(橫縱各4個(gè)),大小為9S×9S,子正方形區(qū)域相鄰有寬度為2S的交疊帶,這樣的設(shè)計(jì)會(huì)使交疊帶被充分考慮,減小網(wǎng)格描述子分割空間影響,模板描繪更加準(zhǔn)確。

3.2 規(guī)范微分響應(yīng)描述

為改善描述子的魯棒性,引入規(guī)范坐標(biāo)系下的微分響應(yīng)Lww與Lvv[16],規(guī)范微分響應(yīng)是計(jì)算機(jī)視覺(jué)中十分重要的工具,在尺度變換下能夠保持極好的旋轉(zhuǎn)不變性;在不同尺度下,Lww能夠測(cè)量模糊變換的相關(guān)信息,同時(shí)Lvv具有良好的邊緣響應(yīng),所以規(guī)范微分響應(yīng)對(duì)模糊具有較強(qiáng)的魯棒性,它與小波響應(yīng)的關(guān)系如(8)式所示。在每一個(gè)子塊區(qū)域中用模板尺寸為2S的Haar小波濾波器進(jìn)行處理,得到相對(duì)于特征點(diǎn)方向的水平與豎直方向小波響應(yīng)dx與dy,以及二階小波響應(yīng)dxx、dxy與dyy,從而求得規(guī)范微分響應(yīng)Lww與Lvv。

(8)

3.3 鄰域響應(yīng)加權(quán)求和

對(duì)規(guī)范微分響應(yīng)Lww、Lvv、|Lww|與|Lvv|求和,得到一個(gè)4維向量V(∑Lww,∑Lvv,∑|Lww|,∑|Lvv|)。將Lww、|Lww|分為L(zhǎng)vv<0,Lvv≥0 2種情況求和,相應(yīng)的在對(duì)Lvv、|Lvv|求和時(shí)分成Lww<0,Lww≥0 2種情況,把4×4個(gè)子塊區(qū)域的向量連起來(lái)就得到了4×4×4×2=128維的描述向量。雖然規(guī)范微分響應(yīng)具有照度不變性,但考慮尺度影響,所以將描述向量歸一化成單位向量,使描述子具有照度不變性。

由于規(guī)范微分響應(yīng)本質(zhì)上是加權(quán)的Lww梯度函數(shù),權(quán)重與圖像結(jié)構(gòu)密切相關(guān),所以不需要進(jìn)行高斯加權(quán)處理,這便減少了高斯加權(quán)運(yùn)算的代價(jià),提高了運(yùn)行速度。規(guī)范坐標(biāo)系具有旋轉(zhuǎn)不變性,因此只需旋轉(zhuǎn)網(wǎng)格即可保證描述子的旋轉(zhuǎn)不變性。

3.4 增加尺度空間位置約束

4 實(shí)驗(yàn)驗(yàn)證

4.1 實(shí)驗(yàn)設(shè)置

1) 實(shí)驗(yàn)平臺(tái)參數(shù)

筆記本計(jì)算機(jī)配置:處理器為Intel酷睿雙核i7第4代,主頻為2.5GHz。操作系統(tǒng)為Win10 64位系統(tǒng),編程環(huán)境為Visual Studio 2010 與OpenCV 2.41(KAZE與AGAST是由OpenCV 3.10中提取加載的)。

2) 數(shù)據(jù)集

為體現(xiàn)檢測(cè)子所產(chǎn)生的不同效果,同時(shí)保證實(shí)驗(yàn)的客觀性,本實(shí)驗(yàn)采用Mikolajczyk 05標(biāo)準(zhǔn)測(cè)試圖集[19](http:∥www.robots.ox.ac.uk/～vgg/research/affine/),如圖4所示,該數(shù)據(jù)集分為8個(gè)數(shù)據(jù)子集(含圖像間的單應(yīng)矩陣),包括5種變換:視點(diǎn)變換、模糊變換、照度變換、JPEG壓縮,以及尺度變換和旋轉(zhuǎn)變換。

3) 實(shí)驗(yàn)對(duì)象及OpenCV相關(guān)參數(shù)設(shè)置

對(duì)比近年來(lái)較有特點(diǎn)的檢測(cè)子與描述子:

SIFT: 檢測(cè)子:組數(shù):4,層數(shù):4,對(duì)比閾值:0.04,邊緣閾值:10,σ=1.6。

描述子:128維。

SURF: 檢測(cè)子:fast-Hessain:0.6,組數(shù):4,層數(shù):4,主方向不固定。

描述子:64維。

KAZE: 檢測(cè)子:組數(shù):4,層數(shù):4,擴(kuò)散系數(shù):G2,閾值:0.001,主方向不固定。

描述子:64維M-SURF與128維M-SURF。

BRISK: 檢測(cè)子:閾值:30,組數(shù):4。

描述子:512bit的二進(jìn)制串,格局規(guī)模:1。

AGAST檢測(cè)子: 灰度閾值:30,進(jìn)行非極大值抑制,模板:9-16。

fast-Hessian檢測(cè)子:閾值:600。

圖4 測(cè)試所用圖片集

4) 實(shí)驗(yàn)過(guò)程和評(píng)估準(zhǔn)則

通過(guò)測(cè)定檢測(cè)子的復(fù)現(xiàn)率[19](區(qū)域重疊錯(cuò)誤率低于40%)、描述子的查全率(recall)和錯(cuò)誤率(1-precision)[20](SURF檢測(cè)子(hessianthreshold:600)與基于歐氏距離的暴力匹配中的半徑匹配方式)、運(yùn)行時(shí)間以及遙感影像間的正確匹配率[21]來(lái)評(píng)判配準(zhǔn)算法性能。

4.2 實(shí)驗(yàn)結(jié)果與分析

4.2.1 SURNSIF檢測(cè)子的性能

如圖5所示,衡量SURNSIF檢測(cè)子的實(shí)驗(yàn)結(jié)果分析如下:

1) KAZE與fast-Hessian的對(duì)比說(shuō)明,非線性濾波器構(gòu)建尺度空間對(duì)檢測(cè)響應(yīng)在視點(diǎn)、尺度與模糊變換的特征檢測(cè)性能有大幅度提升。

2) KAZE與SURF的檢測(cè)結(jié)構(gòu)相似,且確定特征點(diǎn)主方向的方法相同,僅尺度空間的構(gòu)建不同,所以二者對(duì)比說(shuō)明,各種變換非線性尺度空間較線性尺度空間魯棒性均有明顯提升。1)與2)也正是將非線性濾波器引入SURNSIF的重要原因。

3) AGAST與fast-Hessian的對(duì)比說(shuō)明,AGAST在照度、模糊、視點(diǎn)與JPEG壓縮變換方面的魯棒性都有較大提升,這是將AGAST引入SURNSIF的重要原因。

4) 雖然BRISK中有關(guān)尺度空間的構(gòu)建和方向的確定等都是近似估計(jì)的運(yùn)算,5種變換魯棒性最弱,但尺度與視點(diǎn)變換較AGAST均有提升,驗(yàn)證了將AGAST引入尺度空間檢測(cè)的合理性。

5) SURF與SIFT的旋轉(zhuǎn)變換的對(duì)比說(shuō)明,小波扇形環(huán)繞特征方向確定法要優(yōu)于梯度直方圖統(tǒng)計(jì)法,所以SURNSIF使用小波扇形環(huán)繞法確定特征方向。

6) 由于SURNSIF非線性尺度空間構(gòu)建與AGAST配合時(shí)性能比較優(yōu)良,同時(shí)通過(guò)框狀拉普拉斯濾波器去除了邊緣響應(yīng),所以照度、模糊、視點(diǎn)與JPEG壓縮變換的魯棒性最高。

7) 由于SURNSIF自適應(yīng)選取非線性尺度空間組數(shù),所以尺度變換的魯棒性最高。

8) 由于SURNSIF與KAZE確定主方向方法一致,但規(guī)范微分響應(yīng)在尺度變換下比小波響應(yīng)更能保持較好的旋轉(zhuǎn)不變性,所以SURNSIF的旋轉(zhuǎn)變換魯棒性更高。

圖5 不同變換條件下的復(fù)現(xiàn)率比較

綜上所述,SURNSIF檢測(cè)子在視點(diǎn)、模糊、照度、JPEG壓縮、旋轉(zhuǎn)與尺度的變換下,均具有良好的魯棒性,綜合性能較KAZE提高約5.76%。

4.2.2 SURNSIF描述子的性能

如圖6所示,對(duì)每個(gè)數(shù)據(jù)子集中的第1與第4張圖像進(jìn)行測(cè)試(曲線采樣點(diǎn)數(shù)為1 000),衡量SURNSIF描述子的實(shí)驗(yàn)結(jié)果分析如下:

1) SURF與BRISK的比較說(shuō)明,二進(jìn)制特征描繪器的描繪力較弱,這是因?yàn)橥徊蓸狱c(diǎn)參與多次比較導(dǎo)致二進(jìn)制描述子的部分因信息相關(guān)而冗余,所以BRISK描述子5種變換魯棒性不強(qiáng),特別是旋轉(zhuǎn)變換魯棒性較弱。

2) SURF與SIFT的比較說(shuō)明,在尺度、旋轉(zhuǎn)、視點(diǎn)和JPEG壓縮變換下,采用小波特征進(jìn)行描述操作的魯棒性較梯度累積均有提升,但在模糊與照度變換下,歸一化后小波響應(yīng)對(duì)圖像灰度的描繪力不如梯度累積響應(yīng)強(qiáng)。在小波基礎(chǔ)上推導(dǎo)的規(guī)范微分響應(yīng),比小波響應(yīng)更適合構(gòu)建描述子,僅響應(yīng)不同其余結(jié)構(gòu)相同的G-SURF描述子,較SURF描述子各魯棒性均有提升,特別是對(duì)于模糊變換以及大尺度變換下的旋轉(zhuǎn)變換[18]。

3) KAZE-64與SURF描述子結(jié)構(gòu)相似,相鄰子區(qū)域交疊的構(gòu)建不同,所以二者對(duì)比說(shuō)明了相鄰子區(qū)域的交疊會(huì)使描述具有連續(xù)性,5種變換魯棒性均明顯提升。

4) KAZE-128與KAZE-64的比較說(shuō)明了128維M-SURF描述子較64維M-SURF描述子各魯棒性均有提升。

以上4點(diǎn)正是SURNSIF采用網(wǎng)格式描述子與規(guī)范微分響應(yīng)、引入交疊帶以及使用128+2維描述結(jié)構(gòu)的重要原因。

5) SURNSIF與KAZE-128在尺度與視點(diǎn)變換的對(duì)比說(shuō)明,利用尺度空間組與層的對(duì)應(yīng)關(guān)系對(duì)特征點(diǎn)匹配進(jìn)行約束以及利用尺度歸一化為尺度金子塔定向,可以使約束更為準(zhǔn)確,所以提升了尺度與視點(diǎn)變換的魯棒性。

6) 在照度、模糊與旋轉(zhuǎn)變換方面,SURNSIF與KAZE-128描述結(jié)構(gòu)基本相同,但描述響應(yīng)不同,因而對(duì)于以上3種變換,規(guī)范微分響應(yīng)比小波響應(yīng)魯棒性更強(qiáng),證明了SURNSIF引入規(guī)范微分響應(yīng)的合理性。

7) 規(guī)范微分響應(yīng)對(duì)小波響應(yīng)JPEG壓縮的改善較小,所以SURNSIF與KAZE的JPEG壓縮變換魯棒性幾乎一致。

綜上所述,SURNSIF描述子無(wú)論在視點(diǎn)、模糊、照度還是尺度變換的情況下,均具有強(qiáng)魯棒性,綜合性能較KAZE-128提高約4.84%。

4.2.3 時(shí)間測(cè)試

這一節(jié)將對(duì)特征檢測(cè)子與描述子的運(yùn)行時(shí)間進(jìn)行測(cè)試分析。利用SIFT、SURF、KAZE、BRISK、AGAST、fast-Hessian與SURNSIF算法,分別對(duì)Graf圖像序列中的第1、2張圖像(圖像大小:800×640 像素)進(jìn)行實(shí)驗(yàn)(次數(shù)超過(guò)100次),取均值后對(duì)比分析SURNSIF的速度特點(diǎn)與優(yōu)勢(shì)。

表1 算法耗時(shí)比較

表1展現(xiàn)了SURNSIF的速度優(yōu)勢(shì):

1) 檢測(cè)子方面:因?yàn)镾URNSIF中引入FED算法加速了尺度空間的構(gòu)建、引入AGAST與框狀拉普拉斯濾波器加速了特征點(diǎn)的檢測(cè),所以執(zhí)行速度大大領(lǐng)先于KAZE與SIFT,但非線性尺度空間構(gòu)建與定向的計(jì)算量遠(yuǎn)大于SURF的不同尺寸框狀濾波器的計(jì)算量,所以平均每點(diǎn)速度遠(yuǎn)低于SURF,與BRISK接近。尺度空間的簡(jiǎn)化與AGAST的引入共同形成了BRISK的速度優(yōu)勢(shì),說(shuō)明了AGAST用于提高檢測(cè)速度的合理性。

2) 描述子方面:SURNSIF的描述子構(gòu)建思想與SURF類似,但為了提高描繪力,求取規(guī)范微分響應(yīng)、構(gòu)建相鄰子區(qū)域交疊帶與引入尺度空間約束增加了計(jì)算量,所以速度約為SURF的60%。通過(guò)KAZE(64)與KAZE(128)的對(duì)比可以發(fā)現(xiàn),128維與64維描述子的構(gòu)建時(shí)間相差不多,但匹配時(shí)間超出74%。由于KAZE(128)沒(méi)有求取規(guī)范微分響應(yīng)或引入尺度空間約束,所以速度稍領(lǐng)先于130維的SURNSIF。由于SIFT的描述方式為梯度方向累加,所以耗時(shí)最長(zhǎng),SURNSIF較SIFT平均每點(diǎn)速度提高約33%。BRISK速度最快,是因?yàn)樗拿枋鲎咏Y(jié)構(gòu)為512bit的二進(jìn)制串,可以按位異或匹配,所以匹配速度也隨之變快,但由上節(jié)描述子對(duì)比結(jié)果可知二進(jìn)制特征描繪器的描繪力較弱,不適合非同源遙感圖像的處理。

綜上所述,SURNSIF平均每點(diǎn)的檢測(cè)描述總速度較KAZE提高47%,較SIFT提高40%,約為SURF的35%,BRISK的33%,并且是OpenCV在實(shí)現(xiàn)方面對(duì)SIFT、SURF、KAZE、BRISK進(jìn)行優(yōu)化加速的結(jié)果。隨著基于OpenMP與OpenCL的并行實(shí)現(xiàn)、代碼優(yōu)化與GPU的硬件加速,SURNSIF速度將進(jìn)一步提高。

4.2.4 基于SURNSIF的遙感影像匹配測(cè)試

基于SURNSIF進(jìn)行遙感影像的匹配測(cè)試,同時(shí)也為SURNSIF的工程實(shí)踐提供一種思路。匹配算法流程如圖7所示。

圖7 算法示意圖

首先利用灰度均勻化減弱光照影響,其次進(jìn)行特征檢測(cè)與描述,再次利用暴力匹配方法與雙向匹配結(jié)合的匹配方法提高搜索效率,最后利用progressive sample consensus(PROSAC)[22]去除外點(diǎn)完成匹配。

本實(shí)驗(yàn)利用六旋翼無(wú)人機(jī)作為實(shí)驗(yàn)平臺(tái)對(duì)河北省石家莊市行唐縣地區(qū)進(jìn)行了實(shí)驗(yàn),同時(shí)與SIFT、SURF、KAZE以及BRISK算子進(jìn)行了對(duì)比。實(shí)驗(yàn)主要技術(shù)參數(shù)如表2所示,航攝影像、谷歌衛(wèi)星影像拍攝時(shí)間約相差6個(gè)月,圖像分辨率約相差30%,光照條件相差極大,部分影像旋轉(zhuǎn)角度超過(guò)180°,視點(diǎn)變化較大、均有運(yùn)動(dòng)模糊、噪聲影響,對(duì)其中4條航帶進(jìn)行實(shí)驗(yàn)。

表2 實(shí)驗(yàn)影像主要技術(shù)參數(shù)

圖8 配準(zhǔn)結(jié)果

如圖8所示,彩線為同名點(diǎn)連線,黑框?yàn)楹綌z影像透視變換結(jié)果,將40組匹配實(shí)驗(yàn)結(jié)果分析如下:

1) 由于簡(jiǎn)化近似的檢測(cè)結(jié)構(gòu)與二進(jìn)制描述結(jié)構(gòu),BRISK并不適用于此類照度與模糊程度,特別是旋轉(zhuǎn)角度相差較大的非同源遙感圖像匹配,其平均正確匹配率較低,為13.55%,但速度極快。

2) KAZE的平均正確匹配率最高,為49.17%,且較為穩(wěn)定,特別是針對(duì)視點(diǎn)、旋轉(zhuǎn)與尺度變換部分表現(xiàn)出較好的魯棒性,這得益于非線性尺度空間的構(gòu)建與交疊帶的設(shè)計(jì),但實(shí)時(shí)性不高。

3) SIFT的平均正確匹配率為25.35%,雖然整體上稍遜色于KAZE與SURF,但在照度與模糊變化大時(shí),表現(xiàn)了較好的旋轉(zhuǎn)魯棒性,這得益于去除邊緣響應(yīng)與梯度直方圖統(tǒng)計(jì)法的照度魯棒性高,但同樣實(shí)時(shí)性不高。

4) SURF可適用于非同源遙感圖像的匹配,平均正確匹配率介于SIFT和KAZE之間,為26.13%,且速度大幅度提升,完全滿足實(shí)時(shí)性的需求,但對(duì)于模糊與照度變換較為敏感。

5) SURNSIF的平均正確匹配率為56.13%,且穩(wěn)定性與速度均高于KAZE,這是因?yàn)镾URNSIF構(gòu)建了非線性尺度空間,然后用AGAST進(jìn)行檢測(cè),最后通過(guò)框狀拉普拉斯濾波器剔除了邊緣響應(yīng),增強(qiáng)了尺度、模糊與視點(diǎn)變換魯棒性,并且考慮了相鄰子區(qū)域的交疊問(wèn)題,使得描述具有連續(xù)性,還引入了規(guī)范微分響應(yīng),增強(qiáng)了模糊與旋轉(zhuǎn)變換魯棒性,同時(shí)進(jìn)行了歸一化尺度空間位置約束,增強(qiáng)了尺度與視點(diǎn)變換魯棒性,所以匹配效果較好,且速度較快。

SURNSIF在圖像及視頻檢索、目標(biāo)識(shí)別、紋理識(shí)別、數(shù)據(jù)挖掘、飛行器導(dǎo)航和寬基線匹配等多個(gè)領(lǐng)域,具有廣闊的應(yīng)用前景。同時(shí),SURNSIF在實(shí)時(shí)性要求較高的應(yīng)用領(lǐng)域具有巨大潛力。

5 結(jié) 論

本文提出一種SURNSIF算子,并通過(guò)實(shí)驗(yàn)驗(yàn)證了算子的可行性與優(yōu)勢(shì),主要做了如下工作:

1) 針對(duì)目前特征匹配算子魯棒性與實(shí)時(shí)性問(wèn)題,分析了該問(wèn)題解決的核心所在,理清了特征匹配算子的研究思路。

2) 通過(guò)綜合分析里程碑式的特征匹配算子發(fā)展歷程與優(yōu)缺點(diǎn),根據(jù)存在的實(shí)際問(wèn)題,提出了SURNSIF算子。并對(duì)其檢測(cè)子與描述子的設(shè)計(jì)進(jìn)行了詳盡的理論分析與實(shí)驗(yàn)驗(yàn)證,通過(guò)與當(dāng)前使用廣泛的SIFT、SURF、KAZE、BRISK、AGAST與fast-Hessian算子對(duì)比,定量表現(xiàn)了本算法在解決特征匹配5種變換及速度等問(wèn)題上存在很大優(yōu)勢(shì)。

3) 本實(shí)驗(yàn)通過(guò)六旋翼無(wú)人機(jī)為平臺(tái)對(duì)河北省石家莊市行唐縣地區(qū)進(jìn)行了實(shí)驗(yàn)與分析,實(shí)驗(yàn)結(jié)果有效證明了本方法的特點(diǎn)與優(yōu)勢(shì),為工程實(shí)踐提供了指導(dǎo)幫助,同時(shí)也指明了本算法的發(fā)展前景。

本算子未來(lái)的改進(jìn):SURNSIF檢測(cè)子交疊帶設(shè)計(jì)與景深關(guān)系推導(dǎo)還可以進(jìn)一步研究,算法可以進(jìn)行并行設(shè)計(jì)與增加GPU硬件加速來(lái)提高運(yùn)行效率。

[1] 樊曼曼. 多源衛(wèi)星遙感影像配準(zhǔn)技術(shù)研究[D]. 秦皇島：燕山大學(xué), 2011 Fan Manman. Resarch of Multi-Source Image Matching Technology[D]. Qinhuangdao, Yanshan University, 2011 (in Chinese)

[2] 宋芳, 李勇, 陳勇. 多源遙感圖像中的圖像配準(zhǔn)方法[J]. 激光雜志, 2008, 29(3): 26-27 Song Fang, Li Yong, Chen Yong. Match Methods for Multisensor Remote Sensing Image Registration[J]. Laser Journal, 2008, 29(3): 26-27 (in Chinese)

[3] 廖斌. 基于特征點(diǎn)的圖像配準(zhǔn)技術(shù)研究[D]. 長(zhǎng)沙: 國(guó)防科學(xué)技術(shù)大學(xué), 2008 Liao Bin. Feature Aided Target Maneuver Detection Technology[D]. Changsha, National University of Defense Technology, 2008 (in Chinese)

[4] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[5] Bay H, Tuytelaars T, Van Gool L. SURF: Speeded Up Robust Features[C]∥Proceedings of 9th European Conference on Computer Vision. Graz, Austria: Springer Berlin Heidelberg, 2006: 404-417

[6] Calonder M, Lepetit V, Strecha C, et al. Brief: Binary Robust Independent Elementary Features[C]∥Proceedings of 11th European Conference on Computer Vision Crete, Greece: Springer Berlin Heidelberg, 2010: 778-792

[7] Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]∥Proceedings of 2011 International Conference on Computer Barcelona, Spain, 2011: 2548-2555

[8] Mair E, Hager G D, Burschka D, et al. Adaptive and Generic Corner Detection Based on the Accelerated Segment Test[C]∥Proceedings of 11th European Conference on Computer, Heraklion, Crete, Greece: Springer Berlin Heidelberg, 2010: 183-196

[9] Alahi A, Ortiz R, Vanderrgheynst P. FREAK: Fast Retina Keypoint[C]∥Proceedings of Computer Version and Pattern Recognition, 2011: 510-517

[10] Pablo F, Adrien B, Andrew J. KAZE Features[C]∥Proceedings of 12th European Conference on Computer Version, Florence, Italy: Springer Berlin Heidelberg, 2012: 214-227

[11] 李鵬, 武文波, 王宗偉. 基于非線性尺度空間的多源遙感影像匹配[J]. 測(cè)繪科學(xué), 2015, 40(7): 41-44 Li Peng, Wu Wenbo, Wang Zongwei. Muti-Source Remote Sensing Images Matching Based on Nonlinear Scale Space[J]. Science of Surveying and Mapping, 2015, 40(7): 41-44 (in Chinese)

[12] Pablo F, Jesus N, Adrien B. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥Proceedings of 2013 British Machine Vision Conference. Bristol, UK, 2013:2157-2163

[13] Edward R, Tom D. Machine Learning for High-Speed Corner Detection[C]∥Proceedings of 9th European Conference on Computer Vision, Graz, Austria, 2006: 430-443

[14] 胡波. 基于顏色不變量的特征匹配算法研究[D]. 沈陽(yáng)：遼寧大學(xué), 2014 Hu Bo. Study of Feature Matching Algorithm Based on Color Invariant[D]. Shengyang, Liaoning University, 2014 (in Chinese)

[15] 王飛宇, 邸男, 賈平. 結(jié)合尺度空間FAST角點(diǎn)檢測(cè)器和SURF描繪器的圖像特征[J]. 液晶與顯示, 2014, 29(4): 598-604 Wang Feiyu, Di Nan, Jia Ping. Image Features Using Scale-Space FAST Corner Detector and SURF Descriptor[J]. Chinese Journal of Liquid Crystals and Displays, 2014, 29(4): 598-604 (in Chinese)

[16] Pablo F, Luis M, Andrew J. Gauge-SURF Descriptor[J]. Image and Vision Computing, 2013, 31(1): 103-116

[17] 余淮, 楊文. 一種無(wú)人機(jī)航拍影像快速特征提取與匹配算法[J]. 電子與信息學(xué)報(bào), 2016, 38(3): 509-516 Yu Huai, Yang Wen. A Fast Feature Extraction and Matching Algorithm for Unmanned Aerial Vehicle Images[J]. Journal of Electronics and Information Technology, 2016, 38(3): 509-516 (in Chinese)

[18] 張寶龍, 李洪蕊, 李丹, 等. 一種針對(duì)車載全景系統(tǒng)的圖像拼接算法的仿真[J]. 電子與信息學(xué)報(bào), 2015, 37(5): 1149-1153 Zhang Baolong, Li Hongrui, Li Dan, et al. A Simulation of Image Mosaic Algorithm Based on Vehicle Panorama System[J]. Journal of Electronics and Information Technology, 2015, 37(5): 1149-1153 (in Chinese)

[19] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1/2): 43-72 (in Chinese)

[20] Mikolajczyk K, Schmid C. A Performance Evaluation of Local Descriptors[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630

[21] Winder S A J, Brown M. Learning Local Image Descriptors[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, Redmond, 2007: 1-8

[22] Chum O, Matas J. Matching with PROSAC-Progressive Sample Consensus[C]∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Minneapolis, 2005: 220-226

Speeded up Robust Nonlinear Scale-Invariant Feature

Zhang Yan, Li Jianzeng, Li Deliang, Du Yulong

(Ordnance Engineering College, Shijiazhuang 050003, China)

This paper puts forward a speeded up robust nonlinear scale invariant feature(SURNSIF). Noise is wiped off and edge response is guaranteed through the fast solving of nonlinear scale space. Adaptive selection of number of scale space and the Adaptive and Generic corner detection based on the accelerated segment test(AGAST), combined with frame Laplace filter via removing edge response take account of the detection accuracy and real-time performance. Constructing descriptor overlap, introduction of gauge derivatives and the constraint of feature point in the nonlinear scale space location enhance the accuracy. Comparing to scale invariant feature transform(SIFT), speeded up robust features(SURF), KAZE, binary robust invariant scalable keypoints(BRISK), AGAST and fast-Hessian experiments, the SURNSIF reveals stronger robustness with 5 kinds of changes, and its registration speed is faster. Compared with KAZE, comprehensive robustness is increased about 10.87%, and the speed is increased about 47%.

feature registration; SURNSIF; KAZE; AGAST

2016-03-08

國(guó)家自然科學(xué)基金(51307183)資助

張巖(1991—),軍械工程學(xué)院博士研究生,主要從事計(jì)算機(jī)視覺(jué)與無(wú)人機(jī)圖像信息處理技術(shù)研究。

TP391.4

A

1000-2758(2016)06-1108-12