龍思源，張 葆，宋 策，孫?；?/p>

(1.中國科學院 長春光學精密機械與物理研究所 航測部重點實驗室，吉林 長春 130033；2.中國科學院大學，北京 100049)

基于改進的加速魯棒特征的目標識別

龍思源1,2，張 葆1*，宋 策1，孫?；?,2

(1.中國科學院 長春光學精密機械與物理研究所 航測部重點實驗室，吉林 長春 130033；2.中國科學院大學，北京 100049)

為了提高加速魯棒特征(SURF)算法的實時性和準確性，本文提出了一種結合AGAST角點檢測和改進的SURF特征描繪算法。首先利用AGAST角點檢測模板檢測特征點，再使用增加對角信息的哈爾小波響應來生成特征點的描述子，之后利用特征袋對產(chǎn)生的描述子進行編碼并生成新的特征向量，最后利用支持向量機(SVM)對特征向量進行分類，完成識別。本文以SIFT和SURF算法為對照，分別進行不同視角、光照和尺度的識別實驗。實驗結果表明，本文算法的平均識別率為98.0%、96.9%、97.1%，平均時間分別為66.1 ms、79.3 ms、41.0 ms，在識別率上較優(yōu)于SURF算法，所耗時間約是SURF算法的1/3。

圖像處理；目標識別；加速魯棒特征；AGAST角點檢測

1 引 言

近年來，目標自動識別已經(jīng)成為圖像處理領域的熱門方向，其核心是利用計算機視覺技術，對圖像或視頻中的內(nèi)容進行識別和描述。它在人機交互、武器自動跟蹤、智能視頻監(jiān)控等領域有著很好的應用前景和潛在的經(jīng)濟價值。然而，在圖像或視頻的采集過程中，經(jīng)常會受到環(huán)境影響，例如光照變化、視角變化、目標尺度變化等，使得待檢測目標發(fā)生光照、尺度和形狀上的變化，從而導致識別失敗[1]。

普遍來說，目標的自動識別主要分為兩個步驟：(1)目標圖像的特征向量提??；(2)訓練分類器。由于局部特征往往都具有亮度、旋轉(zhuǎn)和尺度不變性，因此，在目標識別和圖像匹配中有著極為廣泛的應用[2]。所選取的目標特征的穩(wěn)定與否，決定了該自動識別方法的優(yōu)劣。

2004年，加拿大學者David Lowe首次提出尺度不變特征變換(Scale Invariant Feature Transform，SIFT)算法[3]。該算法先利用高斯差分(Difference of Gaussian，DoG)算子找到圖像的特征關鍵點，再在關鍵點的4×4鄰域的每個小塊中計算其8個方向的灰度梯度方向直方圖。這樣就在每個關鍵點上構建了一個128維的特征向量。SIFT特征算法具有較好的視角、尺度、亮度不變性，但是由于DoG算子的特性和特征向量的維數(shù)較高[4]，該算法的實時性能較差。在SIFT的基礎上，2006年Herbert Bay提出了加速魯棒特征(Speeded-up Robust Feature，SURF)算法[5]，其用快速海森矩陣為模板提取關鍵點，并利用Haar小波特征生成64維的特征向量，從而大大提高了算法的實時性[6]。2011年，Stefan Leutenegger等人提出的BRISK(Binary Robust In variant Scalable Keypoints,BRISK)算法和2012年Alexandre Alahi等人提出的FREAK(Fast Retina Keypoint,FREAK)算法都是基于二值化特征提取的算法。這兩種算法大大提高了特征提取的時間效率。然而，由于使用的是二值特征，丟失了很多圖片原有信息，它的識別效果遠不如SIFT和SURF[7-8]。所以，目前世界上廣泛研究和使用的算法仍是SURF算法。

為了進一步提高SURF算法的實時性和穩(wěn)定性[9]，本文以AGAST(Adaptive and Generic Accelerated Segment Test,AGAST)角點提取方法代替快速海森矩陣模板法，并對SURF特征描述子加以改進，此外還加入了特征袋編碼，最后使用支持向量機(Support Vector Machine，SVM)進行特征分類，最終實現(xiàn)目標識別。實驗證明，該算法在實時性和不同尺度下的識別率都要高于原來的SURF算法。

2 SURF算法簡介

2.1 特征點檢測

在SURF算法中，圖像的顯著度由該像素點的Gaussian-Hessian矩陣行列式的值決定。圖像的不同尺度需要利用高斯核G(t)卷積得到，再與Hessian矩陣結合，這樣就可以得到x(x,y)，外尺度為σ的高斯海森矩陣，如式(1):

式中，與圖像卷積的矩陣即為高斯海森矩陣。其中Lxx(x,σ)、Lxy(x,σ)、Lyy(x,σ)表示高斯函數(shù)的二階微商。

為了進一步加快運算速度，SURF算法將Lxx(x,σ)、Lxy(x,σ)、Lyy(x,σ) 3種模板進行近似處理，將原先的模板變換為Dxx(x,σ)、Dxy(x,σ)、Dyy(x,σ)，如圖1所示。

加入補償系數(shù)之后，其行列式如公式(2)所示:

其中0.9是Bay給出的一個經(jīng)驗值。利用該行列式的值，同時結合非極大值抑制方法，就可以得到一系列特征點的位置和尺度。

2.2 特征描述

檢測出關鍵點之后，在生成描述向量之前需要確定主方向。SURF算法中，主方向的選取方法是統(tǒng)計特征點鄰域內(nèi)的Haar小波響應。具體方法是：在尺度s下，在特征點附近半徑為6s的圓內(nèi)，統(tǒng)計圓心角為60°的扇形內(nèi)所有點的水平、垂直Haar小波響應并進行加權求和，然后以一定的角度旋轉(zhuǎn)扇形重復上述操作，最終得到一系列的模值，模值最大的方向即為該關鍵點的主方向。

圖1 高斯海森矩陣中的Lyy積分模板的近似DYYFig.1 Approximate DYY of Lyy integral template in Gaussian-Hessian matrix

確定關鍵點的主方向之后，在特征點周圍取一個4×4的正方形鄰域，每一個正方形小鄰域包含有5×5個像素，在每個小鄰域中統(tǒng)計25個像素的水平方向和垂直方向的Haar小波響應，將它們作為特征描述(這里，水平和垂直均是相對于主方向)。這些Haar小波特征描述值為:水平方向值的和Σdx，水平方向絕對值的和Σ|dx|，垂直方向的和Σdy，垂直方向絕對值的和Σ|dy|。

圖2 SURF描述子的生成示意圖Fig.2 Schematic diagram of SURF descriptors generating

這樣，每個小區(qū)域就有4個值，而4×4個小鄰域內(nèi)共有64個值，即生成了該特征點的64維的描述向量。如圖2所示。

SURF算法在保證特征魯棒性和灰度變化信息的同時，將SIFT的128維描述向量減少到64維，大大縮短了特征向量的生成時間，相對于SIFT算法，極大地提高了實時性。

3 結合AGAST的改進SURF算法

3.1 特征點檢測

SURF算法在特征點檢測中使用近似的快速海森矩陣模板進行檢測，雖然速度比SIFT的Harris模板有了顯著的提高，但是實時性并不是很好。在尺度不變要求下，AGAST算法有著更高的計算效率和實時性[11]。

對于AGAST算法，為了較好實現(xiàn)尺度不變要求，需構建尺度空間金字塔。它由n個octave層ci和n個中間層di組成(i=0,1,…,n-1)。ci是通過對原始圖像c0的依次半采樣得到的，而中間層di位于ci和ci+1之間，第一個內(nèi)層d0是對原始圖像c0的1.5倍下采樣得到的，其他內(nèi)層是依次對d0半采樣得到的。

圖3 AGAST在不同尺度下的層和內(nèi)層Fig.3 Octaves and intra-octaves of AGAST algorithm in different scales

完成尺度空間金字塔構建后，可以進行關鍵點的檢測。用FAST9-16模板分別作用于每個層和每個內(nèi)層，用于找到潛在的感興趣區(qū)域。使用該模板的前提是，在周圍16個像素的圓周上至少需要有9個連續(xù)的像素點比圓心像素充分亮或者充分暗。之后進行非極大值抑制，非極大值抑制：(1)該點的FAST模板積分s須大于同一層周圍鄰域中8個點的積分s；(2)該點積分s必須大于相鄰層同一點的積分。滿足以上兩個條件的點才能被檢測為關鍵點。經(jīng)實驗證明利用該方法檢測出的關鍵點，有著較好的尺度不變性，同時，較SURF具有更好的實時性，大大縮短了關鍵點的檢測時間[12]。

3.2 特征描述

在主方向確定后，SURF算法利用Haar小波特征的水平和垂直模板對正方形小鄰域進行卷積和加權求和，構造了64維向量對關鍵點進行描述。但是，僅僅采用水平方向和垂直方向這兩個方向的Haar小波響應統(tǒng)計量過于簡單。為了進一步提高識別準確率，本文加入了對角特征的采樣模板[13]，如圖4所示。

圖4(c)即為對角Haar小波響應的模板，黑色塊的值為-1，白色塊的值為1，采用與SURF算法類似的方法進行加權求和，在SURF向量中加入對角向量的和值以及對角向量的絕對值的和值。這樣改進后的SURF描述子就變?yōu)?Σdx,Σ|dx|,Σdy,Σ|dy|,Σdd,Σ|dd|，描述關鍵點的特征向量相應地變?yōu)?6維。雖然特征向量的維數(shù)有一定提高，但是得到的描述子包含更多的圖像信息，使得圖像的區(qū)分度更高。

3.3 特征袋編碼

為了進一步提高算法的魯棒性，減少分類器的學習和分類時間，需對大量的特征向量進行特征袋(Bag of Features,BoF)編碼。BoF的原理是利用已提取的全部局部特征的統(tǒng)計信息，對特征向量重新編碼，然后生成新的描述向量[14]。對特征進行BoF編碼不僅不會丟失原有的圖像信息，而且會進一步提高算法的實時性。

具體過程是，首先，對所有訓練樣本中的局部特征向量進行K-均值分類，把k個聚類中心{α1,…,αk}作為視覺詞匯構成編碼本(k是人為選取)；然后，找到與待檢測圖片樣本中每一個局部特征向量最接近的視覺詞匯αi，并以αi代替該特征向量；再統(tǒng)計{α1,…,αk}在該圖片樣本中出現(xiàn)的頻率直方圖，以該頻率直方圖為基礎，即可生成該圖片新的描述向量。

雖然選取的編碼本視覺詞匯數(shù)量遠大于特征向量維數(shù)，例如選取1 000個詞匯數(shù)量遠大于SURF的向量維數(shù)64，但是一個圖像的所有特征向量經(jīng)編碼后就是一個1 000維的帶有圖像局部特征統(tǒng)計信息的向量。而如果直接使用SURF，每個特征點均有一個64維向量，對于一幅分辨率為384×288的圖像，則會檢測出150～180個特征點，那么待處理的數(shù)值就有上萬個，不僅時間性能較差，而且不利于后面學習分類的數(shù)據(jù)使用。

3.4 特征分類

特征分類的方法有很多，如最近鄰分類器、神經(jīng)網(wǎng)絡分類器、Adaboosting分類器、支持向量機等。

SVM是一種二類分類模型，基本模型定義為特征空間上間隔最大的線性分類器，其是基于機器學習的分類算法，學習的策略即算法的核心是間隔最大化，即先將樣本通過一個變換核映射到更高維度的空間，然后在該空間中找到一個超平面將其分為兩類。

由于SVM有著較好的精確性和較低的時間復雜度，而且根據(jù)文獻，SVM對SIFT/SURF特征的分類效果較好，故本文選用SVM分類器對樣本進行訓練和分類[15]。

綜上所述，整個識別算法分為兩部分，首先進行樣本的訓練和BoF字典的生成，再利用SVM對特征向量進行識別分類，整個識別過程如圖5所示。

圖5 識別算法流程Fig.5 Flowchart of proposed detection algorithm

4 實驗與結果

為了檢驗本文提出的目標自動識別算法的性能，在Visual Studio 2012的軟件平臺上，分別使用SIFT特征、SURF特征和本文提出的特征算法對仿真圖像進行目標識別實驗，使用識別率、識別時間兩種定量指標對算法性能進行評價。本文選取ALOI數(shù)據(jù)庫中的圖像進行目標識別，分別使用3種算法，對不同光照、視角和尺度的目標圖像進行識別。

4.1 不同視角實驗

首先，每隔5°拍攝一幅物體的照片，每隔45°視角選取一個正樣本，共7個正樣本，進行訓練，其他的作為檢測樣本，如圖6所示。

圖6 不同角度的樣本目標Fig.6 Objects of different vew-points

分別使用SIFT、SURF和本文提出的算法對102個檢測樣本進行識別，正確數(shù)、正確率和平均識別時間見表1。

由表1可以看出，本文算法在正確率上高于SURF算法，但是略低于SIFT算法。在時間性能上，本文算法遠高于SIFT和SURF算法，平均所需時間接近SURF算法的1/3；SIFT算子由于特征描述復雜度更高，其平均耗時遠大于SURF算子，是本文算法的近9倍。

表1 不同視角下3種算法的性能比較Tab.1 Performances comparison of three algorithms under different view-points

4.2 不同光照實驗

本實驗中選取光照均勻亮度適中的圖像作為訓練樣本，然后改變光照的角度和強度，作為待檢測樣本，如圖7所示。

圖7 不同光照的樣本目標Fig.7 Objects of different illumination

同樣使用3種算法對49幅圖像進行識別檢測，得到結果見表2。

表2 不同光照下3種算法的性能比較Tab.2 Performances comparison of three algorithms under different illumination

從表2可以看出，在光照變化的條件下，SIFT算子的識別率大幅降低，而本文算法和SURF算法仍然保持較高的識別率，同時，相對于SURF算法，時間性能仍可大幅提高。

4.3 不同尺度實驗

下面，將視角和尺度相結合進行檢測。訓練樣本均選取不同視角實驗中的訓練樣本，對不同視角實驗中的待檢測樣本進行下采樣，將分辨率由384×288降為192×144，將這些下采樣圖片作為待檢測樣本，然后再使用3種算法對102幅圖像進行識別檢測，結果如表3所示。

表3 不同尺度下3種算法的性能比較Tab.3 Performances comparison of three algorithms under different scales

在不同視角條件下，由于圖像被降采樣，可能會丟失一些特征，導致同種算法識別率有一定程度降低。但是橫向比較可發(fā)現(xiàn)，本文算法在保持了SIFT算子的高識別率下，大幅縮短了所需處理時間。

由上述3個對不同視角、不同光照、不同尺度的目標進行的識別實驗結果可以看出，本文的改進SURF算法，由于在描述子中加入了新的特征，識別率相對于原SURF算法略有提高，但在尺度和視角的魯棒性上比SIFT算法略低。本文提出的算法的最大優(yōu)勢是所需的平均時間相對于SURF算法縮短了近60%，是SIFT算法所需時間的近1/9，算法的實時性有了極大地提高。

5 結 論

本文在SURF算法的基礎上，對其特征點的檢測和特征點的描述進行了改進；使用速度更快的AGAST特征點檢測算法，大大提高了算法的實時性；而在特征點的描述中，在Haar小波特征的垂直和水平特征基礎上增加了對角特征以提高描述子的信息量、保證識別算法的魯棒性和準確率。然后再配合特征袋編碼算法和支持向量機分類器完成識別。對ALOI數(shù)據(jù)庫圖像的實驗結果顯示，在不同視角、光照、尺度的情況下，本文算法的識別率均能保持在95%以上，總體上優(yōu)于SIFT和SURF算法，而其平均時間約為SURF算法的1/3，SIFT算法處理時間的1/9，實時性有了極大地提高。本文算法相對于SURF算法有很好的實時性，同時對于視角和尺度的變化也保持了較高的魯棒性，在實際工程應用中具有重要意義。

[1] 賈平,徐寧,張葉.基于局部特征提取的目標自動識別[J].光學 精密工程,2013,21(7):1898-1905.

JIA P,XU N,ZHANG Y.Automatic target recognition based on local feature extraction[J].Opt.PrecisionEng.,2013,21(7):1898-1905.(in Chinese)

[2] 趙春陽,趙懷慈.多模態(tài)魯棒的局部特征描述符[J].光學 精密工程,2015,23(5):1474-1483.

ZHAO CH Y,ZHAO H C.Multimodality robust local feature descriptors[J].Opt.PrecisionEng.,2015,23(5):1474-1483.(in Chinse)

[3] LOWE D.Distinctive image features from scale-invariant keypoints[J].InternationalJ.ComputerVision,2004,60(2):91-110.

[4] HARRIS C,STEPHENS M.A combined corner and edge detector[J].AlveyVisionConference,1988(3):147-151.

[5] BAY H,TUYTELAARS T,VAN GOOL L.SURF:speeded-up robust features[J].ComputerVisionamp;ImageUnderstanding,2006,110(3):404-417.

[6] MIKOLAJCZYK K,SCHMID C.A performance evaluation of local descriptors[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2005,27(10):1615-1630.

[7] 王飛宇,邸男,賈平.結合尺度空間FAST角點檢測器和SURF描繪器的圖像特征[J].液晶與顯示,2014,29(4):598-604.

WANG F Y,DI N,JIA P.Image features using scale-space FAST corner detector and SURF descriptor[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(4):598-604.(in Chinese)

[8] 成培瑞,王建立,王斌,等.基于多尺度區(qū)域?qū)Ρ鹊娘@著目標識別[J].中國光學,2016,9(1):97-105.

CHENG P R,WANG J L,WANG B,etal..Salient object detection based on multi-scale region contrast[J].ChineseOptics,2016,9(1):97-105.(in Chinese)

[9] 武治國,李桂菊.動態(tài)目標識別中的實時復雜巡航場景運動檢測[J].液晶與顯示,2014,29(5):844-849.

WU ZH G,LI G J.Real-time complex cruise scene detection technology in target recognition[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(5):844-849.(in Chinese)

[10] MAIR E,HAGER G,BURSCHKA D,etal..Adaptive and generic corner detection based on the accelerated segment test[J].ComputerVision-ECCV,2010,2010:183-196.

[11] 王麗.融合底層和中層字典特征的行人重識別[J].中國光學,2016,9(5):540-546.

WANG L.Pedestrian re-identification based on fusing low-level and mid-level features[J].ChineseOptics,2016,9(5):540-546.(in Chinese)

[12] ZHANG H,HU Q.Fast image matching based-on improved SURF algorithm[C].International Conference on Electronics,Communications and Automation Control,IEEE,2011:1460-1463.

[13] ROSTEN E,PORTER R B,DRUMMOND T,etal..Faster and better:a machine learning approach to corner detection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(1):105-119.

[14] CSURKA G,DANCE C,FAN L,etal..Visual categorization with bags of keypoints[C].8th European Conference on Computer Vision,Progue,Czech Republic,2004:1-22.

[15] DONGHOON K,ROZENN D.Face components detection using SURF descriptors and SVMs[C].IEEE International Machine Vision and Image Processing Conference,IEEE,2008:51-56.

龍思源(1992—)，男，湖北襄陽人，碩士研究生，主要從事圖像處理和目標識別方面的研究。E-mail:Alfred_lsy@163.com

張 葆(1966—)，男，吉林磐石人，博士，研究員，博士生導師，主要從事航空光電成像技術方面的研究。E-mail:cleresky@vip.sina.com

Objectdetectionbasedonimprovedspeeded-uprobustfeatures

LONG Si-yuan1,2,ZHANG Bao1*,SONG Ce1,SUN Bao-ji1,2

(1.KeyLaboratoryofAirborneOpticalImagingandMeasurement,ChangchunInstituteofOptics,FineMechanicsandPhysics,ChineseAcademyofSciences,Changchun130033,China; 2.UniversityofChineseAcademyofSciences,Beijing100049,China)

*Correspondingauthor，E-mail：alfred_lsy@163.com

To improve the real-time performance and the accuracy of the SURF algorithm,an algorithm combined with AGAST corner detector and improved SURF feature descriptor is proposed.Firstly,feature points are detected by using AGAST corner detection template.Secondly,the Haar wavelet response with increased diagonal information is used to generate descriptor of feature points.Then,the generated descriptor is encoded by the feature bag and a new feature vector is generated.At last,the classification is fulfilled by Support Vector Machine(SVM).Finally,SVM is used to classify the feature vectors to complete the detection.Detection experiments for different view-points,illumination and scales are conducted respectively using SIFT and SURF algorithm as a control.The results show that the average detection rate of this algorithm is 98.0%,96.9% and 97.1%,and the average time is 66.1 ms,79.3 ms and 41.0 ms,respectively,which is better than that of SURF algorithm,and the time consumption is about 1/3 of the SURF algorithm.

image processing;object detection;Speeded-Up Robust Features;AGAST corner detection

2017-05-11；

2017-07-13

中國科學院長春光學精密機械與物理研究所重大創(chuàng)新資助項目(No.Y3CX1SS14C)

Supported by Major Innovation Project of CIOMP,CAS,China(No.Y3CX1SS14C)

2095-1531(2017)06-0719-07

TP391.4

A

10.3788/CO.20171006.0719