彭欣，劉富強(qiáng)，宋華軍

(1.91404部隊(duì)91分隊(duì)，秦皇島 066001；2.中國(guó)石油大學(xué)(華東) 信息與控制工程學(xué)院，東營(yíng) 257061)

視頻運(yùn)動(dòng)目標(biāo)跟蹤是計(jì)算機(jī)視覺、圖像處理和模式識(shí)別領(lǐng)域里非常活躍的課題。作為計(jì)算機(jī)視覺研究的熱點(diǎn)和難點(diǎn)，國(guó)內(nèi)外很多的人和組織進(jìn)行了大量的研究[1]。Aristidis Likas等人提出了一種基于卡爾曼濾波和Mean shift的自適應(yīng)可視目標(biāo)跟蹤方法[2]，使用Meanshift預(yù)測(cè)目標(biāo)位置，后使用可更新狀態(tài)矩陣的Kalman濾波實(shí)現(xiàn)目標(biāo)跟蹤；Ta，D.-N.等人研究了一種使用局部特征描述的連續(xù)快速目標(biāo)跟蹤識(shí)別算法SURFTrack[3]，并試驗(yàn)證明了其在戶外進(jìn)行移動(dòng)電話跟蹤的良好性能；HuiyuZhou等人研究了基于 SIFT特征和均值漂移的目標(biāo)跟蹤，提出了一種優(yōu)化的相似性搜索函數(shù)對(duì)復(fù)雜背景下的目標(biāo)跟蹤有較好的效果[4]；張銳娟等研究了基于SURF的圖像配準(zhǔn)[5]，實(shí)驗(yàn)證明了SURF特征提取算法的計(jì)算量小快速性特點(diǎn)。

由于SURF特征提取算法是當(dāng)前特征點(diǎn)匹配領(lǐng)域的熱點(diǎn)，具有較高的匹配能力，并且當(dāng)圖像發(fā)生平移、旋轉(zhuǎn)和仿射變換、光照變換等情況，都具有較高的匹配精度和魯棒性。本文研究基于SURF特征的目標(biāo)跟蹤算法，同時(shí)結(jié)合德州儀器公司最高性能的處理器TMS320C6416T的快速數(shù)據(jù)處理和運(yùn)算能力，以實(shí)現(xiàn)高速度、高精度、具有很強(qiáng)魯棒性的視頻目標(biāo)跟蹤。

1 SURF特征匹配算法

SURF(Speed Up Robust Features)[6]特征是一種圖像的局部特征，當(dāng)目標(biāo)圖像發(fā)生旋轉(zhuǎn)、尺度縮放、亮度變化時(shí)，具有保持不變性，并且對(duì)視角變化、仿射變換和噪聲等也具有保持一定程度的穩(wěn)定性。

SURF特征提取算法的流程主要包括：特征點(diǎn)檢測(cè)、特征點(diǎn)描述和特征點(diǎn)匹配三部分。特征點(diǎn)檢測(cè)采用了基于Hessian矩陣的檢測(cè)器，其在穩(wěn)定性和可重復(fù)性方面都優(yōu)于基于Harris的檢測(cè)器。特征點(diǎn)描述采用 Haar小波[7]作為特征描述子，由于Harr特征最大的特點(diǎn)是速度快，能減少計(jì)算時(shí)間且增加魯棒性。

用方框?yàn)V波近似代替二階高斯濾波，運(yùn)用積分圖像加速卷積，減少了時(shí)間計(jì)算的復(fù)雜度，提高了計(jì)算速度。

SURF的算法流程[8]如圖1所示。

圖1 SURF算法流程圖Fig.1 SURF method structure

1.1 積分圖像

積分圖像是對(duì)原始圖像的一種特征表示方法，如圖2所示深色區(qū)域表示點(diǎn)(x，y)的積分值，即深色區(qū)域的灰度值總和。對(duì)原始圖像進(jìn)行積分，得到積分圖像，其中代表像素值[9]。

1.2 尺度空間的建立

對(duì)圖像進(jìn)行預(yù)處理時(shí)，使用箱式濾波器對(duì)高斯核近似，由于其在計(jì)算卷積時(shí)的計(jì)算量與濾波器大小無關(guān)，因此可以極大的提高算法運(yùn)行速度。

圖2 積分圖像Fig.2 Integration image

加權(quán)箱式濾波器[10]在 x，y和 xy方向上的對(duì)高斯二階偏導(dǎo)的近似如圖3所示，分別用表示。圖中白色區(qū)域的權(quán)重賦予正數(shù)，灰色區(qū)域的權(quán)重賦予0，黑色區(qū)域的權(quán)重賦予負(fù)數(shù)(如 1)。為了建立適應(yīng)目標(biāo)變換的尺度空間，需要不同尺度的箱式濾波器。

圖3 箱式濾波器Fig.3 Box filters

根據(jù)SURF算法的要求，在不同尺度上尋找極值點(diǎn)，需要建立圖像的尺度空間。在 SIFT中，建立DOG尺度空間，其是通過對(duì)圖像金字塔中的相鄰兩層的圖像做差值。而 SURF在建立尺度空間時(shí)，不需要做差值，保持原始圖像不變。通過改變?yōu)V波器的大小，得到尺度空間。SURF算法由于使用了積分圖像和箱式濾波器，加快了算法的運(yùn)算速度[11]。

1.3 快速Hessian特征檢測(cè)

由Hessian矩陣來進(jìn)行圖像極值點(diǎn)的檢測(cè)，首先根據(jù)特征值計(jì)算出來的行列式的符號(hào)(如正或負(fù))對(duì)極值點(diǎn)進(jìn)行判別。然后根據(jù)值得正或負(fù)判斷該點(diǎn)是不是局部極值點(diǎn)。如果行列式是正的，那么特征值全為正或者全為負(fù)，故該點(diǎn)是極值點(diǎn)。給出圖像上的某點(diǎn)，尺度定為，則Hessian矩陣定義為：

Hessian矩陣中用到的核函數(shù)是高斯核函數(shù)，也就是箱式濾波器，9*9的濾波器是對(duì)高斯核函數(shù)在處的近似。為了保持計(jì)算精度，引入一個(gè)高斯核函數(shù)和高斯核函數(shù)的近似的比例因子，Hessian矩陣的行列式表示為:

式中：det(Hopprox)表示在點(diǎn)X周圍的區(qū)域的箱式濾波器響應(yīng)值。用det(Hopprox)進(jìn)行極值點(diǎn)的檢測(cè)，同時(shí)求出矩陣的跡。比鄰因子的值通過下式計(jì)算：

1.4 SURF描述子生成

SURF特征描述子[6]可以分為兩步：第一步根據(jù)特征點(diǎn)周圍的一個(gè)圓形區(qū)域，找到一個(gè)主方向；第二步在這個(gè)選定方向上構(gòu)造一個(gè)矩形區(qū)域，并提取出所需的描述信息。求極值點(diǎn)的主方向是以極值點(diǎn)為中心選取某一半徑圓形區(qū)域。在此區(qū)域內(nèi)計(jì)算哈爾小波在x和y方向上的響應(yīng)值，記為

圖4 哈爾小波Fig.4 Harr wavelet

圖4所示為哈爾小波濾波器在x方向和y方向上描述。計(jì)算出圖像在哈爾小波的x和y方向上的響應(yīng)值之后，對(duì)兩個(gè)值進(jìn)行因子為(是極值點(diǎn)所在的尺度)的高斯加權(quán)，加權(quán)后的值分別表示在水平和垂直方向上的方向分量，記為

圖5 主方向的選擇Fig.5 Main direction selection

選定特征點(diǎn)主方向之后，在特征點(diǎn)周圍按主方向構(gòu)造一個(gè)大小20s的窗口，這些窗口被分割成4×4的子區(qū)域。在每一個(gè)子區(qū)域中，在特征點(diǎn)處為Haar小波響應(yīng)加一個(gè)高斯權(quán)值，將特征向量歸一化，這樣就形成了一個(gè)四維的向量：

分別求16個(gè)子區(qū)域的特征向量，形成一個(gè)16*4=64維的特征向量，如圖6所示，這64個(gè)值就是構(gòu)成特征點(diǎn)的SURF描述子。

圖6 SURF描述子的生成Fig.6 SURF descriptor generate

1.5 SURF相似性度量

特征點(diǎn)的匹配采用選定的特征向量歐式距離作為兩幀圖像中關(guān)鍵點(diǎn)的相似性判定度量。歐氏距離的公式是：

2 基于SURF目標(biāo)跟蹤算法

根據(jù) SURF的特征提取算法，經(jīng)過系列運(yùn)算后，提取圖像的特征，使用歐氏距離的方法進(jìn)行相似度測(cè)量完成特征點(diǎn)的匹配。基于目標(biāo)跟蹤的具體算法過程如下：

(1)人工選定目標(biāo)模板圖像，使用 SURF特征提取算法提取特征值，保存到特征庫(kù)。

(2)在后續(xù)幀中，提取人工選定位置附近的大區(qū)域圖像(如果模板大小為100*100，則處理區(qū)域200*200)，計(jì)算大區(qū)域圖像的SURF特征值。

(3)使用歐氏距離度量方法計(jì)算被匹配的特征點(diǎn)，由于匹配的特征點(diǎn)十分分散，提出使用重心算法計(jì)算特征點(diǎn)的重心作為目標(biāo)的脫靶量。

(4)將新匹配的特征點(diǎn)存入特征庫(kù)，完成了模板的更新，用新的特征繼續(xù)匹配后續(xù)幀。

圖7 行走的人跟蹤效果圖Fig.7 Pedestrian tracking result

圖8 飛機(jī)目標(biāo)跟蹤效果圖Fig.8 Plane tracking result

3 實(shí)驗(yàn)結(jié)果

圖7是行走人的跟蹤結(jié)果，從(a)到(d)分別是15，30，50，78幀跟蹤結(jié)果。由實(shí)驗(yàn)可以發(fā)現(xiàn)對(duì)于背景固定，簡(jiǎn)單，目標(biāo)比較清晰地場(chǎng)合，SURF目標(biāo)跟蹤算法可以很好的實(shí)現(xiàn)跟蹤效果。

圖8為飛機(jī)目標(biāo)跟蹤效果圖，從(a)到(d)分別是 215，286，323，389幀跟蹤結(jié)果。視頻的背景比較復(fù)雜，飛機(jī)飛行過程中有旋轉(zhuǎn)，光照視角等變化，由實(shí)驗(yàn)可以發(fā)現(xiàn)飛機(jī)在天空飛行過程中算法跟蹤效果較好，當(dāng)飛機(jī)進(jìn)入樹林復(fù)雜背景后，目標(biāo)跟蹤丟失目標(biāo)，目標(biāo)特征淹沒在樹林的特征中，匹配發(fā)生錯(cuò)誤難以定位目標(biāo)。

對(duì)于模板大小為80*60，匹配區(qū)域?yàn)?60*120的圖像，算法的速度大約在33ms左右，不能滿足實(shí)時(shí)目標(biāo)跟蹤算法的要求。后面繼續(xù)對(duì)算法進(jìn)行改進(jìn)，提供運(yùn)行速度。

4 結(jié)論

基于SURF算法的目標(biāo)跟蹤算法，比SIFT算法具有更快的跟蹤速度，與傳統(tǒng)重心、相關(guān)跟蹤算法相比較，對(duì)處理較復(fù)雜背景下的跟蹤效果較好，匹配精度高，并且對(duì)目標(biāo)遮擋、光照變換具有較高的魯棒性。

通過實(shí)驗(yàn)發(fā)現(xiàn)SURF算法可以有效提取圖像的典型局部特征，將其應(yīng)用于目標(biāo)跟蹤中時(shí)，能較好的實(shí)現(xiàn)目標(biāo)跟蹤效果，但是作為SURF算法的速度優(yōu)勢(shì)還沒有完全發(fā)揮出來。將編寫的算法移植到基于TMS320C6416T的目標(biāo)跟蹤板上，不能達(dá)到實(shí)時(shí)跟蹤，下一步將努力優(yōu)化算法，改進(jìn)確定目標(biāo)中心的方法，提高算法速度。

[1]賈云得.機(jī)器視覺[M].北京：科學(xué)出版社，2002：26-32.

[2]Vasileios K，Christophoros Nikou，Aristidis Likas.Visual Tracking by Adaptive Kalman Filtering and Mean Shift[J].Springer-Verlag Berlin Heidelberg，2010，6040：153-162.

[3]Ta，D N，Chen，W C，Gelfand，N，Pulli，K.SURFTrac：Efficient Tracking and Continuous Object Recognition using Local Feature Descriptors[C].Computer Vision and Pattern Recognition(CVPR'09)，2009：2937-2943.

[4]Huiyu Zhou，Yuan Yuan，Chunmei Shi.Object tracking using SIFT features and mean shift[J].Computer Vision and Image Understanding，2009，113：345-352.

[5]張銳娟，張建奇，楊翠.基于SURF的圖像配準(zhǔn)方法研究[J].紅外與激光工程，2009，38(1)：160-165.

[6]Bay H，Tuytelars T，Van Gool L.Speeded-Up Robust Features(SURF)[J].Computer Vision and Image Understanding，2008(110)：346-359.

[7]Khashman A，Dimililer K.Image compression using neural networks and Haar wavelet[J].WSEAS Transactions on Signal Processing，2008，5(4)：330-339.

[8]徐秀云.基于特征點(diǎn)的景象匹配技術(shù)研究[D].南京：南京理工大學(xué)，2009：1-68.

[9]Freund Y.Boosting a weak learning algorithm by majority[J].Information and Computation，1995(121)：226-230.

[10]Mikolajczyk K，Schmid C.An affine invariant interest point detector[J].Computer Vision-ECCV，2002(2350)：128-142.

[11]Lowe D.Distinctive image features from scale invariant ke-ypoints[J].In journal of Computer Vision，2004，60(2)：91-110.

[12]Mizutani Eiji，Dreyfus Stuart E，Demmel James W.Second-order backpropagation algorithms for a stagewisepartitioned separable Hessian matrix[C].Proceedings of the International Joint Conference on Neural Networks，2005(2)：1027-1032.