楊昊瑜，戴華林，王 麗*，張 蕊

（1.天津城建大學 計算機與信息工程學院學院，天津 300384；2.天津職業(yè)技術(shù)師范大學 汽車與交通學院，天津 300222）

0 引言

目標跟蹤作為視頻安防系統(tǒng)的重要組成部分，在交通監(jiān)控、無人駕駛、汽車安全、車輛定位等領域均獲得廣泛應用[1]。但由于汽車移動的不定向、場景的復雜性等因素[2]，汽車的跟蹤效果不易達到最理想狀態(tài)?；诨叶绕ヅ涞臋z測方法[3]，以空間滑動模板完成圖像匹配，應用于目標跟蹤具有較高的準確率，但該方法計算量較大，且跟蹤結(jié)果易受目標旋轉(zhuǎn)變化的影響；基于卡爾曼濾波跟蹤車輛[4]，對目標狀態(tài)估計最優(yōu)，但當目標角度發(fā)生變化時存在誤匹配的現(xiàn)象；基于TLD的目標跟蹤算法[5]，是一種穩(wěn)定的、自適應的跟蹤技術(shù)，但該算法魯棒性較差，易將相似物體錯判為追蹤目標。核相關(guān)濾波跟蹤（Kernelized Correlation Filter，KCF）方法[6]通過嶺回歸訓練目標檢測器進行定位，算法實現(xiàn)簡潔，實時性高，但該算法抗遮擋能力較差；基于圖像特征匹配的汽車跟蹤算法[7]具有一定的抗形變和抗遮擋能力，但匹配精度易受環(huán)境因素影響。

基于上述背景，一種快速、高精度的目標跟蹤技術(shù)成為本文研究的重點。本文將圖像特征匹配算法ORB（Oriented Brief）與KCF算法結(jié)合應用于前方車輛跟蹤，ORB算法最大的優(yōu)點是速度快，可滿足目標跟蹤實時性的要求，且圖像獲取信息量大能明顯的體現(xiàn)前方車輛的形狀特征，但該算法匹配精度易受外界環(huán)境干擾，誤匹配特征點較多。本文通過深度學習算法YOLO v3找出輸入圖像的車輛區(qū)域[8]，再以改進的FAST和BRIEF檢測和描述特征點，并引入雙向匹配算法提高算法魯棒性，提高圖像匹配過程中特征點提取的精度，刪除因背景雜亂而生成的無匹配相關(guān)性的特征點，在延續(xù)了傳統(tǒng)ORB算法速度快的基礎上，圖像特征點匹配的準確率也大幅提升。將改進后的ORB結(jié)合KCF算法應用于前方車輛跟蹤，既滿足了車輛跟蹤實時性的要求，也一定程度上解決了前方車輛被遮擋時，跟蹤易丟失的問題，進一步推動交通事業(yè)及汽車自動化領域的發(fā)展。

1 YOLO v3算法

YOLO v3算法作為YOLO、YOLO v2算法的后續(xù)改良算法，與Faster R-CNN算法相比采用直接回歸的思路，實現(xiàn)了端到端的結(jié)構(gòu)，以殘差神經(jīng)網(wǎng)絡（Darknet-53）作為圖像特征提取層，具有更少的計算量，并利用特征金字塔方法對不同的尺度進行預測。YOLO v3與其他主流檢測網(wǎng)絡相比，無論是檢測速度還是預測精度，均進一步得到提升[9]。引入YOLO v3算法能夠較好的彌補ORB圖像匹配方法準確率低的不足。

2 ORB特征匹配算法

2.1 FAST檢測特征點

ORB以FAST算法對圖像特征點進行檢測，F(xiàn)AST算法的基本思想是識別圖像中獨特的點作為圖像特征點。參考圖1所示，F(xiàn)AST算法判斷以像素點P為圓點的圓上16個像素點的亮暗程度，對于給定的閾值t，當達到一定比例的n個連續(xù)像素點亮度均強于Ip+t，或均弱于Ip-t，則選取該像素點為關(guān)鍵點。這里設Ip為像素點的亮度，n=12。（n通常取像素點總數(shù)的四分之三。）

圖1 角點檢測模板圖

FAST角點檢測在計算速度方面占有明顯優(yōu)勢，但該算法的特征點檢測效果受閾值t的直接影響，將圖像整體閾值作用于圖像局部，并不一定得到最優(yōu)解，且當圖像中存在噪聲點時，檢測效果不理想。

2.2 BRIEF特征描述子

ORB通過BRIEF算法將關(guān)鍵點轉(zhuǎn)化為特征向量，BRIEF特征描述子是由Calonder首次提出，其基本思路是隨機的從特征點周圍選取一組特征點對，以此創(chuàng)建二進制描述子，算法簡單且實時性好，取S×S尺寸的鄰域窗口Patch的標準為：

其中p(x)，p(y)為鄰域P在隨機點x和y的灰度值。隨機選擇n對窗口中的隨機點(x，y)，將結(jié)果從低到高位依次生成n位二進制向量，通常選擇n=256的向量長度[10]，如式(2)所示。

3 本文匹配算法

本文改進的匹配算法首先將輸入圖像傳給YOLO v3網(wǎng)絡模型，識別定位圖像中所有車輛區(qū)域。然后用FAST和BRIEF算子對該區(qū)域進行特征點檢測和描述，其中在特征點檢測的過程中，F(xiàn)AST算法閾值是固定的[11]，若設置的閾值太低，將出現(xiàn)虛角點，對檢測效率造成影響，若閾值取值太高，則會出現(xiàn)漏檢現(xiàn)象[12]，本文通過自適應的方法獲取閾值，更好的應用于對比度不同的圖像特征檢測，同時以雙向交叉匹配算法來減少誤匹配特征點，提高對前方車輛跟蹤的準確率。

3.1 YOLO v3目標檢測

YOLO v3算法將YOLO v2使用的Darknet-19替換為更深層次的Darknet-53特征提取網(wǎng)絡，交替以1×1和3×3的濾波器進行卷積。如表1所示。

表1 YOLO v3網(wǎng)絡結(jié)構(gòu)

Darknet-53抑制了梯度彌散現(xiàn)象，降低各殘差塊數(shù)據(jù)擬合的復雜性，多尺度融合的檢測方法可以更好的對圖像中大小不同的目標進行檢測。圖片經(jīng)Darknet-53在5次降采樣后得到3個不同尺度的特征圖，提供深層次的語義信息及目標的位置信息，生成候選區(qū)域，預測數(shù)據(jù)集，最后合并3個特征圖確定圖像中車輛所在位置區(qū)域。

Darknet-53僅利用三個尺度提取圖像中車輛的特征，不能充分利用低層特征的細節(jié)信息，導致圖像許多小目標的位置信息丟失，難以檢測小目標。為降低復雜環(huán)境下車輛識別的困難性，通過提高網(wǎng)絡特征圖譜尺寸的方法盡可能多的識別預測圖像中的目標個數(shù)，將多層卷積和池化步驟后的網(wǎng)格由原7×7變成14×14，擴大后的網(wǎng)格尺寸增加對輸入圖像中小目標對象的特征提取及識別能力，提高系統(tǒng)的識別準確率。

3.2 改進FAST算法

FAST算法以固定閾值檢測特征點效果不理想，本文通過自適應閾值法來初步選擇候選點，定義動態(tài)圖像整體閾值T1，利用最佳直方圖熵法得到動態(tài)局部閾值T2，以灰度直方圖來估計圖像灰度值的概率分布，得到更加靈活合理的閾值。以閾值t為像素分界線，S1為步驟2中各小區(qū)間前半部分像素的概率分布，S1={P1，P2，P3，...，Pt}，S2為后半部分像素的概率分布，S2={Pt+1，Pt+2，Pt+3，...，PL-1}，設出現(xiàn)各個灰度級的概率為Pi，則令Pt為：

則可知S1、S2的熵分別為：

故圖像的熵等于各小區(qū)間內(nèi)熵S1與S2之和，并將最佳全局閾值T1設置為：

式(6)中TMAX及TMIN分別為圖像熵最大化及最小化的灰度級。

采用KSW熵方法易造成圖像存在陰影、噪聲干擾和背景漸變等情況。故以局部動態(tài)閾值T2篩選全圖閾值T1得到的候選點。取圖像中候選特征點(xo，yo)為中心點且邊長為L的矩形，定義T2：

式(7)中Iimin和Iimax分別指在矩形L中最小和最大的n個灰度值，Iiaver為矩形區(qū)域中的灰度平均值，經(jīng)過實驗，k值通常范圍為2～5。

在完成以上步驟后，計算圖像中各特征點在X及Y方向的二階偏導數(shù)，及圖像的XY方向的導數(shù)，以黑塞矩陣（Hessian Matrix）刪除余下的不穩(wěn)定邊緣特征點。如式(8)所示：

按照特征值與曲線的曲率成正比的規(guī)律，當θ不大于（r=10），該特征點被保留，否則拋棄該邊緣特征點[13]。

3.3 雙向匹配算法

引入雙向交叉匹配算法使ORB算法獲取更加穩(wěn)點準確的待匹配關(guān)鍵點，提高算法魯棒性，排除因背景雜亂而生成的無匹配相關(guān)性的特征點，在本文角點檢測算法的改進基礎上結(jié)合雙向交叉匹配算法刪簡部分無匹配關(guān)系的特征點[14]?；谡蚱ヅ浣Y(jié)果，求得待匹配圖像中已被匹配的特征點在原圖特征匹配點中歐氏距離最短的2個特征點的距離，若最短距離除次短距離得到的數(shù)值，小于預定的匹配閾值，則匹配正確。應用于后續(xù)車輛跟蹤中，當目標存在遮擋時，雙向匹配算法可有效減少相似目標的誤判，提高對前方車輛跟蹤的準確率。

4 基于ORB特征匹配的汽車跟蹤算法

目前基于相關(guān)濾波器的KCF跟蹤算法在跟蹤效果及速度方面都有較好的表現(xiàn)，但傳統(tǒng)KCF算法在汽車受遮擋時無法準確跟蹤。因此，將改進的ORB特征匹配算法與KCF跟蹤算法相結(jié)合。普通場景下，特征點隨機分散在汽車的全局區(qū)域內(nèi)，即特征點的提取位置同樣分布在圖像的各個區(qū)域，因此當前方目標車輛被遮擋或者是本身發(fā)生一定形變時，在提取特征點過程中仍會提取一些特征點。僅在前方車輛被檢測存在遮擋的情況時，進入丟失重捕階段，對后續(xù)的一幀或幾幀圖像進行特征提取，通過特征匹配重新找到目標汽車對其繼續(xù)跟蹤，由于提取的特征點具有良好的穩(wěn)定性，從而達到提高算法速度，保留算法魯棒性的效果。

算法流程如下：首先輸入測試視頻，選擇要跟蹤的前方車輛，然后用KCF跟蹤算法進行跟蹤；跟蹤過程中以該幀目標區(qū)的參數(shù)置信度為標準判斷目標車輛是否存在遮擋，若檢測到目標車輛被遮擋，則在當前幀以改進ORB算法提取特征點生成模板特征；然后提取下一幀圖像的特征點來匹配模板特征，并通過匹配計算出單個響應矩陣，對前方目標車輛重新定位。若跟蹤過程中目標車輛再次被檢測從未遮擋到被遮擋，則由生成的新模板特征替換先前的模板特征。

5 結(jié)果分析

本文算法實驗測試環(huán)境：處理器為Intel（R）Core（TM）i5－4200M，主頻3.80GHz，內(nèi)存為10GB，64位Win10系統(tǒng)、Visual Studio 2017和Open CV2.4.13.4。

實驗1 在圖像匹配點數(shù)一致的條件下，將改進后的ORB算法與原算法比較匹配效率。對比表2數(shù)據(jù)結(jié)果，經(jīng)過改進后的ORB算法在圖像匹配中刪簡了許多無匹配關(guān)系的特征點及孤立的非前景特征點，進一步優(yōu)化了圖像特征點提取的性能，盡管在計算選取初始特征點時間復雜度雖有一定增加，但引入雙向匹配算法有效減少算法運行時間，還是有了一個相對好的匹配效果。

表2 改進算法前后的數(shù)據(jù)對比

實驗2 為了更直觀體現(xiàn)改進ORB算法的性能，利用改進ORB算法處理圖片，然后與原算法結(jié)果對比，如圖2所示。左圖可以看出復雜交通環(huán)境下ORB算法匹配存在較多誤匹配，右圖改進算法匹配結(jié)果可以看出圖像中無關(guān)車輛對結(jié)果的干擾基本排除，車輛圖像匹配效果較好。

圖2 原算法與改進算法圖像匹配

實驗3 為了驗證本文算法在復雜場景下對前方車輛跟蹤的有效性，實驗測試視頻于Youtube視頻數(shù)據(jù)集中隨機選取，避免了視頻的針對性。視頻環(huán)境相對復雜，包括行人、車輛和其他類型目標。數(shù)據(jù)集部分圖片如圖3所示。當前方目標車輛處于復雜環(huán)境且存在遮擋問題時，與傳統(tǒng)KCF及DSST算法相比較，基于改進ORB的KCF跟蹤算法的平均精度和平均成功率均有一定程度的提升。得出3種算法的平均精確度圖與平均成功率圖，如圖4、圖5所示。

圖3 測試視頻截圖

圖4 平均成功率

圖5 平均精度

為進一步分析本文算法性能，在城市各道路自行錄制4段視頻素材，分別為無遮擋視頻，短時遮擋視頻，長時遮擋視頻及復雜交通環(huán)境視頻。表3是各同類算法跟蹤前方目標車輛的誤差對比，實驗重復10次以平均值作為最終結(jié)果。表4是各算法運行速度對比。結(jié)果顯示本文算法對前方車輛跟蹤估計的準確性最高，當目標車輛存在遮擋情況時與其他算法相比對目標的狀態(tài)估計性能更優(yōu)。改進后的算法運算速度略優(yōu)于原KCF算法，本文算法在前方目標車輛被遮擋時會進行丟失重捕及特征匹配步驟，耗時有所增加但仍滿足算法的實時性跟蹤要求。

表3 估計誤差/像素

表4 運行速度對比/ (幀/s)

6 結(jié)語

本文首先針對ORB算法在復雜的圖像匹配中準確率低的缺點，引入YOLO v3算法識別圖像車輛區(qū)域后以再以改進的FAST和BRIEF檢測和描述特征點，并引入雙向匹配算法提高算法魯棒性，經(jīng)改進后的算法刪減了大量冗余特征點，且抗噪性能得到增強，并通過與原算法比較，證明改進后的算法仍然具有計算速度快的特點，同時提高了匹配精度，可滿足實時性強且環(huán)境復雜的跟蹤應用要求。

傳統(tǒng)KCF算法因跟蹤尺度單一，抵抗遮擋能力較差，在目標發(fā)生尺度變化或被大面積遮擋時跟蹤效果不佳。針對上述問題，將KCF算法與改進后的ORB算法進行有效結(jié)合，當前方目標車輛存在遮擋情況時，提取該車輛的特征點，并與視頻的后續(xù)幾幀進行匹配，直到找出目標為止。改進算法跟蹤前方目標車輛表現(xiàn)出較好的魯棒性，提升了跟蹤系統(tǒng)的自動識別及目標丟失重捕的能力，實驗現(xiàn)象表明較傳統(tǒng)算法在車輛抗遮擋方面有很大改善，跟蹤效果有顯著提高，在復雜的環(huán)境背景下具有較好的跟蹤精度。

后續(xù)研究將針對本文算法對比原算法運行速度無明顯優(yōu)勢的問題，通過深度學習等方法繼續(xù)對特征點提取及匹配進行優(yōu)化，進一步增強基于特征匹配的跟蹤算法的實時性。