厲 丹，鮑 蓉，孫金萍，肖理慶，黨向盈

(1.徐州工程學(xué)院 江蘇省大型工程裝備檢測與控制重點(diǎn)建設(shè)實(shí)驗(yàn)室，江蘇 徐州 221000; 2.徐州工程學(xué)院 信電工程學(xué)院，江蘇 徐州 221000) (*通信作者電子郵箱lidanonline@163.com)

多分辨率LK光流聯(lián)合SURF的跟蹤方法

厲 丹1,2*，鮑 蓉2，孫金萍2，肖理慶2，黨向盈2

(1.徐州工程學(xué)院 江蘇省大型工程裝備檢測與控制重點(diǎn)建設(shè)實(shí)驗(yàn)室，江蘇 徐州 221000; 2.徐州工程學(xué)院 信電工程學(xué)院，江蘇 徐州 221000) (*通信作者電子郵箱lidanonline@163.com)

針對交通監(jiān)控中運(yùn)動(dòng)目標(biāo)形變、霧霾天氣、高速、光照不均、部分遮擋等復(fù)雜情況導(dǎo)致Lucas-Kanade(LK)算法跟蹤不穩(wěn)定問題，提出基于多分辨率LK光流算法聯(lián)合快速魯棒性特征(SURF)的跟蹤算法。所提算法構(gòu)建圖像多分辨率小波金字塔，解決傳統(tǒng)LK算法中同一像素點(diǎn)幀間大尺度運(yùn)動(dòng)易丟失問題；同時(shí)聯(lián)合SURF尺度不變特征變換算法，提取特征點(diǎn)進(jìn)行光流跟蹤，并制定自適應(yīng)模板實(shí)時(shí)更新策略；在減少光流計(jì)算量的同時(shí)增強(qiáng)運(yùn)動(dòng)目標(biāo)抗復(fù)雜環(huán)境的能力。實(shí)驗(yàn)結(jié)果表明，新方法中特征點(diǎn)匹配準(zhǔn)確快速，自適應(yīng)性強(qiáng)，在交通復(fù)雜化境中跟蹤穩(wěn)定。

光流算法；特征提取；快速魯棒性特征；多分辨率; 目標(biāo)跟蹤

0 引言

目標(biāo)檢測和跟蹤是當(dāng)今計(jì)算機(jī)視覺領(lǐng)域的復(fù)雜、熱點(diǎn)研究課題之一。隨著經(jīng)濟(jì)發(fā)展，交通工具不斷增加，公路承載能力相對不足，交通事故頻發(fā)[1-2]。智能交通系統(tǒng)中運(yùn)動(dòng)目標(biāo)檢測跟蹤技術(shù)結(jié)合圖像處理、計(jì)算機(jī)和自動(dòng)化控制技術(shù)，實(shí)時(shí)監(jiān)控交通目標(biāo)，提取目標(biāo)位置、形態(tài)結(jié)構(gòu)、運(yùn)動(dòng)參數(shù)等信息，對改善交通狀況提供決策依據(jù)。近年來光流技術(shù)[3]在模式識別、計(jì)算機(jī)視覺以及圖像處理領(lǐng)域廣泛受到關(guān)注。光流法基于圖像連續(xù)序列，抽取光流場，由于目標(biāo)和背景存在相對運(yùn)動(dòng)，運(yùn)動(dòng)速度矢量不同于相鄰區(qū)域，根據(jù)像素點(diǎn)速度矢量特征，進(jìn)行運(yùn)動(dòng)估計(jì)，進(jìn)而檢測目標(biāo)及其位置區(qū)域。

Horn等[4]最早引入光流約束方程，提出二維速度場同灰度相聯(lián)系，發(fā)展至今包括基于梯度的方法、基于匹配的方法、基于能量的方法及基于相位的方法[5]。基于匹配的方法對相鄰幀字塊匹配進(jìn)行運(yùn)動(dòng)估計(jì)，特征提取和精確匹配較難；基于能量和相位的方法跟蹤效果較好, 但計(jì)算負(fù)荷大,實(shí)時(shí)性較差；基于梯度的方法研究最多，以圖像灰度不變?yōu)闂l件導(dǎo)出光流約束方程，如Horn-Schunck、Lucas-Kanade(LK)[6]、Nagel[7]等算法。Tao等[8]提出通過樣本的稀疏子集估計(jì)光流場，以減少計(jì)算量。Parvathy等[9]定義光流信息的運(yùn)動(dòng)軌跡模型，由此檢測運(yùn)動(dòng)目標(biāo)的行為。文獻(xiàn)[10]提出一種快速計(jì)算的基于稀疏光流的物體跟蹤方法,通過計(jì)算圖像特定像素光流矢量實(shí)現(xiàn)物體檢測、跟蹤。文獻(xiàn)[11]提出基于平面假設(shè)，通過光流跟蹤算法實(shí)現(xiàn)幀間小位移定位的卡爾曼方法和特征點(diǎn)匹配融合的算法。張志禹等[12]提出基于SURF與光流法相結(jié)合的增強(qiáng)現(xiàn)實(shí)局部跟蹤注冊方法,該方法首先通過光流法跟蹤目標(biāo)，然后提取SURF特征，最后建立三維注冊矩陣，提高了三維注冊的速度和精度，然而該方法僅對光流跟蹤更新，沒有將其與SURF聯(lián)合制定更新策略。

基于梯度的光流方法雖實(shí)現(xiàn)簡單，但存在以下問題：1)基于光流灰度守恒的制約，該方法不適用于光照變化的情況；2)光流法僅關(guān)注像素點(diǎn)，忽略運(yùn)動(dòng)目標(biāo)和像素點(diǎn)的關(guān)聯(lián)；3)對環(huán)境噪聲敏感，跟蹤快速移動(dòng)物體易失??；4)受攝像機(jī)抖動(dòng)等因素影響，形成的異常信號會(huì)導(dǎo)致產(chǎn)生不連續(xù)形變場。

針對以上問題，本文以城市道路交通復(fù)雜環(huán)境為背景，提出基于多分辨率LK光流算法聯(lián)合快速魯棒性特征(Speed Up Robust Feature, SURF)的跟蹤方法，首先利用高斯背景建模提取前景目標(biāo)，接著利用SURF局部尺度不變特征變換算法檢測前景目標(biāo)特征點(diǎn)，然后通過構(gòu)建圖像多分辨率小波金字塔改進(jìn)LK稀疏光流法對特征點(diǎn)進(jìn)行檢測和跟蹤，并制定自適應(yīng)模板實(shí)時(shí)更新策略，根據(jù)模板更新方法實(shí)時(shí)更新跟蹤窗口。新方法對車輛形變、高速、霧霾天氣、光照不均、部分遮擋等復(fù)雜環(huán)境有較高魯棒性，增強(qiáng)抗噪能力的同時(shí)提高運(yùn)算效率和精度，實(shí)現(xiàn)目標(biāo)穩(wěn)定跟蹤。

1 LK光流法

LK算法屬于稀疏光流算法，相比稠密光流法跟蹤過程中需要計(jì)算圖像所有像素點(diǎn)光流矢量，LK算法僅需計(jì)算代表圖像特征的像素點(diǎn)的光流矢量，在跟蹤過程中具有良好的實(shí)時(shí)性，匹配準(zhǔn)確，復(fù)雜度較低。算法假設(shè)像素鄰域空間運(yùn)動(dòng)矢量相同, 計(jì)算相鄰圖像中相應(yīng)像素點(diǎn)的流向信息，通過獲取特征點(diǎn)周圍小窗口局部信息匹配光流矢量。LK算法如式(1)所示：

(1)

其中：鄰域內(nèi)各像素點(diǎn)的權(quán)重用W(x)窗口加權(quán)函數(shù)表示；Ω是光流一致的含有n個(gè)點(diǎn)的鄰域范圍。通過最小二乘法求解式(2)，最小化能量函數(shù)，從而求解光流得式(3)。

ATW2AV=ATW2B

(2)

V=(ATW2A)-1ATW2B

(3)

其中：A=(▽I(x1)，▽I(x2)，▽I(x3)，…▽I(xn))T,W=diag(W(x1),W(x2),…，W(xn))，B=-(It(x1)，It(x2)，…，It(xn))T。ATW2A表達(dá)如式(4)：

(4)

利用線性系統(tǒng)求解得到光流場。令δI為相鄰圖像It+1(x,y)、It(x,y)在(x,y)處的差，It+1(x,y)、It(x,y)分別為t+1和t時(shí)刻像素(x,y)的灰度值。δI=It+1(x-dx,y-dy)-It(x,y)，δ表示在t時(shí)刻，鄰域像素在t+1產(chǎn)生位移量為[dxdy]T的移動(dòng)，當(dāng)δ取最小值時(shí)即得位移量。光流殘差函數(shù)δ表示如下：

δ=?W[It+1(x-dx,y-dy)-It(x,y)]2dxdy

(5)

雖然LK算法有良好的實(shí)時(shí)性,但通用性不強(qiáng)，如在跟蹤過程中攝像機(jī)運(yùn)動(dòng)造成抖動(dòng),使物體在相鄰兩幀之間位移較大，或跟蹤快速移動(dòng)物體時(shí)會(huì)出現(xiàn)目標(biāo)誤匹配的現(xiàn)象,導(dǎo)致丟失目標(biāo)，跟蹤精度下降，其抗噪能力也有待增強(qiáng)。

2 聯(lián)合跟蹤方法

2.1 多分辨率位移改進(jìn)

由于LK算法中存在同一像素點(diǎn)在相鄰兩幀間存在較大位移量易導(dǎo)致跟蹤失敗的問題，基于多分辨率思想,本文構(gòu)建圖像多分辨率小波金字塔，在不同尺度求取位移量，實(shí)施LK算法，利用小波金子塔層與層間的位移傳遞計(jì)算，使得不同尺度上的位移量相比原始位移量縮小。

基于卷積的Mallat離散小波變換算法利用圖像水平、垂直方向上交替使用低通及高通濾波實(shí)現(xiàn)，其計(jì)算復(fù)雜度高，實(shí)時(shí)性差。本文采用提升小波變換算法，信號的高頻分量通過多項(xiàng)式插補(bǔ)求得，信號的低頻分量通過構(gòu)建多尺度函數(shù)求得，不依賴傅里葉變換，將其引入多分辨率金字塔中，可以將二階濾波變換或離散小波變換分解為系列提升步驟，通過分解現(xiàn)有的小波濾波器完成小波變換，逆小波變換實(shí)現(xiàn)也快速、簡單，將正向變換步驟求反即可。圖像n層提升小波分解變換后可得不同尺度的1個(gè)低頻分量及3n個(gè)高頻分量。

通過提升小波算法在多尺度分解圖像,構(gòu)造提升小波金字塔，令I(lǐng)n-1(x,y)為第n-1層的金字塔圖像，In(x,y)為上層圖像，n為金字塔總層數(shù)。令gm為金字塔中m層初始估計(jì)的光流矢量，Δfm為光流計(jì)算矢量值，最上層光流初始值為gn-1=0。金字塔的各層之間光流映射關(guān)系如式(6)所示，其中k為層間映射關(guān)系系數(shù)。根據(jù)上層圖像對下層金字塔圖像進(jìn)行光流計(jì)算，得到原圖像的運(yùn)動(dòng)參數(shù)如式(7)所示：

gm-1=k(gm+Δfm)

(6)

(7)

本文選取3層金字塔，頂層光流量g2=0，根據(jù)V=(ATW2A)-1ATW2B可以求取Δf2的光流矢量值，代入gm-1=k(gm+Δfm)中，可以得到2層光流量g1=kΔf2，依次迭代，進(jìn)一步可以求得最底層的光流量g0以及Δf0的值，f=g0+Δf0，因此初始圖像的光流值為：

(8)

設(shè)光流在計(jì)算時(shí)每次處理的移動(dòng)距離DMAX最大為1像素，利用提升小波分辨率金字塔計(jì)算后可以將像素最大移動(dòng)距離提升為(2m+1-1)DMAX，當(dāng)m取3時(shí)，構(gòu)造三層金字塔，代入DMAX=1，則最大位移量是15像素，因此，通過引入提升小波構(gòu)造多分辨率變換金字塔，可以解決LK算法不能跟蹤快速運(yùn)動(dòng)目標(biāo)的問題。

2.2 聯(lián)合SURF

SURF[13]算法保持了尺度不變特征變換(Scale-InvariantFeatureTransform,SIFT)算法尺度、仿射不變性的特點(diǎn)，同時(shí)匹配效率得到很大提高。本文高斯背景建模后，提取運(yùn)動(dòng)目標(biāo)，將SURF算法提取的目標(biāo)特征點(diǎn)用多分辨率小波金字塔改進(jìn)的LK稀疏光流法計(jì)算運(yùn)動(dòng)估計(jì)。由于僅對局部運(yùn)動(dòng)矢量特征點(diǎn)處理，可以減少特征點(diǎn)的提取、匹配區(qū)域，相對全局光流算法，極大降低冗余數(shù)據(jù)，減少了光流計(jì)算量，增強(qiáng)了系統(tǒng)實(shí)時(shí)性。此外，通過制定自適應(yīng)模板更新策略，可以有效解決因長時(shí)間跟蹤致使累積誤差導(dǎo)致的跟蹤失敗問題。

常用的Harris、Susan、Moravec角點(diǎn)檢測算子的描述信息比較單一，特征點(diǎn)集中在局部區(qū)域，對尺度、光照、旋轉(zhuǎn)、噪聲、縮放等較為敏感。SURF算法在借鑒SIFT簡化近似的思想的同時(shí)計(jì)算速度提高近3倍，該算法簡化了高斯二階微分模板，使用積分圖像生成特征矢量，從而避免特征矢量在生成的時(shí)候的重復(fù)運(yùn)算，包括以下步驟：

1)構(gòu)建尺度空間檢測特征點(diǎn)。

使用Hessian矩陣行列式在尺度空間尋找局部極大值。圖像某點(diǎn)的Hessian矩陣定義如下：

(9)

圖1 尺度空間金字塔

det(H)=Dxx×Dyy-(0.9×Dxy)2

(10)

Dxx、Dxy、Dyy為濾波模板和圖像卷積后的結(jié)果。選擇不同尺度Hessian檢測算子的盒式濾波器構(gòu)建多尺度空間金字塔圖像，尋找不同尺度的特征點(diǎn)。

圖2 高斯二階微分模板

2)主方向與特征描述算子。

特征點(diǎn)作中心，設(shè)s是特征點(diǎn)所在的尺度值，計(jì)算半徑6s(s=1.2)鄰域內(nèi)的點(diǎn)在x和y方向的Haar小波響應(yīng)，同時(shí)設(shè)置高斯權(quán)重系數(shù)。為了求取主方向，以步長0.2弧度左右旋轉(zhuǎn)π/3范圍扇形滑動(dòng)窗口，對范圍內(nèi)的Haar小波響應(yīng)值累加，得到新的矢量，整個(gè)圓形區(qū)域遍歷后主方向?yàn)樽铋L矢量對應(yīng)的方向，即最大Haar小波響應(yīng)累加值對應(yīng)的方向，選取過程如圖3所示。

將坐標(biāo)軸旋轉(zhuǎn)至主方向，圍繞特征點(diǎn)，取邊長為20s的方形區(qū)域，將其劃分成4×4的子窗口，如圖4所示，每個(gè)子窗口有5s×5s個(gè)像元，利用尺度是2s的小波對子窗口圖像計(jì)算響應(yīng)值，采樣后得到垂直主方向的dx和沿主方向的dy，以特征點(diǎn)作為中心進(jìn)行高斯加權(quán)計(jì)算，計(jì)算各個(gè)子窗口的響應(yīng)值，其矢量表示如下：

V子窗口=[∑dx,∑|dx|,∑dy,∑|dy|]

(11)

共4×4個(gè)子窗口，特征描述算子形成4×(4×4)=64維特征矢量后再對向量進(jìn)行歸一化處理，相比SIFT算法，維度減少一半，大幅度提高了匹配效率。

圖3 生成描述算子

圖4 主方向選取過程

3)特征匹配。

本文在匹配SURF特征矢量過程中采用改進(jìn)的K-維樹(K-dimensionaltree,K-d樹)最近鄰優(yōu)先(BestBinFirst,BBF)查詢機(jī)制提高查詢效率。BBF將查詢的節(jié)點(diǎn)按分割超平面和查詢點(diǎn)的距離進(jìn)行排序，能確保優(yōu)先檢索到含有最近節(jié)點(diǎn)可能性高的空間，從最高優(yōu)先級的節(jié)點(diǎn)回溯檢查，當(dāng)優(yōu)先級隊(duì)列中節(jié)點(diǎn)都檢查完畢或超時(shí)的時(shí)候，返回找到的最優(yōu)結(jié)果作為最近鄰。前后兩幀中計(jì)算A圖中某特征點(diǎn)和B圖所有特征點(diǎn)的歐氏距離，當(dāng)最近和次近距離比小于設(shè)定閾值0.6時(shí)，則特征點(diǎn)匹配。SURF提取的特征點(diǎn)集通過隨機(jī)抽樣一致性(RANdomSAmpleConsensus,RANSAC)算法利用內(nèi)點(diǎn)建立參數(shù)模型，可以有效去除不準(zhǔn)確的特征點(diǎn)。

針對求解單應(yīng)性變換矩陣H的非線性優(yōu)化問題，為了避免照度變換影響，對RANSAC計(jì)算的單應(yīng)變換矩陣H構(gòu)造梯度誤差函數(shù)，設(shè)(x′,y′)和(x,y)是匹配的特征點(diǎn)對，變換模型和梯度誤差函數(shù)如式(12)、(13)所示：

(12)

(13)

圖5為不同環(huán)境中，兩幀通過改進(jìn)SURF算法匹配的結(jié)果：圖5(a)中存在明顯仿射變換，且右圖增加了噪聲，分辨率低；圖5(b)光照變化明顯，且左右兩圖拍攝視角不同；圖5(c)中車輛分別位于陰影處和光照處，且存在旋轉(zhuǎn)變化；圖5(d)中左圖車輛前半部分區(qū)域被樹遮擋，但由于SURF算法無需提供全局信息，因此未遮擋區(qū)域仍可較好匹配，體現(xiàn)了SURF較好抗復(fù)雜環(huán)境的能力。

圖5 改進(jìn)SURF算法圖像匹配結(jié)果

表1是SIFT和SURF兩種算法對以上不同環(huán)境兩幅圖匹配后的特征點(diǎn)個(gè)數(shù)和計(jì)算時(shí)間的比較結(jié)果，經(jīng)過RANSAC優(yōu)化，兩種算法特征點(diǎn)匹配準(zhǔn)確率及數(shù)量差異不大，但SURF算法計(jì)算效率明顯有較大優(yōu)勢，時(shí)間節(jié)省近一半。SIFT算法實(shí)現(xiàn)時(shí)，需要重設(shè)圖像尺寸，且每層圖像依賴于前一層結(jié)果，運(yùn)算量很大；而SURF算法在多尺度空間同時(shí)被處理，無需二次抽樣，運(yùn)算性能得到增強(qiáng)。

表1 SIFT和SURF算法匹配性能比較

2.3 模板更新

在跟蹤目標(biāo)過程中，環(huán)境背景時(shí)常變化，如果初始模型不進(jìn)行更新，遇到照度變化、目標(biāo)形變、旋轉(zhuǎn)、遮擋等情況時(shí)因模型偏差極大，影響跟蹤效果，因此本文通過制定模板更新方法以提高跟蹤算法適用性。

在模板更新過程中，無需每幀都更新，否則會(huì)增加系統(tǒng)運(yùn)行負(fù)擔(dān)。利用高斯背景建模后提取前景目標(biāo)確定跟蹤窗口，對窗口內(nèi)的SURF特征點(diǎn)分配權(quán)值Wj，接近目標(biāo)的權(quán)值較大，接近背景的權(quán)值較小，當(dāng)特征點(diǎn)估計(jì)位置超出跟蹤窗口一定比例時(shí)，更新模板。令窗口內(nèi)外特征點(diǎn)數(shù)分別為Nin和Nout，若Nout/(Nin+Nout)>K時(shí)，則更新模板，文中K取0.25。更新模板時(shí)，令跟蹤窗口包含所有光流估計(jì)特征點(diǎn)，將檢測到的SURF特征點(diǎn)和前一幀的跟蹤模板進(jìn)行特征匹配，匹配后按照下式更新所有特征點(diǎn)權(quán)值：

Wj′(t)=C(α(Wj(t)+1/M)+(1-α)Wj(t-1))

(14)

其中：M為特征點(diǎn)總個(gè)數(shù)，C為歸一化系數(shù)，α是為了使特征模板在更新時(shí)，降低對背景環(huán)境的變化的敏感程度引入的折中系數(shù)，本文取0.7。更新結(jié)束后，刪除掉權(quán)值低的N個(gè)特征點(diǎn)，提高特征點(diǎn)純度，實(shí)現(xiàn)模板更新，對抗復(fù)雜環(huán)境有較好魯棒性。

2.4 算法總體流程

算法步驟：

步驟1 高斯背景建模得到前景目標(biāo)，建立初始模板，獲得跟蹤窗口。

步驟2 檢測SURF特征點(diǎn)，利用RANSAC算法對內(nèi)點(diǎn)建立參數(shù)模型，去除不準(zhǔn)確的特征點(diǎn)，并對RANSAC計(jì)算的單應(yīng)變換矩陣H構(gòu)造梯度誤差函數(shù),迭代更新單應(yīng)性矩陣。

步驟3 對SURF算法提取的特征點(diǎn)利用提升小波構(gòu)造多分辨率變換金字塔改進(jìn)的LK稀疏光流法計(jì)算運(yùn)動(dòng)估計(jì)，實(shí)現(xiàn)LK算法對快速運(yùn)動(dòng)目標(biāo)的跟蹤。

步驟4 判斷是否最后一幀，若是，結(jié)束跟蹤；若不是，進(jìn)行模板更新判斷。若不需模板更新，轉(zhuǎn)步驟3繼續(xù)跟蹤；若需要模板更新，根據(jù)上文模板更新方法更新跟蹤窗口，檢測SURF特征點(diǎn)，更新特征點(diǎn)權(quán)值，刪除低權(quán)值特征點(diǎn)，轉(zhuǎn)步驟3繼續(xù)跟蹤。

3 本文算法驗(yàn)證

在交通環(huán)境中，利用監(jiān)控視頻在WindowsXPSP4、2.4GHzCPU、2GB內(nèi)存、MatlabR2012a環(huán)境的計(jì)算機(jī)中進(jìn)行實(shí)驗(yàn)，視頻圖像大小為400×320。利用高斯背景建模確定初始跟蹤目標(biāo)，通過優(yōu)化后的SURF算法求取目標(biāo)局部不變特征點(diǎn)，對生成的矢量特征點(diǎn)進(jìn)行LK光流運(yùn)動(dòng)估計(jì)，同時(shí)運(yùn)用提升小波多分辨率金字塔改進(jìn)光流運(yùn)動(dòng)矢量，并自適應(yīng)更新模板，完成目標(biāo)跟蹤。

圖6為不同算法在不同環(huán)境中的跟蹤結(jié)果比較。圖6(a)～(e)分別為本文算法測試的高速路段車輛光流場矢量圖、運(yùn)動(dòng)車輛二值圖、本文高速環(huán)境跟蹤圖以及全局SURF算法和傳統(tǒng)LK算法高速環(huán)境跟蹤圖，從左到右依次為視頻中35幀、76幀、97幀和121幀。圖6(b)中，高斯背景建模進(jìn)行背景差分提取前景車輛，并用濾波、形態(tài)學(xué)腐蝕開閉去掉噪聲和道路信息。圖6(c)中，本文算法基于多分辨率思想，在不同尺度求取位移量，實(shí)施LK算法，利用小波金子塔層與層間的位移傳遞計(jì)算，使得不同尺度上的位移量相比原始位移量縮小，在相鄰兩幀間存在較大位移量的環(huán)境中能夠穩(wěn)定跟蹤。圖6(d)、(e)圖中全局SURF算法和傳統(tǒng)LK算法在高速環(huán)境下易丟失目標(biāo)。圖6(f)～(k)分別為不同算法在霧霾環(huán)境和車輛遇到樹木遮擋情況下的跟蹤圖，由于本文算法利用局部SURF算法提取的特征點(diǎn)進(jìn)行LK稀疏光流法計(jì)算運(yùn)動(dòng)估計(jì)，且自適應(yīng)更新特征模板，對霧霾環(huán)境抗噪能力強(qiáng)，當(dāng)遮擋情況發(fā)生時(shí)，未被遮擋的車身仍可檢測出來，汽車重現(xiàn)時(shí)繼續(xù)跟蹤，有較高的抗遮擋性能。由于全局SURF算法耗時(shí)大，雖具有一定抗復(fù)雜環(huán)境能力，但實(shí)時(shí)跟蹤難以保證，跟蹤過程不穩(wěn)定。傳統(tǒng)LK算法抗復(fù)雜環(huán)境能力差，且在車輛幀間位移較大的情況下，易導(dǎo)致跟蹤精度下降，致使目標(biāo)最終丟失。

表2為對高噪、霧霾、部分遮擋、照度不均等復(fù)雜環(huán)境的6組交通視頻，每組分成100段，通過全局SURF逐幀跟蹤、傳統(tǒng)LK算法及本文LK聯(lián)合SURF局部跟蹤方法后進(jìn)行跟蹤平均耗時(shí)及跟蹤準(zhǔn)確率比較。SURF逐幀跟蹤對每一幀提取SURF特征，并通過匹配幀間特征點(diǎn)偏移向量跟蹤目標(biāo)，耗時(shí)大。LK稀疏光流算法有較高的實(shí)時(shí)性，但對快速運(yùn)動(dòng)、低分辨率、照度變化等情況魯棒性低。本文算法實(shí)時(shí)性和LK相差不多，但準(zhǔn)確率得到很大程度的提高，抗復(fù)雜環(huán)境能力較強(qiáng)。

4 結(jié)語

傳統(tǒng)基于稠密光流的跟蹤方法計(jì)算量大，難以滿足實(shí)時(shí)性要求；LK算法復(fù)雜度較低、實(shí)時(shí)性好，但存在的對噪聲敏感、大尺度運(yùn)動(dòng)跟蹤易失敗的問題。為了將其應(yīng)用于復(fù)雜交通環(huán)境車輛的檢測跟蹤，本文采用提升小波多分辨率算法構(gòu)建圖像多分辨率小波金字塔,用改進(jìn)LK算法解決跟蹤快速移動(dòng)物體時(shí)會(huì)出現(xiàn)目標(biāo)誤匹配的現(xiàn)象,同時(shí)聯(lián)合SURF特征點(diǎn)匹配算法，制定模板更新規(guī)則，在檢測特征點(diǎn)的基礎(chǔ)上，降低外點(diǎn)概率，通過多分辨率小波金字塔光流算法跟蹤這些局部特征點(diǎn)，解決戶外交通中由于車輛尺度改變、光照不均、霧霾天氣、噪聲大等復(fù)雜環(huán)境引起的跟蹤失敗問題，提高了運(yùn)算效率，增強(qiáng)抗干擾能力，魯棒性高，能穩(wěn)定跟蹤快速運(yùn)動(dòng)車輛，在智能交通系統(tǒng)目標(biāo)跟蹤中有良好應(yīng)用前景。

表2 不同算法跟蹤耗時(shí)及準(zhǔn)確率比較

)

[1] 王為,姚明海.基于計(jì)算機(jī)視覺的智能交通監(jiān)控系統(tǒng)[J].浙江工業(yè)大學(xué)學(xué)報(bào),2010,38(5):574- 579.(WANGW,YAOMH.Intelligenttransportationmonitoringsystembasedoncomputervision[J].JournalofZhejiangUniversityofTechnology, 2010, 38(5): 574-579.)

[2] 李樂平,高楊.一種高準(zhǔn)確率的交通監(jiān)控視頻車輛檢測算法[J].計(jì)算機(jī)測量與控制,2015,23(3):852-854.(LILP,GAOY.Ahighaccuracyandlowcomputecostapproachintrafficvideovehiclesclassification[J].ComputerMeasurementandControl, 2015, 23(3): 852-854.)

[3] 石祥濱,王萌,張德園,等.種持續(xù)光流跟蹤的運(yùn)動(dòng)目標(biāo)檢測方法[J].小型微型計(jì)算機(jī)系統(tǒng),2014,35(3):642-647.(SHIXB,WANGM,ZHANGDY,etal.Anapproachformovingobjectdetectionusingcontinuingtrackingopticalflow[J].JournalofChineseComputerSystems, 2014, 35(3): 642-647.)

[4]HORNBKP,SCHUNCKBG.Determiningopticalflow[J].ArtificialIntelligence, 1981, 17(1/2/3): 185-203.

[5] 宋爽,楊健，王涌天.全局光流場估計(jì)技術(shù)及展望[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(5):841-850.(SONGS,YANGJ,WANGYT.Technologyandprospectofglobalopticalflow[J].JournalofComputer-AidedDesignandComputerGraphics, 2014, 26(5): 841-850.)

[6]LUCASBD,KANADET.Aniterativeimageregistrationtechniquewithanapplicationtostereovision[J].Proceedingsofthe7thInternationalJointConferenceonArtificialIntelligence.SanFrancisco,CA:MorganKaufmannPublishers, 1981,2: 674-679.

[7]NAGELHH,ENKELMANNW.Aninvestigationofsmoothnessconstraintsfortheestimationofdisplacementvectorfieldsfromimagesequences[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1986, 8(5): 565-593.

[8]TAOM,BAIJ,KOHLIP,etal.SimpleFlow:anon-iterative,sublinearopticalflowalgorithm[J].ComputerGraphicsForum, 2012, 31(2pt1): 345-353.

[9]PARVATHYR,THILAKANS,JOYM,etal.Anomalydetectionusingmotionpatternscomputedfromopticalflow[C]//Proceedingsofthe2013ThirdInternationalConferenceonAdvancesinComputingandCommunications.Washington,DC:IEEEComputerSociety, 2013: 58-61.

[10] 陳添丁,胡鑒,吳滌.稀疏光流快速計(jì)算的動(dòng)態(tài)目標(biāo)檢測與跟蹤[J].中國圖象圖形學(xué)報(bào),2013,18(12):1593-1600.(CHEN T D, HU J, WU D. Dynamic target detection and tracking based on fast computation using sparse optical flow [J]. Journal of Image and Graphics, 2013, 18(12): 1593-1600.)

[11] 鄭馳,項(xiàng)志宇,劉濟(jì)林.融合光流與特征點(diǎn)匹配的單目視覺里程計(jì)[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2014,48(2):279-284.(ZHENG C, XIANG Z Y, LIU J L. Monocular vision odometry based on the fusion of optical flow and feature points matching [J]. Journal of Zhejiang University (Engineering Science), 2014, 48(2): 279-284.)

[12] 張志禹,劉耀陽.基于SURF與光流法的增強(qiáng)現(xiàn)實(shí)跟蹤注冊[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(3):166-170.(ZHANG Z Y, LIU Y Y. Tracking and AR registration based on SURF and optical flow method [J]. Computer Engineering and Applications, 2015, 51(3): 166-170.)

[13] BAY H, TUYTELAARS, VAN GOOL L. SURF: speeded up robust features [C]// Computer Vision —ECCV 2006, LNCS 3951. Berlin: Springer, 2006: 404-417.

This work is partially supported by the Natural Science Foundation for Colleges and Universities of Jiangsu Province (15KJB520033, 16KJB510022), the Joint Innovation Fund Program of Jiangsu Province (BY2013020), the Ministry of Housing and Urban Construction Science and Technology Plan Project (2014-K5-027,2016-R2-060), the Open Project of Jiangsu Key Laboratory of Large Engineering Equipment Detection and Control (JSKLEDC201224).

LI Dan, born in 1981, Ph. D., associate professor. Her research interests include image processing, video surveillance.

BAO Rong, born in 1968, Ph. D., professor. Her research interests include image processing, network engineering.

SUN Jinping, born in 1980，M. S., associate professor. Her research interests include intelligent computing.

XIAO Liqing, born in 1981, Ph. D., lecturer. His research interests include machine vision, distributed computing.

DANG Xiangying，born in 1978, M. S., associate professor. Her research interests include image processing.

Tracking method of multi-resolution LK optical flow combined with SURF

LI Dan1,2*, BAO Rong2, SUN Jinping2, XIAO Liqing2, DANG Xiangying2

(1.JiangsuKeyLaboratoryofLargeEngineeringEquipmentDetectionandControl，XuzhouInstituteofTechnology,XuzhouJiangsu221000,China; 2.InformationandElectricalEngineeringCollege,XuzhouInstituteofTechnology,XuzhouJiangsu221008,China)

Aiming at the problem of tracking instability of the Lucas-Kanade (LK) algorithm for the complex situation of moving target deformation, fog and haze, high-speed, uneven illumination and partial occlusion in traffic monitoring, a tracking algorithm based on multi-resolution LK optical flow algorithm and Speed Up Robust Features (SURF) was proposed. The problem tracking failure for large-scale motion between frames of same pixel point in the traditional LK algorithm was solved by the proposed method, and the SURF scale invariant feature transformation algorithm was combined, feature points for optical flow tracking were extracted, and an adaptive template real-time update strategy was developed; the amount of optical flow calculation was reduced while enhancing the resistance ability of moving targets against complex environments. The experimental results show that the feature points matching of the new method is accurate and fast, which has strong adaptability and it is stable in the complicated traffic environment.

optical flow algorithm; feature extraction; Speed Up Robust Features (SURF); multi-resolution; target tracking

2016- 08- 11;

2016- 10- 24。

江蘇省高校自然科學(xué)研究面上項(xiàng)目(15KJB520033, 16KJB510022)；江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金資助項(xiàng)目(BY2013020) ；住房城鄉(xiāng)建設(shè)部科學(xué)技術(shù)計(jì)劃項(xiàng)目(2015-K5-027，2016-R2-060)；江蘇省大型工程裝備檢測與控制重點(diǎn)建設(shè)實(shí)驗(yàn)室開放課題(JSKLEDC201224)。

厲丹(1981—)，女，江蘇徐州人，副教授，博士，主要研究方向:圖像處理、視頻監(jiān)控； 鮑蓉(1968—)，女，上海南匯人，教授，博士，主要研究方向：圖像處理、網(wǎng)絡(luò)工程； 孫金萍(1980—)，女，山東德州人，副教授，碩士，主要研究方向：智能計(jì)算； 肖理慶(1981—)，男，山東青島人，講師，博士，主要研究方向：機(jī)器視覺、分布式計(jì)算； 黨向盈(1978—)，女，江蘇徐州人，副教授，碩士，主要研究方向：圖像處理。

1001- 9081(2017)03- 0806- 05

10.11772/j.issn.1001- 9081.2017.03.806

TP751

A