王愛麗，董寶田，孫遠運，武 威

(1.中國鐵路信息技術(shù)中心 信息工程部，北京 100038；2.北京交通大學(xué) 交通運輸學(xué)院，北京 100044)

信息是智能交通系統(tǒng)(ITS)的靈魂，實時準(zhǔn)確地獲取交通流中運動目標(biāo)的信息可以提高ITS的實施效果，對交通規(guī)劃、設(shè)計、管理和控制等意義重大。近年來，計算機視覺技術(shù)的發(fā)展為ITS提供了有力工具，運動目標(biāo)跟蹤技術(shù)是其重要的組成部分[1-2]，是獲取交通場景內(nèi)交通信息的主要途徑，也是對行人的行為進行分析和理解的基礎(chǔ)。

目前，國內(nèi)外對基于計算機視覺的行人跟蹤技術(shù)開展了廣泛的研究，提出了許多新的跟蹤方法[3-6]，主要有基于特征的跟蹤、基于模板匹配的跟蹤、基于運動預(yù)測的跟蹤等。其中，基于模板匹配的均值漂移(Mean Shift)跟蹤算法因其計算量小、簡單、易于實現(xiàn)等優(yōu)點得到廣泛應(yīng)用，然而，該算法采用的顏色直方圖對目標(biāo)特征描述能力不強，抗遮擋能力弱，容易在跟蹤過程中發(fā)生目標(biāo)定位漂移。因此出現(xiàn)了很多改進的均值漂移算法。文獻[7]提出一種自適應(yīng)多特征融合均值漂移目標(biāo)跟蹤算法，利用局部均值對比度和灰度特征表征目標(biāo)，能有效適應(yīng)場景變化和目標(biāo)形變，但此方法未考慮目標(biāo)的運動特性，當(dāng)目標(biāo)嚴(yán)重遮擋時，算法的穩(wěn)定性降低。文獻[8-9]提出了融合顏色和形狀紋理特征的跟蹤算法，并假設(shè)特征相互獨立，忽略了每個特征的貢獻和目標(biāo)的運動特性，易受運動噪聲干擾。文獻[10]將紅外圖像的灰度特征、可見光圖像的顏色和紋理特征融入到模板跟蹤框架中，該方法需對多傳感器間進行同步測算和設(shè)置，計算復(fù)雜，不利于算法的推廣應(yīng)用。文獻[11]提出一種新的核窗口大小和方向可自適應(yīng)調(diào)整的均值漂移跟蹤算法，構(gòu)建了目標(biāo)模型更新機制，可以對大小、方向和顏色變化明顯的目標(biāo)進行準(zhǔn)確、穩(wěn)定的跟蹤，但忽略了運動目標(biāo)間的干擾和遮擋等問題，所涉及的算法實驗場景單一，在實際運用中受到較大限制。

本文提出一種基于聯(lián)合多特征直方圖的Mean Shift行人跟蹤方法，在Mean Shift跟蹤框架中，采用顏色、輪廓直方圖分布描述目標(biāo)外觀、空間特征，且利用運動信息修正顏色、邊緣直方圖；提出四步搜索策略法，克服目標(biāo)遮擋丟失問題。試驗結(jié)果表明，該方法具有較高的準(zhǔn)確性，能實時準(zhǔn)確地跟蹤目標(biāo)，提取出的行人速度、加速度、軌跡等交通信息與實際相匹配。

1 目標(biāo)模型的建立

傳統(tǒng)Mean Shift算法將核函數(shù)加權(quán)的目標(biāo)顏色特征直方圖作為目標(biāo)模型，用同樣的方法迭代計算候選目標(biāo)模型，以兩個分布相似性最大為原則使跟蹤窗口沿直方圖分布密度變化最快的方向移動，從而定位目標(biāo)[8]。在跟蹤過程中，構(gòu)建目標(biāo)模型和候選目標(biāo)模型是最重要的一個環(huán)節(jié)，為后期的目標(biāo)位置搜索奠定了基礎(chǔ)。

1.1 顏色直方圖

(1)

圖1為采集到的行人目標(biāo)模板顏色直方圖分布。

(a)行人目標(biāo)顏色模板

圖1 行人顏色直方圖分布

1.2 邊緣直方圖

邊緣特征對光照、顏色變化依賴程度低，能夠彌補顏色信息的缺陷。文中采用邊緣直方圖EH(Edge Histogram)作為第二個跟蹤模型，計算過程如下。

步驟1使用Sobel算子[12]對平滑后的圖像f(x,y)進行逐像素卷積，求出各點的水平、垂直邊緣梯度Gx(x,y)和Gy(x,y)為

(2)

步驟2在水平和垂直方向基礎(chǔ)上，引人45°和135°兩個斜方向上的梯度信息，采用對角模板對圖像中的像素求加權(quán)平均，獲得兩個斜方向上的邊緣梯度幅值G45°(x,y)和G135°(x,y)。

(3)

步驟3綜合斜方向與原梯度信息計算邊緣梯度幅值G(x,y)和方向θ(x,y)。

(4)

對邊緣方向進行濾波，保留邊緣強度大的信息，剔除偽邊緣，得到邊緣梯度幅值為

(5)

步驟4采用形態(tài)學(xué)[13]對邊緣圖像進行修正，完成對斷裂邊緣的連接，獲得高信噪比和低均方差的邊緣。

(6)

式中：⊕和⊙為膨脹和細化運算，實現(xiàn)邊緣的膨脹連接和細化；?表示擊中或擊不中變換運算符。

(7)

圖2給出了采集到的行人邊緣直方圖分布。

(a)行人目標(biāo)邊緣模板

圖2 行人邊緣直方圖分布

1.3 候選目標(biāo)模型

(8)

(9)

2 多特征融合的行人跟蹤

2.1 關(guān)聯(lián)特征描述

2.1.1 特征修正

前文提取的顏色和邊緣信息較好地描述了目標(biāo)的外觀、空間特征，但在實際交通環(huán)境內(nèi)，易受相似背景顏色和背景輪廓的噪聲干擾。一般情況下背景是固定的，而目標(biāo)是運動的，因此，本文利用目標(biāo)的運動特征，來修正目標(biāo)的顏色、邊緣特征，從而剔除背景噪聲的干擾。

采用背景差分法檢測出運動前景點，生成運動概率分布圖M(xi),屬于前景目標(biāo)的像素點運動概率為1，反之為0。

前景運動信息描述模型為

(10)

(11)

同理，候選目標(biāo)的直方圖描述模型為

(12)

式中：xi為目標(biāo)模型像素級；yi為候選目標(biāo)像素級。

2.1.2 自適應(yīng)融合

(13)

(14)

2.2 位置匹配

本文采用運動-顏色和運動-邊緣直方圖分布的聯(lián)合相似性Bhattacharyya系數(shù)來度量候選目標(biāo)和目標(biāo)模型的相似性。聯(lián)合相似性度量ρnew為

(15)

Mean shift 目標(biāo)定位就是在每一幀中尋找使ρ(y)最大的位置y，因此，本文將式(15)進行泰勒展開，略去高次項，只保留線性部分，則聯(lián)合特征相似性系數(shù)ρnew近似為

(16)

式中：y0為前一幀目標(biāo)中心的坐標(biāo)；{yi}(i=1，…，n′)為候選目標(biāo)歸一化后的像素坐標(biāo)；y為當(dāng)前幀候選目標(biāo)中心坐標(biāo)。

基于Mean shift算法[8]的跟蹤原理，本文對融合相似性系數(shù)ρnew(y)求最大值，推導(dǎo)出被跟蹤行人的新位置為

(17)

式中：g(y)=-k′(y)，k′(y)為核函數(shù)k(y)的導(dǎo)數(shù)。

3 丟失目標(biāo)處理

在運動過程中，多目標(biāo)可能發(fā)生嚴(yán)重遮擋甚至完全遮擋，對跟蹤算法的連續(xù)性和穩(wěn)定性影響較大，最終導(dǎo)致目標(biāo)丟失，此時上述跟蹤算法失效。為解決該問題，本文引入跟蹤狀態(tài)因子，判別目標(biāo)間的跟蹤狀態(tài)，若發(fā)生嚴(yán)重遮擋或丟失狀態(tài)，則采用四步搜索策略法，對丟失目標(biāo)進行重新定位。

3.1 跟蹤狀態(tài)判斷

當(dāng)運動目標(biāo)發(fā)生變化時，前后兩幀中運動物體之間的相似性也會發(fā)生相應(yīng)變化，且其計算簡單，運算速度快。因此，本文采用相似性Bhattacharyya系數(shù)來判別行人之間的跟蹤狀態(tài)。假設(shè)當(dāng)前目標(biāo)模型和候選目標(biāo)模型分別為qu和pu，計算Bhattacharyya系數(shù)，對目標(biāo)跟蹤狀態(tài)進行判定。

(18)

式中：Cflag為跟蹤狀態(tài)因子，Cflag=1表示目標(biāo)處于正常跟蹤狀態(tài)，Cflag=0表示當(dāng)前目標(biāo)發(fā)生局部遮擋，Cflag=-1表示當(dāng)前目標(biāo)發(fā)生嚴(yán)重遮擋或全部遮擋，目標(biāo)處于丟失狀態(tài)；ρ[pu,qu]為Bhattacharyya系數(shù)；T1和T2是判斷閾值；NI為迭代次數(shù)；num為迭代次數(shù)判別閾值。

3.2 丟失目標(biāo)位置搜索

當(dāng)目標(biāo)處于遮擋丟失狀態(tài)時，跟蹤系統(tǒng)轉(zhuǎn)入目標(biāo)搜索狀態(tài)，通過相鄰區(qū)域信息搜索目標(biāo)位置。在搜索前，需根據(jù)目標(biāo)在丟失前的運動狀態(tài)設(shè)置搜索區(qū)域，如圖3所示(根據(jù)運動方向設(shè)定)。圖3中A表示目標(biāo)在丟失前的位置，B表示目標(biāo)在下一時刻的預(yù)測位置，用1標(biāo)記的區(qū)域為一級候選區(qū)域(考慮了目標(biāo)后退情況)，用2標(biāo)記的區(qū)域為二級候選區(qū)域。本文假設(shè)目標(biāo)的運動形式為“小運動”，一般二級搜索范圍便能解決問題，若目標(biāo)一直沒有捕獲到，則認(rèn)為目標(biāo)未出現(xiàn)。

(a)向左運動

(b)向右運動圖3 搜索區(qū)域示意圖

采用四步搜索策略法，對丟失目標(biāo)進行處理的基本步驟如下。

步驟1搜索區(qū)域設(shè)置：對目標(biāo)遮擋狀態(tài)進行判斷，若目標(biāo)跟蹤狀態(tài)Cflag=-1，則根據(jù)目標(biāo)丟失前的周圍環(huán)境、運動狀態(tài)和距離系數(shù)w(設(shè)w=2)設(shè)置搜索區(qū)域，以目標(biāo)丟失前的位置A為中心，將目標(biāo)可能出現(xiàn)的周圍區(qū)域進行分塊。

步驟2啟動一級搜索：搜索所有的一級候選區(qū)域，一級候選塊包括A、B和其他一級搜索塊，匹配的條件設(shè)定為

步驟4目標(biāo)搜索：把搜索到的候選目標(biāo)存入cdfound集合，對集合內(nèi)的候選目標(biāo)塊執(zhí)行Mean Shift跟蹤過程，若找到的目標(biāo)滿足ρ[cdfound(i),qu]>Tf，則記錄Bhattacharyya系數(shù)，匹配系數(shù)最大的候選目標(biāo)塊，即為丟失目標(biāo)，對目標(biāo)當(dāng)前信息進行更新。

4 實驗結(jié)果

為驗證該方法的有效性，采用在北京市門頭溝區(qū)某街道處采集的2段視頻，分別對不同行人目標(biāo)進行跟蹤實驗。實驗中，每幀圖像目標(biāo)實際的中心位置(x,y)是通過手工逐幀標(biāo)記獲取的。

4.1 單行人跟蹤實驗

圖4給出了在視頻序列I中基于本文跟蹤方法對單個行人進行跟蹤的結(jié)果。圖4(a)～圖4(f)依次為第268幀、360幀、368幀、375幀、390幀、476幀的跟蹤結(jié)果，黃色矩形框內(nèi)是跟蹤到的目標(biāo)。從圖4可以看出，黃色框內(nèi)的行人上衣顏色與背景顏色相近，而從整個跟蹤過程中可以看出，行人目標(biāo)跟蹤表現(xiàn)穩(wěn)定，未受相似背景顏色噪聲的干擾，可見本文構(gòu)建的多特征聯(lián)合目標(biāo)模型，對于目標(biāo)的跟蹤有較好的適用性。

同時，從圖4可以看出，監(jiān)控場景中出現(xiàn)了行人局部遮擋和完全遮擋丟失的情況，圖4(b)～圖4(e)分別顯示了目標(biāo)遮擋前、局部遮擋、完全遮擋丟失和恢復(fù)正常跟蹤狀態(tài)的效果圖。圖4(b)是行人發(fā)生遮擋前的跟蹤圖像；圖4(c)為局部遮擋中的跟蹤效果圖；圖4(d)為跟蹤目標(biāo)被其他目標(biāo)所遮擋，目標(biāo)信息丟失(如圖中紅色框所示)；圖4(e)為遮擋結(jié)束后，目標(biāo)被重新捕獲后的圖像。從圖4(b)和圖4(c)可以看出，本文提出的多特征融合算法在一定程度上可以抵制局部遮擋。同時從圖4(d)和圖4(e)可以看出，本文提出的四步搜索策略法通過將目標(biāo)丟失前的模板與預(yù)設(shè)的候選區(qū)域進行匹配搜索，實現(xiàn)了遮擋丟失目標(biāo)的重新定位，當(dāng)遮擋結(jié)束后，能夠恢復(fù)對丟失目標(biāo)的跟蹤。

(a)第268幀 (b)第360幀 (c)第368幀

(d)第375幀 (e)第390幀 (f)第476幀圖4 單目標(biāo)跟蹤

圖5給出了本文所提算法和原始Mean Shift算法對上述場景的跟蹤軌跡擬合結(jié)果。從圖5(b)和圖5(d)可以看出本文所提算法明顯優(yōu)于傳統(tǒng)的基于單一特征的算法。在整個跟蹤過程中，由于原始算法目標(biāo)特征單一，造成在X、Y方向上跟蹤軌跡誤差較大，最大誤差值達到31.7 px和22.39 px，平均誤差值達到17.694 5 px和12.266 6 px，且隨著時間的積累誤差越來越大。同時，也可以看出由于本文跟蹤算法為多特征信息，故采集到的X、Y方向上的目標(biāo)位置信息與實際坐標(biāo)軌跡變化狀態(tài)基本一致，均保持穩(wěn)定的較小誤差，最大誤差值分別為9.194 8 px和5.490 4 px，平均誤差值分別為3.358 4 px和2.450 6 px。顯然，本文所提算法誤差相對較小，具有一定的顯示優(yōu)越性。

(a)X方向跟蹤軌跡

(b)X方向跟蹤誤差

(c)Y方向跟蹤軌跡

(d)Y方向跟蹤誤差圖5 X、Y方向上跟蹤軌跡擬合結(jié)果

4.2 多行人跟蹤實驗

圖6給出了在視頻序列Ⅱ中基于本文跟蹤方法對多個行人進行定位跟蹤的結(jié)果，實驗中存在目標(biāo)顏色和背景顏色相似的問題(如黃色和青色框內(nèi)行人)。依次給出了第58幀、210幀、318幀、360幀、400幀、530幀、580幀、610幀、620幀、628幀、635幀、670幀的跟蹤結(jié)果。圖6中跟蹤到的行人ID編號依次為P1(黃色框內(nèi)行人)、P2(紅色)、P3(綠色)、P4(青色)。從圖6可以看出，多運動行人的跟蹤效果較好，行人運動軌跡基本都能夠成功跟蹤到，未受背景顏色的干擾，可見本文所提算法融入邊緣和運動信息對背景顏色干擾具有較強的魯棒性。同時，從圖6(j)可以看出，在第628幀發(fā)生完全遮擋，行人P4被行人P3完全遮擋，則在P3周圍搜索目標(biāo)P4，直至第635幀時目標(biāo)重新出現(xiàn)，停止搜索。

(a)第58幀 (b)第210幀 (c)第318幀 (d)第360幀

(e)第400幀 (f)第530幀 (g)第580幀 (h)第610幀

(i)第620幀 (j)第628幀 (k)第635幀 (l)第670幀圖6 多行人跟蹤

圖7為上述場景整個跟蹤過程中4個行人的跟蹤誤差。在整個跟蹤過程中，各個目標(biāo)的跟蹤誤差基本穩(wěn)定，P1、P2、P3、P4的最大誤差分別為10.883 3、10.367 5、11.653 6、11.775 5 px，平均誤差分別為4.405 4、4.867 2、4.274 1、4.202 3 px。從實驗中可以看出，本文所提算法可準(zhǔn)確跟蹤監(jiān)控場景內(nèi)出現(xiàn)的4個行人，多個目標(biāo)的平均總跟蹤誤差為4.437 2 px。

圖7 多行人跟蹤誤差

同時，在實驗結(jié)果中發(fā)現(xiàn)，本文在引入顏色和運動特征、增加跟蹤算法魯棒性的同時，也帶來了算法計算復(fù)雜度變高、耗時變長的問題，由原來的O(mcolor)增加到O(mcolor+medge+mmove)。平均每幀的運算耗時從只跟蹤顏色特征的傳統(tǒng)算法的0.015 s增大至0.26 s，但是考慮視頻采集設(shè)備的幀率，通過合理間隔取樣，對于一般的跟蹤任務(wù)而言，基本能夠滿足實時性要求。

4.3 交通參數(shù)的提取

本文在準(zhǔn)確跟蹤行人的基礎(chǔ)上，借助于基于計算機視覺的平面測量技術(shù)，建立交通視頻圖像和實際空間物理距離的映射關(guān)系，將圖像中的參數(shù)進行映射[2]，計算出實際的行人位置信息，進而計算出行人位移。通過記錄位移信息，得到行人的運動速度和加速度。

圖8為圖6中跟蹤到的4個行人P1、P2、P3、P4的速度和加速度變化曲線。文中速度采用跟蹤位置的瞬時速度。通過圖8(a)數(shù)據(jù)分析發(fā)現(xiàn)行人的行走速度主要分布在0.7～1.8 m/s，4個行人P1、P2、P3、P4的平均速度分別為1.199 7、1.252 9、1.283 9、1.241 4 m/s。此結(jié)果與美國《道路通行能力手冊》[14]HCM (Highway Capacity Manual)推薦采用1.2 m/s作為行人步行速度結(jié)果基本一致。

圖8(b)為行人加速度變化曲線，反映了行人的速度變化情況。可以看出，行人的啟動加速度較大，平均為1.09 m/s2。行進過程中，加速度分布范圍為0.05～0.90 m/s2，4個行人的平均加速度分別為0.353 3、0.323 7、0.260 3、0.324 3 m/s2。實驗結(jié)果表明：本文所提算法因融入了多特征直方圖信息，在整個跟蹤過程中，跟蹤目標(biāo)的誤差波動不明顯，基本保持穩(wěn)定的較小誤差，目標(biāo)跟蹤效果比原始算法更準(zhǔn)確；能夠有效處理目標(biāo)嚴(yán)重遮擋丟失問題，保證了跟蹤的持續(xù)性，且提取的交通信息與實際情況相匹配。

(a)速度

(b)加速度圖8 變化曲線

5 結(jié)論

本文提出一種基于聯(lián)合多特征直方圖的Mean Shift行人跟蹤方法。綜合顏色特征對旋轉(zhuǎn)、變形不敏感，以及邊緣特征對光照、顏色不敏感的優(yōu)點來描述目標(biāo)模型。利用運動信息改進顏色、邊緣直方圖核函數(shù)，克服了背景顏色、輪廓對跟蹤效果的影響，自適應(yīng)融合法生成的目標(biāo)關(guān)聯(lián)特征直方圖分布實現(xiàn)簡單，保證了跟蹤性能的充分發(fā)揮。采用Bhattacharyya系數(shù)判別跟蹤狀態(tài)，有效標(biāo)識出了目標(biāo)的運動狀態(tài)，提出的四步搜索策略法，解決了目標(biāo)遮擋丟失問題，保證了跟蹤的持續(xù)性。不同交通場景下的跟蹤實驗表明，本文所提算法顏色、輪廓特征的鑒別性較高，且融入了運動特征，進一步避免了單一特征的不穩(wěn)定，對顏色相似區(qū)域、運動背景干擾和局部遮擋等均具有較高的魯棒性，比傳統(tǒng)Mean Shift算法的誤差小，且能夠有效判斷并處理目標(biāo)間遮擋丟失問題，檢測到的目標(biāo)速度、加速度、軌跡等交通信息與實際情況相匹配。

參考文獻：

[1]常發(fā)亮,馬麗,喬誼正. 視頻序列中面向行人的多目標(biāo)跟蹤算法[J]. 控制與決策, 2007, 22(4):418-422.

CHANG Faliang, MA Li, QIAO Yizheng. Human Oriented Multi-target Tracking Algorithm in Video Sequence[J]. Control and Decision, 2007, 22(4): 418-422.

[2]LI J, SHAO C F, WANG T X. A Real-time System for Tracking and Classification of Pedestrian and Bicycles[J]. Journal of Transportation Research Board, 2010(2198): 83-92.

[3]YAO A B, LIN X G. A Compact Association of Particle Filtering and Kernel Based Object Tracking[J]. Pattern Recognition, 2012, 45(7): 2 584-2 597.

[4]SHAN C F, TAN T N, WEI Y C. Real-time Hand Tracking Using a Mean Shift Embedded Particle Filter[J]. Pattern Recognition, 2007, 40(7):1 958-19 70.

[5]MENEZES P, LERASLE F, DIAS J. Data Fusion for 3D Gestures Tracking Using a Camera Mounted on a Robot[C]// 18th International Conference on Pattern Recognition.New York：IEEE Press，2006: 464-467.

[6]RUI Y, CHEN Y. Better Proposal Distributions: Object Tracking Using Unscented Particle Filter[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.New York：IEEE Press， 2001: 786-793.

[7]劉晴,唐林波,趙寶軍，等. 基于自適應(yīng)多特征融合的均值遷移紅外目標(biāo)跟蹤[J]. 電子與信息學(xué)報, 2012, 34(5):1 138-1 141.

LIU Qing, TANG Linbo, ZHAO Baojun, et al. Infrared Target Tracking Based on Adaptive Multiple Features Fusion and Mean Shift[J]. Journal of Electronics & Information Technology, 2012, 34(5): 1 138-1 141.

[8]賈松敏,王爽,王麗佳. 多特征自適應(yīng)均值漂移算法的目標(biāo)跟蹤[J]. 光電子·激光, 2014, 25(10): 2 018-2 024.

JIA Songmin, WANG Shuang, WANG LiJia. Human Tracking Based on Adaptive Multi-feature Mean-shift Algorithm[J]. Journal of Optoelectronics·Laser, 2014, 25(10):2 018-2 024.

[9]WANG J Q, YAGI Y S. Integrating Color and Shape-texture Features for Adaptive Real-time Object Tracking[J]. IEEE Transactions on Image Processing, 2008, 17 (2):235-240.

[10]趙高鵬, 薄煜明,陳益. 多特征提取的紅外和可見光目標(biāo)跟蹤方法[J]. 兵工學(xué)報, 2011, 32(4) : 445-451.

ZHAO Gaopeng, BO Yuming, CHEN Yi. A Method for Tracking Object in Infrared and Visible Image Based on Multiple Features[J]. Journal of China Ordnance, 2011, 32(4):445-451.

[11]李琦,邵春福,岳昊. 核窗口尺寸和目標(biāo)模型自適應(yīng)的均值漂移跟蹤 [J]. 華南理工大學(xué)學(xué)報：自然科學(xué)版, 2013,41(2):75-81.

LI Qi, SHAO Chunfu, YUE Hao. Mean Shift Tracking with Adaptive Kernel Window Size and Target Model[J]. Journal of South China University of Technology ：Natural Science Edition, 2013,41 (2):75-81.

[12]王鑫, 徐立中. 圖像目標(biāo)跟蹤技術(shù)[M]. 北京: 人民郵電出版社, 2012.

[13]RAFAEL C G, RICHARD E W, STEVEN L E. Digital Image Processing Using MATLAB [M]. 北京： 電子工業(yè)出版社, 2005: 260-280.

[14]任福田, 劉小明. 道路通行能力手冊[M]. 北京: 人民交通出版社, 2008.