季 露，陳 志，岳文靜

(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210023；2.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

視頻目標(biāo)跟蹤要求確定運(yùn)動目標(biāo)在視頻連續(xù)序列圖像中的位置[1]。這個(gè)過程通常用到模型匹配、均值漂移等方法[2-4]。上述方法在低噪聲條件下對運(yùn)動目標(biāo)跟蹤效果較好，但是在高噪聲條件下會嚴(yán)重地降低跟蹤性能，并且在運(yùn)動目標(biāo)數(shù)量增長和目標(biāo)間相互遮擋的情況下，跟蹤失效的可能性將大大增加。Liu等在均值漂移算法的基礎(chǔ)上結(jié)合邊緣與中心加權(quán)法計(jì)算巴氏系數(shù)，以此判斷目標(biāo)變化以增減核窗寬，該方法準(zhǔn)確率較高，但在高噪聲條件下目標(biāo)丟失嚴(yán)重[5]。Meshgi等利用顏色直方圖對目標(biāo)建模，通過迭代得到與目標(biāo)模型相似度最高的區(qū)域，該方法實(shí)時(shí)性高，但容易受到目標(biāo)尺度變化和遮擋的影響[6]。Dong等針對跟蹤過程中出現(xiàn)的遮擋問題提出了基于NMI的運(yùn)動搜索跟蹤算法，該方法提高了目標(biāo)跟蹤的魯棒性和抗噪聲性，但是計(jì)算復(fù)雜度較高[7]。

可見，普遍存在的背景噪聲和大規(guī)模視頻目標(biāo)跟蹤的應(yīng)用需求使得視頻多目標(biāo)跟蹤算法設(shè)計(jì)需要解決以下問題：

(1)背景噪聲干擾。視頻中場景通常呈現(xiàn)動態(tài)特征，如隨風(fēng)搖擺的樹枝、光照變化等，這些噪聲將影響目標(biāo)提取的準(zhǔn)確性。

(2)遮擋問題。目標(biāo)運(yùn)動過程中通常伴隨著目標(biāo)間相互遮擋和場景中其他靜物遮擋等問題。在目標(biāo)被遮擋的情況下，跟蹤算法將無法繼續(xù)準(zhǔn)確跟蹤。

(3)穩(wěn)定跟蹤問題。目標(biāo)跟蹤實(shí)際上是特征匹配的過程，在多目標(biāo)的特征匹配中容易出現(xiàn)混亂，造成跟蹤不穩(wěn)定或失效。

良好的視頻多目標(biāo)跟蹤算法需要有較強(qiáng)的抗噪性和魯棒性，能夠克服目標(biāo)區(qū)域檢測不完整問題，同時(shí)解決目標(biāo)間相互遮擋導(dǎo)致的跟蹤失效。為此，結(jié)合對稱幀間差分法[8]、滑動平均背景法[9]、金字塔光流法[10]和卡爾曼濾波法[11]，設(shè)計(jì)一種視頻多目標(biāo)跟蹤算法，解決上述問題，提高在噪聲環(huán)境中目標(biāo)區(qū)域檢測的完整性和多目標(biāo)跟蹤的準(zhǔn)確率。

1 基于改進(jìn)對稱幀間差分和滑動平均背景差分的目標(biāo)輪廓提取

視頻目標(biāo)檢測是指從序列圖像中將運(yùn)動目標(biāo)從背景圖像中提取出來，獲得準(zhǔn)確的檢測結(jié)果是目標(biāo)跟蹤的關(guān)鍵[12]。為準(zhǔn)確提取運(yùn)動目標(biāo)輪廓，現(xiàn)改進(jìn)對稱幀間差分法，對相鄰的四幀圖像進(jìn)行兩兩差分，得到的差分圖像再兩兩進(jìn)行邏輯“或”運(yùn)算，接著結(jié)合改進(jìn)后的對稱幀間差分和滑動平均背景差分提取出運(yùn)動目標(biāo)輪廓。算法具體描述如下：

1.采用改進(jìn)的對稱幀間差分法提取出運(yùn)動目標(biāo)輪廓，具體如下：

(1)判斷是否已讀取四幀圖像，如果不足四幀，則將當(dāng)前幀進(jìn)行灰度化處理[13]后繼續(xù)讀取。

(2)對連續(xù)四幀圖像兩兩進(jìn)行差分并利用Otsu閾值分割算法[14]得到最優(yōu)閾值T，以對差分圖像進(jìn)行二值化處理。為了避免運(yùn)動目標(biāo)邊緣空洞，消除圖像中的孤立噪聲，對二值圖像進(jìn)行了形態(tài)學(xué)膨脹和腐蝕運(yùn)算。

(3)對二值圖像兩兩進(jìn)行“或”運(yùn)算后對結(jié)果再次進(jìn)行“或”運(yùn)算，提取出運(yùn)動目標(biāo)輪廓D1。

2.采用滑動平均背景差分法提取出運(yùn)動目標(biāo)輪廓，具體如下：

(1)判斷當(dāng)前幀是否是第一幀，如果是則將第一幀圖像當(dāng)作初始背景。

(2)對當(dāng)前幀圖像與背景圖像進(jìn)行差分并設(shè)置閾值T'對差分圖像進(jìn)行二值化處理，提取出運(yùn)動目標(biāo)輪廓D2。

(3)對背景圖像進(jìn)行更新，在當(dāng)前幀中，對于已經(jīng)判斷為運(yùn)動目標(biāo)的像素點(diǎn)，仍保持原來的灰度值；對于已經(jīng)判斷為背景圖像的像素點(diǎn)，則按照式1進(jìn)行更新。

(1)

3.將兩次提取出的運(yùn)動目標(biāo)輪廓D1和D2進(jìn)行“與”運(yùn)算，對結(jié)果進(jìn)行區(qū)域連通性分析后準(zhǔn)確提取出運(yùn)動目標(biāo)完整輪廓D。為了簡化運(yùn)算，規(guī)定將運(yùn)動目標(biāo)輪廓的中心點(diǎn)作為運(yùn)動目標(biāo)的質(zhì)心。

2 基于金字塔光流法的質(zhì)心跟蹤

為使跟蹤算法能快速運(yùn)行，保證實(shí)時(shí)處理時(shí)不丟幀，下面將視頻圖像按高斯金字塔[15]分解向下采樣，對采樣后的圖像利用光流法進(jìn)行質(zhì)心跟蹤。具體算法描述如下：

(1)判斷當(dāng)前幀是否是第一幀，如果是則將第一幀中檢測到的運(yùn)動目標(biāo)輪廓作為角點(diǎn)的初始值并存入向量P[0]。

(2)構(gòu)建高斯金字塔進(jìn)行光流計(jì)算，預(yù)測出角點(diǎn)在下一幀中的位置并存入向量P[1]。

(3)去除不好的特征點(diǎn)，對跟蹤成功角點(diǎn)的數(shù)目和坐標(biāo)分別進(jìn)行累加。

(4)交換向量P[0]和P[1]，同時(shí)利用跟蹤成功的角點(diǎn)坐標(biāo)計(jì)算中心坐標(biāo)，估計(jì)出運(yùn)動目標(biāo)的質(zhì)心位置，將角點(diǎn)跟蹤轉(zhuǎn)換成質(zhì)心跟蹤。

3 基于卡爾曼濾波的多目標(biāo)跟蹤和特征關(guān)聯(lián)

為解決目標(biāo)遮擋導(dǎo)致的跟蹤失效，提高多目標(biāo)跟蹤的準(zhǔn)確率，下面引入卡爾曼濾波模型和匈牙利算法?？柭鼮V波根據(jù)當(dāng)前幀運(yùn)動目標(biāo)質(zhì)心坐標(biāo)預(yù)測出運(yùn)動目標(biāo)在下一時(shí)刻的質(zhì)心坐標(biāo)，接著利用匈牙利算法[16]計(jì)算最優(yōu)匹配進(jìn)行特征關(guān)聯(lián)，最后修正卡爾曼濾波參數(shù)，實(shí)現(xiàn)對運(yùn)動目標(biāo)的精確定位和跟蹤。具體算法描述如下：

1.對卡爾曼濾波器參數(shù)進(jìn)行初始化，獲取運(yùn)動目標(biāo)的質(zhì)心坐標(biāo)等參數(shù)。

2.設(shè)k時(shí)刻運(yùn)動目標(biāo)的質(zhì)心檢測集合是Dk={d1,d2,…,dn}，利用卡爾曼濾波對Dk中的每個(gè)運(yùn)動目標(biāo)質(zhì)心di進(jìn)行預(yù)測，得到質(zhì)心坐標(biāo)預(yù)測值pi，即質(zhì)心坐標(biāo)預(yù)測集合為Pk={p1,p2,…,pn}。設(shè)k+1時(shí)刻運(yùn)動目標(biāo)的質(zhì)心檢測集合是Dk+1={d1,d2,…,dm}，將質(zhì)心預(yù)測坐標(biāo)和下一時(shí)刻檢測坐標(biāo)的歐氏距離作為效益矩陣，利用匈牙利算法計(jì)算最優(yōu)匹配進(jìn)行特征關(guān)聯(lián)，對質(zhì)心坐標(biāo)預(yù)測值Pk和下一時(shí)刻檢測值Dk+1進(jìn)行指派，其中歐氏距離計(jì)算見式2。

(2)

其中，(x1,y1)表示質(zhì)心預(yù)測坐標(biāo)；(x2,y2)表示下一時(shí)刻質(zhì)心檢測坐標(biāo)；d表示歐氏距離。

3.在實(shí)際跟蹤過程中，需要考慮跟蹤失效和跟蹤遺漏的情況，去除跟蹤器中不滿足要求的部分，同時(shí)為未指派的檢測建立跟蹤單元，具體原則如下：

(1)去除跟蹤器中不滿足要求的部分：匹配成功的質(zhì)心坐標(biāo)預(yù)測值和檢測值之間的間隔幀數(shù)為f，歐氏距離為d，如果f和d滿足式3，則認(rèn)為跟蹤丟失，要對此檢測值重新跟蹤。

f>fmax或d>dmax

(3)

其中，fmax為最大消失幀數(shù)；dmax為最大距離閾值。

(2)為未指派的檢測在跟蹤器中建立跟蹤單元：設(shè)k時(shí)刻預(yù)測值的數(shù)量為n，k+1時(shí)刻檢測值的數(shù)目為m，n

4.為了確保跟蹤過程的準(zhǔn)確性，需要不斷修正卡爾曼濾波器參數(shù)，具體原則如下：

(1)如果金字塔光流法跟蹤成功并且當(dāng)前的運(yùn)動目標(biāo)質(zhì)心坐標(biāo)預(yù)測值和下一時(shí)刻檢測值匹配成功，則將檢測值和金字塔光流法預(yù)測值進(jìn)行加權(quán)平均作為最終觀測值，更新卡爾曼濾波參數(shù)。

(2)如果金字塔光流法跟蹤成功并且當(dāng)前的運(yùn)動目標(biāo)質(zhì)心坐標(biāo)預(yù)測值和下一時(shí)刻檢測值匹配失敗，則將卡爾曼濾波的預(yù)測值作為最終觀測值更新卡爾曼濾波參數(shù)。

(3)如果金字塔光流法跟蹤失敗并且當(dāng)前的運(yùn)動目標(biāo)質(zhì)心坐標(biāo)預(yù)測值和下一時(shí)刻檢測值匹配成功，則將檢測值作為最終觀測值更新卡爾曼濾波參數(shù)。

5.根據(jù)跟蹤過程中運(yùn)動目標(biāo)的質(zhì)心坐標(biāo)變化繪制出目標(biāo)的跟蹤軌跡，完成多目標(biāo)跟蹤過程。

4 實(shí)驗(yàn)與結(jié)果分析

在下面的實(shí)驗(yàn)中，實(shí)驗(yàn)樣本數(shù)據(jù)為不同分辨率的交通視頻，場景為城市道路或者高速公路，視頻均為AVI格式，其中視頻1分辨率為1 280×720，幀率為23 F/s，視頻2分辨率為1 280×720，幀率為29 F/s，視頻3分辨率為320×240，幀率為25 F/s，視頻4分辨率為352×240，幀率為29 F/s。算法均采用VS2013和OpenCV2.4.11開發(fā)，運(yùn)行于Intel 2.3 GHz，內(nèi)存4 G的Windows 7平臺。

4.1 視頻目標(biāo)檢測仿真實(shí)驗(yàn)

為驗(yàn)證基于改進(jìn)對稱幀間差分和滑動平均背景差分的視頻目標(biāo)檢測算法(簡稱ISMA算法)的有效性，下面在視頻2上進(jìn)行測試，并將實(shí)驗(yàn)結(jié)果與對稱幀間差分法、滑動平均背景差分法、VIBE算法和幀間差分法進(jìn)行比較，各算法檢測對比結(jié)果如圖1所示。

圖1 各算法檢測效果對比

由圖1可見，對稱幀間差分法獲得了完整的連通域和運(yùn)動目標(biāo)輪廓，但是卻造成了運(yùn)動目標(biāo)拉長、輪廓模糊問題；滑動平均背景差分法和VIBE算法對光線變化比較敏感，同時(shí)檢測過程中會出現(xiàn)“鬼影”，影響檢測結(jié)果的準(zhǔn)確性；幀間差分法檢測的運(yùn)動目標(biāo)輪廓內(nèi)部和邊緣存在空洞；ISMA算法填補(bǔ)了運(yùn)動目標(biāo)輪廓的空洞，避免了目標(biāo)的拉長，使得輪廓清晰并且受環(huán)境噪聲干擾較小，準(zhǔn)確地提取出運(yùn)動目標(biāo)輪廓，具有較好的魯棒性。

4.2 視頻多目標(biāo)跟蹤仿真實(shí)驗(yàn)

為驗(yàn)證基于模型融合和特征關(guān)聯(lián)的多目標(biāo)跟蹤算法(簡稱MFFA算法)的有效性，下面在視頻1～4上進(jìn)行測試，將實(shí)驗(yàn)結(jié)果與匹配跟蹤算法進(jìn)行比較。各算法在目標(biāo)是否存在相互遮擋情況下的跟蹤效果對比如圖2和圖3所示。

從圖2可以看出，當(dāng)運(yùn)動目標(biāo)不存在遮擋并且目標(biāo)之間互不干擾的情況下，匹配跟蹤算法和MFFA算法均可以實(shí)現(xiàn)穩(wěn)定跟蹤。但是當(dāng)目標(biāo)出現(xiàn)遮擋或者目

圖3 各算法在目標(biāo)存在相互遮擋

標(biāo)之間相互干擾時(shí)，觀察圖3可知，匹配跟蹤算法會出現(xiàn)跟蹤混亂，導(dǎo)致多目標(biāo)跟蹤失敗，而MFFA算法依然可以實(shí)現(xiàn)穩(wěn)定跟蹤，正確繪制出跟蹤軌跡。

為證明MFFA算法的準(zhǔn)確性，規(guī)定從目標(biāo)出現(xiàn)到目標(biāo)消失過程中，若跟蹤算法在期間的每一幀都能準(zhǔn)確地跟蹤到目標(biāo)車輛，則認(rèn)為跟蹤成功，否則認(rèn)為跟蹤失敗。表1給出了匹配跟蹤算法和MFFA算法的準(zhǔn)確性比較。

表1 匹配跟蹤算法和MFFA算法的準(zhǔn)確性比較

根據(jù)表1，MFFA算法的準(zhǔn)確率在視頻1～3上分別比匹配跟蹤算法高出8.3%，13.8%和6.2%，顯著地提高了多目標(biāo)跟蹤的準(zhǔn)確率。

下面比較匹配跟蹤算法和MFFA算法的跟蹤誤差，采用視頻4作為實(shí)驗(yàn)數(shù)據(jù)，圖4給出了兩種算法的跟蹤誤差對比結(jié)果。

圖4 匹配跟蹤算法和MFFA算法的跟蹤誤差對比

從圖4可以看出，在跟蹤前期MFFA算法和匹配跟蹤算法的跟蹤誤差相差不大，隨著跟蹤過程的持續(xù)，匹配跟蹤算法的跟蹤誤差遠(yuǎn)遠(yuǎn)超過了MFFA算法的跟蹤誤差。可見，MFFA算法進(jìn)行多目標(biāo)跟蹤效果好于匹配跟蹤算法。

5 結(jié)束語

為解決存在背景噪聲的大規(guī)模視頻多目標(biāo)跟蹤問題，提出了基于模型融合和特征關(guān)聯(lián)的多目標(biāo)跟蹤算法。該算法結(jié)合改進(jìn)后的對稱幀間差分法和滑動平均背景差分法準(zhǔn)確提取出運(yùn)動目標(biāo)輪廓，然后融合金字塔光流法和卡爾曼濾波進(jìn)行目標(biāo)跟蹤，并利用匈牙利算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)，最后繪制出運(yùn)動目標(biāo)的跟蹤軌跡實(shí)現(xiàn)多目標(biāo)跟蹤。實(shí)驗(yàn)結(jié)果表明，該算法可以準(zhǔn)確地提取出運(yùn)動目標(biāo)輪廓，在目標(biāo)間相互遮擋的情況下保持穩(wěn)定跟蹤，提高了多目標(biāo)跟蹤的準(zhǔn)確率和抗噪性。

在后續(xù)研究中，可以考慮將單幀的圖像信息和幀與幀之間的變化信息進(jìn)行融合，從時(shí)空關(guān)系上對視頻進(jìn)行深度分析，尋找合適的深度學(xué)習(xí)架構(gòu)來實(shí)現(xiàn)視頻多目標(biāo)跟蹤也是值得探索的方向。

參考文獻(xiàn)：

[1] 黃 奇,項(xiàng) 俊,侯建華,等.聯(lián)合特征融合和判別性外觀模型的多目標(biāo)跟蹤[J].中國圖象圖形學(xué)報(bào),2015,20(9):1188-1198.

[2] 劉大千,劉萬軍,費(fèi)博雯.前景判別的局部模型匹配目標(biāo)跟蹤[J].中國圖象圖形學(xué)報(bào),2016,21(5):616-627.

[3] 邸 男,朱 明,韓廣良.似然相似度函數(shù)在目標(biāo)跟蹤中的

魯棒機(jī)理研究[J].軟件學(xué)報(bào),2015,26(1):52-61.

[4] 齊美彬,岳周龍,疏 坤,等.基于廣義關(guān)聯(lián)聚類圖的分層關(guān)聯(lián)多目標(biāo)跟蹤[J].自動化學(xué)報(bào),2017,43(1):152-160.

[5] LIU Zongang,DU Xiaoxue,PAN Diansheng.A new tracking algorithm based on mean shift and particle filter[C]//Proceedings of the 2016 IEEE/RSJ international conference on intelligent robots and systems.Washington,DC:USA:IEEE Computer Society,2016:38-42.

[6] MESHGI K,ISHII S.Expanding histogram of colors with gridding to improve tracking accuracy[C]//Proceedings of the fourteenth IAPR international conference on machine vision applications.[s.l.]:[s.n.],2015:475-479.

[7] DONG Jiwen,ZHAO Lei,ZHANG Liang.The face tracking research based on cam-shift and improved NMI[C]//Proceedings of the 2013 international conference on computational and information sciences.Washington,DC:USA:IEEE Computer Society,2013:148-151.

[8] 郭文俊,常桂然.基于三幀間的移動障礙物背景目標(biāo)提取算法[J].軟件,2016,37(2):58-62.

[9] 熊 波,尹周平.滑動平均和改進(jìn)權(quán)重函數(shù)的快速非局部平均圖像去噪算法[J].中國圖象圖形學(xué)報(bào),2012,17(5):628-634.

[10] PLYER A,BESNERAIS G,CHAMPAGNAT F.Massively parallel Lucas Kanade optical flow for real-time video processing applications[J].Journal of Real-Time Image Processing,2016,11(4):713-730.

[11] LIGORIO G,SABATINI A M.A novel Kalman filter for human motion tracking with an inertial-based dynamic inclinometer[J].IEEE Transactions on Biomedical Engineering,2015,62(8):2033-2043.

[12] 石祥濱,張 健,代 欽,等.采用顯著性分割與目標(biāo)檢測的形變目標(biāo)跟蹤方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(4):645-653.

[13] LI Chenglong,WANG Xiao,ZHANG Lei,et al.Weighted low-rank decomposition for robust grayscale-thermal foreground detection[J].IEEE Transactions on Circuits & Systems for Video Technology,2017,27(4):725-738.

[14] 高躍明,伊騰增,韋孟宇,等.二維Otsu和改進(jìn)區(qū)域生長法的熒光免疫層析試條濃度的定量檢測[J].傳感技術(shù)學(xué)報(bào),2016,29(9):1356-1360.

[15] 趙毅力,周 屹,徐 丹.微距攝影的多聚焦圖像拍攝和融合[J].中國圖象圖形學(xué)報(bào),2015,20(4):544-550.

[16] YADAIAH V,HARAGOPAL V V.Multi-objective optimization of time-cost-quality using Hungarian algorithm[J].American Journal of Operations Research,2016,6(1):31-35.