侯文迪，王 寧，李金屏

1.濟(jì)南大學(xué) 信息科學(xué)與工程學(xué)院，濟(jì)南 250022

2.山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，濟(jì)南 250022

基于運(yùn)動(dòng)信息與Hog特征的偽裝色移動(dòng)目標(biāo)跟蹤

侯文迪1，2，王 寧1，2，李金屏1，2

1.濟(jì)南大學(xué) 信息科學(xué)與工程學(xué)院，濟(jì)南 250022

2.山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，濟(jì)南 250022

1 引言

運(yùn)動(dòng)目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，它在視頻監(jiān)控、人機(jī)交互、智能交通等領(lǐng)域都有廣泛的應(yīng)用[1]。運(yùn)動(dòng)目標(biāo)跟蹤主要是在連續(xù)的視頻幀序列中實(shí)時(shí)地找到感興趣的運(yùn)動(dòng)目標(biāo)，獲取目標(biāo)的位置、速度以及形態(tài)等特征。

動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤是視頻監(jiān)控領(lǐng)域中的研究熱點(diǎn)之一，其中具有偽裝色的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤是一個(gè)難點(diǎn)。針對(duì)動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)，高斯混合模型[2]（GMM）是一個(gè)好的選擇，但偽裝色目標(biāo)[3-5]的顏色、形態(tài)等特征與背景極其相似，造成目標(biāo)與背景的模型基本重合，因此GMM不適合解決偽裝色目標(biāo)的問題。目前為止，關(guān)于偽裝色運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤的研究甚少。文獻(xiàn)[3]分析了復(fù)雜背景下偽裝色運(yùn)動(dòng)目標(biāo)所經(jīng)歷區(qū)域的像素顏色變化規(guī)律，當(dāng)規(guī)律呈現(xiàn)異常時(shí)判定存在運(yùn)動(dòng)目標(biāo)。文獻(xiàn)[4-5]分析目標(biāo)與背景運(yùn)動(dòng)規(guī)律的差別，采用光流法檢測(cè)偽裝色目標(biāo)。雖然有若干方法檢測(cè)偽裝色目標(biāo)，但是尚未開展系統(tǒng)的跟蹤工作。目前常用的跟蹤方法如meanshift[6-7]、camshift[8]、粒子濾波[9]等都是借助顏色直方圖信息展開目標(biāo)跟蹤，也不簡(jiǎn)單適用于解決偽裝色目標(biāo)跟蹤問題，如文獻(xiàn)[7]利用meanshift算法對(duì)簡(jiǎn)單背景下偽裝目標(biāo)跟蹤，取得了一定的效果但是計(jì)算比較復(fù)雜，且當(dāng)背景復(fù)雜時(shí)沒有做相應(yīng)的研究。

本文在偽裝色目標(biāo)檢測(cè)工作完成的基礎(chǔ)上，基于目標(biāo)結(jié)構(gòu)化特征提出一種基于金字塔光流法[10-12]與Hog特征[13]的偽裝色目標(biāo)跟蹤方法。首先采用圖像金字塔光流法計(jì)算目標(biāo)區(qū)域的運(yùn)動(dòng)主方向以及運(yùn)動(dòng)矢量的模值范圍；其次依據(jù)灰度特征、Hog特征將目標(biāo)區(qū)域沿著運(yùn)動(dòng)主方向在速度模值范圍內(nèi)進(jìn)行匹配，搜尋最佳的匹配位置。具體流程如圖1所示。

圖1 系統(tǒng)流程圖

2 金字塔光流計(jì)算

經(jīng)典的光流計(jì)算復(fù)雜度較高，本文選取圖像金字塔光流法計(jì)算運(yùn)動(dòng)光流場(chǎng)，此算法僅僅需要對(duì)角點(diǎn)位置計(jì)算光流，可以大大降低計(jì)算復(fù)雜度，提高檢測(cè)效率。

2.1 Harris角點(diǎn)檢測(cè)

Harris角點(diǎn)檢測(cè)[14]是一種穩(wěn)定、高效的角點(diǎn)檢測(cè)算法，它基于圖像梯度信息計(jì)算每個(gè)像素的自相關(guān)矩陣M且定義像素的響應(yīng)函數(shù)R：

式中：Ix、Iy、Ixy分別為圖像在 X、Y、XY混合方向的梯度，G(s)為高斯模板，*為卷積運(yùn)算，det(M)為矩陣行列式，tr(M)為矩陣的跡。M的特征值代表自相關(guān)函數(shù)的一階曲率，若兩個(gè)特征值都較大，則此點(diǎn)為角點(diǎn)，即響應(yīng)函數(shù)R的局部極值對(duì)應(yīng)的即為角點(diǎn)。k為權(quán)值系數(shù)，本文取值為0.04。

2.2 金字塔光流算法

目前，由Lunas-Kanade提出的基于微分度量的LK光流算法的精確度以及穩(wěn)定性都較高，在運(yùn)動(dòng)目標(biāo)的檢測(cè)上得到了廣泛的應(yīng)用，然而LK光流法的一個(gè)致命缺陷是針對(duì)運(yùn)動(dòng)量較大的目標(biāo)檢測(cè)率不高，適合于小灰度模式的檢測(cè)，而金字塔光流法恰恰彌補(bǔ)了這一缺陷。該算法的核心思想是獲取一個(gè)圖像金字塔序列，具體做法為：原圖像作為金字塔的底層（0層），然后依次采樣形成相鄰的高層（n層），原圖經(jīng)過依次采樣形成的高層圖像中目標(biāo)像素運(yùn)動(dòng)量依次降低，假設(shè)原圖像相鄰幀間目標(biāo)像素運(yùn)動(dòng)量為D，則n層相鄰幀間目標(biāo)像素運(yùn)動(dòng)量d為：

一般情況下3≤n≤5，此時(shí)最高層上目標(biāo)運(yùn)動(dòng)量達(dá)到亞像素級(jí)，滿足光流法灰度守恒條件，可以直接按照LK算法直接計(jì)算n層上的光流運(yùn)動(dòng)場(chǎng)，進(jìn)而由最高層速度Vn反向依次迭代至最低層V0。金字塔光流法圖像分層以及速度迭代過程如圖2所示。

圖2 金字塔分層以及速度迭代圖

圖中，Vi(0，1，…，n)與ΔVi(0，1，…，n)分別代表第i層光流估計(jì)值以及光流計(jì)算值，Vn的初值為0。

2.3 區(qū)域速度矢量獲取

針對(duì)目標(biāo)跟蹤而言，假定首幀視頻圖像中已經(jīng)完成了目標(biāo)檢測(cè)[3-5]。對(duì)于一個(gè)完整的運(yùn)動(dòng)目標(biāo)來說，在一個(gè)間隔較小的視頻圖像序列中，目標(biāo)的運(yùn)動(dòng)矢量相對(duì)穩(wěn)定（運(yùn)動(dòng)方向上尤其顯著）。因此在計(jì)算出圖像的光流場(chǎng)之后，可以量化目標(biāo)區(qū)域的速度矢量值，計(jì)算出能代表目標(biāo)區(qū)域運(yùn)動(dòng)的主方向以及在該方向上的速度模值范圍。具體步驟如下：

（1）計(jì)算目標(biāo)區(qū)域光流點(diǎn)的運(yùn)動(dòng)方向，同時(shí)把可能的運(yùn)動(dòng)方向（0～360°）以20°為間隔進(jìn)行量化，本文量化在數(shù)組B里，式（4）中dx、dy分別代表相鄰幀光流點(diǎn)在X、Y方向的偏移量，當(dāng)θ的值確定之后，B[θ/20]的個(gè)數(shù)加1。

（2）獲取目標(biāo)的運(yùn)動(dòng)主方向（B中元素個(gè)數(shù)最多的角度），計(jì)算該方向下光流點(diǎn)在X方向移動(dòng)的最大值、最小值，設(shè)運(yùn)動(dòng)主方向角度為φ，計(jì)算maxdx、mindx可由公式（5）表示：

式中取光流特征點(diǎn)的絕對(duì)位移|dx|進(jìn)行運(yùn)算，消除特征點(diǎn)位移X分量方向的影響、確保maxdx、mindx為真正的最大值、最小值，方便后續(xù)匹配。

3 Hog特征提取

Hog的本質(zhì)是圖像局部區(qū)域灰度梯度的統(tǒng)計(jì)信息，能夠較好地描述目標(biāo)邊緣輪廓信息。針對(duì)運(yùn)動(dòng)目標(biāo)而言，在一個(gè)相對(duì)較短的時(shí)間間隔內(nèi)，目標(biāo)的形態(tài)結(jié)構(gòu)是穩(wěn)定的。因此本文提取目標(biāo)的Hog特征作為調(diào)整目標(biāo)區(qū)域的依據(jù)。Hog特征提取的過程如下（假定目標(biāo)模板大小為h×w）：

（1）初始圖像灰度化，且使用中心對(duì)稱算子[-1，0，1]分別進(jìn)行水平、垂直梯度計(jì)算。

（2）目標(biāo)區(qū)域模板劃分單元，每一個(gè)單元為8×8。設(shè)模板的單元個(gè)數(shù)為m×n，其中，m=w/8，n=h/8，如圖3。同時(shí)統(tǒng)計(jì)每一個(gè)單元的梯度直方圖hi（本文在統(tǒng)計(jì)Hog特征的時(shí)候都以20°劃分一個(gè)角度區(qū)間，則此時(shí)每個(gè)hi是一9維向量），梯度直方圖的獲取與區(qū)域速度主方向獲取相似。

圖3 Hog特征向量示意圖

（3）相鄰四個(gè)單元組合成一個(gè)塊，本文中的塊重疊率為0.5，如圖3所示。則目標(biāo)區(qū)域的塊個(gè)數(shù)為(m-1)× (n-1)，同時(shí)把四個(gè)單元內(nèi)的hi串聯(lián)起來形成一36維向量，為消除光線等其他噪聲的影響，對(duì)每一個(gè)塊的36維向量作歸一化處理形成Hi。

（4）將各個(gè)塊內(nèi)的向量串聯(lián)組合起來，形成一個(gè)(m-1)×(n-1)×36維的向量H，H為目標(biāo)區(qū)域Hog特征。

4 跟蹤過程

在視頻序列更新的過程中，目標(biāo)區(qū)域也發(fā)生著實(shí)時(shí)的變化。但在一個(gè)較短的時(shí)間間隔內(nèi)，視頻序列中目標(biāo)區(qū)域的運(yùn)動(dòng)保持穩(wěn)定且其邊緣結(jié)構(gòu)也不會(huì)發(fā)生太大的變化，在本文中即目標(biāo)的速度以及灰度、Hog特征是穩(wěn)定的，因此目標(biāo)跟蹤成功的關(guān)鍵在于如何根據(jù)目標(biāo)的特征從視頻幀中快速地匹配目標(biāo)。

模板匹配即將目標(biāo)模板在待搜索圖像內(nèi)滑動(dòng)，用指定的相似性匹配算法準(zhǔn)則計(jì)算模板區(qū)域在待搜索圖像中對(duì)應(yīng)重疊區(qū)域的相似度，進(jìn)而找到最佳匹配的位置。本文中用到的相似準(zhǔn)則為：

式中，H1、H2分別描述目標(biāo)區(qū)域模板與待匹配區(qū)域的特征向量，ρ的值越小，表示兩個(gè)特征越相似，反之，兩個(gè)區(qū)域的差別越大。本文中，用式（8）描述總體特征的匹配度。其中，ρ1、ρ2分別表示區(qū)域灰度特征與Hog特征的相似匹配度，w的范圍為0～1。

為了快速找到目標(biāo)的最佳匹配位置，本文采取二分法的思想搜尋目標(biāo)區(qū)域，該思想源于二分查找算法，即在目標(biāo)區(qū)域沿著運(yùn)動(dòng)主方向采取一定的步長(zhǎng)進(jìn)行匹配時(shí)，依據(jù)匹配值的大小動(dòng)態(tài)調(diào)整匹配步長(zhǎng)進(jìn)行匹配，具體變化如公式（9）表示：

式中：V1，V2為兩次匹配相對(duì)上幀位置的步長(zhǎng)且初值為mindx，maxdx，d1、d2分別表示步長(zhǎng)為V1、V2位移處的匹配值，V的變化隨著匹配值d的大小而改變。相鄰幀之間按照上述規(guī)則進(jìn)行匹配，直至d1與d2差別在0.1以內(nèi)即找到最準(zhǔn)確的匹配位置。

5 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證算法的有效性，本文采取三組具有代表性視頻序列（螞蟻在樹干上運(yùn)動(dòng)、迷彩服隨人手在灌木叢中運(yùn)動(dòng)、冬青樹枝隨著人手運(yùn)動(dòng)的視頻序列）進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)測(cè)試的視頻背景復(fù)雜且發(fā)生著相對(duì)平緩的變化。圖4給出視頻序列光流場(chǎng)以及目標(biāo)運(yùn)動(dòng)主方向的效果圖，圖5給出視頻序列中目標(biāo)的跟蹤效果示意圖。

圖4中，紅色部分為視頻圖像序列的運(yùn)動(dòng)光流矢量（針對(duì)光流矢量本文均放大5倍顯示），黃色箭頭直觀地描述目標(biāo)區(qū)域的運(yùn)動(dòng)主方向，可以看出目標(biāo)區(qū)域的運(yùn)動(dòng)主方向可以準(zhǔn)確獲取，為后續(xù)二分匹配提供了準(zhǔn)確的方向匹配依據(jù)。

圖5分別顯示視頻序列中目標(biāo)的跟蹤效果。圖5（a）中的螞蟻，其自身顏色與樹干非常接近但其邊緣紋理結(jié)構(gòu)與樹干差別很大，且其特征保持穩(wěn)定，針對(duì)該視頻序列本文算法可以完成準(zhǔn)確的跟蹤。圖5（b）中的迷彩服，其顏色幅度跨度大，反映在圖像中表現(xiàn)為其邊緣紋理信息與背景反差較大，且迷彩服在一個(gè)短時(shí)間內(nèi)可以看做剛性物體即沒有形變，因此迷彩服在整個(gè)視頻系列上都可以完成準(zhǔn)確的跟蹤。然而針對(duì)于圖5（c）中的冬青樹枝而言，該視頻背景也是冬青樹枝，即目標(biāo)與背景的顏色信息類似，但是該目標(biāo)邊緣紋理信息豐富且保持穩(wěn)定，由圖5（c）中可以看出其發(fā)生了一些微小的形變，但就整個(gè)視頻序列而言可以保持一個(gè)穩(wěn)定的跟蹤。由實(shí)驗(yàn)結(jié)果可以得出本文提出的算法適用于平緩變化的視頻序列中，顏色跨度較大或者紋理結(jié)構(gòu)較為明顯的偽裝色運(yùn)動(dòng)目標(biāo)。

圖4 光流運(yùn)動(dòng)場(chǎng)運(yùn)動(dòng)主方向結(jié)果圖

圖5 本文跟蹤算法部分跟蹤

6 結(jié)論

針對(duì)偽裝色運(yùn)動(dòng)目標(biāo)的跟蹤問題，本文提出了一種基于圖像金字塔光流計(jì)算與灰度、Hog特征匹配的綜合跟蹤算法。首先基于目標(biāo)與背景在運(yùn)動(dòng)規(guī)律差別的基礎(chǔ)上，采取金字塔光流算法計(jì)算光流場(chǎng)，提取目標(biāo)區(qū)域的運(yùn)動(dòng)主方向以及速度大小范圍；其次將目標(biāo)區(qū)域沿著運(yùn)動(dòng)主方向在速度大小范圍內(nèi)進(jìn)行二分法匹配，根據(jù)匹配值的大小動(dòng)態(tài)調(diào)整匹配位移的大小，進(jìn)而獲取目標(biāo)區(qū)域的精確位置。這種算法可以減小匹配的次數(shù)、提高匹配的效率。實(shí)驗(yàn)結(jié)果表明，針對(duì)背景平緩變化的視頻序列、顏色色調(diào)范圍較大或者邊緣結(jié)構(gòu)較為明顯的偽裝色目標(biāo)，本文提出的算法可以有效跟蹤。下一步的工作重點(diǎn)將著重對(duì)物體有效特征進(jìn)一步提取，例如結(jié)構(gòu)化的紋理特征提取與分類[15]并致力解決視頻背景變化比較劇烈時(shí)偽裝色目標(biāo)的檢測(cè)與跟蹤。

[1]Yilmaz A，Javed O，Shah M.Object tracking：a survey[J]. ACM Journal of Computing Surveys，2006，38（4）：1-45.

[2]Sun Y，Yuan B.Hierarchical GMM to handle sharp changes in moving object detection[J].Electronics Letters，2004，40（13）：801-802.

[3]李金屏，李倩.基于Laws能量和變化頻次的偽裝色移動(dòng)目標(biāo)檢測(cè)[J].中國體視學(xué)與圖像分析，2011，16（1）：18-23.

[4]Yin Jianqin，Han Yanbin，Hou Wendi，et al.Detection of the mobile object with camouflage color based on optical flow[J].Procedia Engineering，2011，15：2201-2205.

[5]侯文迪，李建，李金屏.基于局部微分光流與拓?fù)湟恢滦缘膫窝b色移動(dòng)目標(biāo)檢測(cè)[C]//第16屆中國圖象圖形會(huì)議論文集，2012：630-634.

[6]Li Jinping，Li Qijuan，Yin Jianqin.Real-time tracking by combining level set and meanshift[J].Journal of Information&Computational Science，2008，5（2）：829-836.

[7]顏佳，吳敏淵，陳淑珍，等.基于Meanshift算法的偽裝目標(biāo)跟蹤[J].光電工程，2009，36（2）：11-15.

[8]Wang Zhaowen，Yang Xiaokang，Xu Yi.Camshift guided particle filter for visual tracking[J].Pattern Recognition Letters，2009，30：407-413.

[9]Vaswani N，Rathi Y，Yezzi A，et al.Deform PF-MT：particle filter with mode tracker for tracking nonaffine contour deformations[J].IEEE Transactions on Image Processing，2010，19（4）：841-857.

[10]Bruhn A，Weickert J，Schn?rr C.Lucas/Kanade meets Horn/ Schunck：combining local and global optic flow methods[J]. International Journal of Computer Vision，2005，61（3）：211-231.

[11]Kameda Y，Imiya A，Sakai T.Hierarchical properties of multi-resolution optical flow computation[C]//Lecture Notes in Computer Science，2012，7584：576-585.

[12]江志軍，易華蓉.一種基于圖像金字塔光流的特征跟蹤方法[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2007，32（8）：680-683.

[13]Deniz O，Bueno G，Salito J，et al.Face recognition using histograms of oriented gradients[J].Pattern Recognition Letters，2011，32（12）：1598-1603.

[14]Sipiran I，Bustos B.A robust 3D interest points detector based on harris operator[C]//Eurographics Workshop on 3-D Object Retrieval，2010：7-14.

[15]韓延彬，尹建芹，李金屏.基于圖元旋轉(zhuǎn)不變性和相位統(tǒng)計(jì)信息的LBP算法在紋理分類中的研究[J].計(jì)算機(jī)學(xué)報(bào)，2011，34（3）：583-592.

HOU Wendi1，2,WANG Ning1，2,LI Jinping1，2

1.School of Information Science and Engineering,University of Jinan,Jinan 250022,China
2.Shandong Provincial Key Laboratory of Network Based Intelligent Computing,Jinan 250022,China

In order to track the camouflaged moving object under complex background,a method based on multi-resolution optical flow and Histograms of Oriented Gradients（HOG）is proposed.The speed vector range of object is obtained by using the multi-resolution optical flow.The gray feature and HOG feature of object area are used to construct the feature vector, which is a standard of bipartite matching in the range of speed value along the main direction of object,and then the object area is obtained accurately.The experimental results demonstrate the proposed approach is effective to track the camouflaged moving object in slowly changing background when the color of camouflaged object changes greatly or the moving object has obvious edge structure.

camouflage;moving object tracking;multi-resolution optical flow;Histograms of Oriented Gradients（Hog）

針對(duì)復(fù)雜背景下偽裝色運(yùn)動(dòng)目標(biāo)的跟蹤問題，提出一種基于運(yùn)動(dòng)信息與梯度方向直方圖的跟蹤方法。通過金字塔光流法獲取視頻序列中目標(biāo)運(yùn)動(dòng)矢量范圍；利用目標(biāo)區(qū)域的灰度特征以及Hog特征構(gòu)建特征向量，沿著運(yùn)動(dòng)主方向在速度大小范圍內(nèi)進(jìn)行二分法匹配，進(jìn)而確定目標(biāo)的準(zhǔn)確位置。實(shí)驗(yàn)結(jié)果表明，針對(duì)平緩變化的視頻序列，對(duì)于顏色色調(diào)范圍較大或者邊緣結(jié)構(gòu)較為明顯的偽裝色運(yùn)動(dòng)目標(biāo)具有良好的跟蹤效果。

偽裝色；運(yùn)動(dòng)目標(biāo)跟蹤；金字塔光流法；梯度方向直方圖

A

TP391

10.3778/j.issn.1002-8331.1305-0150

HOU Wendi,WANG Ning,LI Jinping.Camouflaged moving object tracking algorithm based on motion information and Hog feature.Computer Engineering and Applications,2014,50（24）：187-190.

國家自然科學(xué)基金（No.60873089）；山東省高等學(xué)校科技計(jì)劃（No.J12LN19）。

侯文迪（1988—），女，碩士在讀，研究領(lǐng)域?yàn)闄C(jī)器視覺；王寧（1988—），女，碩士在讀，研究領(lǐng)域?yàn)闄C(jī)器視覺；李金屏（1968—），男，博士，教授，研究領(lǐng)域?yàn)闄C(jī)器視覺、圖像處理。E-mail：houwendi_19881205@163.com

2013-05-14

2013-06-30

1002-8331（2014）24-0187-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-09-04，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130904.1344.016.html