周 帥, 秦明偉, 侯寶臨

(1.西南科技大學信息工程學院，四川 綿陽 621010；2.特殊環(huán)境機器人技術四川省重點試驗室，四川 綿陽 621010)

結(jié)合局部差分的CamShift動目標跟蹤算法

周 帥1,2, 秦明偉1,2, 侯寶臨1,2

(1.西南科技大學信息工程學院，四川 綿陽 621010；2.特殊環(huán)境機器人技術四川省重點試驗室，四川 綿陽 621010)

CamShift算法具有計算量小、對目標形變適應能力強、執(zhí)行效率高等優(yōu)點，其在圖像處理領域具有重要地位。但僅采用顏色直方圖作為目標特征，忽略目標位置信息，會造成該算法在目標形態(tài)調(diào)整的過程中容易將顏色相似的背景納入跟蹤目標，從而發(fā)散甚至跟蹤漂移。針對這一現(xiàn)象，提出了一種結(jié)合局部差分的CamShift跟蹤算法，以進一步改善該算法的實際應用效果。改進后的算法首先結(jié)合MeanShift迭代結(jié)果和擴展后統(tǒng)計區(qū)域的背景差分結(jié)果，綜合判斷移動物體的中心位置、長度、寬度等信息；然后通過此信息對運動目標形態(tài)變化的調(diào)整進行約束，使調(diào)整后的范圍更加符合實際情況。試驗結(jié)果顯示，改進后的算法能夠在復雜背景下準確地鎖定跟蹤目標，證明了結(jié)合局部背景差分技術的CamShift算法可以在增加較少計算量的情況下排除相似顏色的干擾，減少了跟蹤過程中出現(xiàn)的不穩(wěn)定現(xiàn)象，提高了算法的準確性和魯棒性。

圖像處理； CamShift算法； 目標跟蹤； 漂移； 魯棒性； 自適應； 嵌入式系統(tǒng)

0 引言

CamShift算法在MeanShift跟蹤算法的基礎上，結(jié)合顏色域的高階矩信息，對跟蹤物體的形狀進行調(diào)整。該算法能夠更加準確地判斷出物體在當前圖像中的形狀和位置，進而提高跟蹤的準確性。它不僅保留了MeanShift算法的實時性和魯棒性，而且增加了對物體形變的適應能力，更加符合實際情況[1]。由于CamShift算法良好的跟蹤性能，先后有很多學者對其進行了優(yōu)化，以進一步提高算法的跟蹤性能。如覃躍虎等提出的建立色調(diào)、飽和度、明度(hue，saturation，value，HSV)空間中H、V和物體邊緣梯度三個信息分量的直方圖，并根據(jù)背景模型動態(tài)地調(diào)整三個分量的權(quán)值，最終確定跟蹤目標的位置，大大提高了算法跟蹤的準確度[2]；路寧結(jié)合加速穩(wěn)健特征(speeded up robust features,SURF)算法對經(jīng)典CamShift算法進行創(chuàng)新、改進，結(jié)合跟蹤目標的形態(tài)特征，通過抑制較大的位移變化等方法，提高了算法對不同環(huán)境的適應性[3]；夏景新等通過引入車輛建模和運動預測的方法，將CamShift算法應用到車流量統(tǒng)計、事故監(jiān)測和事故分析中，取得了良好的效果[4]。

然而，大部分的算法改進往往引入了更復雜的算法，或者多角度地反復調(diào)用CamShift算法，在取得較好跟蹤效果的同時也大大增加了算法的復雜度和計算量；同時，為了保證算法的實時性，必須提高對處理器的性能要求，這就限制了算法移植到一般嵌入式平臺的可能性。本文針對CamShift算法跟蹤過程中出現(xiàn)漂移現(xiàn)象的關鍵原因，保留了算法計算量小的優(yōu)點，并結(jié)合局部的背景差分技術，使得算法能夠更加精確地對物體的形變程度作出判斷，取得了較好的跟蹤結(jié)果。

1 經(jīng)典CamShift跟蹤算法

1.1 CamShift算法實現(xiàn)

CamShift算法的核心仍然是通過迭代算法來確定目標的位置[5]，繼而通過調(diào)整目標形態(tài)特征來提高準確性。其實現(xiàn)過程可概述為以下三個步驟。

①生成色彩投影圖。將RGB轉(zhuǎn)化為HSV，并提取出H(色相)通道。H通道包含了幾乎全部的色彩信息，而且對光線的敏感度較弱[6-7]。根據(jù)跟蹤目標的色相直方圖，可以獲得視頻中圖像序列在目標直方圖下的反向投影圖，作為算法實現(xiàn)的基礎。

②獲取目標中心。以上一幀目標位置為起點，采用MeanShift向量，迭代出目標在新一幀圖像中的位置。當相似性滿足預設條件或者迭代次數(shù)達到閾值時，跳出循環(huán)，此時目標形狀與上一幀保持一致。

③調(diào)整目標形態(tài)。CamShift的特點主要體現(xiàn)在這一步驟。以第二步中求出的中心位置為中心，適當擴大統(tǒng)計范圍，通過計算統(tǒng)計范圍內(nèi)的顏色高階矩信息，判斷物體的大小、旋轉(zhuǎn)角度等信息并重新計算出中心點。通過不斷調(diào)整搜索窗口，使得每一幀的跟蹤結(jié)果都包含了跟蹤目標的最新信息，所以該算法具有持續(xù)適應能力。計算過程如下。

(1)

(2)

假設array(x,y)為對應(x,y)點的H值;mij為統(tǒng)計范圍內(nèi)x方向i階、y方向j階顏色矩值。

則調(diào)整后的目標旋轉(zhuǎn)角度(θ)、長度(L)和寬度(W)為：

(3)

(4)

(5)

根據(jù)求得的θ、L、W，重新確定物體的位置信息，并通過橢圓對目標進行標定，下一幀圖像采用調(diào)整后的L和W進行MeanShift迭代。

1.2 存在的問題

CamShift采用顏色矩信息作為判斷依據(jù)，具有計算量小、對形狀變化不敏感的優(yōu)點，但是沒有考慮像素之間的位置信息、連續(xù)圖像之間的關聯(lián)信息和物體的運動信息，在背景顏色與目標相似的情況下不能準確區(qū)分目標和背景[8-9]。CamShift算法通過擴大統(tǒng)計范圍來調(diào)整跟蹤目標的形狀變化，在無法區(qū)分目標和背景的情況下必然會將背景信息統(tǒng)計進去，放大了跟蹤目標的形狀。包含的背景信息增加，會降低目標的信息比重。這不僅將導致對跟蹤目標的形狀和具體位置的誤判，且在嚴重情況下會誤將背景當作目標而錯過目標的移動信息，產(chǎn)生嚴重的跟蹤漂移現(xiàn)象。通過投影圖，可更容易看到問題出現(xiàn)的原因。

在根據(jù)跟蹤目標特征建立的反向投影圖中，與目標顏色相近的程度反映為該區(qū)域的亮度。因此，顏色相似區(qū)域給目標跟蹤制造了很大的干擾。跟蹤過程中，在目標進入這些區(qū)域后，將很難準確判斷目標的具體位置和形態(tài)變化情況。本文結(jié)合背景差分的方法，對背景和前景作出識別，以降低誤判的概率，并提高跟蹤的精度和成功率。

2 CamShift跟蹤算法改進

2.1 結(jié)合背景差分的算法流程

針對經(jīng)典算法在背景色復雜和相近時很容易產(chǎn)生誤判的情況，本文通過局部幀間差分法，對擴大的統(tǒng)計范圍內(nèi)的像素點變化進行統(tǒng)計，判斷出該范圍內(nèi)的像素是否是前景目標，以動態(tài)地調(diào)整統(tǒng)計范圍。因為對運動目標小范圍地進行背景差分，不受其他區(qū)域運動物體的影響，所以并沒有引入新的干擾因素。相對于固定范圍而言，動態(tài)范圍具有更強的適應性。在相似背景位置可以盡量減少背景信息的干擾，而且優(yōu)化過程中不會影響CamShift算法本身對物體形變的適應能力。改進后的算法流程如圖1所示。圖1中的虛線框為改進后添加的流程，其余為經(jīng)典CamShift算法的一般流程。

圖1 改進算法流程圖

改進CamShift該算法的具體實現(xiàn)過程可分為兩個狀態(tài)來描述。①在沒有跟蹤任務的狀態(tài)下，建立背景模板，并采用多幀加權(quán)的方式定時更新背景，為背景差分提供背景信息。同時，監(jiān)控鼠標、鍵盤的輸入信息，完成目標的鎖定和初始化工作。②在跟蹤狀態(tài)下，首先通過MeanShift迭代算法獲得移動物體在新一幀圖像中的中心點位置，目標形態(tài)和大小默認與上一幀狀態(tài)相同。采用定值的方法擴大統(tǒng)計范圍，在擴大后的范圍內(nèi)進行局部背景差分，判斷前景目標的范圍并根據(jù)差分結(jié)果調(diào)整統(tǒng)計范圍。在新的統(tǒng)計范圍內(nèi)運用CamShift算法調(diào)整目標的形態(tài)，使跟蹤更加精確。當MeanShift迭代達到設定上限且無法收斂時，即認為跟蹤目標丟失，退出本次程序。

2.2 算法實現(xiàn)要點

2.2.1 背景建模

背景建模技術常與背景差分算法相結(jié)合，共同完成對移動目標的檢測、識別和分析。采用可靠的背景模型是確保整個系統(tǒng)可靠性的關鍵[10]。針對不同的應用場景和處理需要，有多種成熟的背景建模算法可供學習、使用，具體選擇需綜合考慮應用環(huán)境、算法復雜度、穩(wěn)定性等因素。

由于跟蹤應用中大部分場景屬于背景靜止但有運動前景的環(huán)境，同時本文所針對的一般監(jiān)控環(huán)境需要綜合考慮程序的復雜度問題，故采用了一種具有學習功能的自適應建模方法。針對連續(xù)圖像的特點，在程序穩(wěn)定后初次建立背景模型，定時采用新、舊背景加權(quán)和的方式實時更新背景，以保證背景模板在跟蹤任務啟動時的有效性。學習頻率和新背景權(quán)值需要對實際場景進行調(diào)試，從而獲得最優(yōu)的值。這里以更新權(quán)值為0.2為例，背景學習公式可表示為：

Ib=0.8Ib+0.2I

(6)

在實際測試中，通過調(diào)整得到合適的權(quán)值和頻率，算法可以為跟蹤程序提供可靠的背景模板信息。背景中快速移動的物體對背景模板的影響較小，進入背景的靜態(tài)物體也會隨著時間累積更新到背景模板中。為了降低跟蹤目標本身對跟蹤效果的影響，在跟蹤轉(zhuǎn)狀態(tài)下可以停止學習或者降低學習的頻率。經(jīng)過試驗檢測，采用這種建模方式能夠滿足一般環(huán)境下的建模需要，為跟蹤算法的實現(xiàn)提供了保障。

2.2.2 局部差分實現(xiàn)

為了適應物體的形態(tài)變化速度，CamShift算法在調(diào)整物體形態(tài)時往往選擇較大的擴大范圍來統(tǒng)計顏色信息，以獲得目標的形態(tài)變化參數(shù)。然而在獲得這些信息的同時難免引入了干擾信息，造成算法對相似背景色的影響十分敏感。本文引入動態(tài)設定統(tǒng)計范圍的思想，根據(jù)局部背景差分的結(jié)果對擴大后的統(tǒng)計范圍進行調(diào)整，使計算得出的高階矩信息更加具有針對性，也減少了引入相似背景干擾的可能。采用局部差分法可以避免監(jiān)控畫面中其他部分移動物體的干擾，降低了算法的復雜度；在差分結(jié)果上，通過腐蝕、膨脹的形態(tài)學濾波方法[11]，可消除局部范圍內(nèi)不穩(wěn)定因素和噪聲的干擾，進一步確保前景統(tǒng)計結(jié)果的準確性。

假設上一幀圖像中目標的范圍為Wo，本幀圖像的實際擴大范圍為Wf，經(jīng)過經(jīng)典CamShift算法擴展后的范圍為Wc，經(jīng)過本文算法得出的統(tǒng)計范圍為Wn。對范圍進行調(diào)整后，排除了部分非前景區(qū)域，保留了物體發(fā)生形變的區(qū)域，既減少了非目標信息的影響，又保留了目標形態(tài)變化所需要的信息。在具體程序?qū)崿F(xiàn)中，設定每一個窗口W由左上角頂點坐標(x,y)和窗口的長度(l)、寬度(w)確定，array(l,w)為圖像的長和寬，t為預設的向四周擴展的值。以像素為單位，CamShift中擴展后范圍Wc的計算方法如下所示。

(7)

(8)

(9)

(10)

結(jié)合Wc區(qū)域內(nèi)背景差分后的結(jié)果，對擴展區(qū)域的范圍進行調(diào)整,Wc(i,j)表示W(wǎng)c區(qū)域內(nèi)背景差分結(jié)果經(jīng)二值化、腐蝕、膨脹后坐標(i,j)的值。

Wn,x=min(minwc(i,j)!=0i,t)+Wc.x

(11)

Wn,y=min(minwc(i,j)!=0j,t)+Wc.y

(12)

Wn,l=max(maxwc(i,j)!=0i,W.l-t)-Wn.x

(13)

Wn,w=max(maxwc(i,j)!=0j,W.w-t)-Wn.y

(14)

通過遍歷Wc區(qū)域內(nèi)的背景差分結(jié)果，獲得前景區(qū)域的范圍。將前景區(qū)域范圍和上一幀運動目標區(qū)域Wo作與運算，最終得到調(diào)整后的統(tǒng)計范圍Wn。當遇到相似顏色干擾時，可以盡量少地引入背景信息，從而得到更加精確的目標中心點位置，抑制漂移現(xiàn)象的出現(xiàn)。即使在相似背景色區(qū)域較大的情況下，也能夠?qū)Υ┰狡渲械哪繕诉M行準確跟蹤。

3 試驗結(jié)果與分析

為了驗證改進后算法的運行效果，本文選取了兩組試驗。試驗均在VS軟件平臺上完成，借助OpenCV 3.0實現(xiàn)視頻的顯示和目標圈定。視頻分辨率采用標準VGA分辨率(640×480)，幀率為25 fps。試驗中，通過手動圈定跟蹤目標開始跟蹤。當目標超出監(jiān)控范圍或者跟蹤丟失時退出程序，迭代收斂條件為窗口移動距離小于兩個像素，迭代超過20次即認為收斂失敗。兩組試驗背景不同，均分別使用經(jīng)典CamShift和改進后的算法對相同的運動目標進行跟蹤，通過實際對比驗證了改進后算法性能的優(yōu)化效果。

試驗一為試驗室環(huán)境，背景靜止、簡單、顏色干擾明顯。以光盤為跟蹤目標，測試其經(jīng)過大面積相似色干擾區(qū)域時的跟蹤情況。目標在進入干擾區(qū)域之前，兩組算法跟蹤效果相似；從目標進入干擾區(qū)域、受到相似背景干擾后，經(jīng)典CamShift跟蹤算法下目標區(qū)域開始擴散到整個干擾背景。由于背景的相對目標更大，所以經(jīng)過調(diào)整后的目標被錯誤地鎖定到了背景上，造成目標丟失。改進后的跟蹤算法可以準確地跟蹤目標，即使在背景色相近的情況下，也能盡可能保證目標信息的有效性，抑制了跟蹤區(qū)域的發(fā)散現(xiàn)象。

試驗二采用室外自然環(huán)境，背景相對復雜。以行駛的白色汽車為跟蹤目標，驗證了建模方法的實用性和改進后算法對物體形態(tài)變化的調(diào)整能力。過往車輛對建模結(jié)果產(chǎn)生了一定的影響，但仍可以清晰地區(qū)分前景和背景信息，證明了該方法能夠在常規(guī)環(huán)境下建立可用的背景模板。該試驗可以驗證算法在復雜情況下的穩(wěn)定性。試驗中路標、?？哭I車和樹木等造成了復雜的顏色干擾，目標從遠到近的行駛過程伴隨著移動速度和形態(tài)的改變。通過試驗結(jié)果可以看出，經(jīng)典CamShift跟蹤算法很快開始出現(xiàn)發(fā)散現(xiàn)象，之后不斷擴大，最終將樹木包括到跟蹤目標中，造成跟蹤失敗。改進后的算法能夠準確地跟蹤目標，對跟蹤目標的形態(tài)變化仍然保持適應能力，但是當目標速度過快時也會出現(xiàn)漂移現(xiàn)象。這主要是由于汽車逐漸靠近干擾時速度和形狀擴大速度過快，導致不能完全跟蹤上目標。

4 結(jié)束語

本文通過引入背景建模和背景差分的方法，對經(jīng)典CamShift跟蹤算法提出了新的改進。試驗結(jié)果證明，改進后的算法明顯地改善了原算法對相似顏色干擾的魯棒性，能在一般環(huán)境下穩(wěn)定運行，完成對指定目標的初始化、跟蹤和標定，具有較好的實時性和準確性。下一步將對攝像頭轉(zhuǎn)動情況下的CamShift跟蹤算法進行改進，以提高該算法的實際應用能力，并最終實現(xiàn)在嵌入式平臺上的移植。

[1] CHEN C,ZHANG M,QIU K,et al.Real-time robust hand tracking based on camshift and motion velocity[C]//International Conference on Digital Home,IEEE,2014:20-24.

[2] 覃躍虎,支琤,徐奕.基于三維直方圖的改進Camshift目標跟蹤算法[J].現(xiàn)代電子技術,2014(2):29-33.

[3] 路寧.基于SURF和CamShift的物體跟蹤方法[J].微型機與應用,2012,31(21):40-43.

[4] XIA J,RAO W,HUANG W,et al.Automatic multi-vehicle tracking using video cameras:An improved CAMShift approach[J].Ksce Journal of Civil Engineering,2013,17(6):1462-1470.

[5] 布拉德斯基,劉瑞禎.O'Reilly:學習OpenCV(中文版)[M].北京：清華大學出版社,2009:371-375.

[6] 馬玲,張曉輝.HSV顏色空間的飽和度與明度關系模型[J].計算機輔助設計與圖形學學報,2014,26(8):1272-1278.

[7] ELDAHSHAN K,YOUSSEF M,MASAMEER E,et al.Comparison of segmentation framework on digital microscope images for acute lymphoblastic leukemia diagnosis using RGB and HSV color spaces[J].Biotechnology & Bioengineering,2015,2(2):142-145.

[8] CHANG W Y,LAI J S,TENG-YIY U,et al.Pier scour monitoring system by bed-level image tracking[J].International Journal of Sediment Research,2014,29(2):269-277.

[9] 邢藏菊,溫蘭蘭,何蘇勤.TLD視頻目標跟蹤器快速匹配的研究[J].小型微型計算機系統(tǒng),2015,36(5):1113-1116.

[10]DENG G,GUO K.Self-adaptive background modeling research based on change detection and area training[C]// IEEE Workshop on Electronics，2014:59-62.

[11]XIAN J Z,LAN S.An improved relief display effect of image based on edge detection[C]// Seventh International Conference on Measuring Technology and Mechatronics Automation，2015:114-117.

CamShift Tracking Algorithm Combining with Local Background Difference for Moving Target

ZHOU Shuai1，2, QIN Mingwei1，2, HOU Baolin1，2

(1.School of Information Engineering, Southwest University of Science and Technology, Mianyang 621010, China;2. Robot Technology Used for Special Environment Key Laboratory of Sichuan Province, Mianyang 621010, China)

An important position of CamShift algorithm in the field of image processing is established with the advantages of small amount of computation,strong adaptability to target deformation and high execution efficiency.But only using the color histogram as the target feature,ignoring the position information of the target,may cause the background in similar color would be treated as the tracking target in the process of target form adjustment.Aiming at this phenomenon,the CamShift tracking algorithm combining with local difference is proposed to further improve the practical application effects of the algorithm.The improved algorithm firstly combines the results of MeanShift iteration and the background difference of the extended statistical region,to comprehensively judge the central position,length and width of the moving object.Then,with the help of this information,the adjustment for the deformation of the moving target is constrained,and the adjusted range is more in line with the actual situation.The experimental results show that the improved algorithm can accurately track the target under complex background,and prove that the CamShift algorithm combining with local background difference technology can eliminate interference of similar color,with adding less computation,and reduce the instability of tracking process,as well as improve the accuracy and robustness of the algorithm.

Image processing； CamShift algorithm; Target tracking; Drift; Robustness; Self-adaption; Embedded system

資金項目:國防基礎科研計劃資助項目(B3120133002)

周帥(1990—)，男，在讀碩士研究生，主要從事圖像處理技術、嵌入式系統(tǒng)的研究和應用。E-mail：zhoushuaiv@163.com。 秦明偉(通信作者)，男，博士，副教授，主要從事軟件無線電與認知無線電、片上網(wǎng)絡、高速圖像處理系統(tǒng)等技術的研究。E-mail：qmw_qyq@163.com。

TH6;TP391.9

A

10.16086/j.cnki.issn 1000-0380.201702001

修改稿收到日期：2016-11-22