周文靜　陳瑋

摘要：

為了能夠準(zhǔn)確、快速地跟蹤運(yùn)動(dòng)目標(biāo)，提出了改進(jìn)幀間差分與局部Camshift相結(jié)合的目標(biāo)跟蹤算法。針對(duì)傳統(tǒng)幀間差分法在運(yùn)動(dòng)目標(biāo)提取過(guò)程中容易產(chǎn)生“空洞”的現(xiàn)象，并且對(duì)噪聲敏感的問(wèn)題，提出了三幀差分的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。首先，利用三幀差分法，將相鄰的三幀圖像作為一組進(jìn)行再差分，從而檢測(cè)出中間幀運(yùn)動(dòng)目標(biāo)的形狀輪廓，然后將該區(qū)域作為運(yùn)動(dòng)目標(biāo)的模板區(qū)域，并將該區(qū)域進(jìn)行適當(dāng)擴(kuò)充，最后采用局部Camshift算法進(jìn)行目標(biāo)跟蹤。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的幀間差分可以有效地彌補(bǔ)“空洞”現(xiàn)象，對(duì)噪聲也起到了一定的抑制作用。同時(shí)，該方法克服了傳統(tǒng)Camshift算法需要人為選擇跟蹤區(qū)域和容易發(fā)散的缺點(diǎn)，達(dá)到了預(yù)期的目標(biāo)檢測(cè)和跟蹤效果。

關(guān)鍵詞：

局部Camshift算法；三幀差分法；目標(biāo)檢測(cè)；目標(biāo)跟蹤

DOIDOI：10.11907/rjdk.172531

中圖分類號(hào)：TP312

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2018）003006704

英文摘要Abstract：The target tracking algorithm based on improved interframe difference and local Camshift were put forward to quickly and exactly track moving object. The three frame difference target detection algorithm is proposed for the traditional interframe difference method， which is prone to “empty” phenomenon in the process of moving object extraction and is sensitive to noise. Firstly， the three frame difference method is used to discriminate the adjacent threeframe image as a group to detect the shape contour of the moving target of the intermediate frame， and the region is used as the template area of the moving object， and the area is appropriately expanded， with local Camshift algorithm for target tracking. Experimental results show that the improved interframe difference can effectively compensate for the “hole” phenomenon， the noise also played a certain degree of inhibition. At the same time， this method overcomes the shortcomings of the traditional Camshift algorithm that requires artificial selection of tracking areas and easy divergence to achieve the desired target detection and tracking.

英文關(guān)鍵詞Key Words：local Camshift algorithm； three frame difference； target detection； target tracking

0引言

隨著計(jì)算機(jī)與通信技術(shù)及圖像處理技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)已成為目前的研究熱點(diǎn)，而運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是計(jì)算機(jī)視覺(jué)研究的核心課題之一[1]。Camshift是一種基于顏色直方圖的跟蹤算法，利用顏色的相關(guān)信息跟蹤運(yùn)動(dòng)目標(biāo)。該算法繼承了MeanShift算法在實(shí)時(shí)性和魯棒性方面的優(yōu)點(diǎn)[2]，同時(shí)可根據(jù)上一幀的結(jié)果自適應(yīng)調(diào)整搜索窗口位置和大小，從而得到目標(biāo)在當(dāng)前幀的位置[3]。

Camshift算法在背景單一，且跟蹤目標(biāo)與背景顏色差別較大時(shí)，具有很好的跟蹤效果。然而，傳統(tǒng)的Camshift算法在目標(biāo)檢測(cè)階段需手動(dòng)選取跟蹤目標(biāo)，而不能實(shí)現(xiàn)目標(biāo)的全自動(dòng)檢測(cè)和跟蹤。同時(shí)，傳統(tǒng)的Camshift算法在反向投影時(shí)，需對(duì)后續(xù)整幅視頻圖像進(jìn)行全局計(jì)算，增加了額外的計(jì)算負(fù)擔(dān)，并且全局計(jì)算也會(huì)大大降低跟蹤質(zhì)量。比如在亮度不強(qiáng)的區(qū)域，反向投影會(huì)產(chǎn)生噪聲點(diǎn)。

文獻(xiàn)[3]提出了幀間差分與Camshift相結(jié)合的目標(biāo)跟蹤算法，但幀間差分所提取的目標(biāo)區(qū)域有“空洞”現(xiàn)象，區(qū)域信息獲取不完整，可能導(dǎo)致跟蹤區(qū)域發(fā)散[3]。針對(duì)以上問(wèn)題，本文提出改進(jìn)幀間差分與局部Camshift相結(jié)合的跟蹤算法。

1Camshift目標(biāo)跟蹤算法

Camshift （Continuously Adaptive MeanShift），即連續(xù)自適應(yīng)的MeanShift算法。MeanShift是一種基于梯度計(jì)算的均值漂移跟蹤算法。在D維空間中，均值移動(dòng)矢量沿著概率密度增大的方向逐步搜尋，從而得到該空間概率密度的局部最大值。Meanshift算法是在一張指定的圖片上計(jì)算最優(yōu)迭代結(jié)果，而Camshift是面向連續(xù)的視頻序列，逐一對(duì)每一幀圖像進(jìn)行Meanshift運(yùn)算，求出最優(yōu)搜索結(jié)果[45]。Camshift算法具體操作步驟如下：

（1）讀取視頻幀圖像，并將該圖像由RGB顏色空間轉(zhuǎn)至HSV空間。為了實(shí)現(xiàn)色彩空間的降維，需將H（hue）分量分離出來(lái)，即由原來(lái)的（R，G，B，X，Y）5維降為（H，X，Y）3維，從而減少計(jì)算復(fù)雜度。

（2）初始化搜索窗，并計(jì)算出搜索窗區(qū)域的顏色直方圖，進(jìn)行反向投影操作，將原始圖像轉(zhuǎn)為色彩概率分布圖。

（3）利用MeanShift算法在概率分布圖上進(jìn)行迭代漂移。假設(shè)I（x，y）是概率投影圖上（x，y）處的像素值，則搜索窗口的零階距為：

M00=∑x∑yI（x，y）（1）

計(jì)算一階距為：

M10=∑x∑yxI（x，y），M01=∑x∑yyI（x，y）（2）

搜索窗的質(zhì)心位置為：

Xc=M10M00，Yc=M01M00 （3）

（4）調(diào)整搜索窗大小，寬度為：

s=M00256（4）

長(zhǎng)度為寬度的1.2s。

（5）將搜索窗的中心移至質(zhì)心（Xc，Yc）處，如果移動(dòng)距離大于預(yù)設(shè)的固定閾值，則重復(fù)步驟（3）～（5），直到搜索窗中心與質(zhì)心間的移動(dòng)距離小于預(yù)設(shè)的固定閾值，待其收斂或達(dá)到最大迭代次數(shù)，得到最終搜索窗口的位置和大小。

（6）讀入下一幀圖像，根據(jù)新得到的搜索窗口參數(shù)信息，跳轉(zhuǎn)至步驟（2）繼續(xù)執(zhí)行，直至視頻播放結(jié)束。

2局部Camshift目標(biāo)跟蹤算法

為了克服傳統(tǒng)Camshift算法在反向投影時(shí)帶來(lái)的額外計(jì)算和噪聲點(diǎn)，將算法全局計(jì)算改為局部計(jì)算[6]，讓反向投影限制在搜索窗口內(nèi)部進(jìn)行，提出了局部Camshift目標(biāo)跟蹤算法。，該算法有效地改善了Camshift算法的計(jì)算量和無(wú)關(guān)的計(jì)算容易讓更多無(wú)關(guān)的物體干擾跟蹤算法。局部Camshift算法具體操作步驟如下：①對(duì)給定的圖像作直方圖運(yùn)算，初始化窗口，設(shè)定初始窗口的位置，準(zhǔn)備跟蹤；②對(duì)當(dāng)前窗口作適當(dāng)擴(kuò)充，并計(jì)算擴(kuò)充后窗口的反向投影；③使用Meanshift算法進(jìn)行迭代，待收斂后，返回跟蹤目標(biāo)的零階距M00和收斂位置；④以收斂位置為中心建立窗口，由式（4）進(jìn)行窗口的尺寸計(jì)算，并根據(jù)計(jì)算結(jié)果更新窗口大小；⑤將更新的窗口作為下一幀視頻圖像的初始窗口，并將Meanshift算法的迭代窗口中心重新作為目標(biāo)初始位置，跳轉(zhuǎn)至步驟（2）繼續(xù)執(zhí)行，直至視頻播放結(jié)束，返回。

3三幀差分算法

3.1三幀差分法原理與框架

三幀差分算法是兩幀差分算法的改進(jìn)算法[7]。該算法的基本原理是對(duì)兩次幀間差的差分圖像再進(jìn)行相關(guān)操作，即將當(dāng)前幀與前一幀作差分運(yùn)算，下一幀與當(dāng)前幀作差分運(yùn)算，然后對(duì)兩次差分結(jié)果通過(guò)選擇適當(dāng)?shù)拈撝颠M(jìn)行二值化處理，最后將經(jīng)過(guò)二值化處理的兩次差分結(jié)果再進(jìn)行邏輯“與”操作[8]。其算法框架如圖1所示。

3.2三幀差分法流程

（1）灰度化。輸入的視頻文件是彩色的，一般采用的是RGB顏色模型。由于三幀差分法是基于像素點(diǎn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，它通過(guò)對(duì)視頻圖像序列中的連續(xù)三幀圖像分別進(jìn)行相鄰的差分運(yùn)算，判斷背景中像素點(diǎn)的灰度值是否發(fā)生了變化，然后根據(jù)灰度值的變化得到運(yùn)動(dòng)目標(biāo)，所以對(duì)輸入的彩色視頻進(jìn)行灰度化處理，將彩色圖像轉(zhuǎn)化為灰度圖像?；叶忍幚聿捎肶UV與RGB顏色空間變化的方法，如式（5）所示：

Y=0.3R+0.59G+0.11B（5）

（2）分幀處理。從視頻序列中t時(shí)刻選取連續(xù)三幀視頻圖像，記為Ik-1（x，y）、Ik（x，y）、Ik+1（x，y），分別表示前一幀、當(dāng)前幀和后一幀圖像。其中，x、y是像素位置。

（3）差分處理。分別計(jì)算相鄰兩幀圖像的差值：

diff1（k，k-1）（x，y）=|Ik（x，y）-Ik-1（x，y）|（6）

diff2（k+1，k）（x，y）=|Ik+1（x，y）-Ik（x，y）|（7）

因?yàn)橐曨l幀與幀之間時(shí)間間隔較短，而運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)速度不快，所以可以對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行準(zhǔn)確定位[9]。因此，采用此算法進(jìn)行目標(biāo)定位。實(shí)驗(yàn)中，選取視頻序列Car中連續(xù)的3幀圖像，分別為第7幀、8幀和9幀。差分實(shí)驗(yàn)如圖2所示。

（4）二值化。通過(guò)選擇合理的閾值T，對(duì)得到的差值圖像進(jìn)行二值化處理，如式（8）、式（9）所示：

g1（k，k-1）（x，y）=255，diff1（k，k-1）（x，y）≥T0， diff1（k，k-1）（x，y）

g2（k+1，k）（x，y）=255，diff2（k+1，k）（x，y）≥T0， diff2（k+1，k）（x，y）

其中，T為設(shè)定閾值，g1（k，k-1）（x，y）、g2（k+1，k）（x，y）為二值化處理結(jié)果。

閾值的選擇采用最佳閾值法，即迭代法[10]。它是一種不斷用變量的舊值遞推新值的過(guò)程，即無(wú)限趨近于“真值”的過(guò)程[11]。迭代閾值的獲取步驟歸納如下：

步驟1：選擇適當(dāng)?shù)某跏奸撝礣（j），一般情況下可以選取整幅圖像的平均灰度值作為迭代的初始閾值，j為總迭代次數(shù)，初始化時(shí)j=0。

步驟2：用T（j）分割圖像，將圖像分為2個(gè)區(qū)域C（j）1和C（j）2。

步驟3：計(jì)算兩區(qū)域的平均灰度值，其中N（j）1、N（j）2為第j次迭代時(shí)區(qū)域C1和C2的像素點(diǎn)個(gè)數(shù)，f（x，y）表示圖像中（x，y）點(diǎn)的灰度值。

u（j）1=1N（j）1∑f（x，y）∈C（j）1f（x，y）（10）

u（j）2=1N（j）2∑f（x，y）∈C（j）2f（x，y）（11）

步驟4： 計(jì)算新的門限值，即：

T（j+1）=u（j）1+u（j）22（12）

步驟5：令j=j+1，重復(fù)步驟2-4，直到T（j+1）與T（j）的差小于規(guī)定值或j達(dá)到最大的迭代次數(shù)。

（5）與運(yùn)算。通過(guò)與運(yùn)算提取二值化圖像的交集，從而得到運(yùn)動(dòng)目標(biāo)前景圖像[12]：

X=g1（k，k-1）（x，y）g2（k+1，k）（x，y）（13）

其中，*為與運(yùn)算。

（6）腐蝕與膨脹。對(duì)獲得的二值圖像進(jìn)行形態(tài)學(xué)的腐蝕與膨脹操作。腐蝕的作用是為了消除干擾點(diǎn)或噪聲點(diǎn)，使跟蹤目標(biāo)變小，從而消除小于結(jié)構(gòu)元素的點(diǎn)[13]。而膨脹的作用是將與目標(biāo)接觸的所有背景點(diǎn)合并到目標(biāo)上，使目標(biāo)增大，可彌補(bǔ)目標(biāo)的“空洞”現(xiàn)象[14]。實(shí)驗(yàn)如圖3所示。

4三幀差分與局部Camshift算法相結(jié)合

利用三幀差分可以檢測(cè)出運(yùn)動(dòng)目標(biāo)區(qū)域，然后利用局部Camshift算法進(jìn)行目標(biāo)跟蹤[15]，具體操作步驟如下：

（1）讀取視頻幀序列，將第一幀圖像拷貝給pre_frame，再將第二幀圖像拷貝給frame，并分別進(jìn)行灰度化處理，記為pre_gray，fra_gray。

（2）將第三幀圖像拷貝給next_frame，并進(jìn)行灰度化處理，記為next_gray。

（3）將第一幀灰度圖像pre_gray與第二幀灰度圖像fra_gray進(jìn)行差分運(yùn)算，得到差分圖像，記為gray_image1；第二幀灰度圖像fra_gray與第三幀灰度圖像next_gray進(jìn)行差分運(yùn)算，得到差分圖像，記為gray_image2[16]；最后，對(duì)gray_image1和gray_image2進(jìn)行二值化處理，通過(guò)迭代法選擇適當(dāng)?shù)拈撝礣，得到大于閾值T的像素點(diǎn)個(gè)數(shù)，進(jìn)而判斷是否已檢測(cè)到目標(biāo)。

（4）若得到的像素點(diǎn)個(gè)數(shù)大于預(yù)先設(shè)置好的個(gè)數(shù)，則表示此時(shí)已檢測(cè)到跟蹤目標(biāo)，然后求取這些像素點(diǎn)的最小外接矩形，并在此基礎(chǔ)上對(duì)得到的矩形進(jìn)行適當(dāng)?shù)耐鈹U(kuò)處理。此時(shí)，即完成了運(yùn)動(dòng)目標(biāo)檢測(cè)。

（5）再對(duì)gray_image1和gray_image2進(jìn)行與運(yùn)算，得到大于閾值T的中間幀二值圖像，記為gray_image。為了消除邊緣和噪聲對(duì)目標(biāo)的干擾，本文采用圖像形態(tài)學(xué)中對(duì)二值圖像腐蝕和膨脹的方法解決這個(gè)問(wèn)題[17]。

（6）對(duì)檢測(cè)出的運(yùn)動(dòng)目標(biāo)區(qū)域采用局部Camshift算法進(jìn)行跟蹤，同時(shí)，將第二幀拷貝給第一幀，第三幀拷貝給第二幀，讀取下一幀，跳至步驟（2）執(zhí)行，直至視頻播放結(jié)束，返回。

5實(shí)驗(yàn)與仿真

本次仿真實(shí)驗(yàn)是在處理器型號(hào)為 Intel Corei5-2430M，主頻2.40GHz，內(nèi)存4GB，操作系統(tǒng)為Windows 7專業(yè)版的PC機(jī)上使用Visual Studio2015以及OpenCV 3.2.0版本實(shí)現(xiàn)的。

如圖4、圖5所示是一組汽車行駛視頻序列，選取汽車作為跟蹤目標(biāo)，跟蹤結(jié)果顯示在藍(lán)色矩形框內(nèi)。畫(huà)面中，周圍小草的顏色與汽車顏色相似，因而對(duì)跟蹤目標(biāo)有一定干擾。視頻序列是從第1幀開(kāi)始框選跟蹤目標(biāo)。圖4采用傳統(tǒng)的幀間差分與Camshift相結(jié)合的跟蹤算法，圖5采用改進(jìn)的幀間差分與局部Camshift相結(jié)合的跟蹤算法。從圖5可以看出，改進(jìn)的跟蹤算法在跟蹤過(guò)程中可以保證跟蹤目標(biāo)整體上的完整性（彩圖見(jiàn)封二）。

如圖6、圖7所示，類似于攝像頭監(jiān)控下的視頻序列，選取人作為跟蹤目標(biāo)。第26幀為相對(duì)靜止的場(chǎng)景，無(wú)運(yùn)動(dòng)目標(biāo)。從圖6可以看出，傳統(tǒng)跟蹤算法在第85幀和117幀出現(xiàn)跟蹤目標(biāo)大部分缺失的情況，而改進(jìn)的跟蹤算法表現(xiàn)出較好的跟蹤性能（彩圖見(jiàn)封二）。

仿真實(shí)驗(yàn)結(jié)果表明，改進(jìn)的跟蹤算法具有更好的跟蹤效果，跟蹤準(zhǔn)確度得到明顯提高。同時(shí)，局部Camshift大大降低了算法的計(jì)算復(fù)雜度，使跟蹤速度得到明顯提高。

6結(jié)語(yǔ)

本文在傳統(tǒng)Camshift跟蹤算法的基礎(chǔ)上，提出了基于改進(jìn)幀間差分與局部Camshift相結(jié)合的目標(biāo)跟蹤算法[17]。通過(guò)三幀差分對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行了很好的定位，有效避免了幀間差分帶來(lái)的“空洞”現(xiàn)象，克服了傳統(tǒng)Camshift算法需人為框選跟蹤區(qū)域和易發(fā)散的缺點(diǎn)，實(shí)現(xiàn)了一種全自動(dòng)的目標(biāo)跟蹤。局部Camshift算法使目標(biāo)跟蹤速度得到很大提高，降低了計(jì)算復(fù)雜度。但在特定場(chǎng)景下，本文算法也存在一定局限，比如跟蹤目標(biāo)運(yùn)動(dòng)速度過(guò)快時(shí)，易于出現(xiàn)跟蹤丟失的情況等[18]。隨著深度學(xué)習(xí)的迅速發(fā)展，利用深度學(xué)習(xí)進(jìn)行目標(biāo)跟蹤，是目前該領(lǐng)域的一個(gè)研究熱點(diǎn)，如何使用該方法提高跟蹤效果是接下來(lái)的研究方向。

參考文獻(xiàn)參考文獻(xiàn)：

[1]尹紅娟，欒帥.三幀差分運(yùn)動(dòng)目標(biāo)檢測(cè)算法分析與驗(yàn)證[J].計(jì)算機(jī)與數(shù)字工程，2017，328（1）：6971，87.

[2]張春林，李小堅(jiān).基于幀間差分和背景差分結(jié)合的Camshift目標(biāo)跟蹤算法[J].工業(yè)控制計(jì)算機(jī)，2014，27（6）：118120.

[3]張宏志，張金換，岳卉，等.基于Camshift的目標(biāo)跟蹤算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006，27（11）：20122014.

[4]湯泉.基于AdaBoost和Camshift的人臉檢測(cè)與跟蹤[J].電子科技，2016，29（12）：166169.

[5]儲(chǔ)珺，杜立輝，汪凌峰，等.基于局部背景感知的目標(biāo)跟蹤[J].自動(dòng)化學(xué)報(bào)，2012，38（6）：19851995.

[6]劉毅，楚楊杰.局部Camshift跟蹤算法[C].武漢：武漢理工大學(xué)，2007：2829.

[7]XIAOWEI HAN，YUAN GAO，ZHENG LU，et al. Research on moving object detection algorithm based on improved three frame difference method and optical flow[C].Fifth International Conference on Instrumentation and Measurement， Computer， Communication and Control，2015.

[8]HONGKUN LIU，JIALUN DAI，RUCHEN WANG，et al. Combining background subtraction and threeframe difference to detect moving object from underwater video[C]. Oceans， 2016：15.

[9]HONGXIA CHU，SHUJIANG YE，QINGCHANG GUO，et al. Object tracking algorithm based on Camshift algorithm combinating with difference in frame[C]. International Conference on Automation and Logistics，2007.

[10]周帥，秦明偉，侯寶臨.結(jié)合局部差分的CamShift動(dòng)目標(biāo)跟蹤算法[J].自動(dòng)化儀表，2017，38（2）：14.

[11]司艷麗.膠體推進(jìn)劑燃燒特性的圖像分析技術(shù)[D].南京：南京理工大學(xué)，2011：3435.

[12]劉紅，周曉美，張震.一種改進(jìn)的三幀差分運(yùn)動(dòng)目標(biāo)檢測(cè)[J].安徽大學(xué)學(xué)報(bào)：自然科學(xué)版，2014，38（6）：5559.

[13]丁亞軍，謝可夫.改進(jìn)型中值濾波和形態(tài)學(xué)組合降噪方法[J].計(jì)算機(jī)與現(xiàn)代化，2007，138（2）：4142，45.

[14]杜厚鵬，盧官明.基于監(jiān)控視頻的運(yùn)動(dòng)車輛檢測(cè)與違章分析[D].南京：南京郵電大學(xué)，2014：1315.

[15]楊杰，穆平安，戴曙光.一種改進(jìn)Camshift算法的研究[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31（2）：167170.

[16]李萌，鄭娟毅，門瑜.基于幀差法的運(yùn)動(dòng)車輛陰影去除算法[J].電視技術(shù)，2016，40（10）：1114.

[17]初紅霞，宋起超，王希鳳，等.基于幀間差分與Camshift相結(jié)合的目標(biāo)跟蹤算法[J].彈箭與制導(dǎo)學(xué)報(bào)，2008，28（3）：8588.

[18]趙春暉，包玉剛，姚冰.基于Kim與Camshift結(jié)合的運(yùn)動(dòng)目標(biāo)跟蹤算法[J].黑龍江大學(xué)自然科學(xué)學(xué)報(bào)，2010，27（1）：126130.

責(zé)任編輯（責(zé)任編輯：黃健）