陳從平，江高勇，張 力，凌 陽，郁春明，閆煥章，張 屹

(1.常州大學 機械與軌道交通學院，江蘇 常州 213164; 2.常州大學 材料科學與工程學院，江蘇 常州 213164)

關鍵字：運動目標檢測；ViBe算法；幀差法；鬼影；自適應閾值

0 引言

運動目標檢測是實現(xiàn)計算機視覺對動態(tài)目標進行鎖定跟蹤與分類識別的關鍵，已廣泛應用于如行人跟蹤，車輛追蹤，自動駕駛等目標處于運動狀態(tài)的視覺檢測場合，并隨著計算機和信息技術(shù)的發(fā)展正不斷擴展應用領域。

現(xiàn)有的目標檢測方法主要有：光流法[1-3]、幀差法[4-6]、背景差分法[7-9]等，其中光流法利用背景幀的所有像素點建立速度矢量場，當圖像中存在運動目標時，由于運動目標的速度矢量和背景點速度矢量不同，兩者會產(chǎn)生相對運動，造成矢量場的動態(tài)變化，此時通過定位矢量場中的突變位置來完成目標檢測，但該方法計算量大，難以實現(xiàn)實時和有效檢測。幀差法利用相鄰幀圖像存在運動目標時會有明顯變化來實現(xiàn)目標檢測，通過將相鄰幀圖像對應像素差分來獲得前景目標，該類方法檢測效果不完整且內(nèi)部有孔洞。背景差分法通過建立背景模型，將當前幀圖像與背景模型進行比對，通過設定相關閾值，進而可以有效地提取出運動目標。

常用的背景差分法主要有GMM[10]、Codebook模型[11]和ViBe[12]算法(visual background extraction algorithm)，GMM利用多個帶有權(quán)重的高斯密度函數(shù)在時域上構(gòu)建背景模型，通過判定某像素點是否符合該時域的正態(tài)分布來判別前景點和背景點，但是其計算量會隨時間增大，影響檢測速度。Codebook模型通過逐個為像素建立碼本集和進行目標檢測，但背景擾動下檢測準確度較低。ViBe算法利用首幀圖像快速建立背景模型，將保守更新策略與前景點計數(shù)結(jié)合進行背景更新，與GMM和Codebook相比邏輯簡單，計算量小，運算速度快，對背景擾動有一定適應性，但仍存在一些缺點：1)當初始幀存在運動目標時，檢測過程中會產(chǎn)生鬼影；2)背景初始化時從中心像素點的8鄰域內(nèi)選取20個像素點會導致重復選?。?)當存在背景擾動時，固定分割閾值會導致檢測準確率低。針對這些問題，CHEN等人[13]提出檢測出鬼影后重復初始化鬼影區(qū)域，以加速鬼影消失。JIN[14]和ZHANG[15]利用ViBe算法檢測出前景區(qū)域，再通過改進邊緣檢測算法提取運動目標邊緣信息，最后將前景區(qū)域與運動目標邊緣信息結(jié)合以獲得更準確的前景目標。涂偉強等人[16]采用前n幀圖像的平均像素值初始化背景模型來抑制鬼影，并根據(jù)最大類間方差計算分割閾值以完成前景檢測。劉志豪等人[17]利用多幀初始化背景模型來消除鬼影，通過衡量背景擾動程度構(gòu)建自適應分類閾值來完成前景檢測。劉家軍等人[18]通過選擇顏色和空間位置相近的點建立背景模型，并利用迭代法確定自適應分割閾值，最后通過幀差法和二元指數(shù)分布結(jié)合來確定背景模型的更新概率。Huang等人[19]利用奇數(shù)幀圖像中的像素點建立背景模型，在背景更新過程中加入Time of map機制來抑制鬼影。方嵐等人[20]通過像素直方圖相似度匹配判別鬼影，將檢測出的鬼影區(qū)域替換為背景來實現(xiàn)鬼影抑制。崔鵬翔等人[21]提出利用歐式距離和Tanimoto系數(shù)結(jié)合，通過計算前景目標區(qū)域和鄰域背景區(qū)域像素灰度直方圖的相似度來檢測鬼影，通過將鬼影區(qū)域設置為背景區(qū)域來實現(xiàn)消除鬼影。

本文提出一種改進ViBe算法，利用改進三幀差分法定位初始幀中的運動目標，并用最大外接矩形框選目標區(qū)域，再通過局部初始化去除初始幀中的運動目標，在抑制鬼影的同時避免了重復初始化，減少了消除鬼影的時間。利用灰度相似函數(shù)和時空相似性結(jié)合，從初始五幀中按照灰度相似性等比例選取20個像素點建立背景模型，避免了樣本點重復選取的同時增加了背景模型的魯棒性。利用平均差法衡量樣本點集合的離散程度，構(gòu)建自適應分割閾值代替原有的固定分割閾值，增加了算法對背景擾動的適應性。通過使用公共數(shù)據(jù)集CDnet2014中的視頻序列進行實驗對比，本文算法的總體表現(xiàn)優(yōu)于傳統(tǒng)ViBe算法以及其他算法。

1 ViBe算法原理

ViBe算法是一種像素級視頻背景建模方法，該算法采用隨機策略從中心像素點的8鄰域內(nèi)選取20個像素點建立背景模型，將輸入像素點與背景模型中的樣本點進行距離判定和閾值比較來完成前景檢測，ViBe運動目標檢測方法主要分為背景模型初始化、前景檢測、背景更新三個階段。

1.1 背景模型初始化

利用首幀圖像初始化背景模型，初始化背景模型的過程就是選取像素點放入樣本點集合的過程。樣本點選取過程如圖1所示，設圖1(a)為視頻序列中首幀圖像，圖1(b)表示從首幀圖像中某中心像素點x的8鄰域內(nèi)隨機選取N個樣本點，圖1(c)表示利用隨機選取的N個樣本點建立像素點x的樣本點集合P(x,y)，當首幀所有像素點的樣本點集合選取完成后就完成了背景模型的初始化。

圖1 ViBe背景模型

P(x,y)={p1(x,y),p2(x,y)……pN(x,y)}

(1)

其中:Pi(x,y)(i=1,…N)表示樣本點，N為P(x,y)中樣本點數(shù)量。

1.2 前景檢測

前景檢測是將新輸入像素點與背景模型中的樣本點進行距離判定和閾值比較，從而判斷該像素點是否為前景點。如圖2所示，某一輸入像素點v的像素值為v(x,y)，計算該像素點與其背景模型中樣本點的歐式距離，統(tǒng)計新輸入像素點v與背景模型中樣本點歐式距離小于匹配半徑R的個數(shù)，即以v(x,y)為圓心，R為匹配半徑的歐式距離圓范圍內(nèi)樣本點個數(shù)，若個數(shù)大于nmin，則認為新輸入像素點v與首幀圖像中對應位置像素點相似性較高，將其判定為背景點，若個數(shù)小于nmin，則認為新輸入像素點v與首幀圖像中對應位置像素點相似性較低，將其判定為前景點，公式表達為：

圖2 前景檢測示意圖

(2)

其中:BG為背景點，F(xiàn)G為前景點，SR[v(x,y)]是以v(x,y)為圓心,R為半徑的圓，nmin為樣本點匹配閾值。

1.3 背景模型更新

背景模型更新策略分為保守更新策略和盲目更新策略，保守更新策略是只有背景點才能更新背景模型。該策略能夠準確檢測運動目標，但是當初始幀存在運動目標時，會將運動目標當作背景點放入背景模型中，在后續(xù)目標檢測時會產(chǎn)生鬼影。盲目更新策略為前景點和背景點都會更新背景模型，對死鎖不敏感。但是當運動目標速度緩慢時，檢測準確度會降低。

ViBe算法將保守更新策略與前景點計數(shù)相結(jié)合，前景點計數(shù)就是對像素點進行統(tǒng)計，當某一像素點連續(xù)K次被判定為前景時，則會強制判定該像素點為背景點，并用來更新背景模型。所以在ViBe算法檢測過程中，若某像素點被判定為背景點或連續(xù)k次被判定為前景點，將有1/φ的概率更新與之對應的背景模型中的樣本值及其鄰域像素點的樣本值，φ為更新因子。

2 改進的ViBe算法

ViBe算法利用首幀圖像初始化背景模型，雖然減少了建立背景模型的時間，但是當首幀存在運動目標時會產(chǎn)生鬼影，而且利用首幀圖像各像素點8鄰域內(nèi)隨機選取20個樣本點的策略，會導致樣本點重復選取和樣本點信息單一，導致像素點誤分類和背景模型魯棒性不強，另外當背景存在擾動情況時，固定分割閾值適應性差，會將部分背景點誤檢為前景點，導致檢測準確度低，針對以上問題，本文提出一種改進方法，其流程如圖3所示。

圖3 改進算法流程圖

2.1 鬼影定位與抑制

ViBe算法用首幀圖像初始化背景模型，如果首幀存在運動目標，建立背景模型時會將運動目標歸為背景點，放入到背景模型中，在前景檢測時，當首幀圖像中的運動目標移動后，先前運動目標所在區(qū)域會顯示真實背景，而真實背景會被檢測為前景目標，此時就產(chǎn)生了鬼影。消除鬼影需要判斷初始幀中是否有運動目標并消除運動目標，為此本文提出改進三幀差分對初始幀進行目標檢測，若得到的二值圖像連通域大于Smin，則認為會在后續(xù)目標檢測中會產(chǎn)生鬼影，并利用最小外接矩形定位鬼影區(qū)域，最后通過局部初始化進行鬼影抑制。

改進三幀差分示意圖如4所示，從視頻第一幀開始，對連續(xù)三幀k-1、k、k+1圖像進行差分運算,將差分結(jié)果進行OTSU閾值分割，從而得到當前幀的前景目標，對得到的前景目標進行中值濾波操作，以去除前景目標中的細小干擾點，接著進行膨脹運算，使前景目標更完整，最終獲得2個前景目標dif1和dif2，再將dif1和dif2分別與k幀的邊緣提取結(jié)果進行與運算，得到的兩個結(jié)果再進行或運算，以獲得邊緣信息較為完整的前景目標dif3，去除dif3中面積小于S1的前景斑點區(qū)域，填充面積小于S2的前景孔洞區(qū)域得到dif4，即初始幀中的運動目標。

圖4 改進三幀差分流程圖

在得到初始幀中的目標dif4后需要進行鬼影判斷、鬼影定位和鬼影抑制，鬼影判斷通過設置面積閾值Smin實現(xiàn)，若初始幀中的運動目標區(qū)域dif4的連通分量面積大于Smin，則認為dif4區(qū)域會在前景檢測階段產(chǎn)生鬼影；鬼影定位通過最小外接矩形實現(xiàn)，用最小外接矩形框選住dif4區(qū)域，以包含整個前景目標區(qū)域，至此可以定位鬼影區(qū)域，設為Pg；鬼影抑制通過局部初始化最小外接矩形內(nèi)部區(qū)域?qū)崿F(xiàn)，設Pd為后續(xù)幀差結(jié)果中與Pg對應區(qū)域，當Pd在幀差結(jié)果中被判定為背景時，說明Pd區(qū)域是真實背景，此時停止幀差，并利用真實背景Pd區(qū)域初始化前M幀中與Pg對應區(qū)域，這樣就將前M幀中的運動目標區(qū)域替換成了真實背景，從而消除了初始幀中運動目標，達到鬼影抑制的效果，并為后續(xù)背景模型初始化做準備。

2.2 背景模型初始化

ViBe算法通過從中心像素點的8鄰域內(nèi)隨機選取20個像素點構(gòu)建背景模型，此方法會引起像素點重復選取，像素點選取過于集中也容易導致像素點誤分類，而且背景模型缺少時域信息，當背景中存在擾動情況時建立的背景模型魯棒性不強。針對這些問題，本文從樣本點選取方式和選取范圍上做出改進，樣本點選取方式方面，由原來的隨機選取策略改為利用灰度相似函數(shù)選取樣本點，這樣在增加樣本點和中心像素點相似度的同時避免樣本點的單一和重復，樣本點選取范圍方面，從空域和時域信息中選取樣本點，空域上將采樣范圍由原來的8鄰域擴大為24鄰域，時域上由原來的首幀選取樣本點改為從完成鬼影抑制后的初始M幀中選取，使背景模型具備時域信息，增加了背景模型的魯棒性，具體選取步驟如下：

定義灰度相似函數(shù)，將24鄰域內(nèi)像素點的灰度值與中心像素點的灰度值做差，得到差值后取絕對值，即：

G(a,b)=|I(a)-I(b)|

(3)

其中：a為中心像素點，b為鄰域中的某一像素點，I(a)、I(b)為兩點灰度值。

建立樣本點子集，對于任一像素點x,第i幀處的像素值為pi(x,y)，利用G(a,b)從像素點x當前幀的24鄰域內(nèi)選取G(a,b)值最小的n個像素點構(gòu)成當前幀的樣本點子集，表示為：

(4)

i為圖像幀序號，n為當前幀樣本點選取數(shù)量。

初始M幀選取完成后，可以得到M×n個樣本點建立背景模型，當初始M幀所有像素點對應的背景模型構(gòu)建好后，就完成了背景模型初始化。

確定初始M幀的值和每幀選取樣本點數(shù)量n的值也是初始化背景模型的關鍵步驟，初始幀M取值過大會影響初始化背景模型速度，降低算法的實時性，若M取值過小，則降低了背景模型中時域信息的豐富性和背景模型的魯棒性。為確定選取初始幀數(shù)與選取每幀樣本點數(shù)的最佳方案，選用存在背景擾動的CDnet2014公共數(shù)據(jù)集中overpass視頻序列做實驗分析，比較以下5種方案的F-measure值，該值越大，代表算法綜合性更好，5種方案分別為：3幀(每幀選取7個樣本點)、4幀(每幀選取 5個樣本點)、5幀(每幀選取4個樣本點)、6幀(每幀選取4個樣本點)、7幀(每幀選取3個樣本點)。5種方案的F-measure值如圖5所示，5幀(每幀選取4個樣本點)方案的F-measure值最大，最終確定利用初始5幀初始化背景模型，每幀選取n=4個樣本點，共N=20個樣本點建立背景模型。

圖5 方案選取F-measure對比

2.3 前景檢測

ViBe算法使用全局固定分割閾值R對像素點進行前景點和背景點的判定，可較好地適用于靜態(tài)背景，然而當背景存在擾動情況時，固定分割閾值不能夠適應背景中擾動變化，導致檢測準確度降低.為此本文提出一種基于平均差的自適應分割閾值機制，基本思想是通過平均差法衡量樣本點集合的離散度，構(gòu)建自適應分割閾值，即當背景區(qū)域存在較大擾動時適當提高分割閾值，背景區(qū)域趨于穩(wěn)定時維持原有的分割閾值，平均差定義為：

(5)

式中,vi(x,y)表示樣本點集合中的樣本點像素值，μ(x,y)表示樣本點集合的像素平均值，μ(x,y)表達式為：

(6)

即計算樣本點集合中各樣本點像素值與樣本點像素平均值差分和的平均值，當MD(x,y)值較大時，說明樣本點集合離散度高，背景存在擾動情況，應適當增大分割閾值，當MD(x,y)值較小時，說明樣本點集合離散度低，背景區(qū)域穩(wěn)定，分割閾值維持原來大小即可，自適應分割閾值表達式為R(x,y)為：

(7)

式中,α為自適應參數(shù)，δ為尺度因子，固定分割閾值與自適應分割閾值在擾動背景下對比如圖6所示，如圖6(a)所示，當采用固定分割閾值R時，待測像素點v(x,y)歐式距離圓內(nèi)，只有一個樣本點，小于樣本匹配閾值nmin=2，則像素點v(x,y)判定為前景點，如圖6(b)所示,采用自適應分割閾值R(x,y)增大匹配半徑后，待測像素點v(x,y)歐式距離圓內(nèi)，有兩個樣本點，大于等于樣本匹配閾值nmin=2，則像素點v(x,y)判定為背景點，因此在背景存在擾動情況時采用自適應分割閾值可以提高檢測準確度。

圖6 背景擾動情況下固定分割閾值和自適應分割閾值對比圖

3 實驗和結(jié)果分析

本文所用軟硬件條件為：操作系統(tǒng)選用Windows10操作系統(tǒng)，主機信息為：(Intel(R)Core(TM)i9-9000K,32G內(nèi)存)，在VS2017編譯環(huán)境下編譯程序，并運用OpenCV。實驗中的部分閾值取自經(jīng)驗閾值，部分閾值取自原ViBe算法，分割閾值R取20,樣本點數(shù)目N取20，樣本匹配閾值nmin取2,自適應更新閾值α取0.05，尺度因子取6。

3.1 鬼影消除實驗分析

為了驗證本文改進算法對鬼影抑制的有效性，選取CDnet2014公共數(shù)據(jù)集中highway視頻序列進行鬼影抑制試驗，將原始ViBe算法檢測效果和本文抑制鬼影后的檢測效果做對比，實驗對比如圖7所示。

圖7 鬼影消除實驗對比圖

圖7(a)為highway視頻序列第60幀圖像，圖7(b)為傳統(tǒng)ViBe算法檢測效果，圖7(c)為本文改進ViBe算法檢測效果，如圖7(b)所示，由于初始幀存在運動目標，可以看出檢測結(jié)果中有明顯的鬼影產(chǎn)生，如圖7(c)所示，在采用改進三幀差分定位鬼影并局部初始化后，消除了初始幀的運動目標，從而抑制鬼影產(chǎn)生，鬼影消除有明顯的效果。

3.2 背景模型魯棒性實驗分析

為了驗證本文改進算法對增強背景模型魯棒性的有效性，選取CDnet2014公共數(shù)據(jù)集中overpass視頻序列進行背景模型魯棒性試驗，將原始ViBe算法檢測效果和采用本文方法建立的背景模型后的檢測效果做對比，實驗對比如圖8所示。

圖8 背景模型魯棒性實驗對比圖

圖8(a)為overpass視頻序列圖像，背景中的樹葉處于輕微晃動狀態(tài)，圖8(b)為傳統(tǒng)ViBe算法檢測結(jié)果，可以看出晃動的樹葉被檢測為前景，圖8(c)為本文改進算法檢測效果，由于建立背景模型時加入了時域信息，利用灰度相似函數(shù)從初始5幀中選取像素點建立背景模型，增加了背景模型中樣本點信息的豐富性，從而使背景模型具有較好的魯棒性。

3.3 背景擾動實驗分析

為了驗證本文改進算法對背景擾動的適應性，選取CDnet2014公共數(shù)據(jù)集中overpass視頻序列進行背景擾動適應性試驗，通過將原始ViBe算法和本文改進算法做對比，實驗對比如圖9所示。

圖9 背景擾動實驗對比圖

圖9(a)為overpass視頻序列第1 300幀圖像，圖9(b)為傳統(tǒng)ViBe算法檢測效果，圖9(c)為本文改進ViBe算法檢測效果。如圖9(a)所示，并且由于風的因素，背景中的樹葉處于輕微晃動狀態(tài)，如圖9(b)所示，傳統(tǒng)ViBe算法的檢測結(jié)果背景中的樹葉被判定為前景，因為傳統(tǒng)ViBe算法的背景模型的建立方法和固定半徑閾值的匹配方法對動態(tài)背景適應性差，當背景存在擾動時固定分割閾值會導致檢測準確度降低。如圖9(c)所示，背景中晃動的樹葉大部分被正確判定為背景，由此可得，當背景存在擾動情況時，利用平均差法構(gòu)建自適應分割閾值對背景擾動適應好，可以有效提高檢測準確度。

3.4 算法綜合表現(xiàn)實驗與分析

為對比本文算法與原始ViBe算法在去除鬼影、對背景擾動適應性方面的性能表現(xiàn)，本文選用的指標有真陽性(TP)、真陰性(TN)、假陽性(FP)、假陰性(FN)、準確率(Precision)、召回比(Recall)、F度量(F-measure)、漏檢率(FNR),如式(8)～(11)所示：

(8)

(9)

(10)

(11)

式中，TP為正確分類的前景數(shù)，TN為正確分類的背景數(shù)，F(xiàn)P為錯誤分類的前景數(shù)，F(xiàn)N為錯誤分類的背景數(shù)，Precision是正確分類的前景占總前景的比重，Recall是正確檢測前景像素的比率，F(xiàn)-measure為綜合評價指標。

為了檢驗本文算法在不同場景下的有效性，采用CDnet2014公共數(shù)據(jù)集中具有代表性的視頻序列，highway視頻序列、overpass視頻序列、canoe視頻序列總計3個實驗樣本，其中highway視頻序列選取存在運動目標的視頻幀作為初始幀，overpass視頻序列存在樹枝樹葉輕微晃動的背景，canoe視頻序列存在湖面水紋波動的背景擾動情況。試驗選用GMM算法、ViBe算法以及本文算法進行實驗對比，比較三種算法在消除鬼影和對背景擾動的適應性上的表現(xiàn)，實驗結(jié)果如圖10所示。

圖10 改進算法與其他算法相比

highway視頻序列由于初始幀存在運動目標，傳統(tǒng)ViBe算法利用初始幀建立背景模型，會將初始幀的運動目標放入背景模型中，導致前景檢測階段真實背景被檢測為鬼影，GMM由于采用個相互獨立的高斯分布來表征某一像素點的像素特征值，雖然沒有產(chǎn)生鬼影，但是檢測結(jié)果有大量孔洞且存在大量干擾信息；本文采用改進三幀差分和最小外接矩形定位初始幀運動目標，通過局部初始化最小外接矩形區(qū)域圖像，從而消除初始幀運動目標，達到抑制鬼影產(chǎn)生的目的，且抑制效果明顯。overpass視頻序列背景區(qū)域存在輕微晃動的樹葉，canoe視頻序列存在湖面水紋波動，GMM和傳統(tǒng)ViBe算法對于背景擾動適應性較差，檢測結(jié)果中將背景區(qū)域的擾動信息誤檢成前景，而本文將灰度相似性與時域和空域信息相結(jié)合，從初始五幀中等比例選取20個樣本點建立背景模型，使背景模型中的樣本點具有空域和時域信息的同時與中心像素點有較高的相似度，提高了背景模型的魯棒性。其次，通過平均差法衡量背景模型離散程度并構(gòu)建自適應分割閾值，提高了算法對背景擾動的適應性，因此當背景存擾動情況時，本文算法可以很好的適應背景擾動，從而提高檢測的準確度。

同時，利用上文評價指標計算3種算法在3組不同視頻序列條件下的指標值，以柱狀圖的形式進行直觀對比，結(jié)果如圖11所示，可以發(fā)現(xiàn)由于ViBe算法無法處理初始幀存在運動目標留下的鬼影，導致其在highway視頻序列條件下準確率上明顯不如另外兩種算法，GMM算法的漏檢率在三個視頻序列條件下都高于算法，說明其容易將運動目標漏檢，運動目標檢測不完整，孔洞較多。本文改進算法在不同視頻序列條件下的準確率、召回率和F度量三項指標都明顯高于傳統(tǒng)ViBe算法，這表明本文算法不僅能完整檢測出運動目標，并且結(jié)果較為準確。

圖11 不同視頻序列下各算法性能指標對比

最后，利用上文評價指標計算3種算法在3組視頻序列條件下的指標平均值，結(jié)果如表1所示，可以發(fā)現(xiàn)與GMM和傳統(tǒng)ViBe算法相比，本文算法在highway、overpass、canoe，3個視頻序列條件下，準確率分別平均提高了26.5%和22.3%，并且3個視頻序列的檢測均速在25frames/s左右，基本滿足實時檢測的要求。

表1 各算法不同場景評價指標平均值

4 結(jié)束語

本文針對傳統(tǒng)ViBe算法在目標檢測過程中易產(chǎn)生鬼影的問題，利用改進三幀差分法定位初始幀的運動目標，并用最小外接矩形框住目標區(qū)域，最后通過局部初始化消除初始幀的運動目標，有效避免了鬼影的產(chǎn)生。在背景模型初始化階段，利用灰度相似函數(shù)從初始五幀等比例選取像素點建立背景模型，避免了樣本點重復選取的同時提高了背景模型的魯棒性。在前景檢測檢測階段，通過平均差法衡量樣本集合的離散度，構(gòu)建自適應分割閾值代替原有的固定分割閾值，增強了對背景擾動的適應性，實驗證明，本文算法可以有效消除鬼影并且提高在背景擾動情況下的檢測準確度，有較好的實用性。由于本文在背景更新階段沒有做進一步改進，故在后期研究中可以通過構(gòu)建自適應的更新因子來進一步提高目標檢測的準確率和適應性。