楊 碩，吉愛萍

(沈陽化工大學 計算機科學與技術(shù)學院，遼寧 沈陽 110142)

0 引 言

運動目標檢測算法是計算機視覺的基礎(chǔ)，應(yīng)用廣泛，因此受到了很多學者的關(guān)注并提出了大量的算法，其中具有代表性的有高斯混合模型[1]和ViBe算法[2]等。特別是ViBe算法，作為一種通用場景的運動目標檢測算法，采用了隨機更新策略，計算過程簡潔、高效，同時還具有占用資源少，能夠在大分辨率下實時運行的優(yōu)點。但原ViBe算法不能很好地處理運動目標檢測算法中常見的問題，如鬼影、陰影、光照變化和周期性運動目標等。因此，很多學者將經(jīng)典ViBe算法作為一個框架，并在此基礎(chǔ)上修改或添加自己的模塊以實現(xiàn)不同的功能。例如，文獻[3-4]通過擴大樣本的取值范圍或增加樣本的比較次數(shù)改善ViBe的鬼影和陰影問題；文獻[5-6]通過幀間差分或三幀差分改善Vibe的鬼影問題；文獻[7]通過MeanShift迭代改善ViBe鬼影問題，等等。

同時，近年來，隨著硬件設(shè)備性能的提高，以及新的、高效的算法的出現(xiàn)，越來越多的學者嘗試將深度信息融合到傳統(tǒng)的基于單攝像機的運動目標檢測算法中。深度信息的引入能夠在一定程度上改善運動目標檢測算法固有的難題[8-11]，如鬼影、光照變化和目標-背景顏色相近等。但多數(shù)學者使用深度相機獲取深度信息，由于深度相機技術(shù)的不成熟，使得融合后的運動目標檢測算法的效果受到了一定限制。具體地，市場上已經(jīng)商品化的深度相機一般采用激光散斑和TOF(time of flight，飛行時間)技術(shù)，存在的主要問題有：價格昂貴，除微軟的Kinect外，動輒數(shù)萬元；相機參數(shù)固定，對可測的場景深度有要求，基于激光散斑的難以在室外強光下使用；受到傳感器和計算量的限制，獲取的深度圖像分辨率較低，如TOF深度相機獲取的深度圖像的水平和垂直分辨率僅在200～300之間。以上這些問題使得基于深度相機的運動目標檢測算法很難適應(yīng)通用的視頻場景，如大場景、室外監(jiān)控等，限制了算法的應(yīng)用。

綜上分析，考慮到使用非硬件的方式，即立體匹配算法[12-14]，也可以獲得深度信息，且效果取決于算法本身而不受限于硬件平臺，兩個攝像機也可以隨意搭配，具有很大的靈活性。因此，文中提出一種基于立體匹配的運動目標檢測算法，并用深度信息改進ViBe算法實現(xiàn)運動目標的檢測。首先，考慮到實時性，提出一種基于隨機選擇策略的局部立體匹配算法，局部算法的計算范圍僅在有限的窗口內(nèi)進行[15-16]，因此速度快，能夠滿足視頻的實時處理。具體地：算法在背景建模期間隨機選擇匹配點，將原本計算量大的立體匹配算法分成若干部分進行，這樣，隨著時間的推移，背景圖像和深度圖像將由粗到精地求出。而對于前景，也采用類似的隨機選擇策略估計出運動目標與背景的深度差異(大于、小于或等于)。然后，根據(jù)前景和背景的深度差異調(diào)整ViBe前景樣本點被更新的概率并采用ViBe更新算法更新樣本點。最后，達到運動目標檢測和抑制鬼影、光照變化的目的。

1 文中方法

文中提出算法的流程如圖1所示。

圖1 算法流程

1.1 ViBe像素分類

ViBe算法使用隨機更新背景像素的策略，它的背景模型中的每一個像素由N個背景樣本點組成。令圖像(x,y)位置的像素為v(x,y)，則背景模型M可以表示為：M(x,y)={v1,v2,…,vN}。ViBe算法的分類過程為：令DS(x,y)為像素距離度量函數(shù)，則滿足式(1)的像素被分類為背景。

#{M(x,y)|DS(v(x,y),vi)

M(x,y)

(1)

其中，R為距離閾值。

當M(x,y)中與v(x,y)的距離小于R的樣本個數(shù)不少于#min時，v(x,y)被分為背景，反之為前景。

1.2 背景像素深度計算

令vL和vR為左、右視頻幀。首先，定義匹配點樣本集合W(x,y)={φ1,φ2,…,φdm}，其中dm(depth max)為給定的視差最大值；φi(1≤i≤dm)為樣本，i表示深度。φi由以下項目組成：

(1)ds和φmatch：ds為vL(x,y)和vR(x+i,y)的匹配代價，φmatch為由ds轉(zhuǎn)換得到的分數(shù)值；

(2)φbelief和φb-adj：分別為置信度分數(shù)和由鄰域置信傳播得到的分數(shù)值；

(3)φskip：用于抑制不穩(wěn)定的或低置信度的匹配點所用的分數(shù)值。

對于分類為背景的像素，使用類似于ViBe的隨機選擇匹配策略獲取該點深度，具體的算法思路和流程如下：

(1)掃描左視頻幀。對于像素vL(x,y)，有δsel的概率被繼續(xù)處理(轉(zhuǎn)到步驟2)，否則跳過處理下一個像素。δsel的取值決定了算法速度，典型值為1/10～1。

(2)計算匹配代價。對于滿足δsel概率的像素vL(x,y)，隨機產(chǎn)生一個深度值d，并生成一個d深度樣本φd(x,y)，按照式(2)計算和右?guī)袼豽R(x+d,y)的匹配代價：

(2)

其中，第一項是灰度代價，第二項是梯度代價，κ是權(quán)重，文中取0.2，令梯度權(quán)重更多一些。

1≤i≤dm

(3)

(3)繼續(xù)計算該d深度樣本的置信度分數(shù)：

(4)

(5)

其中，δadj為傳播分數(shù)，取5～10。

(6)

(7)

其中，γ為衰減系數(shù)，取0.8～0.95效果較好。

衰減過程類似于運動目標檢測算法中的背景建模過程，從鄰域傳遞過來的分數(shù)會隨著距離和時間不斷衰減，以防止分數(shù)堆積導致所占比例過大。然后，轉(zhuǎn)步驟1繼續(xù)掃描下一像素，直到整幀處理完畢。

1.3 估計前景-背景深度差異

對于運動目標檢測算法，前景深度不需要精確求出，只要判斷出前景和背景的深度差異(大于、小于或等于)即可，三種情況分為：

(1)前景和背景深度相同：如果背景深度置信度高，則可能是陰影或光照變化等原因；反之，可能是由前景和背景距離攝像機較遠或目標邊界干擾等原因造成。

(2)前景深度大于背景：如果背景深度置信度高，則可能是鬼影，或者是匹配錯誤造成。

(3)前景深度小于背景：正常的運動目標。

具體的估計算法流程為：

(3)同步驟2，生成若干個大于背景深度的隨機深度，將匹配代價最小的記作dsHigh。，

1.4 ViBe樣本更新

經(jīng)典的ViBe算法對分類為背景的像素會以一定的概率將其更新為分類樣本(加入到M(x,y)中)，并以一定概率向鄰域傳播；對于分類為前景的像素，則以很低的概率更新或者根據(jù)存在時間的長短進行更新。

2 實驗和結(jié)果分析

算法在Windows 10+Visual Studio 2012+OpenCV 2.4.6環(huán)境下實現(xiàn)。計算機主要配置為Intel Core I7處理器，8 GB內(nèi)存。由于常用的運動目標檢測算法視頻庫中缺少能夠產(chǎn)生深度圖的左右圖像視頻，因此使用兩個海康網(wǎng)絡(luò)攝像機獲取實驗視頻，視頻幀率為15幀/秒，將視頻分辨率調(diào)整為400×300。文中算法的主要參數(shù)設(shè)置為：

(1)立體匹配部分：最大深度(視差)dm為30，更新概率δsel為1/6，匹配代價權(quán)重為0.2，置信度傳播分數(shù)δadj為8，跳變抑制分數(shù)δskip為10，衰減系數(shù)γ為0.85。

(2)ViBe部分：樣本個數(shù)為15，距離閾值R為20，像素分類閾值#min為4，更新概率為1/16。

實驗中使用的對比算法是經(jīng)典ViBe算法，其參數(shù)設(shè)置同文中算法的ViBe部分。

2.1 鬼影抑制

鬼影是由靜止的物體突然運動而產(chǎn)生的偽運動目標，鬼影抑制能力是衡量運動目標檢測算法好壞的一個重要標準。圖2為經(jīng)典ViBe算法和文中改進算法對鬼影的抑制效果，其中產(chǎn)生鬼影的物體是一個遙控玩具機器人：視頻第212幀時玩具開始向右運動，226幀時運動到一個新的位置，從而在原位置產(chǎn)生了鬼影。圖2(c)、(d)分別是經(jīng)典ViBe算法和文中算法在237幀得到的前景(運動目標)圖像，圖2(d)中純白色像素表示運動目標，背景是深度圖。由于文中算法引入了深度信息，在目標突然移動時，鬼影處的深度信息由真實背景的深度代替，深度值會突然增加，算法對這樣的像素加大更新概率，從而達到快速消除鬼影的目的。

圖2 鬼影抑制效果對比

圖3展示了兩種算法的鬼影隨時間變化的情況。

從圖中可見，文中算法在第300幀時鬼影已經(jīng)基本消失，鬼影存在的時間約為88幀(300-212)；而經(jīng)典ViBe算法在第516幀時才基本消失，比改進算法慢了3倍多。

2.2 光照變化抑制

圖4是兩算法抑制光照變化的結(jié)果，圖4(a)為初始幀，此時場景左側(cè)燈光未點亮，第99幀時，左側(cè)燈光突然點亮產(chǎn)生圖4(b)。圖4(c)、(d)為產(chǎn)生光照突變50幀后經(jīng)典ViBe算法和文中算法的效果?？梢钥闯?，雖然過了一段時間，但經(jīng)典ViBe算法依然殘余大量的偽目標。與處理鬼影相似，文中算法根據(jù)偽目標的深度與背景一致的性質(zhì)快速消除了光照帶來的影響。

圖3 鬼影偽前景像素數(shù)量對比

圖4 光照變化抑制效果對比

圖5為光照變化的偽前景像素數(shù)量隨時間逐漸減少的情況。由圖可見，文中算法的下降速度遠快于經(jīng)典ViBe算法，并在181幀時偽前景幾乎消失干凈，偽前景像素的持續(xù)時間為80幀；而經(jīng)典ViBe算法直到350幀時才消失干凈，持續(xù)時間為文中算法的3倍多。

圖5 光照變化偽前景像素數(shù)量對比

2.3 陰影抑制

圖6為算法對陰影的抑制效果。文中算法對陰影的處理與光照突變相同，都是利用前景和背景深度相同的特點增大前景點更新概率實現(xiàn)的，但是不同的是，陰影是隨運動目標不斷運動的，因此，僅通過深度信息完全去除陰影是不可能的，只能產(chǎn)生一定的抑制效果。由圖6可見，經(jīng)典ViBe算法產(chǎn)生的陰影面積較大，而文中算法產(chǎn)生的陰影面積較小。

圖6視頻幀長度為326幀，目標一直處于運動狀態(tài)，通過每隔30幀手工計算經(jīng)典ViBe和文中算法陰影面積的大小并求平均值，得出文中算法陰影面積平均比經(jīng)典ViBe算法小29%，在抑制陰影方面比原算法有所提升。

圖6 陰影抑制效果對比

2.4 算法效率對比

由于文中算法使用了隨機更新策略，因此在計算量上相比經(jīng)典ViBe算法并未增加太多。文中算法的平均處理時間為109 ms/幀，幀速維持在8～10 幀/s，平均為9 幀/s，達到了準實時的效果。

3 結(jié)束語

文中提出的立體匹配算法和改進的ViBe運動目標檢測算法是一個整體，而不是獨立的兩個部分，在硬件上只要求一臺計算機和兩臺型號相同的普通攝像機即可，因此成本很低，易實現(xiàn)。同時，也克服了專用的激光散斑和TOP深度相機對環(huán)境要求高的問題，并可以通過調(diào)整兩臺攝像機的間距改變檢測的深度范圍，具有很大的靈活性和應(yīng)用范圍。不足之處在于，為了降低計算量，該算法僅用灰度信息作為特征，在像素分類效果上遠差于顏色信息，同時深度圖的精度還有待提高，這些問題將會在未來的研究中得以解決。

[1] STAUFFER C,GRIMSON W.Adaptive background mixture modelsfor real-time tracking[C]//Proceeding of IEEE conference on computer vision and pattern recognition.Piscataway,NJ:IEEE,1999.

[2] BARNICH O, DROOGENBRECK M V. ViBe:a powerfu1 random technique to estimate the background in video sequences[C]//Proceeding of ICASSP 2009.Taipei：IEEE Computer Society Press,2009:945-948.

[3] 余 燁，曹明偉，岳 峰.EVibe:一種改進的Vibe運動目標檢測算法[J].儀器儀表學報,2014,35(4):924-931.

[4] 陳 亮，陳曉竹，范振濤.基于Vibe的鬼影抑制算法[J].中國計量學院學報,2013,24(4):425-429.

[5] 趙光明，韓 光，李曉飛,等.基于融合幀間差的改進Vibe方法[J].計算機技術(shù)與發(fā)展,2015,25(3):76-80.

[6] 徐久強，江萍萍，朱宏博,等.面向運動目標檢測的ViBe算法改進[J].東北大學學報:自然科學版,2015,36(9):1227-1231.

[7] 張夏清，茅耀斌.一種改進的ViBe背景提取算法[J].計算機技術(shù)與發(fā)展,2016,26(7):36-39.

[8] 楊 磊，任衍允，蔡紀源.一種基于深度數(shù)據(jù)的高斯模型運動目標檢測方法[J].計算機技術(shù)與發(fā)展,2015,25(9):27-30.

[9] LEENS J,PIERARD S,BARNICH O,et al.Combining color,depth,and motion for video segmentation[C]//International conference on computer vision systems.[s.l.]:[s.n.],2009:104-113.

[10] OTTONELI S,SPAGNOLO P,MAZZEO P L,et al.Improved video segmentation with color and depth using a stereo camera[C]//IEEE international conference on industrial technology.Western Cape,South Africa:IEEE,2013:1134-1139.

[11] 胡良梅，段琳琳，張旭東,等.融合顏色信息與深度信息的運動目標檢測方法[J].電子與信息學報,2014,36(9):2047-2052.

[12] SUN J,ZHENG N N,SHUM H Y.Stereo matching using belief propagation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(7):787-800.

[13] WANG L,YANG R G.Global stereo matching leveraged by sparse ground control points[C]//IEEE conference on computer vision and pattern recognition.Washington,DC,USA:IEEE Computer Society,2011:3033-3040.

[14] HIRSCHMULLER H.Stereo processing by semiglobal matching and mutual information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2):328-341.

[15] MIRCEA P M,SERGIU N,RADU D.Patch warping and local constraints for improved block matching stereo correspondence[C]//12th international conference on intelligent computer communication and processing.[s.l.]:IEEE,2016:321-327.

[16] ZHANG K,LI J Y,LI Y J,et al.Binary stereo matching[C]//21st international conference on pattern recognition.Tsukuba,Japan:[s.n.],2012:356-359.