舒鑫印，王 萍

(東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620)

0 引 言

在安全駕駛輔助系統(tǒng)中通過智能視頻處理技術(shù)幫助車輛感知交通環(huán)境變化，捕獲和處理視頻圖像來理解交通狀況是一項關(guān)鍵技術(shù)。運動目標(biāo)檢測及目標(biāo)分割技術(shù)作為視頻智能處理的重要部分，對視頻前景目標(biāo)進行實時的完整的有效提取，能準(zhǔn)確提供運動目標(biāo)參數(shù)信息如目標(biāo)區(qū)域、方位等，因此該技術(shù)的質(zhì)量直接影響到整套環(huán)境感知系統(tǒng)的可靠性和穩(wěn)定性[1]。

文獻[2]采用全局運動光流補償方法，根據(jù)前景與背景間光流間的差異，進行目標(biāo)檢測。文獻[3]采取自適應(yīng)雙分?jǐn)?shù)階光流模型方法，做目標(biāo)檢測及分割，提升了算法速率。文獻[4]提出一種利用光流圖的有序性及雙流卷積網(wǎng)絡(luò)，有較高的檢測準(zhǔn)確率。文獻[5]提出了fast-LOF的光流軌跡分類目標(biāo)檢測方法，針對動態(tài)背景，有良好的檢測效率。文獻[6]將目標(biāo)ORB特征與LK光流結(jié)合，提出了一種多尺度多區(qū)域檢測跟蹤算法，提高了實時性及目標(biāo)定位精度。文獻[7]采用邊緣粒子濾波概率假設(shè)密度濾波器對運動目標(biāo)進行檢測跟蹤有良好的目標(biāo)檢測分割及跟蹤效果。文獻[8]針對目標(biāo)檢測精度、錯檢漏檢問題，提出了一種使用深度神經(jīng)網(wǎng)絡(luò)檢測車標(biāo)的方法。文獻[9]采用神經(jīng)網(wǎng)絡(luò)CNN通過使用大數(shù)據(jù)集訓(xùn)練方法完成目標(biāo)檢測及目標(biāo)分割。但文獻[2,8]對視頻中光線亮度有一定要求，且對小目標(biāo)檢測及分割不夠靈敏；文獻[4,7,9]沒有考慮算法實時性，文獻[2,3,5]算法對場景有要求，沒有考慮動態(tài)場景及攝像頭有抖動的情況，具有一定的局限性。

在目前實時性不夠高、目標(biāo)檢測分割精度不夠高，及多目標(biāo)錯檢漏檢問題情況下，本文針對實時性問題及車行駛中光照亮度變化影響問題，提出用動態(tài)閾值三幀間差法對視頻序列做預(yù)處理，同時針對目標(biāo)檢測精度不高及錯檢漏檢問題提出了一種基于視頻的動態(tài)特征及邊緣信息融合的運動車輛目標(biāo)檢測方法。

1 算法設(shè)計

1.1 本文算法設(shè)計方案

本文通過設(shè)計光流信息、邊緣信息及信息融合3個模塊完成對上述問題的處理，如圖1所示。在光流信息模塊中，在考慮到盡量不損失光流信息，同時減少光流量計算的情況下，先通過動態(tài)閾值三幀間差法處理視頻序列，降低光照干擾，得到有效運動區(qū)域，加快算法檢測速率。后通過金字塔光流法處理，計算視頻中目標(biāo)運動產(chǎn)生的尺度變化光流信息。最后融合邊緣信息模塊產(chǎn)生多方向邊緣信息來實現(xiàn)對目標(biāo)完整輪廓的有效提取。

圖1 本算法流程

算法具體步驟如下：

(1)取視頻連續(xù)三幀圖像Ik-1,Ik,Ik+1；

(2)對Ik-1,Ik與Ik,Ik+1分別進行差分處理得d1k、d2k；同時對幀Ik做邊緣檢測，二值化得邊緣檢測結(jié)果G(i,j)；

(3)對d1k,d2k進行二值化，并進行與操作，得運動區(qū)域J(i,j)；

(4)將J(i,j)作為底層原視圖像建立金字塔模型JL,L=0,1,…,Lm。通過迭代計算Lm,L，…，0層的光流值，以此類推得到原始圖像中目標(biāo)的光流值，得到運動目標(biāo)結(jié)果P(i,j)；

(5)最后將邊緣檢測圖像G(i,j)與金字塔光流法處理圖像P(i,j)進行與操作得到目標(biāo)圖像F(i,j)，最后進行形態(tài)學(xué)處理得到輸出圖像。

1.2 光流信息模塊

1.2.1 動態(tài)閾值三幀間差法

由于光照變化容易影響檢測效果，本文在幀間差分法[10]的基礎(chǔ)上采用動態(tài)閾值三幀差分法，通過動態(tài)自適應(yīng)閾值的方法來增強抗光照干擾能力，獲得有效的前景運動區(qū)域。主要思想為：取視頻序列的連續(xù)三幀Ik-1,Ik,Ik+1，做相鄰幀差分運算，并根據(jù)動態(tài)閾值過濾得二值化圖像，由式(1)和式(2)將上一步差分運算得到的結(jié)果d1k,d2k進行相與操作，若Dk=1，目標(biāo)為前景點；反之為背景點。從而確定圖像中的前景區(qū)域，得到運動目標(biāo)的輪廓

(1)

(2)

dk=d1k∩d2k

(3)

(4)

其中

(5)

(6)

其中，λ為抑制系數(shù)，經(jīng)實驗，參考值為2。T0為固定的二值化閾值，M×N為視頻圖像的尺寸大小，其值為圖像像素個數(shù)，T1和T2均為動態(tài)閾值，Ik-1(x,y),Ik(x,y),Ik+1(x,y)為對應(yīng)像素點亮度大小。在視頻序列中，T1,T2反應(yīng)了光照變化劇烈程度，根據(jù)式(5)和式(6)得，光照變化劇烈，動態(tài)閾值也提高，這有效抑制了光線轉(zhuǎn)變所帶來的影響。

1.2.2 金字塔LK光流法

光流算法[11]是一種對視頻中光流變化的估計算法。金字塔光流法[12]其核心思想是通過金字塔模型縮小圖像尺寸將大尺度運動光流變成小尺度運動光流，從而實現(xiàn)對目標(biāo)大運動的檢測，模型如圖2所示。

(1)以原視圖像作為金字塔底層L0，采用相應(yīng)比例對原圖像縮放成不同分辨率的層次，縮放至一定層次時，便實現(xiàn)了將大運動位移變得足夠小，從而滿足光流法約束，完成對運動光流的計算。

(2)由最頂層向下依次計算，設(shè)gL為第L3層的初始估計光流向量，ΔfL為第L3層內(nèi)計算得到的光流結(jié)果，層間映射關(guān)系為

gL-1=k(gL+ΔfL)

(7)

(3)設(shè)金字塔總層數(shù)為N,初始化金字塔最頂層的光流向量g(N-1)=0，由頂層向下依次計算得原始圖像的運動光流

(8)

通過迭代計算得出在原始圖像中運動目標(biāo)的光流估計向量P(i,j)。經(jīng)過實驗，為取得滿意的檢測跟蹤效果及符合要求的算法速率，層數(shù)N=3時能取得滿意效果。

圖2 金字塔光流法模型

1.3 邊緣信息模塊

針對單一光流法檢測精度低，不能完整檢測目標(biāo)輪廓，本文提出采用改進的八方向模板Prewitt算子進行信息補充，使得到更完整的目標(biāo)檢測結(jié)果。

Prewitt算子[13]只有水平及豎直兩個方向的模板算子，會導(dǎo)致丟失一部分方向的信息，不能實現(xiàn)對目標(biāo)完整輪廓的檢測。因此本文采用改進多方向Prewitt算子來進行邊緣檢測，通過增加45°、135°、180°、225°、270°和315°多方向的模板算子，算子模板如圖3所示，對原圖像做邊緣檢測，得到更加完整的目標(biāo)邊緣輪廓。

圖3 Prewitt算子的8個方向模板

(9)

由式(9)，將圖像像素矩陣f(i,j)與各算子模板pk做卷積和得邊緣檢測結(jié)果G(i,j)。改進Prewitt算子邊緣檢測效果如圖4所示。由圖4可以看出該算法能夠有效檢測出目標(biāo)的完整輪廓，獲取更多的物體邊緣信息。

圖4 邊緣檢測效果對比

1.4 信息融合模塊

本文通過“與”運算對同一運動目標(biāo)的兩種二值化特征信息進行融合，其中，一種為改進Prewitt邊緣檢測算法處理得到的目標(biāo)邊緣信息，另一種為采取金字塔分層光流提取得到的光流類信息。二值化操作處理邊緣信息與光流信息，然后進行信息融合得到運動目標(biāo)的信息

(10)

式中：F(i,j)表示信息融合后得到的結(jié)果圖像，G(i,j)表示邊緣檢測二值化特征信息，P(i,j)表示光流類二值化特征信息。使用“與”運算進行信息融合的優(yōu)勢在于可強化運動信息，去掉除無關(guān)的非目標(biāo)冗余信息，進一步提升檢測精度，最后采用形態(tài)學(xué)方法對目標(biāo)檢測結(jié)果進行開運算操作得到輸出結(jié)果。

2 性能評估指標(biāo)

為定量評估本文方法性能，采用廣泛使用的查準(zhǔn)率PR、查全率RE和綜合評價FM對算法進行評估，定義如下

(11)

(12)

(13)

其中，TP,FP分別指在檢測出的區(qū)域中正確或錯誤的目標(biāo)像素點數(shù)量,FN指將目標(biāo)像素點檢測成背景像素的數(shù)量。

式(14)和式(15)分別給出各場景下平均處理速率v以及綜合平均速率v綜

(14)

(15)

其中，t總,f總分別為各場景下視頻時長及總幀數(shù)，vsum為各場景下v的和，n為場景數(shù)。

3 實驗結(jié)果與分析

實驗硬件平臺使用英特爾i7處理器,CPU頻率2.2 GHz,內(nèi)存8 G,GPU為1050Ti,操作系統(tǒng)為Windows10。

實驗視頻均選dataset2014數(shù)據(jù)集[14]，視頻序列highway、peopleInShawde、canoe以及traffic，分別對應(yīng)本實驗的4個場景：靜態(tài)背景下多運動目標(biāo)845幀、陰影背景下多運動目標(biāo)334幀、動態(tài)背景下單目標(biāo)檢測970幀，及抖動攝像頭下多運動目標(biāo)358幀。在上述場景下依次使用光流法[15]、粒子濾波[16]、神經(jīng)卷積網(wǎng)絡(luò)[17](CNN)及本文算法進行實驗，實驗效果如圖5所示，PR值、RE值及FM值直方圖評估結(jié)果如圖6所示(直方圖從左至右依次為光流法、粒子濾波、CNN及本文算法)，算法速率對比結(jié)果見表1。

圖5 不同場景下視頻檢測效果對比

圖6 各場景中PR、RE、FM值直方圖

表1 本文算法與各算法運行速率對比

在場景一的靜態(tài)背景下，各算法均有良好的表現(xiàn)，傳統(tǒng)光流法檢測結(jié)果中有一些噪聲干擾出現(xiàn)，在視野較遠(yuǎn)處，由于運動目標(biāo)較小且運動小，光流法及粒子濾波無法檢測到完整目標(biāo)。在場景二的陰影背景下，由于光照不充分，光流法出現(xiàn)重影及空洞現(xiàn)象，將一個目標(biāo)檢測成多個目標(biāo)，影響了追蹤的準(zhǔn)確性，CNN方法及本文算法能準(zhǔn)確檢測出運動目標(biāo)，有良好的檢測效果，但本文檢測速度是CNN方法的3倍。在場景三的動態(tài)背景下，由于水面波紋影響，光流法失去檢測追蹤能力，粒子濾波不能完整檢測目標(biāo)，CNN與本文算法檢測效果較好，但本文算法相對能檢測得到更完整的目標(biāo)輪廓。在場景四的抖動攝像頭下，光流法失去檢測追蹤能力，在攝像機抖動狀態(tài)下，光流法能檢測出運動目標(biāo)，但其抗噪性能差，CNN方法及粒子濾波抗噪能力好但不能檢測出目標(biāo)的完整輪廓，本文算法表現(xiàn)良好。

從直方圖可以看出，在不同場景下本文算法的查準(zhǔn)率PR與查全率RE均高于其它算法，算法性能有明顯提升。綜合評價FM達到90%左右，表明本文算法有優(yōu)良的檢測性能及較強魯棒性，能適應(yīng)以上各個場景的運動目標(biāo)檢測及目標(biāo)分割。

從運行速率對比表可以看出，由于本文所提算法在進行光流法處理前，進行了幀間差法的前置處理，大大縮短了光流法所需處理時間，平均處理速率達到47幀/s,能滿足各場景的實時性要求,較光流法提升了一倍，是CNN方法的近3倍。

4 結(jié)束語

本文針對車輛在行駛中引起的視頻場中運動目標(biāo)大動態(tài)尺度變化、抖動、多場景、多目標(biāo)快速跟蹤等檢測分割問題，提出了一種基于視頻的動態(tài)特征及邊緣信息融合的運動車輛目標(biāo)檢測分割方法。將隨運動目標(biāo)尺度變化的動態(tài)光流特征以及八方向模板Prewitt邊緣檢測特征信息有效結(jié)合，提升檢測準(zhǔn)確率及完整度，有效進行目標(biāo)檢測及分割。同時，設(shè)計自適應(yīng)閾值三幀間差法預(yù)處理技術(shù)獲取有效運動區(qū)域，提高了算法檢測速度，增強抗光照干擾能力。實驗結(jié)果表明，本文方法能滿足檢測分割要求與實時要求，能夠適應(yīng)多種場景的檢測精度要求，穩(wěn)定性良好，在動態(tài)目標(biāo)檢測及目標(biāo)分割方面有良好的效果。