陳立潮，解丹，曹建芳,2，張睿

（1. 太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030024; 2. 忻州師范學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系，山西 忻州 034000）

近年來(lái)隨著交通監(jiān)控系統(tǒng)的日益普及，以視頻為基礎(chǔ)的車(chē)輛檢測(cè)已成為智能交通領(lǐng)域的研究熱點(diǎn)[1]。當(dāng)前，車(chē)輛檢測(cè)方法大致可以分為兩類(lèi)，一類(lèi)是光流法（optical flow，OF）[2]、幀差法[3]、背景差分法[4]這類(lèi)經(jīng)典的車(chē)輛實(shí)時(shí)檢測(cè)方法；另一類(lèi)是隨著深度學(xué)習(xí)的出現(xiàn)而發(fā)展起來(lái)的Fast-RCNN[5]、Faster-RCNN[6]等區(qū)域建議檢測(cè)方法和YOLO[7]、YOLOv2[8]等無(wú)區(qū)域建議的檢測(cè)方法。鑒于深度學(xué)習(xí)算法需要很高的硬件配置和大量數(shù)據(jù)集，實(shí)驗(yàn)條件較為嚴(yán)格，因而盡管光流法等實(shí)時(shí)檢測(cè)算法出現(xiàn)較早，但目前仍是研究的熱點(diǎn)。2017年Sengar等[9]采用一種基于雙向光流塊的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，該方法首先估計(jì)當(dāng)前幀與上一幀和下一幀之間的雙向光流場(chǎng)，并經(jīng)過(guò)處理后以二值化的形式檢測(cè)到運(yùn)動(dòng)對(duì)象。其在固定場(chǎng)景的視頻中測(cè)試了該方法的有效性，但對(duì)于變化的場(chǎng)景而言，該算法的性能較差。同年，Pan等[10]提出一種ViBe背景模型以解決光照變化而導(dǎo)致的背景變化。ViBe背景模型的核心是根據(jù)已定義的兩種車(chē)輛檢測(cè)誤差及其對(duì)應(yīng)的誤差函數(shù)，確定合理的評(píng)價(jià)條件、調(diào)整不合理的閾值以保證背景模型的自適應(yīng)更新。此方法雖然提高了前景分割的準(zhǔn)確率，但是在背景模型更新的過(guò)程中，檢測(cè)效果仍有待提高。相比國(guó)外而言，國(guó)內(nèi)學(xué)者對(duì)光流法的研究較少。

上述方法也存在一定的缺陷，如：光流法很容易受到噪聲、光源以及陰影變化的影響，從而影響檢測(cè)結(jié)果。幀差法檢測(cè)到的目標(biāo)輪廓通常比實(shí)際的輪廓要大，且隨著車(chē)輛運(yùn)動(dòng)速度的增加，誤差也會(huì)逐漸變大。背景差分法在實(shí)際應(yīng)用中具有局限性，背景模型的建立以及更新對(duì)場(chǎng)景變化比較敏感，這在很大程度上會(huì)影響檢測(cè)結(jié)果。但光流法檢測(cè)較其他兩種方法較為準(zhǔn)確，背景差分法能很好地利用幀間信息，基于此，本文針對(duì)光流算法和背景差分法的優(yōu)缺點(diǎn)提出一種改進(jìn)光流法與高斯混合背景模型相融合的算法（improved optical flow and gaussian mixture model，IOFGMM）以改善實(shí)時(shí)性檢測(cè)算法在不同場(chǎng)景中的檢測(cè)效果。

1 相關(guān)理論

1.1 光流法

光流包含運(yùn)動(dòng)物體的運(yùn)動(dòng)信息和三維結(jié)構(gòu)信息。光流為圖像中每個(gè)像素點(diǎn)設(shè)置一個(gè)速度矢量，該速度矢量用于分析圖像。當(dāng)光流矢量的變化連續(xù)時(shí)，圖像中不含運(yùn)動(dòng)信息；否則，圖像中含有運(yùn)動(dòng)信息即有運(yùn)動(dòng)的物體出現(xiàn)。光流算法有很多，Horn-Schunck[11]是一種基于梯度的全局約束光流算法，本文算法在此算法上進(jìn)行改進(jìn)，利用稠密的光流信息檢測(cè)視頻中的運(yùn)動(dòng)目標(biāo)。假設(shè)圖像中某像素點(diǎn) (x,y) 在 t 時(shí)刻的灰度值表示為I(x,y,t)，Horn-Schunck將光流求解歸結(jié)為式（1）所示的極值問(wèn)題。

式中:Ix、Iy、It分別為I(x,y,t)在x、y、t處的偏導(dǎo)數(shù)，分別代表像素點(diǎn)的灰度值隨x、y、t的變化率。λ表示對(duì)圖像數(shù)據(jù)及平滑約束的置信度，它的取值和圖像中的噪聲相關(guān)，當(dāng)圖像中的噪聲較少時(shí)，說(shuō)明圖像數(shù)據(jù)本身的置信度較高，此時(shí)需要較小的 λ，以減小對(duì)光流約束的依賴(lài)。反之，當(dāng)圖像中的噪聲較多時(shí)，需要較大的 λ。ux、uy和vx、vy分別為光流的水平速度u和垂直速度v在x、y處的偏導(dǎo)數(shù)。經(jīng)推導(dǎo)的值可用ui,j鄰域和vi,j鄰域的均值，原算法中采用8個(gè)領(lǐng)域的加權(quán)平均值：

式中:下標(biāo) i 是圖像中 y 方向的坐標(biāo)，下標(biāo) j 是圖像 中 x 方向的坐標(biāo)。

1.2 高斯混合背景模型

高斯混合背景模型（gaussian mixture model，GMM）[12]是一種經(jīng)典的背景建模方法。其用 K個(gè)高斯模型表示圖像中各像素點(diǎn)的特征，通過(guò)對(duì)每個(gè)分布中的均值、方差、權(quán)重參數(shù)進(jìn)行學(xué)習(xí)更新。假設(shè)圖像中某像素點(diǎn)(x,y) 在 t 時(shí)刻的像素值為 I(x ,y,t)，此點(diǎn)的概率密度函數(shù)為 K 個(gè)高斯模型概率密度的加權(quán)和 P (I(x,y,t))，計(jì)算公式為

式中：K為高斯分布的個(gè)數(shù)；ωi,t、 ηi,t、 μi,t、 σi,t分別為 t 時(shí)刻第 i 個(gè)高斯分量的權(quán)值、概率密度函數(shù)、平均值、協(xié)方差矩陣。

若像素點(diǎn) I(x,y,t) 的值與前 B 個(gè) 高斯分布均不匹配，則該像素被認(rèn)為是前景，此時(shí)用一個(gè)新的高斯分布取代權(quán)值最小的那個(gè)高斯分布，并為其初始化一個(gè)較大的方差和較小的權(quán)重值。反之，該像素被認(rèn)為是背景。

2 IOFGMM算法

2.1 參數(shù)引入

為了增強(qiáng)光流算法的準(zhǔn)確性，提出一種改進(jìn)的光流算法（improved optical flow，IOF）。具體做法是在光流計(jì)算中加入一個(gè)限制條件（參數(shù)）使得在梯度較大的點(diǎn)處使用亮度恒常性約束，在梯度較小的點(diǎn)處使用光流場(chǎng)一致性約束。因而定義式（5）的二值加權(quán)函數(shù)。

式中:V為一個(gè)閾值，實(shí)驗(yàn)中V取0.5，當(dāng) I2x與 Iy2的和大于所設(shè)定的閾值時(shí)，函數(shù)值為0；其他情況，函數(shù)值為1。加入限制條件以后，由式（1）和式（5）可得到：

2.2 信息融合

經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)OF和GMM的檢測(cè)結(jié)果各有優(yōu)缺點(diǎn)，OF能夠在未知場(chǎng)景的狀況下檢測(cè)到獨(dú)立的運(yùn)動(dòng)車(chē)輛，但容易受噪聲、光照等的影響；IOF雖然穩(wěn)定，但光照強(qiáng)度變化很大時(shí)，仍檢測(cè)不到目標(biāo)；而GMM容易在背景建模和背景更新的過(guò)程中檢測(cè)不到車(chē)輛，但即使光照變化很大時(shí)，背景建模仍有較好的效果。因此，將IOF和GMM的信息相融合。

將IOF檢測(cè)結(jié)果的某一幀圖像稱(chēng)為A圖，將GMM檢測(cè)結(jié)果的某一幀圖像稱(chēng)為B圖。A圖中檢測(cè)到的車(chē)輛數(shù)量記為count1，所有的目標(biāo)框的集合為{BoxA1, BoxA2,…, BoxAi}，對(duì)應(yīng)的中心點(diǎn)的集合為{A1, A2,…, Ai}。同理，B圖中檢測(cè)到的車(chē)輛數(shù)量記為count2，目標(biāo)框的集合記為{BoxB1,BoxB2,…, BoxBi}，對(duì)應(yīng)的中心點(diǎn)的集合為{B1,B2,…, Bi}。信息融合的具體步驟是：

1）比較count1、count2。若count1≥count2，執(zhí)行2）；否則，執(zhí)行5）；

2）從圖A中遍歷中心點(diǎn){A1, A2,…, Ai}，遍歷未完成時(shí)，執(zhí)行3）～4）；否則，執(zhí)行8）；

3）計(jì)算A圖中的中心點(diǎn)與B圖中的所有中心點(diǎn){B1, B2,…, Bi}的距離，取最小的（若有兩個(gè)及以上相等，則都?。┚嚯x所對(duì)應(yīng)的目標(biāo)框BoxBi；

4）計(jì)算BoxAi和BoxBi的重疊面積（intersection area, IA），若 IA=0，則記錄 IA的中心點(diǎn)坐標(biāo)及長(zhǎng)和寬；若 IA＞0，則取值最大的 IA的中心點(diǎn)坐標(biāo)及長(zhǎng)和寬；

5）從圖B中遍歷中心點(diǎn){B1, B2,…, Bi}，遍歷未完成時(shí)，執(zhí)行6）～7）；否則，執(zhí)行8）；

6）計(jì)算B圖中的中心點(diǎn){B1, B2,…, Bi}與A圖中的所有中心點(diǎn)的距離，取最小的（若有兩個(gè)及以上相等，則都?。┚嚯x所對(duì)應(yīng)的目標(biāo)框BoxAi；

7）計(jì)算BoxBi和BoxAi的IA，若 IA=0，則記錄 IA的中心點(diǎn)坐標(biāo)及長(zhǎng)和寬；若 IA＞0，則取值最大的 IA的中心點(diǎn)坐標(biāo)及長(zhǎng)和寬；

8）將 IA所對(duì)應(yīng)的矩形框標(biāo)注在圖像中，并記錄矩形框的總數(shù)量，其為IOFGMM檢測(cè)的結(jié)果。

2.3 算法描述

IOFGMM算法的流程如圖1所示。主要步驟包括讀取視頻的圖像序列、處理視頻的圖像序列和在圖像上繪制檢測(cè)結(jié)果。其中處理視頻圖像序列是核心步驟，包括確定感興趣區(qū)域、獲取光流信息、獲取前景和背景信息、形態(tài)學(xué)操作、圖像分割及信息融合。首先，從磁盤(pán)中讀取處理好的視頻數(shù)據(jù)集，之后獲取所讀入視頻的信息，獲取到的視頻幀進(jìn)入一個(gè)循環(huán)中，當(dāng)視頻幀未讀取完時(shí)，對(duì)每幀圖像進(jìn)行光流矢量及相關(guān)值的計(jì)算以及前景和背景信息的獲取，并對(duì)所獲取的信息進(jìn)行二值化的閾值分割，從而分割出運(yùn)動(dòng)的車(chē)輛目標(biāo)，接著進(jìn)行腐蝕和膨脹的形態(tài)學(xué)操作，以清除殘留的小噪聲并平滑被分割的車(chē)輛邊緣，最后繪制目標(biāo)框并根據(jù)2.2節(jié)所描述的方法將信息融合，進(jìn)一步繪制校準(zhǔn)后的目標(biāo)區(qū)域，計(jì)算目標(biāo)框個(gè)數(shù)并輸出結(jié)果。

整個(gè)IOFGMM算法由一個(gè)判斷、一個(gè)遍歷和若干個(gè)處理操作組成，具體的算法描述如下：

輸入 視頻數(shù)據(jù)集

輸出 具有檢測(cè)信息的視頻和檢測(cè)后視頻中的每幀圖像

1) 讀取視頻幀并獲取視頻信息;

2) if 視頻幀數(shù)未讀取完 then

3) for i=1, 2, ···, video.length do

4) 確定感興趣區(qū);

5) 計(jì)算光流矢量及相關(guān)值;

6) 獲取前景、背景信息;

7) 分割圖像;

8) 形態(tài)學(xué)處理;

9) 記錄目標(biāo)框;

10) 融合信息;

11) 繪制融合信息后的目標(biāo)框，并對(duì)每幀目標(biāo)框計(jì)數(shù);

12) return

13) end for

14) end if

15) if 視頻幀數(shù)讀取完 then

16) break

17) end if

圖 1 IOFGMM算法流程圖Fig. 1 Flow chart of the IOFGMM method

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)來(lái)源

實(shí)驗(yàn)的硬件環(huán)境為Intel i7-4 770，3.40 GHz的四核CPU；12 GB的內(nèi)存；1 GB的AMD Radeon HD8490顯卡和120 GB的固態(tài)硬盤(pán)。軟件環(huán)境為Windows10操作系統(tǒng)的MATLAB R2014b。整個(gè)算法通過(guò)創(chuàng)建計(jì)算機(jī)視覺(jué)工具箱的對(duì)象進(jìn)行編寫(xiě)。

算法的性能在真實(shí)的車(chē)輛視頻上進(jìn)行評(píng)估，數(shù)據(jù)集采用公共數(shù)據(jù)集CDnet2014[13]，該數(shù)據(jù)集包含多個(gè)數(shù)據(jù)類(lèi)別且每個(gè)類(lèi)別中包含4～6個(gè)視頻序列，可登錄網(wǎng)站“ChangeDetection.net”免費(fèi)下載。本實(shí)驗(yàn)研究運(yùn)動(dòng)車(chē)輛的檢測(cè)，所以選用CDnet2014中的Highway、IntermittenPan、Street-CornerAtNight視頻序列。3個(gè)視頻序列的信息如表1所示。

表 1 用于檢測(cè)的視頻序列信息Table 1 Video sequence information for detection

這3個(gè)視頻序列的圖像格式均是位深度為24的RGB圖像。由于彩色圖像信息量多，處理復(fù)雜，故讀取每張圖像后，將彩色圖像轉(zhuǎn)換為灰度圖像，即將三通道的RGB圖像變?yōu)閱瓮ǖ赖幕叶葓D像。此外，采用自動(dòng)白平衡算法[14]去除圖像中的灰度突變、平滑圖像。實(shí)際中采集到的一般為視頻而非視頻序列，故將所有的視頻序列合成視頻，對(duì)這3個(gè)合成的視頻進(jìn)行車(chē)輛的檢測(cè)。

3.2 結(jié)果分析

3.2.1 車(chē)輛檢測(cè)視覺(jué)效果

在3個(gè)不同場(chǎng)景下的監(jiān)控視頻上檢測(cè)車(chē)輛的視覺(jué)效果如表2～4所示。表中第1列說(shuō)明了該行所對(duì)應(yīng)的為第幾幀圖像，第2列是輸入的圖像，第3列是對(duì)應(yīng)圖像的背景，第4列是對(duì)應(yīng)圖像的前景，第5列是對(duì)應(yīng)圖像的光流可視化，最后一列是最后檢測(cè)的結(jié)果。

表2是白天高速公路上的車(chē)輛檢測(cè)視覺(jué)效果。可以看出，由于是晴天，背景被樹(shù)木的陰影和車(chē)輛的陰影遮擋，一定的時(shí)間段內(nèi)，光照不會(huì)有太大變化。由于在背景建模時(shí)已經(jīng)將帶有樹(shù)木陰影的車(chē)輛場(chǎng)景視為背景，因此不會(huì)將樹(shù)木陰影誤認(rèn)為運(yùn)動(dòng)目標(biāo)，又因?yàn)樵谇熬靶畔⒌墨@取時(shí)進(jìn)行了角點(diǎn)檢測(cè)，而且融合信息的緣故，所以部分車(chē)輛陰影沒(méi)有被誤認(rèn)為是車(chē)輛目標(biāo)。

表3是PTZ（Pan/Tilt/Zoom）相機(jī)拍攝的城鎮(zhèn)道路上的視頻序列的檢測(cè)效果。由于云臺(tái)的上下、左右移動(dòng)以及鏡頭的變倍、變焦使得對(duì)背景更新算法的要求較高。從檢測(cè)效果看，在這樣一個(gè)晴天且有陰影的情況下，圖像的光線變化較大，但是由于在光流法中引入了新參數(shù)，所以在光流變化較大時(shí)仍可以得到較好的檢測(cè)結(jié)果。

表4是街角的夜景檢測(cè)的效果，其主要的挑戰(zhàn)在于車(chē)燈的變化對(duì)于前景檢測(cè)會(huì)造成很大的影響，且車(chē)燈的光線會(huì)對(duì)背景中的光流場(chǎng)有影響。由于形態(tài)學(xué)的處理和信息融合的緣故，減少了這種影響。

表 2 Highway場(chǎng)景檢測(cè)的視覺(jué)效果Table 2 Visual effects of Highway scene detection

表 3 IntermittenPan場(chǎng)景檢測(cè)的視覺(jué)效果Table 3 Visual effects of IntermittenPan scene detection

表 4 StreetCornerAtNight 場(chǎng)景檢測(cè)的視覺(jué)效果Table 4 Visual effects of StreetCornerAtNight scene detection

3.2.2 檢測(cè)結(jié)果量化對(duì)比

為了對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行量化，采用準(zhǔn)確率（Precision，P）、召回率（Recall，R）與F1指標(biāo)[15]評(píng)價(jià)IOFGMM算法，評(píng)價(jià)指標(biāo)的值越大說(shuō)明算法的檢測(cè)效果越好。上述算法與一些經(jīng)典的且實(shí)時(shí)性檢測(cè)效果好的算法GMM、incPCP、Corola、OF、BBOF進(jìn)行比較。其中，GMM是一種經(jīng)典的背景差分方法，incPCP和Corola是一種基于背景差分法的改進(jìn)算法，OF是稠密光流法Horn-Schunck，BBOF是一種基于塊的雙向光流運(yùn)動(dòng)檢測(cè)方法。比較結(jié)果如表5和圖2所示，從評(píng)價(jià)指標(biāo)上看，GMM和OF兩種經(jīng)典算法的檢測(cè)效果最差，而在其基礎(chǔ)上改進(jìn)的incPCP、BBOF以及Corola檢測(cè)效果越來(lái)越好，而IOFGMM算法由于在光流算法中增加了一個(gè)約束條件，并將混合高斯背景建模的信息和光流信息相結(jié)合，從而導(dǎo)致該算法實(shí)驗(yàn)結(jié)果的指標(biāo)值均高于其他5種算法，因而所提出的IOFGMM算法較優(yōu)。

表 5 IOFGMM與GMM、incPCP、Corola、OF、BBOF的實(shí)驗(yàn)對(duì)比Table 5 Experimental comparison of IOFGMM, GMM, incPCP, Corola, OF and BBOF

圖 2 IOFGMM與其他算法的對(duì)比Fig. 2 Comparison of IOFGMM and other methods

為進(jìn)一步驗(yàn)證及評(píng)估該算法在實(shí)際場(chǎng)景中的檢測(cè)效果，在山西省太原市西中環(huán)路進(jìn)行車(chē)輛運(yùn)動(dòng)視頻的采集，并用IOFGMM、Corola、BBOF算法對(duì)視頻進(jìn)行車(chē)輛檢測(cè)。所采集的視頻共有91幀，部分IOFGMM算法的檢測(cè)結(jié)果如圖3所示。

圖 3 實(shí)際場(chǎng)景中的部分檢測(cè)結(jié)果Fig. 3 Partial detection results in the actual scene

所提出的算法在獲取前、背景信息及光流信 息后，將分割后的連通域進(jìn)行形態(tài)學(xué)處理，并將光流信息和背景建模信息互相補(bǔ)充，從而檢測(cè)到了與背景灰度信息相似的深色車(chē)輛、距離較遠(yuǎn)的車(chē)輛、距離較近的車(chē)輛，且標(biāo)注出的目標(biāo)框比較準(zhǔn)確。此外，每幀圖像中左上角的計(jì)數(shù)數(shù)量與實(shí)際的車(chē)輛數(shù)量相同。

3種算法檢測(cè)在該視頻上的檢測(cè)結(jié)果如表6。可以看出，3種算法的準(zhǔn)確率相差較小，召回率相差較大，且IOFGMM算法的準(zhǔn)確率、召回率及F1值均高于Corola和BBOF。因而，實(shí)際場(chǎng)景中IOFGMM算法也具有良好的檢測(cè)效果。

表 6 IOFGMM與Corola、BBOF的實(shí)驗(yàn)對(duì)比Table 6 Experimental comparison of IOFGMM, Corola and BBOF

4 結(jié)束語(yǔ)

針對(duì)光流算法受光照影響較大和在不同場(chǎng)景中檢測(cè)效果差別較大等問(wèn)題，提出了IOFGMM檢測(cè)算法對(duì)車(chē)輛進(jìn)行實(shí)時(shí)檢測(cè)。該算法在改進(jìn)OF算法的基礎(chǔ)上融入GMM，將檢測(cè)到的目標(biāo)信息相融合，最終顯示出具有檢測(cè)信息的車(chē)輛監(jiān)控視頻。在公共數(shù)據(jù)集CDnet2014上對(duì)該算法進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，該算法的P、R和F1值最高可達(dá)96.32%、94.81%、95.59%；最低為62.65%、72.26%、67.11%，但是無(wú)論是最高還是最低都比同樣場(chǎng)景下的Corola等車(chē)輛檢測(cè)算法的效果好。因此，該算法在不同場(chǎng)景下均能獲得較好的效果，對(duì)于智能交通的發(fā)展具有重要意義。但是由于同一算法的同種參數(shù)應(yīng)用于不同場(chǎng)景時(shí)會(huì)產(chǎn)生一些差別，從而影響算法的性能，故之后可以將級(jí)聯(lián)機(jī)制引入IOFGMM算法中，預(yù)先判斷場(chǎng)景，并根據(jù)場(chǎng)景選用不同參數(shù)，從而提高多場(chǎng)景下的車(chē)輛檢測(cè)的準(zhǔn)確率和召回率。另一方面，IOFGMM算法卻乏主動(dòng)學(xué)習(xí)的機(jī)制，因而下一步可以在光流場(chǎng)中引入神經(jīng)網(wǎng)絡(luò)，使得算法能夠主動(dòng)學(xué)習(xí)車(chē)輛特征，提高車(chē)輛的檢測(cè)效果。