左 靜, 竇祥勝

(西南交通大學 經(jīng)濟管理學院，四川省 成都 610031)

0 引言

隨著經(jīng)濟發(fā)展，車輛保有量呈爆炸式增長，由此帶來的交通擁堵、交通事故、環(huán)境污染和能源浪費等一系列問題對社會造成了巨大的經(jīng)濟損失，為了更高效利用現(xiàn)有道路基礎(chǔ)設(shè)施，傳統(tǒng)交通系統(tǒng)必然向智能交通系統(tǒng)(Intelligent Transportation System，ITS)轉(zhuǎn)型?；谝曨l的交通車輛檢測技術(shù)作為智能交通系統(tǒng)的一部分，能自動、實時、準確、高效地對車輛進行分類和計數(shù)，有利于緩解交通擁擠、提高管理效率、節(jié)約人力資源，因此基于視頻的車輛分類與計數(shù)極為重要。

準確的前景提取是車輛分類與計數(shù)的前提，在前景提取算法中Zeng和Lai[1]對高斯混合模型(GMMs)進行改進和對像素進行分類，很好的對前景進行了提取。Rother等[2]提出的更具魯棒性的迭代算法，可以在沒有背景的條件下直接對圖像中的前景進行準確分割，加入人為輔助后，使得算法更加完美。Lam等[3]通過對前景圖片和背景圖片的紋理及圖像中不同區(qū)域的相關(guān)性進行分析，將前景中的車輛準確地分割出來。Pang等[4]在確定存在車輛重合的情況下，首先根據(jù)圖像和圖像背景來準確提取圖像中的車輛，然后對車輛建立三維模型進行車輛分割，分割的準確率達到了94%～95%。Huang和Liao[5]針對視頻中的車輛遮擋，提出通過遮擋檢測、運動矢量校準和運動場聚類三個步驟進行解決。Zhang等[6]提出了包含幀內(nèi)、幀間和跟蹤的多級框架處理視頻車輛檢測和遮擋分割。雖然這些基本模型對前景提取提供了一些基本的解決方向，但是由于需要大量的時間消耗，使得這些模型在實際中很難被應(yīng)用。

在車輛分類方面，Ozkurt和Camci[7]用手動設(shè)計的14個特征作為車輛特征，用神經(jīng)網(wǎng)絡(luò)算法將車輛分為3類，得到了94%的準確率。Kafai和Bhanu[8]提取了車輛后視圖的邊緣特征，最后用混合動態(tài)貝葉斯網(wǎng)絡(luò)將車輛分為4類。Ma和Grimson[9]根據(jù)車輛的邊緣結(jié)構(gòu)和改進的SIFT特征來對車輛分類，得到了很好的效果。Ambardekar[10]通過對車輛進行3D建模，根據(jù)每個車輛的3D特征模型來對視頻中的車輛分類，取得了滿意的結(jié)果。在當前的車輛計數(shù)系統(tǒng)中，有很大一部分通過地磁感應(yīng)來對車輛計數(shù)，這種方法可以降低分析的難度和錯誤率。但是地磁感應(yīng)線圈本身比較笨重，安裝麻煩，維修困難，對道路的損毀嚴重，并不適合大范圍推廣。道路車流量的實時監(jiān)控可以提供實時的道路數(shù)據(jù)給決策者，使得決策者可以更好地做出抉擇。Vigos等[11]給出了一種通過卡爾曼濾波的方法來對道路車輛進行估計。Jung和Ho[12]通過設(shè)計算法來對車輛進行跟蹤，通過每個車輛的運行軌跡，解決了碰撞問題和計數(shù)問題，但是算法并不適應(yīng)道路擁擠下的情況。

在綜合以上現(xiàn)有研究成果的基礎(chǔ)上，本文在確定發(fā)生車輛碰撞后，提出了灰度空間和YCbCr空間同時處理的方案，可以很好地提取前景，并消除陰影的影響，在很大程度上提高了分割的準確率，通過對碰撞車輛塊的分析，根據(jù)碰撞車輛塊的凸包和閉包間的間隙，對所有的間隙定義特征向量和面積的概念，再將問題轉(zhuǎn)化為優(yōu)化問題和尋找最優(yōu)分割點問題。文章提出的算法可以在計算量很小的情況下對車輛進行準確的分割。再用神經(jīng)網(wǎng)絡(luò)去對車輛分類，并在對發(fā)生碰撞的車輛進行分割后，給出用相鄰兩幀圖像來對車輛計數(shù)的準確算法，高效地對車輛計數(shù)，既滿足了實時性的要求又保證了較高的車輛分類與計數(shù)的準確性。

1 車輛前景提取

在監(jiān)控視頻處理中，第一步是要將前景運動物體在視頻中準確提取出來，準確的提取是后面分類和計數(shù)等工作的前提，所以這一步至關(guān)重要。尤其當交通處于擁擠狀態(tài)時，問題變得復雜。當車流量變大，會發(fā)生車輛碰撞現(xiàn)象，車輛的視覺碰撞不僅會帶來分類不準確的問題，而且會帶來計數(shù)上的誤差，將兩輛車甚至多輛車計數(shù)為一輛車，當這種情況發(fā)生頻繁時，給車流量的統(tǒng)計帶來了很大的誤差。因此對碰撞車輛分割的解決方案十分重要。

1.1 背景建模

在交通監(jiān)控環(huán)境中，交通情況瞬息萬變，但是所處的環(huán)境相對簡單，一般道路占有了很大部分，所以背景建模并不需要很復雜，一般背景建模算法就可以滿足要求。本文使用平均值背景法來對背景建模，背景差法提取前景：

(1)

式(1)中back表示背景圖像，learnNum表示用于背景圖像的視頻幀數(shù)，order表示當前視頻處于的幀數(shù)，current表示當前視頻幀圖像，F(xiàn)(x)表示監(jiān)控視頻的第x幀的圖像。

1.2 前景預提取

通過設(shè)定閾值，我們可以得到前景圖像

(2)

式(2)中abs(x)為絕對值函數(shù)，threshold為待選取閥值，fore_t為前景圖像。

由于運動圖像的處理會出現(xiàn)毛刺和空洞等現(xiàn)象，所以還需要對前景fore_t進行數(shù)學形態(tài)處理：

fore=dilate(erode(fore_t))

(3)

erode()決定每個具有最小值像素點的領(lǐng)域形狀，dilate()將輸入圖像結(jié)構(gòu)元素的鄰域形狀中各點的像素值替換為對應(yīng)鄰域上的最大值。

由于對于車輛監(jiān)控視頻來說，主要目的是計算車流量和分類每個車輛的車型，并沒有必要對前景提取的非常準確，前景計算越準確一般消耗的時間越長，會影響視頻車輛分類和計數(shù)的實時性。用均值法背景建模和背景差法提取前景有著簡單、處理速度快等優(yōu)勢，已經(jīng)可以對前景進行大概范圍的提取。當提取的前景中只存在一個單獨的物體時，此方法不僅有效而且高效。

但是實際的車輛監(jiān)控中，尤其當車流量很大的時候，會出現(xiàn)多個車輛碰撞的現(xiàn)象，如果沒有對視頻中的車輛進行準確的分割，則會將幾輛車識別為一輛車，這顯然是不可以接受的。如果先對整個碰撞車輛塊分割，再單獨處理車輛塊，這會很大程度上降低計算的復雜度。下面我們將討論如何僅根據(jù)碰撞車輛的閉包和其凸包分割碰撞車輛。

1.3 前景再提取

對于發(fā)生車輛碰撞的情況，為了提高車輛分割的速度，并且滿足一定的準確率，通過定義間隙的概念對問題予以解決。根據(jù)初次前景提取，可以將單獨的車輛或者多輛重合車輛從視頻中分割出來，為了準確的識別車輛，需要對多輛重合的車輛更進一步做分割處理，建立下面數(shù)學模型來判斷是否存在多輛車碰撞的情況，式(4)中當T為true時則表示需要重新提取前景，否則不需要重新提取前景：

(4)

式(4)中C表示提取前景中閉包的周長，H表示提取前景中閉包的凸包周長，閉包與凸包的定義見圖1所示，黑色為閉包，灰色為閉包的凸包，其中灰線與黑線重合形成的虛線部分表示閉包與凸包重合。

圖1 閉包與凸包

根據(jù)式(4)可以判斷是否需要重新提取前景，如果符合條件，則重新提取前景。

由于在前景提取中，車輛的碰撞問題可能會有車輛陰影的影響，而根據(jù)陰影形成機理，有陰影的地方只是亮度會和原來相比有很大的變化，而且是亮度降低。當有黑顏色的車輛通過時，車輛區(qū)域也是亮度低于背景，相對于陰影的亮度變化，其幅度要更大，可以將閥值設(shè)置在陰影的區(qū)間內(nèi)，即取兩個閥值，就可去掉陰影的影響，但是不會影響前景車輛的提取。詳細的模型如下所示：

(5)

式(5)中g(shù)f表示前景的灰度圖像，gb表示背景模型生成的背景灰度圖像，threshold1和threshold2分別為上限閥值和下限閥值來共同確定。

下一個步驟為將前景和背景的彩色圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間做處理。我們假設(shè)前景轉(zhuǎn)換后的YCbCr顏色空間的各個分量分別為yf，Cbf，Crf，背景轉(zhuǎn)換后的YCbCr顏色空間各個分量值為yb，Cbb，Crb，則建立下面模型來提取前景：

(6)

T=T1∪T2∪T3

(7)

本文通過多次測試中選取的閥值為：threshold1=30，threshold2=25,τ2=0.1,τ3=0.001。

圖2中左右圖片分別表示存在陰影的車輛圖片案例。每個案例中，從左到右，從上到下依次是原圖、背景圖片、灰度空間雙閥值法提取前景T1、YCbCr空間Y分量提取前景T2、YCbCr空間Cb，Cr分量提取前景T3，最后的為由T1，T2，T3取并集得到的最終結(jié)果T。

圖2 算法對陰影的處理結(jié)果

最后，我們再用形態(tài)處理去除掉噪聲點和空洞。下面對碰撞車輛的情況進行分析進行前景再提取處理，結(jié)果如圖3所示。

圖3 碰撞車輛前景提取圖

圖3中所示圖片，是經(jīng)過數(shù)學形態(tài)處理前后的前景圖片，從左到右，從上到下依次是原圖f、背景圖像b、臨時前景圖像fore_t和最終前景圖像fore。

2 視覺碰撞車輛分割

當車輛發(fā)生重合時，不僅會造成后期對車輛的分類造成誤差，還會使得車輛計數(shù)出現(xiàn)誤差 。當交通比較擁擠時，車輛間的碰撞現(xiàn)象會很正常，所以要解決現(xiàn)實中的車輛監(jiān)控問題，必須將車輛碰撞問題解決，即要將發(fā)生視覺碰撞的車輛分別識別分割出來。

2.1 間隙建模

下面建立模型來分割碰撞的車輛，通過前景再提取，可以計算出相對于預提取前景更為準確的前景，這樣有益于對每個閉包和其凸包進行定性分析。如圖4中第三張圖片，黑色為其前景閉包，灰色為前景凸包，下面我們對圖4中第二張圖片中的深灰色區(qū)域，即閉包與凸包的間隙進行建模分析。

圖4 碰撞車輛前景

設(shè)由閉包和凸包組成的每個間隙中遠離閉包的一個點稱為A點，本文中將稱為頂點(圖5中黑色的點)，其他兩個分別為B點和C點為凸包和閉包的交點(圖5中灰色的點)，如圖5所示。

圖5 間隙特征向量

這里提出間隙特征向量的概念，即對每個間隙定義特征向量，其定義式為：

(8)

即間隙的特征向量大小為間隙的面積大小，其方向為頂點的角平分線，特征向量包含了間隙的兩個主要特征，即面積和方向，式(8)中v為間隙H的特征向量，s為△ABC的面積大小。為了減少計算量，用s來近似代替間隙H的面積。則每個間隙H可以用面積s、特征向量v和三個頂點A、B、C五個特征來唯一表示。其中特征向量如圖6中第二列黑色線條所示，第二列圖像中黑色點即為每個間隙頂點。

圖6 尋找分割點

2.2 優(yōu)化分割

在車輛分割的問題中，可以將車輛分割問題看作是選取兩個合適頂點的問題。根據(jù)間隙的特征，下面的模型將給出具體計算分割頂點的方法，設(shè)H為每個粘合塊中的所有間隙的集合。如果是分割頂點，則其間隙的特征方向是幾乎相反的，本文中建立優(yōu)化方程，使得特征向量的方向相差越大則表示越優(yōu)，但是間隙中的頂點不能相距太遠，如果相距太遠會有很多的噪聲點出現(xiàn)，使得尋找的分割點不是最優(yōu)分割點，于是優(yōu)化方程需滿足兩個間隙的頂點相距不能太遠，具體模型如下：

(9)

根據(jù)式(9)中的優(yōu)化模型，當間隙的特征向量是方向相反和面積較大的情況下，可以表明間隙頂點可能是最優(yōu)分割點，間隙面積大小和間隙頂點的限制可以很好地去除掉一些噪聲點，尋找到的分割點為圖6中右邊圖片中灰色的點。最后根據(jù)計算得到的最優(yōu)點對車輛進行分割，效果如圖7所示。

圖7 (a)分割效果圖

圖7 (b)分割算法對陰影的適應(yīng)性

本節(jié)就車輛的前景提取問題提出了解決方案，在前期的背景建模和初次前景提取中，用到的都是高效的算法來實現(xiàn)，而且效果在監(jiān)控視頻的條件下是非常有效的。在車輛有粘合的情況中，本文在初次前景提取的基礎(chǔ)上再加以處理，這樣不僅提高的程序的運行效率，還可以提高分割的準確度。在前景再提取中，第一次將分割問題，轉(zhuǎn)化為優(yōu)化問題來解決，雖然所有的優(yōu)化問題需要遍歷兩兩組合所有的間隙，來列舉所有可能性，但是由于圖片較小和符合條件的間隙數(shù)目不多，所以并不會有很大的時間消耗。唯一的時間消耗是在再次提取前景中，由于已經(jīng)做了初次的篩選，所以時間消耗已經(jīng)被大大的降低。

3 車輛分類與計數(shù)

車流量是對交通情況的一個重要描述，在智能交通中，計算車流量是個重要研究方向。在上一部分對碰撞車輛進行分割的基礎(chǔ)上，本部分進行車輛分類和計數(shù)，對車輛進行準確分類，才有可能對車輛進行準確的計數(shù)。

3.1 車輛分類

上一部分給出算法對視頻中車輛進行了識別與分割提取，接下來將用深度神經(jīng)網(wǎng)絡(luò)對車輛分為5類，分別是小汽車(sedan)、越野車(SUV)、面包車(van)、公共汽車(bus)和卡車(truck)。在輸入神經(jīng)分類之前需將分割的車輛圖片進行歸一化處理統(tǒng)一圖像大小。再選擇恰當?shù)南∈杈幋a算法訓練得到的特征與原圖像卷積提取特征層圖片，再次通過池化層來對特征層降維并且產(chǎn)生平移不變性的特征，最后將提取的特征輸入到Softmax分類器中學習分類。

3.2 車輛計數(shù)

在車輛計數(shù)問題中，幾乎所有算法都是根據(jù)跟蹤來實現(xiàn)計數(shù)問題的，但是如果當車流量很大的時候，跟蹤將變的復雜，會很大程度的增大計算量，增加時間消耗，使得視頻的實時性處理不容易實現(xiàn)。

車輛的計數(shù)困難主要是由于存在對同一車輛重復計數(shù)或者沒有對車輛計數(shù)等情況，如果提供恰當算法，是可以對單行道的車輛準確計數(shù)的，但是當有多輛車發(fā)生視覺碰撞時，就會使得車輛少計數(shù)，只是通過計數(shù)層面的分析并不能很好的解決問題。

由于本文在計數(shù)之前已經(jīng)對碰撞問題提出了好的解決方案，也就是說在計數(shù)過程中并不需要擔心車輛的粘合現(xiàn)象，這就相當于所有的車輛在固定時刻，其位置是確定的。根據(jù)此特點本文將提出一種簡單的計數(shù)方法(如圖8)，不僅提高了計數(shù)的準確率，而且可以在很小的計算量下實現(xiàn)此算法。

圖8 車輛計數(shù)

在車輛計數(shù)中，本文將同時根據(jù)當前幀(第N幀)和前面一幀(第N-1幀)的道路中車輛位置情況來對車輛計數(shù)。下面給出計數(shù)算法：

車輛計數(shù)算法While存在第N幀圖像 Step1如果N=1,根據(jù)第1幀圖像,計算在區(qū)域SNew2中的車輛,運行Step4,否則運行Step2; Step2根據(jù)第N幀圖像,重新計算在區(qū)域SNew2和區(qū)域SNew3區(qū)域中的圖像; Step3配對區(qū)域SNew3和區(qū)域SOld2中的所有車輛,求得所有滿足配對條件Y(SOld2i,SNew3j)車輛數(shù)目n,則車輛的總數(shù)目增加n; Step4將區(qū)域SNew2的值賦值到SOld2;

車輛計數(shù)算法中提到的配對條件Y(SOld2i,SNew3j)是用來判斷是否SOld2i和SNew3j為同一輛車。本文中的判斷配對條件為兩車輛外接矩形的面積變化率不會超過固定的閥值，而且車輛的行駛距離在一定的閥值范圍內(nèi)。模型為:

D=dist(O(SOld2i)-O(SNew3j))

(10)

式(10)中area(x)函數(shù)為x車閉包最小外接矩形面積，O(x)函數(shù)為x車閉包最小外接矩形面積的中心點，dist(x)函數(shù)為兩點的距離函數(shù)。

本文將車輛計數(shù)算法在車流量較大的情況下和車流量較小的情況下做實驗。實驗結(jié)果證明，只要可以很準確的對車輛分割，則計數(shù)的結(jié)果是有很高置信度的。

4 實驗結(jié)果

在本節(jié)，我們應(yīng)用提出的模型對視頻車輛進行分類和計數(shù)。

4.1 數(shù)據(jù)集

本文所使用的視頻數(shù)據(jù)來自成都白天某高速路視頻，該視頻是以25幀/秒拍攝，像素為640×480，時長超過5小時的一段視頻。這段視頻中存在大量的視覺車輛碰撞、視覺模糊、光線變化等復雜環(huán)境，大大增加了視頻車輛分類和計數(shù)的難度。視頻中，包含有車輛的圖片大約有140000張，但大多是重復和對分類無用的圖像。通過處理，從視頻中提取出了5000張對車輛分類有效的視頻圖片，其中4000張作為訓練集，用于訓練分類模型參數(shù)，剩余1000張作為測試集。最后再選取兩段不同拍攝角度的視頻，驗證分類和計數(shù)的效果[13]。

4.2 結(jié)果分析

將與車輛行駛方向呈0度角和45度角的2種拍攝角度視頻用作實驗，車輛分類和計數(shù)的效果如圖9所示。

圖9 車輛分類與計數(shù)結(jié)果

圖(a)中是攝像頭與車輛行駛方向成0度角(即從正面錄制視頻)的情況，也是同一測試視頻中不同時刻車輛通過時的效果圖，其中三條黑色線條為人為設(shè)置的檢測線，即當前景的中心處于兩邊的黑線中間時，進行車輛的檢測，當車輛經(jīng)過中間黑色線條時，進行車輛計數(shù)，黑色的方框為檢測到的車輛，上方黑色區(qū)域為車輛的計數(shù)結(jié)果。

圖(b)是攝像頭與車輛行駛方向成45度角(即從側(cè)面錄制視頻)時的系統(tǒng)運行效果圖，其中黑色線條和方框的含義與圖(a)中一樣。側(cè)面視角可以消除掉部分的正面遮擋形成的車輛碰撞，與正面視角形成互補，對視頻車輛能更好的分類和計數(shù)。

Huang和Liao[5]在對同樣的課題進行了研究，建立了CR模型，取得了良好效果。Zhang等[6]運用檢測和處理車輛遮擋的多級框架建立了MF模型。下面我們將本文的結(jié)果與CR模型和MF模型結(jié)果從精確率，召回率等方面進行比較如表1所示。

表1 不同模型的實驗結(jié)果

可以看到，相對于CR和MF模型，本文所建立模型在精確率、召回率和F1-score上表現(xiàn)更優(yōu)。其中最可能原因是，基于前景提取加閉包和凸包分析會更精準的進行車輛分割，使深度神經(jīng)網(wǎng)絡(luò)更好的學習車輛特征，從而分類和計數(shù)變得更準確。本文使用方法在處理時間上沒有增加，說明基于前景提取結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的方法更加具有優(yōu)勢,并且只要車輛分割和分類準確，計數(shù)就不會出錯。

5 結(jié)論

針對存在車輛粘合情況下的車輛分類與計數(shù)問題，通過兩次前景提取，并且提出通過特征向量和優(yōu)化方程的方法來分割車輛，每次分割車輛的速度完全滿足實時性的要求，并且有很高的分割準確率作保證。使得后面的車輛分類與計數(shù)變得相對簡單和準確，由實驗結(jié)果得到，本文提出的模型在視頻車輛的分類和計數(shù)兩方面相較于現(xiàn)有的一些模型都有更優(yōu)異的表現(xiàn)，兼顧了時效性和準確性。另外，本文給出了一般性的計數(shù)算法，可以適應(yīng)很多的計數(shù)問題。計數(shù)問題的關(guān)鍵在于是否對車輛進行了準確的識別和分類，在有準確識別和分類的前提下，計數(shù)算法一般情況下不會出現(xiàn)錯誤或者異常。相對傳統(tǒng)的論文，本文為了可以對視頻進行實時處理，將計數(shù)問題簡單化，但是并沒有因此降低計數(shù)的準確性，每次計數(shù)的計算復雜度為o(m×n)其中，m和n分別表示每個區(qū)域中的車輛數(shù)，而對于監(jiān)控視頻而言，m和n幾乎都是很小的值(一般不會大于5)，所以計算量降到了很低。

雖然我們的模型可以高效且有效地處理一般的車輛分類和技術(shù)問題，但是模型也存在一些不足。在碰撞問題中，模型需要首先對前景運動物體的凸包和閉包進行分析，判斷是否有車輛重合的現(xiàn)象。由于僅僅是在車輛的輪廓層面對其分析，避免不了會發(fā)生誤判的情況，也就是將一輛車的輪廓，判斷為是多輛車，對其進行分割，如果正確產(chǎn)生分割線，則會將一輛車錯誤地當作多輛車，最終產(chǎn)生誤差。對此如果直接在像素層分析，將會帶來很大的時間消耗，無疑是不可取的，所以在碰撞問題上還需要再做完善。另外本文的算法可以實時解決大多數(shù)一般的視覺碰撞而產(chǎn)生的車輛粘合問題，但是對于將車輛完全遮擋的情況，本文的分割算法是無效的，需要對其進行深度分析。