王軍群, 李華鵬

(1.中遠海運科技股份有限公司，上海 200135;2.深圳大學 深圳電磁控制重點實驗室,廣東 深圳 518060)

0 引 言

近年來，隨著我國經(jīng)濟的不斷發(fā)展，人們的生活水平不斷提高，道路上的車輛越來越多，相應的交通擁堵問題和交通事故頻繁發(fā)生。造成交通擁堵問題和交通事故的主要原因是車輛違法行為，因此對車輛違法行為進行智能分析較為重要。在車輛違法行為監(jiān)測方面，傳統(tǒng)的檢測工具主要有磁感應線圈、紅外線和超聲波等。這些交通檢測工具雖然在緩解交通秩序和交通壓力方面起到一定的作用，但維護成本高、硬件設備安裝復雜等缺點限制了其應用。近年來，隨著計算機視覺技術的不斷發(fā)展，基于視頻監(jiān)控的車輛違法行為檢測技術逐漸得到應用。

基于視頻監(jiān)控的車輛違法行為檢測主要包括目標檢測、目標追蹤和軌跡運動分析，其中目標檢測以往采用的是傳統(tǒng)的圖像處理方法，只能檢測出運動的車輛目標，無法實現(xiàn)車輛類型分類，且檢測速度慢，檢測精度低，極易受外界環(huán)境的影響。檢測完畢之后運用卡爾曼濾波、粒子濾波和CamShift等方法進行跟蹤時，由于車輛目標檢測階段造成的檢測精度低、檢測速度慢和漏檢情況頻發(fā)等情況，使得后續(xù)目標追蹤的效果很差，進而影響軌跡的運動分析。對此，本文將深度學習算法應用到車輛違法行為分析系統(tǒng)中，采用基于YOLOv3的深度學習算法對車輛目標進行檢測，利用卡爾曼濾波對車輛目標進行跟蹤，繪制車輛的運動軌跡，進而通過對車輛的運動軌跡進行分析，判斷車輛是否存在違法行為。

1 基于YOLOv3的車輛檢測算法分析

1.1 預期檢測效果

輸入一張圖片或一段視頻序列，輸出圖片中每輛車的類別和邊界框(可選置信度)，結果見圖1。車輛類別選擇小客車、大客車、小卡車(車長小于6 m)和其他(清潔車、消防車等)等4類。4類車輛示例見圖2。

1.2 網(wǎng)絡結構

為實現(xiàn)車輛檢測，對基于YOLOv3的車輛檢測算法進行分析。首先需確定YOLOv3的神經(jīng)網(wǎng)絡結構，其中網(wǎng)絡采用darknet-53[1]框架，網(wǎng)絡結構見圖3。

YOLOv3是一個完全卷積神經(jīng)網(wǎng)絡，主要是卷積層、殘差塊和上采樣層的組合，最顯著的特點是可在3種尺度上進行檢測，主要通過3個不同尺度的feature map來實現(xiàn)。卷積層在第79層之后經(jīng)過3個卷積層得到第82層的feature map，相當于原始圖像的32倍下采樣，由于下采樣倍數(shù)高、多尺度范圍大，該feature map用來檢測尺寸較大的車輛目標。為實現(xiàn)對更細粒度的檢測，第79層的卷積層進行上采樣，與第61層融合，得到第94層的feature map，相當于原始圖像的16倍下采樣，感受野中等，用來檢測中等尺寸的車輛目標。同理,第106層得到的feature map相當于原始圖像的8倍下采樣，尺度小，用來檢測小尺寸的車輛目標。

1.3 網(wǎng)絡的輸入與輸出

若只觀察輸入到輸出的映射關系，可將上述YOLOv3的網(wǎng)絡架構簡化(見圖4)。

根據(jù)YOLOv3的設計，網(wǎng)絡的輸入是分辨率為416×416的RGB圖片,3個像素通道;輸出是3個不同尺度的張量，大小分別是13×3×3×9、26×26×3×9和52×52×3×9。以13×13×3×9的張量為例：13×13是輸入圖像經(jīng)過下采樣32倍得到的feature map的尺寸，可將輸入圖像劃分為尺寸為13×13的網(wǎng)格(見圖5)。輸出張量中的13×13像素對應著輸入圖像的尺寸為13×13的網(wǎng)格；3表示顏色通道,代表每個網(wǎng)格輸出邊框的個數(shù)，由先驗框的個數(shù)決定；9代表邊框的4個坐標、1個邊框置信度和4個車輛類別概率。

1.4 多尺度檢測

YOLOv3借鑒Faster RCNN的做法，嘗試使用先驗框[2]。預先在每個網(wǎng)格設定一組不同大小和不同寬高比的邊框，用其覆蓋圖像的不同位置和不同尺度。這些先驗框作為預定義的候選區(qū),檢測網(wǎng)格中是否存在車輛目標，若存在，則微調邊框的位置。根據(jù)第1.2節(jié)的分析，輸入416×416的圖片會得到3種不同尺度的feature map，用來檢測不同尺寸的目標。由于利用了先驗框的約束作用，實現(xiàn)了多尺度檢測。以圖6中的3幅圖為例，框A是先驗框，框B是ground truth(真實對象)，框C是ground truth的中心。

如圖6所示，根據(jù)輸出feature map的大小，將輸入圖片劃分成相應數(shù)量的網(wǎng)格，并在每個網(wǎng)格上放置3個先驗框。由于先驗框的尺寸不同，可約束檢測目標的大小。由于有3種尺度的feature map，每個尺度需3個先驗框，總計需9個先驗框。通過在數(shù)據(jù)集上進行k-means聚類[3]，得到具體的先驗框尺寸分配情況和適用車輛目標大小見表1。

由圖6和表1可知，先驗框可約束預測的bounding box。圖7為先驗框的約束作用。其中:短劃線邊框是先驗框;實線邊框是待預測邊框;bx、by、bw和bh為預測邊框的中心和寬、高；cx和cy為歸一化之后當前網(wǎng)格左上角與圖像左上角之間的距離，cx=cy=1；tx、ty、tw、th為網(wǎng)絡的輸出的用于計算坐標的中間值；σ為sigmoid函數(shù)，可將tx和ty約束到(0,1)的范圍內，進而將預測邊框的中心點約束到實際目標中心點所在的網(wǎng)格A內；pw和ph為先驗框的寬和高，通過圖中右側的計算式可使預測目標的尺寸接近于先驗框的尺寸，即可實現(xiàn)先驗框的約束作用。

1.5 訓練

在確定網(wǎng)絡的輸入和輸出之后，即可進行訓練樣本構造。作為監(jiān)督學習，需先構造訓練樣本，使模型從中學習。

對于一張416×416的輸入圖片，會得到3個輸出張量，以尺度為13×13×3×9的張量為例，其他2個張量的構造同理。首先輸出的13×13對應于輸入的13×13網(wǎng)格；對于3×9共27維的向量，可看作是3個1×9維的向量，且這3個向量的構造方式相同。由第1.3節(jié)可知，每個1×9維的向量中包含4個車輛類別的概率、1個bounding box的置信度和bounding box的4個坐標。

1) 4個車輛類別的概率。對于輸入圖像的每個車輛目標，先找到其中心點。例如圖8中的小客車，其中心點在框A內，因此在該框對應的3×9維向量中，小客車的概率是1，其他3類的概率都是0。

2) 1個bounding box的置信度。對于訓練樣本來說，bounding box即為ground truth，故置信度的值為1。

3) bounding box的4個坐標。YOLOv3網(wǎng)絡輸出的bounding box的4個坐標輸出值為tx、ty、tw和th。

在確定每個維度的信息之后，便可進行樣本便簽向量的填寫，具體樣本標簽見圖9。

圖9 樣本標簽

在訓練前期的迭代中，前向傳播之后，網(wǎng)絡的實際輸出值與樣本標簽值之間一定會有偏差。假設第一次迭代網(wǎng)絡輸出見圖10，與圖9的樣本標簽存在差異，這時需用YOLOv3的損失函數(shù)[1]計算出該偏差，并通過反向傳播減小該誤差。不斷迭代前向傳播和反向傳播的過程，逐步減小偏差，使網(wǎng)絡的實際輸出值盡可能地逼近樣本標簽值，即使預測變得更加精確。

1.6 預測

在網(wǎng)絡訓練好之后，便可進行預測(inference)，輸入一張416×416×3的圖片，輸出大小分別為13×13×3×9、26×26×3×9和52×52×3×9的3個張量，其中包含每個預測目標的位置信息、置信度和類別概率。但是，由于每個網(wǎng)格都會預測3個bounding box，總計會有10 647個bounding box，而對于每個目標，最終只需要1個預測的bounding box，故采用非極大值抑制算法(Non Maximum Suppression,NMS)來去除多余的bounding box。NMS效果示意見圖11。

圖10 假設的網(wǎng)絡輸出a) NMS前 b) NMS后圖11 NMS效果示意

2 試驗結果與分析

首先構造訓練樣本，從上海市東寶興路與芷江中路交叉路口采集監(jiān)控視頻。視頻時長1 067 s，共計26 679幀，每60幀取1幀圖像，共獲得樣本444幀。對每個樣本的每幀圖像中的所有車輛進行標注，包括類別和外接矩形。在構造完訓練樣本之后，使用TensorFlow框架，在NVIDIA RTX2080顯卡下進行訓練。采用遷移學習的方式，預加載YOLOv3在COCO數(shù)據(jù)集[5]上訓練得到的權重，以416×416的圖片大小訓練200個epoch，再以640×640的圖片大小訓練200個epoch。訓練完成之后，輸入視頻序列，得到的檢測結果見圖12，視場中不同遠近和不同尺寸的車輛均得到有效檢測。

在對算法進行評估時，選擇平均精度(Average Precision,AP)、均值平均精確度(mean Average Precision,mAP)和檢測速度(Frames Per Second,FPS)作為評價指標,其中:AP可反映模型在檢測特定類別車輛時的性能表現(xiàn)；mAP通過對所有車輛類別的AP求平均值得到，不僅能反映模型在所有車輛類別上的平均性能表現(xiàn)[6]，而且可避免某些類別比較極端化而弱化其他類別的性能表現(xiàn)的問題；FPS為檢測每幀圖像中的所有車輛所花費的時間。各項性能指標見表2。

表2 檢測性能指標

在完成車輛檢測之后，便可對車輛進行跟蹤。車輛跟蹤算法采用卡爾曼濾波算法[7]，用來預測更新軌跡?？柭鼮V波是一種遞歸的估計，即只需獲知上一時刻狀態(tài)的估計值和當前時刻狀態(tài)的觀測值就可計算出當前狀態(tài)的估計值，經(jīng)過卡爾曼濾波的預測和更新，可得到車輛在當前時刻預測得到的位置信息，將其與當前時刻車輛檢測得到的位置信息相關聯(lián)，由每個檢測得到的車輛目標與每個預測得到的車輛目標之間邊界框的交并比IOU[8]計算成本矩陣，采用匈牙利算法進行匹配[9]，即可實現(xiàn)目標跟蹤。隨后對跟蹤的車輛繪制運動軌跡，結合車輛的運動軌跡、位置信息和相應的交通標志，便可實現(xiàn)對車輛違法行為的智能分析。交通系統(tǒng)中常見的車輛違法行為包括闖紅燈、逆向行駛、違反禁止標線、左轉不讓執(zhí)行、路口滯留和機動車占用非機動車道等。圖13為監(jiān)控視頻中檢測到的常見車輛違法行為，其中:方框表示的是違法車輛的位置信息;曲線線條表示的是車輛近2 s內的運動軌跡。

3 結 語

為實現(xiàn)對車輛違法行為的智能分析，采用基于YOLOv3的深度學習算法對車輛進行檢測，利用卷積神經(jīng)網(wǎng)絡提取車輛特征進行分類識別，同時采用多尺度檢測方法優(yōu)化對監(jiān)控視場遠景處小目標進行檢測的能力，將車輛目標的定位和識別步驟合并，大幅度提高了檢測精度和檢測速度，為后續(xù)車輛目標跟蹤提供了依據(jù)。由此,便可通過卡爾曼濾波器進行目標跟蹤獲取車輛的運動軌跡，根據(jù)車輛的運動軌跡和位置信息對車輛的違法行為進行智能分析判定。然而,當車輛目標出現(xiàn)大范圍遮擋,或出現(xiàn)某些樣本集很少的車輛類別時，仍會出現(xiàn)漏檢或誤檢的情況，進而影響車輛的跟蹤效果,甚至影響車輛違法行為分析結果的準確性。因此,如何擴充數(shù)據(jù)集和在有目標遮擋時進行更加準確的檢測，是未來研究的重點。