王思雨 Tanvir Ahmad

（華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院 北京 102206）

1 引言

近年來(lái)，我國(guó)城市道路建設(shè)規(guī)模日益擴(kuò)大，城市交通需求逐步增加，交通道路擁堵、交通事故猛增已成了交通管理部門所關(guān)注的重點(diǎn)問(wèn)題［1］。隨著大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等技術(shù)的迅速發(fā)展，“互聯(lián)網(wǎng)+”概念已經(jīng)引起了各行各業(yè)的高度重視?！盎ヂ?lián)網(wǎng)+交通”［2］是將互聯(lián)網(wǎng)新技術(shù)應(yīng)用到智能交通領(lǐng)域，如通過(guò)傳感器、通訊設(shè)備、光學(xué)影像設(shè)備等，使得機(jī)器能夠識(shí)別車輛、行人、信號(hào)燈等一系列交通目標(biāo)，從而為智能交通提供基礎(chǔ)設(shè)施。人工智能［3］作為當(dāng)下最火爆的科技之一，在車輛顏色、車牌識(shí)別、無(wú)牌車檢測(cè)方面應(yīng)用已經(jīng)比較成熟。目前已經(jīng)有許多大型公司投入大量資金，致力于自動(dòng)駕駛汽車的研究。然而，如何能夠提高車輛安全性能，提高交通目標(biāo)檢測(cè)準(zhǔn)確率和檢測(cè)速度是實(shí)現(xiàn)無(wú)人駕駛的關(guān)鍵。

基于上述背景介紹，交通安全問(wèn)題是實(shí)現(xiàn)自動(dòng)駕駛需要考慮的首要問(wèn)題。因此，在進(jìn)行交通目標(biāo)檢測(cè)任務(wù)時(shí)，如果可以在保持實(shí)時(shí)檢測(cè)速度的情況下，還能夠大幅提升檢測(cè)精度，對(duì)自動(dòng)駕駛技術(shù)而言是一項(xiàng)重要舉措。本文將YOLOv3 應(yīng)用于車輛、行人等交通目標(biāo)檢測(cè)［19］，與YOLOv2 相比能夠大幅提升檢測(cè)精度。

2 目標(biāo)檢測(cè)

傳統(tǒng)的交通目標(biāo)檢測(cè)技術(shù)包括基于雷達(dá)、超聲波、紅外線等傳感器檢測(cè)方法［4］。其中基于雷達(dá)的目標(biāo)檢測(cè)是根據(jù)雷達(dá)發(fā)射的電磁波來(lái)探測(cè)車輛目標(biāo)位置；而基于超聲波的目標(biāo)檢測(cè)無(wú)法檢測(cè)低速行駛車輛；基于紅外線的檢測(cè)方法抗干擾能力低。隨著社會(huì)的發(fā)展，視頻采集設(shè)備的價(jià)格越來(lái)越低廉，采集圖像的質(zhì)量越來(lái)越高，基于計(jì)算機(jī)視覺(jué)［5］的目標(biāo)檢測(cè)技術(shù)逐漸興起。早期的圖像檢測(cè)技術(shù)是根據(jù)圖像的顏色［6～8］、紋理、圖形特征模型［9～10］等一系列特征變化來(lái)完成特征提取。Liu et al.［11］提出了一種新的單個(gè)視頻對(duì)象提取的半自動(dòng)分割方法。受Hubel 和Wiesel 對(duì)貓視覺(jué)皮層研究啟發(fā)，有人提出卷積神經(jīng)網(wǎng)絡(luò)［12］。Yann Lecun［13］是最早將CNN 用于手寫數(shù)字識(shí)別，并一直保持了其在該領(lǐng)域的霸主地位。2012 年ImageNet 競(jìng)賽冠軍獲得者Hinton 和他的學(xué)生Alex Krizhevsky 設(shè)計(jì)了AlexNet［14］。VGG?Net［15］是 牛 津 大 學(xué) 計(jì) 算 機(jī) 視 覺(jué) 組 和Google Deep?Mind 公司的研究員一起研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)。GoogLeNet［16］是2014 年Christian Szegedy 提 出的一種全新的深度學(xué)習(xí)結(jié)構(gòu)。ResNet［17］在2015 年被微軟亞洲研究院何凱明團(tuán)隊(duì)提出，ResNet 有152層，除了在層數(shù)上面創(chuàng)紀(jì)錄，ResNet 的錯(cuò)誤率也低得驚人。2015 年，Redmond J 提出了一種全新的端到端的目標(biāo)檢測(cè)算法——YOLO［18］。YOLO 借鑒了GoogLeNet 的分類網(wǎng)絡(luò)結(jié)構(gòu)。相比其他的檢測(cè)網(wǎng)絡(luò)，它能夠達(dá)到45f/s的檢測(cè)速度。

在自動(dòng)駕駛系統(tǒng)中，目標(biāo)檢測(cè)任務(wù)主要是預(yù)測(cè)目標(biāo)類別以及目標(biāo)位置?，F(xiàn)有的基于CNN 的目標(biāo)檢測(cè)方法，大多第一步是先提取感興趣的區(qū)域候選框，然后利用卷積神經(jīng)網(wǎng)路提取區(qū)域特征，最后將提取的區(qū)域特征送入分類器進(jìn)行分類。與其他目標(biāo)檢測(cè)方法不同的是，YOLO 運(yùn)行一次神經(jīng)網(wǎng)絡(luò)就可以得到預(yù)測(cè)邊框以及所屬類別，而不是區(qū)域候選框提取之后再進(jìn)行分類。這樣做的結(jié)果就是提高了檢測(cè)速度，但以犧牲精度為代價(jià)。到目前為止，YOLO 已經(jīng)經(jīng)歷了兩次版本的更迭，最新版是YO?LOv3。

3 YOLO原理

3.1 YOLOv1

目標(biāo)檢測(cè)任務(wù)主要是分類。在YOLO 之前的目標(biāo)檢測(cè)方法主要是通過(guò)區(qū)域建議產(chǎn)生大量可能包含目標(biāo)的候選框，再使用分類器進(jìn)行分類，判斷候選框中是否含有待檢測(cè)目標(biāo)，并計(jì)算目標(biāo)所屬類別的概率。而YOLO 是一個(gè)端到端的目標(biāo)檢測(cè)框架，它把目標(biāo)檢測(cè)任務(wù)當(dāng)作回歸問(wèn)題來(lái)處理，通過(guò)一次圖像輸入就可以同時(shí)得到預(yù)測(cè)邊框的坐標(biāo)、邊框包含目標(biāo)的置信度，以及所屬類別的概率。由于YOLO 實(shí)現(xiàn)目標(biāo)檢測(cè)是在一個(gè)神經(jīng)網(wǎng)絡(luò)里完成的，因此，檢測(cè)目標(biāo)更快。選出預(yù)測(cè)框的位置以及其含有目標(biāo)的置信度和屬于目標(biāo)類別的可能性。

如圖1 所示，YOLOv1 的核心思想是將每個(gè)圖像劃分成S×S 的網(wǎng)格。每個(gè)網(wǎng)格預(yù)測(cè)B 個(gè)邊界框，和C 個(gè)類別概率。每個(gè)邊界框負(fù)責(zé)預(yù)測(cè)目標(biāo)中心位置和大小x，y，w，h，以及置信度共5 個(gè)變量。其中x，y 表示預(yù)測(cè)邊界框的中心落在當(dāng)前網(wǎng)格的相對(duì)位置。w，h 表示邊界框的寬和高相對(duì)整個(gè)圖像的比例。置信度則反映了目標(biāo)位置預(yù)測(cè)的準(zhǔn)確性。其計(jì)算公式如下：

如果有目標(biāo)中心落到一個(gè)網(wǎng)格中，公式右邊第一項(xiàng)Pr（Object）取1，否則取0。第二項(xiàng)IOU 指的是預(yù)測(cè)邊框和真實(shí)標(biāo)注邊框之間的重疊度。網(wǎng)絡(luò)模型最后的輸出維度為S×S×（B×5+C）。

圖1 YOLOv1 思想模型

檢測(cè)目標(biāo)時(shí)，由以下計(jì)算公式得到每個(gè)網(wǎng)格預(yù)測(cè)目標(biāo)類別的置信度得分。

最后通過(guò)非極大值抑制，如圖2 所示。過(guò)濾掉得分低的預(yù)測(cè)框，從而確定預(yù)測(cè)目標(biāo)的最終位置。而置信度得分用來(lái)判斷目標(biāo)所屬類別。

以VOC 數(shù)據(jù)為例，YOLOv1 采用7×7 網(wǎng)格，每個(gè)網(wǎng)格預(yù)測(cè)兩個(gè)邊界框。因?yàn)閂OC 數(shù)據(jù)集待檢測(cè)目標(biāo)有20 個(gè)種類，所以輸出張量為7×7×（2×5+20）=30，YOLOv1檢測(cè)網(wǎng)絡(luò)包括24個(gè)卷積層和兩個(gè)全連接層。YOLOv1 借鑒了GoogLeNet，但是與之不同的是，YOLOv1 使用1×1 和3×3 的卷積核代替了GoogLeNet的inception module。

圖2 非極大值抑制

YOLOv1 相比其他基于CNN 的網(wǎng)絡(luò)模型而言很好地提升了檢測(cè)速度，但是由于YOLOv1 的檢測(cè)機(jī)制使得一個(gè)網(wǎng)格只能預(yù)測(cè)一個(gè)目標(biāo)，此時(shí)，如果有兩個(gè)物體同時(shí)落入一個(gè)網(wǎng)格，就會(huì)使得漏檢率比較高，而且一幅圖像只預(yù)測(cè)98 個(gè)邊界框，對(duì)于目標(biāo)定位誤差較大。

3.2 YOLOv2

YOLOv2［20］則參考了YOLOv1 和SSD［21］的網(wǎng)絡(luò)結(jié)構(gòu)，采用類似VGG16 的網(wǎng)絡(luò)結(jié)構(gòu)，多次使用3×3卷積核，并且在每一次池化操作之后都會(huì)把通道數(shù)翻倍。網(wǎng)絡(luò)使用全局評(píng)價(jià)池化，把1×1 的卷積核置于3×3 的卷積核之間，用來(lái)壓縮特征。最后得到Darknet-19 的基礎(chǔ)網(wǎng)絡(luò)模型，其中包含19 個(gè)卷積層和5 個(gè)最大池化層。但是Darknet-19 計(jì)算量要比VGG16 小得多，在ImageNet［22］分類top-1 準(zhǔn)確率能夠達(dá)到72.9%，top-5準(zhǔn)確率達(dá)到91.2%。

YOLOv2把初始輸入圖像分辨率由224×224提高到448×448，使得高分辨率的訓(xùn)練模型mAP 獲得4%的提升。其次由于YOLOv1 最后使用全連接層預(yù)測(cè)邊框和分類，導(dǎo)致丟失許多空間信息，導(dǎo)致定位不準(zhǔn)確，YOLOv2 借鑒了RPN 中anchor 的思想，在卷積層使用下采樣，使得416×416 的輸入圖像最終得到13×13 的特征圖，最終預(yù)測(cè)13×13×9 個(gè)邊框，大幅度提升了目標(biāo)檢測(cè)的召回率。YOLOv2 還改進(jìn)了預(yù)測(cè)邊框的方法。使用K-Means 聚類方法訓(xùn)練邊框。而傳統(tǒng)的K-Means 方法使用的是歐式距離，這意味著大的邊框會(huì)比小邊框更容易產(chǎn)生誤差。因此，作者提出使用IOU 得分來(lái)評(píng)判距離大小。使得預(yù)測(cè)的邊框更具代表性，從而提升檢測(cè)準(zhǔn)確率。YOLOv2采用SSD使用不同的特征圖以適應(yīng)不同尺度目標(biāo)的思想，對(duì)原始網(wǎng)絡(luò)添加了一個(gè)轉(zhuǎn)移層，把26×26×512的淺層特征圖疊加成13×13×2048的深層特征圖，這樣的細(xì)粒度特征對(duì)小尺度的物體檢測(cè)有幫助。最后，YOLOv2 還結(jié)合單詞向量樹方法，能夠檢測(cè)上千種目標(biāo)，雖然對(duì)本文檢測(cè)任務(wù)來(lái)說(shuō)參考意義不大，但這對(duì)多目標(biāo)檢測(cè)任務(wù)來(lái)說(shuō)也是一個(gè)很大的突破。

3.3 YOLOv3

YOLOv3［23］相對(duì)于YOLOv2 的改進(jìn)主要體現(xiàn)在多尺度預(yù)測(cè)。對(duì)坐標(biāo)預(yù)測(cè)和YOLOv2 一樣使用的維度聚類作為anchor boxes來(lái)預(yù)測(cè)邊界框。在訓(xùn)練期間，使用平方誤差損失的總和，這樣計(jì)算快一些。對(duì)于類別的預(yù)測(cè)，YOLOv3再使用Softmax進(jìn)行分類，而是每個(gè)邊框通過(guò)邏輯回歸預(yù)測(cè)該邊框?qū)儆谀骋粋€(gè)類別目標(biāo)的得分，這樣可以檢測(cè)一個(gè)目標(biāo)屬于兩個(gè)標(biāo)簽類別的情況。對(duì)于跨尺度預(yù)測(cè)，主要是為了適應(yīng)不同尺度的目標(biāo)，使得模型更具有通用性。尤其對(duì)小目標(biāo)的檢測(cè)，精度有了很大提升。YOLOv3 采用了Darknet-53，網(wǎng)絡(luò)結(jié)構(gòu)相比YO?LOv1和YOLOv2稍大了一些，但是準(zhǔn)確度提高了很多，尤其是對(duì)小目標(biāo)的檢測(cè)精度有了很大提升。并且在實(shí)現(xiàn)相近性能時(shí)，YOLOv3 比SSD 速度提高3倍，比RetinaNet速度提高近4倍。

4 實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)環(huán)境的操作系統(tǒng)是Ubuntu16.04，所有實(shí)驗(yàn)都是在GPU 的配置下完成的，INVIDIA 顯卡型號(hào)GTX1070，顯存8G。使用到的開發(fā)包有CUDA、cuDNN 以及OpenCV。OpenCV 是為了將檢測(cè)結(jié)果可視化。

實(shí)驗(yàn)數(shù)據(jù)是根據(jù)車載攝像頭捕捉的交通道路視頻，利用視頻分幀軟件得到靜態(tài)圖像。并對(duì)其進(jìn)行手工標(biāo)注。其中用于車輛、行人、非機(jī)動(dòng)車的數(shù)據(jù)集有40765張圖像。

4.1 實(shí)驗(yàn)指標(biāo)

本實(shí)驗(yàn)將現(xiàn)有的數(shù)據(jù)集劃分成圖像數(shù)量分別為6500、13000、19500、26000、32500、39000 的6 個(gè)不同大小的訓(xùn)練數(shù)據(jù)集，其余1765 張圖像用作測(cè)試集。通過(guò)設(shè)定不同參數(shù)，得到多個(gè)訓(xùn)練模型。通過(guò)計(jì)算平均精度（AP）作為衡量模型的指標(biāo)。

在本實(shí)驗(yàn)中，通過(guò)計(jì)算預(yù)測(cè)邊框與真實(shí)邊框的交并比（IOU），一般認(rèn)為只要滿足下述條件的就是正確的檢測(cè)結(jié)果，稱為正樣本。

其中B 為檢測(cè)模型預(yù)測(cè)的邊框，Bg為人工標(biāo)注的目標(biāo)真實(shí)邊框。

為了計(jì)算AP值，我們需要知道以下幾個(gè)概念：

表1 正負(fù)樣本概念

其中，準(zhǔn)確率（Precision）的計(jì)算公式為

圖3 準(zhǔn)確率-召回率曲線圖

如圖3 所示，準(zhǔn)確率-召回率（PR）曲線是根據(jù)對(duì)應(yīng)的準(zhǔn)度率召回率曲線繪制的。而AP 則是PR曲線下的面積值，可以通過(guò)準(zhǔn)確率和召回率計(jì)算函數(shù)積分得到，計(jì)算公式如下：

有時(shí)候?yàn)榱嗽u(píng)估模型的整體性能，需要對(duì)所有目標(biāo)的AP求平均值得到mAP。計(jì)算公式為

其中，N是待檢測(cè)目標(biāo)類別個(gè)數(shù)。

4.2 實(shí)驗(yàn)結(jié)果和分析

本文使用YOLOv3和YOLOv2分別在訓(xùn)練集上訓(xùn)練模型，檢測(cè)車輛、行人和非機(jī)動(dòng)車三類目標(biāo)。如圖4 所示，是在39000 的訓(xùn)練集以及45000 次迭代次數(shù)的情況下，三類目標(biāo)分別在YOLOv3 和YO?LOv2 訓(xùn)練模型得到的AP 值。顯然，改進(jìn)了的YO?LOv3 要比之前的檢測(cè)框架精度有了大幅提升。如圖5 所示，YOLOv3 對(duì)于交通目標(biāo)檢測(cè)的mAP 明顯高于YOLOv2。而YOLOv3 檢測(cè)速度相比YOLOv2減慢了1/3，如圖6所示，YOLOv3和YOLOv2訓(xùn)練模型分別對(duì)1765 張測(cè)試集圖像進(jìn)行測(cè)試所耗費(fèi)的時(shí)間，均達(dá)到了每秒30 幀以上的檢測(cè)速度。這對(duì)于實(shí)時(shí)的目標(biāo)檢測(cè)任務(wù)也是足夠的。因此，選擇YO?LOv3實(shí)現(xiàn)交通目標(biāo)檢測(cè)任務(wù)再合適不過(guò)。

圖4 兩種方法的AP

圖5 兩種方法的mAP

圖6 兩種方法的檢測(cè)時(shí)間

圖7、圖8、圖9 是通過(guò)YOLOv3 在不同數(shù)據(jù)集上訓(xùn)練不同模型測(cè)試的結(jié)果。圖中展示了對(duì)于同一類檢測(cè)目標(biāo)，數(shù)據(jù)集的規(guī)模大小以及迭代次數(shù)的多少對(duì)目標(biāo)檢測(cè)精度AP的影響。通過(guò)對(duì)比三類不同的目標(biāo)發(fā)現(xiàn)，不同的數(shù)據(jù)集對(duì)于車輛的檢測(cè)精度變化并不大，而對(duì)于行人和非機(jī)動(dòng)車而言，6500 的訓(xùn)練集確實(shí)檢測(cè)效果不佳。因此，大量的數(shù)據(jù)訓(xùn)練還是有必要的，隨著數(shù)據(jù)集規(guī)模的增加，檢測(cè)精度明顯呈上升趨勢(shì)。

圖7 不同數(shù)據(jù)集下car的AP變化曲線圖

如圖10、圖11、圖12 所示，對(duì)于同樣的訓(xùn)練數(shù)據(jù)集，當(dāng)?shù)螖?shù)增加到1000 次左右的時(shí)候，AP有一個(gè)較為明顯的變化，這是因?yàn)楫?dāng)訓(xùn)練模型迭代到1000次左右時(shí)loss收斂較快。其次，對(duì)于車輛而言，隨著迭代次數(shù)的不斷增加，AP已逐漸趨近于1，從統(tǒng)計(jì)結(jié)果來(lái)看，迭代次數(shù)增加對(duì)車輛的檢測(cè)精度提高并不明顯。而對(duì)于行人和非機(jī)動(dòng)車而言，AP還有很大上升空間，從圖中的趨勢(shì)也可以看出，如果繼續(xù)增加迭代次數(shù)，對(duì)ped 和cyc 的檢測(cè)精度還是可以繼續(xù)提高的。

圖8 不同數(shù)據(jù)集下cyc的AP變化曲線圖

圖9 不同數(shù)據(jù)集下ped的AP變化曲線圖

圖10 26000數(shù)據(jù)集時(shí)AP的變化曲線

進(jìn)一步綜合圖7～12，可以看到，對(duì)于車輛、行人和非機(jī)動(dòng)車的檢測(cè)結(jié)果是不同的。對(duì)于車輛的檢測(cè)，AP 最高達(dá)到93%左右，而對(duì)于行人，AP 最高也才55%左右。究其原因可能有二：一是，在所有的數(shù)據(jù)集中，目標(biāo)分配極不均衡；這也提醒我們?cè)诨赮OLO 的深度學(xué)習(xí)訓(xùn)練中以后要盡量保持目標(biāo)均衡，效果則較好。二是，車輛特征比較明顯，而行人和非機(jī)動(dòng)車特征變化多端，再加上交通道路場(chǎng)景復(fù)雜，對(duì)于行人的檢測(cè)精度還有待提高。

圖11 32500數(shù)據(jù)集時(shí)AP的變化曲線

圖12 39000數(shù)據(jù)集時(shí)AP的變化曲線

5 結(jié)語(yǔ)

本文通過(guò)在YOLOv3 和YOLOv2 上對(duì)比實(shí)驗(yàn)，驗(yàn)證了YOLOv3 應(yīng)用于交通目標(biāo)檢測(cè)精度確實(shí)要比YOLOv2 高出很多。YOLOv3 在不同數(shù)據(jù)集和迭代次數(shù)的各種組合情況下，表現(xiàn)出了訓(xùn)練集越大，迭代次數(shù)越多，檢測(cè)精度越高的特性。并且能夠保證檢測(cè)的實(shí)時(shí)性。盡管YOLOv3 檢測(cè)精度已經(jīng)有了很大提升，但是，還沒(méi)有達(dá)到百分百準(zhǔn)確的程度。由于無(wú)人駕駛與人類生命息息相關(guān)，因此，在圖像目標(biāo)檢測(cè)應(yīng)用在無(wú)人駕駛領(lǐng)域的方法還不夠成熟，檢測(cè)精度還有待提高。下一步考慮如何能夠平衡不同目標(biāo)的檢測(cè)準(zhǔn)確度，將模型泛化，使其能夠應(yīng)用到更多的領(lǐng)域中。并將加入和其他目標(biāo)檢測(cè)方法的對(duì)比，驗(yàn)證YOLO 在交通目標(biāo)檢測(cè)領(lǐng)域的有效性及高效性。