陳立潮,王彥蘇,曹建芳

1(太原科技大學 計算機科學與技術(shù)學院,太原 030024)

2(忻州師范學院 計算機系,忻州 034000)

目前,交通強國作為國家的發(fā)展戰(zhàn)略,快速發(fā)展信息化、智能化的交通對一個國家至關(guān)重要,因此,智慧交通[1]市場存在非常大的潛力.現(xiàn)階段,智慧交通利用高新IT 技術(shù)[2]如:大數(shù)據(jù)、人工智能、云計算、物聯(lián)網(wǎng)等,將其融入到智能交通中,向交通有關(guān)部門實時提供當?shù)亟煌ǚ?wù)信息,達到人、車、路和諧統(tǒng)一,對改善運輸環(huán)境、保障交通安全和提高交通運輸效率具有重要意義.其中,車輛檢測作為智慧交通關(guān)鍵技術(shù),具有重要的理論研究價值.

迄今為止,卷積神經(jīng)網(wǎng)絡(luò)[3]掀起了兩大檢測技術(shù)潮流:一是以R-CNN 為首的兩刀流算法,先生成可能區(qū)域[4]即采用CNN 提取特征,再將提取到的特征放入分類器進行分類;二是以YOLO 為首的一刀流算法,直接對圖片或視頻中的目標物體進行回歸.Girshick 等[5]提出的啟發(fā)式方法R-CNN,即通過生成候選區(qū)域來檢測目標物體,并且降低了信息冗余度;He 等[6]提出的SPP-NET 利用先卷積再生成候選區(qū)域,減少R-CNN 的存儲量,一定程度上加快訓(xùn)練速度;Girshick[7]提出的將R-CNN 的串行結(jié)構(gòu)改成并行結(jié)構(gòu)的Fast R-CNN、Ren 等[8]又提出Faster R-CNN 使得網(wǎng)絡(luò)學習到深層、抽象、語義特征,提高了生成的候選區(qū)域可靠程度、He 團隊[9]又對Faster R-CNN 做出改進即加入了一個圖像的Mask 信息輸入的Mask R-CNN 算法.以上方法在大量生成無效區(qū)域的情況下會產(chǎn)生無關(guān)的算力、少量的生成區(qū)域則會發(fā)生漏檢,并且在跨平臺的交互一定會損失算法效率.而YOLO 系列的算法核心思想是利用網(wǎng)絡(luò)結(jié)構(gòu)中優(yōu)秀分類效果的分類器,將圖片中的目標物體先給出一個大致的范圍進行檢測,然后再不斷迭代該范圍直到一個精準的位置.其中典型的算法有Redmon 等[10]提出的YOLO;Liu 等[11]使用的SSD;再由Redmon 團隊[12,13]提出的YOLO9000、YOLOv3算法等.

綜上所述,YOLO 系列算法和R-CNN 系列算法分別在各個不同領(lǐng)域方向具有自己獨特的優(yōu)勢.為了提高車輛檢測效果,本文采用R-CNN 系列中的DenseNet網(wǎng)絡(luò)與YOLO 系列的YOLOv3 集成的方式,綜合利用DenseNet 網(wǎng)絡(luò)中稠密連接的優(yōu)點,有效解決了傳統(tǒng)YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu)無法適應(yīng)特殊車型數(shù)據(jù)集導(dǎo)致準確率低的現(xiàn)象,而且還滿足實時性的要求.

1 Dense-YOLOv3 車輛檢測模型

1.1 YOLOv3 模型

YOLOv3 模型是以框架Darknet-53 作為車型特征提取容器與多尺度特征融合檢測支路兩部分共同構(gòu)成網(wǎng)絡(luò)結(jié)構(gòu),Darknet-53 結(jié)構(gòu)如表1所示.YOLOv3 的核心思想:首先通過網(wǎng)絡(luò)層的特征提取器對輸入圖片進行特征的提取,提取到不同大小的特征圖;然后在網(wǎng)絡(luò)中將圖像劃分為13×13 的網(wǎng)格;其次通過Ground Truth 確定目標物體的中心坐標位于網(wǎng)格中的哪個單元格,利用該單元格對目標物體進行預(yù)測,網(wǎng)格中的每個單元格預(yù)測3 個邊界框;最后將這3 個邊界框與Ground Truth 通過交并比即IOU 技術(shù)[14]選出最大邊界框來檢測出目標物體,輸出目標物體的所在圖片中的坐標信息以及置信度[15].

表1 DarkNet-53 網(wǎng)絡(luò)結(jié)構(gòu)

1.2 Dense-YOLOv3 網(wǎng)絡(luò)

從理論上講,加深網(wǎng)絡(luò)結(jié)構(gòu)模型會取得很好的識別結(jié)果.然而,大量實驗結(jié)果表明,深層的網(wǎng)絡(luò)結(jié)構(gòu)存在退化問題,He 等[16]提出的殘差網(wǎng)絡(luò)ResNet 來解決了深層網(wǎng)絡(luò)退化問題.YOLOv3 模型中加入了殘差模塊,使得車型特征在YOLOv3 深層網(wǎng)絡(luò)中得到很好的訓(xùn)練,網(wǎng)絡(luò)的性能也提升了.但是,Darknet-53 中的5 個具有不同尺度的、深度的殘差層,各個殘差層之間只進行求殘差操作,即只是將該層與前邊某兩層進行相加連接,從信息流通角度來看,當前層并未徹底收到前層提取到的車型特征信息,很容易漏掉一些關(guān)鍵的車型信息.因此,為了使提取到的車型信息更加完善,本文算法將特征提取結(jié)構(gòu)DenseNet 網(wǎng)絡(luò)與傳統(tǒng)的YOLOv3模型相融合,綜合利用了密集網(wǎng)絡(luò)中每一層都會接收到前邊所有層的特征信息,將其作為該層的額外輸入,此連接機制更加激進.文中密集卷積神經(jīng)網(wǎng)絡(luò)將提取到的車型特征信息進行重復(fù)利用以及其淺層網(wǎng)絡(luò)復(fù)雜度低的優(yōu)點,對存在異常情況下的車輛有很好的檢測效果.

1.2.1 DenseNet 模塊

Huang 等團隊[17]通過引用殘差網(wǎng)絡(luò)(ResNet)思想,但不同于ResNet 網(wǎng)絡(luò)的跳躍連接,而是將在網(wǎng)絡(luò)層一端輸出的特征圖和另一端得到的特征圖拼接在一起進行學習,從而形成更多的特征圖,相當于將前面層提取到的特征又在后邊的網(wǎng)絡(luò)進行重復(fù)利用.在網(wǎng)絡(luò)中,通過利用這種拼接方式連在一塊的多個層被稱為密集卷積塊(Dense Block),并且在每個密集卷積塊之間的層叫做轉(zhuǎn)移層,如圖1所示.

圖1 Dense Block 圖

DenseNet 網(wǎng)絡(luò)中,為了減少特征圖的數(shù)量,在Dense Block 中的3×3 卷積核前加入了1×1 的卷積核,不僅可以融合各個不同通道的特征,而且其降維的方式減少了計算量.此外,密集卷積塊之間又通過1×1 的卷積核進行連接,又壓縮了參數(shù)量.在密集網(wǎng)絡(luò)中,第L層的輸出為:

其中,Hl表示非線性變換,隨著層數(shù)增加,就會將大量線性函數(shù)進行復(fù)合,相比于其他神經(jīng)網(wǎng)絡(luò),此處的非線性變換使得DenseNet 網(wǎng)絡(luò)有很好的泛化性能,[X0,X1,···,Xl?1]表示第0 到l?1層輸出的特征做通道合并.通過采用密集卷積塊,對于網(wǎng)絡(luò)層數(shù)增加不再是問題,有效解決了梯度消失,而且網(wǎng)絡(luò)訓(xùn)練效果非常好.

1.2.2 Dense-YOLOv3 網(wǎng)絡(luò)

Dense-YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)模型如圖2所示,該模型利用DenseNet 網(wǎng)絡(luò)與YOLOv3 多尺度預(yù)測兩者相融合,密集連接網(wǎng)絡(luò)DenseNet 比其他網(wǎng)絡(luò)效率更高,其關(guān)鍵在于網(wǎng)絡(luò)中將后續(xù)層與其前邊任何層進行直接連接,改善了層與層之間的信息交流,使得淺層網(wǎng)絡(luò)提取到的特征進行了重復(fù)利用.

將標注好的車型數(shù)據(jù)集按照具有RGB 三通道圖像輸入到Dense-YOLOv3 模型的密集網(wǎng)絡(luò)框架中進行特征的提取.首先,進入設(shè)定步長為2 的7×7 卷積核,緊接著采用3×3 進行最大池化;接著,依次進入數(shù)量分別為6、12、24、16 個圖1中的Dense Block 集,其中,將3 個不同層次的特征圖送到y(tǒng)1、y2 和y3 通道,如圖2所示提取到的車型特征圖,另外,密集卷積塊之間通過轉(zhuǎn)移層連接,該層使用卷積核大小為1×1、步長為2 的2×2 進行均值池化,到此階段,Dense-YOLOv3模型的車型特征的提取階段已經(jīng)完成;然后,利用神經(jīng)網(wǎng)絡(luò)每一層可以提取到高、中、低各個層次的車型特征信息,并且將不同層次特征信息進行組合的原理,在Dense-YOLOv3 模型中分別采用13×13、26×26、52×52 三個不同的尺度在不同網(wǎng)絡(luò)深度通過卷積核操作再進行局部特征信息的交互:在最大尺度為52×52層中,先將通道為1024 個經(jīng)過一系列卷積操作減小為3×(4+1+類別數(shù)),即33 個,在這個基礎(chǔ)上進行回歸,同理,再對中尺度26×26、最小尺度13×13 分別也進行通道縮減,都減小為33 個,最后,將最小尺度層與中尺度層一起進行2 倍的上采樣、特征合并,實現(xiàn)最后目標物體車的檢測.

在Dense-YOLOv3 模型訓(xùn)練中,考慮到數(shù)據(jù)集中車型Bus 與Truck 在輪廓、顏色和紋理等基礎(chǔ)結(jié)構(gòu)上具有一定的相似性,并且網(wǎng)絡(luò)開始階段往往是對這些基礎(chǔ)結(jié)構(gòu)進行信息的提取.因此,在訓(xùn)練時利用高層獨特的泛化性能及易訓(xùn)練優(yōu)點,可以采用凍結(jié)低層網(wǎng)絡(luò)方式提高測試階段準確率.

1.2.3 算法流程與步驟

本文Dense-YOLOv3 模型的算法總體流程圖如圖3所示,分為3 個階段:數(shù)據(jù)的預(yù)處理(清洗、分類和標注)、對標注好的車型數(shù)據(jù)集進行訓(xùn)練和未標注的車型圖片進行測試.

圖2 Dense-YOLOv3 模型

圖3 Dense-YOLOv3 模型流程圖

算法具體步驟如下.

(1)數(shù)據(jù)預(yù)處理

輸入:BIT-Vehicle 原始數(shù)據(jù)集

輸出:已標注訓(xùn)練集(目標物體車的位置、類別)xml 文件和未標注的測試集

Step 1.在BIT-Vehicle 車型數(shù)據(jù)集(如圖4)中挑選具有代表性即不同光照強度和不同拍攝距離的圖片,隨機劃分訓(xùn)練集和測試集;

Step 2.將訓(xùn)練集用labelImg 工具進行標注形成xml 文件;

Step 3.利用代碼形式訓(xùn)練集劃分為兩部分即train集和val 集;

Step 4.保留測試集圖片.

圖4 車型數(shù)據(jù)集

(2)網(wǎng)絡(luò)訓(xùn)練

輸入:已標注訓(xùn)練集xml 文件與對應(yīng)圖片

輸出:訓(xùn)練權(quán)重模型

Step 1.配置cfg 文件,設(shè)置學習率、類別數(shù)、batch和subdivisions 等超參數(shù);

Step 2.前期階段,凍結(jié)部分層進行訓(xùn)練;

Step 3.一個xml 文件經(jīng)過卷積層、最大池化層和一系列密集卷積塊與轉(zhuǎn)移層提取車型特征;

Step 4.將Step3 中提取特征經(jīng)過三個尺度的檢測框進行特征局部交互;

Step 5.計算出本文模型輸出與真實值y_true 之間的損失值;

Step 6.返回Step 3,在訓(xùn)練過程中不斷調(diào)整網(wǎng)絡(luò)中的參數(shù),使得損失函數(shù)達到一個前期穩(wěn)定的收斂值,控制前期迭代次數(shù)結(jié)束前期訓(xùn)練;

Step 7.開始后期階段,取消凍結(jié)層將進行全部層數(shù)的訓(xùn)練;

Step 8.重復(fù)Step 3～ Step 5,達到迭代次數(shù)停止訓(xùn)練.

(3)網(wǎng)絡(luò)測試

輸入:測試集、訓(xùn)練權(quán)重模型

輸出:目標車位置及類別

Step 1.將測試集圖片放入網(wǎng)絡(luò)中;

Step 2.進行前向傳播,得到預(yù)測框與相應(yīng)的類別;

Step 3.將網(wǎng)絡(luò)預(yù)測框與真實框使用IOU 技術(shù)得到接近真實框的預(yù)測框,如圖5所示.

圖5 IOU 技術(shù)展示

Step 4.Step 3 中的預(yù)測框與相應(yīng)的類別求積得到置信度;

Step 5.設(shè)置閾值,過濾到低分的預(yù)測框,對剩余的預(yù)測框進行NMS 處理,得到最后目標物體車結(jié)果;

Step 6.循環(huán)Step 1～Step 5,直到預(yù)測完測試集即測試結(jié)束.

2 實驗分析與結(jié)果

2.1 實驗環(huán)境與數(shù)據(jù)集正文內(nèi)容

硬件環(huán)境:在系統(tǒng)類型為Windows10 64 位操作系統(tǒng)和基于x64 的處理器、計算機CPU 型號為Intel(R)Xeon(R)W-2102 CPU@ 2.90 GHz、安裝RAM 的內(nèi)存16.0 GB,以及使用GPU device 0:GeForce RTX 2080 Ti,設(shè)備上68 個多處理器、全局內(nèi)存總量為11264 MB,每個線程塊共享內(nèi)存48 KB、每個線程塊最大線程數(shù)為1024 上進行實驗的運行.

軟件環(huán)境:采用基于Theano 的深度學習框架Keras,是一個高度模塊化的神經(jīng)網(wǎng)絡(luò)庫,簡化了編程復(fù)雜度.該框架有三大特性:在操作方面建模簡單;配置簡單;相比其他框架,對于不同模型算法,微調(diào)步驟簡單.另外,在算力上,從CPU 到GPU 上進行加速不需要任何代碼的改動,且性能沒有太多的損耗.

本文用于訓(xùn)練與測試數(shù)據(jù)集選取了少部分研究學者們經(jīng)常實驗用的BIT-Vehicle 車型數(shù)據(jù)集,一共有6 種類型的車型.該庫中的圖像均來自于實際路段的卡口高清圖像,與實際路況非常吻合,且受拍攝距離、光照強度以及天氣等的影響而拍攝到的多路況的車型圖像,更能突出深度卷積神經(jīng)網(wǎng)絡(luò)在檢測效率上的優(yōu)越性.本次實驗將每類車型數(shù)據(jù)集分為兩組,一組數(shù)據(jù)用來訓(xùn)練,另一組用來測試.在BIT-Vehicle 車輛數(shù)據(jù)庫中,用于訓(xùn)練的車型集共有5404 張,按照類別Bus、Microbus、Minivan、Sedan、SUV 和Truck 劃分為810、700、748、1357、845 和944 張;用于模型測試有3603 張車型集,將其按類別排列順序劃分為601、520、511、765、600 和606 張車型圖像.具體車型數(shù)據(jù)集分配如表2所示.

表2 實驗數(shù)據(jù)分配

2.2 實驗分析與對比

為了更好地驗證Dense-YOLOv3 在車型數(shù)據(jù)集上的網(wǎng)絡(luò)性能和使用價值,文中通過采用不同算法定性分析對比與實驗數(shù)據(jù)的定量分析對比兩部分進行研究.

2.2.1 定性分析

在本文中,分別采用文獻[13]、YOLOv3 增加4 層網(wǎng)絡(luò)[1]和Dense-YOLOv3 模型在已經(jīng)準備好的測試集上進行檢測,如表3所示,其中,選取具有代表性即拍攝距離較遠且相似車輛和光線不同的圖片,分別采用單通道直方圖的重合度與差異值哈希法和亮度進行定量分析.其中YOLOv3 增加4 層網(wǎng)絡(luò)算法是在Darknet-53 網(wǎng)絡(luò)基礎(chǔ)上再增加12 層網(wǎng)絡(luò)即4 組卷積層+殘差單元共同構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu).理論上講,神經(jīng)網(wǎng)絡(luò)層數(shù)越大,其表達能力越強即提取到的車型特征信息越多,測試結(jié)果越顯著,但從表3中檢測結(jié)果可以看出,文獻[1]檢測效果并沒有文獻[13]那么明顯.

從主觀角度判斷圖片中目標物體車距離較遠;從客觀的角度判斷圖片的相似度,其由顏色和圖像指紋相結(jié)合,分別用單通道直方圖的重合度與差異值哈希法(dHash)來進行表示.dHash 算法都是值越小,相似度越高,取值為0–64,即漢明距離中,64 位的hash 值有多少不同;單通道直方圖的值為0–1,值越大,相似度越高.兩者進行結(jié)合,更能判斷不同算法檢測效果.從表4中看出,所選取圖片重合度為0.604、0.798 和0.602;dHash 值為16、12 和14.

圖片亮度表示光線暗或者曝光程度如何,一般規(guī)定一張圖片的平均亮度為128,對于一張正常拍照拍出來的圖片平均亮度應(yīng)該是在[100,150].在表4中選取亮度為33.99、20.31 和166.95 的較暗與曝光的3 張圖片進行檢測研究.

從表3可知,對于檢測同為距離較遠的車,本文模型相比于文獻[13]、文獻[1]模型檢測準確,且檢測出正確車型概率分別為0.96、0.99 和0.93,而文獻[13]、文獻[1]模型雖然檢測出有目標物體存在,但是未能正確檢測出車型或者準確率比本文模型低.光線較暗和曝光較強車型圖片,本文模型正確檢測出車型且準確率高,而文獻[13]模型,雖然正確檢測出了車型,但是準確率沒有本文模型高,從表3中看到,檢測出多余框,準確效率差;文獻[1]模型雖然在網(wǎng)絡(luò)層數(shù)加大,但是相較于文獻[13]模型車型檢測錯誤.對于車型相似的圖片,文獻[13]與文獻[1]模型將Minivan 錯識別為Truck,而本文模型識別正確且準確率高.總體來說,本文模型不論在拍攝距離較遠和光線較暗、較強情況下,都能正確檢測出目標物體車的類型且準確率高,整體檢測效果明顯,出現(xiàn)漏檢的情況極少,達到了預(yù)期的效果.

2.2.2 定量對比

為了進一步測試車型圖片在本文模型中檢測效果明顯,本文又分別利用文獻[13]、文獻[1]和Dense-YOLOv3 網(wǎng)絡(luò)模型在車型數(shù)據(jù)集上進行定量分析比較,如表4所示.

在表4中通過采用性能指標平均精度AP、多類別平均精度mAP、準確率Precision和召回率Recall,這些數(shù)值更能直觀的反應(yīng)出網(wǎng)絡(luò)的性能如何.準確率是指預(yù)測樣本中的實際正樣本數(shù)在所有正樣本中的占比;召回率是指預(yù)測樣本中的實際正樣本數(shù)占預(yù)測樣本數(shù)的多少;平均精度是由Precision-Recall 曲線所圍成的面積,其公式為:

且本文算法各類的Recall與Precision之間的關(guān)系圖如圖6所示.在式(3)中,積分中p為準確率、r為召回率,N代表此次實驗所用到的測試集數(shù)即為3603;多類別平均精度mAP是將所有類的AP值進行平均,公式為:

在式(4)中,Q 代表實驗數(shù)據(jù)集的類別數(shù),即為6 類.

圖7為表4中各個算法的AP 與mAP 直觀圖.

為了更直觀綜合評價算法好壞,將精確率、召回率和F1 值這3 個指標在不同算法上的對比圖如圖8所示.從圖7中的召回率和準確度可知,本文算法相對于文獻[13]、文獻[1]找到正確的6 種車型圖片要多,并且準確率也相當高,比傳統(tǒng)的YOLOv3 高達3.8%,說明本文模型綜合利用密集卷積網(wǎng)絡(luò)提取到更多的車型基本結(jié)構(gòu)特征;另外,本文算法平均檢測速度達到了28 fps,在與DenseNet 網(wǎng)絡(luò)集成后也保證了實時檢測效果;總體來看,本文算法在不同類別的車型情況下,各類的AP 相對于其他文獻[13]、文獻[1]兩種算法占很大的優(yōu)勢,且多類平均值高出6.45%.因此,這些數(shù)據(jù)很好的驗證了本文模型優(yōu)越性和使用價值.

3 結(jié)論與展望

文中設(shè)計的Dense-YOLOv3 模型通過將密集卷積神經(jīng)網(wǎng)絡(luò)作為主要車型特征的提取,結(jié)合YOLOv3 中的三尺度檢測框進行局部信息的交互來實現(xiàn)目標車的檢測,綜合利用密集卷積網(wǎng)絡(luò)的優(yōu)勢即在車輛存在異常環(huán)境下將提取到的車型特征信息進行重復(fù)利用,以此來提高了車型準確率,并且此模型在BIT-Vehicle 車型數(shù)據(jù)集進行了實驗驗證.先采用3 種不同的算法對拍攝距離較遠和光線不同圖片的檢測過程進行定性分析;然后在車型數(shù)據(jù)集上利用目標檢測指標性能參數(shù)進行定量分析對比.通過定性和定量的實驗分析,本文模型有較強的學習、抗過擬合能力,在實際應(yīng)用中有很好的檢測效果并且有一定的使用價值.但是,實驗中的車型數(shù)據(jù)集有一些不足:車型數(shù)據(jù)集的種類較少、場景較為單一等的缺點.因此,在后續(xù)工作中將尋找更多樣的、不同場景下車型數(shù)據(jù)集進行實驗研究.

表4 算法對比

圖7 各算法AP 與mAP 圖

圖8 各算法的準確率、召回率、F1 值對比