楊晨

(太原師范學(xué)院,山西 晉中030619)

1 概述

十字路口是交通事故高發(fā)區(qū)，一旦發(fā)生事故，出警處理不及時(shí)會(huì)造成路口擁堵，從而降低通行效率。交通事故識(shí)別主要依賴于車輛異常行為的檢測(cè)與判定。車輛異常行為可以通過物體檢測(cè)和目標(biāo)跟蹤算法，對(duì)畫面中存在的每個(gè)物體的運(yùn)動(dòng)軌跡進(jìn)行檢測(cè)，從而實(shí)現(xiàn)細(xì)化到目標(biāo)和具體行為的檢測(cè)。以往的目標(biāo)檢測(cè)主要依賴人工手段，如車輛巡邏、目擊者報(bào)警或人為觀測(cè)。這些方法雖然簡(jiǎn)單直接，但需要占用大量的時(shí)間、人力和物力。此外，霧天環(huán)境下，空氣中懸浮粒子對(duì)光線的散射，會(huì)導(dǎo)致監(jiān)控視頻畫面模糊，色彩失真以及影像后期處理難的問題。因此，在霧天環(huán)境下，對(duì)車輛實(shí)現(xiàn)準(zhǔn)確且快速檢測(cè)具有重要的實(shí)踐意義。

2012年，AlexNet[1]在ImageNet視覺挑戰(zhàn)賽中一舉奪冠，卷積神經(jīng)網(wǎng)絡(luò)重回大眾視野。在大量的車輛檢測(cè)算法中，基于深度學(xué)習(xí)的方法被廣泛使用。深度卷積神經(jīng)網(wǎng)絡(luò)能自主完成對(duì)目標(biāo)特征的學(xué)習(xí)，提取關(guān)鍵信息，從而具有更強(qiáng)的判別能力和泛化能力。深度卷積神經(jīng)網(wǎng)絡(luò)目前主要存在兩類主流算法：一類是將region proposal與CNN網(wǎng)絡(luò)結(jié)合起來所構(gòu)建的基于分類的R-CNN[2]系列目標(biāo)檢測(cè)框架（two stage）；另一類是將目標(biāo)檢測(cè)轉(zhuǎn)換為回歸問題的算法（one stage），如YOLO（You Only Look Once）[3]系列和SSD（Single Shot Multibox Detector）[4]算法。文獻(xiàn)[13]提出一種基于YOLOv3的深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLOv3-fass，該方法相較于YOLOv3更高效，更準(zhǔn)確。文獻(xiàn)[14]引入soft-NMS，提出一種解決車輛重疊導(dǎo)致識(shí)別精度低的改進(jìn)YOLOv3算法，能夠比較好的解決霧天車輛識(shí)別精度低的問題，但檢測(cè)網(wǎng)絡(luò)速度較慢；文獻(xiàn)[15]對(duì)有30層卷積神經(jīng)網(wǎng)絡(luò)的Darknet53骨架網(wǎng)絡(luò)構(gòu)架進(jìn)行改進(jìn)，在減少網(wǎng)絡(luò)成本的同時(shí)提高了檢測(cè)精度，但該網(wǎng)絡(luò)現(xiàn)階段的速度還不能滿足需求；文獻(xiàn)[16]構(gòu)建了一種輕量級(jí)的YOLOv3-Mobilenetv2檢測(cè)網(wǎng)絡(luò)，不僅減少了模型參數(shù)量，而且速度也得到明顯提升，但檢測(cè)精度相較于YOLOv4依舊偏低。

因此，為提高對(duì)霧天環(huán)境下車輛識(shí)別的檢測(cè)性能，本文對(duì)YOLOv4算法進(jìn)行改進(jìn)，并基于改進(jìn)算法對(duì)霧天環(huán)境下的車輛檢測(cè)進(jìn)行研究。首先，運(yùn)用圖像去霧算法對(duì)采集到的視頻畫面進(jìn)行去霧預(yù)處理；其次，在原始YOLOv4基礎(chǔ)上，減少模型卷積層數(shù)使模型輕量化，加快模型預(yù)測(cè)速度。最后，通過實(shí)驗(yàn)驗(yàn)證改進(jìn)后的YOLOv4算法的檢測(cè)效果，并將不同圖像去霧算法與YOLOv4和本文改進(jìn)的YOLOv4進(jìn)行組合，并對(duì)其性能進(jìn)行對(duì)比。

2 去霧算法分析

圖2 SSR去霧算法效果圖

圖3 MSR去霧算法效果圖

圖4 MSRCR去霧算法效果圖

圖像去霧一直是計(jì)算機(jī)視覺的熱點(diǎn)問題，現(xiàn)有的去霧算法主要分為兩類，一類是以Kaiming He[5]在2009年CVPR提出的基于暗通道處理的方法為代表的物理模型復(fù)原方法；另一類是基于圖像處理的增強(qiáng)方法。物理模型復(fù)原方法比圖像增強(qiáng)方法處理的時(shí)間要長(zhǎng)，所以本文選擇使用圖像增強(qiáng)方法進(jìn)行去霧處理。

在圖像增強(qiáng)算法中，常用的去霧算法包括：SSR（單尺度Retinex）算法、MSR（多尺度Retinex）算法以及MSRCR（彩色恢復(fù)多尺度）算法。利用SSR算法、MSR算法以及MSRCR算法分別對(duì)RESIDE數(shù)據(jù)集中包含交通場(chǎng)景的300張圖片進(jìn)行去霧處理的實(shí)驗(yàn)效果如圖1～4所示，結(jié)果顯示，去霧效果MSRCR算法最佳。

圖1 數(shù)據(jù)集原圖

3 YOLOv4 算法

YOLOv4算法原理：

YOLOv4屬于目標(biāo)檢測(cè)one stage算法。它由俄羅斯獨(dú)立研究員Alexey Bochkovskiy[6]在YOLO[3]、YOLOv2[7]、YOLOv3[8]的 基礎(chǔ)上，通過對(duì)數(shù)據(jù)處理、主干網(wǎng)絡(luò)、激活函數(shù)以及損失函數(shù)改進(jìn)優(yōu)化而來。其基本思想是把圖片劃分成S*S的網(wǎng)格，每個(gè)網(wǎng)格針對(duì)不同的區(qū)域獨(dú)立進(jìn)行檢測(cè)。如果待檢測(cè)目標(biāo)中心落入某個(gè)網(wǎng)格，則由該網(wǎng)格負(fù)責(zé)檢測(cè)該目標(biāo)。

YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)主要由四部分組成，分別是Input（輸入端）、BackBone（主干網(wǎng)絡(luò)）、Neck以及Prediction（預(yù)測(cè)部分）。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5顯示，YOLOv4算法的主干網(wǎng)絡(luò)由CSPDarknet53、Mish激活函數(shù)以及Dropblock組成三部分組成。下采樣從R1-R5，一共經(jīng)歷5次。在目標(biāo)檢測(cè)階段，為了更好的提取融合特征，在BackBone和預(yù)測(cè)部分之間通常需要插入一些結(jié)構(gòu)，這些結(jié)構(gòu)被稱為Neck。Neck包括SPP（空間金字塔池化）和FPN（特征金字塔）+PANet（路徑聚合網(wǎng)絡(luò)）兩種結(jié)構(gòu)。SPP結(jié)構(gòu)使用1*1、5*5、9*9以及13*13四種不同尺度大小的池化核對(duì)特征層R5進(jìn)行三次卷積后的結(jié)果進(jìn)行最大池化，可以有效增加主干特征的接收范圍，分離出顯著的上下文特征。FPN是特征金字塔，增加極小的計(jì)算量，處理好物體檢測(cè)中的多尺度變化問題。

圖5 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖

PANet結(jié)構(gòu)是源于2018年CVPR圖像分割領(lǐng)域PANet[9]的創(chuàng)新點(diǎn)，因?yàn)樗軠?zhǔn)確地保存空間信息，有助于正確定位像素點(diǎn)，形成mask。它通過保留空間信息來增強(qiáng)實(shí)例分割過程。經(jīng)過PANet結(jié)構(gòu)后，YOLOv4網(wǎng)絡(luò)將進(jìn)行大小為3*3和1*1的兩次卷積操作，判別三個(gè)特征層的先驗(yàn)框，判斷框內(nèi)是否有目標(biāo)和目標(biāo)分類結(jié)果，之后進(jìn)行非極大值抑制，對(duì)先驗(yàn)框調(diào)整得出最終結(jié)果。

4 YOLOv4 算法改進(jìn)

4.1 輸入端自適應(yīng)圖片縮放

YOLOv4中提出了Bag of freebies的概念[10]，用于構(gòu)建只改變訓(xùn)練策略或只增加訓(xùn)練成本使檢測(cè)器并獲得更高精度但不增加推理成本的方法。YOLOv4的輸入端通常采用608*608尺寸，但在實(shí)際使用時(shí)，由于很多數(shù)據(jù)集中的圖片寬高不一，所以通常需要把原始圖片統(tǒng)一縮放到一個(gè)標(biāo)準(zhǔn)尺寸，然后再送入檢測(cè)網(wǎng)絡(luò)中。之前對(duì)圖片進(jìn)行縮放時(shí)會(huì)填充部分黑邊，使之達(dá)到檢測(cè)網(wǎng)絡(luò)輸入尺寸。如果黑邊填充過多，會(huì)造成信息冗余，影響網(wǎng)絡(luò)推理速度。

為增強(qiáng)YOLOv4算法的魯棒性以及面對(duì)復(fù)雜數(shù)據(jù)集處理的能力，本文在YOLOv4算法基礎(chǔ)上，引入了自適應(yīng)圖片縮放方法。

首先，用預(yù)計(jì)縮放尺寸分別除以原始圖片長(zhǎng)寬得到兩個(gè)縮放比例系數(shù)，如式（1）所示：

其中，n表示預(yù)計(jì)縮放尺寸的長(zhǎng)和寬，L，W表示原始圖片的長(zhǎng)度；ρL，ρW表示預(yù)計(jì)縮放長(zhǎng)度除以原始長(zhǎng)度、寬度得到的縮放比例系數(shù)。

其次，選擇較小的比例系數(shù)分別和原始圖片的長(zhǎng)、寬相乘得到縮放后的尺寸，如式（2）所示：

其中ρ表示較小的比例系數(shù)，L1，W1分別為縮放后的尺寸。

用圖片原始長(zhǎng)寬同上一步得到的縮放尺寸作差，得出需要填充黑邊數(shù)值，如式（3）所示：

其中，X表示預(yù)計(jì)尺寸減去式（3）中得到縮放后尺寸，Y表示兩端需要填充的黑邊數(shù)量，32表示2的5次方，因?yàn)閅OLOv4共有5次下采樣。

4.2 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

Alexey Bochkovskiy等人在YOLOv4中提出了CSPDarknet53結(jié)構(gòu)，該結(jié)構(gòu)是在YOLOv3主干網(wǎng)絡(luò)Darknet53的基礎(chǔ)上，借鑒2019年CSPNet[11]的經(jīng)驗(yàn)產(chǎn)生的一種主干網(wǎng)絡(luò)結(jié)構(gòu)。它能夠輸出三個(gè)不同大小的特征層，即，特征層R3和R4分別經(jīng)過一次1*1的卷積操作后進(jìn)入PANet結(jié)構(gòu)，然后進(jìn)行特征融合；特征層R5則經(jīng)過1*1、3*3以及1*1三次卷積后進(jìn)入SPP結(jié)構(gòu)進(jìn)行最大池化。這些操作可以提取到更豐富的特征，但是對(duì)于道路車輛檢測(cè)，CSPDarknet53網(wǎng)絡(luò)便顯得有些過于復(fù)雜，因?yàn)檫^多的參數(shù)會(huì)導(dǎo)致訓(xùn)練時(shí)間變長(zhǎng)，進(jìn)而減慢檢測(cè)速度，甚至導(dǎo)致模型過擬合。

為了提高道路車輛目標(biāo)檢測(cè)速度，從保持現(xiàn)有精度、簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)角度出發(fā)，本文借鑒CSPDarknet53，提出一種參數(shù)數(shù)量較少、運(yùn)算復(fù)雜度較低的特征提取網(wǎng)絡(luò)。

首先，第一個(gè)卷積層用32個(gè)大小為3*3的濾波器對(duì)608*608的輸入圖像進(jìn)行操作，其次將先前卷積層的輸出作為輸入使用64個(gè)1*1的濾波器對(duì)其進(jìn)行操作，并實(shí)施下采樣；之后簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，將主干網(wǎng)絡(luò)中原有CSP結(jié)構(gòu)中位于2,4,6,8,16下采樣后的殘差結(jié)構(gòu)從原來的1,2,8,8,4個(gè)簡(jiǎn)化為1,2,5,5,2個(gè)，并把所有卷積層通道數(shù)變?yōu)樵瓉淼囊话?。網(wǎng)絡(luò)復(fù)雜度的降低，減少了模型的參數(shù)量，在提高檢測(cè)速度的同時(shí)，還可以避免算法過擬合問題。

CSPDarknet53網(wǎng)絡(luò)結(jié)構(gòu)采用下采樣結(jié)構(gòu)進(jìn)行下采樣，這種采樣在特征圖向后傳播的途徑中會(huì)損失大量的特征信息。為此，本文在原有主干網(wǎng)絡(luò)基礎(chǔ)上添加了一條下采樣支路，該支路上的下采樣模塊和網(wǎng)絡(luò)中相同尺度模塊具有相同的通道數(shù)量。改進(jìn)后的網(wǎng)絡(luò)如圖6所示。

圖6 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)使用UA-DETRAC車輛識(shí)別數(shù)據(jù)集對(duì)YOLOv4改進(jìn)算法的精度和速度進(jìn)行評(píng)估。實(shí)驗(yàn)基于CSPDarknet53神經(jīng)網(wǎng)絡(luò)框架實(shí)現(xiàn)。實(shí)驗(yàn)平臺(tái)配置為：操作系統(tǒng)：Windows 10；CPU：AMD Ryzen 7 3700X@3.59 GHz八核處理器；32G內(nèi)存；GPU：NVIDIA GeForce RTX 3080 11G顯存；深度學(xué)習(xí)框架：PyTorch；編程語言：Python。

5.2 數(shù)據(jù)集描述

UA-DETRAC車輛識(shí)別數(shù)據(jù)集[12]是一個(gè)具有挑戰(zhàn)性的現(xiàn)實(shí)世界多目標(biāo)檢測(cè)和多目標(biāo)跟蹤的基準(zhǔn)數(shù)據(jù)集。UA-DETRAC數(shù)據(jù)集在北京和天津的24個(gè)不同地點(diǎn)拍攝，視頻內(nèi)容涵蓋各種交通模式和條件，包括城市公路、交通十字路口和t型路口。每段視頻以每秒25幀的速度錄制，分辨率為960*540像素。在UA-DETRAC數(shù)據(jù)集中，有超過14萬幀和8250輛車被人工標(biāo)注，總記121萬物體的邊界框被標(biāo)記。

實(shí)驗(yàn)從UA-DETRAC數(shù)據(jù)集中挑出雨霧天場(chǎng)景圖片16000張，按照8:2比例劃分訓(xùn)練集和驗(yàn)證集。

5.3 執(zhí)行細(xì)節(jié)

訓(xùn)練過程中，在選擇VOC預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上對(duì)YOLOv4算法進(jìn)行超參數(shù)設(shè)定，并使用隨機(jī)梯度下降法對(duì)損失函數(shù)進(jìn)行。實(shí)驗(yàn)將初始學(xué)習(xí)率設(shè)定為0.001 ，動(dòng)量參數(shù)為0.9 ，權(quán)重衰減因子為0.005 ，Batchsize設(shè)定為32，每個(gè)epoch迭代334次，總迭代次數(shù)16700次，并在每一輪epoch訓(xùn)練開始時(shí)開啟Mosaic數(shù)據(jù)增強(qiáng)。整個(gè)訓(xùn)練過程中的損失函數(shù)經(jīng)過50個(gè)epoch訓(xùn)練后網(wǎng)絡(luò)已經(jīng)收斂，收斂時(shí)的訓(xùn)練損失值為6.7144 。

5.4 算法性能測(cè)試

5.4.1 評(píng)價(jià)指標(biāo)

在目標(biāo)檢測(cè)中，使用IoU的值衡量目標(biāo)真實(shí)邊界框和預(yù)測(cè)邊界框的重合程度，計(jì)算方式為兩個(gè)區(qū)域的交并比。一般情況下，當(dāng)IoU的值大于0.5 時(shí)認(rèn)為成功預(yù)測(cè)到目標(biāo)。平均精度（AP，Average Precision）通過精確度（P，Precision）和召回率（R，Recall）計(jì)算，并以平均精度AP（mAP）值作為算法檢測(cè)精度的綜合評(píng)價(jià)指標(biāo)。一般來說，mAP值越高說明模型檢測(cè)精度越高，檢測(cè)效果越好。

P、R、AP、mAP計(jì)算公式如下：

式中，TP表示正確劃分為正樣本的個(gè)數(shù)；FP表示錯(cuò)誤劃分為正樣本的個(gè)數(shù)；FN為錯(cuò)誤劃分為負(fù)樣本的個(gè)數(shù)。

式中，∑APclasses表示所有類別AP值總和，Nclasses表示所有類別總數(shù)。

此外，算法檢測(cè)速度也是衡量算法性能好壞的重要指標(biāo)。本文檢測(cè)速度計(jì)算公式如下：

5.4.2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證YOLOv4改進(jìn)算法的性能，首先，將YOLOv4改進(jìn)算法同原始YOLOv4算法在從UA-DETRAC數(shù)據(jù)集中挑出的由16000張雨霧天場(chǎng)景圖片組成的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)對(duì)比。其次，將不同的去霧算法，即SSR算法、MSR算法以及MSRCR算法同原始YOLOv4算法以及YOLOv4改進(jìn)算法隨機(jī)組合之后，對(duì)各種算法的性能再次進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同算法檢測(cè)性能對(duì)比

實(shí)驗(yàn)結(jié)果表明，相比于YOLOv4算法，YOLOv4改進(jìn)算法在霧天車輛識(shí)別精度和速度上均有提升；但效果最好的是結(jié)合MSRCR的YOLOv4改進(jìn)算法。其在所選數(shù)據(jù)集上，相較于直接使用YOLOv4，mAP提升了1.23 %，檢測(cè)速度提升到33.6 fps。

如圖7所示，7（a）為YOLOv4算法效果圖，7（b）為改進(jìn)的YOLOv4+SSR算法效果圖，7（c）為改進(jìn)的YOLOv4+MSR算法效果圖，7（d）為改進(jìn)的YOLOv4+MSRCR算法效果圖。

圖7 各種算法實(shí)驗(yàn)結(jié)果對(duì)比圖

6 結(jié)論

本文結(jié)合去霧算法MSRCR對(duì)YOLOv4算法進(jìn)行改進(jìn)，在一定程度上能改善霧天車輛識(shí)別精度低、速度慢的問題。通過對(duì)輸入端圖片進(jìn)行自適應(yīng)縮放，加快網(wǎng)絡(luò)速度；其次，減少下采樣后的殘差結(jié)構(gòu)減少網(wǎng)絡(luò)的參數(shù)量，在主干網(wǎng)絡(luò)上添加下采樣支路提升網(wǎng)絡(luò)表達(dá)能力。改進(jìn)后的YOLOv4和去霧算法結(jié)合，使霧天車輛檢測(cè)精度依舊有不同程度提升，效果最好的去霧算法是MSRCR。但是，本文算法仍存在一定缺陷，在復(fù)雜場(chǎng)景下會(huì)出現(xiàn)少量漏檢，錯(cuò)檢情況。在之后工作中，會(huì)繼續(xù)針對(duì)發(fā)現(xiàn)的問題研究改進(jìn)本算法，進(jìn)一步提高車輛的檢測(cè)性能。