鄺先驗(yàn)，劉 平

（江西理工大學(xué)電氣工程與自動(dòng)化學(xué)院，贛州 341000）

0 引言

車輛目標(biāo)檢測(cè)在智能交通、智能駕駛、交通安全等方面發(fā)揮著重要作用，其目的是通過圖像處理技術(shù)識(shí)別出車輛目標(biāo)并確定其在圖像中的具體坐標(biāo)位置。目前車輛檢測(cè)存在難點(diǎn)主要有二，①需要在視頻流中對(duì)行進(jìn)車輛進(jìn)行快速實(shí)時(shí)的檢測(cè)。②現(xiàn)實(shí)場(chǎng)景中圖像容易受到光照、天氣狀況、道路環(huán)境等各種因素的影響，增加了車輛檢測(cè)的復(fù)雜度和難度。

近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的車輛目標(biāo)檢測(cè)算法受到學(xué)者極大的關(guān)注并被廣泛使用，尤其針對(duì)在復(fù)雜場(chǎng)景下不同尺度和類型的車輛，這類算法相較于傳統(tǒng)圖像處理算法表現(xiàn)出更優(yōu)的檢測(cè)效果。當(dāng)前目標(biāo)檢測(cè)算法主要可分為以RCNN系列為代表的基于候選區(qū)域的雙階段方法和以Yolo、SSD等為代表的基于邊框回歸的單階段方法，通常情況下雙階段法的目標(biāo)檢測(cè)網(wǎng)絡(luò)精度高但檢測(cè)速度慢，難以滿足車輛檢測(cè)的實(shí)時(shí)性要求，因此目前大多車輛檢測(cè)方法集中在單階段法，如黃躍珍等采用Center-Net實(shí)現(xiàn)車輛實(shí)時(shí)檢測(cè)，同時(shí)針對(duì)網(wǎng)絡(luò)損失函數(shù)和特征融合進(jìn)行優(yōu)化提升了檢測(cè)效果；張富凱等增強(qiáng)了YOLOv3 特征提取網(wǎng)絡(luò)的深度并通過融合網(wǎng)絡(luò)中6種不同尺度的卷積特征圖獲得了較高的車輛檢測(cè)效果；胡習(xí)之等提出一種融合Camshift 與YOLOv4 的車輛檢測(cè)算法，依據(jù)哈希值來(lái)選擇不同的檢測(cè)方式從而獲得速度的提升。上述方法雖然實(shí)現(xiàn)了車輛的實(shí)時(shí)檢測(cè)，但是大多在復(fù)雜場(chǎng)景下檢測(cè)效果不理想，對(duì)于光照度低、道路擁堵等道路場(chǎng)景下以及車輛目標(biāo)小，存在遮擋時(shí)容易出現(xiàn)誤檢、漏檢等狀況。

為應(yīng)對(duì)上述問題，本文采用YOLOv5s 來(lái)實(shí)現(xiàn)復(fù)雜場(chǎng)景下的車輛目標(biāo)檢測(cè)，保證滿足車輛檢測(cè)任務(wù)實(shí)時(shí)性要求的前提下添加了CBAM（convolutional block attention module）模塊，并通過增加Backbone 中CSP模塊的個(gè)數(shù)來(lái)加深特征提取網(wǎng)絡(luò)的深度，在公共數(shù)據(jù)集BDD100K中獲取所需的車輛標(biāo)簽數(shù)據(jù)并進(jìn)行實(shí)驗(yàn)測(cè)試及性能比較，同時(shí)通過攝像機(jī)采集現(xiàn)實(shí)道路場(chǎng)景圖像用作模型實(shí)際可行性的驗(yàn)證。

1 YOLOv5模型概述

YOLOv5 由Ultralytics LLC 公 司 于2020 年5月提出，其源碼庫(kù)中包含有YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x 四種不同版本，四種網(wǎng)絡(luò)版本的深度和寬度依次增加，其檢測(cè)精度也隨之遞增，但檢測(cè)速度逐漸降低。YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)主要分為4 個(gè)部分，分別為Input、Backbone、Neck和Prediction。

在YOLOv5 中，Input 作為圖像的輸入端沿用了YOLOv4所采用的Mosaic 數(shù)據(jù)增強(qiáng)操作，該方法對(duì)小目標(biāo)的檢測(cè)效果更為理想，同時(shí)將自適應(yīng)錨框嵌入到源碼中，網(wǎng)絡(luò)訓(xùn)練前會(huì)先計(jì)算配置文件中錨框的BPR 值（best possible recall），當(dāng)BPR 低于0.98 時(shí)能夠自主學(xué)習(xí)并調(diào)整錨框大小。此外源碼中對(duì)自適應(yīng)圖片縮放進(jìn)行了改進(jìn)，對(duì)不同尺寸的輸入圖片進(jìn)行縮放填充時(shí)盡可能減少兩端的黑邊填充，避免填充過多造成信息冗余影響推理速度。

Backbone 為網(wǎng)絡(luò)的特征提取部分，YOLOv5中在Backbone首端增加了Focus結(jié)構(gòu)，其核心在于切片操作，如圖1所示。以608×608×3圖像輸入為例，圖像接入Focus 結(jié)構(gòu)經(jīng)過切片后變?yōu)?04×304×12 的特征圖，再經(jīng)由卷積操作得到304×304×的特征圖，通道數(shù)N 在四個(gè)網(wǎng)絡(luò)版本中各不相同。同時(shí)YOLOv5的主干網(wǎng)絡(luò)保持了v4 版本中的CSP 結(jié)構(gòu)，并設(shè)計(jì)了CSP1_X 和CSP2_X 兩種不同結(jié)構(gòu)分別應(yīng)用在Backbone 主干和Neck 中，兩種結(jié)構(gòu)如圖2 所示，圖中CBL 為Conv+BN+Leakyrelu 串聯(lián)組合成的模塊，ResUnit為殘差結(jié)構(gòu)，如圖2（a）下方圖所示。

圖1 切片操作

圖2 CSP結(jié)構(gòu)

Neck 是網(wǎng)絡(luò)的特征融合部分，在此階段中分別將Backbone 中提取到輸入圖片的1/8、1/16和1/32 特征進(jìn)行融合并傳遞到Prediction 層，YOLOv5 在Neck 層繼續(xù)采用了FPN+PAN 結(jié)構(gòu)，其中FPN 為自上而下的將高層特征上采樣后傳遞融合，傳達(dá)強(qiáng)語(yǔ)義特征，PAN 為自下而上的特征金字塔傳遞強(qiáng)定位特征。較v4 版本，YOLOv5 在Neck 層用CSP2_X 結(jié)構(gòu)替代原有標(biāo)準(zhǔn)卷積，加強(qiáng)網(wǎng)絡(luò)的特征融合能力。

YOLOv5 的Prediction 層 采 用GIOU_Loss 作為Bounding box的損失，以此應(yīng)對(duì)邊界框不重合情況下的損失計(jì)算，同時(shí)采用非極大值抑制（NMS）來(lái)獲取最優(yōu)目標(biāo)框。

2 模型改進(jìn)方案

網(wǎng)絡(luò)能夠?qū)崿F(xiàn)實(shí)時(shí)檢測(cè)的最低幀率為30FPS，即處理每張圖片的用時(shí)不能高于33 ms，本文以此為基準(zhǔn)對(duì)YOLOv5s 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)優(yōu)化，在網(wǎng)絡(luò)Neck 和Prediction 之間額外添加了注意力模塊CBAM，同時(shí)對(duì)Backbone 的主干網(wǎng)絡(luò)深度進(jìn)行了加深，保證最低幀率的前提下盡可能地提升網(wǎng)絡(luò)檢測(cè)精度，最終模型結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

首先，注意力機(jī)制添加到網(wǎng)絡(luò)模型后能夠在增加少量參數(shù)的情況下顯著提升網(wǎng)絡(luò)精度，當(dāng)前已有面向卷積神經(jīng)網(wǎng)絡(luò)的注意力模塊包括Enc模塊、ECA模塊和CBAM 模塊等，其中Enc 模塊和ECA 模塊是為特征通道加權(quán)的通道注意力模塊，而本文采用的CBAM 模塊則是同時(shí)為特征圖層和通道加權(quán)的空間和通道注意力模塊，模塊結(jié)構(gòu)如圖4所示。

圖4 CBAM模塊結(jié)構(gòu)

圖5為通道注意力模塊結(jié)構(gòu)圖，在通道注意力模塊中，輸入特征F 分別經(jīng)過空間維度上的全局最大池化和全局平均池化之后進(jìn)入多層感知器MLP，然后將MLP 輸出的兩個(gè)特征相加再經(jīng)過sigmoid 激活操作，生成最終的通道注意力權(quán)重矩陣M。

圖5 Channel Attention結(jié)構(gòu)

整個(gè)運(yùn)算過程公式表示為：

其中：為sigmoid函數(shù)。

空間注意力模塊結(jié)構(gòu)圖如圖6所示，其輸入為權(quán)重矩陣M與輸入特征進(jìn)行點(diǎn)乘后所得到的通道加權(quán)特征，首先基于通道進(jìn)行了全局最大池化和全局平均池化操作，將所得結(jié)果進(jìn)行通道上的疊加，再經(jīng)過一個(gè)卷積操作后降維到單通道特征，最后經(jīng)過sigmoid 函數(shù)激活生成空間注意力權(quán)重M。求取過程如公式（2）所示。

圖6 Spatial Attention結(jié)構(gòu)

其中：是卷積核為3的卷積層，[ ; ]表示在通道疊加后的特征。

其次， 注意到Y(jié)OLOv5 的四個(gè)不同版本通過修改配置文件加深和拓寬網(wǎng)絡(luò)深度和寬度獲得精度的逐次提升，它們的檢測(cè)效果如3.2 節(jié)表3所示，為了保證網(wǎng)絡(luò)模型在保持較快的檢測(cè)速度情況下提升精度，本文僅對(duì)Backbone 主干網(wǎng)絡(luò)的深度進(jìn)行了加深，具體配置參數(shù)如表1所示。

表1 模型部分配置參數(shù)

表 中1～4 分 別對(duì) 應(yīng) 圖3 中Backbone 的4 個(gè)CSP 模塊的配置參數(shù)，為相應(yīng)參數(shù)乘以depth的值。

3 實(shí)驗(yàn)及結(jié)果

本節(jié)首先介紹實(shí)驗(yàn)環(huán)境配置及實(shí)驗(yàn)數(shù)據(jù)集的獲取步驟，然后展示YOLOv5s、YOLOv5m 和YOLOv5l 三個(gè)網(wǎng)絡(luò)版本的檢測(cè)性能，并與本文優(yōu)化后的YOLOv5s 的性能進(jìn)行對(duì)比，最后展示網(wǎng)絡(luò)的可視化效果和在實(shí)際場(chǎng)景下的檢測(cè)效果。

3.1 實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)均在同一環(huán)境下進(jìn)行，具體軟、硬件配置如表2所示。

表2 實(shí)驗(yàn)軟、硬件配置

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于公共數(shù)據(jù)集BDD100K，該數(shù)據(jù)集是伯克利大學(xué)AI 實(shí)驗(yàn)室（BAIR）于2018年發(fā)布的大型駕駛數(shù)據(jù)集，包含有10 萬(wàn)張帶有道路目標(biāo)邊界框標(biāo)注的1280×720 分辨率圖片及json標(biāo)簽，其中訓(xùn)練集、驗(yàn)證集和測(cè)試集分別為70000 張、20000 張和10000 張。數(shù)據(jù)集中圖片場(chǎng)景豐富多樣，不僅包含黎明/黃昏、白天、夜晚三個(gè)階段下的住宅區(qū)、公路、街道、停車場(chǎng)、加油站、隧道6 種不同場(chǎng)景，還包括晴天、多云、陰天、下雨、下雪和霧天6種天氣狀況，符合本文研究復(fù)雜場(chǎng)景下車輛檢測(cè)的需求。然而由于BDD100K 數(shù)據(jù)集中標(biāo)注框共有Bus、Light、Person 等共10 個(gè)類別，本文只針對(duì)車輛（Car）這一類別進(jìn)行研究，因此首先通過Python 腳本對(duì)數(shù)據(jù)集進(jìn)行了處理得到僅含有車輛標(biāo)注的圖片和標(biāo)簽，處理后的訓(xùn)練集和驗(yàn)證集分別為68943張和9882 張，由于測(cè)試集標(biāo)簽官方并未公布，為方便實(shí)驗(yàn)及驗(yàn)證，最終本文采用的數(shù)據(jù)集測(cè)試集和驗(yàn)證集分別以0.1 的抽取率隨機(jī)在上述處理后的訓(xùn)練和驗(yàn)證集進(jìn)行抽取，并在驗(yàn)證集中額外選取了887張圖像作為測(cè)試集。

3.2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文提出優(yōu)化算法的可行性和優(yōu)勢(shì)，在相同實(shí)驗(yàn)環(huán)境下對(duì)YOLOv5s、YOLOv5m、YOLOv5l、 YOLOv5s_cbam 和YOLOv5s_cbam_deep 進(jìn)行了網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證， 其中YOLOv5s_cbam 和YOLOv5s_cbam_deep 分 別 指 在YOLOv5s 添加CBAM 模塊后的網(wǎng)絡(luò)模型和添加CBAM 模塊并加深后的網(wǎng)絡(luò)模型。每次網(wǎng)絡(luò)訓(xùn)練300Epoch，訓(xùn)練過程采用SGD 優(yōu)化器，初始學(xué)習(xí)率10，動(dòng)量和權(quán)重衰減系數(shù)設(shè)置為0.937和10。最終訓(xùn)練完成模型在測(cè)試集中的性能如表3所示。

表3 模型性能比較

從表中數(shù)據(jù)可以看出，在測(cè)試集當(dāng)中以YOLOv5l 模型的精度最高，推理速度也是最慢，添加CBAM 模塊后的模型較YOLOv5s 在精度上有0.7%的提升，而最終加深主干后的模型則有4.6%的精度提升，與YOLOv5l 的精度相接近，但是其檢測(cè)速度遠(yuǎn)優(yōu)于YOLOv5l，同時(shí)該模型大小僅為YOLOv5l模型的1/4 左右，更加適合在移動(dòng)端部署。

3.3 可視化效果和實(shí)際檢測(cè)

為了更好地比較模型的檢測(cè)效果，將標(biāo)簽真實(shí)框（綠色）、YOLOv5s 檢測(cè)框（藍(lán)色）和YOLOv5s_cbam_deep 檢測(cè)框（紅色）同時(shí)可視化在同一圖片上，可視化效果如圖7 所示。圖7（a）中可以看出，道路擁堵、夜晚光線不足以及車輛存在重疊、遮擋等復(fù)雜場(chǎng)景下YOLOv5s 和YOLOv5s_cbam_deep 模型依然能夠?qū)崿F(xiàn)較理想的檢測(cè)效果，圖7（b）和圖7（c）分別顯示出YOLOv5s 在檢測(cè)時(shí)出現(xiàn)將卡車、行人誤檢為車輛和對(duì)遠(yuǎn)處小目標(biāo)車輛漏檢等的情況，而YOLOv5s_cbam_deep 模型在這些方面表現(xiàn)更佳，證明本文所提出優(yōu)化方案的優(yōu)勢(shì)和有效性。

圖7 測(cè)試集檢測(cè)效果可視化

此外，為了檢驗(yàn)本文提出模型在實(shí)際場(chǎng)景中的檢測(cè)性能，通過錄制贛州地區(qū)車輛行駛視頻并以1 秒/幀的頻率捕獲了部分道路場(chǎng)景圖像，然后分別使用YOLOv5s 和YOLOv5s_cbam_deep模型進(jìn)行了車輛檢測(cè)，模型以1280×736 分辨率圖像為輸入時(shí)平均每張圖片檢測(cè)用時(shí)分別為19 ms 和23 ms，符合實(shí)時(shí)檢測(cè)的要求。檢測(cè)效果對(duì)比如圖8所示。在第一行圖像場(chǎng)景中，光照較好的道路場(chǎng)景下兩個(gè)模型的檢測(cè)性能相當(dāng)，但是YOLOv5s_cbam_deep 模型的置信度更高，而當(dāng)?shù)缆分谐霈F(xiàn)較多其他交通參與項(xiàng)（行人、二輪車等）的復(fù)雜場(chǎng)景以及光線不佳的黃昏或夜晚時(shí)段，YOLOv5s 出現(xiàn)了誤檢、漏檢等情況，如第二、三行中將電動(dòng)車、路燈誤檢為車輛和第四、五行中未能檢測(cè)出被遮擋車輛，對(duì)比結(jié)果表明，在保證實(shí)時(shí)檢測(cè)的前提下本文模型具有更優(yōu)的實(shí)際可行性。

圖8 現(xiàn)實(shí)場(chǎng)景下檢測(cè)效果

4 結(jié)語(yǔ)

本文針對(duì)現(xiàn)有車輛檢測(cè)算法在復(fù)雜場(chǎng)景下性能表現(xiàn)不佳的情況，提出基于YOLOv5s的改進(jìn)網(wǎng)絡(luò)YOLOv5s_cbam_deep，該網(wǎng)絡(luò)在YOLOv5s 網(wǎng)絡(luò)中添加CBAM 模塊提升網(wǎng)絡(luò)的場(chǎng)景理解能力，并加深了特征提取網(wǎng)絡(luò)獲得更優(yōu)的特征提取能力，在BDD100K 數(shù)據(jù)集中獲取所需數(shù)據(jù)集后，對(duì)YOLOv5 模型及本文提出的優(yōu)化模型進(jìn)行了性能驗(yàn)證，實(shí)驗(yàn)表明本文提出的優(yōu)化模型較YOLOv5s 有4.6%的精度提升，在光線不佳和車輛存在遮擋等復(fù)雜場(chǎng)景下?lián)碛懈鼉?yōu)的檢測(cè)性能，同時(shí)在現(xiàn)實(shí)場(chǎng)景中處理每張圖片僅需23 ms，滿足實(shí)際應(yīng)用的需求。