王程，劉元盛，劉圣杰

（1.北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點(diǎn)實(shí)驗室，北京 100101；2.北京聯(lián)合大學(xué) 機(jī)器人學(xué)院，北京 100101）

0 概述

行人檢測的目的是確定視頻或圖像中行人的位置，其對無人駕駛感知具有重要意義［1］。近年來，行人檢測被廣泛應(yīng)用于無人車的行人跟蹤、碰撞預(yù)防、行人路徑規(guī)劃等任務(wù)。由于硬件設(shè)備的不斷優(yōu)化以及各種先進(jìn)算法的涌現(xiàn)，利用深度學(xué)習(xí)進(jìn)行行人檢測時準(zhǔn)確率和速度提升明顯，且具有很強(qiáng)的自適應(yīng)性和魯棒性［2］。當(dāng)前，主要有Two-stage 行人檢測算法［3］和One-stage 行人檢測算法［4］這兩種主流的深度學(xué)習(xí)行人檢測方法，兩種算法各有優(yōu)勢，但是仍然面臨光照干擾、目標(biāo)遮擋、小目標(biāo)行人檢測精度低等諸多挑戰(zhàn)。

Two-stage 行人檢測算法首先生成一系列行人候選框作為樣本，通過卷積網(wǎng)絡(luò)進(jìn)行樣本分類，其典型代表有Faster-RCNN［5］、Mask-RCNN［6］等算法。2021年，SHAO等［7］在Faster-RCNN 算法的基礎(chǔ)上進(jìn)行改進(jìn)，采用基于級聯(lián)的多層特征融合策略，提升網(wǎng)絡(luò)對語義信息的特征提取能力，從而提高對小目標(biāo)行人的檢測準(zhǔn)確率。2021年，LAI等［8］提出MSRCR-IF 算法，通過調(diào)整RPN 和刪除實(shí)例掩碼分支提高了弱光下行人的檢測精度。2021年，音松等［9］在Mask R-CNN 算法中增加CFPN模塊，融合不同特征層的輸入信息生成行人掩膜，其降低了遮擋對于行人檢測精度的影響。Two-stage行人檢測算法在候選區(qū)域的提取過程中計算量大、過程復(fù)雜、檢測速度慢，雖然擁有較高的準(zhǔn)確度，但是無法滿足實(shí)時性需求。

One-stage 行人檢測算法主要利用端到端的思想，采用整張圖像來回歸預(yù)測出目標(biāo)物體的類別和位置，其典型代表有基于回歸的SSD 系列［10］、YOLO系列［11］等。2021年，DONG等［12］提出SSD 算法，該算法采用跨層特征自適應(yīng)融合的方式，在增加感受野的同時增強(qiáng)重要特征并削弱次要特征，從而優(yōu)化了小目標(biāo)行人檢測效果。2021年，BOYUAN等［13］將SPP 網(wǎng)絡(luò)、K-means聚類算法與YOLOv4 模型相結(jié)合，在模型頸部采用Mish 激活函數(shù)，有效緩解了遮擋對于目標(biāo)檢測的影響。2021年，CAO等［14］為降低光照對行人檢測的影響，在YOLOv4 算法的基礎(chǔ)上，設(shè)計一種新的多光譜通道特征融合（MCFF）模塊，用于集成不同照明條件下的顏色和熱流信息，提高了行人檢測精度。2021年，黃鳳琪等［15］提出dcn-YOLO 算法，其使用k-means++算法重構(gòu)目標(biāo)錨框，構(gòu)建殘差可變形模塊，提高了小目標(biāo)行人的檢測精度。One-stage行人檢測算法對整張圖像進(jìn)行特征提取，具有較高的準(zhǔn)確率和檢測速度。但是，該類算法應(yīng)用于無人車在小目標(biāo)行人檢測領(lǐng)域仍然面臨挑戰(zhàn)。

小目標(biāo)行人是指輸入視頻或圖像數(shù)據(jù)中占比相對較小的行人，COCO 數(shù)據(jù)集將小于32×32 像素的目標(biāo)定義為小目標(biāo)?？紤]到行人具有特殊比例，本文將高度小于32 像素的行人目標(biāo)視為小目標(biāo)行人。小目標(biāo)行人具有分辨率低、攜帶信息少等問題，導(dǎo)致其特征表達(dá)能力較差，在特征提取過程中，僅能提取到少量特征，不利于后續(xù)檢測?；赮OLOv4 的算法特點(diǎn)，本文主要從通道和空間信息增強(qiáng)、多尺度學(xué)習(xí)兩方面進(jìn)行改進(jìn)，提出一種小目標(biāo)行人檢測算法，從而提取更多針對小目標(biāo)行人的特征信息。此外，無人車普遍采用低計算力的嵌入式設(shè)備，給實(shí)時檢測帶來了很大挑戰(zhàn)，針對該問題，本文采用深度可分離卷積提高算法實(shí)時性。在行人檢測過程中，隨著行人行走距離變遠(yuǎn)，行人目標(biāo)尺度逐漸變小，造成小目標(biāo)行人特征過少，檢測精度低，本文引入scSE（concurrent spatial and channel Squeeze &Excitation）注意力模塊，以增強(qiáng)對重要通道和空間特征的學(xué)習(xí)，同時對特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）進(jìn)行改進(jìn)。最終在VOC07+12+COCO［16-17］數(shù)據(jù)集上測試算法的有效性，并在北京聯(lián)合大學(xué)北四環(huán)校區(qū)實(shí)際園區(qū)環(huán)境中使用無人車進(jìn)行實(shí)時驗證。

1 相關(guān)工作

1.1 YOLOv4 算法介紹

YOLOv1 是YOLO 系列的初始版本，由REDMON等［18］于2016 年提出，但是，該網(wǎng)絡(luò)存在以下問題：只可輸入與訓(xùn)練圖像相同分辨率的圖像；只檢測單格中多物體中的一個物體；檢測定位準(zhǔn)確性較差。2017年，REDMON等［19］對YOLOv1 進(jìn)行改進(jìn)，設(shè)計了YOLOv2 網(wǎng)絡(luò)，其提高了算法檢測性能。此后，REDMON等［20］對YOLO 進(jìn)一步優(yōu)化，于2017年提 出YOLOv3，YOLOv3 在YOLOv2 的基礎(chǔ)上引入FPN，使用Darknet-53 網(wǎng)絡(luò)進(jìn)行特征提取，使其檢測性能更加完善。2020年，BOCHKOVSKIY 等［11］設(shè)計了YOLOv4 網(wǎng)絡(luò)，其在YOLOv3 的基礎(chǔ)上總結(jié)所有檢測技巧，排列組合出最優(yōu)算法，在檢測速度和精度上達(dá)到了更好的平衡。

YOLOv4 網(wǎng)絡(luò)主要包含輸入（Input）、骨干網(wǎng)絡(luò)（Backbone）、頸部（Neck）、頭部（Head）四部分。骨干網(wǎng)絡(luò)采用CSPDarknet53，CSPNet 結(jié)構(gòu)可以降低網(wǎng)絡(luò)計算量，消除網(wǎng)絡(luò)反向優(yōu)化時梯度信息冗余現(xiàn)象，增強(qiáng)卷積網(wǎng)絡(luò)學(xué)習(xí)能力，在實(shí)現(xiàn)網(wǎng)絡(luò)輕量化的同時能夠保證準(zhǔn)確率，此外，骨干網(wǎng)絡(luò)采用Mish 激活函數(shù)，增強(qiáng)深層信息的傳播；頸部網(wǎng)絡(luò)采用空間金字塔池 化（Space Pyramid Pool，SPP）模塊和FPN+PAN（Path Aggregation Network）模式的結(jié)構(gòu)，有效提高了網(wǎng)絡(luò)預(yù)測的準(zhǔn)確性；頭部采用與YOLOv3 類似的多尺度預(yù)測方式，分別檢測小、中、大3 種目標(biāo)。

1.2 注意力機(jī)制

近年來，注意力機(jī)制［21］廣泛應(yīng)用于自然語言處理、統(tǒng)計學(xué)習(xí)等領(lǐng)域，其形式與人類的視覺注意力相似。人類視覺通過快速瀏覽圖像全局信息，獲得其中的重要目標(biāo)區(qū)域，將注意力集中于目標(biāo)區(qū)域，以獲取更多細(xì)節(jié)信息。2018年，HU等［22］提出SENet通道注意力機(jī)制，通過學(xué)習(xí)各通道的權(quán)重提高重要通道特征對網(wǎng)絡(luò)的影響，同時抑制不重要的特征。ROY等［23］在同年提出基于SE 注意力模塊的3 種變體，分別為cSE 注意力模塊、sSE 注意力模塊和scSE 注意力模塊。cSE 注意力模塊沿空間域擠壓，并沿通道激勵重新加權(quán)，依據(jù)不同的通道關(guān)系來動態(tài)調(diào)整特征圖，從而提高網(wǎng)絡(luò)提取通道特征的能力。sSE 注意力模塊主要壓縮特征圖的通道特征，對重要的空間特征進(jìn)行激勵，提高網(wǎng)絡(luò)提取空間特征的能力。scSE 注意力模塊由cSE 和sSE 注意力模塊組成而成，兩種模塊采用并行的方式，同時對輸入特征圖進(jìn)行通道信息和空間信息的提取，融合所提取的特征并對融合后的特征進(jìn)行激勵，從而促使網(wǎng)絡(luò)學(xué)習(xí)到更重要的特征信息。

本文對YOLOv4 骨干網(wǎng)絡(luò)的特征傳遞過程進(jìn)行實(shí)驗分析，發(fā)現(xiàn)此過程中仍有許多對于小目標(biāo)行人檢測極其重要的中、淺層紋理和輪廓信息沒有被提取到，對小目標(biāo)行人的特征學(xué)習(xí)產(chǎn)生重要影響。本文引入scSE 注意力模塊提高網(wǎng)絡(luò)提取中、淺層紋理和輪廓信息的能力，從而提升小目標(biāo)行人檢測效果。

2 本文方法

針對無人車對小目標(biāo)行人檢測精度低、實(shí)時性差等問題，本文提出一種YOLOv4-DBF 算法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。引入深度可分離卷積代替YOLOv4 中的傳統(tǒng)卷積（見圖1 中實(shí)線框①區(qū)域），降低模型的參數(shù)量和計算量，提升檢測速度，提高算法實(shí)時性；為解決小目標(biāo)行人學(xué)習(xí)特征過少的問題，在YOLOv4 骨干網(wǎng)絡(luò)中的特征融合部分（即add 和concat 層后）引入scSE 注意力模塊（見圖1 中實(shí)線框②、③區(qū)域），增強(qiáng)對輸入行人特征圖中重要通道和空間特征的學(xué)習(xí)；對YOLOv4 頸部中的FPN 進(jìn)行改進(jìn)，將網(wǎng)絡(luò)的融合方式add 改進(jìn)為concat，并使用1×1卷積調(diào)節(jié)通道數(shù)，在少量增加計算量的同時增強(qiáng)對圖像中目標(biāo)多尺度特征的學(xué)習(xí)，從而提高小目標(biāo)行人的檢測精度。

圖1 YOLOv4-DBF 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YOLOv4-DBF network structure

2.1 深度可分離卷積

YOLOv4 中使用了大量傳統(tǒng)卷積，將各通道的輸入特征圖與相應(yīng)卷積核進(jìn)行卷積相乘后累加，最后輸出特征。傳統(tǒng)卷積結(jié)構(gòu)如圖2 所示，在圖2中：Ik和Oy分別為輸入和輸出圖像的尺寸，Ik=Oy；Dk為卷積核的尺寸；C和N分別為輸入和輸出的通道數(shù)。傳統(tǒng)卷積的計算方式如式（1）所示：

圖2 傳統(tǒng)卷積結(jié)構(gòu)Fig.2 Traditional convolution structure

深度可分離卷積是2017 年由HOWARD等［24］提出，使用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，可以降低模型的參數(shù)量和計算量，提高算法實(shí)時性。深度可分離卷積將傳統(tǒng)卷積中的部分卷積分離成一個3×3 的深度卷積和一個1×1 的逐點(diǎn)卷積，結(jié)構(gòu)如圖3所示。

圖3 深度可分離卷積結(jié)構(gòu)Fig.3 Deeply separable convolution structure

在圖3 中：Ik和Oy分別是輸入和輸出數(shù)據(jù)的尺寸，Ik=Oy；Dk是卷積核的尺寸；C和N分別為輸入和輸出的通道數(shù)。深度可分離卷積的計算公式如式（2）所示：

深度可分離卷積計算量與傳統(tǒng)卷積計算量的比值為：

由式（3）可知，使用深度可分離卷積可將模型參數(shù)量和計算量降至傳統(tǒng)卷積的1/左右，模型速度將顯著提升，更有利于部署在嵌入式設(shè)備中。

2.2 scSE 注意力模塊

scSE 注意力模塊通過提取輸入特征圖的通道和空間信息，進(jìn)行相加處理以對其增強(qiáng)激勵，提高網(wǎng)絡(luò)學(xué)習(xí)重要特征的能力，該模塊由cSE 和sSE 注意力模塊并行組合而成。

cSE 注意力模塊通過全局平均池化排除空間依賴性，學(xué)習(xí)特定于通道的描述符，用于重新校準(zhǔn)功能圖，具體方式為：通過全局平均池化壓縮空間，產(chǎn)生一個i向量（維度是1×1×C，C為通道數(shù)，i∈C），通過一個權(quán)重為W1（維度是C×C/2）的全連接層和ReLU激活函數(shù)δ(·)以及一個權(quán)重為W2（維度是C/2×C）的全連接層對通道依賴項進(jìn)行編碼，計算方式如式（4）所示：

為了獲取不同通道的激活值，使其介于［0，1］得到新的特征圖通道，通過Sigmoid 對輸入特征圖U1=[u1，u2，…，uc]進(jìn)行歸一化處理σ(·)，其中，C為通道數(shù)，通道ui(i∈C)的維度為H×W（H和W分別是輸入特征圖的高和寬），計算方式如式（5）所示：

通過計算各通道信息的重要程度，激勵并重新校準(zhǔn)通道值，以提高網(wǎng)絡(luò)學(xué)習(xí)重要通道特征的能力。

sSE 注意力模塊通過壓縮特征圖的通道特征，激勵重要空間特征，提高網(wǎng)絡(luò)對空間特征的學(xué)習(xí)能力。輸入特征圖U2=[u1，1，u1，2，…，ui，j，…，uH，W]，其中，每個ui，j的維度為1×1×C，ui，j表示位置在(i，j)處的通道特征信息。通過通道數(shù)為C、權(quán)重為Wsq的1×1 卷積對特征圖的通道進(jìn)行壓縮，得到通道數(shù)為1、尺寸為H×W的特征圖q（q=Wsq*U）。使用Sigmoid 對輸入特征圖U2進(jìn)行歸一化處理σ(·)，得到特征圖中每個空間位置(i，j)的空間信息重要程度，以提高對重要空間位置信息的學(xué)習(xí)，得到新的特征圖通道sSE，計算方式如式（6）所示：

scSE 注意力模塊計算方式如式（7）所示：

小目標(biāo)行人在圖像中所占像素很少，因此，骨干網(wǎng)絡(luò)中提取到的有效特征有限。本文將scSE 注意力模塊嵌入骨干網(wǎng)絡(luò)中的特征融合部分（即add 和concat層后），增強(qiáng)小目標(biāo)行人的通道信息和空間信息，促使網(wǎng)絡(luò)學(xué)習(xí)更有意義的小目標(biāo)行人特征信息，降低其特征學(xué)習(xí)過少所帶來的影響，從而提高檢測精度。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 中實(shí)線框②、③區(qū)域所示。

2.3 特征金字塔網(wǎng)絡(luò)FPN

FPN 由LIN等［25］于2017 年提出，其中設(shè)計了更有效的高層特征和低層特征融合方式，增強(qiáng)了對圖像中多尺度特征信息的學(xué)習(xí)。FPN 由bottom-up（自底向上）的線路橫向連接top-down（自頂向下）的線路而構(gòu)成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。bottom-up 的每層特征圖采用Ci標(biāo)記，top-down 的每層特征圖采用Pi標(biāo)記。P2代表對應(yīng)C2大小的特征圖，P2由C2經(jīng)過1×1 卷積降采樣和P3經(jīng)過2 倍上采樣進(jìn)行add 操作而得到，以此類推。FPN 通過構(gòu)造一種獨(dú)特的金字塔結(jié)構(gòu)來避免計算量高的問題，同時能較好地處理尺度變化對目標(biāo)檢測所造成的影響。

圖4 FPN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of FPN

借鑒YOLOv4 對PAN 網(wǎng)絡(luò)改進(jìn)的思想，本文對其頸部網(wǎng)絡(luò)中的FPN 進(jìn)行優(yōu)化，如圖5 所示。

圖5 改進(jìn)后的FPNFig.5 Improved FPN

將FPN 融合方式中的add 改進(jìn)為concat，融合經(jīng)多次卷積后提取的特征?？紤]到concat 會增大網(wǎng)絡(luò)的計算量，本文在此基礎(chǔ)上進(jìn)行1×1 的卷積，調(diào)節(jié)通道數(shù)。對FPN 進(jìn)行改進(jìn)后，在少量增加計算量的同時可以加深網(wǎng)絡(luò)層數(shù)，使網(wǎng)絡(luò)學(xué)習(xí)到更多的特征，從而提高對小目標(biāo)行人的檢測效果。

3 實(shí)驗結(jié)果與分析

本文實(shí)驗環(huán)境為Ubuntu16.04，ROS 操作系統(tǒng)，顯卡Intel?Xeon?Silver 4216 CPU @2.10 GHz，188.6GiB RAM，GPU RTX3090 以及cuda v11.0.207、cudnn v8.2、pytorch v1.8.0 和python v3.6.13 的軟件平臺。實(shí)驗中使用Adam 優(yōu)化器，對模型設(shè)置的初始學(xué)習(xí)率為0.001，分別在140 個和170 個周期時將其衰減為0.000 1 和0.000 01，動量因子為0.9，訓(xùn)練過程在第180 個周期時結(jié)束。

3.1 數(shù)據(jù)集說明

本文實(shí)驗統(tǒng)一在VOC07+12+COCO 數(shù)據(jù)集上進(jìn)行訓(xùn)練并驗證。VOC07和VOC12數(shù)據(jù)集共20個小類，含有超過3 萬張圖片，近8 萬個實(shí)例目標(biāo)。COCO 數(shù)據(jù)集是一個大型且豐富的目標(biāo)檢測、分割和字幕數(shù)據(jù)集，其中包含自然圖片以及生活中常見的目標(biāo)圖片，背景比較復(fù)雜，目標(biāo)數(shù)量較多，目標(biāo)尺寸小，共含80 個類別，有超過33 萬張圖片，其中20 萬張圖片有標(biāo)注，平均每張圖片包含3.5 個類別和7.7 個實(shí)例目標(biāo)，整個數(shù)據(jù)集中的個體數(shù)目超過150 萬個。

3.2 評估標(biāo)準(zhǔn)

實(shí)驗采用精確率P（Precision）、召回率R（Recall）、平均精度AP（Average Precision）（IoU 等于0.5）、FPS（畫面每秒傳輸幀數(shù)）這4 項性能指標(biāo)評判網(wǎng)絡(luò)性能，P、R、AP 的計算方式如下：

其中：TP為模型正確檢測到的目標(biāo)數(shù)量；FP為系統(tǒng)錯誤檢測到的目標(biāo)數(shù)量；FN為系統(tǒng)錯誤檢測以及漏檢的數(shù)量；PR曲線下的面積就是對某一類別計算的平均精度AP。

3.3 訓(xùn)練及測試結(jié)果分析

在訓(xùn)練過程中，可以通過Loss 值的變化判斷網(wǎng)絡(luò)訓(xùn)練效果。圖6 展示了本文算法在180 Epoch 訓(xùn)練過程中Loss 值的變化，可以看出，本文YOLOv4-DBF 算法在訓(xùn)練過程中Loss 值隨著訓(xùn)練周期增多而逐漸呈現(xiàn)下降趨勢，最終穩(wěn)定在0.912 左右，說明本文算法在訓(xùn)練過程中已達(dá)到穩(wěn)定和最優(yōu)。

圖6 本文算法在訓(xùn)練過程中Loss 值的變化Fig.6 The change of Loss in the training process of the algorithm in this paper

本文YOLOv4-DBF 算法引用深度可分離卷積提高算法實(shí)時性，同時在YOLOv4 的骨干網(wǎng)絡(luò)特征融合部分引入scSE 注意力模塊，增強(qiáng)對重要通道和空間特征的學(xué)習(xí)，并改進(jìn)頸部網(wǎng)絡(luò)中的FPN，增強(qiáng)對小目標(biāo)行人多尺度特征信息的融合。

從表1 可以看出，本文算法的AP 相比YOLOv4算法提高4.16 個百分點(diǎn)，速度提升27%，說明本文算法在小目標(biāo)檢測精度和速度方面能取得更好的平衡，檢測效果更好。相較Two-stage 網(wǎng)絡(luò)Faster-RCNN，本文算法在驗證集上的AP 提高了14.63 個百分點(diǎn)，速度提高了33FPS；與One-stage 網(wǎng)絡(luò)的SSD、YOLOv3 相比，本文算法的AP 和FPS 都有較大提升。綜上所述，本文算法能夠大幅提升小目標(biāo)行人的檢測精度和實(shí)時性。

表1 不同算法在測試數(shù)據(jù)集上的實(shí)驗結(jié)果 Table 1 Experimental results of different algorithms on test dataset

將本文算法和YOLOv4 算法在VOC07+12+COCO 驗證集上的結(jié)果進(jìn)行可視化，如圖7 所示。通過可視化效果圖可以看出，本文算法適用于不同情境下的小目標(biāo)行人檢測任務(wù)，并能取得顯著效果。

圖7 YOLOv4 和YOLOv4-DBF 的可視化效果Fig.7 Visualization effect of YOLOv4 and YOLOv4-DBF

在北京聯(lián)合大學(xué)北四環(huán)校區(qū)使用“小旋風(fēng)”四代無人車進(jìn)行實(shí)時驗證，如圖8 所示，車載設(shè)備為僅擁有6 核CPU 架構(gòu)、256 核Pascal 架構(gòu)GPU核心、8 GB內(nèi)存的Jetson TX2。

圖8 “小旋風(fēng)”四代無人車Fig.8 A fourth-generation whirlwind smart car

綜合考慮各種因素，在降低一定的圖像輸入分辨率后，YOLOv4 算法在無人車實(shí)時檢測時速度僅為8FPS，本文算法經(jīng)加速部署后的實(shí)時速度可達(dá)23FPS，大幅提高了算法在嵌入式設(shè)備上的實(shí)時運(yùn)行速度。2 種算法的檢測效果如圖9 所示，通過圖9 可以看出，相較YOLOv4 算法，本文算法在應(yīng)用于低計算力的嵌入式設(shè)備時小目標(biāo)行人檢測效果更好。

圖9 YOLOv4-DBF 和YOLOv4 在校園實(shí)時檢測的效果對比Fig.9 Comparison of real-time detection effects between YOLOv4-DBF and YOLOv4 on campus

3.4 消融實(shí)驗結(jié)果分析

本節(jié)通過消融實(shí)驗驗證scSE 注意力模塊嵌入到Y(jié)OLOv4 網(wǎng)絡(luò)結(jié)構(gòu)不同位置中的性能提升效果，以及算法設(shè)計的合理性。除2.2 節(jié)提到的將scSE 注意力模塊嵌入到骨干網(wǎng)絡(luò)中，還可將其嵌入到網(wǎng)絡(luò)的其他特征融合位置，即頸部SPP 網(wǎng)絡(luò)前、中小目標(biāo)（38×38、76×76）檢測頭前，從而進(jìn)行多尺度特征融合，具體結(jié)構(gòu)如圖10、圖11 所示。將scSE 注意力模塊嵌入模型不同位置后在驗證集上的結(jié)果如表2 所示。其中，D 代表深度可分離卷積；BscSE 代表在骨干網(wǎng)絡(luò)引入scSE 注意力模塊；F 代表改進(jìn)FPN 融合方式；NscSE 代表在頸部網(wǎng)絡(luò)引入scSE 注意力模塊；HscSE 代表在檢測頭網(wǎng)絡(luò)引入scSE 注意力模塊。

圖10 頸部網(wǎng)絡(luò)嵌入scSE 注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.10 Structure of neck network embedded with scSE attention module

圖11 中小目標(biāo)檢測頭網(wǎng)絡(luò)嵌入scSE 注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.11 Structure of small and medium targets detection head network embedded with scSE attention module

表2 scSE 注意力模塊嵌入模型不同位置后的實(shí)驗結(jié)果 Table 2 Experimental results of scSE attention module embedded in different positions of the model

從表2 可以看出，使用深度可分離卷積代替YOLOv4 中的傳統(tǒng)卷積后，檢測速度可達(dá)51FPS，AP僅降低了0.54 個百分點(diǎn)。在引入深度可分離卷積的基礎(chǔ)上，將scSE 注意力模塊嵌入網(wǎng)絡(luò)模型中的不同位置，所產(chǎn)生的結(jié)果不同，分析可知，骨干網(wǎng)絡(luò)提取的特征圖語義信息并不豐富，會缺失許多中、淺層紋理和輪廓信息，這些信息對小目標(biāo)行人檢測極其重要，因此，將scSE 注意力模塊嵌入骨干網(wǎng)絡(luò)中能更好地增強(qiáng)對小目標(biāo)行人的空間和通道特征的提取和學(xué)習(xí)能力。將scSE 注意力模塊嵌入骨干網(wǎng)絡(luò)中相比YOLOv4+D 算法，檢測速度有所下降，但是AP 提升了3.60 個百分點(diǎn)，犧牲的速度不會影響模型的實(shí)時效果。在模型頸部SPP 網(wǎng)絡(luò)前嵌入scSE 注意力模塊，網(wǎng)絡(luò)對多尺度特征進(jìn)行融合，小目標(biāo)行人檢測精度相比YOLOv4+D 提升1.19 個百分點(diǎn)。在模型的中小目標(biāo)檢測頭網(wǎng)絡(luò)前嵌入scSE 注意力模塊，小目標(biāo)行人檢測精度幾乎沒有變化，這是由于檢測頭網(wǎng)絡(luò)已得到豐富的語義信息，即使再嵌入scSE 注意力模塊，也不會產(chǎn)生明顯的提升效果。綜上，將scSE注意力模塊嵌入骨干網(wǎng)絡(luò)中可以得到最佳性能。

此外，本文還針對在引入深度可分離卷積基礎(chǔ)上將sSE、cSE、scSE 三種注意力模塊分別嵌入骨干網(wǎng)絡(luò)中以及是否改進(jìn)FPN 進(jìn)行消融實(shí)驗，結(jié)果如表3所示。其中，BsSE 代表在骨干網(wǎng)絡(luò)中引入sSE 注意力模塊；BcSE 代表在骨干網(wǎng)絡(luò)中引入cSE 注意力模塊。

表3 不同注意力模塊嵌入骨干網(wǎng)絡(luò)及是否改進(jìn)FPN 的消融實(shí)驗結(jié)果 Table 3 Ablation experiment results of different attention modules embedded in backbone network and whether FPN is improved

從表3 可以看出：將sSE、cSE、scSE 三種注意力模塊分別嵌入骨干網(wǎng)絡(luò)后，scSE 注意力模塊相比其他兩種模塊在速度近乎相同的情況下得到了最優(yōu)的性能，AP 達(dá)到92.85%；改進(jìn)FPN后，在犧牲少量速度的情況下可將檢測精度提升至93.95%。

4 結(jié)束語

本文針對YOLOv4 算法應(yīng)用于嵌入式設(shè)備時實(shí)時性不高、對小目標(biāo)行人檢測效果差的問題，提出一種改進(jìn)的小目標(biāo)行人檢測算法YOLOv4-DBF。采用深度可分離卷積替換原YOLOv4 算法中的傳統(tǒng)卷積，同時引入scSE 注意力模塊并對FPN 進(jìn)行改進(jìn)，以降低模型參數(shù)量和計算量，增強(qiáng)對小目標(biāo)行人重要通道和空間特征以及多尺度特征的學(xué)習(xí)。在VOC07+12+COCO 數(shù)據(jù)集上的實(shí)驗結(jié)果表明，該算法能有效提高小目標(biāo)行人檢測精度及實(shí)時性，將本文算法加速部署在無人車上進(jìn)行校園場景的實(shí)時測試時，其實(shí)時性較好且性能穩(wěn)定。行人檢測應(yīng)用于更加復(fù)雜的無人駕駛場景時，僅依靠視覺傳感器將難以取得良好效果，如何對多傳感器進(jìn)行融合以實(shí)現(xiàn)實(shí)時準(zhǔn)確的小目標(biāo)行人檢測，將是下一步的研究方向。