胡均平，王鴻樹，戴小標，高小林

1.中南大學 機電工程學院，長沙410083

2.邵陽學院 機械與能源工程學院，湖南 邵陽422000

3.江西科技學院 協(xié)同創(chuàng)新中心，南昌330098

交通標志檢測作為環(huán)境感知層的重要子模塊，對于無人駕駛和輔助駕駛有著重要的作用和意義，近年來受到了廣泛的研究。在真實場景下的交通標志檢測任務中，遠處的交通標志檢測有助于獲得更多的反應時間，但因車載相機與交通標志的距離較遠，遠處的交通標志在整幅圖像中的占比很小，通常不到1%。對遠處交通標志的檢測屬于小目標檢測問題。小目標交通標志包含的信息少，檢測難度大。

傳統(tǒng)的目標檢測算法主要是通過方向梯度直方圖（histograms of oriented gradient，HOG）[1]、尺度不變特征變換（scale invariant feature transform，SIFT）[2]等算法人工提取特征后，再通過機器學習算法進行分類。由于天氣變化、遮擋、光照強度變化等影響，傳統(tǒng)算法在實際應用中不夠魯棒。隨著深度學習和計算機視覺技術(shù)的快速發(fā)展，通過深度卷積神經(jīng)網(wǎng)絡進行交通標志檢測已經(jīng)成為主流[3]?；谏疃染矸e神經(jīng)網(wǎng)絡的目標檢測算法主要分為雙階段和單階段兩大類。雙階段算法以Faster RCNN[4]為代表，通過區(qū)域生成網(wǎng)絡（region proposal network，RPN）提取感興趣區(qū)域（region of interest，ROI），然后再對感興趣區(qū)域進行分類。該類算法通常檢測精度較高，但檢測速度較慢。單階段算法以SSD[5]、RetinaNet[6]、YOLO[7-9]系列等為代表，將定位和分類視為一個回歸問題，實現(xiàn)了端到端的檢測。該類算法檢測速度快，但檢測精度較低。

針對小目標交通標志檢測問題，研究者多采用多尺度特征融合、融入注意力機制、改進特征提取網(wǎng)絡、提高小目標分辨率等措施提升檢測精度。文獻[10]在YOLOv3檢測層引入通道注意力機制和基于語義分割引導的空間注意力機制，在TT100K上小目標交通標志精度提升了3.5%mAP，但該算法引入大量參數(shù)，速度僅1.3 frame/s；文獻[11]提出一種具有類層次結(jié)構(gòu)的級聯(lián)掃視網(wǎng)絡，采用ResNet101-DCN作為特征提取網(wǎng)絡，在TT100K上的小目標交通標志精度達到86.0%mAP，但速度僅有5.8 frame/s；文獻[12]在卷積層的輸出中添加一個反卷積層和一個歸一化層，并將不同層的特征圖融合，在TT100K上對于小目標交通標志的召回率和精確率分別為89.3%和83.1%，但速度僅3.8 frame/s。

為解決遠距離小目標交通標志的實時高精度檢測問題，本文提出一種改進的YOLOv5小目標檢測算法。在保證實時性的同時，提高了小目標交通標志檢測的精度。本文的主要工作如下：（1）改進了YOLOv5骨干網(wǎng)絡最后一層的空間金字塔池化（spatial pyramid pooling，SPP）[13]結(jié)構(gòu)，提升了骨干網(wǎng)絡對小目標的特征提取能力；（2）提出了一種自適應特征融合方法，并且應用到頸部的路徑聚合網(wǎng)絡（path aggregation network，PANet）[14]中，增強了對不同層級特征的融合能力；（3）采用Copy-Paste算法[15]對訓練集進行數(shù)據(jù)增強，使得訓練樣本數(shù)量更加均衡。

1 YOLOv5網(wǎng)絡結(jié)構(gòu)介紹

根據(jù)深度和寬度的不同，YOLOv5模型由小到大可分為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。以YOLOv5l為例，其結(jié)構(gòu)如圖1所示。

圖1 YOLOv5l網(wǎng)絡結(jié)構(gòu)Fig.1 YOLOv5l network structure

YOLOv5主要由骨干網(wǎng)絡（Backbone）、頸部（Neck）和預測層（Prediction）三個部分組成。骨干網(wǎng)絡由Focus、Conv、CSP1_X、SPP等模塊組成：Focus將輸入進行切片操作后再拼接；Conv是基本卷積單元，由二維卷積（Conv2d），批量歸一化，SiLU激活函數(shù)構(gòu)成；CSP1_X主要由3個Conv和X個殘差單元（Res unit）組成；SPP采用3個不同的卷積核進行最大池化后拼接在一起。頸部采用PANet結(jié)構(gòu)，它包含自頂向下和自底向上兩條路徑，自頂向下路徑將深層特征向下傳遞與淺層特征融合，而自底向上路徑將淺層特征向上傳遞，減少信息丟失。頸部由CSP2_X、Conv、上采樣和Concat等模塊組成，其中CSP2_X將CSP1_X中殘差單元的捷徑連接（shortcut）去掉，殘差單元變成了兩個連續(xù)的Conv。

YOLOv5網(wǎng)絡進行通用目標檢測時，雖然其精度和實時性較好，但是在遠距離小目標交通標志檢測中仍存在不理想的地方：（1）YOLOv5骨干網(wǎng)絡對于小目標的特征提取能力較弱，容易導致漏檢；（2）由于淺層特征包含小目標豐富的位置信息，當YOLOv5頸部在融合不同層級特征時，淺層特征受到深層特征的干擾，會造成定位失準的問題。對此，本文提出了更適用于小目標交通標志檢測的改進YOLOv5網(wǎng)絡結(jié)構(gòu)。

2 改進的YOLOv5小目標交通標志檢測網(wǎng)絡總體架構(gòu)

2.1 骨干網(wǎng)絡SPP層的改進

SPP采用5×5、9×9、13×13三種最大池化對卷積層輸出處理，保留了不同尺度的局部特征，最后再與原卷積層輸出的全局特征融合，因此具有良好的特征提取能力。由于跨階段局部網(wǎng)絡（cross stage partial network，CSPNet）[16]可以應用于各種卷積神經(jīng)網(wǎng)絡架構(gòu)，使整個網(wǎng)絡體系結(jié)構(gòu)實現(xiàn)更豐富的梯度組合同時減少參數(shù)量和計算量，YOLOv5根據(jù)跨階段局部網(wǎng)絡設計了CSP模塊并應用到了骨干網(wǎng)絡和頸部中，提高了網(wǎng)絡的學習能力?？珉A段局部網(wǎng)絡的主要思想是分割梯度流，使梯度流通過不同的網(wǎng)絡路徑傳播。通過這種方法，傳播的梯度信息可以有很大的相關(guān)性差異[16]，避免過多地重復梯度信息。本文將該思想運用到SPP模塊，優(yōu)化梯度信息，強化其特征聚合能力。

原始的SPP只有一條梯度路徑，如圖2（a）所示，輸入特征圖依次通過基本卷積單元和SPP模塊。改進后的SPP如圖2（b）所示，通過拆分和合并策略，使梯度路徑的數(shù)量增加一倍，實現(xiàn)高基數(shù)和稀疏連接。路徑拆分如下：第一條路徑先經(jīng)過1×1基本卷積單元，通道數(shù)降為原來的一半，隨后依次經(jīng)過1×1二維卷積和SPP；第二條路徑經(jīng)過1×1基本卷積單元，通道數(shù)降為原來的一半，再經(jīng)過1×1二維卷積，它們的表達式如下：

圖2 SPP層的改進Fig.2 Improvements in SPP layer

式中，Y1、Y2分別為第一條和第二條梯度路徑的輸出特征圖；fSPP為SPP層；fConv2d為二維卷積層；fConv為基本卷積單元層；I為輸入的特征圖。

由于這兩條路徑輸出的通道數(shù)都是原來的一半，因此兩條路徑的輸出特征圖合并后與原輸入的通道數(shù)一樣，最后通過1×1二維卷積進行整合，表達式如下：

式中，Y為兩條梯度路徑合并輸出的特征圖；⊕表示按通道方向進行拼接操作。

2.2 頸部特征融合嵌入自適應權(quán)重

路徑聚合網(wǎng)絡已經(jīng)被集成到Y(jié)OLOv5網(wǎng)絡的頸部部分，從而實現(xiàn)了不同層級的特征融合。如圖3所示，表示自頂向下路徑生成的不同特征層，依次以2倍率進行上采樣。P5、P4、P3表示由路徑聚合生成的特征圖，分別對應于由于不同特征層的融合方式極大地影響了目標檢測的性能，本文提出了自適應特征融合機制來控制相同大小特征層之間的融合程度，比如C4和上采樣后的P′5。

圖3 自適應特征融合示意圖Fig.3 Adaptive feature fusion schematic

如圖3的右下角所示，自適應特征融合機制將Ci的卷積特征和的上采樣特征合并在一起得到計算公式如下：

式中，fup-sample為上采樣層；fConv為基本卷積單元層；Ci為骨干網(wǎng)絡中第i層的卷積特征；為PANet自頂向下路徑中第i層的特征圖；為PANet自頂向下路徑中第i+1層的特征圖；為可學習的權(quán)重，均是大小為H×W×1的張量；⊕表示按通道方向進行拼接操作。值得注意的是YOLOv5原始的特征融合沒有權(quán)重事實上，由于不同的特征圖所提取的特征幾乎是不同的，特征通過自適應特征融合機制學習將淺層特征Ci和深層特征融合起來，消除信息沖突，抑制深層特征對淺層特征的干擾。權(quán)重從固定到自適應改變使得網(wǎng)絡在不同尺度的目標檢測上取得更好的性能。

自適應權(quán)重的形成如圖4（b）所示，假定兩個不同層級的特征圖要進行融合，且它們已經(jīng)縮放至同樣大小H×W×C，其中H、W、C分別表示高、寬、通道數(shù)。首先，分別將兩個特征圖依次進行1×1二維卷積，批量歸一化，Leaky Relu函數(shù)激活后，各自的通道數(shù)降為16。然后，兩者按通道方向拼接成32維，再通過1×1二維卷積將通道數(shù)降到2。最后，通過Sigmoid函數(shù)將權(quán)重的數(shù)值歸一化到（0，1）的范圍。由于矩陣權(quán)重是通過卷積生成的，因此權(quán)重會不斷更新，最終得到兩個特征圖融合的最佳權(quán)重。

圖4 頸部特征融合的改進Fig.4 Improvement of neck feature fusion

2.3 改進的YOLOv5整體架構(gòu)

圖5是本文提出的改進YOLOv5網(wǎng)絡的總體架構(gòu)，其中灰色部分顯示的C3SPP和AFF為本文提出的改進模塊，分別代表改進的SPP和自適應特征融合。改進的SPP優(yōu)化了梯度信息，有助于學習提取小目標交通標志特征；自適應特征融合使小目標的淺層特征和深層特征在頸部中得到針對性的融合。接下來，將通過實驗來驗證本文提出的YOLOv5在小目標交通標志檢測上的優(yōu)越性。

圖5 改進YOLOv5的總體架構(gòu)Fig.5 General architecture of improved YOLOv5

3 改進的YOLOv5小目標交通標志檢測算法實驗研究

3.1 基礎交通標志數(shù)據(jù)集及數(shù)據(jù)集增強

3.1.1 基礎交通標志數(shù)據(jù)集

本文的實驗數(shù)據(jù)集是清華騰訊聯(lián)合制作的交通標志數(shù)據(jù)集TT100K，包括了10 000張圖片和30 000個交通標志，均為真實場景下的2 048×2 048高分辨率圖，部分樣本如圖6所示。TT100K中的交通標志像素面積大小分布如圖7所示，其中小目標（<32×32像素）是最常見的，在TT100K上進行檢測非常具有挑戰(zhàn)性?？紤]到某些類別的交通標志個數(shù)太少不利于網(wǎng)絡學習，選取實例個數(shù)大于100的類別進行訓練測試，刪掉其他類的標簽。處理后的數(shù)據(jù)集中共有45類對象，其中訓練集6 105張，測試集3 065張。

圖6 TT100k數(shù)據(jù)集的樣本示例Fig.6 Sample example from TT100k dataset

圖7 TT100K數(shù)據(jù)集中目標尺度分布Fig.7 Target scale distribution in TT100K dataset

3.1.2 數(shù)據(jù)集增強

TT100K中不同類別的訓練樣本數(shù)量差異非常大，如圖8藍色部分所示，這將導致神經(jīng)網(wǎng)絡對于大樣本類別的訓練效果良好，卻對小樣本類別的訓練效果不佳。為了增加小樣本類別的數(shù)量，本文采用簡單高效的Copy-Paste算法[15]對訓練集進行離線增強操作，將樣本個數(shù)不足1 000的交通標志實例擴充至1 000個，增強后的小樣本數(shù)量如圖8紅色斜線部分所示。

圖8 TT100K和增強TT100K的交通標志類別分布對比圖Fig.8 Comparison of distribution of traffic sign categories for TT100K and enhanced TT100K

將圖像送入網(wǎng)絡訓練前，進行0.5～1.5倍的隨機尺度縮放、隨機平移和色彩空間變換等在線增強操作。由于增強數(shù)據(jù)集中的目標尺寸和位置是隨機變化的，利用增強數(shù)據(jù)集進行訓練有助于網(wǎng)絡在檢測小目標交通標志時更加魯棒。

3.2 實驗環(huán)境及參數(shù)設置

實驗環(huán)境：操作系統(tǒng)Ubuntu18.04，深度學習框架Pytorch1.9，CPU為Inter E5-2640，內(nèi)存64 GB；GPU為單塊NVIDIA GeForce RTX3090，顯存24 GB。

本文將YOLOv5l作為基礎網(wǎng)絡進行訓練，輸入大小640×640，訓練時采用SGD優(yōu)化器，初始學習率0.01，采用余弦退火衰減策略調(diào)整學習率，動量大小0.937，權(quán)重衰減系數(shù)為0.000 5，Batchsize設為16，迭代300個epoch。

3.3 檢測性能評價指標

評價指標主要分為檢測精度和檢測速度兩方面。檢測精度用于評價算法對目標準確定位和分類的能力，衡量精度的指標采用平均精度均值（mean average precision，mAP），IoU取0.5，定義如下：

式中，n為類別總數(shù)，本文數(shù)據(jù)集共包含45類交通標志，因此n=45；AP為某一類的平均精度（average precision），定義為不同召回率下精確率的均值，計算公式為：

式中，P為精確率（precision），指預測的所有正樣本中預測正確的概率；R為召回率（recall），指所有正樣本全部被檢測到的概率，TP表示真陽性（true positive），TN表示真陰性（true negative），F(xiàn)P表示假陽性（false positive），F(xiàn)N表示假陰性（false negative）。

檢測速度用FPS（frame per second）來衡量，F(xiàn)PS定義為幀率，表示每秒能檢測的圖片數(shù)量。

3.4 小目標交通標志實時檢測算法的消融實驗結(jié)果與分析

為了驗證本文提出的改進模塊的有效性，在TT100K上進行了消融實驗，結(jié)果如表1所示。原始YOLOv5模型的性能表現(xiàn)一般，mAP為72.6%。應用數(shù)據(jù)增強后，小樣本類別的訓練效果變好，從而使整體的精度提高，獲得了84%mAP，這說明了深度學習模型依賴于高質(zhì)量和充足的訓練數(shù)據(jù)。如果采用改進的SPP，mAP提升了2.6個百分點。在增強TT100K上，改進SPP的對比實驗結(jié)果如表2所示，使用改進SPP能夠提高YOLOv5檢測交通標志時的召回率和真陽性個數(shù)，這表明通過分割梯度流可以提高SPP模塊的學習能力，強化其對于小目標交通標志的特征提取能力。在增強TT100K上，自適應特征融合的對比實驗結(jié)果如表3所示，在YOLOv5頸部中應用自適應特征融合后，精確率和召回率均有提高，這表明改用自適應特征融合能提升YOLOv5在交通標志檢測中的效果。

表1 消融實驗Table 1 Ablation experiments

表2 改進SPP的對比實驗Table 2 Comparative experiments of improved SPP

表3 自適應特征融合的對比實驗Table 3 Comparative experiments of adaptive feature fusion

自適應特征融合的權(quán)重參數(shù)αi+1i、βi由卷積計算得到，根據(jù)不同圖像生成對應的權(quán)重，因此是自適應變化的。以某幅圖像為例，第三層的淺層特征圖與第四層的深層特征圖融合時，輸出的自適應權(quán)重為40×40的矩陣向量，部分參數(shù)如下：

小目標的特征往往在淺層特征圖中較強，而在深層特征圖中較弱甚至消失。如圖9所示，當沒有權(quán)重直接Concat融合時，小目標特征不明顯；當加上了權(quán)重后，深層特征在一定程度上被抑制，淺層特征得到加強，有助于小目標的檢測。

圖9 頸部自適應融合層特征圖Fig.9 Adaptive fusion layer feature map of the neck

YOLOv5和改進YOLOv5在測試集上的損失曲線如圖10（a）所示，mAP曲線如圖10（b）所示，可以清晰地看到訓練過程中改進YOLOv5的總損失一直低于YOLOv5的總損失，說明其收斂更快。而且改進YOLOv5的損失曲線相比于YOLOv5的損失曲線更加平滑，數(shù)值波動更小，訓練更加穩(wěn)定。

圖10 改進YOLOv5的測試損失曲線和mAP曲線Fig.10 Test loss curves and mAP curves of improved YOLOv5

3.5 小目標交通標志實時檢測算法與其他目標檢測算法的對比分析

為了進一步評估所提算法對于小目標交通標志的檢測性能，按照Zhu等人[17]的標準，根據(jù)交通標志的大小分為三類：小目標（面積<322像素）、中目標（322像素<面積<962像素）和大目標（面積>962像素）。為了在真實場景下實時運行，算法的幀處理速率不能低于25 frame/s。選取與本文對比的算法不僅包括典型的單階段目標檢測算法如SSD、RetinaNet、YOLOv4和YOLOv5，還有近兩年提出的算法如YOLOX[18]和SwinTransformer[19]。分別將不同算法在增強TT100K上測試，得到的實驗結(jié)果如表4所示。在表4中，SSD雖然速度最快，但檢測小目標的精度僅27.2%mAP。一種改進的YOLOv5交通標志檢測模型[20]在其骨干網(wǎng)絡和頸部特征金字塔中加入脊狀濾波器（Ridgelet filter），增強淺層特征的提取，mAP達到85.3%。SwinTransformer作為將Transformer應用于視覺檢測任務的代表性算法，對于大目標的檢測精度較高，但檢測小目標的mAP僅31.6%，且Transformer的計算量較大，使其運行速度不夠快。YOLOX在YOLOv3基礎上引入了Anchorfree、解耦頭（Decoupled Head）、標簽分配策略simOTA、數(shù)據(jù)增強等先進檢測技術(shù)，在增強TT100K的實驗結(jié)果表明，YOLOX-l對于小目標交通標志的檢測精度為74.7%mAP，高于YOLOv5-l的71.9%mAP，但在所有目標上的檢測精度不如YOLOv5-l。本文模型檢測所有目標的mAP達到了最高的87.3%，檢測小、中、大三種尺度交通標志的mAP分別為77.3%、90.3%和91.7%，均優(yōu)于其他典型算法，速度相較于原始YOLOv5略有下降，但仍然具有很好的實時性。實驗表明，與其他算法相比，本文算法對于小目標交通標志的檢測性能優(yōu)越，在精度和速度方面實現(xiàn)了較好的平衡。

表4 不同算法對不同尺寸交通標志的檢測性能對比Table 4 Comparison of detection performance of different algorithms for different sizes of traffic signs

不同算法的部分實驗結(jié)果如圖11所示，包括YOLOv5在內(nèi)的其他算法對于交通標志存在誤檢、漏檢的情況，遠距離小目標交通標志更是難以檢測到，而本文算法有效地改善了這種情況，以圖11中第四行為例，本文算法能敏銳地定位遠處的小目標交通標志并準確分類，相比于其他算法具有優(yōu)異的檢測效果。

圖11 不同算法對交通標志的檢測效果Fig.11 Detection results of different algorithms on traffic signs

綜上，本文通過消融實驗分析了所提出的每一個模塊對改善算法性能的貢獻，得出改進后的YOLOv5對于交通標志檢測精度提升明顯；最后，通過與其他算法的性能指標對比得出，本文算法對于小目標交通標志的檢測具有很大的競爭優(yōu)勢。

4 結(jié)束語

遠距離小目標交通標志檢測對于自動駕駛具有重要研究意義，本文基于先進的單階段算法YOLOv5，提出一種高精度的小目標交通標志實時檢測算法。將跨階段局部網(wǎng)絡思想運用到空間金字塔池化模塊，在該模塊基礎上增加梯度路徑，增強了骨干網(wǎng)絡的特征聚合能力；提出一種自適應特征融合算法，讓融合的不同層級特征分別乘上可學習自適應權(quán)重，抑制深層特征對小目標特征的干擾，提高小目標交通標志的檢測精度。通過消融實驗，驗證了上述改進模塊的有效性。所提算法在TT100K上檢測所有交通標志和小目標交通標志的mAP分別為87.3%和77.3%，均優(yōu)于其他算法。所提算法不僅在檢測小目標交通標志的精度上相對于YOLOv5提升了5.4個百分點，同時還較大幅提高了中目標和大目標的檢測精度。未來的研究方向是采用壓縮剪枝等手段使模型更加輕量化，降低移動終端設備的算力要求。