楊錦輝，李 鴻，杜蕓彥，毛 耀，劉 瓊

(1.中國科學(xué)院光束控制重點實驗室，成都 610000； 2.中國科學(xué)院光電技術(shù)研究所，成都 610000；3.中國科學(xué)院大學(xué)，北京 100000)

0 引言

基于深度學(xué)習(xí)的目標檢測器可以大致分為兩大類：第一類是一階段目標檢測器YOLO(You Only Look Once)[1-4];第二類是二階段目標檢測器R-CNN(Region-Convolutional Neural Networks)[5-7]。二階段目標檢測器通常包括建議目標框的生成[8-10]，使用深度卷積神經(jīng)網(wǎng)絡(luò)對提取的特征向量進行編碼[11-12]，再進行建議目標框內(nèi)目標物體的類別和位置的回歸[13]。一階段目標檢測算法舍棄了生成建議框的階段，會將每個感興趣區(qū)域分類為背景或是目標對象，因此一級檢測器的推理速度更快，適用于實時目標檢測的應(yīng)用場景，但是檢測精度相對比較差。對于需要進行快速目標檢測的場景，通常使用一階段目標檢測算法。

YOLO系列算法屬于一階段目標檢測器，最早版本(YOLO)由REDMON等[1]在2016年提出，該算法是實時目標檢測的一個突破。YOLO的每個組件都需要單獨訓(xùn)練，這導(dǎo)致推理速度很慢，因此雖然YOLO取得了巨大的成功，但算法的框架還需要繼續(xù)優(yōu)化。之后又提出了組件聯(lián)合進行訓(xùn)練的策略，該方法大大提升了YOLO的推理速度，降低了網(wǎng)絡(luò)訓(xùn)練的復(fù)雜度，提升了檢測性能。YOLOv3采用Darknet-53作為骨干網(wǎng)絡(luò)，通過上采樣得到的特征圖與淺層特征圖相融合，能夠極大地保留小目標的語義信息，提高小目標的檢測性能。YOLOv4采用CSPDarknet53作為骨干網(wǎng)絡(luò)，并且引入了空間金字塔池化，以優(yōu)化深層特征圖的感受野，使其檢測精度進一步提升。

最近，Ultralytics公司推出了YOLO的第5個版本YOLOv5。YOLOv5采用CSPNet作為骨干網(wǎng)絡(luò)，Neck部分采用PANET特征融合方式，顯著提升了小目標的檢測效果。YOLOv5s模型參數(shù)量(Params)最少僅為7.2 MiB，運行速度最快。當(dāng)前，網(wǎng)絡(luò)結(jié)構(gòu)的輕量化、網(wǎng)絡(luò)的特征提取與融合越來越受到研究者的青睞[14-15]。

本文提出輕量化目標檢測算法RFBG-YOLO，在保證模型輕量化的同時，具有足夠高的檢測精度，可以滿足在輕量化目標檢測場景下的檢測準確度的要求。

1 YOLOv5s算法簡介

YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)包括Input，Backbone，Neck和Head這4個部分。

Input會進行Mosaic數(shù)據(jù)增強、對圖片尺寸進行自適應(yīng)處理以及錨框計算優(yōu)化[4]。Mosaic數(shù)據(jù)增強為了豐富圖片信息，將4張圖片組合在一起，拼接得到的圖片會縮放到標準尺寸再參與訓(xùn)練，有效提高了檢測準確率；錨框計算的工作原理是，將預(yù)測框與真實框進行對比，獲取到差距后再反向更新，不斷迭代優(yōu)化參數(shù)來逼近最優(yōu)的錨框值。

Backbone主要包含了CSP[16]，F(xiàn)ocus和空間金字塔池化(SPP)[17]模塊。CSP模塊能夠減少計算復(fù)雜度，并且加強網(wǎng)絡(luò)的學(xué)習(xí)性能；Focus模塊通過切片操作將通道數(shù)增加；SPP模塊實現(xiàn)了深層語義信息與淺層語義信息的融合，進一步提高網(wǎng)絡(luò)的檢測精度。

Neck中采用了PANET[18]的結(jié)構(gòu)，將深層和淺層特征相融合的FPN[19]層與淺層合并深層特征的特征金字塔進行結(jié)合，對Backbone中不同網(wǎng)絡(luò)層的信息進行融合，對模型的特征提取做了增強。

Head會獲取到一個向量，該向量能夠描述目標的類別概率、目標的得分和該目標預(yù)測框的位置。檢測頭一共有3層，每層特征圖的尺寸都不一樣，是為了檢測不同尺寸大小的目標對象。每個檢測頭會獲取到不同的向量，基于該向量獲取到原圖像中的目標的預(yù)測框位置以及類別信息。 YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

2 YOLOv5s算法改進

本文提出的RFBG-YOLO算法主要做了兩方面改進。1) 輕量化模型YOLOv5s的Bottleneck結(jié)構(gòu)使得頸部特征提取網(wǎng)絡(luò)PANET的特征提取不夠充分，從而影響了YOLOv5s的檢測精度。本文在PANET中采用優(yōu)化后的多分支空洞卷積結(jié)構(gòu)RFB-Bottleneck模塊，改進后的頸部特征提取網(wǎng)絡(luò)RFB-PANET可以通過更少的參數(shù)量獲得更大的感受野，提取更精確的目標特征，從而提高檢測精度。2) 由于改進后的RFB-PANET特征融合方式相比改進前的PANET結(jié)構(gòu)更加復(fù)雜，需要通過3個不同分支的空洞卷積層來提取特征，推理時間增大，會增加計算復(fù)雜度。為了提升模型的實時性，降低計算復(fù)雜度，使檢測模型更加輕量化，本文引入GhostConv替換普通卷積，在不影響檢測精度的同時，降低模型的參數(shù)量和計算量。本文提出的RFBG-YOLO網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 RFBG-YOLO網(wǎng)絡(luò)結(jié)構(gòu)

2.1 RFB模塊

RFB模塊是RFBNet目標檢測模型的重要結(jié)構(gòu)，增強了特征圖的表達能力。RFB模塊是一種多分支的空洞卷積結(jié)構(gòu)，空洞卷積用來改變卷積層的感受野，這種多分支結(jié)構(gòu)是繼承自ResNet檢測模型中提出的殘差結(jié)構(gòu)和InceptionV2結(jié)構(gòu)。

RFB模塊正是通過空洞卷積層來實現(xiàn)感受野的提高的，RFB模塊有兩種結(jié)構(gòu)，分別如圖3(a)和圖3(b)所示。

圖3 RFB結(jié)構(gòu)和RFB-S結(jié)構(gòu)

RFB是更早的結(jié)構(gòu)設(shè)計，其中的1×1卷積主要有兩個作用，分別是減少計算成本和特征融合。RFB-S是RFB的優(yōu)化版，結(jié)構(gòu)更為復(fù)雜，相比RFB使用尺寸更小的卷積核，可以有效降低運算量，提升淺層語義信息的融合。

空洞卷積與常規(guī)卷積相比，空洞卷積可以做到在運算時，卷積核可與任意間隔的像素做卷積運算，間隔是固定值，這樣做的好處是可在相同的參數(shù)量下獲取到更大的感受野[20]。空洞卷積實際卷積核大小為

N=n+(n-1)(r-1)

(1)

式中：N為空洞卷積實際卷積核大??；n為原始的卷積核大?。籸為空洞卷積參數(shù)膨脹率。空洞卷積的運算方法是通過卷積核與設(shè)定間隔的像素點做相應(yīng)的乘法運算。這種卷積方法在沒有增加過多復(fù)雜設(shè)計的情況下提高了感受野的范圍。

2.2 RFB-Bottleneck模塊

受RFB模塊啟發(fā)，對PANET網(wǎng)絡(luò)中的Bottleneck結(jié)構(gòu)(見圖4(a))做了改進，改進后RFB-Bottleneck結(jié)構(gòu)如圖4(b)所示，RFB-Bottleneck采用多分支的結(jié)構(gòu)，每個分支會經(jīng)過不同感受野的空洞卷積來提取特征(空洞卷積的膨脹率分別是1，3，5)，再進行拼接操作后通過1×1卷積調(diào)整通道數(shù)得到最終的輸出結(jié)構(gòu)。改進后的RFB-Bottleneck結(jié)構(gòu)相比Bottleneck結(jié)構(gòu)，可以融合不同感受野的空洞卷積特征，通過更少的參數(shù)量獲得更大的感受野，從而提取更精確的目標特征。

圖4 Bottleneck結(jié)構(gòu)和RFB-Bottleneck結(jié)構(gòu)

2.3 YOLOv5s頸部特征融合網(wǎng)絡(luò)PANET的改進

特征融合方式主要有 FPN,PANET和BIFPN。FPN特征融合能夠解決目標檢測對小物體檢測困難的問題，因為小物體的像素點數(shù)量要比大物體少很多，隨著網(wǎng)絡(luò)深度的加深，大物體的特征信息得以保留，而小物體的特征信息會越來越少。對于小目標信息丟失的問題，可通過多尺度圖像金字塔解決， 圖像金字塔其實就是對原圖像進行不同尺度的采樣得到的特征圖組成的特征圖層，最底層的特征圖分辨率最高，越往上分辨率越低。而使用圖像金字塔進行推理預(yù)測，計算量很大，不利于實際使用。為了解決該問題，F(xiàn)PN通過上采樣增大圖像的尺寸，然后與上一個淺層的特征圖進行融合，并通過卷積提取特征信息。

PANET 對 FPN 淺層特征圖的特征信息提取做了優(yōu)化，因為隨著網(wǎng)絡(luò)深度加深，深層特征圖的語義信息被不斷提取，而 FPN 自頂向下的特征融合路徑中的下采樣過程，也是不斷提取深層語義信息的過程，相應(yīng)地，淺層語義信息會丟失得越來越多。而 PANET 增加了自下而上的特征融合路徑，再次將淺層的特征信息融入到深層的特征圖中。

YOLOv5s的頸部特征提取網(wǎng)絡(luò)采用的是PANET結(jié)構(gòu)，主要由CSP結(jié)構(gòu)組成，CSP結(jié)構(gòu)將輸入分為兩部分，一部分先經(jīng)過 Bottleneck模塊進行n次操作，然后再進行卷積操作，而另一部分直接進行卷積操作。隨后，使用Concat操作將兩部分進行拼接作為輸出。Bottleneck結(jié)構(gòu)使得頸部特征提取網(wǎng)絡(luò)PANET的特征提取不夠充分，從而影響了YOLOv5s的檢測精度。受RFB模塊啟發(fā)，本文提出了多分支空洞卷積結(jié)構(gòu)RFB-Bottleneck替換PANET的Bottleneck結(jié)構(gòu)，改進后的特征融合方式RFB-PANET更加適用于輕量化目標檢測網(wǎng)絡(luò)，RFB-PANET采用的是多分支的空洞卷積結(jié)構(gòu)，相比改進前，可以通過不增加網(wǎng)絡(luò)深度的方式，以更少的參數(shù)量獲得更大的感受野，提取更精確的目標特征，從而提高檢測精度。

為驗證RFB-PANET的有效性，本文進行了RFB-PANET特征融合方式與其他常見特征融合方式的對比實驗，實驗結(jié)果見表1。YOLOv5s的Neck部分采用的是PANET的特征融合方式，在表1中，用改進后的RFB-PANET特征融合方式代替PANET，并且與其他常用的特征融合方式PANET，BIFPN和FPN進行了對比。BIFPN特征融合通過引入權(quán)重，更好地平衡不同尺度的特征信息，但是結(jié)構(gòu)相對復(fù)雜，推理速度慢。FPN特征融合缺少了自下而上的特征融合層，檢測精度明顯受影響。由表1可以看出，改進后的RFB-PANET特征融合方式參數(shù)量最少，指標mAP@0.5和mAP@0.5∶0.95遠高于其他3種常見的特征融合方式，而每秒識別幀數(shù)(FPS)的差距很微弱，由此可以證明RFB-PANET改進策略的有效性。

表1 RFB-PANET特征融合方式與其他特征融合方式的對比實驗Table 1 Comparative experiment of RFB-PANET with other feature fusion methods

2.4 YOLOv5s卷積操作的改進

改進后的RFB-PANET特征融合方式相比改進前的PANET結(jié)構(gòu)更加復(fù)雜，需要通過3個不同分支的空洞卷積層來提取特征，推理時間增大，會增加計算復(fù)雜度。因此本文引入GhostConv來替換Conv，在幾乎不影響檢測精度的同時，降低模型的參數(shù)量和計算量，提高檢測速度。

GhostConv之所以能減少參數(shù)量和計算復(fù)雜度，是因為舍棄了部分常規(guī)卷積，采用線性變換進行特征提取，可更好地利用特征之間的相關(guān)性和冗余性[21]。

通過常規(guī)卷積Conv(見圖5(a))獲取到的特征層內(nèi)，有一些特征圖的特征信息較為相似，因此可以通過消除這些冗余的特征信息來減少獲取特征信息的操作的計算量。GhostConv首先通過常規(guī)卷積提取特征信息，獲取到一般特征圖，然后將一般特征圖中的每一個通道的特征做線性運算，獲取到同等通道數(shù)的附帶特征圖(即Ghost特征圖)，Ghost特征圖就是冗余的特征圖數(shù)量，通過簡單的線性變換得到的Ghost特征圖，能夠在幾乎不影響檢測精度的同時有效降低普通卷積Conv的冗余性，降低計算復(fù)雜度；最后堆疊基礎(chǔ)特征圖和Ghost特征圖作為輸出。GhostConv的結(jié)構(gòu)如圖5(b)所示。

圖5 Conv模塊和GhostConv模塊

3 實驗結(jié)果與分析

3.1 實驗平臺與數(shù)據(jù)集

實驗中模型訓(xùn)練和測試所用的數(shù)據(jù)集是PASCAL VOC 數(shù)據(jù)集。本文數(shù)據(jù)計算使用的是Ubuntu20.04系統(tǒng)，CUDA10.2，顯卡為GeForce RTX 3090，網(wǎng)絡(luò)開發(fā)框架為PyTorch1.8，集成開發(fā)環(huán)境是Pycharm。統(tǒng)一設(shè)置訓(xùn)練輪次為200，批大小為16。

3.2 評價指標

實驗采用精確率、平均精度均值和每秒傳輸幀數(shù)作為評價目標檢測方法的性能評價標準。精確率(P)和召回率(R)計算方法如下

(2)

(3)

其中：TP表示正樣本被正確識別為正樣本的個數(shù)；FP表示負樣本被錯誤識別為正樣本的個數(shù)；FN表示正樣本被錯誤識別為負樣本的個數(shù)。通過取不同的精確率和召回率值可以畫出PR曲線， PR曲線下的面積就定義為AP，取所有檢測類別 AP的均值即為mAP。性能評價指標AP(PAP)和mAP(PmAP)計算方法如下

(4)

(5)

3.3 消融實驗及其結(jié)果分析

進行消融實驗來驗證RFBG-YOLO算法中提出的各個模塊對YOLOv5s的優(yōu)化作用。表2為對RFBG-YOLO做的消融實驗結(jié)果。表中RFB-PANET表示將YOLOv5s的頸部特征提取網(wǎng)絡(luò)PANET替換為本文提出的RFB-PANET， GhostConv表示之后在該模型的基礎(chǔ)上，將常規(guī)卷積替換成GhostConv。消融實驗分別比較了算法的參數(shù)量、mAP以及FPS。

表2 RFBG-YOLO消融實驗Table 2 RFBG-YOLO ablation experiment

由表2可看出，原YOLOv5s模型的參數(shù)量是7.2 MiB，將YOLOv5s的頸部特征提取網(wǎng)絡(luò)PANET替換為本文提出的RFB-PANET后，相比改進前參數(shù)量下降了0.8 MiB，mAP@0.5指標提升了2.4個百分點，mAP@0.5∶0.9指標提升了5.4個百分點，F(xiàn)PS下降了19.4 幀/s，因此，改進后的頸部特征提取網(wǎng)絡(luò)RFB-PANET通過更少的參數(shù)量提取更精確的目標特征，明顯提升了模型的識別精度，但相比改進前結(jié)構(gòu)更加復(fù)雜，需要通過3個不同分支的空洞卷積層來提取特征，推理時間增大，會增加計算復(fù)雜度。因此，將YOLOv5s+RFB-PANET模型當(dāng)中的常規(guī)卷積Conv替換成GhostConv，相比改進前參數(shù)量進一步下降為5.2 MiB，F(xiàn)PS提升到了99.0 幀/s，而mAP@0.5指標僅下降了0.2個百分點，mAP@0.5∶0.9指標僅下降了1.2個百分點，可以看出GhostConv在幾乎不影響檢測精度的同時，降低了模型的參數(shù)量和計算量，提高了檢測速度。

對比改進算法的實際效果，RFBG-YOLOv5s與YOLOv5s的部分檢測結(jié)果如圖6所示，其中淺藍色框代表檢測人的類，深藍色框代表檢測馬的類，每個框的左上角代表算法檢測框的置信度，置信度是YOLO系列算法評估檢測框準確性的指標，表示預(yù)測框檢測到某個物品種類時，預(yù)測框與物品真實框的重合程度，即

(6)

如圖6所示，RFBG-YOLOv5s檢測到人和馬的置信度分別為0.90和0.87，YOLOv5s檢測到人和馬的置信度分別為0.88和0.64，RFBG-YOLOv5s與YOLOv5s檢測到目標的數(shù)量雖然相同，但比較所框住目標的置信度可以看出，RFBG-YOLO算法的置信度會更高。

圖6 RFBG-YOLOv5s和YOLOv5s的檢測效果

3.4 RFBG-YOLO與其他算法的對比

在PASCAL VOC數(shù)據(jù)集上，將RFBG-YOLO算法與其他主流目標檢測算法的性能進行比較，實驗結(jié)果如表3所示。

表3 RFBG-YOLO與其他算法的對比Table 3 Comparison between RFBG-YOLO and other algorithms

RFBG-YOLO與YOLOv5s相比，模型參數(shù)量更小，mAP有明顯提升，并且FPS相差不大。與YOLOv4-tiny和YOLOv3-tiny相比，雖然FPS降低了，但模型參數(shù)量更小，且mAP有大幅度提高。實驗結(jié)果表明，相較于YOLOv5s和YOLOv4-tiny等主流的輕量化算法，以及YOLOv4和YOLOv3這些模型較大的算法，綜合模型參數(shù)量、mAP和FPS來看，RFBG-YOLO有更好的性能。

4 結(jié)束語

本文提出的RFBG-YOLO是通過優(yōu)化YOLOv5s的頸部特征提取網(wǎng)絡(luò)PANET、引入GhostConv減少參數(shù)量和提高檢測速度所得到的輕量化網(wǎng)絡(luò)。優(yōu)化后的頸部特征提取網(wǎng)絡(luò)RFB-PANET采用多分支空洞卷積結(jié)構(gòu)RFB-Bottleneck，解決了PANET特征提取不足的問題，提高了檢測精度。優(yōu)化后的RFB-PANET相比PANET結(jié)構(gòu)更加復(fù)雜，需要通過3個不同分支的空洞卷積層來提取特征，因此，引入GhostConv使檢測模型更加輕量化。實驗結(jié)果表明，本文RFBG-YOLO算法在檢測速度影響很小的情況下明顯提升了檢測性能，mAP@0.5為80.3%，相比改進前提高了2.2個百分點，mAP@0.5∶0.95為55.1%，相比改進前提高了4.2個百分點，模型參數(shù)量僅為5.2 MiB，相比改進前降低了2.0 MiB。