楊真真，鄭藝欣，邵 靜，楊永鵬，2

(1.南京郵電大學寬帶無線通信與傳感網(wǎng)技術教育部重點實驗室，江蘇 南京 210003 2.南京信息職業(yè)技術學院網(wǎng)絡與通信學院，江蘇 南京 210023)

人工智能（Artificial Intelligence，AI）發(fā)展至今，深度學習（Deep Learning，DL）作為其關鍵技術，已廣泛應用在目標檢測、圖像分割和圖像分類等領域［1］。目標檢測需要快速判斷圖像中某個類別或多個類別是否存在，以及準確定位具體位置并將其框出，但對于一些目標種類多的復雜場景，其面臨著巨大挑戰(zhàn)。

傳統(tǒng)目標檢測共分為3個階段。首先進行區(qū)域選擇，采用不同大小的滑動窗口遍歷截取圖像，產(chǎn)生多個候選框來盡可能檢測所有存在的目標，然后進行特征提取，最后利用分類器來獲得檢測框的類別和位置。傳統(tǒng)目標檢測中滑動窗口的存在會產(chǎn)生大量時間和計算開銷，人工操作導致檢測速度無法提升且檢測成本高。另外，其特征表示復雜，對于不同應用場景，需要重新設計新的模型，影響目標檢測器的泛化性能和魯棒性。此外，在實際場景會受到光線、遮擋及角度等因素的影響，傳統(tǒng)目標檢測不能滿足實際檢測的需求，容易產(chǎn)生錯誤檢測。

在新的科技生產(chǎn)的帶動下，計算機性能得以提升，卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）［2］被提出并且應用到目標檢測領域，取得了很好的效果?；诰矸e神經(jīng)網(wǎng)絡的目標檢測方法一般分為兩階段目標檢測方法和一階段目標檢測方法兩大類。相較于傳統(tǒng)目標檢測方法，基于深度學習的目標檢測的檢測精度和速度都得到了顯著提升。

兩階段目標檢測方法與傳統(tǒng)目標檢測方法相比，進步在于檢測的精度高，在性能顯著提升的同時加快了檢測速度。它共分為兩步，首先獲取候選區(qū)域，然后再對候選區(qū)域的目標進行分類和坐標回歸。區(qū)域卷積神經(jīng)網(wǎng)絡（Regions with CNN Features，R?CNN）［3］提出了具有CNN特征的網(wǎng)絡，將其首次用于目標檢測。接著提出空間金字塔池化（Spatial Pyramid Pooling， SPP）網(wǎng)絡［4］，該網(wǎng)絡使用特征金字塔來解決尺度和縮放問題，并將其放在卷積層和全連接層之間，提高了檢測精度，并縮短了檢測時間。接著快速的區(qū)域卷積神經(jīng)網(wǎng)絡（Fast Regions with CNN Features， Fast R?CNN）［5］在 R?CNN 的基礎上改變特征提取的方法，把空間金字塔的多尺度操作改為單一尺度的可變窗口，并且只進行一次前向計算。2017年Ren等［6］提出的更快速的區(qū)域卷積神經(jīng)網(wǎng)絡（Faster Regions with CNN Features，F(xiàn)aster R?CNN）使用區(qū)域生成網(wǎng)絡 （Region Proposal Network，RPN）代替選擇性搜索來提取候選區(qū)域，再進行后續(xù)分類操作，大大減少了檢測時間，實現(xiàn)了端到端的檢測。兩階段目標檢測方法是兩級檢測方法，往往檢測很準確，但在實際應用中檢測速度會受到限制，無法達到實時性要求。

因此研究人員提出了許多基于卷積神經(jīng)網(wǎng)絡的一階段目標檢測方法，如 Retinanet［7］、EfficientNet［8］、可伸縮和高效的目標檢測 （Scalable and Efficient Object， EfficientDet）［9］、單次多盒檢測頭（Single Shot Multiboc Detector， SSD）［10］和只看一次（You Only Look Once， YOLO）［11］系列方法。 這個過程一步到位，直接使用卷積神經(jīng)網(wǎng)絡提取特征進行目標檢測。Retinanet針對一階段檢測方法中類不平衡影響精度的問題，修改損失函數(shù)，利用Focal損失分辨目標類別，并且通過實驗驗證了提出損失函數(shù)的有效性，但檢測時間有所增加。EfficientDet在 EfficientNet的基礎上增加了BiFPN，使用殘差網(wǎng)絡結構擴大網(wǎng)絡的深度，增強特征提取能力，檢測精度有所提升，但仍以檢測速度為代價，算法實時性仍然需要改進。YOLO系列網(wǎng)絡作為一階段目標檢測中的代表性方法，具有檢測速度快、準確率高等特點。YOLO延續(xù)了GoogleNet的核心思想，通過單個神經(jīng)網(wǎng)絡實現(xiàn)了目標檢測，實時性高。它將圖像劃分為多個網(wǎng)格并預測每個網(wǎng)格的邊界框和概率，但每個網(wǎng)格只能預測一個類別。2016年Liu等提出的SSD方法在YOLO方法的基礎上做了修改，引入錨點機制，并將其全連接層摒棄，提升了檢測精度，特別是對一些小目標檢測效果較好。但SSD的先驗框需要手動設置，不能直接通過訓練得到。第二版本 YOLO（The Second Version of YOLO， YOLOv2）［12］更改了主干特征提取網(wǎng)絡，使用了Darknet?19，并在每一個卷積層中也作了改進，引入了批量歸一化（Batch Normalization，BN）層。優(yōu)點是有效提高了目標檢測精度，保持了檢測速度，但容易漏檢。第三版本YOLO（The Third Version of YOLO， YOLOv3）［13－14］引入了多尺度特征，并使用更深層次的新主干網(wǎng)絡Darknet?53代替了Darknet?19，改變了網(wǎng)絡結構，提高了網(wǎng)絡檢測精度，但對小目標檢測仍然存在漏檢和誤檢。第四版本YOLO（The Fourth Version of YOLO， YOLOv4）［15］使用CSPDarknet?53作為主干特征提取網(wǎng)絡，可以很好地平衡檢測速度和精度。YOLOv4作為目前主流的先進目標檢測方法，將目標檢測任務轉(zhuǎn)變成回歸任務，對于輸入到網(wǎng)絡中的圖像，可以直接進行檢測。當圖像輸入到YOLOv4網(wǎng)絡時，被劃分為一個S×S的網(wǎng)格，只要物體的中心點落在一個格子上，格子就用來檢測物體，同時生成一個矩形框來定位位置和確定類別。YOLOv4可以較好平衡檢測速度和精度，可擴展性高。

本文針對YOLOv4目標檢測器存在淺層位置信息利用率不足的問題，提出了一種新的目標檢測方法——YOLOv4?P。對路徑聚合網(wǎng)絡進行改進，利用主干特征提取網(wǎng)絡的第二個殘差塊，新增一個大小為104×104的檢測層，加強融合淺層特征層，并且使用K?means聚類對數(shù)據(jù)集重新進行處理，獲得合適的先驗框尺寸。同時使用金字塔池化模塊（Pyramid Pooling Module， PPM）［16］，利用 4 種不同尺度的金字塔池化引入不同尺度下的特征信息。進行了仿真實驗，結果表明，改進的YOLOv4效果更優(yōu)，在PASCAL VOC2007和VOC2012兩個數(shù)據(jù)集上的均值平均精度（Mean Average Precision，mAP）相較于YOLOv4分別提高了2.03%和1.94%。

1 相關工作

1.1 YOLOv4算法

YOLOv4是一種端到端的目標檢測方法，它將目標檢測問題轉(zhuǎn)化為回歸問題，直接檢測圖像。每一個網(wǎng)格會預先設定3個先驗框，每個先驗框會通過YOLO Head生成矩形框定位位置，判定類別，留下置信度高于閾值的矩形框。YOLOv4以CSPDarknet?53為主干特征提取網(wǎng)絡，對YOLOv3中的Darknet?53中的殘差塊進行修改，引入了CSPNet結構。將原本的殘差塊進行了拆分，拆成左右兩個部分，主干部分依然繼續(xù)將殘差塊一個一個地堆疊，而另一部分只需要做少量的操作就可以直接與殘差塊的尾部相連，使得CSPDarknet?53中存在一個大的殘差邊。對于YOLOv4這種深層網(wǎng)絡來說，殘差邊可以把信息傳遞到網(wǎng)絡的深層，將淺層信息與深層信息進行結合，避免了梯度消失的問題，增強網(wǎng)絡特征提取能力。同時，CSPDarknet?53還將卷積中的激活函數(shù)由 Leaky?ReLU 換為 Mish［17］，Mish 函數(shù)具有平滑和連續(xù)等特點，這可以讓網(wǎng)絡具有更好的泛化能力，使信息可以更深入網(wǎng)絡。

1.2 路徑聚合網(wǎng)絡

YOLOv4采用路徑聚合網(wǎng)絡（Path Aggregation Network， PANet）［18］作為加強特征提取網(wǎng)絡。 上采樣時，特征層將輸入的長和寬分別變?yōu)樵瓉淼膬杀?，再與上一特征層堆疊，使得淺層特征與深層特征進行融合，將深層網(wǎng)絡的語義信息向回傳遞，全部堆疊完成后再反過來進行下采樣，與下一特征層進行堆疊。融合了上采樣、下采樣，并對不同的特征層之間的信息進行特征融合，更有利于提取多尺度的特征，以便更好地對不同大小的目標進行檢測。

傳統(tǒng)的特征金字塔網(wǎng)絡（Feature Pyramid Networks， FPN）［19］結構僅僅為單方向自上而下傳遞，信息傳遞受到限制，而YOLOv4中的PANet更改了這種僅作上采樣堆疊的方式，在FPN的基礎上使用了自底向上的路徑聚合，由淺至深傳遞，提高了淺層特征層中位置信息的利用率。這種自底向上的結構層數(shù)較少，縮短了路徑，減輕了由于層層卷積導致的信息丟失，且產(chǎn)生的計算開銷很小。

1.3 金字塔池化

深層網(wǎng)絡往往注重深層信息的獲取，感受野大時結合全局信息的程度更強。而理論中當網(wǎng)絡越深時，感受野越大，但實際的感受野大小會比理論的感受野要小，因此融合上下文信息非常重要。金字塔池化模塊采用的是平均池化，可以融合全局信息，但其特征提取能力不足，如果單純使用單一的平均池化會造成信息的損失，因此利用平均池化將不同感受野下的特征進行融合。

2 改進的路徑聚合和池化YOLOv4

2.1 提出的路徑聚合網(wǎng)絡

YOLOv4隨著CSPDarknet?53的層層下采樣，淺層信息丟失嚴重，向深層傳遞時信息利用率較低。為了解決該問題，并且使用盡量短的路徑避免信息丟失，本文主要從加強特征提取網(wǎng)絡入手，對YOLOv4進行改進以提升淺層信息的利用率。

YOLOv4將YOLOv3堆疊的金字塔結構改為具有自底向上的路徑聚合結構，先將深層向淺層傳遞，再將淺層向深層傳遞，這種結構層數(shù)較少，縮短了路徑，減輕了由于層層卷積導致的信息丟失［20］。受此啟發(fā)，為了充分利用這個特點，對PANet結構進行改進，利用主干特征提取網(wǎng)絡的第二個殘差塊，新增一個大小為104×104的檢測層，共有大小分別為104×104，52×52，26×26 和 13×13 等 4 個檢測層，加強融合淺層特征層，改進的PANet網(wǎng)絡結構如圖1所示。

圖1 改進的PANet網(wǎng)絡結構

當PANet進行上采樣堆疊至52×52特征層時，依舊繼續(xù)進行上采樣，與第二個殘差塊輸出的結果，即大小為104×104的特征層進行堆疊，然后再反過來進行層層下采樣。將這4個不同尺度的特征層進行深度融合，盡可能地保留了淺層位置信息，增強了特征提取能力。

YOLOv4共有3個檢測層，每個檢測層設定3個先驗框尺寸，先驗框的寬高都是預先設定好的，可以通過對其寬高進行調(diào)整，幫助預測結果更接近真實框，并加快模型的收斂速度。先驗框的寬高設定非常重要，YOLOv4 是使用 K?means聚類［21］來獲得合適的先驗框尺寸大小。原始的先驗框尺寸大小分別為（12，16）、（19，36）、（40，28）、（36，75）、（76，55）、（72，146）、（142，110）、（192，243）和（459，401），共有9個不同的尺寸。本文改進的YOLOv4共有4個檢測層，每個檢測層需要3個不同的先驗框尺寸，為了給每個特征層分配合理的先驗框，共需要12個不同尺寸的先驗框，因此取K＝12的K?means聚類方法對數(shù)據(jù)集重新進行聚類，以獲得新的先驗框尺寸。通過K?means聚類，重新得到的先驗框尺寸大小分別為（14，22）、（16，47）、（26，82）、（38，35）、（44，126）、（66，66）、（76，163）、（116，251）、（134，113）、 （202，321）、（257，180）和（361，343）。每個檢測層對應3個尺寸，大尺寸的先驗框用于深層檢測層，小尺寸用于淺層檢測層。每個先驗框會通過YOLO Head生成矩形框定位位置，判定類別，留下置信度高于閾值的矩形框。

2.2 提出網(wǎng)絡的整體架構

本文對 YOLOv4進行改進，改進的 YOLOv4?P結構如圖2所示。

圖2 基于改進的路徑聚合和池化YOLOv4的目標檢測方法網(wǎng)絡結構

該網(wǎng)絡主要分為主干特征提取網(wǎng)絡，加強特征提取網(wǎng)絡和YOLO Head檢測層3個部分。YOLOv4將尺寸為416×416的圖像輸入到網(wǎng)絡，首先經(jīng)過主干特征提取網(wǎng)絡CSPDarknet?53，進行網(wǎng)絡的特征提取。但隨著網(wǎng)絡變深，感受野變小，特征提取能力受限，并沒有充分結合上下文信息。為了進行全局信息的特征融合，在 CSPDarknet?53的輸出后加入金字塔池化模塊，預先設定好不同池化核大小，利用4種大小分別為1×1、2×2、3×3 和 6×6 尺度的金字塔池化引入不同尺度下的特征信息。特征圖輸入到金字塔池化模塊中，分成兩個分支，其中一個分支不做修改，另一個分支首先分別進行這4個尺度的池化，得到4個不同大小的特征圖。由于是4個尺度，通道數(shù)會變?yōu)樵瓉淼?倍，再進行卷積調(diào)整后通道數(shù)變?yōu)樵瓉淼?／4，利用雙線性插值修改特征圖尺寸，與原始特征圖結合后經(jīng)過卷積輸出結果。這種金字塔結構可以讓圖像變換為不同尺度的特征圖，最后連接到一起，解決了卷積神經(jīng)網(wǎng)絡對于圖像的固定約束。同時聚合了多種感受野中的特征，相較于單一尺度的池化，對網(wǎng)絡中提取到的多種尺度的語義信息進行融合，增強了網(wǎng)絡對全局信息的特征提取能力。加強特征提取網(wǎng)絡由SPP模塊和PANet構成，YOLOv4雖然具有速度和精度的優(yōu)勢，但主干網(wǎng)絡擁有53個卷積層，隨著CSPdarknet?53的層層下采樣，淺層信息丟失嚴重，為了更好地利用淺層特征層的位置信息，本文對 PANet結構進行改進。PANet路徑較短，將信息由淺至深傳遞，可以提高淺層特征層中位置信息的利用率。原本的YOLOv4經(jīng)過PANet后會產(chǎn)生3個不同尺度的特征層，改進后利用了主干網(wǎng)絡的第二個殘差塊的輸出，使用PANet將深層特征層上采樣的結果與其進行堆疊，得到第4個大小為104×104的檢測層，再進行層層下采樣，將淺層信息傳遞到深層，得到的4個檢測層大小分別為104×104、52×52、26×26 和 13×13，改進的PANet結構對4個尺度的特征都可以充分利用。由于改進的YOLOv4擁有4個尺度的檢測層，網(wǎng)絡在預測時需要對先驗框進行調(diào)整以獲得預測結果，合適的先驗框尺寸大小非常重要，使用K?means聚類重新生成對應的先驗框，提高了目標檢測精度。

3 實驗結果及分析

為了驗證本文提出的YOLOv4?P的有效性，進行了實驗，數(shù)據(jù)集為 PASCAL VOC2007和VOC2012，使用的服務器GPU版本為NVIDIA Tesla M40（12 GB），Ubuntu 版本為 16.04.7，CUDA 版本為10.0。

在訓練前首先使用K?means聚類來獲得12個新的合適的先驗框尺寸完成準備工作。訓練共有100個輪次，采用了遷移學習的理念，前50個輪次將主干網(wǎng)絡凍住，后50個輪次解凍主干網(wǎng)絡，將整個網(wǎng)絡進行訓練。實驗中訓練的批尺寸是4，初始學習率為1e－3，動量設為0.9，權重衰減設為5e－4。先進行了消融實驗，研究改進的路徑聚合網(wǎng)絡的加層和金字塔池化模塊對YOLOv4?P的貢獻。最后將YOLOv4?P與其他先進的目標檢測方法進行了對比實驗。

3.1 消融實驗

為了驗證本文提出的YOLOv4?P方法中各個策略的有效性，在PASCAL VOC2007和VOC2012上進行消融實驗，其中YOLOv4＋PP表示在YOLOv4主干特征提取網(wǎng)絡的后端加入金字塔池化模塊，YOLOv4＋PA表示在YOLOv4中加入加層路徑聚合網(wǎng)絡，其實驗結果的mAP值如表1所示。

表1 YOLOv4?P的消融實驗

首先比較使用金字塔池化模塊和原始YOLOv4在精度上的差異，金字塔池化模塊可以讓圖像變換為不同尺度的特征圖，解決了卷積神經(jīng)網(wǎng)絡對于圖像的固定約束。相較于單一尺度的池化，金字塔池化對網(wǎng)絡中提取到的多種尺度的語義信息進行融合，增強了網(wǎng)絡對全局信息的特征提取能力。在兩個數(shù)據(jù)集上的mAP分別提高了0.78%和0.74%，說明金字塔池化模塊可以有效提升YOLOv4?P的檢測精度。接著驗證路徑聚合網(wǎng)路的加層改進對YOLOv4?P的優(yōu)化，該方法增加了一個淺層檢測層，可以利用低層特征層的位置信息。在兩個數(shù)據(jù)集上上的mAP較YOLOv4分別提升1.46%和1.47%，分別達到86.92%和88.15%，說明加層的路徑聚合網(wǎng)絡可以有效提升網(wǎng)絡精度，加層后的4個不同尺度的特征層深度融合，盡可能地保留了淺層位置信息，增強了特征提取能力。

3.2 對比實驗

將YOLOv4?P與其他先進目標檢測方法進行對比，置信度設為0.5，圖像被不同的目標檢測方法檢測后，會判斷圖像中是否含有目標以及目標的具體位置，并使用不同顏色的矩形框框出，其視覺結果如圖3所示。

圖3 YOLOv4?P和其他先進目標檢測方法的對比結果

從圖 3 可以看出，SSD、Retinanet、EfficientDet?D0、EfficientDet?D1、YOLOv3＋SPP 和 YOLOv4 框出目標數(shù)為 6 個，EfficientDet?D2、YOLOv3 和本文提出的YOLOv4?P框出目標數(shù)為7個，最左側(cè)的小汽車位置較偏較小，目標不完整且為背面，其他先進方法皆將其漏檢，而提出的YOLOv4?P能將其框出，說明其中為了保留淺層位置信息和融合不同尺度信息而對路徑聚合網(wǎng)絡改進增加的淺層特征層和金字塔池化模塊起到作用，成功提高小目標檢測能力，減少漏檢和誤檢。且從框出的目標可以看出，與其他先進的目標檢測器對比，YOLOv4?P表現(xiàn)出改善。EfficientDet?D2和 YOLOv3雖然框出的目標數(shù)與YOLOv4?P 相同，但 YOLOv4?P 更能完整地框出目標，尤其是對于人物這種容易產(chǎn)生形變而不容易精確框出的類別。此外，YOLOv4?P檢測的置信度也有所提高，7個目標中有3個目標置信度為1，從檢測圖片結果來看，YOLOv4?P能夠提高目標檢測的性能。

YOLOv4?P與其他先進目標檢測方法在mAP和幀每秒（Frames Per Second，F(xiàn)PS）上的對比結果如表2所示。

表2 與其他先進目標檢測方法的對比

由表2可以看出，在兩個數(shù)據(jù)集上，YOLOv4?P的mAP最高，分別為87.49%和88.62%，比次優(yōu)的YOLOv4分別提升2.03%和1.94%，說明YOLOv4?P的改進策略可以有效提升目標檢測的精度。YOLOv4?P 的 FPS 分別為38.49 幀／s和 35.64 幀／s，因為加入了金字塔池化模塊并增加了淺層檢測層，所以網(wǎng)絡結構變得比原先復雜，網(wǎng)絡的速度稍變慢，比FPS最高的YOLOv4稍慢。YOLOv4雖然FPS最高，但mAP與YOLOv4?P相差較大，綜合考慮檢測精度和速度，YOLOv4?P性能更優(yōu)。SSD在幾種先進目標檢測方法中精度最低且速度中等，Retinannet精度較SSD有所提升但檢測速度也降低了，EfficientDet?D0、EfficientDet?D1 和 EfficientDet?D2 的精度依次提升，但檢測時間也依次變長，YOLOv3及YOLOv3?SPP可以很好地平衡速度與精度，但與YOLOv4?P相比仍有較大差距。綜合比較，YOLOv4?P更能平衡速度與精度，效果最優(yōu)。

YOLOv4?P不論是從同一張圖片的視覺檢測結果還是定量數(shù)據(jù)，與其他先進目標檢測方法相比，不僅維持檢測速度，滿足了實時性要求，還提升了檢測精度，整體效果更好。

4 結束語

為了解決YOLOv4目標檢測器對淺層位置信息利用率不足的問題，本文提出對PANet進行改進，增加了一個檢測層來加強淺層信息融合。并且使用K?means聚類對數(shù)據(jù)集重新進行處理，獲得合適的先驗框尺寸。此外還使用金字塔池化模塊來引入不同尺度下的特征信息，并將其加入到主干特征提取網(wǎng)絡之后。為了驗證提出的網(wǎng)絡的性能，進行了消融實驗以及與其他先進目標檢測方法的對比實驗。實驗結果表明，YOLOv4?P的性能比其他先進目標檢測方法都更優(yōu)。