胡 亮，何小海，卿粼波，吳小強

（四川大學 電子信息學院，成都 610065）

0 引言

在計算機視覺領域中，目標檢測一直以來都是其中最重要的部分之一，其對應的算法也在不斷推陳出新，目標檢測技術(shù)已被廣泛地應用于醫(yī)療、公共、軍事等領域。當前，目標檢測領域已經(jīng)從傳統(tǒng)的目標檢測算法轉(zhuǎn)向基于深度學習的目標檢測算法。基于深度學習的目標檢測算法根據(jù)其有無候選框生成，分為一階段目標檢測算法和二階段目標檢測算法。一階段目標算法主要包括SDD、YOLO等，其不需要候選框，將定位和分類合成一步完成，這樣做雖然增加了學習的難度，但是提升了算法的速度，同時也減少了占用空間。二階段目標檢測算法主要包括Rcnn、Fast-Rcnn、Faster-Rcnn等，由于比一階段目標檢測算法多了前景與背景的分類和檢測，所以步驟相對復雜，占用的空間相對較多。

YOLO 系列算法作為一階段目標檢測算法的主要代表之一，被廣泛應用于各類目標識別場景。YOLOv4算法作為YOLO 系列的代表作，雖然在精度和速度上被推向了一個新的高度，但隨著網(wǎng)絡復雜度和層數(shù)的不斷增加，其參數(shù)量不斷增加、模型大小不斷增大，加大了對計算機硬件的需求，無法在諸如嵌入式平臺等低功耗平臺上實現(xiàn)應用，因此需對模型進行輕量化處理。針對YOLOv4 參數(shù)量較多模型較大的問題，人們提出了不同的解決方法。例如，在特征提取層CSPDarkNet53 中按照一定比例減少3個輸出層中的殘差結(jié)構(gòu)；利用Cross-Stage Lightweight（CSL）模塊替換特征提取層CSPDarkNet53 中的普通卷積模塊，從而得到新的YOLO-CSL模型；利用 GhostNet模塊代替YOLOv4 算法中傳統(tǒng)的下采樣操作，從而解決YOLOv4 中下采樣操作成本較高的問題。

本文在YOLOv4 網(wǎng)絡的基礎上進行了輕量化處理。利用MobileNet 輕量化網(wǎng)絡的思想，將其融入到Y(jié)OLOv4的特征提取層CSPDarkNet53和特征金字塔PANet 以及SPP模塊中，在適當?shù)貭奚糨^少的精準度的情況下，大幅度地降低了網(wǎng)絡的參數(shù)量及其模型占用空間。

1 網(wǎng)絡結(jié)構(gòu)設計

1.1 YOLOv4 網(wǎng)絡

YOLOv4 可看作YOLOv3的加強版，其總體框架仍基于YOLOv3。對于主干特征提取網(wǎng)絡backbone，YOLOv4 選擇更優(yōu)的CSPDarknet53 網(wǎng)絡，替換了原來的Darknet53 網(wǎng)絡；對于目標檢測器的neck，即YOLOv3 中的特征金字塔，將其從原來的FPN 修改為PANet，并新增了SPP 結(jié)構(gòu)，用于提升感受野，以較小計算量的增加換取較大準確率的提升；對獲取到的特征進行預測head 部分，仍沿用YOLOv3 中的YOLO模塊。最終網(wǎng)絡結(jié)構(gòu)如圖1 所示。

圖1 YOLOv4 結(jié)構(gòu)圖Fig.1 Structure of YOLOv4

除在以上模塊中的大改動之外，為了讓其更適合在單個GPU 上進行訓練，YOLOv4 對此做出了專門的創(chuàng)新。例如，引用新的數(shù)據(jù)增強方法：Mosaic和Self-Adversarial Training；使用遺傳算法來選擇最優(yōu)的超參數(shù)；改進一些現(xiàn)有的算法，使其更適合高效的訓練與檢測。如：改進SAM、PAN 以及Cross mini-Batch Normalization（CmBN）。

1.2 MobileNet 網(wǎng)絡

MobileNet 是基于深度可分離卷積構(gòu)造的網(wǎng)絡，其核心思想是將標準卷積拆分為兩個部分完成，即深度卷積和逐點卷積。對于標準卷積，其所有卷積核作用到所有的輸入通道上進行卷積操作，實現(xiàn)一步完成。而對于MobileNet 而言，其將先進行深度卷積操作，針對輸入的每個通道采用不同的卷積核，即一個卷積核對應一個輸入通道，再采用逐點卷積，利用1×1的卷積操作來結(jié)合所有深度卷積得到輸出。

輸入尺寸為D ×D ×M，標準卷積核的尺寸為D ×D ×M ×N。若采用標準卷積核進行計算，步長為1 且padding，則計算量為D ×D ×M×N× D×D。若采用深度可分離卷積進行計算，總計算量為D ×D ×M ×D ×D+M ×N ×D ×D。將深度可分離卷積的總計算量和標準卷積的總計算量相比可得：

通常情況下取值較大，假設采用3×3的卷積核，通過式（1）可計算得到采用深度可分離卷積相比標準卷積可降低大約9 倍的計算量。

MobileNetv2總體思想仍基于深度可分離卷積，核心由Bottleneck Residual block模塊組成，其結(jié)構(gòu)如圖2 所示。

圖2 Bottleneck Residual block Fig.2 Bottleneck Residual block

Bottleneck Residual block模塊引入了殘差結(jié)構(gòu)，增強了梯度的傳播；去掉了最后輸出時的ReLU，保留了特征多樣性，增強了網(wǎng)絡的表達能力；先對輸入進行升維，有助于提取到整體的足夠多的信息。MobileNetv2的整體網(wǎng)絡結(jié)構(gòu)參數(shù)設置見表1。

表1 MobileNetv2 參數(shù)設置Tab.1 MobileNetv2 parameter settings

1.3 整體網(wǎng)絡結(jié)構(gòu)

本文在YOLOv4 網(wǎng)絡基礎上，對網(wǎng)絡結(jié)構(gòu)進行調(diào)整。由表1 中數(shù)據(jù)可以看出，當輸入圖像尺寸為416×416×3 時，第3、5、7 層bottleneck的輸出分別為52×52×32、26×26×96、13×13×320。所以，以MobileNetv2的第4、6、8 層bottleneck 為界，將其劃分為3個模塊，并將這3個模塊代替YOLOv4 主干特征提取網(wǎng)絡中的3個有效特征層，從而實現(xiàn)MobileNetv2和YOLOv4的結(jié)合，替換后的模型為Mobile-YOLOv4。

將修改后的Mobile-YOLOv4 網(wǎng)絡與原YOLOv4網(wǎng)絡作比較，其參數(shù)量從64，040，001 下降到了39，062，013，參數(shù)量僅下降了39%，參數(shù)量和網(wǎng)絡大小下降程度并不理想。通過觀察圖1 可以發(fā)現(xiàn)，除主干特征提取層，YOLOv4 特征金字塔PANet 中存在著大量的標準卷積以及上采樣和下采樣的操作，這些卷積操作中包含的參數(shù)量極大，其存在的可壓縮空間也較大。可利用深度可分離卷積的思想，將其中3×3 卷積塊中的標準卷積替換成深度可分離卷積，從而實現(xiàn)參數(shù)量的下降。在SPP模塊的輸入和輸出端有兩個3×3的卷積塊，可利用上述相同的方法，替換其中的標準卷積，進一步壓縮模型的參數(shù)量和大小。最終輕量化后的網(wǎng)絡結(jié)構(gòu)如圖3 所示。其中Moble_block1、Moble_block2、Moble_block3 分別對應表1MobileNetv2 結(jié)構(gòu)中的1～4 層、5～6 層、7～8層，DW 為深度可分離卷積模塊。

圖3 輕量化后結(jié)構(gòu)圖Fig.3 Structure of lightweight YOLOv4

2 訓練及測試結(jié)果

2.1 網(wǎng)絡訓練

本文在服務器上采用GPU模式進行網(wǎng)絡訓練，其中訓練平臺配置為：Intel（R）Core（TM）i7-8700 3.2 GHz 處理器；顯卡為顯存12 GB的NVIDIA 2080Ti SLI；Ubuntu 18.04 64 位操作系統(tǒng)；深度學習框架為Pytorch。

數(shù)據(jù)集使用VOC07+12 數(shù)據(jù)集，該數(shù)據(jù)集包含20個類，共有16 551 張圖片，每張圖片在傳入網(wǎng)絡時，resize 大小為608×608。按照9 ∶1的比例將數(shù)據(jù)集分為訓練集和驗證集。如圖4 所示，當訓練約15個epoch 后，網(wǎng)絡收斂趨于平穩(wěn)。

圖4 Model lossFig.4 Model loss

2.2 測試結(jié)果

本文使用VOC2007test 數(shù)據(jù)集進行測試，將修改后的模型與原YOLOv4模型以及YOLO-CSL 進行對比。結(jié)果見表2。

表2 測試結(jié)果Tab.2 Test results

其中，Mobile-YOLOv4 為僅替換主干特征提取網(wǎng)絡backbone 對應的模型，Proposed 為本文所修改優(yōu)化后的模型。由表2 可看出，在僅替換backbone的情況下，參數(shù)量和模型大小下降并不明顯，無法達到理想效果，在對PANet和SPP模塊進行優(yōu)化過后，參數(shù)量相較于原YOLOv4 網(wǎng)絡降低了83.6%，下降程度明顯，同時也提升了5.8，＠05 僅下降了85，其準確率足夠應用于某些特定場景。同時，參數(shù)量模型大小的降低以及的提升，可降低對計算機硬件的要求。

3 結(jié)束語

本文首先將MobileNetv2和YOLOv4的網(wǎng)絡結(jié)構(gòu)對比后進行融合，得到全新的Mobile-YOLOv4 網(wǎng)絡，但是其實際壓縮效果并不理想，參數(shù)量下降不明顯。通過觀察YOLOv4的特征提取金字塔模塊和SPP模塊，得知其中參數(shù)量較大，所以利用MobileNet 中深度可分離卷積的思想，將其中的標準卷積模塊替換成深度可分離卷積模塊，從而更進一步使模型得到壓縮。最終本文利用上述方法改進后的網(wǎng)絡，在犧牲可接受的準確度前提下，使得網(wǎng)絡參數(shù)量和大小降低了83.6%，提升了FPS，降低了模型訓練的時間及預測時間，且降低了對于計算機硬件的要求。