朱行棟

（200093 上海市 上海理工大學(xué) 機械工程學(xué)院）

0 引言

隨著人工智能的發(fā)展，越來越多的場景變得智能化，智能化場景也慢慢以人為主體發(fā)展著。對行人進行檢測，從而使得應(yīng)用場景智能化，行人檢測技術(shù)在人工智能領(lǐng)域的發(fā)展和應(yīng)用已非常廣泛，如安防領(lǐng)域、視屏監(jiān)控、無人駕駛等[1]。高危職業(yè)對人體進行動作模擬和跟蹤，也都需要較為成熟的行人檢測技術(shù)。所以，研究行人檢測技術(shù)對于愈漸智能化的社會具有重要的理論和現(xiàn)實意義。

目前，最經(jīng)典的傳統(tǒng)行人檢測算法主要有HOG+SVM 算法[2]、DPM 算法等。HOG+SVM 算法是在2005 年由Dalal 等[3]提出的，采用行人方向梯度直方圖特征訓(xùn)練和融合的梯度直方圖特征訓(xùn)練，在MIT 數(shù)據(jù)集上通過SVM 分類器取得不錯的效果?；谏疃葘W(xué)習(xí)算法的一系列行人檢測中，R-CNN[4]，F(xiàn)ast-RC-NN[5]，F(xiàn)ast-RCNN，SSD[6]，YOLO 算法表現(xiàn)比較出色。其中，YOLO 系列算法的主要技術(shù)在于把檢測轉(zhuǎn)化為回歸問題，采用一個單獨的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)端到端的目標(biāo)檢測[7]。

上海理工大學(xué)實驗室目前正在進行機器人校園項目，垃圾督導(dǎo)機器人項目是其中一個重要分支，行人檢測正是垃圾督導(dǎo)機器人的核心技術(shù)之一。本文基于垃圾督導(dǎo)機器人項目研究YOLOv5 算法在行人檢測中的應(yīng)用。

1 YOLOv5 算法理論

1.1 YOLOv5 算法的來源

YOLOv5 算法是在YOLOv4 和YOLOv3 的基礎(chǔ)上發(fā)展而來，和YOLOv4 相比，YOLOv5 的架構(gòu)小了大約90%，在準(zhǔn)確度上，YOLOv5 的表現(xiàn)優(yōu)于目前市場的YOLOv3 和YOLOv4 算法。

1.2 YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)

圖1 所示為YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)圖，分為輸入端，Backbone，Neck 和Prediction 四個部分。其中，輸入端包括Mosaic 數(shù)據(jù)增強、自適應(yīng)圖片縮放、自適應(yīng)錨框計算，Backbone 包括Focus 結(jié)構(gòu)、CSP結(jié)構(gòu)，Neck 包括FPN+PAN 結(jié)構(gòu)，Prediction 包括GIOU_Loss 結(jié)構(gòu)。

圖1 YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YOLOv5 network structure

1.3 輸入端

輸入端的Mosaic 數(shù)據(jù)增強同YOLOv4，參照了Cut Mix 數(shù)據(jù)增強方式，區(qū)別在于Mosaic 數(shù)據(jù)采用4 張圖片，開始前每次讀取4 張圖片，然后依次對4 張圖片進行翻轉(zhuǎn)、縮放和色域變化等處理，再按照4 個方向擺好，根據(jù)不同位置進行圖片組合框的組合。這種隨機機制豐富了檢測物體的背景，在計算Batch Normalization 時會一次性計算4 張不同方向位置的數(shù)據(jù)，使得mini-batch 較小，利于減少GPU，可以達到較好效果。

自適應(yīng)錨框計算，針對不同的數(shù)據(jù)集設(shè)定初始長寬的錨框。YOLOv5 的網(wǎng)絡(luò)訓(xùn)練中，在設(shè)定的初始錨框上輸出預(yù)測錨框，用預(yù)測錨框和真實計算錨框ground truth 計算兩者誤差，反向傳播更新數(shù)據(jù)，通過多次迭代網(wǎng)絡(luò)參數(shù)達到最優(yōu)的錨框計算。

自適應(yīng)圖片縮放是指將不同長寬的圖片統(tǒng)一縮放到一個標(biāo)準(zhǔn)尺寸，然后再當(dāng)作數(shù)據(jù)集用來檢測處理。圖片縮放后，如果圖片兩邊填充的黑邊多，則存在信息冗余，影響速度。對此YOLOv5 進行了改進，修改了letterbox 函數(shù)，使得原始圖片能夠自適應(yīng)減少信息冗余，即減少黑邊。YOLOv5 算法對圖片自適應(yīng)縮放的步驟為計算縮放比例、計算縮放后尺寸、計算黑邊填充數(shù)值，其計算公式如式（1）：

式中：l1，w1——原始圖像的長和寬；l2，w2——原始縮放尺寸的長和寬；l3，w3——自適應(yīng)縮放尺寸的長和寬；——縮放比例系數(shù)。選擇小的縮放比例系數(shù)，再和原始圖像尺寸的長寬相乘，即得l2和w2；32——25，對應(yīng)YOLOv5 算法網(wǎng)絡(luò)的5次下采樣次數(shù)；——原本需要填充的高度，再采用numpy 中的np.mod 去余數(shù)的方式，得到8 個像素，用8 除以2，即得到圖片自適應(yīng)的兩端需要填空的數(shù)值。

1.4 Backbone

由圖1 的網(wǎng)絡(luò)結(jié)構(gòu)可知，Backbone 層級包括Focus 結(jié)構(gòu)、CSP 結(jié)構(gòu)。Focus 結(jié)構(gòu)是YOLOv5 算法區(qū)別于YOLOv3 和YOLOv4 的操作，F(xiàn)ocus 結(jié)構(gòu)的關(guān)鍵是切片操作，如圖2 所示，4×4×3 的圖片經(jīng)過切片操作后變成2×2×12 的特征圖，再將特征圖進行卷積核的卷積操作。圖3 所示為Focus 的結(jié)構(gòu)展示。

圖2 切片操作Fig.2 Slice operation

圖3 Focus 結(jié)構(gòu)Fig.3 Focus structure

Cross Stage Partial（CSP）結(jié)構(gòu)的設(shè)計初衷是減少冗余計算量和增強梯度。在YOLOv5 中設(shè)計了兩種不同的CSP 結(jié)構(gòu)，以YOLO5s 網(wǎng)絡(luò)為例，通過圖1 可以看出，CSP1_X 結(jié)構(gòu)應(yīng)用于Backbone 主干網(wǎng)絡(luò)，另一種CSP2_X 結(jié)構(gòu)則應(yīng)用于Neck 中。CSP結(jié)構(gòu)的具體組成見圖4。

圖4 CSP 結(jié)構(gòu)Fig.4 CSP structure

1.5 Neck

YOLOv5 的Neck 結(jié)構(gòu)和YOLOv4 的一樣，均用了FPN+PAN 的結(jié)構(gòu)，不同的是YOLOv5 網(wǎng)絡(luò)中的其他部分進行了調(diào)整。如圖5 所示，在FPN 層的后面還添加了一個自底向上的特征金字塔，包括2 個PAN 結(jié)構(gòu)。YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)通過這種方式結(jié)合，F(xiàn)PN 層自頂向下傳遞強語義特征，PAN 層自底向上傳遞強定位特征，從不同的主干層對不同的檢測層進行參數(shù)聚合，進一步提高特征提取的能力。

圖5 FPN+PAN 結(jié)構(gòu)Fig.5 FPN+PAN structure

1.6 Prediction

目標(biāo)檢測任務(wù)的損失函數(shù)一般由Classification Loss（分類損失函數(shù)）和Bounding Box Regression Loss（回歸損失函數(shù)）2 部分構(gòu)成。Yolov5 采用其中的GIoU_Loss做Bounding box 的損失函數(shù)，具體見式（2）。該公式加了一個影響因子v，將預(yù)測框和目標(biāo)框的尺寸系數(shù)比考慮了進去。

式中：v——衡量長寬系數(shù)比一致性的參數(shù)，具體可以定義為式（3）。

式（2）和式（3）中，均考慮了幾個重要的影響因素：重疊面積、中心點距離、長寬比系數(shù)。這種增加了影響因素的GIoU_Loss在IoU的基礎(chǔ)上解決了邊框不重合問題。然后YOLOv5 采用nms 非極大值抑制對很多目標(biāo)框進行篩選。

1.7 Leaky_ReLU 激活函數(shù)

YOLOv5 的激活函數(shù)采用的是Leaky_ReLU 激活函數(shù)，區(qū)別于YOLOv4 的Mish 激活函數(shù)。二者的圖形對比如圖6 所示。

圖6 Leaky_ReLU 和Mish 激活函數(shù)Fig.6 Leaky_ReLU and Mish activation function

其中，Leaky_ReLU 激活函數(shù)的公式如式（4），Mish 激活函數(shù)的公式如式（5）。

式中：λ——（0，1）之間的固定系數(shù)。

2 基于YOLOv5 的行人檢測實驗

2.1 實驗數(shù)據(jù)

本文是在coco 數(shù)據(jù)集的基礎(chǔ)上訓(xùn)練行人檢測模型，coco 數(shù)據(jù)集有80 個類和150 多萬個對象實例，選取coco 數(shù)據(jù)集作為本文實驗的初始模型是一個很好的標(biāo)準(zhǔn)。本文將“person”作為一個類，列出2個模型，并在coco-mAP-val推理時間上評估，最后將數(shù)據(jù)集分成相應(yīng)的訓(xùn)練集和測試集文件。

2.2 實驗平臺

本實驗的配置環(huán)境為Windows 10，64 位系統(tǒng)。在anaconda 中，基于Python3.8 搭建了一個虛擬環(huán)境en01，CUDA 和CUDN 為cudnn 7.6.5 for cuda10.2 版本，選用pytorch1.6 作為框架。

2.3 實驗參數(shù)設(shè)定

本實驗通過幾次迭代訓(xùn)練，以YOLOv5x 作為主干網(wǎng)絡(luò)，coco 預(yù)訓(xùn)練的權(quán)重作為模型初始化，迭代epoch 為100epoch 次。在輸入端的自適應(yīng)縮放的原始圖片尺寸為800×600，經(jīng)過自適應(yīng)縮放后的尺寸為426×320，由4 個像素的黑邊填充。將4×4×3 的圖片經(jīng)過切片操作后變成2×2×12 的特征圖，再將特征圖進行卷積核的卷積操作，減少模型訓(xùn)練過程中的冗余計算，提高了檢測精度，同時也提高了實驗?zāi)Ｐ偷聂敯粜浴?/p>

3 實驗結(jié)果分析

3.1 實驗過程及分析

實驗過程中，GIoU，Precision，Recall和mAP的變化趨勢如圖7—圖10 所示。GIOU 是源自IOU的一種邊框預(yù)測的損失計算方法，在行人檢測中需要對預(yù)測邊框和實際標(biāo)注邊框進行對比，計算邊框損失。由圖7 變化趨勢可知，在實驗迭代100 次時的GIOU值很小，最終結(jié)果需要參照1-GIOU判斷，預(yù)測邊框和實際邊框重疊區(qū)域越大，損失越小。本實驗1-GIOU接近于1，表明損失很小，模型檢測行人目標(biāo)性能較優(yōu)。行人檢測的精準(zhǔn)度也隨著迭代次數(shù)的增加而穩(wěn)定，準(zhǔn)確率在93%～95%波動。

圖7 GIOU 變化趨勢Fig.7 GIOU trend

圖9 表示實驗的召回率變化趨勢。觀察可知，YOLOv5 在剛開始迭代時損失函數(shù)較大，召回率很小，在迭代了數(shù)十次后召回率趨近于期望值100%。同樣，由圖10 可知，平均檢測精度mAP值隨著迭代次數(shù)趨近于1，無論是通過Precision，Recall還是mAP判斷，都能很好說明本文所采用的YOLOv5 算法在行人檢測領(lǐng)域的優(yōu)越。

圖8 Precision 變化趨勢Fig.8 Precision trend

圖9 Recall 變化趨勢Fig.9 Recall trend

圖10 mAP 變化趨勢Fig.10 mAP trend

3.2 行人檢測結(jié)果

圖11 是本實驗部分圖像的檢測結(jié)果。根據(jù)程序結(jié)果可以得到檢測時間。對于416×320 的圖像，YOLOv5 的檢測速度可達22 ms。由圖11 可以看出，利用YOLOv5 算法的行人檢測效果很好，即使是距離較遠的小目標(biāo)，定位也很準(zhǔn)確，幾乎沒有出現(xiàn)行人檢測的遺漏現(xiàn)象。結(jié)果表明，改進后的YOLOv5算法對行人檢測的精度和定位準(zhǔn)確度都有提升。

圖11 行人檢測結(jié)果Fig.11 Pedestrian detection results

4 結(jié)論

本文闡述了基于YOLOv5 網(wǎng)絡(luò)模型實現(xiàn)行人檢測的功能，包括YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)的4 個部分所包含的創(chuàng)新點以及模型訓(xùn)練。實驗結(jié)果表明，YOLOv5 算法降低了行人尺度和距離不同的影響，能夠更準(zhǔn)確地檢測行人，同時在檢測精度和檢測速度上都遠超YOLOv4 和YOLOv3 模型，具有一定的實用價值。下一步，針對數(shù)據(jù)集中模型人數(shù)眾多和重疊數(shù)量面積較多情況，可在網(wǎng)絡(luò)結(jié)構(gòu)上再次改進，使行人檢測在不同應(yīng)用場景下提高準(zhǔn)確率和速度。