王鑫鵬，王曉強(qiáng)，林 浩，李雷孝，李科岑，陶乙豪

1.內(nèi)蒙古工業(yè)大學(xué)信息工程學(xué)院，呼和浩特010080

2.天津理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，天津300384

3.內(nèi)蒙古工業(yè)大學(xué)數(shù)據(jù)科學(xué)與應(yīng)用學(xué)院，呼和浩特010080

近年來，智能手機(jī)給人們生活帶來了極大的便利，若駕駛員在駕駛過程中使用手機(jī)，將會(huì)危及自己乃至他人的生命，給交通安全帶來隱患。然而，目前針對(duì)該行為的監(jiān)督依舊存在不足：特定路段中的抓拍系統(tǒng)只能對(duì)固定范圍內(nèi)的違章行為進(jìn)行監(jiān)控，僅能在一定程度上約束駕駛員的手機(jī)使用行為，而駕駛過程中使用手機(jī)的行為是不確定且頻繁的，在未被監(jiān)控的路段僅靠駕駛員的自覺性很難保證行車的安全性。因此，為避免駕駛員在駕駛途中使用手機(jī)，減少因注意力分散而導(dǎo)致的交通事故，提出一種實(shí)時(shí)性、輕量化、適用于車輛內(nèi)部的目標(biāo)檢測模型，這將規(guī)范駕駛員的行車行為。

對(duì)駕駛員手機(jī)使用檢測算法的發(fā)展進(jìn)程進(jìn)行分析，得知現(xiàn)有的檢測方法主要存在如下缺點(diǎn)與不足：（1）圖像處理技術(shù)易受背景、光照以及駕駛員特征多樣性與不確定性的影響，不能在不同場景下達(dá)到良好的識(shí)別效果[1-2]；（2）傳統(tǒng)機(jī)器學(xué)習(xí)方式由于復(fù)雜的檢測、處理流程以及在處理大數(shù)據(jù)樣本時(shí)大量的迭代計(jì)算而導(dǎo)致檢測速度過慢，使得算法很難達(dá)到實(shí)時(shí)性[3-5]；（3）一些自建卷積神經(jīng)網(wǎng)絡(luò)因網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)簡單、所提取到的目標(biāo)特征信息不足而影響檢測精度[6-8]；（4）深度學(xué)習(xí)的典型目標(biāo)檢測算法雖然不需要人為劃分處理過程，端到端的算法設(shè)計(jì)簡化了檢測操作以及得到了硬件加速的計(jì)算支持，但由于深層次的數(shù)據(jù)操作導(dǎo)致算法模型的計(jì)算量仍然較大，不能很好地進(jìn)行車內(nèi)的實(shí)時(shí)性檢測[9-11]；（5）基于深度學(xué)習(xí)的檢測模型在優(yōu)化后實(shí)時(shí)性有所提升，但優(yōu)化程度往往取決于在何種算法上（優(yōu)化的基礎(chǔ)）進(jìn)行何種優(yōu)化（優(yōu)化的程度），當(dāng)前所優(yōu)化后的目標(biāo)檢測算法仍然不夠理想，在一些計(jì)算效率較低的嵌入式設(shè)備或者移動(dòng)設(shè)備上運(yùn)行仍然略顯不足[12]。

針對(duì)上述缺點(diǎn)，本文提出了一種兼具準(zhǔn)確性、實(shí)時(shí)性及輕量化的駕駛員手機(jī)使用檢測模型。該模型將Focal-EIoU Loss 與FocalL1 Loss 相結(jié)合，加快框回歸損失收斂的同時(shí)也提高了框回歸的準(zhǔn)確性；其次，在優(yōu)化過程中會(huì)對(duì)輕量化檢測算法Yolov5n 進(jìn)行Slimming剪枝，進(jìn)一步減少該算法的參數(shù)量、計(jì)算量及不必要的通道數(shù)，確定Slimming 剪枝在輕量化設(shè)計(jì)中的優(yōu)越性。本文具體工作如下：（1）通過將Focal-EIoU Loss與FocalL1 Loss相結(jié)合，驗(yàn)證了結(jié)合后的損失函數(shù)能夠在高質(zhì)量樣本較多的數(shù)據(jù)集中發(fā)揮重要作用；（2）實(shí)驗(yàn)對(duì)比了多種輕量化改進(jìn)方法，進(jìn)而說明Slimming 剪枝的有效性；（3）提出一種更加適用于嵌入式設(shè)備或移動(dòng)設(shè)備的實(shí)時(shí)檢測模型，并通過消融實(shí)驗(yàn)來說明每個(gè)優(yōu)化步驟所發(fā)揮的作用；（4）利用本文提出的優(yōu)化方案在公共數(shù)據(jù)集Pascal VOC 2012上進(jìn)行實(shí)驗(yàn)，驗(yàn)證該優(yōu)化方案的通用性。

1 優(yōu)化Yolov5n算法

由于Yolov5 算法能夠有效地對(duì)目標(biāo)進(jìn)行檢測與識(shí)別，因此該系列算法受到眾多研究學(xué)者的熱愛。Yolov5n算法屬于Yolov5 系列算法中最為輕量化的目標(biāo)檢測模型，相比Yolov5系列的其他算法，其在保持一定檢測精度的前提下極大地減少了模型參數(shù)量與計(jì)算量。因此在Yolov5n 算法上進(jìn)行改進(jìn)將會(huì)更有利于實(shí)現(xiàn)駕駛員手機(jī)使用行為的高實(shí)時(shí)性、高準(zhǔn)確性檢測。本文對(duì)于Yolov5n算法的優(yōu)化主要包括三方面：數(shù)據(jù)增強(qiáng)、框回歸損失函數(shù)、Slimming 剪枝算法。優(yōu)化后的算法流程如圖1 所示，虛線部分表示優(yōu)化后的操作。其中，由于剪枝算法會(huì)破壞模型原有的權(quán)重信息，同時(shí)為了提高模型的訓(xùn)練及剪枝效率，本文在進(jìn)行稀疏訓(xùn)練時(shí)將利用原始訓(xùn)練集對(duì)剪枝操作進(jìn)行指導(dǎo)，而在之后的模型微調(diào)中則會(huì)通過數(shù)據(jù)增強(qiáng)后的訓(xùn)練集來讓模型學(xué)習(xí)到更加豐富的圖像特征。

圖1 算法流程圖Fig.1 Algorithm flowchart

1.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)對(duì)于模型的表現(xiàn)有很大的影響，利用數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，減少模型過擬合的同時(shí)增加了原有數(shù)據(jù)圖像的豐富性，使經(jīng)過訓(xùn)練后的模型能更好地適應(yīng)復(fù)雜的檢測環(huán)境。

Yolov5n 算法本身內(nèi)置了一些數(shù)據(jù)增強(qiáng)方法，如模糊處理、灰度化等，但這些方法是對(duì)每張圖像同時(shí)進(jìn)行增強(qiáng)處理，雖然這種操作增加了圖片的豐富性，但卻不能顯著增加圖片數(shù)據(jù)量。由于駕駛員使用手機(jī)的行為圖像較為缺少，因此，本文將會(huì)單獨(dú)采用一些增強(qiáng)方法分別對(duì)每張圖像進(jìn)行處理，圖像每經(jīng)過一次處理原數(shù)據(jù)量則增加一倍，同時(shí)該操作也解決了數(shù)據(jù)集圖像較為單一的問題。

本文采用的手機(jī)使用數(shù)據(jù)集為Driver Behavior Dataset[13]中的部分類別，即：打電話行為和編輯信息行為。該數(shù)據(jù)集結(jié)合了State Farm 數(shù)據(jù)集與其他相關(guān)數(shù)據(jù)集，兩種不同拍攝角度的數(shù)據(jù)采集可使訓(xùn)練后的模型泛化性更強(qiáng)。本文利用數(shù)據(jù)增強(qiáng)庫Albumentations中的8 種數(shù)據(jù)增強(qiáng)方法分別對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充，擴(kuò)充方法如圖2 所示。其中，本文通過Hue SaturationValue 方法來人為改變原圖片Hue（色調(diào)）、Saturation（飽和度）、Value（明度）的范圍，相應(yīng)增加或減少原圖片的明亮，進(jìn)而有效地模擬光照環(huán)境，使模型在光照環(huán)境下能有更好的檢測精度。

圖2 數(shù)據(jù)增強(qiáng)方法Fig.2 Data augmentation methods

1.2 框回歸損失函數(shù)

本文所使用的框回歸損失Focal-EIoU Loss（s）結(jié)合了Focal-EIoU Loss與FocalL1 Loss[14]，使得結(jié)合后的損失函數(shù)能夠提供更加快速的損失收斂與預(yù)測框的定位。

1.2.1 CIoU Loss

有效的損失函數(shù)可以提高模型的收斂速度與檢測精度。傳統(tǒng)的Yolov5n 算法使用的CIoU 損失導(dǎo)致預(yù)測框的長寬不能同時(shí)進(jìn)行同方向調(diào)整，從而使得損失收斂變慢、框定位不夠精確。CIoU損失的計(jì)算公式如式（1）所示：

v關(guān)于邊長w和h的梯度如式（2）所示：

式中，IoU為預(yù)測框與目標(biāo)框的交并比，IoU范圍在[0，1]之間；ρ()?代表預(yù)測框和目標(biāo)框中心點(diǎn)距離，c代表預(yù)測框和目標(biāo)框最小外接矩形的對(duì)角線距離；α代表平衡參數(shù)，不參與梯度計(jì)算；v用來衡量預(yù)測框和真實(shí)框的寬和高之間的比例一致性；gt代表目標(biāo)框；由式（2）可知w和h的梯度值具有相反的符號(hào)，這在訓(xùn)練的過程中會(huì)出現(xiàn)如下問題：當(dāng)w和h其中一個(gè)值增大時(shí)，另一個(gè)必然減小，不能保持同增同減，這會(huì)導(dǎo)致?lián)p失函數(shù)收斂過慢以及框定位的不精確。推導(dǎo)如下：

由上述梯度更新公式（其中αt為t輪迭代的學(xué)習(xí)率）可知，在進(jìn)行梯度更新時(shí)，w、h參數(shù)的更新方式將如下所示：

將公式（2）代入上述更新方式，可得：t

由于w、h會(huì)相加或相減同一數(shù)值，故在進(jìn)行參數(shù)更新時(shí)，w、h參數(shù)必有一個(gè)增大，一個(gè)減小。

1.2.2 Focal-EIoU Loss（s）

對(duì)于CIoULoss 存在的問題，EIoU 損失直接舍棄了長寬比的懲罰項(xiàng)，而是利用w和h的預(yù)測結(jié)果對(duì)損失的收斂進(jìn)行指導(dǎo)，計(jì)算公式如式（3）所示：

其中，Cw和Ch分別是預(yù)測框和目標(biāo)框最小外接矩形的寬和高。從中可以看出，EIoU 將損失函數(shù)分成了三個(gè)部分：IoU損失LIoU、距離損失Ldis、邊長損失Lasp，而基于邊長的懲罰將有利于模型中損失函數(shù)的快速收斂及精度的提升。

另一方面，為進(jìn)一步增加高質(zhì)量樣本在訓(xùn)練時(shí)的重要程度，在借鑒了解決類別不平衡問題的Focal Loss之后，文獻(xiàn)[14]相繼提出了用于解決回歸不平衡問題的FocalL1 Loss 與Focal-EIoU Loss。FocalL1 Loss 函數(shù)圖像及梯度曲線如圖3 所示，公式如式（4）所示，F(xiàn)ocal-EIoU Loss的定義公式如式（5）所示。

圖3 FocalL1 Loss函數(shù)圖像及梯度曲線Fig.3 FocalL1 Loss function image and gradient curve

式（4）中，β可控制曲線的弧度，不論β為何值時(shí)α都可控制函數(shù)的梯度在[0，1]之間，α=eβ，C=(2αlnβ+α)/4；式（5）中γ為可控制抑制程度的參數(shù)。

FocalL1 Loss函數(shù)的主要設(shè)計(jì)理念如下：當(dāng)框回歸誤差較小（高質(zhì)量樣本）時(shí)，梯度更新的幅度應(yīng)該迅速增加，而在框回歸誤差較大時(shí)（低質(zhì)量樣本），梯度更新的幅度應(yīng)該逐漸減小。這種理念增加了高質(zhì)量樣本在模型訓(xùn)練時(shí)的作用，提高損失函數(shù)收斂速度的同時(shí)也增加了定位精度。為了結(jié)合EIoU Loss 與Lf(x)的優(yōu)點(diǎn)，使EIoU Loss關(guān)注于高質(zhì)量樣本，把EIoU Loss作為Lf(x)的x值代入公式（4）中顯得更為合適，即當(dāng)EIoU Loss的損失值減小時(shí)，其將加快梯度的更新（關(guān)注于高質(zhì)量樣本）。但當(dāng)EIoU Loss趨于0時(shí)，預(yù)測框的梯度更新將會(huì)逐漸減小，這反而抑制了高質(zhì)量樣本對(duì)模型訓(xùn)練的影響[14]。為解決該問題而提出了Focal-EIoU Loss 損失，該損失利用IoU 值對(duì)EIoU Loss 進(jìn)行加權(quán)，使得高質(zhì)量樣本（框回歸損失較?。┑玫降臋?quán)重更大，在模型訓(xùn)練時(shí)將會(huì)更加關(guān)注高質(zhì)量樣本。

FocalL1 Loss 與Focal-EIoU Loss 在框回歸的過程中都將關(guān)注于高質(zhì)量樣本，但Focal-EIoU Loss 基于加權(quán)的做法在高質(zhì)量樣本較多時(shí)就會(huì)顯得不那么高效，而FocalL1 Loss 不會(huì)受到高質(zhì)量樣本較多而導(dǎo)致回歸效率降低的影響，當(dāng)高質(zhì)量樣本較多時(shí)，F(xiàn)ocalL1 Loss 的梯度更新甚至?xí)涌?。因此本文將結(jié)合FocalL1 Loss與Focal-EIoU Loss來提高損失函數(shù)的收斂速度與框定位精度，結(jié)合后的回歸損失函數(shù)稱為：Focal-EIoU Loss（s），公式如式（6）所示。

雖然當(dāng)EIoU Loss 趨于0 時(shí)，F(xiàn)ocalL1 Loss 與EIoU Loss系列相結(jié)合會(huì)抑制高質(zhì)量樣本對(duì)模型訓(xùn)練的影響，但實(shí)驗(yàn)表明，這種抑制作用對(duì)本文所用數(shù)據(jù)集的影響是微弱的。

1.3 Slimming剪枝算法

減少Yolov5n模型的參數(shù)量和計(jì)算量可以通過多種方法實(shí)現(xiàn)，例如優(yōu)化骨干網(wǎng)絡(luò)、模型壓縮等?？紤]到模型實(shí)時(shí)性，僅僅關(guān)注參數(shù)量與計(jì)算量是不夠的，還要關(guān)注模型在優(yōu)化后的推理速度，有些優(yōu)化方案雖然減少了參數(shù)量與計(jì)算量，但模型的推理速度也相應(yīng)增長，這將導(dǎo)致模型的實(shí)時(shí)性變差。因此本文在對(duì)比了多種優(yōu)化方案后選擇使用Slimming剪枝算法[15]對(duì)模型進(jìn)行壓縮。

Slimming 剪枝算法利用BN（batch normalization）層的γ參數(shù)來衡量當(dāng)前通道的重要程度，并使用L1 損失來稀疏化γ值。BN層作為一種能加速網(wǎng)絡(luò)收斂及提高網(wǎng)絡(luò)性能的標(biāo)準(zhǔn)方法，被廣泛應(yīng)用到現(xiàn)代神經(jīng)網(wǎng)絡(luò)中，其基本公式如式（7）所示：

其中，zin和zout分別是BN層的輸入和輸出，μB表示本批次該層輸入的均值，σB表示本批次該層輸入的方差。BN 層會(huì)對(duì)卷積后的輸出特征乘上γ因子（縮放因子）來調(diào)整其分布，如果γ因子很小，那么這個(gè)通道的輸出值也會(huì)很小，進(jìn)而就代表著該通道對(duì)于后續(xù)網(wǎng)絡(luò)的貢獻(xiàn)就很小，在剪枝時(shí)就會(huì)刪減這些不重要的通道，保留較為重要的通道，從而實(shí)現(xiàn)模型的壓縮。

Slimming剪枝算法的定義公式如下：

其中，(x,y)是訓(xùn)練的輸入和目標(biāo)，W為網(wǎng)絡(luò)中的可訓(xùn)練參數(shù)，前一項(xiàng)代表卷積神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練損失函數(shù)，g(?)是縮放因子上的懲罰項(xiàng)，λ是兩項(xiàng)的平衡因子。在現(xiàn)實(shí)研究中，L1 正則化(g(s)=| |s) 被廣泛地用于稀疏化。該剪枝算法包含三個(gè)步驟：稀疏正則化、剪枝、微調(diào)，其中稀疏正則化就是在模型訓(xùn)練時(shí)利用L1 損失來標(biāo)記通道的重要程度，剪枝則是根據(jù)通道的重要程度進(jìn)行修剪，而修剪不重要的通道可能會(huì)造成模型短暫的性能降低，因此在剪枝后還需要進(jìn)行模型的微調(diào)。

為了提高模型的訓(xùn)練效率，使模型在微調(diào)后能有更好的檢測效果，本文在進(jìn)行模型稀疏正則化時(shí)僅利用原始訓(xùn)練集對(duì)模型進(jìn)行稀疏訓(xùn)練，而在微調(diào)階段時(shí)才利用數(shù)據(jù)增強(qiáng)后的訓(xùn)練集對(duì)模型進(jìn)行微調(diào)。如果使用數(shù)據(jù)增強(qiáng)后的訓(xùn)練集進(jìn)行稀疏訓(xùn)練，雖然這種做法增加了模型最初的檢測精度，但模型經(jīng)過剪枝后又會(huì)使檢測精度大幅度降低，影響了模型的訓(xùn)練效率，而使用原始訓(xùn)練集進(jìn)行稀疏訓(xùn)練不僅能有效識(shí)別不重要的通道數(shù)，還降低了稀疏訓(xùn)練的時(shí)間。在微調(diào)時(shí)使用數(shù)據(jù)增強(qiáng)后的訓(xùn)練集可以使模型微調(diào)到更加優(yōu)秀的檢測精度，有利于模型整體性能的提升。

2 實(shí)驗(yàn)結(jié)果分析

為了滿足實(shí)際檢測需求，本文使用“手持通話”“編輯手機(jī)”兩種類別數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練、驗(yàn)證及測試。去除掉圖片間的重復(fù)信息后，數(shù)據(jù)集的具體信息如表1所示，其中手機(jī)使用數(shù)據(jù)集在進(jìn)行數(shù)據(jù)增強(qiáng)后，訓(xùn)練集的整體數(shù)量由3 268 張擴(kuò)展到29 582 張，驗(yàn)證集的整體數(shù)量由482 張擴(kuò)展到4 056 張，測試集由411 張擴(kuò)展到3811張。

表1 數(shù)據(jù)集信息Table 1 Dataset information

為保持?jǐn)?shù)據(jù)的隨機(jī)性，在進(jìn)行數(shù)據(jù)集的劃分時(shí)訓(xùn)練集、驗(yàn)證集、測試集的比例基本保持在8∶1∶1。此外，為了保持?jǐn)?shù)據(jù)增強(qiáng)后的數(shù)據(jù)集也具有隨機(jī)性，本文在對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)之后才進(jìn)行訓(xùn)練集、驗(yàn)證集及測試集的劃分，而不是在原始訓(xùn)練集、驗(yàn)證集及測試集的基礎(chǔ)上進(jìn)行數(shù)據(jù)的增強(qiáng)。在進(jìn)行模型訓(xùn)練時(shí)超參數(shù)皆為默認(rèn)，實(shí)驗(yàn)環(huán)境如表2所示。

表2 GPU服務(wù)器配置Table 2 GPU server configuration

2.1 框回歸損失函數(shù)對(duì)比實(shí)驗(yàn)

本實(shí)驗(yàn)的目的是通過對(duì)比LEIoU、LFocal-EIoU、Lf(LEIoU)、Lf(LFocal-EIoU)這四種損失函數(shù)，進(jìn)而驗(yàn)證Lf(LFocal-EIoU)在類別數(shù)量相對(duì)較少，識(shí)別目標(biāo)相對(duì)較大，高質(zhì)量樣本相對(duì)較多的數(shù)據(jù)集中能表現(xiàn)出更高的有效性。本文在手機(jī)使用數(shù)據(jù)集（原始）及Pascal VOC 2012 數(shù)據(jù)集的基礎(chǔ)上，通過更改Yolov5n 的框回歸損失函數(shù)來進(jìn)行上述四種損失函數(shù)的對(duì)比試驗(yàn)，結(jié)果如圖4所示，其中Lf(x)中的β值與γ值取實(shí)驗(yàn)結(jié)果最優(yōu)的值：β值為0.8，γ值為0.5[14]。

圖4 框回歸損失函數(shù)在數(shù)據(jù)集上的對(duì)比Fig.4 Comparison of box regression loss functions on datasets

由圖4可知，Lf(LFocal-EIoU)相比LEIoU、LFocal-EIoU以及Lf(LEIoU)不論是在收斂速度還是回歸精度上都能使模型達(dá)到更高的檢測性能。其次，Lf(x)相比LFocal-EIoU會(huì)在高質(zhì)量樣本較多（與目標(biāo)框重疊較多）的數(shù)據(jù)集中發(fā)揮更重要的作用，即在原數(shù)據(jù)集上（該數(shù)據(jù)集目標(biāo)種類少、識(shí)別目標(biāo)大），LEIoU到LFocal-EIoU所實(shí)現(xiàn)的精度提升并不大，但LEIoU到Lf(LEIoU)的提升卻是巨大的。產(chǎn)生這種現(xiàn)象的原因可能在于：LFocal-EIoU是利用IoU 的權(quán)重來關(guān)注高質(zhì)量樣本，但當(dāng)高質(zhì)量樣本在數(shù)據(jù)集中出現(xiàn)較多或者樣本的整體質(zhì)量得到提升時(shí)，這種加權(quán)的做法就會(huì)顯得不那么高效，而Lf(x)不會(huì)受到高質(zhì)量樣本較多而導(dǎo)致回歸效率降低的影響，當(dāng)高質(zhì)量樣本較多時(shí)，Lf(x)的梯度更新甚至?xí)涌臁Ａ硪环矫?，?dāng)LEIoU趨于0時(shí)，雖然Lf(x)與LEIoU系列相結(jié)合的損失函數(shù)會(huì)抑制高質(zhì)量樣本對(duì)模型訓(xùn)練的指導(dǎo)，但這種影響還是要低于高質(zhì)量樣本對(duì)于LFocal-EIoU的影響。因此，Lf(LEIoU)及Lf(LFocal-EIoU)能夠在本文甚至Pascal VOC 2012 這種類別數(shù)量較少，識(shí)別目標(biāo)較大，高質(zhì)量樣本較多的數(shù)據(jù)集中表現(xiàn)出較高的回歸精度與收斂速度，但隨著類別數(shù)目逐漸增大，識(shí)別目標(biāo)逐漸減小以及高質(zhì)量樣本的逐漸降低，例如在COCO 數(shù)據(jù)集中，LFocal-EIoU這種基于IoU權(quán)重的方式所發(fā)揮的作用隨之增加，進(jìn)而在性能上超過Lf(LEIoU)[14]。

2.2 輕量化對(duì)比實(shí)驗(yàn)

該實(shí)驗(yàn)驗(yàn)證了Slimming 算法能更加有效地增加Yolov5n模型的輕量化和實(shí)時(shí)性水平。本實(shí)驗(yàn)中利用常見的Ghost Conv[16]、MobileNet v3-small[17]、ShuffleNet v2[18]三種算法來優(yōu)化Yolov5n 的骨干網(wǎng)絡(luò)并與Slimming 算法進(jìn)行對(duì)比實(shí)驗(yàn)。其中，利用算法對(duì)每張圖片的推理時(shí)間Time 來衡量算法的實(shí)時(shí)性，Time 取10 次中的平均值；“Ghost Conv-C3”表示利用Ghost Conv來替代Yolov5n中的Conv 模塊以及C3 模塊中的Conv 模塊，“Ghost C3”表示利用Ghost Conv 來替代C3 模塊中的Conv 模塊。利用驗(yàn)證集進(jìn)行驗(yàn)證時(shí)，經(jīng)過實(shí)驗(yàn)對(duì)比，選取conf-thres=0.01,iou-thres=0.37，同時(shí)batch-size=1。

由表3 可知，在保持模型輕量化的基礎(chǔ)上，與其他輕量化算法相比Slimming能有效地降低模型的推理速度，進(jìn)而提高模型原有的實(shí)時(shí)性。上述四種算法減少參數(shù)量與計(jì)算量的同時(shí)也降低了模型的檢測精度，但檢測精度可通過其他方式提高，例如本文的數(shù)據(jù)增強(qiáng)方法、框回歸損失函數(shù)等。Ghost Conv、MobileNet v3-small、ShuffleNet v2都增加了模型的推理時(shí)間，這也說明這些方法不利于模型的實(shí)時(shí)性檢測，原因在于：Ghost Conv、ShuffleNet v2都使用了分組卷積，雖然分組卷積能夠降低計(jì)算的復(fù)雜度（FLOP），但這也帶來了更多的內(nèi)存訪問消耗（memory access cost，MAC），從而降低了推理速度，相關(guān)實(shí)驗(yàn)表明分組數(shù)越大MAC也就越大；另一方面，MobileNet v3-small 中使用SE-Net 進(jìn)一步增加了模型的復(fù)雜化，這種多路徑的結(jié)構(gòu)對(duì)具有強(qiáng)大并行計(jì)算能力的設(shè)備不夠友好，推理速度也會(huì)有所降低。因此，為減少分組卷積的使用以及精簡網(wǎng)絡(luò)結(jié)構(gòu)，利用Slimming對(duì)Yolov5n算法進(jìn)行剪枝可有效提高模型的輕量化和實(shí)時(shí)性。

表3 骨干網(wǎng)絡(luò)優(yōu)化方法Table 3 Backbone network optimization methods

2.3 消融實(shí)驗(yàn)

本實(shí)驗(yàn)的目的是利用上述Focal-EIoULoss（s）、Slimming 剪枝以及數(shù)據(jù)增強(qiáng)方法對(duì)Yolov5n 算法進(jìn)行消融實(shí)驗(yàn)，進(jìn)而對(duì)比出各優(yōu)化步驟對(duì)于模型性能的提升，實(shí)驗(yàn)結(jié)果如表4 所示。其中，所有模型中的剪枝操作僅使用一次，為了能使模型在微調(diào)時(shí)充分學(xué)習(xí)到增強(qiáng)數(shù)據(jù)的有效特征，微調(diào)操作均采用較大的epochs 值60；模型B、C均使用原始數(shù)據(jù)進(jìn)行微調(diào)；為了突出微調(diào)操作的重要性，模型C、F 在進(jìn)行微調(diào)時(shí)會(huì)使用Focal-EIoU Loss（s），而在之前的稀疏學(xué)習(xí)時(shí)使用原損失函數(shù)CIoU Loss，同時(shí)模型D、F的增強(qiáng)數(shù)據(jù)也只會(huì)在微調(diào)操作中使用。Times 表示模型處理每張圖片所用的時(shí)間，即模型預(yù)處理時(shí)間、模型推理時(shí)間以及NMS（non maximum suppression）處理時(shí)間三者之和，Times 取10 次實(shí)驗(yàn)的平均值。在利用驗(yàn)證集進(jìn)行以下模型的驗(yàn)證時(shí)，經(jīng)過實(shí)驗(yàn)對(duì)比，選取conf-thres=0.01,iou-thres=0.37,同時(shí)batch-size=64。

表4 Yolov5n消融實(shí)驗(yàn)Table 4 Yolov5n ablation experiment

由表4 可知，對(duì)Yolov5n 模型進(jìn)行剪枝可以使其減少44.4%的參數(shù)量以及45.2%的計(jì)算量，但這也使得模型精度有所降低；Focal-EIoU Loss（s）及數(shù)據(jù)增強(qiáng)都提高了模型的檢測精度，進(jìn)而增加了模型剪枝后的檢測效率。通過對(duì)比，數(shù)據(jù)增強(qiáng)非常有利于模型精度的提升：由模型C、F 可知，使用數(shù)據(jù)增強(qiáng)后模型F 的mAP@0.5：0.95 值提高了5.8 個(gè)百分點(diǎn)，所以在進(jìn)行算法優(yōu)化時(shí)使用數(shù)據(jù)增強(qiáng)操作是必要的。除此之外，對(duì)比模型B、D以及模型C、F可知，Slimming可以在一定程度上減少模型的檢測速度，數(shù)據(jù)增強(qiáng)操作會(huì)增加模型的檢測速度。最后，經(jīng)過上述三種方法的改進(jìn)可使優(yōu)化后的Yolov5n 算法（F 模型，Model-F）在手機(jī)使用數(shù)據(jù)集上的mAP 值提高0.2 個(gè)百分點(diǎn)，mAP@0.5：0.95 提高2.4 個(gè)百分點(diǎn)，在batch-size=64 的條件下，模型處理圖片的時(shí)間由2.89 ms縮小到2.30 ms（346 FPS 增加到434 FPS）。Model-F 模型相比其他模型能同時(shí)兼具更優(yōu)的檢測精度、計(jì)算量、參數(shù)量以及較為優(yōu)秀的檢測速度，完全可以進(jìn)一步實(shí)現(xiàn)在移動(dòng)設(shè)備及嵌入式設(shè)備上的實(shí)時(shí)性檢測。Model-F模型的檢測圖例如圖5所示。

圖5 Model-F模型的檢測示例Fig.5 Model-F model detection example

2.4 模型通用性實(shí)驗(yàn)

為驗(yàn)證本文提出優(yōu)化方法的有效性，利用Yolov5n及優(yōu)化后的算法Model-F 分別在Road Signs Dataset數(shù)據(jù)集[19]和Pascal VOC 2012 數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果如表5 所示。其中，Road Signs Dataset 包含4種類別信息以及真實(shí)場景下拍攝的交通標(biāo)志圖片，部分圖片識(shí)別目標(biāo)較小，識(shí)別難度要高于本文所采用的手機(jī)使用數(shù)據(jù)集；Pascal VOC 2012數(shù)據(jù)集多為真實(shí)場景下的數(shù)據(jù)，包含多種類信息的同時(shí)具有良好的圖片質(zhì)量和完整的標(biāo)簽，多用作模型性能的評(píng)估。

表5 Yolov5n與Model-F的對(duì)比實(shí)驗(yàn)Table 5 Comparison test of Yolov5n and Model-F

通過對(duì)比表4 和表5 可知，針對(duì)手機(jī)使用數(shù)據(jù)集、Road Signs Dataset、Pascal VOC 2012，Model-F模型的檢測精度（mAP）相比原始算法分別提升了0.2、7.5、12.3個(gè)百分點(diǎn)；由于駕駛員手機(jī)使用的數(shù)據(jù)集識(shí)別目標(biāo)較大、類別總數(shù)較少，Yolov5n算法已經(jīng)能達(dá)到較高的檢測精度，所以Model-F模型在該數(shù)據(jù)集上的精度提升是有限的，而隨著識(shí)別目標(biāo)減小、類別數(shù)量增多，Model-F 模型在精度上的提升也越大，這進(jìn)一步說明了該模型改進(jìn)方法的有效性；Slimming 根據(jù)通道的重要程度進(jìn)行剪枝，因此Model-F 模型在上述三種數(shù)據(jù)集中所得到的FLOPs 以及Param 不盡相同；在Road Signs Dataset 數(shù)據(jù)集上，Model-F 的實(shí)時(shí)性可達(dá)411 FPS，相比原算法提升了94 FPS，在Pascal VOC 2012數(shù)據(jù)集上，Model-F的實(shí)時(shí)性可達(dá)431 FPS，相比原算法提升了90 FPS。通過在Road Signs Dataset、Pascal VOC 2012兩種數(shù)據(jù)集上的對(duì)比結(jié)果可知，本文提出的方法具有良好的通用性。

3 結(jié)語

針對(duì)駕駛員手機(jī)使用檢測實(shí)時(shí)性不足的問題，結(jié)合Slimming 剪枝算法、Focal-EIoU Loss（s）以及數(shù)據(jù)增強(qiáng)技術(shù)，提出了一種兼具輕量化、高精度、實(shí)時(shí)性的Yolov5n檢測模型。經(jīng)過優(yōu)化后的Yolov5n模型（Model-F模型）在檢測手機(jī)使用數(shù)據(jù)集、Road Signs Dataset 數(shù)據(jù)集、Pascal VOC 2012 數(shù)據(jù)集時(shí)都能夠獲得性能上的顯著提升，這說明Model-F模型在駕駛員手機(jī)使用場景中具有較好的適用性，同時(shí)也說明了本文所提出的改進(jìn)方法具有較好的通用性。由實(shí)驗(yàn)可知，Model-F 模型的檢測速度可達(dá)430 FPS，有利于模型進(jìn)一步在移動(dòng)設(shè)備及嵌入式設(shè)備上的部署及實(shí)時(shí)性檢測。

另一方面，本文通過與其他多種框回歸損失函數(shù)進(jìn)行對(duì)比，驗(yàn)證了Focal-EIoU Loss（s）能夠在本文數(shù)據(jù)集以及Pascal VOC 2012這種識(shí)別目標(biāo)較大、高質(zhì)量樣本較多的數(shù)據(jù)集中表現(xiàn)出較高的回歸精度與收斂速度。其次，在應(yīng)用Slimming剪枝技術(shù)的過程中，本文對(duì)比了常見的網(wǎng)絡(luò)結(jié)構(gòu)更改方法（Ghost Conv、MobileNet v3-small、ShuffleNet v2），發(fā)現(xiàn)這些方法雖然都能有效減少模型的計(jì)算量，但也相應(yīng)地增加了模型的推理時(shí)間，不利于模型的實(shí)時(shí)性，這也表明這種結(jié)構(gòu)的改進(jìn)并不能一定增加模型的實(shí)時(shí)性，而應(yīng)用Slimming 剪枝卻能增加一定的實(shí)時(shí)性，這種對(duì)比發(fā)現(xiàn)將會(huì)對(duì)其他算法的改進(jìn)研究提供一定的思路。

現(xiàn)如今對(duì)于駕駛員手機(jī)使用的檢測模型已經(jīng)能夠達(dá)到較為準(zhǔn)確的精度，但實(shí)時(shí)性往往并不理想，未來進(jìn)一步提高模型在移動(dòng)設(shè)備或嵌入式設(shè)備上的實(shí)時(shí)性檢測，這一研究將會(huì)備受關(guān)注。