李延滿，王必恒，趙羚焱

（1.國電南瑞科技股份有限公司，江蘇 南京 210000；2.南京信息工程大學(xué)計算機(jī)學(xué)院，江蘇 南京 210044）

0 引 言

隨著物聯(lián)網(wǎng)、人工智能等技術(shù)的飛速發(fā)展，配電網(wǎng)運(yùn)維施工安全監(jiān)控逐步走向智能化［1］。它可以監(jiān)控設(shè)備故障、違規(guī)操作、非法闖入以及火災(zāi)隱患等，極大降低了勞動密集程度，并有效防止人身事故的發(fā)生。安全帽檢測是常規(guī)檢查項目，與工人的安全息息相關(guān)。

傳統(tǒng)的安全帽檢測方法主要依賴于多特征融合，通過圖像處理技術(shù)獲取膚色、頭部以及面部等信息，然后進(jìn)行相應(yīng)的檢測。例如，Waranusast 等人［2］提出了一種基于K 近鄰的摩托車頭盔自動檢測系統(tǒng)。Li等人［3］應(yīng)用霍夫變換確定安全帽的形狀，并利用相應(yīng)的直方圖訓(xùn)練支持向量機(jī)，進(jìn)而進(jìn)行檢測。傳統(tǒng)的安全帽檢測方法往往不考慮復(fù)雜的背景環(huán)境，存在大量誤檢和漏檢的問題，對中、小物體敏感，導(dǎo)致較高的誤報率，同時速度較慢，很難做到實時檢測［4］。

近年來，深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域取得了突破性進(jìn)展，使目標(biāo)檢測的精確度和效率得到了較大提升。

文獻(xiàn)［5］在Faster R-CNN 基礎(chǔ)上進(jìn)行改進(jìn)，將在線挖掘與多部分檢測相結(jié)合，識別工人是否佩戴安全帽。張業(yè)寶等人［6］提出了一種基于改進(jìn)SSD 的安全帽佩戴檢測方法，通過綜合不同卷積層的特征圖，在多個特征圖上生成多個候選框，提升對小目標(biāo)的檢測效果。這2 種方法都屬于雙階段的目標(biāo)檢測方法，識別效果好，但是速度慢，不適于視頻處理。馬小陸等人［7］通過減小模型、改進(jìn)分類損失、輸出端引入跳躍連接等方法，改進(jìn)YOLOv3 算法，增強(qiáng)對安全帽佩戴中小目標(biāo)的檢測。Filatov 等人［8］則在YOLOv4 基礎(chǔ)上，將SqueezeDet 和MobileNets 組合，顯著提升安全帽檢測算法的精確度。Li 等人［9］在YOLOv5 基礎(chǔ)上，提出一種分層正樣本選擇機(jī)制，提高模型的擬合度。文獻(xiàn)［10-11］通過引入注意力機(jī)制和多級特征提高模型的識別率。以上算法均基于視頻進(jìn)行實時安全帽檢測，但對于嵌入式系統(tǒng)來說，過于復(fù)雜，時間過長。在Jestson Xavier NX 設(shè)備上，文獻(xiàn)［12］提出外接圓半徑（Circumcircle Radius Difference，CRD）損失函數(shù)和輕量化的特征融合層，提高了模型的處理速度，但是模型的誤報率較高。

常用深度學(xué)習(xí)模型包含大量的參數(shù)設(shè)置和計算量，存在占用網(wǎng)絡(luò)帶寬、延遲高、實時性差等問題，不適于高速率、低成本的移動設(shè)備、微型計算機(jī)以及嵌入式應(yīng)用場景。因此，本文基于海思Hi3559A的嵌入式平臺，對YOLOv5 算法進(jìn)行輕量化改進(jìn)，提出SNAM-YOLOv5 模型，進(jìn)行配電網(wǎng)運(yùn)維施工安全的智能監(jiān)控。

1 基于深度學(xué)習(xí)的目標(biāo)檢測算法

當(dāng)前，基于深度學(xué)習(xí)的目標(biāo)檢測算法是主流算法，分為雙階段和單階段。通常，雙階段檢測方法準(zhǔn)確度較高，單階段檢測方法速度更快。

雙階段檢測算法分為2 個階段，首先產(chǎn)生候選區(qū)域，然后對候選區(qū)域分類。典型算法主要有RCNN［13］、SPP-Net［14］、Fast R-CNN［15］、Faster RCNN［16］、FPN［17］、R-FCN［18］等。其中，F(xiàn)aster R-CNN是其中比較經(jīng)典的算法，應(yīng)用RPN 網(wǎng)絡(luò)進(jìn)行候選區(qū)域的提取，以此用來代替之前的選擇性搜索，將候選框提取合并到深度網(wǎng)絡(luò)中，從而使檢測速度大大提高。RPN 網(wǎng)絡(luò)的特點(diǎn)在于通過滑動窗口的方式實現(xiàn)候選框的提取，用于目標(biāo)分類和邊框回歸。該算法由2 個模塊組成，包括產(chǎn)生區(qū)域推薦的RPN 和使用推薦區(qū)域的Fast R-CNN檢測器。

單階段目標(biāo)檢測算法則將2 個步驟合二為一，在特征圖上進(jìn)行密集抽樣，產(chǎn)生大量先驗框（Prior Box），然后進(jìn)行分類和回歸。常見的單階段目標(biāo)檢測算法包括YOLO［19］、SSD［20］、RetinaNet［21］等。YOLO系列算法借鑒了GoogLeNet［22］分類網(wǎng)絡(luò)結(jié)構(gòu)，包括卷積層和全連接層。其中，卷積層用來提取圖像特征，全連接層用來預(yù)測圖像位置和類別概率值。YOLOv5［23］于2020 年6 月提出，目前該模型實現(xiàn)了速度和準(zhǔn)確度的平衡，并得到廣泛應(yīng)用。

基于YOLOv5 的網(wǎng)絡(luò)模型包含大量的參數(shù)設(shè)置和計算量，不適于嵌入式應(yīng)用場景。一些輕量級的網(wǎng)絡(luò)模型相繼提出，例如MobileNet［24］、ShuffleNet［25］、GhostNet［26］等。這些模型的運(yùn)行速度快，占用內(nèi)存小，但是檢測性能相對較低?；诖?，本文借鑒ShuffleNet 模型，對YOLOv5 進(jìn)行輕量化改進(jìn)，應(yīng)用于海思Hi3559A 的嵌入式平臺，并進(jìn)行配電網(wǎng)運(yùn)維施工安全的智能監(jiān)控。

2 SNAM-YOLOv5模型

YOLOv5 的速度和檢測率性能俱佳，但是在小目標(biāo)和遮擋目標(biāo)識別方面性能有所下降，體量對于嵌入式應(yīng)用較大。因此，本文擬從3 個方面對YOLOv5 進(jìn)行改進(jìn)，提出SNAM-YOLOv5（ShuffleNet and Attention Mechanism-You Only Look Once version 5）模型。具體如下：1）Backbone 部分融合輕量型ShuffleNet 結(jié)構(gòu)，Neck 部分在FPN 模塊增加Attention 機(jī)制；2）應(yīng)用Hard-swish 激活函數(shù)和CRD 損失函數(shù)；3）采用改進(jìn)K-means算法聚類先驗框。

2.1 輕量化改進(jìn)的YOLOv5結(jié)構(gòu)

YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)中包含Input、Backbone、Neck和Prediction 這4 個部分，這里給出YOLOv5 的基本結(jié)構(gòu)，如圖1 所示。其中Backbone 部分是特征提取，Neck部分是特征融合。

ShuffleNet 是一種針對移動設(shè)備而設(shè)計的輕量化網(wǎng)絡(luò)，結(jié)合深度可分離卷積（Depthwise Separable Convolution，DW Conv）、通道劃分（Channel Split）、通道混合（Channel Shuffle）等操作來提升網(wǎng)絡(luò)計算效率，減小模型的計算復(fù)雜度和參數(shù)數(shù)量，從而降低內(nèi)存占用率。對于YOLOv5 Backbone 中的CSP1，參考文獻(xiàn)［26］結(jié)合ShuffleNet 中的結(jié)構(gòu)進(jìn)行改進(jìn)，得到IS Block（Improved ShuffleNet Block）。這里，在IS Block 中還融合了GhostNet 中的Ghost模塊，可以通過少量參數(shù)來產(chǎn)生更多有效特征，彌補(bǔ)ShuffleNet 融合特征的丟失［27］。

同時，結(jié)合DW Conv 對圖1 中的CBL（Convn-BN-LeakyReLU）模塊進(jìn)行改進(jìn)。DW Conv 最早在MobileNet 中提出，在ShuffleNet 中也采用，可以有效降低計算量并保持一定的性能。結(jié)合2.2 節(jié)中的Hard-swish 函數(shù)，將YOLOv5 中的部分CBL 改為DBH（DW Conv-BN-Hard-swish）模塊，其他CBL 改為CBH（Convn-BN-Hard-swish）。

在目標(biāo)檢測中，為確保高分辨率輸入特征接收完整，通常采取的累積卷層操作會增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度。因此，在不堆疊網(wǎng)絡(luò)結(jié)構(gòu)的前提下，在FPN 模塊的基礎(chǔ)上添加2 個模塊：CEM（上下文抽取模塊）和AM（注意力引導(dǎo)模塊），即AC-FPN［28］。CEM 模塊從多個感受野中探索大量上下文信息，AM 模塊通過注意力機(jī)制來自適應(yīng)提取顯著對象周圍的有用信息，其由2 個子模塊構(gòu)成，即上下文注意模塊（CXAM）和內(nèi)容注意模塊（CNAM）。

改進(jìn)后的輕量型SNAM-YOLOv5 模型如圖2 所示，紅框為本模型中的改進(jìn)部分。

圖2 SNAM-YOLOv5模型結(jié)構(gòu)

2.2 激活函數(shù)和損失函數(shù)

YOLOv5 和ShuffleNet 中使用的激活函數(shù)均為Leakly ReLU［21］。它是一個單調(diào)的線性函數(shù)，其差為零，所以該函數(shù)不能保持負(fù)值，因此大多數(shù)神經(jīng)元不能更新。為了解決該問題，Ramachandran 等用swish函數(shù)代替Leakly ReLU，然而，swish 函數(shù)的計算量較大。在文獻(xiàn)［22］中首次采用了Hard-swish。該函數(shù)是非單調(diào)和平滑的。非單調(diào)性有助于保持一個小的負(fù)值，使梯度網(wǎng)絡(luò)穩(wěn)定，同時平滑函數(shù)也具有良好的泛化能力，并且，與swish 相比計算量較小。Hardswish函數(shù)可以表示如下：

這里，將ReLU6 的上限設(shè)為6。Hard-swish 函數(shù)可以使邊界值更準(zhǔn)確，這樣有利于網(wǎng)絡(luò)對小目標(biāo)和被遮擋物體的檢測。

在YOLO 系列算法中采用的損失函數(shù)有IoU、GIoU、CIoU 和DIoU。 YOLOv5 原算法中采用GIoU_Loss做邊界框的的損失函數(shù)。這些損失函數(shù)具有尺度不變性、非負(fù)性和對稱性等優(yōu)點(diǎn)，但是在某些情況下會出現(xiàn)梯度消失的情況。這里，采用文獻(xiàn)［11］中提出的CRD邊界框回歸損失函數(shù)，其公式如下：

其中，LossCCAR和LossRD的定義分別如下：

在公式（3）中，S（·）代表矩形框外接圓的面積計算式，B代表預(yù)測框外接圓，C代表目標(biāo)框和預(yù)測框之間的最小外接矩形的外接圓。在公式（4）中，rA和rB分別表示目標(biāo)框外接圓和預(yù)測框外接圓的半徑。

可以看出，CRD 損失函數(shù)包括外接圓面積比損失函數(shù)LossCCAR和半徑差損失函數(shù)LossRD。CCAR 損失函數(shù)用于指導(dǎo)預(yù)測框的回歸方向，RD 損失函數(shù)則用于增強(qiáng)預(yù)測框與目標(biāo)框的大小和形狀相似性。

在目標(biāo)檢測的后處理過程中，針對很多目標(biāo)框的篩選，通常需要NMS 非極大值抑制操作。YOLOv4在DIoU 的基礎(chǔ)上采用NMS 的方式，而YOLOv5 中則采用加權(quán)NMS 的方式。DIoU_NMS 方式對于遮擋重疊物體的識別具有一定的改進(jìn)作用。本文采用DIoUNMS進(jìn)行后期處理。

2.3 改進(jìn)K-means聚類算法

K-means 算法是聚類分析中使用最廣泛的算法之一，是基于相似性的無監(jiān)督算法，目標(biāo)是將數(shù)據(jù)集劃分為若干個簇，使得簇內(nèi)的數(shù)據(jù)點(diǎn)相似度盡可能大，簇間的數(shù)據(jù)點(diǎn)相似度盡可能小。以各個樣本與所在簇質(zhì)心的均值誤差平方和作為聚類效果的評價標(biāo)準(zhǔn)。假設(shè)簇劃分為（C1，C2，…，CK），則最小化誤差平方和可表示為：

其中，ui是簇Ci的均值向量，也稱為質(zhì)心，質(zhì)心是對聚類中所有點(diǎn)的位置求平均值得到的點(diǎn)。其表達(dá)式為：

傳統(tǒng)的聚類方法是使用歐氏距離來衡量差異，其計算表達(dá)式為：

本文希望在安全帽數(shù)據(jù)集上聚類提取先驗框的尺度信息，以尋找盡可能匹配樣本的邊框信息，提高邊界框的檢出率。標(biāo)準(zhǔn)的K-means 算法可以直接聚類先驗框的寬和高，產(chǎn)生K個寬、高組合的錨框，但尺寸比較大時，其誤差也更大。因此引入IoU［29］使得誤差和先驗框的大小無關(guān)，距離度量表示為：

其中，c表示聚類時被選作中心的邊框，b表示中心之外的其他邊框。IoU 越大則距離越近聚類效果越好。改進(jìn)K-means算法過程如下：

步驟1初始化K個聚類中心（從原始數(shù)據(jù)集中隨機(jī)選擇K個），然后計算所有的先驗框到簇集中心的距離，把先驗框劃分至距離最近的聚類中心所在簇集，并求距離和J1，跳到步驟2。

步驟2根據(jù)所得簇集中位數(shù)作為新的聚類中心；同時計算新的距離和J2，跳到步驟3。

步驟3計算△J，判斷△J是否小于閾值或循環(huán)次數(shù)是否大于設(shè)定值T，若滿足條件，跳出循環(huán)，結(jié)束聚類；否則跳到步驟4。

步驟4根據(jù)所得簇集，得到新的聚類中心；同時計算新的距離和J1。

本文通過改進(jìn)K-means 算法聚類邊界框得到9個先驗框，能很好地適應(yīng)不同尺寸的安全帽，加速自適應(yīng)anchor重計算，有效降低誤檢率。

3 實 驗

3.1 基于海思Hi3559A的視頻監(jiān)控系統(tǒng)

基于海思Hi3559A 的配電網(wǎng)智能視頻監(jiān)控系統(tǒng)由Hi3559A、攝像頭、通信模塊、報警模塊、SD 卡等部件構(gòu)成，如圖3所示。

圖3 基于Hi3559A的配電網(wǎng)運(yùn)維施工安全智能監(jiān)控系統(tǒng)結(jié)構(gòu)圖

配電網(wǎng)視頻監(jiān)控終端通過攝像頭進(jìn)行圖像數(shù)據(jù)的采集，然后部署在Hi3559A 中的SNAM-YOLOv5 對監(jiān)控圖像進(jìn)行分析，當(dāng)出現(xiàn)設(shè)備故障、火災(zāi)隱患、違規(guī)操作（如未佩戴安全帽）等，立即通過執(zhí)行機(jī)構(gòu)對聲光報警設(shè)備發(fā)出警報，作出后續(xù)處理。例如關(guān)停相關(guān)故障設(shè)備，將有關(guān)報警視頻片段保存到SD 卡中。該過程可以直接在本地實時處理，只需將相關(guān)視頻發(fā)送到配電網(wǎng)視頻監(jiān)控中心，留待工作人員進(jìn)行處理。因此極大降低了數(shù)據(jù)傳輸量，并改善了配電網(wǎng)運(yùn)維施工安全智能系統(tǒng)的實時處理速度。

3.2 數(shù)據(jù)集構(gòu)建

為適應(yīng)配電工程施工環(huán)境下的安全帽檢測，本文自制一個相應(yīng)的數(shù)據(jù)集，包括數(shù)據(jù)采集、數(shù)據(jù)清洗和數(shù)據(jù)標(biāo)注3個步驟。

該數(shù)據(jù)集主要來源于一些配電工程施工場地的監(jiān)控視頻以及網(wǎng)絡(luò)，經(jīng)過數(shù)據(jù)清洗之后，包含佩戴安全帽和未佩戴安全帽2 種類型的圖像。同時，采集的數(shù)據(jù)注意多樣性以及泛化能力，包括不同的光照條件、分辨率、尺寸、顏色和背景等，并添加多組干擾圖片，如警帽、棒球帽、草帽等，具體如圖4所示。

圖4 安全帽樣本圖像實例

之后對數(shù)據(jù)進(jìn)行標(biāo)簽標(biāo)注，格式為PASCAL VOC［30］。通過上述方法得到的數(shù)據(jù)集，包含較為復(fù)雜的工地背景。數(shù)據(jù)集共有10885 張圖片，圖片分辨率為640×640，按照8:2 的比例劃分為訓(xùn)練集和測試集。測試集同時包括13個配電網(wǎng)監(jiān)控視頻。

3.3 實驗設(shè)置

本文實驗中的模型搭建、訓(xùn)練及測試均在Pytorch 框架下完成，使用CUDA11.1 并行計算架構(gòu)，同時集成cu-DNN 加速庫。系統(tǒng)為Ubuntu16.04，Python 3.7，顯卡為RTX3090。 訓(xùn)練后的SNAMYOLOv5 模型在基于海思Hi3559A 開發(fā)板的配電網(wǎng)運(yùn)維施工安全智能監(jiān)控系統(tǒng)中進(jìn)行實時檢測。

在SNAM-YOLOv5 模型訓(xùn)練中，訓(xùn)練批次為16，初始學(xué)習(xí)率為0.003，權(quán)重衰減系數(shù)設(shè)置為0.0001，batchsize 大小為32，迭代次數(shù)為300 次。圖5 給出了SNAM-YOLOv5 模型的收斂情況，可以看到在0 到240 次時損失函數(shù)值急劇下降，在240 到300 次時損失值緩慢下降，在經(jīng)過300 次迭代后，損失值在0.015附近趨于穩(wěn)定，模型達(dá)到最優(yōu)狀態(tài)。

圖5 SNAM-YOLOv5模型的收斂情況

3.4 實驗結(jié)果分析

本文使用召回率（Recall，R）、誤報率、平均準(zhǔn)確度（Average Precision，AP）和均值平均精度（Mean Average Precision，MAP）對安全帽檢測模型性能進(jìn)行評估。在相同的配置條件下，與同類算法進(jìn)行對比實驗。這些算法包括雙階段的Faster R-CNN 和SSD、YOLO 系列算法（YOLOv3、YOLOv4、YOLOv5），以及在YOLOv5 中特征提取部分由ShuffleNet 替代的YOLOv5-ShuffleNet 和類似的YOLOv5-GhostNet 模型。這里，ShuffleNet 是指ShuffleNetV2。所有算法均在基于Hi3559A 的配電網(wǎng)運(yùn)維施工安全智能監(jiān)控系統(tǒng)中運(yùn)行，相關(guān)數(shù)據(jù)對比見表1。其中，AP50 為IoU 閾值取0.5 時對應(yīng)的AP 值，F(xiàn)PS 表示幀率，是檢測模型每秒處理的幀數(shù)。同時給出推理時間和模型的大小。

表1 SNAM-YOLOv5模型檢測結(jié)果對比

根據(jù)表1 實驗結(jié)果可知，本文提出的算法能夠有效提高對安全帽以及未佩戴安全帽的施工人員的檢測精度。本文算法對佩戴安全帽的施工人員檢測AP為96.3%，mAP 達(dá)到95.6%，與YOLOv3、YOLOv4 以及原始YOLOv5相比，在AP50和mAP上均有一定提升。同時，SNAM-YOLOv5 模型在參數(shù)數(shù)量和模型上，是YOLO系列原算法中最小的，雖然大于YOLOv5-ShuffleNe 和YOLOv5-GhostNet，但是識別性能有較大提升。綜合而言，本文所提SNAM-YOLOv5 模型，具有較好的性能和實時性，適用于嵌入式應(yīng)用場景。

此外，為了更加直觀地看出不同算法之間的檢測差距，本文另外采集了300 張配電運(yùn)維工程施工中的作業(yè)現(xiàn)場圖片作為測試集，例如小目標(biāo)、遮擋等。因為該測試集數(shù)量較小，結(jié)果不具有普適性，因此沒有進(jìn)行如表1 的檢測結(jié)果對比，而只是對圖像檢測結(jié)果進(jìn)行分析。

在這個測試集上使用YOLOv5和SNAM-YOLOv5進(jìn)行檢測，部分測試結(jié)果如圖6 所示，其中圖中佩戴安全帽的施工作業(yè)人員上方出現(xiàn)“hat”字樣。圖6（a）為不同尺寸目標(biāo)的檢測，近景的目標(biāo)尺寸較大，遠(yuǎn)景的目標(biāo)尺寸較小，YOLOv5 漏檢了遠(yuǎn)景下的小目標(biāo)；圖6（b）為遠(yuǎn)距離施工場景下的小目標(biāo)檢測，對比可知，YOLOv5 原模型對佩戴安全帽的施工作業(yè)人員有出現(xiàn)漏檢情況，而改進(jìn)模型檢測效果較好；圖6（c）為鋼筋遮擋施工場景的檢測，由于鋼筋的遮擋，YOLOv5對施工人員出現(xiàn)了漏檢，而本文提出的算法則全部檢測出來。由上述配電工程施工場景下的檢測比較可知，SNAM-YOLOv5 在配電復(fù)雜作業(yè)環(huán)境下對安全帽檢測效果較好。

圖6 YOLOv5和SNAM-YOLOv5改進(jìn)算法檢測結(jié)果對比

4 結(jié)束語

在配電網(wǎng)運(yùn)維施工安全智能監(jiān)控系統(tǒng)中，采用基于海思Hi3559A 的輕量化的YOLOv5 模型進(jìn)行實時監(jiān)控并報警，可以改進(jìn)傳統(tǒng)監(jiān)控系統(tǒng)中深度學(xué)習(xí)模型參數(shù)量大、速度慢、數(shù)據(jù)量傳輸多等不足。本文提出SNAM-YOLOv5模型，結(jié)合ShuffleNet思想和Attention機(jī)制，并對激活函數(shù)和損失函數(shù)進(jìn)行了改進(jìn)，同時應(yīng)用K-means算法進(jìn)行錨框聚類，令其更適于嵌入式開發(fā)平臺，具有較好的泛化性。同時對小目標(biāo)和遮擋情況的安全帽檢測，性能良好。

由于SNAM-YOLOv5 模型有著較好的檢測速度和精度，下一步可以將配電網(wǎng)監(jiān)控視頻中的時序信息加入，進(jìn)一步提高模型的檢測性能和泛化能力。