吳宏毅，雷景生，陳林鋒，楊勝英

浙江科技學院 信息與電子工程學院，杭州 310000

電力系統(tǒng)的安全、平穩(wěn)運行，關系到國家安全和經濟的發(fā)展，變電站作為電力系統(tǒng)的重要一環(huán)，有必要確保變電站長期安全可靠地運行。然而在變電站實際生產作業(yè)，人員巡檢維護過程中，因為作業(yè)人員安全意識缺乏，忽視電力系統(tǒng)規(guī)章制度，出現各種各樣的違章作業(yè)行為。在變電站作業(yè)場景中未規(guī)范佩戴安全帽和未穿著工作服是普遍的違章行為，對作業(yè)人員和電力設備都會造成極大的安全隱患。

隨著人工智能的發(fā)展，運用深度學習方法和計算機視覺技術自動檢測變電站作業(yè)人員是否佩戴安全帽并提供反饋，對安全生產至關重要[1]。近年來，安全帽佩戴檢測取得了一定發(fā)展。在傳統(tǒng)領域，Feng等[2]在圖像預處理的基礎上，利用高斯混合模型分離圖像前景和背景，通過連通域檢測進行人體的判別，對人體的頭部進行定位并判斷安全帽的佩戴情況。該方法實現了安全帽的自動檢測，但算法的操作復雜且對復雜的場景下檢測的準確率不高。Dahiya等[3]首先采用背景減法和目標分割檢測出騎車的人，之后結合方向梯度直方圖（his‐tograms of oriented gradients，HOG）、尺度不變特征變換（scale invariant feature transform，SIFT）和局部二值制模式（local binary patterns，LBP），訓練一個二分類的分類器用以判斷安全帽的佩戴情況。該方法雖然檢測準確率較高，且檢測速度快，但若檢測場景發(fā)生變化，則需要重新設計模型框架。

目前，基于深度學習的目標檢測算法發(fā)展迅速，現有的目標檢測算法主要分有兩種，分別是基于區(qū)域建議網絡的two-stage方法和無區(qū)域建議網絡的one-stage方法。2015年Girshick等[4-6]分別提出了Fast R-CNN和Faster R-CNN，其中Faster R-CNN改進了R-CNN的暴力檢測提出了區(qū)域候選網絡（RPN）達到了較好的檢測效果，但基于候選區(qū)域方法的計算復雜度高，故該方法的檢測幀率只能達到5 FPS。He等[7]提出了Mask R-CNN，通過并行預測框和掩碼，得到檢測的最新結果。在one-stage目標檢測算法中Redmon等[8-10]提出YO‐LOv1-v3，Liu等[11]提出了SSD多尺度檢測算法，取得了一定的效果，算法的基本思想是使用一個卷積神經網絡直接預測不用的目標的類別和位置，這種方法計算量少，檢測速度快，在視頻檢測上達到了45 FPS。對比one-stage和two-stage目標檢測算法可以發(fā)現one-stage的目標檢測算法在檢測速度上要明顯優(yōu)于two-stage的算法，但在小目標的檢測精度上要略遜于two-stage。因此，在安全帽檢測領域人們在速度和精度方面權衡考慮下采用one-stage的目標檢測算法。Wang等[12]提出了一種安全帽佩戴的實時檢測方法（命名為CSYOLOv3），但其在速度及精度上表現并不優(yōu)秀。Li等[13]提出了一種基于卷積神經網絡的工程管理中深度學習的安全帽檢測方法，該方法在圖像不清晰，如安全帽太小、太模糊時，檢測性能較差。

綜上，傳統(tǒng)安全帽檢測算法優(yōu)勢在于參數量小，計算速度快，但實現主要基于復雜的模型設計，需要大量人工設計特征，對實際光照條件，圖像質量的要求較高。因此傳統(tǒng)的安全帽檢測方法，特征提取不具備魯棒性，泛化能力較差?；谏疃葘W習的安全帽檢測算法，雖然在一定程度上增強了模型的泛化能力，當目前安全帽檢測模型都只將安全帽檢測任務分為兩個類別：佩戴和未佩戴安全帽兩個類別。在實際變電站巡檢場景安全規(guī)范中工作人員不僅需要佩戴安全帽，還要穿著長袖工作服。因此，上述論著并不完全適用變電站工作場景。

針對變電站特定場景，制作了安全帽工作服數據集，解決了在變電站場景中只能針對人員安全帽進行檢測的檢測內容不完善的問題。同時，雖然通用的目標檢測算法在公共數據集上表現良好，然而在復雜的變電站場景下，如變電站中大多數監(jiān)控場景是廣域監(jiān)視，拍攝到需要檢測的目標物體，易出現密集且尺度小、分辨率較低、像素模糊等情況，容易導致漏檢現象。另外，變電站內設備繁多，部署大型算力服務器設備成本較高，而一般目標檢測算法的計算量龐大需要大型設備支持，使其很難在移動設備上部署。能在移動設備上運行輕量級的檢測網絡能有效降低使用成本。因此，本文提出了TinyDet針對變電站特定場景的自建數據集平衡了檢測的精度和算法復雜度。為了降低參數數量和運算量的同時提高檢測效率，構建了輕量級卷積神經網絡back‐bone并同時使用Transformer[14]作為模型的頸部?；赮OLOv3的YOLOv3-tiny是一種應用嵌入式平臺的輕量級目標檢測網絡，但其檢測精度較低。在目前較強單階段的目標檢測，如FCOS[15]、ATSS[16]等，模型一般會包括三個預測輸出，目標的分類表示，檢測框表示和檢測框的質量估計。在上述模型的訓練過程中，分類和檢測框的質量估計是分開訓練的，在測試階段卻是相乘在一起作為非極大值抑制（non-maximum suppression，NMS）的排序依據，這種操作顯然是沒有端到端，存在一定的間隙[17]。影響了模型訓練效果，導致了數據擬合效果差。因此，使用了質量焦點損失函數（quality focal loss，QFL）作為檢測模型的預測頭部，解決目標檢測模型中預測的分類分數和IOU分數在訓練和測試中不一致的問題，進一步提升模型的檢測精度。根據以上幾點工作，設計出輕量級的目標檢測模型在變電站人員安全管控場景得到了較好的檢測效果。

1 輕量級目標檢測算法

本文采用Anchors-free的目標檢測算法策略，如圖1所示，使用輕量級的卷積神經網絡ShuffleNetv2[18]提取圖像特征信息，配合Transformer的編碼器進一步提取圖像高級語義信息。將QFL作為預測頭部解決訓練與測試時推理不一致給模型訓練結果帶來的影響。

1.1 輕量級特征提取網絡

對于圖像特征提取任務，選擇ShuffleNetv2，因為其在速度和精度之間進行了權衡。選擇ShuffleNetv2的通道乘數為×1，如表1的輸出通道欄所示。選擇此通道乘數是基于其在ImageNet數據集[19]上的精度和速度結果達到較好的平衡。但是，也可以選擇較低的輸出通道乘數作為超參數的值，以通過犧牲精度的方式來實現更快的推理時間。反之，通過提高通道乘數增加參數量來提高精度，便會相應地消耗更多的時間推理。

表1 輕量級特征提取網絡主干結構Table 1 Lightweight feature extraction backbone network

圖1輕量級目標檢測網絡結構Fig.1 Lightweight object detection network architecture

圖2 中詳細顯示了特征提取網絡結構的模塊單元。每一級由一個空間下采樣單元和若干個基本單元組成。如圖2（a）所示為網絡基本單元，使用“Channel Split”“Channel Shuffle”“Concat”來實現不同通道間的信息交換。而空間下采樣單元則是通過調節(jié)卷積核的步長來實現特征圖尺度的變化，當步長設置為2，輸入下采樣單元的特征圖尺度減少為原來的一半。

圖2 輕量級特征提取網絡基礎結構Fig.2 Lightweight feature extraction network infrastructure

采用長寬為320×320的RGB圖像作為模型的輸入特征，通過輕量級特征提取網絡ShuffleNetv2將輸入特征采樣至原始圖像尺寸的1/32，以便于提取圖像中的高級語義信息。同時，也將表1中所展示的Stage2、Stage3、Stage4中三階段不同尺度的輸出特征圖作為頸部結構Transformer的輸入。以實現對不同尺度目標的特征信息的保留，提升模型的精度。

1.2 Transformer編碼

輸入圖像ximg∈3為RGB色彩通道，H、W為圖像的高、寬）經過輕量級特征提取網絡Shuffle‐Netv2，生成三個階段低分辨率特征圖。將三個階段不同尺度的特征圖按通道維度合并成特征圖f∈C=812,H0=H/16,W0=W/16)。將 特 征圖經過1×1卷積將高水平特征圖f的通道維度降低成128維，生成的特征圖z0∈Transformer的編碼階段需要序列作為輸入，因此特征圖z0的空間維度壓縮成一個維度，即結果為d×H0W0。每個編碼層都有一個標準的體系結構，并由多頭自注意力模塊和前饋網絡（FFN）組成。

由于圖像數據的像素值之間是有位置信息的，將特征圖的空間維度壓縮成一個維度便會丟失圖像本有的位置信息。因此，為了保留位置信息則需要加上位置編碼。因為圖像是2-D特征，所以位置編碼需要考慮圖像寬和高兩個方向上的編碼才更符合圖像的特點。位置編碼的輸出張量與Transformer結構輸入序列維度一致，即d×H0W0。其中d代表位置編碼的長度，前d/2維代表H0方向上的編碼，后d/2維代表W1方向上的編碼。將此位置編碼與序列化的特征圖z0相加后輸入編碼器。

由圖3所示，圖像特征序列分別以fq、fk、fv矩陣形式輸入編碼器，其中fq、fk需要加上位置編碼，然后進入多頭自注意力機制（multi-head self-attention）。d維特征M個頭部的多頭注意力機制的一般簡化形式如下：

圖3 Transformer編碼器結構圖Fig.3 Transformer encoderarchitecture

其中，fq為長度HW的查詢序列，fk、fv分別為長度HW的鍵值序列，都有相同的d維特征；T是計算所謂查詢、鍵和值嵌入的權重張量，L則是個映射矩陣。輸出的特征大小與查詢序列一致。

多頭注意力機制就是直接將M個頭部的輸出合并，然后乘上映射矩陣L得到最終輸出。其中通常會采用殘差連接，dropout和layer normalization的方式。總的表示形式如下：

原始的Transformer是交替使用所謂的FFN層和多頭注意力，FFN實際上就是多層的1×1卷積操作。在本文的例子中M個頭部就有M×d的輸入和輸出通道。為模型的輕量化考慮使用具有LeakyReLU激活和兩層1×1卷積操作來完成FFN的功能。

1.3 質量焦點損失

最初焦點損失（fcoal loss，FL）[20]的提出是為了解決在單階段目標檢測中正負類別樣本不平衡的問題，FL的公式表示如下：

其中，y∈{1,0}表示標簽類別，p∈[ 0,1]表示估計為類別y=1的概率。γ表示可調聚焦參數。具體來說，FL是由標準交叉熵部分-lg(pt)和動態(tài)縮放因子部分(1-pt)γ組成。其中縮放因子(1-pt)γ在訓練期間將降低數量多的簡單類別的損失權重，使模型更加關注困難樣本。

為了解決上述模型訓練測試不一致問題，如圖4中所示，將模型的分類預測分數和檢測框的質量預測分數聯合起來，也就是將相應類別上的one-hot編碼平滑成質量預測分數，即相應類別上的預測值為y∈[0,1]。具體來說，y=0表示質量預測分數為0的負樣本，0

圖4 模型預測分支表示形式Fig.4 Branch representation of model prediction

由于提出的分類預測分數和質量預測分數聯合表示需要對整個模型進行密集監(jiān)督，并且仍然存在類別不平衡問題，因此還需要繼承FL思想。但原始的FL只支持兩個離散標簽，但是本文的聯合標簽包含小數。因此基于FL改進了兩個部分以保證聯合表示的情況下可以實現成功訓練：

（1）將交叉熵損失-lg(pt)擴展成完整表示-((1-y)lg(1-σ)+y lg(σ))。

（2）將FL中的調節(jié)因子(1-pt)γ擴展成估計值σ和標簽值y之間的絕對距離，即 ||y-σβ(β≥0)。

將上述兩個部分結合起來成為完整的損失目標函數，表示如下：

其中，σ=y為loss的全局最優(yōu)解。與FL相似，loss中的|y-σ|β也具有調節(jié)因子的作用：當實例的質量預測分數不準確且偏離標簽y時，調節(jié)因子的值較大，因此更關注學習困難實例。當質量預測分數變準確時，即σ→y時因子值趨向于0，對容易預測的類別進行降權。其中參數β平滑地控制降權速率。

2 實驗

本文的實驗環(huán)境配置：GPU采用NVIDIA TITAN XP，CPU采用Intel i5-7500，內存16 GB，操作系統(tǒng)為Ubuntu16.04。實驗基于Pytorch深度學習框架、CUDA 10.1和OpenCV等進行相關代碼和參數的訓練。

2.1 數據集構建

通過截取在變電站大門、配電室、變電站集控室、變電站電力設備等區(qū)域監(jiān)控攝像頭的視頻圖像，得到變電站場景下人員工作服安全帽數據集共5 200張，包括變電站室內室外不同場景以及不同光照條件、攝像頭角度下的圖片。如圖5所示，采集變電站內監(jiān)控視頻圖像數據。其中4 000張用來訓練人員工作服安全帽檢測模型，1 200張用于模型的測試。采用LabelImg標注工具對收集的數據集進行標注，其中每個bounding box的標簽：hat表示為佩戴安全帽，head表示未佩戴安全帽，person表示為變電站的作業(yè)人員，jacket表示穿著工作服，other-jacket表示未穿著工作服，pants表示穿著工作褲，other-pants表示未穿著工作褲。

圖5 變電站工作服安全帽數據集Fig.5 Transformer substation workwear and helmet dataset

通過對檢測類別的細化標注，以便于訓練模型達到更加適配變電站檢測場景的要求。最終轉換為PASCAL VOC格式的XML文件。

2.2 評價指標

本文使用精確度（precision rate）、召回率（recall rate）、誤檢率（false positive rate）、漏檢率（miss rate）、交并比（IoU）和平均精度（mAP）來衡量提出的方法在自制的數據集上的有效性，計算公式如下：

其中，TP表示模型預測為正值的正樣本；FP表示模型預測為負值的正樣本；FN表示模型預測為負值的負樣本；TN表示被模型預測為正值的負樣本；partAcreage是模型預測出的檢測框區(qū)域；overallAcreage是數據標注的目標檢測框區(qū)域。

2.3 模型訓練細節(jié)

使用ShuffleNet v2作為模型backbone，加載官方提供的在ImageNet上訓練好的權重參數進行初始化網絡。使用隨機梯度下降（SGD）優(yōu)化算法訓練網絡60 000次，初始化學習率為0.01，訓練批次為16幅圖像，圖像輸入為320×320。在迭代次數為30 000和50 000時，學習率分別降低10倍。權重衰減和動量分別設置為0.000 1和0.9。為了使Transformer編碼器的自注意力來學習圖像全局信息，在訓練期間使用了隨機裁剪數據增強。也就是輸入圖像以0.5的概率被裁剪成隨機的矩陣塊，然后將該矩陣的尺寸大小調整成輸入圖像大小。訓練使用dropout比率為0.1。

2.4 消融實驗與分析

為了評估本文設計的模型結構在目標檢測任務中的性能表現，在自制的工作服安全帽數據集實驗測試了效果。

通過對比不同的特征提取器在數據集中的精度和速度的表現，證明使用ShuffleNet v2作為該場景下模型的特征提取器是有效的。只將模型的主干網絡進行替換，同時遵循相同的訓練和測試方案。替換成最近提出的輕量級網絡Xception[21]、MobileNetv1、MobileNetv2[22]和ShuffleNetv1[23]等，通過在本文工作服安全帽數據集上測試，采用COCO評價指標評價，得到結果如表2。

表2 不同主干網絡評估指標對比Table 2 Comparison of different backbone network evaluation indexes

如表2所示，在只替換模型主干網絡的情況下，使用ShuffleNetv2作為本文目標檢測模型的主干特征提取網絡，在工作服安全帽數據集上精度和模型計算量達到最優(yōu)的效果，滿足模型輕量化和模型檢測精度的平衡?？梢杂^察在使用MobileNetv2與ShuffleNetv1作為模型的主干特征提取網絡時，模型的檢測精度與采用Shuf‐fleNetv2相近，但模型參數量卻較大。在ShuffleNetv2中每個基本單元開始前都采用了“Channel Split”，將輸入特征通道c分離成c-c'和c'，其中一個分支直接保留通道信息，另一分支經過三個輸入和輸出通道相同的卷積操作其中只使用一個分組卷積操作。將特征通道分割兩個部分有利于網絡的并行提升運行速度，使用輸入與輸出通道相同的卷積和減少使用分組卷積有利于減少模型參數量。最后通過“Channel Shuffle”實現通道之間的特征交互，達到提高模型精度的目的。因此使用ShuffleNetv2作為輕量級目標檢測模型的主干特征提取網絡是較優(yōu)的選擇。

將Transformer注意力頸部（TAN）與最先進的多尺度特征融合模塊進行比較，包括feature pyramid net‐work（FPN）[24]，PANet[25]中的bottom-up path aggregat（BPA），和bi-direction feature interaction（BFI）[26]。在保持該基準模型其他模塊不變的情況下，將目標檢測模型的多尺度特征融合模型分別替換為上述模塊，在自制工作安全帽數據集上評估效果。使用標準平均精度mAP、AP50、AP75、APS、APM、APL來評估對比模型的性能，結果如表3所示。

表3 不同多尺度特征融合方法對比Table 3 Comparison of different multi-scale feature fusion methods 單位：%

如表3所示，在使用TAN作為目標檢測模型的特征融合模塊，比使用傳統(tǒng)的特征金字塔（FPN）的平均精度提升了1.4個百分點。Transformer注意力頸部先將不同尺度的特征圖信息進行聚合，同時通過多頭注意力機制充分利用跨空間和尺度的特征相互作用，增強對檢測目標的注意力。TAN整體對大目標的檢測效果較好?？梢杂^察到表3中各模型針對面積小于322的小目標檢測效果不佳，其中32是為圖像的像素數量。一部分原因是因為在自制的工作服安全帽數據集中面積小于322的小目標所標注的訓練樣本不足，所占比例太少，因此模型對此類目標擬合效果較差。但使用TAN模塊還是能小范圍地提升對小目標的檢測精度。

為了評估質量焦點損失（quality focal loss，QFL）的使用是否在工作服安全帽檢測任務上有效。將分類預測分數和檢測框的質量預測分數聯合表示與單獨分支或隱式分支對應部分進行比較。實驗中采用了兩種表示檢測框定位質量的代替方法：IoU[27]和centerness[15]。從4個對比維度，在構建目標檢測模型中進行實驗，自制的工作服安全帽數據集上實驗結果如表4所示。

表4 不同目標檢測模型預測頭部對比Table 4 Comparison of different target detection models for predicting head 單位：%

根據表4中的結果所示，使用分類預測分數和檢測框的質量預測分數聯合表示的損失函數QFL，相比其他所有對應項可以獲得更好的性能。同時，使用IoU做為檢測框定位質量的衡量標準的效果要優(yōu)于使用中心點做為檢測框定位質量的衡量標準。其中表5所示，表明β=2是損失函數最優(yōu)的調節(jié)參數。通過將模型的預測分類分數和IoU分數分支與本文的聯合表示分支進行對比。表明使用QFL訓練的聯合表示由于其可靠的定位質量估計而更有利于檢測，并且在分類分數和檢測框質量分數之間表現出強相關性。因為本文模型預測的分類分數與檢測框質量分數相等。

表5 調節(jié)因子超參數對比Table 5 Comparison of hyperparameters of regulating factors 單位：%

最后將本文的模型與現有表現性能最好的幾個輕量級目標檢測模型在自制的工作服安全帽檢測數據集上進行對比實驗。分別在精確度、模型的輸入尺寸和FPS三個維度對比，如表6所示。

表6 不同輕量級目標檢測模型對比Table 6 Comparison of different lightweight object detection models

通過在自制的工作服安全帽數據集上對比效果發(fā)現，本文設計的模型在320×320尺寸的輸入圖像達到的mAP為44.6%以及117 FPS，在輸入圖像為416×416達到的mAP為45.1%和93 FPS，綜合考慮，本文的模型結構可以達到目標檢測的速度與精度上的更好平衡。將本文的檢測模型在變電站場景內對人員安全措施佩戴情況進行識別，如圖6所示，輕量級目標檢測模型可以準確將人員的工作服穿著以及安全帽佩戴情況準確地檢測出，但也有對遠距離小目標存在漏檢的不足。

圖6 變電站實地場景檢測效果Fig.6 Substation field scene detection effect

3 結束語

本文通過將輕量級特征提取網絡ShuffleNetv2、Transformer注意力特融合模塊和質量焦點損失函數（QFL）相結合，構成一種輕量級的目標檢測網絡，運用在變電站場景中巡檢人員工作服安全帽佩戴情況。通過使用Transformer注意力特融合模塊在降低模型復雜度的情況下，融合多尺度特征信息，提取目標注意力，保證精度的提升，使用QFL在不改變模型參數量的情況下，解決單階段檢測模型訓練與測試中不一致問題，改善了訓練效果，提升了模型精度。同時制作了工作服安全帽相關數據集，將提出的模型在該數據集上實驗驗證。實驗結果表明，提出的輕量級目標檢測模型，在自制的工作服安全帽佩戴數據集中mAP值都得到提升且較為穩(wěn)定，FPS值可以達到117。該算法訓練出的模型在變電站人員安全措施佩戴檢測上更具有使用價值。未來將繼續(xù)研究網絡結構的調整，使模型的精度進一步提高。