李 夫，陶青川，馬進(jìn)德

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

當(dāng)今社會(huì)快速發(fā)展，各種智能設(shè)備走進(jìn)我們的生活，電力作為其能源支持已經(jīng)在我們的生活中不可或缺。因此，電力部門安全、穩(wěn)定地輸送電力，滿足社會(huì)的生產(chǎn)生活需求，已經(jīng)成為我們開展日常生活的基本保障。與此同時(shí)，違反法律的竊電行為時(shí)有發(fā)生［1］，尤其是在一些違規(guī)經(jīng)營的地下小作坊、成規(guī)模的私下“挖礦”人員更是寄希望于竊電來逃過電力部門的監(jiān)管；同樣，竊電手段也是層出不窮［2］，最常見的便是對(duì)家用智能電表進(jìn)行非法改裝，改裝手法以對(duì)電表進(jìn)線處焊點(diǎn)短接最為普遍。這種違法的竊電行為不僅造成國家電力部門財(cái)產(chǎn)嚴(yán)重?fù)p失，更存在著出現(xiàn)電路故障而引發(fā)火災(zāi)事故的風(fēng)險(xiǎn)。所以對(duì)智能電表定期進(jìn)行有效的安全檢查十分有必要。

當(dāng)前電力部門對(duì)家用智能電表的檢查手段［3］主要是人工檢查。人工肉眼檢查不僅對(duì)檢查人員的反竊電經(jīng)驗(yàn)和視力要求頗高，還存在著主觀性引發(fā)的誤檢、長時(shí)間連續(xù)檢查時(shí)檢測(cè)效率低下等諸多缺點(diǎn)［4］。近年來，基于大數(shù)據(jù)［5］、邊緣AI［6］等技術(shù)的反竊電方法在一定程度上改善了此窘境。此外，針對(duì)PCB 的缺陷檢測(cè)算法［7］也可以應(yīng)用到電能表表盤上。竊電行為中對(duì)進(jìn)線處短接的情況最為常見，此處焊點(diǎn)信息能十分直觀地反映有無竊電行為，但針對(duì)此處的反竊電算法并不多見，因此給電路部門提供一種精準(zhǔn)且高效的焊點(diǎn)檢測(cè)方法對(duì)竊電的違法行為進(jìn)行沉重打擊具有十分重要的意義。

針對(duì)智能電表焊點(diǎn)顏色統(tǒng)一、排列緊密以及元器件細(xì)小、數(shù)量眾多的特點(diǎn)，本文提出了一種基于DeepLabV3+改進(jìn)的語義分割算法來對(duì)焊點(diǎn)進(jìn)行分割。實(shí)驗(yàn)表明，該算法對(duì)焊點(diǎn)分割準(zhǔn)確率高，推理速度快，對(duì)于反竊電研究具有重要意義。

1 基于改進(jìn)的DeepLabV3+語義分割網(wǎng)絡(luò)

1.1 主流語義分割網(wǎng)絡(luò)及DeepLabV3+介紹

語義分割［8］作為深度學(xué)習(xí)的重要研究領(lǐng)域之一，一直是該領(lǐng)域研究的熱點(diǎn)，也誕生了許多種適用于不同應(yīng)用場(chǎng)景的分類網(wǎng)絡(luò)。在Long等［9］提出全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）后，各種在FCN 基礎(chǔ)上改進(jìn)的分割算法不斷涌現(xiàn)。其中，最為經(jīng)典的是Ronne-berger 等［10］提出的U-Net 分割網(wǎng)絡(luò)。U-Net 網(wǎng)絡(luò)針對(duì)FCN 池化操作存在的降低特征圖分辨率的缺陷，采用了編碼解碼結(jié)構(gòu)恢復(fù)特征，因網(wǎng)絡(luò)結(jié)構(gòu)中編碼器與解碼器組成大寫字母U 的形狀而得名。U-Net在編碼器中利用特征提取獲取圖像信息；在解碼器中利用特征恢復(fù)獲取高層特征；此外，還在高層特征和淺層特征間加入跳躍連接，最大限度還原原圖像空間信息以此克服FCN的缺陷。但是U-Net模型計(jì)算量較大，在面對(duì)電能表元器件排列緊密這種復(fù)雜情況時(shí)，依然存在推理時(shí)間太長的缺點(diǎn)。Google 團(tuán)隊(duì)提出的MobileNets［11］是一種基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的輕量級(jí)語義分割模型，該模型在參數(shù)量和計(jì)算量都較小的情況下獲得了較高的精確度，因此非常適合部署到運(yùn)算資源有限的移動(dòng)端平臺(tái)上。Mobile-NetV2［12］減少參數(shù)量的核心是其深度可分離卷積模塊，可加快網(wǎng)絡(luò)收斂速度。MobileNetV2 還借鑒ResNet 的殘差結(jié)構(gòu)引入了線性瓶頸模塊和倒置殘差結(jié)構(gòu)減少了信息丟失、提高了模型性能。MobileNetV3［13］在MobileNetV2 的 基 礎(chǔ) 上 引 入 了SE（squeeze-and-excitation）注意力模塊到瓶頸結(jié)構(gòu)中，通過壓縮（squeeze）與激勵(lì)（excitation）兩種操作起到強(qiáng)化突出特征、減弱細(xì)微特征的效果，從而實(shí)現(xiàn)優(yōu)化通道權(quán)重分配。此外，Mobile-NetV3采用了NAS（network architecture search）優(yōu)化網(wǎng)絡(luò)模塊進(jìn)行塊級(jí)搜索，再結(jié)合NetAdapt 進(jìn)行層級(jí)搜索找到優(yōu)化效果最理想的模型。但是SE注意力機(jī)制中的兩個(gè)連接層需要較大計(jì)算量，需要更長推理時(shí)間。

DeepLabV3+［14］是Google 團(tuán)隊(duì)提出的一系列DeepLab模型［15-16］中最好的語義分割模型，Deep-LabV3+在DeepLabV3［17］的基礎(chǔ)上加入了一個(gè)Decode 模塊來細(xì)化分割結(jié)果，該模型的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)

DeepLabV3+主要分為Encoder 和Decoder 兩部分，Encoder 在DeepLabV3 的基礎(chǔ)上改進(jìn)了Backbone；Decoder 是DeepLabV3+新提出的部分，它對(duì)高層特征和低層特征做進(jìn)一步融合，提高了空間信息的恢復(fù)程度。

Encoder 部分分為Backbone 和ASPP 兩個(gè)模塊，Backbone 有改進(jìn)的ResNet 和加入可分離卷積的Xception 兩種分類網(wǎng)絡(luò)。待預(yù)測(cè)圖經(jīng)過Backbone 提取特征后輸出最后一層卷積（feature maps）和低級(jí)特征（low-level features）兩部分，并分別作為ASPP模塊和Decoder部分的輸入。

ASPP 模塊以Feature Maps 為輸入，使用一個(gè)1*1 普通卷積、三個(gè)3*3 的膨脹卷積共四個(gè)包含BN 和激活層的空洞卷積塊和一個(gè)包含池化、卷積、BN、激活層的全局平均池化塊得到五組Feature Maps，再通過一個(gè)1*1 的卷積塊進(jìn)行特征壓縮后送入到Decoder 部分。其中三個(gè)膨脹卷積的膨脹率分別為6、12、18，假設(shè)以Hrk表示卷積核大小為k，膨脹率為r的卷積運(yùn)算，則ASPP模塊的輸出可表示為

其含義是將膨脹率分別為6、12、18的膨脹卷積進(jìn)行疊加，從而獲得多個(gè)尺度的信息增益。膨脹率的代數(shù)表達(dá)式為

其中：x[i+r×s]表示輸入信號(hào)；y[i]表示輸出Feature Map；r代表采樣步長；s代表卷積核的大??；w[s]代表卷積核大小為s的卷積參數(shù)。

在Decoder 部分中為了不掩蓋ASPP 模塊輸出的重要性，會(huì)先用一個(gè)1*1的卷積把Backbone輸出的Low-Level Features 的通道數(shù)從256 降到48。接著將ASPP 模塊的輸出進(jìn)行插值上采樣，再將兩者通過Concat連接起來并通過一個(gè)3*3的卷積塊以獲取更加準(zhǔn)確的分割結(jié)果，最后經(jīng)過插值上采樣得到預(yù)測(cè)圖。

1.2 ShuffleNetV2網(wǎng)絡(luò)結(jié)構(gòu)

ShuffleNetV2 是由Ma 等［18］在2018 年提出的輕量級(jí)分類網(wǎng)絡(luò)。在此論文中，作者首先提出了輕量化的分類網(wǎng)絡(luò)應(yīng)遵循的四個(gè)準(zhǔn)則：

（1）輸入輸出通道數(shù)一致時(shí)，內(nèi)存訪問量MAC最小；

（2）分組數(shù)過大的分組卷積會(huì)增加MAC；

（3）碎片化操作對(duì)并行加速不友好；

（4）Element-wise 操作帶來的時(shí)間和內(nèi)存消耗不應(yīng)該被忽略。

ShuffleNetV2 是在此四個(gè)準(zhǔn)則的基礎(chǔ)上設(shè)計(jì)出來的，它的基本模塊如圖2（a）所示，引入了“通道拆分”算子，在每個(gè)單元的開始，c個(gè)輸入特征通道被分成兩個(gè)分支，其中一個(gè)分支有c-c′個(gè)通道，另一分支有c′個(gè)通道（通常c′=c/2）。ShuffleNetV2 滿足上述四個(gè)準(zhǔn)則的設(shè)計(jì)體現(xiàn)在以下四點(diǎn)：在圖2（a）中的右邊分支是1*1 卷積。因?yàn)椤巴ǖ啦鸱帧币呀?jīng)可以實(shí)現(xiàn)分組，故該分支沒有使用分組卷積，由此滿足準(zhǔn)則2；輸入輸出通道數(shù)一致，滿足準(zhǔn)則1；網(wǎng)絡(luò)碎片化操作數(shù)量小，滿足準(zhǔn)則3；將Shuffle-NetV1中的Add操作改為了沿通道方向堆疊，元素級(jí)操作僅存在于其中一個(gè)分支中，逐元素操作帶來的內(nèi)存消耗和時(shí)間消耗比較小，滿足準(zhǔn)則4；為了防止“近親繁殖”現(xiàn)象，利用“通道洗牌”算子使兩個(gè)分支信息進(jìn)行交流。Shuffle-NetV2 的空間下采樣模塊如圖2（b）所示，由于移除了“通道拆分”操作，所以輸出通道數(shù)翻倍。表1 顯示了ShuffleNetV2 整體網(wǎng)絡(luò)結(jié)構(gòu)，ShuffleNetV2使用Conv5卷積層來進(jìn)行特征融合，在Stage2、Stage3、Stage4 的 第 一 個(gè)Block 中，Stride 都為2，輸出通道數(shù)會(huì)翻倍，表中標(biāo)記為0.5×、1×、1.5×和2×代表依據(jù)通道數(shù)而產(chǎn)生的四種復(fù)雜度的網(wǎng)絡(luò)。

圖2 ShuffleNetV2結(jié)構(gòu)

表1 ShuffleNetV2整體網(wǎng)絡(luò)結(jié)構(gòu)

ShuffleNetV2 高效并且精度高的原因可以總結(jié)為以下兩點(diǎn)：第一，高效的構(gòu)建塊可以使網(wǎng)絡(luò)承載更多的特征通道和網(wǎng)絡(luò)容量；第二，構(gòu)建塊之間的“直接相連”是一種特征重用，這種特征重用在相鄰的構(gòu)建塊之間作用更強(qiáng)。DenseNet 因?yàn)閱⒂昧颂卣鲝?fù)用，所以性能比較強(qiáng)大，而ShuffleNetV2 各個(gè)塊之間通過“通道拆分”的方式，正好滿足類似于DenseNet 的特征復(fù)用的模式，即相鄰的塊有更多的共享復(fù)用特征，距離較遠(yuǎn)的有更少的共享復(fù)用特征。

1.3 算法設(shè)計(jì)

DeepLabV3+針對(duì)DeepLabV3 計(jì)算消耗大、推理速度慢的問題，將主干網(wǎng)改進(jìn)為Xception，并且取得了一定效果。在此基礎(chǔ)上，本文結(jié)合反竊電的檢測(cè)場(chǎng)景特點(diǎn)，對(duì)DeepLabV3+做了如下改進(jìn)：

（1）將主干網(wǎng)改進(jìn)為輕量級(jí)的分類網(wǎng)絡(luò)ShuffleNetV2進(jìn)一步提升檢測(cè)效率。

（2）在ASPP 模塊中加入2*2 膨脹卷積，通過調(diào)整膨脹率更好地分割密集的電阻元器件和焊點(diǎn)。

1.3.1 主干網(wǎng)的改進(jìn)

雖然以Xcepiton 作為主干網(wǎng)進(jìn)行特征提取可以有很好的分割精度，但在反竊電場(chǎng)景下，有以下兩個(gè)實(shí)際特點(diǎn)：①焊點(diǎn)細(xì)小且排列緊密；②檢測(cè)設(shè)備算力有限。針對(duì)上述兩點(diǎn)需求，本文在保留DeepLabV3+的ASPP 模塊和Decoder 部分的基礎(chǔ)上將主干網(wǎng)改進(jìn)為ShuffleNetV2，構(gòu)建更輕量級(jí)的DeepLabV3+網(wǎng)絡(luò)模型。

ShuffleNetV2 的低層特征中較好地提取了焊點(diǎn)這種尺寸較小的物體的特征信息，搭配Deep-LabV3+的Decoder部分可以通過Concat對(duì)低層特征進(jìn)行融合，這樣能充分發(fā)揮ShuffleNetV2 和Decoder 的優(yōu)勢(shì)。此外，輸入圖像經(jīng)過stage2、stage3、stage4多次卷積或池化操作混合特征后，特征大小僅為12×12。而焊點(diǎn)在輸入圖像的占比本身很小，本文的網(wǎng)絡(luò)模型設(shè)計(jì)能夠防止焊點(diǎn)特征在多次卷積中丟失。

1.3.2 ASPP模塊的改進(jìn)

ASPP 模塊使用的不同尺度膨脹卷積能夠通過調(diào)整卷積核的感受野獲得多個(gè)尺度的信息。因此膨脹卷積針對(duì)較大特征物體能很有效地提升，但這個(gè)提升在焊點(diǎn)這種細(xì)小的物體的分割場(chǎng)景并不明顯甚至有弊無利。

針對(duì)此場(chǎng)景，本文對(duì)原有ASPP 模塊做出改進(jìn)，新增一個(gè)2*2卷積核，調(diào)整膨脹率以獲得對(duì)焊點(diǎn)更好的分割效果。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

2 實(shí)驗(yàn)與結(jié)果

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)所用數(shù)據(jù)集來自對(duì)電力系統(tǒng)提供的電能表PCB 和手工制作的異常焊點(diǎn)進(jìn)行圖像采集，在不同光照、角度、距離下拍攝，共獲得高清圖像6507 張，經(jīng)過數(shù)據(jù)增強(qiáng)后數(shù)據(jù)集擴(kuò)展到10100 張圖片，并按照8∶1∶1 的比例進(jìn)行隨機(jī)劃分，分別作為訓(xùn)練集、測(cè)試集和驗(yàn)證集。

輸入圖經(jīng)過分割將會(huì)被分為焊點(diǎn)和背景兩類，為了能獲得更理想的訓(xùn)練效果，將所有訓(xùn)練集圖像像素統(tǒng)一為512×512的整數(shù)倍，為了防止失真，縮放的時(shí)候?qū)π枰{(diào)整的圖像添加灰條。

2.2 實(shí)驗(yàn)平臺(tái)

訓(xùn)練模型所用硬件平臺(tái)配置為Intel（R）Core（TM）i5-6500 CPU@3.2 GHz， Nvidia GeForce GTX 1080Ti 11 GB GPU，8 GB內(nèi)存的服務(wù)器，安裝Ubuntu20.04操作系統(tǒng)，CUDA11.4，Python3.7。

2.3 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)分為兩步：實(shí)驗(yàn)一對(duì)比改進(jìn)的Deep-LabV3+模型與以Xception、MobileNetV2、MobileNetV3 為主干網(wǎng)的DeepLabV3+，以及傳統(tǒng)的語義分割網(wǎng)絡(luò)U-Net 模型指標(biāo)以驗(yàn)證改進(jìn)點(diǎn)（1）的實(shí)際效果；實(shí)驗(yàn)二是在實(shí)驗(yàn)一的基礎(chǔ)上進(jìn)行的，在以ShuffleNetV2 為主干網(wǎng)的同時(shí)，對(duì)比原有的ASPP 模塊和改進(jìn)的ASPP 模塊的模型效果以驗(yàn)證改進(jìn)點(diǎn)（2）的實(shí)際效果。

本實(shí)驗(yàn)以mIoU（mean intersection over union）、mPA（mean pixel accuracy）、參數(shù)量、推理時(shí)間和模型大小等作為衡量模型分割效果的指標(biāo)，對(duì)比了改進(jìn)的DeepLabV3+和以Xception、MobileNetV2、MobileNetV3為主干網(wǎng)的DeepLabV3+，以及傳統(tǒng)的語義分割網(wǎng)絡(luò)U-Net 的模型效果。Shuffle-NetV2 的網(wǎng)絡(luò)結(jié)構(gòu)中可以通過調(diào)整Block 的輸出通道數(shù)為0.5×、1.0×、1.5×、2.0×來調(diào)整模型復(fù)雜度，為了更好地權(quán)衡模型精度和內(nèi)存占用，本文將四個(gè)通道輸出數(shù)分別訓(xùn)練四個(gè)模型來對(duì)比。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同網(wǎng)絡(luò)模型性能指標(biāo)對(duì)比

實(shí)驗(yàn)結(jié)果表明，基于ShuffleNetV2 改進(jìn)的DeepLabV3+對(duì)比原網(wǎng)絡(luò)在模型參數(shù)量、推理時(shí)間和模型大小方面有明顯提升，比如CPU 上推理時(shí)間從0.44 s 縮短至0.08 s，減少了81.8%，CPU 推理時(shí)間是將PyTorch 模型轉(zhuǎn)為ONNX 模型后使用ONNX Runtime 推理加速后在反竊電設(shè)備上測(cè)出的。更小的參數(shù)量和模型大小以及更短的推理時(shí)間可以滿足反竊電場(chǎng)景下移動(dòng)設(shè)備算力有限的需要；與主干網(wǎng)使用MobileNetV2、MobileNetV3 的網(wǎng)絡(luò)相比，改進(jìn)的DeepLabV3+在參數(shù)量和模型大小相近的情況下mIoU 和mPA最多能提高0.67%，有著更好的分割精度，更重要的是推理時(shí)間能從0.22 s 減少至0.08 s，減少63.6%；與U-Net 相比，改進(jìn)的DeepLabV3+在不大幅犧牲mIoU 和mPA 的前提下，仍然在模型參數(shù)量、推理時(shí)間和模型大小上有著顯著優(yōu)勢(shì)，能夠滿足反竊電精度的同時(shí)大幅縮短推理時(shí)間，在CPU 上減少81.8%，在GPU 上減少39.1%。GPU 上的推理時(shí)間是在實(shí)驗(yàn)平臺(tái)上分別用每個(gè)模型對(duì)測(cè)試集1010 張圖像進(jìn)行10 輪預(yù)測(cè)后取平均值算出的單張圖像的推理時(shí)間。

Block 的輸出通道數(shù)的選取會(huì)明顯影響模型的參數(shù)量：通道數(shù)增加時(shí)參數(shù)量和模型大小會(huì)明顯增大，推理時(shí)間也隨之增加，與此同時(shí)mIoU 和mPA 有小幅提升。通過計(jì)算更多的通道數(shù)提升的精度收益和模型大小損失的比值，并結(jié)合竊電場(chǎng)景的兩點(diǎn)需求，本文最終選取了0.5×的通道數(shù)。

為了驗(yàn)證本文改進(jìn)的ASPP 焊點(diǎn)語義分割的模型效果，本文還進(jìn)行了改進(jìn)后的ASPP 與原ASPP 的對(duì)比實(shí)驗(yàn)，此實(shí)驗(yàn)中主干網(wǎng)為Shuffle-NetV2，Block 的輸出通道數(shù)為0.5×，實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同ASPP性能指標(biāo)對(duì)比

改進(jìn)后的模型算法對(duì)焊點(diǎn)的分割效果如圖4所示，實(shí)驗(yàn)結(jié)果表明本文提出的網(wǎng)絡(luò)能夠精確有效地分割焊點(diǎn)。

圖4 改進(jìn)的DeepLabV3+網(wǎng)絡(luò)分割效果

對(duì)分割后的圖像進(jìn)行后處理以獲得焊點(diǎn)信息，根據(jù)焊點(diǎn)的個(gè)數(shù)和焊點(diǎn)的連通區(qū)域面積就能輕松地判斷有無焊點(diǎn)短接、缺失的異常：焊點(diǎn)短接會(huì)導(dǎo)致焊點(diǎn)個(gè)數(shù)減少并且焊點(diǎn)連通區(qū)域面積增大，焊點(diǎn)缺少會(huì)導(dǎo)致焊點(diǎn)個(gè)數(shù)減少。判斷流程如圖5所示。

圖5 焊點(diǎn)異常判斷流程

將檢測(cè)到的正常焊點(diǎn)標(biāo)注虛線方框，對(duì)異常焊點(diǎn)標(biāo)注實(shí)線方框，檢測(cè)結(jié)果如圖6所示。

圖6 后處理和檢測(cè)結(jié)果

3 結(jié)語

針對(duì)反竊電算法中焊點(diǎn)異常檢測(cè)任務(wù)的兩個(gè)特點(diǎn)，本文在原有的DeepLabV3+網(wǎng)絡(luò)的基礎(chǔ)上對(duì)主干網(wǎng)和ASPP 模塊做出了改進(jìn)，提出了一種更適合反竊電算法的輕量級(jí)網(wǎng)絡(luò)模型，并進(jìn)行了一系列對(duì)比實(shí)驗(yàn)驗(yàn)證該模型的效果。對(duì)比實(shí)驗(yàn)證明本文提出模型的mIoU 達(dá)到93.71%，對(duì)比原有的DeepLabV3+提高了1.24 個(gè)百分點(diǎn)；mPA 達(dá)到97.51%，提高了1.30 個(gè)百分點(diǎn)；參數(shù)量減少了82.5%，在CPU 上的推理時(shí)間減少了81.8%，在GPU 上推理時(shí)間至多能減少36.6%。該算法模型能夠準(zhǔn)確地分割出電能表表盤上的焊點(diǎn)，為后續(xù)流程對(duì)竊電行為的檢測(cè)提供了良好的數(shù)據(jù)基礎(chǔ)。能夠?yàn)殡娏Σ块T提供一個(gè)精確度更高、更輕量級(jí)的算法模型。由于PCB 電路板的高度類似性，本文提出的算法有很好的推廣性，可以應(yīng)用到電路板上的其他檢測(cè)場(chǎng)景，例如PCB電路板元器件分類及其缺陷檢測(cè)等。