胡 鑫 歐陽(yáng)華 尹 洋

（海軍工程大學(xué)電氣工程學(xué)院 武漢 430033）

1 引言

變電站穩(wěn)定性要求高，分布范圍廣，但維護(hù)人員少，維護(hù)路線(xiàn)長(zhǎng)。在這種復(fù)雜環(huán)境下，儀表的種類(lèi)繁多。變電站設(shè)備的巡檢普遍還是采用人工巡檢的方式，巡檢一次通常要2h～3h，該方式勞動(dòng)強(qiáng)度大、效率低、檢測(cè)質(zhì)量分散性大，巡檢人員維護(hù)能力不足，對(duì)供電保障造成極大影響。所以將先進(jìn)的識(shí)別算法引入工業(yè)儀表識(shí)別領(lǐng)域，以解決目前自動(dòng)識(shí)別在準(zhǔn)確率、泛化能力等方面的不足，并將儀表自動(dòng)識(shí)別應(yīng)用于機(jī)器人巡檢［1］之中，通過(guò)機(jī)器人實(shí)時(shí)識(shí)別儀表類(lèi)型，解放勞動(dòng)力，這也將成為未來(lái)的發(fā)展趨勢(shì)。1959年Hubel［2］發(fā)現(xiàn)在貓的初級(jí)視覺(jué)皮層之中存在簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞，分別承擔(dān)不同層次的視覺(jué)感知功能。這些細(xì)胞對(duì)視覺(jué)輸入空間的子區(qū)域非常敏感，我們稱(chēng)之為感受野。而卷積神經(jīng)網(wǎng)絡(luò)的正式提出，是由 Yann LeCun［3］于 1998 年提出，在卷積神經(jīng)網(wǎng)絡(luò)之中引入了反向傳播算法，在手寫(xiě)數(shù)字識(shí)別上有了很大的成功。進(jìn)而，卷積神經(jīng)網(wǎng)絡(luò)真正開(kāi)始了深度學(xué)習(xí)的新篇章，各種基于卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)模型不斷被提出，應(yīng)用于圖像各個(gè)領(lǐng)域。例如在2014年3月，一支由湯曉鷗［4］領(lǐng)導(dǎo)的中國(guó)人工智能團(tuán)隊(duì)發(fā)布其原創(chuàng)的人臉識(shí)別算法研究成果，準(zhǔn)確率達(dá)到98.52%，首次超越人眼識(shí)別能力。英特爾公司的研究人員提出的LPRNet［5］（License Plate Recognition via Deep Neural Net?works），采用一種端到端的識(shí)別方案，不需要進(jìn)行圖片的分割，速度快，準(zhǔn)確度高于95%，在大陸多種車(chē)牌上取得了不錯(cuò)的效果。2020年，何配林［6］利用Mask-RCNN識(shí)別工業(yè)儀表讀數(shù)，首先將儀表分為指針式和數(shù)字式兩類(lèi)，進(jìn)行儀表類(lèi)型的識(shí)別，對(duì)于兩類(lèi)特征區(qū)別明顯的儀表，其識(shí)別的成功率接近100%。本文則針對(duì)指針式儀表中最為重要的四類(lèi)儀表進(jìn)行分類(lèi)識(shí)別，采用深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）的 AlexNet［7］模型對(duì)儀表圖像進(jìn)行自動(dòng)特征提取，然后進(jìn)行建模與分類(lèi)，最后采用改變模型池化層的池化方式的組合形式，改進(jìn)得到的識(shí)別結(jié)果準(zhǔn)確率和損失程度更低，以滿(mǎn)足更高精度要求的工程需要。

2 數(shù)據(jù)集的構(gòu)造

目前，并沒(méi)有找到可以直接應(yīng)用的數(shù)據(jù)集，于是針對(duì)實(shí)驗(yàn)所必須的輸入數(shù)據(jù)，利用實(shí)驗(yàn)室已有的吊軌機(jī)器人系統(tǒng)，制作了一個(gè)儀表為對(duì)象的數(shù)據(jù)集；主要手段是針對(duì)已有圖片進(jìn)行擴(kuò)展，數(shù)據(jù)量增強(qiáng)，從而提高實(shí)驗(yàn)精度和準(zhǔn)確度。

1）對(duì)已有圖片進(jìn)行旋轉(zhuǎn)操作，模擬相機(jī)采集圖片時(shí)出現(xiàn)的角度偏差問(wèn)題；

2）對(duì)已有圖片進(jìn)行加噪處理，模擬巡檢環(huán)境現(xiàn)場(chǎng)的各種噪聲對(duì)圖像采集造成的影響；

3）對(duì)已有圖片進(jìn)行整體色調(diào)的調(diào)整變換，模擬戶(hù)外環(huán)境下光照因素帶來(lái)的影響。

初步得到了一個(gè)針對(duì)工業(yè)巡檢十分重要的四類(lèi)儀表：壓力表（圖1（a））、電壓表（圖1（b））、電流表（圖1（c）和溫度表（圖1（d））的數(shù)據(jù)集，如圖1所示。其中電壓表640張、電流表640張、溫度表360張壓力表2000張，四類(lèi)儀表共3640張圖片這樣的一個(gè)數(shù)據(jù)集，然后按照8：2的比例劃分訓(xùn)練集和測(cè)試集，從數(shù)據(jù)規(guī)模來(lái)看基本達(dá)到了用于深度學(xué)習(xí)的數(shù)據(jù)量的標(biāo)準(zhǔn)，可以用來(lái)投入使用。

圖1 四類(lèi)儀表

3 圖像分類(lèi)模型

卷積神經(jīng)網(wǎng)絡(luò)［8］（Convolutional Neural Networks，CNN）是一類(lèi)通過(guò)卷積運(yùn)算，并且具有局部連接、權(quán)重共享等特性的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)領(lǐng)域之中的代表作品。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)能力，其最早是用來(lái)處理圖像信息。目前的卷積神經(jīng)網(wǎng)絡(luò)一般是由卷積層、匯聚層、和全連接層交叉堆疊而成的前饋神經(jīng)網(wǎng)絡(luò)，在結(jié)構(gòu)上有三個(gè)特性：局部連接、權(quán)重共享以及匯聚。這些特性使得卷積神經(jīng)網(wǎng)絡(luò)具有一定程度上的平移、縮放和旋轉(zhuǎn)不變性。上述數(shù)據(jù)集之中的四類(lèi)儀表由于形狀、字符標(biāo)志的不同，當(dāng)其輸入卷積神經(jīng)網(wǎng)絡(luò)之中，進(jìn)行局部區(qū)域特征提取之后，會(huì)得到不同的特征映射，從而得以區(qū)分。

AlexNet是在2012年，在Geoff Hinton的實(shí)驗(yàn)室由Alex Krizhevsky等設(shè)計(jì)出的，是第一個(gè)現(xiàn)代深層卷積神經(jīng)網(wǎng)絡(luò)，其首次運(yùn)用了很多現(xiàn)代深度卷積網(wǎng)絡(luò)的技術(shù)方法，例如使用GPU來(lái)并行訓(xùn)練，非線(xiàn)性激活函數(shù)采用了ReLU函數(shù)，并使用Dropout來(lái)防止過(guò)擬合，使用數(shù)據(jù)增強(qiáng)手段來(lái)提高模型準(zhǔn)確率等，并且一舉奪得了 2012 年 ImageNet［9～11］圖像分類(lèi)競(jìng)賽的冠軍（top5錯(cuò)誤率僅為15.3%），這在當(dāng)時(shí)引起了很大的轟動(dòng)。AlexNet是一個(gè)具有很大歷史意義的網(wǎng)絡(luò)結(jié)構(gòu)，AlexNet誕生之后，卷積神經(jīng)網(wǎng)絡(luò)（CNN）受到極大重視，在領(lǐng)域內(nèi)被不斷改進(jìn)并且層次越來(lái)越深，這也使得CNN成為在圖像識(shí)別分類(lèi)的核心算法模型，并且將其應(yīng)用到工業(yè)、醫(yī)學(xué)、農(nóng)業(yè)等各大領(lǐng)域。

AlexNet網(wǎng)絡(luò)結(jié)構(gòu)共有8層，分別是前面5層的卷積層和后面3層的全連接層，其中最后一個(gè)全連接層是使用了Softmax函數(shù)的輸出層。其結(jié)構(gòu)如圖2所示。

圖2 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)圖

AlexNet的輸入為224*224*3的圖像。

第一個(gè)卷積層：通過(guò)使用兩個(gè)大小為11*11*3*48的卷積核，設(shè)定為4的步長(zhǎng)，為3的零填充，能夠得到兩個(gè)大小為55*55*48的特征映射組；

第一個(gè)匯聚層：通過(guò)使用大小為3*3的最大匯聚層，設(shè)定為2的步長(zhǎng)，能夠得到兩個(gè)27*27*48的特征映射組；

第二個(gè)卷積層：通過(guò)使用兩個(gè)大小為5*5*48*128的卷積核，設(shè)定為1的步長(zhǎng)，為2的零填充，能夠得到兩個(gè)大小為27*27*128的特征映射組；第二個(gè)匯聚層：通過(guò)使用大小為3*3的最大匯聚層，設(shè)定為2的步長(zhǎng)，從而得到兩個(gè)13*13*128的特征映射組；

第三個(gè)卷積層：比較特殊，是兩個(gè)路徑的融合，通過(guò)使用一個(gè)大小為3*3*256*384的卷積核，設(shè)定為1的步長(zhǎng)，為1的零填充，能夠得到兩個(gè)大小為13*13*192的特征映射組；

第四個(gè)卷積層：通過(guò)使用兩個(gè)大小為3*3*192*192的卷積核，設(shè)定為1的步長(zhǎng)，為1的零填充，能夠得到兩個(gè)大小為13*13*192的特征映射組；

第五個(gè)卷積層：通過(guò)使用兩個(gè)大小為3*3*192*128的卷積核，設(shè)定為1的步長(zhǎng)，為1的零填充，能夠得到兩個(gè)大小為13*13*128的特征映射組；

第三個(gè)匯聚層：通過(guò)使用大小為3*3的最大匯聚層，設(shè)定為2的步長(zhǎng)，能夠得到兩個(gè)6*6*128的特征映射組；

最后是三個(gè)全連接層，神經(jīng)元數(shù)量分別為4096、4096和1000。

卷積層的計(jì)算公式為

Ii表示輸入矩陣，Wij表示卷積核，bj表示偏置，f(·)表示激活函數(shù)。

池化層的計(jì)算公式為

down表示池化操作。

全連接層最后利用SoftMax函數(shù)進(jìn)行分類(lèi)，其計(jì)算公式為

Ii為所有輸入組合中的第i個(gè)輸入，K為輸入神經(jīng)元個(gè)數(shù)。通過(guò)Softmax函數(shù)，輸出值能夠映射到了［0，1］范圍內(nèi)，利用Softmax分類(lèi)實(shí)際上就是根據(jù)概率值來(lái)進(jìn)行分類(lèi)操作。

另外，AlexNet在前兩個(gè)匯聚層之后還進(jìn)行了局部響應(yīng)歸一化（Local Response Normalization）。一般而言，在神經(jīng)網(wǎng)絡(luò)中用激活函數(shù)對(duì)輸出進(jìn)行非線(xiàn)性映射，并且對(duì)于ReLU激活函數(shù)而言，值域沒(méi)有一個(gè)區(qū)間，因此要對(duì)這個(gè)進(jìn)行一個(gè)結(jié)果的歸一化。

局部響應(yīng)歸一化公式如下所示：

通過(guò)局部響應(yīng)歸一化，增強(qiáng)了模型的泛化功能。

4 實(shí)驗(yàn)結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為64位的Win10系統(tǒng)，計(jì)算機(jī)的CPU 為 Intel（R）Core（TM）i5-9300H，CPU 的主頻為2.4GHz，內(nèi)存為8GB，顯卡為GTX1650。模型訓(xùn)練是利用Anaconda下基于Python語(yǔ)言的Pycharm編譯工具，采用Keras深度學(xué)習(xí)框架。

4.2 評(píng)價(jià)指標(biāo)

分類(lèi)指標(biāo)包括訓(xùn)練準(zhǔn)確率、訓(xùn)練損失率、驗(yàn)證準(zhǔn)確率和驗(yàn)證損失率。準(zhǔn)確率和訓(xùn)練損失率用來(lái)判斷模型本身的性能，可以分別用下面公式表示出來(lái)：

4.3 仿真結(jié)果

將數(shù)據(jù)導(dǎo)入AlexNet網(wǎng)絡(luò)中運(yùn)行，并且調(diào)整ep?ochs（訓(xùn)練輪數(shù)）和batch size（一次訓(xùn)練所選取的樣本數(shù)）用來(lái)進(jìn)行對(duì)比。仿真識(shí)別結(jié)果如圖2～4所示。

仿真結(jié)果分析如下。

本次實(shí)驗(yàn)考察的是圖像識(shí)別的準(zhǔn)確率和損失率，圖2～4的橫坐標(biāo)為訓(xùn)練輪數(shù)，左圖縱坐標(biāo)為準(zhǔn)確度，右圖縱坐標(biāo)為損失程度。針對(duì)batch_size和epochs這兩個(gè)超參數(shù)進(jìn)行對(duì)比分析。

圖2 batch_size=16，epochs=20

圖4與圖3相比batch_size更大，收斂更快，但精度略低，且出現(xiàn)了損失程度較大的情況。說(shuō)明batch_size設(shè)的大一些，收斂得更快，也就是需要訓(xùn)練的次數(shù)少，準(zhǔn)確率上升的也很穩(wěn)定，但是實(shí)際使用起來(lái)可能精度不高。batch_size設(shè)的小一些，收斂得慢，可能準(zhǔn)確率會(huì)來(lái)回震蕩，因此需要把基礎(chǔ)學(xué)習(xí)速率降低一些，但是實(shí)際使用起來(lái)精度較高。

圖3 batch_size=16，epochs=50

圖4 batch_size=32，epochs=50

圖3與圖2相比epoch更大，可以看到圖3的收斂情況更好，損失程度更低。梯度下降本身是一個(gè)迭代過(guò)程，所以經(jīng)過(guò)單個(gè)epoch更新權(quán)重遠(yuǎn)遠(yuǎn)不夠。隨著epoch的增加，神經(jīng)網(wǎng)絡(luò)中權(quán)重更新迭代的次數(shù)增加，曲線(xiàn)從開(kāi)始的欠擬合，慢慢進(jìn)入最佳擬合，epoch繼續(xù)增加，最后過(guò)擬合。從上述結(jié)果可以判斷出圖2還未進(jìn)入最佳擬合狀態(tài)。

根據(jù)上圖結(jié)果顯示，本次仿真識(shí)別結(jié)果較為理想，特別是當(dāng)batch_size=16，epochs=50時(shí)，識(shí)別的準(zhǔn)確度最高。經(jīng)過(guò)一段時(shí)間訓(xùn)練，訓(xùn)練集的準(zhǔn)確率保持在95%以上，其個(gè)別特殊樣本會(huì)引起極小程度的波動(dòng)，但是影響并不大。對(duì)其四個(gè)指標(biāo)計(jì)算平均值，得到的結(jié)果較好，能夠?qū)x表類(lèi)別達(dá)到初步效果。

表1 指標(biāo)精度

5 模型改進(jìn)

從AlexNet的結(jié)構(gòu)分析，可知，此網(wǎng)絡(luò)包含3個(gè)池化層［12～13］（pooling）且運(yùn)用的都為最大池化（Max?pooling）。為了能夠提取局部感受野中精確的圖像特征，研究了最大值池化和均值池化的特點(diǎn)，最大值池化可以提取圖片局部的特征信息，通過(guò)局部的特征信息可以組合成為全局的特征信息。但是在特征的細(xì)節(jié)處理上效果表現(xiàn)欠佳，而另外一種均值池化（Averagepooling）恰恰與之相反。因而提出兩者結(jié)合運(yùn)用的池化方式，既保留了輪廓的完整性，又能在細(xì)節(jié)的處理上更加精確。

最大池化公式為

均值池化公式為

vm表示圖像中T個(gè)像素點(diǎn)中的第m個(gè)像素點(diǎn)，m表示該點(diǎn)在滑動(dòng)窗口中的方位，池化即把vm映射到對(duì)應(yīng)的統(tǒng)計(jì)值上。

經(jīng)反復(fù)實(shí)驗(yàn)對(duì)比分析池化方式的選擇得出，當(dāng)?shù)谝淮问褂镁党鼗?，在低維數(shù)據(jù)時(shí)著重細(xì)節(jié)處理，在后兩次還是使用最大值池化，在高維時(shí)提取全局特征信息。即由（Maxpooling*3）改為（Aver?agepooling+Maxpooling*2），此時(shí)得出的結(jié)果為最優(yōu)。通過(guò)結(jié)合兩者的優(yōu)點(diǎn)，提取出更加精確的特征信息。

對(duì)其進(jìn)行仿真實(shí)驗(yàn)，取第一次仿真中效果最好的一組，即取batch_size=16，epochs=50進(jìn)行實(shí)驗(yàn)。

結(jié)果如圖5～6。

圖5 原模型的仿真結(jié)果

圖6 改進(jìn)后的仿真結(jié)果

表2 改進(jìn)之后的指標(biāo)精度

根據(jù)仿真結(jié)果進(jìn)行分析可得：通過(guò)改進(jìn)之后，測(cè)試結(jié)果收斂性更好，并且四項(xiàng)指標(biāo)都得到了小幅度提升，驗(yàn)證準(zhǔn)確率達(dá)到了97.68%，驗(yàn)證損失率降低至9.37%，這也反映了本次改進(jìn)的有效性。

6 結(jié)語(yǔ)

本文利用AlexNet網(wǎng)絡(luò)模型針對(duì)四類(lèi)常見(jiàn)的變電站儀表進(jìn)行識(shí)別分類(lèi)，通過(guò)構(gòu)造實(shí)時(shí)環(huán)境的數(shù)據(jù)集，使得訓(xùn)練模型具有更好的適應(yīng)性。并且根據(jù)網(wǎng)絡(luò)模型的結(jié)構(gòu)，針對(duì)池化層進(jìn)行研究，并且進(jìn)行對(duì)比分析，驗(yàn)證了改進(jìn)方案的模型可靠性，得到一個(gè)效果更好的池化組合方式，使得識(shí)別的準(zhǔn)確率有了小幅度的提升，為后續(xù)的變電站智能無(wú)人巡檢提供了更好的性能支撐。