張 森，萬吉林，王慧芳，管敏淵，楊 斌，3，李 凡

（1. 浙江大學 電氣工程學院，浙江 杭州 310027；2. 國網(wǎng)浙江省電力有限公司湖州供電公司，浙江 湖州 313000；3. 湖州電力設計院有限公司，浙江 湖州 313000）

0 引言

由于變電站環(huán)境中存在大量電磁干擾以及指針式儀表具有價格優(yōu)勢等原因，目前變電站中依然存在著大量的指針式儀表［1-4］。而巡檢機器人在變電站的推廣極大地方便了指針式儀表圖像的獲取［5-7］。為了進一步節(jié)約人力成本、提升變電站的自動化、智能化水平，提高變電站巡檢圖像中指針式儀表讀數(shù)識別的準確率和效率是非常必要的。

目前絕大部分關于指針式儀表讀數(shù)自動識別的研究都是建立在儀表指針檢測基礎上，其中包括文獻［8-12］等都是采用霍夫變換方法檢測指針獲取指針傾角來識別儀表的讀數(shù)。然而變電站巡檢機器人拍攝的儀表圖像中，表盤面往往存在較多雜質，在這種情形下以霍夫變換為代表的圖形檢測算法會檢測到大量干擾線段。文獻［13］使用圖像分割的方法替代霍夫變換提高了檢測指針的準確率，但是該方法的流程依然較多，因而計算指針傾角的過程中容易積累誤差。通過檢測指針線段計算指針傾角來獲取儀表讀數(shù)的方法還會受到儀表表盤校準程度、指針形狀與外觀等因素的影響。對于精密的指針式儀表而言，指針傾角的細微差異就會使讀數(shù)識別結果偏離真實值。

近年來，以卷積神經(jīng)網(wǎng)絡CNN（Convolutional Neural Network）為代表的深度學習算法在電力圖像識別領域得到了廣泛的應用［14-17］。然而對指針式儀表圖像直接采用卷積神經(jīng)網(wǎng)絡回歸儀表讀數(shù)的做法并不合理，因為指針式儀表圖像中和讀數(shù)識別最相關的是儀表指針附近區(qū)域，而該區(qū)域的面積占據(jù)整個表盤區(qū)域面積的比例往往很小。卷積神經(jīng)網(wǎng)絡識別儀表讀數(shù)的準確率取決于提取的圖像特征質量，所以目標尺寸小會增加其準確識別儀表讀數(shù)的難度。此外，目前構建的基于深度學習算法的指針式儀表圖像讀數(shù)識別方法需要較為龐大的數(shù)據(jù)計算量，并且模型體積比較大。因此，對應用的平臺算力等硬件性能有一定的要求，限制了效果優(yōu)秀的深度學習算法的實際應用。

為了突破檢測指針線段識別儀表讀數(shù)方法的局限及彌補卷積神經(jīng)網(wǎng)絡識別儀表讀數(shù)的缺陷，本文在卷積神經(jīng)網(wǎng)絡中引入注意力機制：采用雙路異構卷積神經(jīng)網(wǎng)絡強化了對儀表圖像特征的提取，并加入卷積注意力模塊改善了提取特征的類型和分布；考慮到直接回歸儀表讀數(shù)的方式會大幅增加卷積神經(jīng)網(wǎng)絡的參數(shù)量，為了減少模型的空間復雜度，本文在設計卷積神經(jīng)網(wǎng)絡時采取分級回歸的策略，因而構建的模型還具有體積小、易部署、效率高的優(yōu)勢。

1 指針式儀表圖像讀數(shù)識別方法概述

1.1 基于儀表指針檢測的讀數(shù)識別方法

目前關于指針式儀表圖像讀數(shù)識別的研究大多是建立在儀表指針檢測的基礎上，該方法的流程如圖1 所示?？梢园l(fā)現(xiàn)，檢測指針識別儀表讀數(shù)的方法步驟較多，導致該方法識別儀表讀數(shù)的速度受到限制。并且流程中的步驟2和步驟4容易積累誤差，對儀表指針傾角以及讀數(shù)識別結果影響較大。

圖1 檢測指針識別儀表讀數(shù)的流程Fig.1 Meter reading recognition flowchart based on pointer detection

1）步驟2 是儀表圖像進行自動校準，通常采用的方法是仿射變換或透視變換。要使用這些變換方法，需要在儀表圖像中尋找合適的變換基準點。若變換基準點選擇得不理想，這些變換方法甚至會增加儀表圖像的傾斜程度，而很多情況下理想的變換基準點難以找到。并且這些變換方法通常會對圖像造成形變和扭曲，影響后續(xù)步驟4中的指針擬合。

2）步驟4 決定了儀表讀數(shù)識別的準確率。為了得到指針的傾角，需要對指針線段進行擬合，通常采用的方法為最小二乘法、梯度下降法、高斯-牛頓法等。然而指針線段擬合的效果受到指針包含的像素數(shù)量、指針的外觀形狀、指針的粗細大小等因素影響。尤其是對于單位角度數(shù)值較大的精密儀表而言，指針線段傾角的細微偏差也會使得讀數(shù)識別結果嚴重偏離真實值。

而提取儀表指針檢測的方法有很多，典型的如采用霍夫變換的方法提取直線段，但是霍夫變換等方法很容易受到表盤面上各種干擾條紋的影響，導致效果不佳。因此文獻［13］提出了一種基于U-Net 的指針提取方法，并且取得了很好的效果，能夠有效排除干擾獲取指針。本文也以此作為基于指針檢測的儀表讀數(shù)識別方法的代表。

1.2 基于圖像特征映射的讀數(shù)識別方法

基于圖像特征映射的讀數(shù)識別方法是直接通過分析儀表圖像特征來回歸儀表讀數(shù)，該方法沒有校準表盤、顯式檢測儀表指針、擬合指針線段等中間過程，因而流程較短，識別效率較高。該方法直接從已經(jīng)確定好表盤區(qū)域的圖像中提取儀表讀數(shù)結果，因此提取的圖像特征質量決定了儀表讀數(shù)識別的準確率。如前文所述，由于指針等關鍵部件占據(jù)儀表圖像的比例極其有限，所以往往很難提取到與讀數(shù)識別相關的特征，這也是目前該識別方法的研究遲遲未取得進展的重要原因。

早期的圖像特征提取方法主要有HOG、SIFT、ORB 等，這些方法都需要依靠先驗知識進行人工設計，主要差異在于角點檢測、邊緣計算、圖像尺度空間等方面的處理細節(jié)。然而人工設計的圖像特征抽象程度不足，泛化能力普遍較弱，識別準確率不穩(wěn)定，難以適應儀表圖像中復雜多變的環(huán)境，局限性較大。

自AlexNet 在ImageNet 圖像分類比賽中取得了優(yōu)異的成績后［18］，以卷積神經(jīng)網(wǎng)絡為代表的深度學習算法開始受到更加廣泛的關注，并在短短數(shù)年內(nèi)得到了飛速的發(fā)展，給基于圖像特征映射的讀數(shù)識別研究帶來了新的希望。盡管大量實踐證明，在圖像識別領域，相比于人工設計方法，卷積神經(jīng)網(wǎng)絡的特征提取能力更強，然而這并不意味著卷積神經(jīng)網(wǎng)絡處理各種圖像識別任務時都能輕易獲得令人滿意的結果。在指針式儀表讀數(shù)識別任務中，卷積神經(jīng)網(wǎng)絡同樣要面臨目標特征占比少的難題。如何引導卷積神經(jīng)網(wǎng)絡將注意力集中到與讀數(shù)識別最相關的特征，提高讀數(shù)識別的準確率和效率，是本文研究的主要內(nèi)容。

2 基于注意力機制的卷積神經(jīng)網(wǎng)絡儀表讀數(shù)識別模型

2.1 強化儀表圖像特征提取的雙路異構卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡根據(jù)功能主要可以劃分為卷積層、池化層、歸一化層、全連接層等。其中卷積層是通過卷積核提取圖像的局部特征，卷積核的大小和數(shù)量決定了感受野和特征類型，同時卷積核的濾波方式由于可以共享權值從而極大地減少了模型的參數(shù)量。池化層采取的常見方式有最大池化和平均池化，主要作用是進一步減少模型復雜度來緩解過擬合現(xiàn)象。歸一化層是將特征圖的數(shù)據(jù)歸一化到標準正態(tài)分布，主要的作用是抑制梯度消失和梯度爆炸現(xiàn)象。全連接層一般處于卷積神經(jīng)網(wǎng)絡的最后階段，通過對提取的特征進行加權的方式進行特征分類和篩選。

為了詳細說明卷積神經(jīng)網(wǎng)絡識別儀表圖像讀數(shù)的過程，本文搭建了一個經(jīng)典的9 層（不包含輸入層和輸出層）卷積神經(jīng)網(wǎng)絡，網(wǎng)絡的結構如圖2 所示。網(wǎng)絡的第1 層為歸一化層，作用是將儀表圖像的RGB 值變換到正態(tài)分布下，使網(wǎng)絡能夠更快收斂。網(wǎng)絡的第2—6層為卷積層，作用是提取圖像的局部特征，卷積層越深則提取特征的抽象程度越高，即淺層特征反映的是紋理細節(jié)，深層特征反映的是語義狀態(tài)。網(wǎng)絡的第7—9層為全連接層，作用是將提取的圖像特征映射到儀表讀數(shù)。

圖2 卷積神經(jīng)網(wǎng)絡結構Fig.2 Structure of CNN

為了強化對儀表圖像特征的提取，本文參考文獻［19］的工作設計了雙路異構卷積神經(jīng)網(wǎng)絡。2 路卷積神經(jīng)網(wǎng)絡結構大體一致，但是從激活函數(shù)、池化方式、通道數(shù)等方面進行了異構化，以提取盡可能不同的特征。改進后的模型結構如圖3所示。

圖3 雙路異構卷積神經(jīng)網(wǎng)絡結構Fig.3 Structure of two-stream heterogeneous CNN

雙路異構卷積神經(jīng)網(wǎng)絡中每一路卷積神經(jīng)網(wǎng)絡的主要基本單元都包含3×3 的卷積層和池化層，但是為了提取盡可能不同的特征，對2 路卷積神經(jīng)網(wǎng)絡進行了異構：上路卷積神經(jīng)網(wǎng)絡使用了ReLu激活函數(shù)、平均池化方式，卷積層通道數(shù)為32；下路卷積神經(jīng)網(wǎng)絡使用了tanh激活函數(shù)、最大池化方式，卷積層通道數(shù)為16。

2.2 改善儀表圖像特征類型和特征分布的卷積注意力模塊

判斷指針狀態(tài)是指針式儀表讀數(shù)識別的關鍵。然而在某些指針式儀表圖像中指針區(qū)域所占比例甚至不足1%。為了提升卷積神經(jīng)網(wǎng)絡提取指針特征的能力，本文在卷積神經(jīng)網(wǎng)絡中加入卷積注意力模塊CBAM（Convolutional Block Attention Module）［20］。卷積注意力模塊分為通道注意力模塊（channel attention module）和空間注意力模塊（spatial attention module），分別能夠對中間特征圖的特征類型和特征分布進行優(yōu)化。卷積注意力模塊結構如圖4 所示。圖中：C為通道數(shù)；H為特征圖高度；W為特征圖寬度。

圖4 卷積注意力模塊結構Fig.4 Structure of CBAM

3 基于軟區(qū)間分級回歸的卷積神經(jīng)網(wǎng)絡

3.1 簡化卷積神經(jīng)網(wǎng)絡的分級回歸方法

第2 節(jié)構建的融合卷積注意力模塊的雙路異構卷積神經(jīng)網(wǎng)絡模型依然有可改進的地方。該模型結構的最后部分使用多個全連接層的方式直接回歸儀表讀數(shù)，而全連接層參數(shù)冗余，因此模型的參數(shù)較多、空間復雜度較大。要降低模型部署的難度，勢必要減小模型體積。為了實現(xiàn)該目標，本文參考Yang等人的工作［21］，將原卷積神經(jīng)網(wǎng)絡模型的直接回歸方式替換為分級回歸，極大地簡化了模型的體積。

分級回歸首先將回歸任務轉化為分類任務，用各類別的期望值來表示回歸預測值。具體地，當儀表讀數(shù)Y分布在區(qū)間［0，V］內(nèi)時，將該區(qū)間細分為s個無重疊的子區(qū)間，每個子區(qū)間的寬度w=V/s。并且每個子區(qū)間都有1個代表值，當選取子區(qū)間的左值為其代表值時，第i個子區(qū)間的代表值μi=i(V/s)。對于輸入圖像，模型將輸出一組向量p=(p0，p1，…，ps-1)表示預測值y～ 在各子區(qū)間分布的概率，y～ 的計算公式為：

分級回歸將預測過程劃分成多個層級，每一層級只對前一層級的預測結果進行微調，這種方式能夠大幅減少每個層級需要預測的類別數(shù)，從而能夠極大減少模型的參數(shù)量，降低模型的復雜度。

3.2 基于分級回歸的軟區(qū)間方法

分級回歸過程可以看作是逐級地確定指針所在的區(qū)間：先粗略識別儀表讀數(shù)所在的大范圍，然后不斷微調縮小區(qū)間最終得到更精確的儀表讀數(shù)預測值。而考慮到儀表讀數(shù)Y在各區(qū)間之間存在的“連續(xù)性”問題，如指針式儀表的指針落在相鄰2 個刻度之間等場景，將區(qū)間劃分為各個不重疊的子區(qū)間顯得不夠靈活，因此軟區(qū)間回歸網(wǎng)絡在式（4）的基礎上給各子區(qū)間加入了縮放量和平移量。加入縮放量的方式為：給各層級的sk添加一個增量Δk，即sˉk=sk(1+Δk)，則相應子區(qū)間的寬度wˉ如式（5）所示。

3.3 識別指針式儀表圖像讀數(shù)的卷積神經(jīng)網(wǎng)絡模型

加入軟區(qū)間分級回歸方法后，本文最終構建的識別指針式儀表圖像讀數(shù)的模型結構如圖5 所示。圖中，PB表示分級儀表讀數(shù)預測模塊。

圖5 融合卷積注意力模塊的雙路異構軟區(qū)間分級回歸卷積神經(jīng)網(wǎng)絡Fig.5 Structure of two-stream heterogeneous soft stagewise regression CNN fused with CBAM

圖5 在圖3 基礎上增加了卷積注意力模塊和軟區(qū)間分級回歸方法，模型分為2 路卷積神經(jīng)網(wǎng)絡，每路卷積神經(jīng)網(wǎng)絡的基本單元都是3×3 的卷積層、池化層、卷積注意力模塊，主要區(qū)別在于卷積層數(shù)、激活函數(shù)以及池化方式。模型將讀數(shù)識別回歸過程分為3 個層級，層級1 預測儀表讀數(shù)的大致區(qū)間，層級3預測儀表讀數(shù)的精細值，融合3個層級的預測結果以回歸最終儀表讀數(shù)值。

4 算例分析

4.1 算例情況

實驗數(shù)據(jù)集來源于由巡檢機器人在不同時間、不同環(huán)境下拍攝的1 106 張某變電站內(nèi)多個指針式壓力表的圖像，這些圖像數(shù)據(jù)集包括了氣象因素、角度因素等的影響。上述原始數(shù)據(jù)集首先采用文獻［13］的方法進行預處理，檢測并獲得儀表盤區(qū)域圖像，然后經(jīng)過裁剪縮放后，每張表盤圖像的分辨率為256×256。處理后的指針式壓力表圖像如附錄A 圖A1 所示。圖像中儀表盤傾斜角度不一、指針纖細短小，若采用基于指針線段檢測思路識別儀表讀數(shù)，則圖像校準、指針擬合等環(huán)節(jié)容易產(chǎn)生誤差。將數(shù)據(jù)集按照約4∶1 的比例隨機取884 張作為訓練集和222張作為測試集。測試平臺為CPU 為Core i7-9700K，GPU為單核GEFORCE RTX 3090 Ti。

單一的準確率指標難以全面反映模型的性能表現(xiàn)，為此定義如下3 個分指標：小偏差率為讀數(shù)識別相對誤差絕對值在1 個單位刻度范圍內(nèi)的圖像數(shù)量與總圖像數(shù)量之比；中偏差率為讀數(shù)識別相對誤差絕對值在1～2個單位刻度范圍內(nèi)的圖像數(shù)量與總圖像數(shù)量之比；大偏差率為讀數(shù)識別相對誤差絕對值高于2 個單位刻度的圖像數(shù)量與總圖像數(shù)量之比。定義平均絕對誤差MAE（Mean Absolute Error）為測試集中預測值與真實值的絕對誤差的平均值。

為了說明融合注意力機制的卷積神經(jīng)網(wǎng)絡識別指針式儀表讀數(shù)的效果，本文設置了6 個對照組。其中，前5 個對照組是基于圖像特征映射的讀數(shù)識別方法，分別為基于HOG 特征的支持向量機（SVM）模型［22］、基于HOG 特征的隨機森林（RF）模型［23］、基于卷積神經(jīng)網(wǎng)絡的模型（下文簡稱CNN 模型）、加入卷積注意力模塊的卷積神經(jīng)網(wǎng)絡模型（下文簡稱CNN+CBAM 模型）、基于軟區(qū)間分級回歸方法的雙路異構卷積神經(jīng)網(wǎng)絡模型（下文簡稱2-CNN 模型）；第6 個對照組為基于儀表指針檢測的深度學習方法，具體是表現(xiàn)優(yōu)秀的基于U-Net 圖像分割的模型（下文簡稱U-Net模型）［13］。

4.2 實驗結果與分析

基于圖A1 所示的儀表盤區(qū)域圖像，本文模型及6個對照模型的識別結果對比如表1所示。表中，λMAE為MAE的值。

表1 指針式儀表讀數(shù)識別結果對比Table 1 Comparison of reading recognition results of pointer meter

分析表中數(shù)據(jù)可以得到如下結論。

1）與其他基于圖像特征映射的讀數(shù)識別方法相比，本文模型的讀數(shù)識別小偏差率、大偏差率、MAE指標均為最優(yōu)，表明本文模型提取的圖像特征質量更高，更適合映射儀表讀數(shù)。其中，SVM、RF 這2 種機器學習模型的優(yōu)勢在于模型結構相對簡單，識別消耗時間更少，但小偏差率、大偏差率、MAE 等指標均劣于以卷積神經(jīng)網(wǎng)絡為代表的深度學習模型。對比CNN+CBAM 模型與CNN 模型的識別結果可以發(fā)現(xiàn)，卷積注意力模塊在不明顯增加模型大小和識別耗時的情況下，能夠提高讀數(shù)識別小偏差率，降低大偏差率，減小平均絕對誤差，說明了卷積注意力模塊能夠對模型提取的中間特征進行優(yōu)化，改善了模型的整體性能。對比2-CNN 模型與CNN 模型的識別結果可以發(fā)現(xiàn)，由于采用分級回歸方法減少了每一層級需要預測的類別數(shù)，因此大幅減少了全連接層的參數(shù)冗余，極大地簡化了雙路異構卷積神經(jīng)網(wǎng)絡模型體積，讀數(shù)識別小偏差率、大偏差率、MAE 等指標也相對更好，說明了雙路卷積神經(jīng)網(wǎng)絡的設計以及軟區(qū)間分級回歸的方式比堆疊全連接層直接回歸的方式更優(yōu)。

2）與基于儀表指針檢測的讀數(shù)識別方法相比，本文方法在小偏差率上雖然不如基于儀表指針檢測的U-Net 深度學習算法，然而小偏差率、中偏差率的綜合表現(xiàn)還是本文方法最優(yōu)，且兩者的MAE 指標非常接近，說明本文方法能夠實現(xiàn)更高比例的儀表準確讀數(shù)。同時，基于儀表指針檢測的算法流程多、耗時長，識別總耗時為本文模型的26 倍，并且該算法模型體積大，約為本文模型體積的400 倍，部署難度非常大。因此，本文方法在儀表讀數(shù)識別準確率、效率、部署難度中取得了較好的平衡。

5 結論

針對基于圖像校準、指針擬合思路的指針式儀表圖像讀數(shù)識別方法存在的流程長、效率低、指針傾角計算容易存在偏差以及算法部署難度大等問題，本文提出了基于注意力的卷積神經(jīng)網(wǎng)絡模型，該模型具有以下特點：

1）構建了融合卷積注意力模塊的雙路異構卷積神經(jīng)網(wǎng)絡，強化了對儀表圖像特征的提取，改善了提取特征的類型和分布，提高了儀表讀數(shù)識別的準確率和效率；

2）采取了軟區(qū)間分級回歸的方式，大幅減少了模型的體積，使得模型適用性更廣且容易部署在中小型機器內(nèi)。

附錄見本刊網(wǎng)絡版（http：//www.epae.cn）。