彭昆福 ，王子磊 ，王 磊 ，顧 楊

(1 中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院，安徽 合肥 230027；2.國網(wǎng)安徽省電力有限公司檢修分公司，安徽 合肥 231131)

0 引言

隨著數(shù)字化、智能化的普及，大部分工業(yè)場景都采用數(shù)字儀表，但是對于電力行業(yè)，指針儀表由于其穩(wěn)定性、抗干擾性優(yōu)勢，仍廣泛應(yīng)用于我國的電力實際監(jiān)控中[1]。但大部分指針儀表的讀取仍依靠人工進行，要求工作人員到現(xiàn)場進行數(shù)據(jù)記錄，費時費力、容易出錯。因此，指針儀表讀數(shù)自動識別技術(shù)的研究具有重要意義[2]。

關(guān)于指針儀表自動識別的研究早期已經(jīng)出現(xiàn)，這些工作[3-6]主要基于傳統(tǒng)計算機視覺技術(shù)。參照人工儀表讀數(shù)的原理，傳統(tǒng)方法大致由儀表檢測、儀表分類、儀表校正、預(yù)處理、指針檢測、刻度檢測、讀數(shù)計算幾個步驟組成，但由于采用表征能力比較弱的人工圖像描述方法，同時又依賴比較強的先驗信息，因此對圖像質(zhì)量要求較高，在復(fù)雜條件下的識別性能不盡人意。

當(dāng)前，深度學(xué)習(xí)因其強大的表征能力已經(jīng)開始應(yīng)用于指針儀表自動識別領(lǐng)域。文獻[7]較早采用Faster R-CNN 進行儀表檢測，然后通過自適應(yīng)閾值分割、連通域分析和中心投影來檢測指針和刻度，最終根據(jù)指針與刻度之間的角度計算讀數(shù)。在此基礎(chǔ)上，文獻[8]對Faster R-CNN 結(jié)構(gòu)進行針對性優(yōu)化，并融入表盤鏡面反射消除方法，從而提升模型的魯棒性。與此類似，文獻[9]利用9 層卷積神經(jīng)網(wǎng)絡(luò)進行儀表檢測，然后利用橢圓變換進行儀表校正，接著利用Hough 變換檢測指針；文獻[10]通過全卷積網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)檢測儀表，然后進行圖像濾波和校正，最后通過極坐標徑向灰度統(tǒng)計的方法檢測指針；文獻[11]利用YOLO9000檢測儀表，然后利用EAST(Efficient and Accurate Scene Text detector)算法識別儀表刻度數(shù)值，并根據(jù)數(shù)值位置提取指針。相比于傳統(tǒng)方法，這些方法的性能有所提升，但深度神經(jīng)網(wǎng)絡(luò)都只應(yīng)用在儀表檢測階段，后續(xù)讀數(shù)識別流程仍基于傳統(tǒng)計算機視覺方法，沒有充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢，因此仍然存在傳統(tǒng)方法讀數(shù)不精確的問題。

近期，一些方法開始在讀數(shù)識別階段應(yīng)用深度學(xué)習(xí)方法。文獻[12]提出利用基于PrRoIPooling(Precise RoI Pooling，精確感興趣區(qū)域池化)的Mask R-CNN同時完成儀表檢測和表盤、指針分割，并對分割出的表盤進行橢圓變換從而得到指針方向，但是該方法只適用于圓形儀表。文獻[13]提出先對圖像進行去霧、補全、超分辨等一系列預(yù)處理，然后用Mask R-CNN 進行儀表檢測和指針分割，但是該預(yù)處理過程比較復(fù)雜。文獻[14]提出利用Mask R-CNN 對儀表圖像進行指針關(guān)鍵點和刻度關(guān)鍵點檢測，然后從指針和關(guān)鍵點計算儀表讀數(shù)，該方法能夠適應(yīng)不同形狀的儀表，也無需復(fù)雜的預(yù)處理，但關(guān)鍵點檢測性能容易受到表盤模糊、反光、臟污、泛黃等條件的干擾，因此性能仍有待提升。文獻[15]提出采用Faster R-CNN 進行儀表和指針區(qū)域檢測，然后利用U-Net 對檢測出的儀表和指針區(qū)域分別進行刻度和指針分割，最后利用仿射變換校正儀表，但是該方法的采用網(wǎng)絡(luò)較大，特征冗余度較高。

針對指針儀表讀數(shù)的這些問題，受到場景文本識別工作TextSnake[16]的啟發(fā)，本文提出一種新的基于深度回歸的儀表讀數(shù)識別方法，該方法不顯式地檢測指針和關(guān)鍵點，而是將指針檢測、刻度識別、干擾抑制隱式地結(jié)合起來，通過回歸方法實現(xiàn)對儀表圖像的端到端處理。具體地，給定一張儀表圖像，先通過ResNet50[17]獲取圖像特征，然后利用一個方向回歸模塊從特征回歸儀表指針方向，最后根據(jù)指針角度獲取儀表讀數(shù)。實驗證明，本文方法對表盤模糊、反光、臟污、泛黃等抗干擾性強，讀數(shù)識別精度相比于基于Mask R-CNN 的儀表讀數(shù)識別方法顯著提高。

1 相關(guān)工作

1.1 ResNet50

傳統(tǒng)計算機視覺方法基于手工設(shè)計的圖像特征描述，而深度學(xué)習(xí)利用多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的復(fù)雜特征模式，因此具有更強的表示能力。然而CNN 的深度并非越大越好，實驗證明，當(dāng)網(wǎng)絡(luò)深度達到50 層以上時，模型性能反而下降，該現(xiàn)象被稱為“模型退化”[17]。為了解決這個問題，何愷明等人提出ResNet 模型，通過學(xué)習(xí)輸出輸入之間的殘差，解決了網(wǎng)絡(luò)退化的問題。由于ResNet 較強的圖像表征能力，因此在其他任務(wù)中應(yīng)用廣泛。本文采用ResNet50 backbone 作為特征提取模塊，用于提取儀表圖像特征，為后續(xù)指針方向回歸提供基礎(chǔ)。

1.2 基于Mask R-CNN 的儀表讀數(shù)識別方法

該方法[14]利用Mask R-CNN 同時進行儀表檢測和儀表識別，其中在讀數(shù)識別階段通過語義分割的方式分割指針和關(guān)鍵點的mask，并通過這些關(guān)鍵點識別讀數(shù)。具體地，通過區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network，RPN)和boundingbox regression(包圍框回歸)檢測儀表區(qū)域。然后基于檢測結(jié)果，對儀表區(qū)域進行語義分割，以檢測每個大刻度關(guān)鍵點和指針的4 個四等分點，并從指針關(guān)鍵點擬合指針所在直線，從刻度關(guān)鍵點擬合刻度圓，接著求取指針線與刻度圓的交點，最后根據(jù)交點與刻度點之間的圓角度差計算讀數(shù)。由于該方法顯式檢測儀表讀數(shù)要素，對多要素的檢測正確性要求較高，但是在干擾條件下，關(guān)鍵點模糊或被遮擋，容易導(dǎo)致檢測結(jié)果容易產(chǎn)生偏差，因此魯棒性不足。

2 基于深度回歸的儀表讀數(shù)識別方法

指針儀表讀數(shù)識別要求給定一張儀表圖像，識別其具體的讀數(shù)值。本文重點關(guān)注指針儀表的讀數(shù)識別，因此假定輸入為已經(jīng)檢測并校正后的儀表圖像。對于一張輸入儀表圖像，讀數(shù)由且僅由指針方向決定，因此，本文創(chuàng)新性地提出通過深度神經(jīng)網(wǎng)絡(luò)來直接端到端地回歸指針方向，進而計算出讀數(shù)。具體地，設(shè)計一個基于CNN 的指針方向回歸模型，輸入一張儀表圖像，輸出其指針方向向量，即順著指針方向從指針旋轉(zhuǎn)中心指向端點的單位向量，然后根據(jù)預(yù)測方向向量來計算指針角度，最終根據(jù)角度計算出儀表讀數(shù)。

2.1 指針方向回歸

基于指針方向回歸的儀表讀數(shù)識別網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，其中輸入圖像大小為256×256×3，經(jīng)由特征提取部分處理后得到大小為2 048×4×4 的圖像特征，然后通過一個指針方向回歸部分得到一個2 維單位長度方向向量，最后從該方向向量計算出儀表讀數(shù)。特征提取模型為ResNet50 backbone，由原ResNet50 網(wǎng)絡(luò)去除最后一層全連接層和倒數(shù)第二層的全局avgpooling(平均池化)層得到。指針方向回歸部分結(jié)構(gòu)如圖1 框中所示，其中第一層卷積層的目的是壓縮特征通道數(shù)，第二層maxpooling(最大池化)用于壓縮特征的空間維度。由于全局avgpooling對輸入特征具有旋轉(zhuǎn)不變性，為了保留儀表的空間特征信息，這里沒有采用全局avgpooling 而是采用2×2 的maxpooling。經(jīng)過上述卷積層和maxpooling 層的處理后，特征維度變?yōu)? 024×2×2，然后經(jīng)過flatten(展平)，通過一個全連接層輸出一個2 維向量。最后對該向量進行模長歸一化，使其變成一個單位向量，此即預(yù)測的指針方向向量，記為l=(cosθ，sinθ)。

2.2 讀數(shù)計算

預(yù)測出儀表指針方向向量 l 后，由此計算指針的方向角θpred，然后根據(jù)指針與刻度點之間的夾角計算讀數(shù)值。具體地，根據(jù)方向向量計算指針與x軸正方向的夾角，表達式為θpred=arctan2(lx，ly)，其中l(wèi)x、ly分別為l 的橫縱坐標。然后根據(jù)給定類型儀表的最大最小刻度對應(yīng)的角度和讀數(shù)值，利用式(1)計算出儀表讀數(shù)：

其中θmax、θmin分別是儀表最大最小刻度對應(yīng)的角度，rmax、rmin分別是最大最小刻度對應(yīng)的讀數(shù)值，這些參數(shù)可以根據(jù)儀表類型事先計算好。

2.3 模型訓(xùn)練

為了使模型盡可能準確地回歸指針方向，訓(xùn)練時采用預(yù)測指針方向和真實指針方向之間的角度誤差絕對值作為loss 進行學(xué)習(xí)。注意到角度誤差的絕對值的余弦恰好等于預(yù)測指針方向向量和真實指針方向向量的內(nèi)積，因此訓(xùn)練loss 可以通過這兩個方向向量之間的內(nèi)積計算，從而loss 形式為：

其中，lpred為預(yù)測指針方向向量，lgt為真實指針方向向量，N 為訓(xùn)練樣本數(shù)。由于arccos 函數(shù)的定義域為[-1，1]，為避免浮點數(shù)誤差，實際訓(xùn)練時將內(nèi)積限制在[-1+?，1-?]內(nèi)，其中?=10-4。

對于一般的模型訓(xùn)練，大部分工作都會采用遷移學(xué)習(xí)的方法事先加載ImageNet 預(yù)訓(xùn)練權(quán)重，然而考慮到儀表讀數(shù)識別任務(wù)與圖像分類任務(wù)之間的差異，本文方法實際訓(xùn)練時沒有加載ImageNet 預(yù)訓(xùn)練權(quán)重，而是從隨機初始化狀態(tài)開始訓(xùn)練。

在主會場中，各國代表充分參與，積極發(fā)言，闡述對海洋環(huán)境保護理念的理解和目前所取得的進展，同時也對海洋環(huán)保的危機現(xiàn)狀表示強烈的關(guān)注和擔(dān)憂，更希望未來各國都能夠肩負起更重要的環(huán)保責(zé)任，積極參與國際海洋環(huán)境保護。由于人類的侵入式和挖掘式的攫取海洋資源資源的行為，海洋漁業(yè)、珊瑚礁保護、海洋生物系統(tǒng)、塑料垃圾入侵也面臨著前所未有的挑戰(zhàn)。

3 實驗結(jié)果

3.1 數(shù)據(jù)集

圖1 基于深度回歸的儀表讀數(shù)識別網(wǎng)絡(luò)

實驗在大型虛擬指針儀表數(shù)據(jù)集上進行。該數(shù)據(jù)集包含5 種儀表，分別記為A、B、C、D、E，如圖2所示?？梢钥吹?，除C 為長方形外殼儀表外，其余都是圓形外殼儀表。每種儀表的圖像涵蓋了9 種不同天氣(包括晴、陰、雨、霧、雪等)，每種天氣下兩千多張不同狀態(tài)的儀表圖像，包括表盤正常、沾水、污漬、模糊、反光、泛黃6 種情況，每類儀表總共有13 500 張訓(xùn)練樣本和七千多張測試樣本。在該數(shù)據(jù)集中，每張儀表圖像都已經(jīng)被校正好，并且提供包括各刻度關(guān)鍵點位置、指針關(guān)鍵點位置和真實讀數(shù)值在內(nèi)的標注信息，標注示例如圖2 所示，其中指針關(guān)鍵點和刻度關(guān)鍵點由圓點標記，儀表讀數(shù)值如左上角所示。

表1 各類儀表數(shù)據(jù)分布及參數(shù)

圖2 不同類型儀表樣本及標注信息示例

3.2 實驗設(shè)置

實驗在Ubuntu 16.04.5+GeForce GTX1080TI x2+pytorch 1.3.0 平臺上運行。訓(xùn)練時，將訓(xùn)練數(shù)據(jù)按9：1 的比例劃分成訓(xùn)練集和驗證集，每類儀表的數(shù)據(jù)分布如表1 所示。對于訓(xùn)練集數(shù)據(jù)，本文主要進行空間上的數(shù)據(jù)增強。具體地，給定一張訓(xùn)練圖像，進行儀表區(qū)域上的正方形隨機crop(截取)，然后將crop 圖像resize(調(diào)整大小)為256×256。特別地，對于C 型儀表，進行寬高比為2：1 的長方形隨機crop，并resize 為256×512，相應(yīng)的儀表指針方向回歸模型最后一層全連接層的輸入維度為1 024×2×4。訓(xùn)練時，采用Adam 優(yōu)化器，學(xué)習(xí)率取1×10-3，batchsize取50，在訓(xùn)練集上訓(xùn)練120 個epoch，每個epoch 完成時在驗證集上測試，最后選取所有epoch 中驗證精度最高的模型作為最終模型進行測試。每類儀表訓(xùn)練一個讀數(shù)識別模型。

本文選取基于Mask R-CNN 的儀表讀數(shù)識別方法[14]進行對比，該方法在傳統(tǒng)方法中具有良好的表現(xiàn)，包括儀表檢測和讀數(shù)識別兩個部分，這里只進行讀數(shù)識別性能的對比。為公平對比，把該模型的backbone 由ResNet18 升級為ResNet50，然后在相同的數(shù)據(jù)上訓(xùn)練10 個epoch 后，訓(xùn)練結(jié)果基本穩(wěn)定。同樣地，該方法也為每類儀表訓(xùn)練一個讀數(shù)識別模型。

根據(jù)實際變電站監(jiān)測數(shù)據(jù)記錄的要求，本文采用儀表讀數(shù)的識別精度作為評價指標，包括一格精度和兩格精度。具體地，對于一張儀表圖像，如果預(yù)測值與真實值的誤差小于一個/兩個分度值，則認為讀數(shù)正確。統(tǒng)計數(shù)據(jù)集中讀數(shù)正確的樣本的比例，即為識別精度。實驗采用的數(shù)據(jù)集中每類儀表的量程范圍、分度值和角度范圍分別如表2 所示。特別地，A 型儀表存在內(nèi)外兩排刻度，這里采用內(nèi)環(huán)刻度的讀數(shù)。

3.3 實驗結(jié)果

3.3.1 定量結(jié)果

經(jīng)過上述過程的模型訓(xùn)練之后，本文方法和基于Mask R-CNN 的儀表讀數(shù)識別方法在測試集上的測試結(jié)果如表2 所示。

由實驗結(jié)果可以看出，本文方法在一格平均精度上相比基于Mask R-CNN 的儀表讀數(shù)識別方法高了7.4%。而兩格精度只有小幅度的提升，這說明對比方法預(yù)測的指針方向和刻度關(guān)鍵點位置大體正確，但是仍不準確。通過分析原始圖像可以看出，在儀表圖像存在干擾的情況下，關(guān)鍵點特征被弱化或者干擾，從而不容易準確定位。事實上，A 型儀表的指針寬度較大，當(dāng)存在干擾因素時，指針端點的檢測容易受到影響，導(dǎo)致讀數(shù)產(chǎn)生一格偏差。而D 型儀表指針較短，B、C、E 型儀表指針較細且表盤范圍較窄，因此干擾因素同樣容易使關(guān)鍵點檢測發(fā)生偏移，導(dǎo)致讀數(shù)出錯。本文方法避免了顯式地檢測特定關(guān)鍵點，結(jié)合圖像整體的信息從大量數(shù)據(jù)中學(xué)習(xí)對干擾的抵抗能力，因此能夠比較準確地識別儀表讀數(shù)。

表2 在測試集上的讀數(shù)識別精度結(jié)果對比

可以看到，本文方法在絕大部分干擾條件下的讀數(shù)識別精度都超過了基于Mask R-CNN 的方法。其中，在模糊、反光和泛黃條件下，本文方法的識別精度依然保持了較高的水平。對比各種干擾條件下的識別精度，可以看到，污漬是對識別性能影響最大的，而本文方法雖然在B、C 上的精度低于對比方法，但是在A、D、E 上都顯著高于該方法。因此，本文方法相比于基于Mask R-CNN 的方法具有更強的魯棒性。

為了說明該數(shù)據(jù)集的難度，從測試集中每類隨機抽取200 張圖像進行人工讀數(shù)，然后在這些數(shù)據(jù)上用基于Mask R-CNN 的儀表讀數(shù)識別方法和本文方法分別進行識別，一格精度結(jié)果如表4 所示。可以看到，本文方法不光優(yōu)于基于Mask R-CNN 的儀表讀數(shù)識別方法，甚至在大多數(shù)儀表上超過了人工讀數(shù)的精度。這是因為，該數(shù)據(jù)集中存在一些圖像受到過大干擾，質(zhì)量較差，連人眼都很難識別，而在這種情況下，本文方法仍能根據(jù)細微的特征給出比較準確的結(jié)果。

3.3.2 定性分析

為了定性比較本文方法和基于Mask R-CNN的儀表讀數(shù)識別方法的性能，圖3 給出一些測試樣本上的識別結(jié)果，其中圓點表示用對比方法檢測出的刻度關(guān)鍵點和指針關(guān)鍵點。儀表真實讀數(shù)、本文方法識別出的讀數(shù)和對比方法識別出的讀數(shù)標識在圖像上方，分別如“真實”、“本文”和“Mask R-CNN”所示。

可以看到，在表盤模糊、反光、雨滴、泛黃、污漬等各種干擾條件下，基于Mask R-CNN 的儀表讀數(shù)識別方法的讀數(shù)結(jié)果容易產(chǎn)生偏差。如圖3(a)中所示，當(dāng)表盤泛黃時，指針特征弱化，內(nèi)外側(cè)指針端點檢測發(fā)生偏離，導(dǎo)致超出一格誤差；在圖3(b)中，表盤沾水導(dǎo)致水跡被檢測為指針；在圖3(c)中，表盤灰塵導(dǎo)致指針外側(cè)端點偏離原位置；在圖3(d)中，表盤反光導(dǎo)致指針中部特征點偏離到指針邊界上；在圖3(e)中，表盤嚴重污損導(dǎo)致指針關(guān)鍵點和最大最小刻度關(guān)鍵點都出現(xiàn)誤差。而在這些情況下，本文方法仍然能給出準確的結(jié)果，說明本文方法確實具有較強的魯棒性。

表3 本文方法與基于Mask R-CNN 的方法在不同干擾條件下的一格讀數(shù)識別精度對比

圖3 在不同圖像條件下本文方法與基于Mask R-CNN 的方法的識別結(jié)果可視化對比

圖4 ResNet50 前64 個通道特征可視化

表4 在每類200 張的隨機采樣測試集上的一格讀數(shù)識別精度結(jié)果對比

3.4 特征可視化

為了探究本文方法的工作機制，本節(jié)對輸入圖像的特征進行可視化。具體地，展示ResNet50 特征提取模塊輸出的前64 個通道，在儀表A 的3 張不同讀數(shù)、不同干擾的圖像上進行可視化，結(jié)果如圖4所示。

可以看到，特征的響應(yīng)與儀表的指針角度相關(guān)，不同通道的特征在不同指針角度下有不同大小的響應(yīng)，比如前兩行特征在指針豎直向上時響應(yīng)較大，而在其他角度下響應(yīng)較小。而對比輸入圖像與其相應(yīng)的特征圖，可以看到響應(yīng)較大的位置對應(yīng)于指針所在的位置，這說明模型確實能夠隱式地學(xué)習(xí)到指針的方向位置信息。同時，觀察不同的干擾下輸出特征的主要響應(yīng)區(qū)域，可以看出，響應(yīng)區(qū)域只限制在指針所在區(qū)域，說明輸出特征能夠比較好地抵抗干擾的影響。例如在圖4(a)中，雖然儀表模糊程度較大導(dǎo)致特征響應(yīng)削弱，但模型仍能比較準確地識別出指針的位置；在圖4(b)中，雖然表盤沾有污漬，但輸出特征并未受到影響；在圖4(c)中，雖然表盤嚴重泛黃，但從特征中仍能顯著觀察到指針的響應(yīng)，說明模型確實學(xué)習(xí)到了抵抗干擾的能力。

4 結(jié)論

針對現(xiàn)有基于深度學(xué)習(xí)的指針儀表讀數(shù)識別方法對表盤模糊、反光、臟污、臟污等條件抗干擾性不足的問題，本文提出了一種新的基于深度回歸的儀表讀數(shù)自動識別方法。實驗結(jié)果表明，相比于基于Mask R-CNN 的儀表讀數(shù)識別方法，該方法識別精度更高，魯棒性更強，甚至能比較準確地讀取一些人眼都無法識別的儀表圖像。下一步將整合儀表檢測到儀表識別中，從而實現(xiàn)抗干擾能力更強的儀表檢測和讀數(shù)識別的一體化方法。