郭宇強，易映萍

（上海理工大學 機械工程學院，上海 200082）

0 引言

變電站是電力網(wǎng)絡的樞紐點，變電站中各類儀表的示數(shù)對實時監(jiān)測變電站運行數(shù)據(jù)至關(guān)重要。變電站常見的儀表包括指針式儀表和數(shù)顯式儀表兩大類，盡管數(shù)顯式儀表已廣泛應用于現(xiàn)代化工業(yè)生產(chǎn)中，但指針式儀表因其結(jié)構(gòu)簡單、抗干擾、耐用性強等優(yōu)點，仍具有不可替代的作用［1-3］，這些指針式儀表大多沒有通信接口，需要人工進行讀數(shù)。隨著人工智能的不斷發(fā)展，使用計算機視覺技術(shù)對儀表進行自動讀數(shù)成為可能［4］。

識別指針式儀表示數(shù)的方法研究較多。文獻［5］利用尺度不變特征變換算法，在輸入圖像中提取儀表表盤區(qū)域，采用快速霍夫變換檢測指針直線；文獻［6］使用中心投影法定位指針；文獻［7］提出一種改進的霍夫變換算法用于檢測指針，提升了儀表讀數(shù)精度；文獻［8］利用表盤的顏色直方圖分布特征和亮度梯度特征定位表盤區(qū)域，根據(jù)改進的霍夫變換算法進行指針定位；文獻［9］使用支持向量機訓練圖像HOG（Histogram of Oriented Gradient，HOG）特征以檢測儀表，再結(jié)合圖像灰度信息由霍夫變換檢測指針位置。近年深度學習方法在圖像處理領域發(fā)展迅速，廣泛應用于電力儀表識別。文獻［10］使用基于卷積神經(jīng)網(wǎng)絡的目標檢測算法Faster R-CNN 檢測表盤，使用連通域分析法定位指針；文獻［11］使用Mask-RCNN 分割表盤區(qū)域，并使用透視變換對儀表進行校正。

目前儀表指針檢測大多基于連通域法和霍夫變換法，但儀表圖像易受噪聲影響導致指針連通域并不連貫，霍夫直線檢測算法空間復雜度和時間復雜度較高，且檢測出的直線并非指針中心線而是指針邊沿，導致讀數(shù)精度降低；儀表讀數(shù)通常需要事先從模板庫中獲取人為標定的量程信息。針對這些問題，本文提出一種基于卷積神經(jīng)網(wǎng)絡的儀表讀數(shù)方法，對表盤、刻度值、指針位置進行檢測，獲取儀表刻度數(shù)值、表盤圓心和指針中心線等信息。該方法可以準確定位復雜背景下的指針中心線，且無需儀表量程信息即可讀取其示數(shù)。

1 儀表示數(shù)識別模型

指針式儀表示數(shù)識別模型主要包含表盤及刻度值檢測、刻度值數(shù)值識別、指針分割3 個部分。

1.1 YOLOv3 檢測儀表及刻度值

目前主流的深度學習目標檢測算法分為兩類：①基于two-stage 模型的R-CNN［12-13］（Region-CNN，R-CNN）系列。先生成候選框再分類，雖檢測精度較高，但檢測時間較長，不能滿足實時性需求；②基于one-stage 模型的YOLO［14-16］（You Only Look Once，YOLO）系列，直接用單一的卷積網(wǎng)絡預測目標位置和分類，是一種端到端的檢測模型，因其高精度和實時性而應用廣泛。本文基于YOLOv3 設計了指針式儀表及刻度值的目標檢測模型。YOLOv3 是YOLO的改進版本，其基本思想是把輸入圖片劃分為n×n的網(wǎng)格，每個網(wǎng)格單元負責預測以該單元為中心點的目標邊界框和置信度分數(shù)。經(jīng)過神經(jīng)網(wǎng)絡提取和變換輸入的圖像，每個網(wǎng)格單元及周邊信息都被識別和整理，最后編碼到輸出向量中。

YOLOv3 加入批歸一化和預設先驗框等處理方法，改進為更深入更強大的特征提取網(wǎng)絡Darknet-53。它借鑒殘差網(wǎng)絡［17］做法，在一些層之間設置快捷連接，其網(wǎng)絡結(jié)構(gòu)如圖1 所示。其中CBL 層（CONV-BN-Leaky relu，CBL）是YOLOv3的基本組件，卷積層后連接了批歸一化層（Batch Normalization，BN），用于提升模型訓練速度和精度，使用泄露修正線性單元作為激活函數(shù)。殘差層依次由零填充層、CBL 層和n 個殘差塊連接而成，每個殘差塊由兩個CBL 層和一個疊加層構(gòu)成，另有2 個張量拼接層用于拼接Darknet-53 網(wǎng)絡的中間層和上采樣層，擴充了張量維度。輸出層輸出3 個不同尺寸的特征圖，YOLOv3 采用多尺度對不同尺寸目標進行檢測，加強了小物體的識別能力。

把自制的指針式儀表數(shù)據(jù)集輸入到如圖1 所示的網(wǎng)絡進行訓練，使用訓練好的模型對圖像進行檢測，利用非極大值抑制算法對檢測結(jié)果進行篩選，最終完成儀表以及儀表刻度值的目標檢測。

Fig.1 YOLOv3 network structure圖1 YOLOv3 網(wǎng)絡結(jié)構(gòu)

選取交并比（IoU）、正確率（P）、召回率（R）和平均準確度均值（mAP）作為評價指標對模型進行評價。交并比是體現(xiàn)預測框與真實框接近程度的指標，計算公式如下：

式中，A為預測框，B為真實邊界框。

P、R 和mAP 計算公式如下：

式中，TP為真正例個數(shù)，F(xiàn)P為偽正例個數(shù)，F(xiàn)N為偽反例個數(shù)，N為樣本類別數(shù)。

1.2 刻度值示數(shù)識別

對儀表和儀表刻度值的目標檢測完成后，還需識別檢測到的刻度值示數(shù)。

首先對YOLOv3 檢測到的刻度值圖像進行二值化操作，然后使用連通域分割法對二值圖進行字符分割。本文采用種子填充法（Seed-Filling）進行連通域分析，找出并標記二值圖中的各個連通區(qū)域。得到圖像的連通域之后，去除連通域面積較小的噪聲區(qū)域，使用剩余連通域的外接矩形作為分割邊界進行字符分割，分割結(jié)果如圖2 所示。

Fig.2 Character segmentation圖2 字符分割

完成字符分割后使用LeNet-5［18］卷積神經(jīng)網(wǎng)絡模型對分割出的字符進行識別。LeNet-5 模型的網(wǎng)絡結(jié)構(gòu)如圖3所示，其主要由兩個卷積層、兩個池化層以及兩個全連接層構(gòu)成。使用分割出的字符制作數(shù)字數(shù)據(jù)集，輸入如圖3所示的網(wǎng)絡中進行訓練，得到可以識別單個數(shù)字的網(wǎng)絡模型。利用訓練好的模型對分割出的字符依次進行識別，完成對儀表刻度值的數(shù)值識別。

Fig.3 LeNet-5 network structure圖3 LeNet-5 網(wǎng)絡結(jié)構(gòu)

1.3 Deeplabv3+分割指針

本文使用基于深度學習的語義分割算法對儀表指針區(qū)域進行定位，該方法相較于霍夫變換和連通域方法效果更好。

DeepLab 是Chen 等［19］基于卷積神經(jīng)網(wǎng)絡提出的語義分割模型，DeepLabv3+［20］是DeepLab 系列中性能最優(yōu)的網(wǎng)絡，其網(wǎng)絡結(jié)構(gòu)如圖4 所示。DeepLabv3+網(wǎng)絡由編碼器和解碼器兩部分組成，編碼器主要包括特征提取網(wǎng)絡和空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）兩部分。將特征提取網(wǎng)絡最后一層輸出的特征圖送入ASPP模塊，ASPP 使用4 種不同空洞率的空洞卷積塊和一個平均池化塊得到5 組特征圖，將其拼接起來后經(jīng)過1×1 卷積塊，最后送入解碼器；解碼器首先對特征提取網(wǎng)絡中間層輸出的低級特征圖進行通道降維，然后對ASPP的輸出進行插值上采樣，再將這兩個特征圖拼接起來送入3×3 卷積塊，最后再進行插值上采樣，得到與輸入圖像分辨率一樣的預測圖。

Fig.4 DeepLabv3+network structure圖4 DeepLabv3+網(wǎng)絡結(jié)構(gòu)

將制作好的指針數(shù)據(jù)集輸入如圖4 所示的網(wǎng)絡中進行訓練，使用訓練好的模型對指針式儀表圖像進行檢測，完成對儀表指針部分的分割。

選取像素準確率（Pixel Accuracy，PA）作為評價指標，計算公式如下：

式中，k為目標類個數(shù)，Pij表示屬于i類卻預測為j類的像素點總數(shù)。

2 儀表讀數(shù)方法

完成儀表表盤、刻度值、指針識別之后，還需要定位表盤圓心以及刻度值所對應的刻度線，最后使用角度法對儀表進行讀數(shù)。

2.1 定位表盤圓心

圖5（左）是YOLOv3 檢測到的表盤圖像，對其進行灰度化以及自適應二值化操作，再把由YOLOv3 定位的矩形框內(nèi)的像素點值設為0（黑色），對處理后的二值圖進行連通域分析，去除面積小于20 以及大于200的連通域，計算剩余連通域的最小外接矩形，去除最小外接矩形長寬比和寬長比都大于0.25的連通域，最終結(jié)果如圖5（右）所示。

Fig.5 Meter tick mark positioning圖5 儀表刻度線定位

圖5（右）為只包含儀表刻度線連通域的圖像，由于每條刻度線都是指向圓心的直線圖形，所以使用最小二乘法對圖像中所有連通域進行直線擬合，理論上所有直線會交于一點，實際上所有直線之間的交點如圖6（左）所示。從中可以看出，由于直線擬合誤差以及儀表制造工藝等問題，擬合直線并未交于一點，但大部分交點都位于圓心附近。對以圖像中心點為圓心、以圖像寬度的十分之一長為半徑的圓內(nèi)所有交點坐標求均值，得到的點作為表盤圓心，結(jié)果如圖6（右）所示。

Fig.6 Position meter center圖6 定位表盤圓心

2.2 角度法讀數(shù)

本文使用角度法對指針式儀表進行讀數(shù)。首先依次計算圖5（右）中距離每個刻度值矩形框中心點最近的連通域質(zhì)心，即可找到該刻度值所對應的刻度線；然后設圓心為點O，以點O 為原點建立平面直角坐標系。指針區(qū)域像素點中距離圓心最遠的點設為點B，線段OB 即為指針中心線；線段OB 逆時針方向最近的刻度值設為d，刻度值d 所對應刻度線連通域的質(zhì)心設為點A，線段OB 順時針方向最近的刻度值設為e，刻度值e 所對應刻度線連通域的質(zhì)心設為點C；OA 與OB 之間的夾角設為α，OA 與OC 之間的夾角設為β。如圖7 所示，則指針式儀表讀數(shù)結(jié)果為：

Fig.7 Schematic diagram of angle reading圖7 角度法讀數(shù)

3 實驗結(jié)果與分析

3.1 YOLOv3 訓練與識別

使用開源工具LabelImg 在3 000 張原始圖像上標注儀表及刻度值區(qū)域，生成標簽文件，然后把數(shù)據(jù)集和相應標簽輸入到圖1 所示網(wǎng)絡中進行訓練。設定學習率為0.001，批處理大?。╞atch-size）為8，使用動量因子為0.9的動量梯度下降法迭代500 個epoch 后完成對模型的訓練。本文采用Pytorch 深度學習框架進行網(wǎng)絡搭建和訓練，實驗環(huán)境如下：①系統(tǒng)：Ubuntu 16.04 LTS；②GPU 型號：GeForce RTX 2070；③CUDA 版本：10.2；④cuDNN 版本：7.6.5。

訓練完成后，使用訓練好的模型對圖片進行測試，單張圖片測試結(jié)果如圖8 所示。

Fig.8 YOLOv3 recognition results圖8 YOLOv3 識別結(jié)果

選取IoU＞50%作為目標是否被正確檢測的閾值，則YOLOv3的正確率為94.6%，召回率為91.8%，mAP 為95.2%。mAP 是綜合衡量模型性能最為全面的指標，表1 列出了YOLOv3 與Faster RCNN 和SSD 在mAP和每秒幀數(shù)（FPS）兩類指標上的對比結(jié)果。由表1 可以看出，YOLOv3與Faster RCNN 和SSD的準確率相當，但檢測速度更快。

Table 1 Comparison of different model parameters表1 不同模型參數(shù)對比

3.2 Deeplabv3+訓練與識別

將YOLOv3 網(wǎng)絡識別并提取的1 000 張表盤圖像作為DeepLabv3+的數(shù)據(jù)集，使用Labelme 圖像標注工具對表盤圖像中的指針區(qū)域進行標注，部分圖像標注結(jié)果如圖9 所示。

Fig.9 Result of pointer marking圖9 指針標注結(jié)果

將數(shù)據(jù)集和標簽輸入圖4 網(wǎng)絡中進行訓練，設定學習率為0.007，批大?。╞atch-size）為4，使用動量因子為0.9的動量梯度下降法迭代300 個epoch 后完成對模型的訓練。然后使用訓練好的模型對測試集進行測試，部分圖像的指針分割結(jié)果如圖10 所示。

Fig.10 Segmentation results of DeepLabv3+圖10 DeepLabv3+分割結(jié)果

DeepLabv3+的像素準確率為97.3%，高于連通域法分割的84.6%，可以準確分割出用于后續(xù)讀數(shù)的指針區(qū)域。

3.3 刻度值示數(shù)識別

本文對1 000 張指針式儀表圖像進行字符分割，從中挑選5 000 個數(shù)字圖片作為數(shù)據(jù)集對LeNet-5 模型進行訓練。設置學習率為0.01，批處理大小為16，優(yōu)化方式采用參數(shù)為0.5的動量下降法。訓練過程中訓練集和測試集的損失變化如圖11（彩圖掃OSID 碼可見，下同）所示，測試集準確率變化情況如圖12所示，最終測試集準確率達到99.3%。

Fig.11 LeNet-5 loss curve圖11 LeNet-5 損失曲線

Fig.12 LeNet-5 test set accuracy圖12 LeNet-5 測試集準確率

3.4 儀表讀數(shù)結(jié)果測試

使用本文方法對處于不同環(huán)境中的200 張儀表圖片進行檢測，圖片中含有4 種不同量程的儀表，部分檢測結(jié)果如表2 所示。單張圖片平均檢測時長0.3s，平均誤差率小于3.5%，實驗結(jié)果表明本文方法擁有較高的準確性和穩(wěn)定性，可以代替人工對變電站指針式儀表進行示數(shù)識別。

Table 2 Test results of meter reading表2 儀表讀數(shù)檢測結(jié)果

4 結(jié)語

本文基于卷積神經(jīng)網(wǎng)絡的目標檢測、語義分割以及字符識別算法，提出一種指針式儀表的示數(shù)識別方法。實驗表明該方法準確性和穩(wěn)定性較高，可以代替人工對變電站指針式儀表進行示數(shù)識別。但該方法還存在一些不足，如沒有對傾斜儀表進行矯正，只能對均勻刻度的儀表進行讀數(shù)等。后續(xù)研究將對儀表刻度值中心點進行橢圓擬合，然后使用透視變換對傾斜儀表進行矯正，以降低讀數(shù)誤差；還需對非均勻刻度儀表的讀數(shù)算法進行研究，并將本文方法應用于其他電力設備的圖像檢測，以進一步提升電網(wǎng)的智能化水平。