鐘力強(qiáng)，屈娟娟，姜新麗，黃炎

(1.南方電網(wǎng)電力科技股份有限公司 a.廣東省特殊行業(yè)特種機(jī)器人工程技術(shù)研究中心；b.中國(guó)南方電網(wǎng)電力機(jī)器人聯(lián)合實(shí)驗(yàn)室，廣東 廣州 510080；2.廣州新華學(xué)院，廣東 廣州 510520；3.許昌開(kāi)普電氣研究院有限公司，河南 許昌 461000)

變電站是電網(wǎng)電能傳輸?shù)年P(guān)鍵節(jié)點(diǎn)，對(duì)設(shè)備安全的要求較高。傳統(tǒng)人工巡檢勞動(dòng)強(qiáng)度大，工作效率低，且存在一定的人身安全風(fēng)險(xiǎn)，而固定式視頻監(jiān)控由于盲區(qū)較多，也難以滿足變電站全面巡檢的需求。近年來(lái)，大量變電站開(kāi)始采用機(jī)器人執(zhí)行常規(guī)巡檢任務(wù)，智能化巡檢逐漸成為行業(yè)的發(fā)展趨勢(shì)[1-3]。其中，表計(jì)讀數(shù)識(shí)別是變電站巡檢工作的重要內(nèi)容[4]，如氣壓表、溫度表、油溫表、避雷器表等均為機(jī)器人采集表計(jì)讀數(shù)的主要對(duì)象。然而，目前變電站機(jī)器人對(duì)表計(jì)讀數(shù)的讀取仍以預(yù)設(shè)模板匹配為主[4-5]，這就要求在機(jī)器人部署調(diào)試階段，針對(duì)每一個(gè)表計(jì)單獨(dú)進(jìn)行模板歸類、設(shè)定識(shí)別范圍等工作，不僅部署周期長(zhǎng)，可擴(kuò)展性差，且效果參差不齊，與部署人員的經(jīng)驗(yàn)、責(zé)任心密切相關(guān)。

針對(duì)指針表計(jì)的識(shí)別讀數(shù)問(wèn)題，研究人員從不同角度開(kāi)展研究。在預(yù)處理方面，劉晶[6]等基于視覺(jué)識(shí)別進(jìn)一步提高了機(jī)器人拍攝的精確程度；黃炎[4]等基于擴(kuò)展掃描區(qū)域的方法，對(duì)模板匹配算法進(jìn)行改進(jìn)，提高了讀取準(zhǔn)確率。在讀數(shù)算法方面，黃炎[5]等通過(guò)設(shè)置識(shí)別基線，將刻度區(qū)域轉(zhuǎn)化為一維線性信號(hào)，并通過(guò)灰度突變獲取指針角度；李治瑋等[7]使用最大灰度法計(jì)算無(wú)指針的儀表模板圖像，然后通過(guò)模板圖像與實(shí)際圖像相減得到指針位置；施健等[8]使用減影法得到指針位置，然后利用Hough變換計(jì)算指針夾角；張文杰等[9]利用視覺(jué)顯著性區(qū)域檢測(cè)先驗(yàn)知識(shí)，提取儀表圖像指針區(qū)域，再計(jì)算指針與橫軸的夾角，最后采用最小二乘法擬合指針夾角與指針刻度之間的線性函數(shù)參數(shù)，計(jì)算儀表讀數(shù)。上述研究均建立在一定的人工標(biāo)注(指定模板、劃分區(qū)域、標(biāo)注圓心刻度等)基礎(chǔ)上，均難以實(shí)現(xiàn)對(duì)部分或者大部分表計(jì)的自動(dòng)識(shí)讀。

針對(duì)這一問(wèn)題，本文融合Faster-RCNN[10](faster region-based convolutional network)識(shí)別方法和快速傅里葉變換(fast Fourier transform，F(xiàn)FT)頻域分析等技術(shù)進(jìn)行指針刻度位置識(shí)別的研究。首先對(duì)表計(jì)圖像進(jìn)行顏色過(guò)濾預(yù)處理；再通過(guò)Faster-RCNN對(duì)預(yù)處理結(jié)果進(jìn)行篩選與調(diào)整，從而獲取表盤刻度的初步位置和指針圓心初步位置；最后通過(guò)微調(diào)周期、起始位置等操作，實(shí)現(xiàn)軸坐標(biāo)轉(zhuǎn)換后的曲線對(duì)齊，以及采用一維線性映射[5]方法獲得指針與刻度的相對(duì)位置，實(shí)現(xiàn)無(wú)人工干預(yù)的表計(jì)智能識(shí)讀。

1 預(yù)處理與樣本擴(kuò)展

已有的表計(jì)讀數(shù)方法中，典型標(biāo)注信息如圖1所示，圖1(b)所示輔助線均為人工標(biāo)注。

圖1 原圖與典型輔助線

以圖1中的空氣壓力表為例，首先對(duì)原圖進(jìn)行分通道顏色濾波和拆分預(yù)處理。對(duì)圖像進(jìn)行此類預(yù)處理的主要目的是增加算法的普適性和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)確性，降低因表盤顏色設(shè)計(jì)、光影、反光問(wèn)題造成的識(shí)別誤差，同時(shí)也有利于增加樣本量，提高識(shí)別準(zhǔn)確率。

圖2所示為1(b)的RGB直方圖，各通道上均存在多個(gè)峰值，但3個(gè)通道并不重合，每個(gè)峰值處均為顏色趨向一致的圖像元素。分別對(duì)3個(gè)顏色通道進(jìn)行單獨(dú)的峰值濾波，進(jìn)而生成多張圖像，如圖3所示。其中部分通道通過(guò)峰值篩選后的部分圖像刻度區(qū)域信息被突出顯示出來(lái)，也有部分圖像的刻度信息并不明顯，但并不影響Faster-RCNN的識(shí)別與訓(xùn)練。

圖2 圖1(b)RGB直方圖

圖3 直方圖波峰篩選后的樣例圖像(未列出特征完全不明顯圖像)

2 標(biāo)記與識(shí)別

預(yù)處理后，同一張圖片擴(kuò)展為10余張黑白圖像。由于變電站表計(jì)種類繁多，且部署期間經(jīng)常會(huì)遇到新的表計(jì)種類，傳統(tǒng)特征識(shí)別等方法需要預(yù)先對(duì)表計(jì)特征有所描述，因此考慮使用深度學(xué)習(xí)方法進(jìn)行表盤識(shí)別。

2.1 Faster-RCNN簡(jiǎn)介

Faster-RCNN是近年來(lái)應(yīng)用比較廣泛的二階段檢測(cè)模型的神經(jīng)網(wǎng)絡(luò)方法[11-15]，是Ross B. Girshick在2016年結(jié)合RCNN和Fast-RCNN提出的改進(jìn)算法[11]。相比于傳統(tǒng)RCNN，F(xiàn)aster-RCNN在結(jié)構(gòu)上將特征抽取、區(qū)域提名、邊界框校正歸類等整合在1個(gè)網(wǎng)絡(luò)中，使得速度和準(zhǔn)確率有了較大的提高。與SSD、YOLO等基于回歸的經(jīng)典檢測(cè)算法相比，F(xiàn)aster-RCNN算法在速度上雖有一定不足，但定位精確度較高，而機(jī)器人在表計(jì)識(shí)別上對(duì)實(shí)時(shí)性的要求并不高。因此，選用Faster-RCNN算法進(jìn)行表計(jì)初步定位。圖4所示為Faster-RCNN的基本結(jié)構(gòu)。

圖4 Faster-RCNN基本結(jié)構(gòu)

Faster-RCNN算法的基本識(shí)別流程如下。

a)提取特征：通過(guò)預(yù)訓(xùn)練網(wǎng)絡(luò)，提取圖片特征。

b)區(qū)域提名：利用提取的圖片特征，經(jīng)過(guò)區(qū)域提名網(wǎng)絡(luò)(region proposal networks，RPN)，找出一定數(shù)量的感興趣區(qū)域。

c)分類與回歸：將感興趣區(qū)域和圖像特征輸入到全連接層，對(duì)感興趣區(qū)域進(jìn)行分類，判斷分別屬于什么類別，同時(shí)對(duì)其位置進(jìn)行微調(diào)。

其中，該算法的關(guān)鍵性創(chuàng)新在于使用其獨(dú)創(chuàng)RPN代替?zhèn)鹘y(tǒng)的滑動(dòng)窗口或圖像金字塔法生成檢測(cè)框，大幅提升了算法的綜合性能。

2.1.1 骨干網(wǎng)絡(luò)

Faster-RCNN中，對(duì)輸入圖像進(jìn)行語(yǔ)義信息提取的部分稱為骨干網(wǎng)絡(luò)或主干網(wǎng)絡(luò)，視覺(jué)幾何組(visual geometry group，VGG)網(wǎng)絡(luò)[16]和深度殘差網(wǎng)絡(luò)(residual network，ResNet)[17]均為較傳統(tǒng)的Faster-RCNN骨干網(wǎng)絡(luò)，其中ResNet增加了臨近網(wǎng)絡(luò)層之間的信息傳遞，在對(duì)速度影響不大的前提下，可大幅提升網(wǎng)絡(luò)的可設(shè)置深度?？紤]平衡識(shí)別時(shí)間，本文選用ResNet中經(jīng)典的ResNet_50網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)。

2.1.2 區(qū)域提名網(wǎng)絡(luò)

RPN主要用于在骨干網(wǎng)絡(luò)輸出特征圖的基礎(chǔ)上，確定目標(biāo)候選位置，再對(duì)這一位置的目標(biāo)類別進(jìn)行預(yù)測(cè)。首先在特征圖上生成各尺度和長(zhǎng)寬比的錨點(diǎn)(Anchor)，通過(guò)Softmax分類器[11]判斷錨點(diǎn)框內(nèi)是前景還是背景，將前景部分作為目標(biāo)候選區(qū)域。其損失函數(shù)為

(1)

其中分類損失函數(shù)

(2)

預(yù)測(cè)損失函數(shù)

(3)

式中：x、y為預(yù)測(cè)框的中心點(diǎn)坐標(biāo)；w、h為預(yù)測(cè)框?qū)捄透?；fsmooth表示為

(4)

最后通過(guò)線性回歸對(duì)輸出框(預(yù)測(cè)框)的位置進(jìn)行微調(diào)，獲得檢測(cè)結(jié)果。

2.2 刻度位置識(shí)別實(shí)驗(yàn)

整體學(xué)習(xí)模型采用python-Keras框架搭建，選取變電站各類型表計(jì)圖像共計(jì)1 200余張作為原始樣本庫(kù)，并通過(guò)預(yù)處理進(jìn)行單通道濾波，形成最終學(xué)習(xí)樣本共14 325張，其中含有完整刻度信息文件約6 000余張；標(biāo)注采用VOC2007格式，僅標(biāo)注較為明顯的刻度段位置，標(biāo)注時(shí)盡可能保持標(biāo)注框中心在刻度尺度上。圖5所示為Faster-RCNN訓(xùn)練樣本；圖6所示為采用Faster-RCNN模型經(jīng)過(guò)樣本庫(kù)訓(xùn)練后，對(duì)圖1(a)及其相關(guān)圖片(原圖及圖3所有圖片)的預(yù)測(cè)結(jié)果。

圖5 Faster-RCNN訓(xùn)練樣本示例

圖6 圖1(a)部分峰值濾波圖像的識(shí)別預(yù)測(cè)框

由于不同濾波圖像差異較大，預(yù)測(cè)框定位并不完全準(zhǔn)確一致，不同圖像找到的預(yù)測(cè)框數(shù)量也不同。將所有預(yù)測(cè)框中心坐標(biāo)(表1為圖7中所有點(diǎn)的具體坐標(biāo))在原始圖象上用紅點(diǎn)標(biāo)出，如圖7所示。

表1 多圖預(yù)測(cè)框參數(shù)

圖7 預(yù)測(cè)框中心點(diǎn)位置(紅點(diǎn)有重疊)

3 基于預(yù)測(cè)結(jié)果的后處理

如表1、圖7所示，F(xiàn)aster-RCNN具備基本定位刻度位置的能力，但對(duì)部分形狀或方向不規(guī)則的刻度區(qū)域，定位并不準(zhǔn)確，識(shí)別率也有一定的偏差。不考慮Faster-RCNN本身對(duì)定位精度和標(biāo)注時(shí)存在誤差的原因，刻度分布和方向不規(guī)則也必然造成此類誤差?；敬_定表盤刻度位置后，采用一維信號(hào)處理方法進(jìn)一步精確定位刻度盤成為可能。

3.1 表盤圓心和刻度圓半徑初步確定

如表1所示，F(xiàn)aster-RCNN算法共定位39個(gè)疑似刻度所在區(qū)域中心點(diǎn)，采用最小二乘法[17]對(duì)點(diǎn)進(jìn)行擬合以獲取圓心和半徑。假設(shè)平面上1個(gè)圓的圓心為(xc,yc)，半徑為R，則圓上任一點(diǎn)(xi,yi)的方程為

(xi-xc)2+(yi-yc)2=R2.

(5)

因此，任一點(diǎn)(xi,yi)到最小二乘圓上的距離的平方和最小時(shí)，殘差

ei=(xi-xc)2+(yi-yc)2-R2，

(6)

則平方和

min∑(xi2+yi2+Axi+Byi+C)2.

(7)

式中A、B為多項(xiàng)式分解后的一次項(xiàng)系數(shù)，C為常量。

當(dāng)f取極小值時(shí)有

(8)

令

(9)

式中n為需擬合點(diǎn)的總個(gè)數(shù)。

可得

(10)

則

(11)

因此，可計(jì)算得出表1中39個(gè)點(diǎn)擬合圓的圓心為(855,600)，半徑為372。

3.2 關(guān)鍵區(qū)域截取與頻域篩選

將圖1(a)按照?qǐng)D8所示圓心進(jìn)行軸坐標(biāo)轉(zhuǎn)換(如圖9所示)，并取與(xc,yc)點(diǎn)距離為R×(1±30%)的范圍進(jìn)行FFT頻域分析(如圖10所示)。由圖9和圖10可見(jiàn)，在有刻度的曲線上，存在較明顯的周期性分量，可利用頻率特征對(duì)曲線進(jìn)行篩選。

圖8 預(yù)測(cè)框中心點(diǎn)及刻度圓擬合

圖9 軸坐標(biāo)轉(zhuǎn)換

圖10 刻度區(qū)域的FFT頻域分析

篩選步驟如下：

步驟1，初步篩選。調(diào)用scipy的signal庫(kù)中find_peaks，通過(guò)遍歷波峰間距的方式獲取最高的5個(gè)頻域峰值，因曲線總長(zhǎng)定為1，考慮基頻信號(hào)干擾較多，取4 kHz后峰值仍大于周邊平均值1倍以上的曲線作為候選曲線。

步驟2，精確篩選。①統(tǒng)計(jì)篩選后曲線在4～6 kHz間的峰值所在位置均方根平均值，排除均方根值大于平均值2倍的曲線；②統(tǒng)計(jì)①所篩選曲線的間隔，與周邊曲線無(wú)法形成5組以上連續(xù)分布的曲線應(yīng)為誤篩選值，需要進(jìn)行排除。據(jù)此，圖9中刻度區(qū)域半徑最終限定為384～461像素區(qū)域(如圖11所示)。

步驟3，曲線對(duì)齊。由于Faster-RCNN識(shí)別后，預(yù)測(cè)框位置存在一定誤差，圓心位置也必然存在偏差；因此，以圖11所示的中心線為基準(zhǔn)，進(jìn)行曲線周期和起始位置的微調(diào)。①周期統(tǒng)一，即通過(guò)插值微調(diào)曲線長(zhǎng)度，將所有曲線的周期/頻率調(diào)整為均方根平均值；②互相關(guān)對(duì)齊，即以篩選后中心曲線為基準(zhǔn)，計(jì)算所有曲線與該曲線的互相關(guān)值，并根據(jù)最大相關(guān)值位置將所有曲線與中心曲線對(duì)齊(如圖12所示)。

圖11 篩選后的刻度區(qū)域

圖12 周期調(diào)整和互相關(guān)對(duì)齊

步驟4，計(jì)算灰度平均值確定刻度線位置。將篩選后的曲線疊加，其均值曲線的谷值點(diǎn)角度即為表計(jì)刻度所在位置(如圖13所示)，具體角度位置見(jiàn)表2。

圖13 曲線均值及谷值點(diǎn)位置

表2 刻度位置角度表

3.3 指針角度確定

參考文獻(xiàn)[5]對(duì)指針角度的確定方法，取R×(1±30%)范圍內(nèi)除刻度區(qū)域以外的區(qū)域進(jìn)行灰度值統(tǒng)計(jì)后，計(jì)算得到指針位置為153.5°(如圖14所示)。從圖9直接讀取數(shù)據(jù)可知指針尖端覆蓋的角度范圍約為153.1°～154.0°，鄰近2段刻度線覆蓋角度分別為152.4°～153.5°和157.1°～158.0°，與表3、圖14的結(jié)果基本一致。根據(jù)表盤信息，對(duì)刻度讀數(shù)進(jìn)行人工標(biāo)注后程序自動(dòng)讀數(shù)為1.488 3(星號(hào)處)，人工讀數(shù)約為1.49，誤差為0.3%。

圖14 指針位置

4 各類型表計(jì)的實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證算法的有效性，取機(jī)器人在變電站拍攝的表計(jì)圖像共60張進(jìn)行實(shí)驗(yàn)驗(yàn)證。表3列出了實(shí)驗(yàn)中程序智能識(shí)別的各環(huán)節(jié)準(zhǔn)確率和性能參數(shù)。

由表3可見(jiàn)，在神經(jīng)網(wǎng)絡(luò)成功識(shí)別的基礎(chǔ)上，本文方法對(duì)指針、刻度相對(duì)位置的識(shí)別較為準(zhǔn)確，與人工讀數(shù)基本處于同一水平或優(yōu)于人工識(shí)別，但受限于訓(xùn)練樣本、模型適配性等原因，部分表計(jì)(如圖15所示)仍存在無(wú)法識(shí)別的情況，有待進(jìn)一步研究。

圖15 無(wú)法識(shí)別表計(jì)示例

表3 各類型表計(jì)程序自動(dòng)識(shí)讀驗(yàn)證試驗(yàn)結(jié)果

5 結(jié)束語(yǔ)

針對(duì)變電站巡檢機(jī)器人部署過(guò)程中需針對(duì)每一個(gè)表計(jì)人工配置模板的現(xiàn)實(shí)問(wèn)題，本文介紹了一種基于Faster-RCNN并進(jìn)行一維信號(hào)處理的識(shí)別方法，從而實(shí)現(xiàn)無(wú)需人工干預(yù)智能識(shí)別指針與刻度相對(duì)位置的方法。首先借助分通道的峰值濾波預(yù)處理，降低不同類型間表計(jì)設(shè)計(jì)可能引入的識(shí)別誤差；接著通過(guò)Faster-RCNN算法初步確定刻度區(qū)域范圍，并獲得擬合圓的圓心完成軸坐標(biāo)展開(kāi)，再通過(guò)頻域分析對(duì)疑似刻度區(qū)域進(jìn)行篩選，獲取刻度區(qū)域的準(zhǔn)確范圍；然后通過(guò)微調(diào)刻度所在曲線的周期和刻度對(duì)齊、疊加，獲得區(qū)域在各角度上的灰度平均值，從而讀取各刻度的角度信息；最后統(tǒng)計(jì)刻度區(qū)域外的灰度分布獲得指針角度信息，從而最終實(shí)現(xiàn)表計(jì)刻度與指針相對(duì)位置的準(zhǔn)確識(shí)讀。

對(duì)60張典型變電站表計(jì)圖像的實(shí)驗(yàn)結(jié)果顯示，本文方法對(duì)訓(xùn)練數(shù)據(jù)較多的表計(jì)識(shí)別準(zhǔn)確率較高，但對(duì)訓(xùn)練數(shù)據(jù)較少的表計(jì)仍存在無(wú)法識(shí)別的可能。此外，在解決了指針、刻度相對(duì)位置的準(zhǔn)確識(shí)別后，有待引入表盤印刷體數(shù)字的識(shí)別能力[18-20]，最終解決表計(jì)無(wú)人工干預(yù)的智能識(shí)別問(wèn)題。