陳錕劍，李 竹，周依莎，盛慶華

(杭州電子科技大學(xué)電子信息學(xué)院，浙江 杭州 310018)

1 引言

指針式儀表由于其結(jié)構(gòu)簡單、使用方便等優(yōu)點(diǎn)，被廣泛應(yīng)用于石油化工、電力等行業(yè)。這種輸出并非數(shù)字信號的指針式儀表，無法直接通過接口進(jìn)行數(shù)字化的采集與存儲，通常采用的是人工讀數(shù)的方法，但人工檢測成本高，也容易受人主觀意識的影響，檢測效率低下，難以滿足工業(yè)上實(shí)時(shí)化、智能化的監(jiān)控需求。實(shí)現(xiàn)指針式儀表的自動讀數(shù)具有巨大的實(shí)用價(jià)值，可以為工廠節(jié)約大量的人力成本和時(shí)間成本。

近年，對指針式儀表的自動讀數(shù)大多通過機(jī)器視覺技術(shù)實(shí)現(xiàn)[1 - 3]，其流程主要包括以下幾個(gè)部分：采集儀表圖像、圖像預(yù)處理、表盤圖像分割和表盤讀數(shù)，核心步驟為表盤圖像分割和表盤讀數(shù)識別。表盤圖像分割是對采集到的儀表圖像中的指針和刻度進(jìn)行分離，常用的方法有霍夫變換、圖像二值化等。表盤讀數(shù)則是在得到指針和刻度圖像的基礎(chǔ)上，根據(jù)它們的空間關(guān)系，計(jì)算得到儀表的讀數(shù)，從原理上主要分為角度判讀法和距離判讀法。角度判讀法通過計(jì)算指針旋轉(zhuǎn)的角度與整個(gè)量程的角度的比值來得到讀數(shù)，距離判讀法通過指針到兩邊刻度線的距離來讀數(shù)。

目前在國內(nèi)外的研究中，均有大量有效的儀表識別方法被提出。部分方法[1 - 7]主要利用光學(xué)字符識別等技術(shù)對表中數(shù)字進(jìn)行識別，無法實(shí)現(xiàn)指針式儀表的檢測與識別。也有大量研究人員對指針式儀表識別展開研究，其中，使用角度法的研究中，孫鳳杰等[8]通過圖像處理技術(shù)得到細(xì)化后的指針，再用同心圓環(huán)搜索法得到指針的旋轉(zhuǎn)角度，從而求得示數(shù)；羅大成等[9]先判斷指針?biāo)谥本€、最小刻度線和最大刻度線3線之間的角度，選角度較小的兩條線相交得到旋轉(zhuǎn)中心，再以中心為投影的圓心，得到儀表上各個(gè)角度投影的灰度累加值，從而得到精確的指針，再利用角度法得出示數(shù)；郉浩強(qiáng)等[10]通過霍夫變換得到表盤和指針，之后通過角度按比例讀數(shù)；李巍等[11]通過改進(jìn)的霍夫變換，結(jié)合儀表圖像的灰度信息檢測指針的位置，再通過角度法讀數(shù)；Bao等[12]在矯正完圖像后，使用圖像處理技術(shù)得到刻度線中點(diǎn)位置坐標(biāo)，并通過圓擬合得到旋轉(zhuǎn)中心坐標(biāo)，之后再利用霍夫變換得到指針線端點(diǎn)，計(jì)算出旋轉(zhuǎn)角度，最后得到示數(shù);Chi等[13]在儀表的圓形區(qū)域內(nèi)，使用中心投影法得到尺度標(biāo)記分布圖，再使用霍夫變換來檢測指針在表盤的區(qū)域和角度，利用角度法讀數(shù)。在距離法[14]的研究中，Wang等[14]在得到指針和其相鄰的2個(gè)刻度線后，通過它們的夾角比值來讀數(shù)，這是對角度法的改進(jìn)。曹宇杰等[15]使用霍夫空間投票來得到最長的直線即指針，通過指針頂端與左右刻度線的距離讀出示數(shù)的小數(shù)部分，再對刻度線進(jìn)行排序計(jì)數(shù)得到示數(shù)的整數(shù)部分。羅鈞等[16]采用霍夫變換獲取指針及其附近的刻度直線，然后通過計(jì)算兩者間的距離進(jìn)行讀數(shù)。

2 現(xiàn)有算法存在的問題

用現(xiàn)有算法進(jìn)行儀表識別，準(zhǔn)確率大多能達(dá)到98%左右，但是這些算法對拍攝角度有較高的要求，因此在使用前需要對圖像采集設(shè)備進(jìn)行標(biāo)定，或確保采集圖像時(shí)從儀表表盤正面進(jìn)行拍攝，而這些要求在復(fù)雜的工業(yè)現(xiàn)場往往難以確保，故其實(shí)用性較低。當(dāng)前的研究中，實(shí)用性較高的算法為基于極坐標(biāo)的自動讀數(shù)法。這種算法解決了前述問題。其主要步驟如圖1a～圖1c所示，核心思想為將儀表圖像進(jìn)行極坐標(biāo)變換，使得原本呈圓弧狀分布的刻度變?yōu)榫€性分布，然后通過距離法讀數(shù)。

孫琳等[17]首先采用該算法處理圖像，然后通過直線掃描法得到刻度線信息。Li等[18]對刻度進(jìn)行直線擬合，并將直線相交的交點(diǎn)坐標(biāo)作為儀表的中心，然后進(jìn)行極坐標(biāo)轉(zhuǎn)換，再根據(jù)指針和相鄰刻度線之間的位置關(guān)系讀數(shù)。魏琦等[19]直接利用霍夫圓變換得到指針旋轉(zhuǎn)的中心，然后通過灰度值累加得到灰度值最小的行，由此得到最小刻度間距，實(shí)現(xiàn)刻度線的定位。Wang等[20]利用中心線重構(gòu)指針圖像，并將指針與重構(gòu)指針直線的交點(diǎn)作為極坐標(biāo)變換的中心，該算法同時(shí)提取儀表的刻度線，最后通過距離法讀數(shù)。盛慶華等[21]提出了雙重霍夫空間投票算法，通過對儀表刻度的2次霍夫變換，較大幅度地提高了極坐標(biāo)變換的圓心的提取精度，是當(dāng)前識別魯棒性最高的算法之一。

由于極坐標(biāo)轉(zhuǎn)換算法是以儀表中心為原點(diǎn)進(jìn)行轉(zhuǎn)換的，所以其讀數(shù)精度極大程度上依賴于提取中心的準(zhǔn)確度。如圖1d所示，中心坐標(biāo)偏差較大會影響極坐標(biāo)變換的結(jié)果，繼而后續(xù)讀數(shù)結(jié)果將產(chǎn)生誤差。在儀表圖像中，刻度線只包含極少量的像素信息，可以提取的圖像特征較少，而前述幾種算法均以刻度線為依據(jù)提取圓心，因此較易受到環(huán)境(如強(qiáng)光、陰影)的影響。較新的雙重霍夫變換方法[21]通過2次投票雖然較大程度地改善了識別效果，但是并沒有從根本上解決刻度線特征較少的問題。

Figure 1 Comparison of image polar coordinate transformation results圖1 圖像極坐標(biāo)變換對比圖

本文針對目前算法存在的問題，提出一種新的指針式儀表讀數(shù)算法。其核心思想之一是以指針式儀表圖像中的大區(qū)域特征代替刻度線特征，進(jìn)而對極坐標(biāo)變換的圓心進(jìn)行提取。而在儀表圖像中，刻度值文本圖像非常適合用來為圓心提取提供特征，其原因主要如下：

(1) 不同型號的儀表，其刻度線的分布、長度等信息通常不同，前述幾種算法通常需要調(diào)節(jié)不同的參數(shù)以適應(yīng)不同型號的儀表。而刻度值文本是任意型號的儀表中必然包含的部分，且字體外觀的差異幾乎可以忽略。

(2) 刻度值文本圖像由于具有較多的特征，可以通過卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)獲得非常穩(wěn)定的定位及識別結(jié)果，其魯棒性遠(yuǎn)高于刻度線的檢測。

本文提出的指針式儀表自動讀數(shù)算法的主要優(yōu)勢如下：

(1)本文使用刻度值文本坐標(biāo)代替刻度坐標(biāo)進(jìn)行圓擬合并檢測中心，刻度值文本圖像比刻度圖像具有更豐富的特征，因此用它來做圓心擬合得到的中心可適應(yīng)更復(fù)雜的環(huán)境。

(2)本文通過深度卷積神經(jīng)網(wǎng)絡(luò)定位并識別刻度值文本的實(shí)際數(shù)值，網(wǎng)絡(luò)輸出結(jié)果不僅為極坐標(biāo)轉(zhuǎn)換提供圓心坐標(biāo)，其得到的數(shù)值識別結(jié)果同時(shí)可以用來改進(jìn)雙重霍夫變換方法[21]中的距離讀數(shù)算法，減小讀數(shù)誤差。

(3)本文使用最小二乘法[22]對刻度值文本坐標(biāo)進(jìn)行圓擬合。在得到精確的擬合點(diǎn)坐標(biāo)的條件下，最小二乘法相比霍夫變換法具有更高的擬合精度和更少的計(jì)算量[23]。

(4)本文對極坐標(biāo)變換后的圖像進(jìn)行二次矯正，使刻度線保持水平，極大地減小了后續(xù)的讀數(shù)誤差。

3 算法描述

根據(jù)指針表的特性，儀表的刻度值分布在一個(gè)圓弧上，該圓弧的圓心即為儀表指針的旋轉(zhuǎn)中心，如圖2所示。因此，以刻度值文本坐標(biāo)為數(shù)據(jù)點(diǎn)擬合圓就可以確定極坐標(biāo)變換的中心。本文提出的指針式儀表自動讀數(shù)算法實(shí)現(xiàn)過程如圖3所示。

Figure 2 Fitting arc with the coordinates of the dashboard scale value圖2 用儀表盤刻度值的坐標(biāo)擬合圓弧

Figure 3 Process of the automatic readingalgorithm of pointer meter圖3 指針式儀表自動讀數(shù)算法過程圖

本文首先使用深度卷積神經(jīng)網(wǎng)絡(luò)對刻度值文本進(jìn)行定位與示數(shù)的識別。其中，文本邊界框的中心坐標(biāo)用于求解圓心坐標(biāo)，數(shù)值信息用于距離法讀數(shù)。然后通過最小二乘法擬合經(jīng)過刻度值文本坐標(biāo)點(diǎn)的圓，得到圓心坐標(biāo)。求得圓心坐標(biāo)之后，將圖像以儀表圓心為中心進(jìn)行極坐標(biāo)變換。之后對變換后的圖像進(jìn)行處理，其中包括圖像二值化和圖像連通域分析，從而分離得到儀表的刻度和指針圖像。最后，對圖像進(jìn)行二次矯正并使用改進(jìn)的距離法進(jìn)行讀數(shù)。

4 刻度值文本定位與示數(shù)識別

由于本文的重點(diǎn)并非改進(jìn)文本檢測的結(jié)果，而是將刻度值文本圖像作為自動讀數(shù)算法所依據(jù)的特征，因此直接選擇了較為成熟的神經(jīng)網(wǎng)絡(luò)，并針對本文所檢測的目標(biāo)進(jìn)行訓(xùn)練。

隨著深度學(xué)習(xí)的發(fā)展與進(jìn)步，基于深度學(xué)習(xí)的文本檢測成為現(xiàn)階段主流的文本檢測算法。本文所采用的神經(jīng)網(wǎng)絡(luò)模型如圖4所示，圖中Conv表示卷積層，W和H分別表示輸入圖像的寬和高。該網(wǎng)絡(luò)主要由特征提取層、特征融合層和預(yù)測層組成。特征提取層使用基礎(chǔ)網(wǎng)絡(luò)ResNet-50，特征融合層對特征提取層提取的特征依次進(jìn)行上采樣并融合提取的特征。預(yù)測層輸出得分圖(score map)和文本框圖(text box map)，score map對點(diǎn)是否屬于文本區(qū)域進(jìn)行預(yù)測，text box map有5個(gè)通道，分別對應(yīng)文本框內(nèi)的點(diǎn)與文本框上、下、左、右的距離以及文本框的旋轉(zhuǎn)角度，4個(gè)距離分別用dt,db,dl和dr表示。從而得到包含角度信息的文本位置信息。最后將得到的文本框進(jìn)行非極大值抑制處理，得到最終的文本區(qū)域。該網(wǎng)絡(luò)可以有效地檢測出不同角度儀表圖像中的刻度值文本，使本文所提算法有更廣泛的應(yīng)用范圍。

Figure 4 Neural network model for text detection圖4 文本檢測神經(jīng)網(wǎng)絡(luò)模型

本文使用梯度下降法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過最小化損失值來得到網(wǎng)絡(luò)的最優(yōu)解。為了平衡正負(fù)樣本數(shù)量的差異，本文采用焦點(diǎn)損失(Focal Loss)作為分類損失函數(shù)，其表達(dá)式如式(1)所示：

(1)

回歸損失表達(dá)式如式(2)所示：

Lg=1-cos(θ-θ*)-logIOU(R,R*)

(2)

其中，θ表示網(wǎng)絡(luò)預(yù)測的文本框旋轉(zhuǎn)度數(shù)，θ*表示真實(shí)的旋轉(zhuǎn)角度，IOU(R,R*)表示預(yù)測文本框R與真實(shí)文本框R*的重疊程度。

檢測出文本框后，可進(jìn)一步進(jìn)行文本識別。本文所提算法首先將文本檢測網(wǎng)絡(luò)檢測到的具有角度信息的文本圖像通過雙線性插值法轉(zhuǎn)化為水平的文本圖像，之后再輸入識別網(wǎng)絡(luò)。識別網(wǎng)絡(luò)先利用卷積神經(jīng)網(wǎng)絡(luò)CNN提取圖像特征并采用按列切分的方式(利用Map-to-Sequence網(wǎng)絡(luò)層)將最后得到的特征圖向量化;然后將特征向量輸入雙向長短期記憶網(wǎng)絡(luò)Bi-LSTM(Bidirectional Long Short-Term Memory)，從而得到圖像每一列的字符概率分布;最后利用基于神經(jīng)網(wǎng)絡(luò)的時(shí)間序分類方法[24]求解最優(yōu)文本序列。另外，在訓(xùn)練過程中加入了Dropout[25]防止過擬合現(xiàn)象的產(chǎn)生，使訓(xùn)練后的網(wǎng)絡(luò)生成更準(zhǔn)確的結(jié)果。

5 指針表刻度圓心的提取

在得到刻度值文本坐標(biāo)后，本文利用最小二乘法來擬合圓，以得到圓心坐標(biāo)。最小二乘法是一種數(shù)學(xué)優(yōu)化方法，在確定函數(shù)形式的前提下，將已知的數(shù)據(jù)點(diǎn)代入以上函數(shù)，通過求誤差平方和的極小值來求解最佳匹配的函數(shù)，它常用于一些曲線擬合問題。本文采用這種方法來擬合圓形曲線，從而得到圓心。圓的方程如式(3)所示：

R2=(x-x′)2+(y-y′)2

(3)

如圖5所示，(xk,yk)為文本檢測得到的刻度值文本坐標(biāo)，k=0,1,2,…,i,擬合得到的圓心坐標(biāo)(x′,y′) 和半徑R可由式(4)和式(5)得到：

(4)

(5)

其中,dk表示數(shù)據(jù)點(diǎn)(xk,yk)距圓心的距離。

Figure 5 Fitting circle with least squares圖5 最小二乘法擬合圓

6 指針表的讀數(shù)

6.1 儀表圖像極坐標(biāo)轉(zhuǎn)換

將儀表圖像轉(zhuǎn)換至極坐標(biāo)中主要是因?yàn)榇韴D像存在以下幾個(gè)問題：

(1)大部分的指針式儀表的刻度區(qū)域分布在一個(gè)圓弧上。

(2)越精密的儀表，其刻度分布越密集，在圓弧中對單個(gè)刻度線進(jìn)行分離就越難，通過角度法對儀表示數(shù)判讀的難度也會大大增加。

(3)有小部分指針表中刻度分布不均勻，角度法無法進(jìn)行判讀。

將儀表圖像轉(zhuǎn)換到極坐標(biāo)中，指針表的刻度區(qū)域則呈直線分布，可以有效地解決以上3個(gè)問題。極坐標(biāo)轉(zhuǎn)換公式如式(6)和式(7)所示。

(6)

(7)

其中，ρ和θ分別是極坐標(biāo)系中的極徑和極角，x和y是笛卡爾直角坐標(biāo)系中的橫、縱坐標(biāo),(Cx,Cy)為極坐標(biāo)變換的中心。

6.2 基于二次矯正的儀表示數(shù)計(jì)算

雙重霍夫變換方法[21]通過零刻度線到滿量程刻度線之間的距離法進(jìn)行讀數(shù)識別。由于零刻度線及滿量程刻度線圖像均具有較少的圖像特征，因此較容易受到環(huán)境影響而導(dǎo)致提取失敗，讀數(shù)結(jié)果將產(chǎn)生較大誤差。本文提出的算法對刻度值文本圖像進(jìn)行二次矯正并改進(jìn)了距離讀數(shù)法。

在經(jīng)過極坐標(biāo)變換后得到的圖像中可能仍存在刻度區(qū)域不呈水平分布的情況，會影響后續(xù)的讀數(shù)，如圖6a所示。本文采用仿射變換對刻度值文本圖像進(jìn)行二次矯正。首先，進(jìn)行刻度線和指針的定位。由于儀表刻度間的距離近似相等，因此距離的方差較小，所以本文首先通過垂直方向上的投影法得到每一行像素對應(yīng)的方差投影值。當(dāng)該行的投影值在設(shè)定的方差范圍內(nèi)時(shí)，即為刻度區(qū)域。然后，在該區(qū)域圖像中進(jìn)行水平方向上的投影，得到圖像每一列的像素值總和，設(shè)定閾值得到各刻度線的水平位置。本文通過水平投影確定指針的水平位置，而不是通過擬合指針直線。具體步驟如下：首先，進(jìn)行圖像的二值化處理，找到圖像所有的前景像素;然后,通過種子填充法進(jìn)行連通域標(biāo)記，根據(jù)指針圖像的特征對連通域進(jìn)行篩選;最后，得到指針圖像，對該指針圖像進(jìn)行水平投影，得到每一列像素值的總和，取像素值和最小的一列作為指針的水平位置。在得到各刻度線和儀表指針的水平位置后，對刻度值文本圖像進(jìn)行二次矯正。

如圖6a所示，二次矯正首先尋找仿射變換的錨點(diǎn)，本文選擇文本檢測結(jié)果中離指針最近的2個(gè)文本對應(yīng)的刻度線的端點(diǎn)，即pt1～pt4。二次矯正的目標(biāo)是使刻度線呈水平分布，極坐標(biāo)變換已經(jīng)使每條刻度線保持豎直，故只需使pt1與pt3的高度相同，由此構(gòu)建仿射變換矩陣，從而得到二次矯正后的圖像，如圖6b所示。

Figure 6 Image secondary correction圖6 圖像二次矯正

二次矯正后重新獲取刻度線與指針的水平位置，并采用距離法進(jìn)行儀表的判讀。如圖7所示，當(dāng)指針?biāo)跀?shù)值區(qū)域?yàn)閇A,B]時(shí)，指針式儀表的讀數(shù)可由式(8)和式(9)得到：

(8)

(9)

Figure 7 Image after separating the pointer and scale area圖7 分離出指針和刻度區(qū)域的圖像

其中，A、B對應(yīng)的刻度線為其邊界框中心坐標(biāo)豎直方向?qū)?yīng)的刻度;n為A對應(yīng)的刻度線和指針左側(cè)距指針最近的刻度線L之間的刻度線數(shù)量；N為A、B刻度值對應(yīng)的刻度線之間的刻度線數(shù)量；dl為指針與左側(cè)最近刻度線L之間的距離；dr為指針離右側(cè)最近刻度線的距離;w為儀表的單位刻度值。

7 實(shí)驗(yàn)分析

7.1 實(shí)驗(yàn)環(huán)境

為驗(yàn)證本文所提算法的有效性，本節(jié)在指針式儀表圖像上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境如表1所示。

Figure 8 Comparison of instrument image text detection results between the proposed algorithm and traditional algorithm under different viewing angles圖8 不同視角下本文所提算法與傳統(tǒng)算法的儀表圖像文本檢測結(jié)果對比

Table 1 Experimental environment

本文采用文獻(xiàn)[21]的數(shù)據(jù)集，并在原有數(shù)據(jù)集的基礎(chǔ)上增加了強(qiáng)光照射、陰影遮擋和不同拍攝視角情況下的測試樣本。數(shù)據(jù)集圖像中的儀表信息如表2所示，數(shù)據(jù)集共包含大小為2000*2000的儀表圖像300幅。

Table 2 Basic information of tested pointer meters

7.2 儀表刻度值檢測與識別

本節(jié)首先使用公共數(shù)據(jù)集SynthText[26]對文本檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，然后利用標(biāo)注好的儀表數(shù)據(jù)集對模型進(jìn)行微調(diào)，訓(xùn)練方法為小批量的梯度下降法，批數(shù)據(jù)大小為32，迭代90個(gè)周期。訓(xùn)練初始學(xué)習(xí)率為0.001，以0.95為衰減率進(jìn)行指數(shù)衰減。訓(xùn)練中使用了數(shù)據(jù)增強(qiáng)的技巧，包括對圖像進(jìn)行裁剪、旋轉(zhuǎn)、改變色調(diào)和高斯噪聲。

使用儀表圖像對訓(xùn)練完成的文本檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行測試，并與傳統(tǒng)算法，即滑動窗口和HOG/SVM檢測法[27]進(jìn)行比較，結(jié)果如圖8所示。其中，圖8a為使用神經(jīng)網(wǎng)絡(luò)的檢測結(jié)果，圖8b為傳統(tǒng)算法檢測的結(jié)果，圖8a1和圖8b1是正視情況下的儀表圖像，圖8a2和圖8b2是逆時(shí)針旋轉(zhuǎn)的儀表圖像，圖8a3和圖8b3是順時(shí)針旋轉(zhuǎn)的儀表圖像。從圖8中可以看到,傳統(tǒng)檢測算法在儀表正視的情況下有較好的檢測效果，但對在不同視角下的儀表圖像均出現(xiàn)了漏檢和錯檢的情況。傳統(tǒng)檢測算法對拍攝環(huán)境極具依賴性，對拍攝角度的魯棒性較弱。本文采用神經(jīng)網(wǎng)絡(luò)來檢測刻度值文本，因神經(jīng)網(wǎng)絡(luò)對旋轉(zhuǎn)的魯棒性強(qiáng)，所以當(dāng)拍攝角度發(fā)生變化時(shí)，讀數(shù)不會受到影響。表3展示了部分刻度值數(shù)字文本識別的結(jié)果，第1列展示了文本檢測神經(jīng)網(wǎng)絡(luò)檢測的結(jié)果，第2列展示了雙線性插值轉(zhuǎn)化后的水平文本圖像，第3列為文本識別的結(jié)果。

Table 3 Text recognition results

7.3 儀表刻度值檢測與識別

利用本文算法進(jìn)行圓心擬合的結(jié)果如圖9所示，在正常光線、強(qiáng)光、陰影遮擋及不同拍攝視角情況下，本文算法對圓心的擬合均有較好的效果。圖10展示了利用雙重霍夫空間投票法對圓心的擬合效果，可以看到該算法在正常光線下能夠準(zhǔn)確擬合得到圓心位置，但由圖10d和圖10e可以看出,該算法在強(qiáng)光、陰影環(huán)境下無法準(zhǔn)確地?cái)M合圓心，這是由于在強(qiáng)光與陰影環(huán)境下，儀表圖像中的刻度線特征不明顯，從而無法得到足夠的擬合點(diǎn)來擬合圓心；由圖10f可以看出,當(dāng)拍攝角度傾斜時(shí)該算法也無法準(zhǔn)確擬合圓心，這是由于該算法通過角度特征篩選連通域來得到正確的刻度線，所以當(dāng)拍攝視角不同，儀表旋轉(zhuǎn)超過一定角度時(shí)，從圖像中篩選得到的刻度線不足，無法正確擬合圓心。本文采用文本代替刻度線來擬合圓心，由于文本的特征量遠(yuǎn)多于刻度的特征量，所以在強(qiáng)光環(huán)境、陰影環(huán)境中都能夠準(zhǔn)確得到圓心。另外，本文采用神經(jīng)網(wǎng)絡(luò)來檢測刻度值文本，而神經(jīng)網(wǎng)絡(luò)對旋轉(zhuǎn)具有魯棒性，所以當(dāng)拍攝角度傾斜時(shí)，讀數(shù)不會受到影響。

Figure 9 Results of detecting the center of the circle using the proposed algorithm圖9 本文算法檢測圓心的結(jié)果

Figure 10 Results of detecting the center of the circle using the algorithm in Reference [21]圖10 文獻(xiàn)[21]算法檢測圓心的結(jié)果

7.4 極坐標(biāo)轉(zhuǎn)換及二次矯正后刻度、指針分離結(jié)果

圖11為儀表極坐標(biāo)轉(zhuǎn)換結(jié)果與二次矯正后結(jié)果，二次矯正保證了后續(xù)讀數(shù)的準(zhǔn)確性。儀表刻度、指針分離結(jié)果如圖12所示。圖12a分別是正泰42L6-V交流電壓表、川崎6L2-A交流電流表和川崎44C2-V直流電壓表的極坐標(biāo)變換及二次矯正后的結(jié)果。圖12b是3種指針式儀表的指針提取結(jié)果。圖12c分別是3種指針式儀表的刻度區(qū)域提取結(jié)果，為使顯示更加清晰，對提取到的刻度圖像區(qū)域進(jìn)行了放大處理，以圖12c1為例，方框B′為方框A′的放大圖像。根據(jù)指針和刻度圖像在圖像中的水平位置，可以準(zhǔn)確地讀取指針表的讀數(shù)。

Figure 11 Diagram of secondary correction圖11 二次矯正示意圖

Figure 12 Process of meter reading圖12 儀表讀數(shù)過程

7.5 讀數(shù)示數(shù)

本節(jié)將自動讀數(shù)的結(jié)果與人工讀數(shù)的結(jié)果進(jìn)行比較，以檢驗(yàn)自動讀數(shù)的準(zhǔn)確度。因?yàn)楸疚奶岢龅乃惴ㄊ菫榱死糜?jì)算機(jī)視覺代替人工讀數(shù)，因此忽略了人工讀數(shù)自身的誤差，以人工讀數(shù)的結(jié)果為實(shí)際值，自動讀數(shù)算法的結(jié)果為實(shí)驗(yàn)值，計(jì)算相應(yīng)的引用誤差，引用誤差可根據(jù)式(10)得到。實(shí)驗(yàn)結(jié)果如表4所示。

(10)

其中，xr為算法判讀值，x0為人工讀數(shù)，xm為儀表滿刻度值。由表4可見，本文所提算法對第1種和第3種指針式儀表的讀數(shù)精確度較高，引用誤差均在0.2%以下；對第2種指針式儀表的引用誤差較其他2種的高，主要是由于該指針式儀表的刻度分布比較稀疏，利用距離法進(jìn)行判讀會引入一定的誤差。

7.6 與其他算法的讀數(shù)結(jié)果比較

基于雙重霍夫空間投票[21]的儀表讀數(shù)算法在目前儀表讀數(shù)算法中性能最好，但是該算法依賴圖像的預(yù)處理過程，對不同環(huán)境尤其是曝光條件的適應(yīng)能力有限。在復(fù)雜環(huán)境下，讀數(shù)誤差較大。

表5展示了雙重霍夫空間投票算法和本文算法對正常光照、強(qiáng)曝光環(huán)境和陰影環(huán)境下的儀表圖像的讀數(shù)平均引用誤差?？梢钥吹?雙重霍夫空間投票算法對于正常光照下的儀表圖像，讀數(shù)精確度較高，但是該算法在強(qiáng)光和陰影數(shù)據(jù)集上的讀數(shù)誤差較大;而本文算法對3種光照條件下的圖像都保持了較小的平均引用誤差。

在強(qiáng)曝光、陰影這類復(fù)雜的環(huán)境中，基于雙重霍夫空間投票的讀數(shù)算法會出現(xiàn)較大誤差，一是由于它在這種情況下無法正確擬合圓心，二是由于其讀數(shù)算法采用的是零刻度線到滿量程刻度線之間的距離法，強(qiáng)曝光環(huán)境中，刻度區(qū)域圖像如圖13所示，指針與零刻度線之間的刻度線產(chǎn)生缺失，從而影響讀數(shù)結(jié)果。而本文在能正確擬合圓心的基礎(chǔ)上，又對刻度值文本進(jìn)行了識別，在刻度值文本坐標(biāo)之間運(yùn)用距離法，很大程度上減小了誤差。

Table 4 Experimental results of the proposed algorithm

Table 5 Comparison of reading results of two algorithms

Figure 13 Scale area image under strong exposure圖13 強(qiáng)曝光下的刻度區(qū)域圖像

7.7 算法耗時(shí)

表6為本文算法在本文實(shí)驗(yàn)環(huán)境 NVIDIA RTX 1080Ti上的運(yùn)行時(shí)間及部署在NVIDIA Jetson TX2上的運(yùn)行時(shí)間對比。可以看出，部署后的耗時(shí)相對于本文實(shí)驗(yàn)環(huán)境更長，但由于指針式儀表的自動讀數(shù)對實(shí)時(shí)性的要求不是太高，每幅圖像平均1.833 s的速度可以滿足實(shí)際應(yīng)用需求。在未來的工作中，首先將采集的儀表圖像傳輸至云端，然后再對圖像進(jìn)行自動讀數(shù)，從而實(shí)現(xiàn)儀表讀數(shù)的加速。

Table 6 Time consumed by the algorithm on different platforms

8 結(jié)束語

本文依據(jù)指針式儀表刻度值文本和刻度區(qū)域的空間分布規(guī)律，提出了一種基于文本特征及二次矯正的指針式儀表自動讀數(shù)算法，將刻度值讀數(shù)作為特征圖像引入算法并對極坐標(biāo)轉(zhuǎn)換后的圖像進(jìn)行二次矯正。與最新的算法比較證明了本文所提算法的有效性。在未來的工作中，對算法的改進(jìn)將會集中在文字檢測與識別的運(yùn)算效率上。