徐遵義 韓紹超

摘 ?要： 針對現(xiàn)有指針式儀表判讀技術(shù)很少利用攝像機標(biāo)定參數(shù)，自動判讀準(zhǔn)確度較低，無法滿足工業(yè)生產(chǎn)實際需求的現(xiàn)狀，提出將攝像機標(biāo)定技術(shù)應(yīng)用于圓形指針式儀表的自動判讀，極大地減少了攝像機自身在圖像采集過程中產(chǎn)生的誤差;提出基于最大連通區(qū)域的儀表輪廓識別方法，提高了圓形儀表輪廓檢測速度。利用SIFT算法進行儀表圖像的關(guān)鍵點提取，利用模板匹配的方式實現(xiàn)圖像中儀表的傾斜校正。實驗結(jié)果表明，該方法的檢測精確度可以達到95%以上，檢測效率較傳統(tǒng)方法提高了30%左右。

關(guān)鍵詞： 指針式儀表; 攝像機標(biāo)定; 特征提取; 模板匹配; Hough變換; 最大連通區(qū)域

中圖分類號： TN911.73?34; TP216 ? ? ? ? ? ? ? ? ?文獻標(biāo)識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）09?0046?05

Pointer instrument reading recognition based on camera calibration

and maximum connected region algorithm

XU Zunyi， HAN Shaochao

（School of Computer Science and Technology， Shandong Jianzhu University， Jinan 250101， China）

Abstract： The camera is rarely used in existing automatic reading recognition technologies of pointer instrument for parameter calibration， and the low accuracy of automatic reading recognition can′t meet the actual needs of industrial productions. Therefore， the camera calibration technology is proposed for the automatic reading recognition of the circular pointer instruments to greatly reduce the camera′s error generated in the process of image acquisition. The instrument′s contour recognition method based on maximum connected region is presented to improve the detection speed of the circular instrument contour. The SIFT algorithm is used to extract the key points of the instrument image. The template matching method is adopted to correct the instrument tilt in the image. The experimental result shows that the detection accuracy of this method can reach up to 95%， and the detection efficiency is improved by about 30% than that of the traditional method.

Keywords： pointer instrument; camera calibration; feature extraction; template matching; Hough transformation; maximum connected region

0 ?引 ?言

指針式儀表是一種重要的工業(yè)測量儀表，以結(jié)構(gòu)簡單、靈敏度高、受外界環(huán)境影響較小而廣泛應(yīng)用于電力、冶金等工業(yè)領(lǐng)域[1?2]。但指針式儀表沒有數(shù)據(jù)傳輸接口，不能將測量值直接傳入計算機等設(shè)備進行處理，因此，在對工業(yè)生產(chǎn)中數(shù)量龐大的指針式儀表進行數(shù)據(jù)采集時，存在勞動強度大、讀數(shù)誤差大等問題[3]。在許多工業(yè)生產(chǎn)領(lǐng)域如電廠，由于存在嚴(yán)重的電磁輻射等影響因素，數(shù)字式儀表的使用受到諸多限制，在未來相當(dāng)長的時間內(nèi)大量指針式儀表在工業(yè)生產(chǎn)領(lǐng)域仍然是主要的測量傳感器。

為解決指針式儀表自動讀數(shù)識別問題，基于機器視覺的指針式儀表自動判讀技術(shù)被廣泛采用[4?5]，目前采用的主要算法有：經(jīng)典的檢測圓的Hough變換算法[6?8]，檢測直線的Hough變換算法[9?10]、最小二乘法[3]、總體最小二乘法[11]、Bresenham畫線法[12]以及基于區(qū)域生長的算法[13]等，在實驗室環(huán)境下其識別準(zhǔn)確率可以達到90%以上。此外，基于模板匹配和查表法的儀表讀數(shù)識別方法也取得了比較高的識別精度[14]。但由于工業(yè)環(huán)境下相機誤差、拍攝角度、光照等因素的影響，采集到的儀表圖像帶有不同程度的畸變和模糊，嚴(yán)重影響了識別準(zhǔn)確率和識別效率，仍然不能滿足工業(yè)生產(chǎn)中高精度和實時性的要求。

針對相機畸變誤差，本文提出將相機標(biāo)定技術(shù)引入到指針式儀表判讀中。通過對相機進行標(biāo)定求取相機內(nèi)外參數(shù)，利用得到的相機參數(shù)對原始儀表圖像進行畸變校正。并提出基于最大連通區(qū)域的儀表輪廓識別方法，提高圓形儀表輪廓檢測速度和精度，從而提高最終的讀數(shù)識別效率和精確度。

1 ?基于相機標(biāo)定技術(shù)的指針式儀表自動讀數(shù)

空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系是由攝像機成像的幾何模型決定的，幾何模型參數(shù)即為攝像機參數(shù)。由于相機鏡頭制作材料及制作工藝的不同，采集到的圖像通常帶有不同程度的畸變。對于指針式儀表圖像，畸變會使圖像中的儀表輪廓以及指針線發(fā)生不同程度的變形，并且越靠近儀表圖像邊緣，變形越明顯，導(dǎo)致獲取到的儀表圖像存在不同程度的扭曲。為了提高儀表輪廓以及指針線檢測的精確度，盡量減少儀表圖像畸變至關(guān)重要，因此，本文將相機標(biāo)定技術(shù)引入指針式儀表自動判讀。

基于相機標(biāo)定技術(shù)的指針式儀表自動判讀技術(shù)工作流程為：首先對相機進行標(biāo)定，獲取其內(nèi)外參數(shù);其次使用該相機采集指針式儀表圖像并進行預(yù)處理;然后利用該相機參數(shù)進行圖像畸變校正，利用SIFT算法提取關(guān)鍵點并進行模板匹配實現(xiàn)旋轉(zhuǎn)校正;最后利用機器視覺相關(guān)算法檢測出儀表輪廓和指針線，根據(jù)指針線角度以及儀表刻度信息計算出當(dāng)前儀表讀數(shù)。完整的讀數(shù)識別過程如圖1所示。

圖1 ?基于相機標(biāo)定的指針式儀表自動判讀流程圖

用[Mx，y，z]表示世界坐標(biāo)系中的某點，[mu，v]表示圖像平面上的對應(yīng)點，它們的齊次坐標(biāo)分別表示為[Mx，y，z，1]和[mu，v，1]，則攝像機成像模型可用式（1）表示[15]：

式中：[ax]，[ay]分別表示[u]軸和[v]軸的尺度因子;[γ]表示[u]軸和[v]軸的不垂直因子。相機標(biāo)定的目的就是求得內(nèi)參數(shù)矩陣[A]、旋轉(zhuǎn)矩陣[R]以及平移矩陣[t]，利用這些參數(shù)值實現(xiàn)圖像中目標(biāo)物體的校正。

目前，攝像機標(biāo)定方法主要有：基于3D立體靶標(biāo)的相機標(biāo)定、基于徑向約束的相機標(biāo)定和基于2D平面靶標(biāo)的相機標(biāo)定等。本文采用基于二維標(biāo)定板的標(biāo)定方法，即張正友標(biāo)定法。所采用的二維標(biāo)定板如圖2所示，利用同一相機在不同角度對標(biāo)定板進行圖像采集，首先計算出外參數(shù)矩陣，然后利用極大似然估計法求得內(nèi)參數(shù)矩陣。

圖2 ?二維標(biāo)定板

經(jīng)過該標(biāo)定過程，可以很容易地獲取到攝像機的內(nèi)參數(shù)矩陣[A]、旋轉(zhuǎn)矩陣[R]以及平移矩陣[t]，利用這些參數(shù)對該相機所采集的儀表圖像進行相應(yīng)參數(shù)的逆變換，達到對儀表圖像畸變校正的效果。

2 ?最大連通區(qū)域法檢測輪廓

為了確定指針線位置，儀表輪廓的檢測是指針式儀表自動判讀技術(shù)的一個重要步驟。在二維圖像平面中檢測圓形物體常用的是Hough變換算法。但是由于執(zhí)行Hough變換算法時，需要對圖像中的每個像素點進行轉(zhuǎn)換處理，因此會消耗大量的計算時間和內(nèi)存空間。本文根據(jù)圓形指針式儀表表盤結(jié)構(gòu)特點，提出基于最大連通區(qū)域的儀表輪廓識別方法。

圖像中感興趣的物體是由一系列像素點組成的。為了獲取物體所在區(qū)域，本文利用8鄰域法分析兩個像素點是否連通，即判斷該像素點是否位于另一像素點的8個鄰域方向上[16]，8鄰域法如圖3所示。

圖3 ?8鄰域法像素點關(guān)系圖

本文采用深度優(yōu)先搜索算法進行儀表圖像的8鄰域法搜索以獲取儀表輪廓的像素點集合。具體算法為：反復(fù)搜索圖像中未被處理的像素行，當(dāng)判斷出該行中某個像素點屬于物體的輪廓像素點后，接著搜索與此像素點交疊的上下兩個像素行，利用8鄰域規(guī)則判斷搜索行中的每個像素點是否屬于參考像素點的鄰域點，執(zhí)行該過程的偽代碼如下所示：

算法：最大連通區(qū)域搜索算法框架

1.輸入指針式儀表二值圖像。

2.逐行掃描每一個未經(jīng)處理的像素點，對于每一個未經(jīng)處理像素點，逐行搜索其上下兩行，按照8鄰域規(guī)則判斷所掃描像素點的像素值是否屬于參考像素點所在連通區(qū)域幾何的元素，若是，加入該集合并繼續(xù)搜索;否則，不加入并繼續(xù)搜索。

3.通過所得的多個像素點的集合，計算其中所含像素個數(shù)最多的像素集合，由此得出最大連通區(qū)域所在的像素點集合。

4.輸出最大連通區(qū)域所在像素集合。

通過最大連通區(qū)域搜索算法，可以獲取到儀表二值化圖像中表盤所在的圓。最大連通區(qū)域算法的檢測效果及提取出的儀表感興趣區(qū)域如圖4所示。

圖4 ?最大連通區(qū)域識別效果及ROI

3 ?仿真實驗

基于相機標(biāo)定的最大連通區(qū)域算法的圓形指針式儀表自動判讀技術(shù)處理過程如圖1所示，其中關(guān)鍵點提取與模板匹配、讀數(shù)識別是主要處理過程。

3.1 ?關(guān)鍵點提取與模板匹配

由于拍攝角度以及相機位置等原因，圖像中的儀表通常會帶有一定的旋轉(zhuǎn)角度，導(dǎo)致計算出的指針線角度存在誤差。為了降低檢測誤差，需要進一步對圖像中的指針式儀表進行旋轉(zhuǎn)校正。本文通過提取儀表圖像的關(guān)鍵點，利用關(guān)鍵點將待測儀表圖像與模板圖像進行匹配的方式實現(xiàn)旋轉(zhuǎn)校正。

首先分別檢測模板圖像與待校正圖像中的關(guān)鍵點，即對于位置、尺度、旋轉(zhuǎn)等均不變的特征點。將模板圖像與待測圖像中的對應(yīng)關(guān)鍵點分別表示為向量形式，形成每個關(guān)鍵點的特征向量，通過匹配特征向量校正待測圖像。待測圖像與模板圖像的匹配效果如圖5所示，待測圖像校正前與校正后的效果如圖6所示。由此可見，圓形指針式儀表圖像的旋轉(zhuǎn)校正對識別指針線角度計算讀數(shù)階段的精確度具有較大影響，因此，指針式儀表旋轉(zhuǎn)校正可以極大地提高識別精確度。

圖5 ?待測圖像與模板圖像的匹配效果

圖6 ?待測圖像校正前后效果

3.2 ?指針線角度計算及讀數(shù)識別

當(dāng)前常用的檢測指針線的方法是Hough變換算法，該方法利用笛卡爾坐標(biāo)空間與極坐標(biāo)空間的對偶性。但考慮到儀表中的指針線可能較粗，直接進行直線檢測時會出現(xiàn)偏差，甚至檢測到多條直線，因此本文首先對指針線區(qū)域進行細化操作，提取出指針線的骨架，其基本原理可用式（3）表示，而后利用Hough變換算法檢測指針?biāo)谥本€。原始圖像與檢測效果如圖7a），圖7c）所示。

圖7 ?儀表圖像細化結(jié)果

4 ?實驗結(jié)果分析

4.1 ?實驗結(jié)果

本文分別對相機畸變校正、圓形儀表旋轉(zhuǎn)校正、改進的Hough變換算法以及指針線細化等進行相關(guān)實驗，并與其他傳統(tǒng)檢測方法進行對比，其檢測精確度均有很大提高。

首先利用相機標(biāo)定的內(nèi)部參數(shù)（見表1），對原始儀表圖像進行畸變校正，并且利用圖像方差評估畸變大小，如表2所示。實驗結(jié)果表明，盡管當(dāng)前攝像機制作水平已相當(dāng)成熟，但仍然存在較小程度的畸變。通過標(biāo)定過程消除畸變，可以更加準(zhǔn)確地定位表盤圓心及半徑。

表1 ?相機內(nèi)參標(biāo)定結(jié)果

表2 ?圖像標(biāo)定前后誤差對比

為了消除儀表旋轉(zhuǎn)角度，使讀數(shù)更精確，通過匹配待測儀表圖像以及模板圖像中關(guān)鍵點的方式進行儀表旋轉(zhuǎn)校正，將校正后的儀表圖像的檢測讀數(shù)與未經(jīng)校正的儀表讀數(shù)進行識別精確度的對比，結(jié)果如表3所示?？梢钥闯?，當(dāng)儀表存在較大旋轉(zhuǎn)角度而不進行旋轉(zhuǎn)校正時，識別精確度會出現(xiàn)很大偏差。

表3 ?旋轉(zhuǎn)校正結(jié)果對比

針對傳統(tǒng)的Hough變換算法檢測效率較低的問題，本文提出基于最大連通區(qū)域的圓形儀表輪廓檢測方法，具體檢測數(shù)據(jù)如表4所示。實驗證明，該檢測方法對識別精確度有較好的魯棒性，檢測效率明顯提高。

表4 ?連通區(qū)域法與Hough變換法結(jié)果對比

最后本文對采集到的三幅儀表圖像進行自動判讀實驗，并將判讀結(jié)果與傳統(tǒng)判讀方式進行精確度與識別效率的對比，如表5所示。實驗結(jié)果證明，該判讀方法具有很高的精確度，并且基本可以達到實時檢測的效果。

表5 ?三組儀表圖像實驗效果對比

4.2 ?誤差分析

經(jīng)實驗驗證，本文提出的圓形指針式儀表自動判讀方法具有很高檢測精確度與檢測效率。產(chǎn)生判讀誤差的原因主要是：本實驗尚未充分考慮儀表曝光問題，所用實驗數(shù)據(jù)均采集于自然光照條件下，導(dǎo)致對儀表進行預(yù)處理時，難以控制閾值的選擇。后期可以通過控制曝光時間和光照飽和度來采集更加清晰的指針式儀表圖像，以獲得更高的識別精確度。

5 ?結(jié) ?語

本文通過對相機進行標(biāo)定獲取相機參數(shù)，對儀表圖像進行畸變校正。利用SIFT提取關(guān)鍵點并進行模板匹配實現(xiàn)儀表的旋轉(zhuǎn)校正。提出最大連通區(qū)域算法，進行儀表輪廓的識別與提取，較傳統(tǒng)的Hough變換算法，檢測圓形輪廓在效率上有了很大提高。進行指針線檢測時，首先對指針區(qū)域進行細化操作，避免了由于指針線較粗而增大檢測誤差的問題。最后利用指針角度法計算出當(dāng)前儀表圖像中的儀表讀數(shù)。

由于本文尚未充分考慮圖像采集時的曝光時間和曝光強度，因此在進行輪廓和指針線檢測時仍然存在少量誤差，后期可通過設(shè)定曝光時間與強度，獲取到更加清晰的指針式儀表圖像進行處理，進而得到更高的識別精確度和效率。

參考文獻

[1] ZHENG C， WANG S， ZHANG Y， et al. A robust and automatic recognition system of analog instruments in power system by using computer vision [J]. Measurement， 2016， 92： 413?420.

[2] HAN J， LI E， TAO B， et al. Reading recognition method of analog measuring instruments based on improved Hough transform [C]// 2011 IEEE International Conference on Electronic Measurement & Instruments. Chengdu： IEEE， 2011： 337?340.

[3] YANG B， LIN G， ZHANG W. Auto?recognition method for pointer?type meter based on binocular vision [J]. Journal of computers， 2014， 9（4）： 787?793.

[4] 李勇.指針式表盤的自動識別技術(shù)研究及實現(xiàn)[D].鄭州：鄭州大學(xué)，2015.

LI Yong. Analog dial indicator automatic identification technology and its realization [D]. Zhengzhou： Zhengzhou University， 2015.

[5] 王欣.智能變電站指針式儀表自動識別方法的研究[D].沈陽：沈陽工業(yè)大學(xué)，2016.

WANG Xin. Intelligent substation pointer instrument automatic identification method [D]. Shenyang： Shenyang University of Technology， 2016.

[6] 陶冰潔，韓佳樂，李恩.一種實用的指針式儀表讀數(shù)識別方法[J].光電工程，2011，38（4）：145?150.

TAO Bingjie， HAN Jiale， LI En. A practical method of pointer meter reading identification [J]. Opto?electronic engineering， 2011， 38 （4）： 145?150.

[7] GUAN Y， ZOU Y， HUANG B， et al. Pointer?type meter rea?ding method research based on image processing technology [C]// 2010 IEEE the Second International Conference on Networks Security Wireless Communications and Trusted Compu?ting. Chengdu： IEEE， 2010： 107?110.

[8] 朱桂英，張瑞林.基于Hough變換的圓檢測方法[J].計算機工程與設(shè)計，2008，29（6）：1462?1464.

ZHU Guiying， ZHANG Ruilin. Circle detection based on Hough transform [J]. Computer engineering and design， 2008， 29（6）： 1462?1464.

[9] 王欣，孫鵬.智能變電站中指針式儀表圖像自動識別方法[J].電氣技術(shù)，2016，17（5）：7?10.

WANG Xin， SUN Peng. An automatic identification method of pointer instrument image in intelligent substation [J]. Electrical technology， 2016， 17（5）： 7?10.

[10] 李祖賀，劉嘉，薛冰，等.面向自動校驗系統(tǒng)的指針式壓力表讀數(shù)識別[J].計算機工程與應(yīng)用，2016，52（23）：213?219.

LI Zuhe， LIU Jia， XUE Bing， et al. Reading identification of pointer pressure gauge for automatic verification system [J]. Journal of computer engineering and applications， 2016， 52（23）： 213?219.

[11] WANG Q， TANG X， DING C， et al. Automatic alignment system based on center point recognition of analog measuring instruments dial [C]// 2013 Annual Conference of the IEEE Industrial Electronics Society. Vienna： IEEE， 2013： 5532?5536.

[12] BELAN P A， ARAUJO S A， LIBRANTZ A F H. Segmentation?free approaches of computer vision for automatic calibration of digital and analog instruments [J]. Measurement， 2013， 46（1）： 177?184.

[13] LIU J， LIU Y， YU L. Novel method of automatic recognition for analog measuring instruments [C]// 2015 International Conference on Manufacturing Science and Engineering. [S.l.]： Atlantis Press， 2015： 67?74.

[14] 莫文雄，裴利強，黃青丹，等.基于模版匹配和查表法的高精度指針式儀表自動檢定系統(tǒng)研制[J].電測與儀表，2017，54（12）：100?105.

MO Wenxiong， PEI Liqiang， HUANG Qingdan， et al. Deve?lopment of automatic verification system of high precision pointer instrument based on template matching and look?up table [J]. Journal of electric instruments and devices， 2017， 54（12）： 100?105.

[15] ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations [C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra： IEEE， 1999： 666?673.

[16] STEGER Carsten，ULRICH Markus.機器視覺算法與應(yīng)用[M]. 楊少榮，吳迪靖，段德山，譯.2版.北京：清華大學(xué)出版社，2009：155?159.

STEGER Carsten， ULRICH Markus. Machine vision algorithms and applications [M]. Translated by YANG Shaorong， WU Dijing， DUAN Deshan. 2nd ed. Beijing： Tsinghua University Press， 2009： 155?159.