尹紅敏，葛廣英，肖?？?，張如如

（1.聊城大學 物理科學與信息工程學院，山東 聊城　252059；2.山東省光通信科學與技術(shù)重點實驗室，山東 聊城　252059）

基于Halcon的指針式儀表的讀數(shù)

尹紅敏1，2，葛廣英1，2，肖?？?，2，張如如1，2

（1.聊城大學 物理科學與信息工程學院，山東 聊城252059；2.山東省光通信科學與技術(shù)重點實驗室，山東 聊城252059）

為了實現(xiàn)指針式儀表的自動讀數(shù)，提出了一種基于Halcon的極坐標變換、BP神經(jīng)網(wǎng)絡、形態(tài)學處理、幾何計算相結(jié)合的方法。該方法考慮了儀表的圓心特征，對于各種不同的指針儀表，僅僅依賴儀表的圖像信息，檢測精度較高。實驗證明該方法簡單快捷，且有利于提高效率和精確度。

指針式儀表；極坐標變換；BP神經(jīng)網(wǎng)絡；形態(tài)學處理

0引　言

指針式儀表因具有價格便宜、結(jié)構(gòu)和維護簡單等諸多優(yōu)點被廣泛應用于很多領(lǐng)域，如工業(yè)領(lǐng)域和實驗領(lǐng)域。對于指針式儀表的讀數(shù)，傳統(tǒng)的方法是通過目測完成，勞動強度大，受人為因素影響大，容易產(chǎn)生誤差，存在可靠性差的隱患，并且效率低［1］。

指針的提取是指針式儀表自動讀數(shù)的關(guān)鍵，目前指針提取有以下幾種常用方法：基于圖像形態(tài)骨架細化和改進的Hough變換的方法［2］、模板匹配的方法［3］、基于收斂映射CM-Hough變換的方法［4］、基于減影和Hough變換的方法［5］等。實踐表明，以上每種方法都有其優(yōu)缺點。例如模板匹配的方法具有較強的抗干擾性能，但過程復雜；Hough變換的方法受噪聲和曲線間斷的影響較小，但Hough變換的計算量大，提取參數(shù)受空間量化間隔的制約。

本文采用基于Halcon的機器視覺技術(shù)，實現(xiàn)圖像的自動采集、處理、識別以及顯示讀數(shù)，解決目前人工判讀的不足［6］，且可以應用到各類指針式儀表的讀數(shù)中。

1　指針式儀表讀數(shù)系統(tǒng)

指針式儀表讀數(shù)系統(tǒng)在德國MVTec公司研發(fā)的圖像處理軟件平臺Halcon上實現(xiàn)，此軟件以最新科技為基礎(chǔ)，提供功能強大的視覺算法開發(fā)包，包含有1 100個以上的獨立函數(shù)，具有快速、全面、精確、魯棒性等特點，應用領(lǐng)域幾乎沒有限制，涵蓋醫(yī)學、遙感探測、監(jiān)控及工業(yè)上的各類自動化檢測。

系統(tǒng)算法流程為：首先采集圖像并對圖像進行一系列處理，提取指針后根據(jù)公式計算獲取讀數(shù)，包括圖像采集、圖像預處理、極坐標變換、儀表刻度線的獲取、BP神經(jīng)網(wǎng)絡最大值字符識別、指針定位、幾何計算等部分，如圖1所示。

2　指針式儀表圖像的處理

采集圖像后，首先根據(jù)指針在RGB顏色模式中R通道的紋理特征進行一次閾值分割，得到儀表的中心坐標；通過極坐標變換把圓型儀表盤轉(zhuǎn)換成矩形；然后根據(jù)region的行、列、面積特征獲取刻度線位置；為實現(xiàn)儀表自動讀數(shù)，需先經(jīng)過BP神經(jīng)網(wǎng)絡識別出儀表的最大值；然后經(jīng)過形態(tài)學處理獲得指針位置；最后根據(jù)公式計算得到表盤的讀數(shù)，并將結(jié)果顯示在屏幕上。

圖1　系統(tǒng)的算法流程

2.1圖像采集

適當?shù)墓庠凑彰髟O(shè)計，使圖像中的目標、背景信息得到最佳分離，可大大降低圖像處理算法分割、識別的難度，提高系統(tǒng)的定位、測量精度，所以光源對圖像的質(zhì)量影響很大。相機作為機器視覺系統(tǒng)中的核心部件，對于系統(tǒng)的重要性是不言而喻的。在選擇好光源和相機類型、位置后，調(diào)用Halcon軟件中的算子read_image（）加載已獲取的圖像，采集的圖像如圖2（a）所示。

2.2圖像預處理

采集的圖像指針是紅色的，在RGB顏色模式中，R通道中指針的灰度值明顯大于其他通道，調(diào)用算子decompose3（）把彩色圖像轉(zhuǎn)化為3個單通道的R，G，B圖像，R通道圖像如圖2（b）所示。對R通道圖像進行圖像增強，突出圖像中的感興趣區(qū)域，增強感興趣區(qū)域與背景的對比度，使圖像比原始圖像更加適合處理，然后根據(jù)R通道的紋理特征，經(jīng)全局閾值分割得到儀表盤的region，如圖2（c）所示。

圖2　圖像預處理后的圖像

2.3極坐標變換

Halcon中調(diào)用極坐標變換算子 polar_trans_image_ext（）把圓形儀表刻度線轉(zhuǎn)化為水平方向［7-8］，然后經(jīng)過形態(tài)學處理獲取指針，彌補Hough變換計算時間長、占用內(nèi)存大的缺陷。

直角坐標系與極坐標系之間的互換公式為：

極點與直角坐標系重合是互換公式的前提條件之一，故首先要進行坐標平移、翻轉(zhuǎn)，然后將直角坐標系中圓心為原點、半徑為R的圓，變換到極坐標系中r=R的一條直線，實現(xiàn)圓形轉(zhuǎn)化成水平方向，極坐標變換原理如圖3（a）所示。

圖3　極坐標變換的圖像

圖3（a）中，O為同心圓的圓心，θ為內(nèi)圓上點的極角，ρ為內(nèi)圓上點的極徑。點 A與點B之間的極角不同，但由于在同一個圓內(nèi)，所以兩者之間的極徑是一樣的，故點A與點B在極坐標系中位于同一條直線上。

閾值分割后的region是一個整體的region，使用算子connection（）進行連通域操作，把整個region中不同的連通域化為單個的region，然后就可以對單個的region進行操作；根據(jù)面積特征，提取包含儀表刻度線的最小外圓；然后獲取最小外圓的圓心坐標和半徑，即儀表盤的圓心坐標和半徑；把獲得的圓心坐標和半徑作為polar_trans_image_ext（）算子的參數(shù)，使之僅僅依賴儀表的圖像信息，以適用于各種不同的指針儀表。

調(diào)用算子polar_trans_image_ext（）時，輸出圖像左上角像素總是對應于由開始半徑和開始角度決定的輸入圖像的點。類似地，輸出圖像右下角像素總是對應于由最終半徑和最終角度決定的輸入圖像的點。一般情況下都是進行正方向（逆時針）的極坐標變換，變換后的圖像數(shù)字位于刻度線上邊，本文中進行順時針方向的變換，使刻度線位于數(shù)字上邊，如圖3（b）所示。

2.4儀表刻度線的獲取

從圖像3（b）可以看出，圖像光照不均勻。為更好地提取刻度線、最大值和指針，應使用動態(tài)閾值算子var_threshold（），否則字符周圍會出現(xiàn)光暈；計算區(qū)域的連通域后，根據(jù)區(qū)域的面積、行、列特征，提取刻度線；調(diào)用區(qū)域排列算子，根據(jù)從左至右按列排序的方法對刻度線依次排序，使左邊第一個刻度線的索引值為1；計算排序后刻度線的數(shù)量，選出第一個刻度線作為一個region，然后再獲取該region的中心坐標（R1，C1），同理獲取最后一個刻度線的中心坐標（R2，C2），閾值后的region和提取的刻度線分別如圖4（a），4（b）所示。

圖4　儀表刻度線提取過程的圖像

2.5儀表最大值字符的識別

不同的儀表最大刻度值是不同的，為實現(xiàn)非人工輸入最大值，識別儀表最大值是非常有必要的。極坐標變換后的region區(qū)域大，為減少運行時間，先創(chuàng)建一個與坐標軸平行的長方形，位置為刻度線從0到最大值的區(qū)域；然后調(diào)用算子intersection（）計算長方形和經(jīng)過極坐標變換后區(qū)域的交叉區(qū)域，處理后得到的region如圖5（a）所示；最后再根據(jù)面積、行、列特征，獲得最大值所在區(qū)域，如圖5（b）所示。

2.5.1字符校正與分割

雖然利用極坐標變換把圓形儀表盤變換成水平方向，但獲得的最大值不是水平方向的，需要先使其校正到水平位置。

（1）使用算子union1（）獲得最大值區(qū)域的并值，然后獲得該區(qū)域的中心坐標（R3，C3）。

（2）仿射變換是一種簡單的變換，它的變換包括平移、旋轉(zhuǎn)、伸縮變換。旋轉(zhuǎn)變換為物體上的各點繞一固定點沿圓周路徑作轉(zhuǎn)動，原理圖如圖5（c）所示。

在圖5（c）中，點（x，y）旋轉(zhuǎn)到（x′，y′）的旋轉(zhuǎn)角度為ψ，其中：

（3）把字符分割成不同的區(qū)域，然后通過對面積和高度進行過濾得到只包含字符的區(qū)域；最后調(diào)用sort_region（）算子排列分割出的單個字符，如圖5（d）所示。

圖5　字符校正與分割過程的圖像

2.5.2BP神經(jīng)網(wǎng)絡字符識別

Halcon中有多種字體的字符庫，但有時直接利用已有庫識別字符，識別率和預期有差別，所以要對分割出的字符進行訓練，這里使用三層BP神經(jīng)網(wǎng)絡［9-11］的識別算法。

BP神經(jīng)網(wǎng)絡是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡，包含信息的正向傳播和誤差的反向傳播兩個學習過程，由輸入層、隱層和輸出層組成，結(jié)構(gòu)如圖6所示。

圖6　BP神經(jīng)網(wǎng)絡結(jié)構(gòu)

將分割后大小不一的字符統(tǒng)一成6×8大小的圖像進行訓練，輸入層節(jié)點個數(shù)是訓練字符提取的字符特征的數(shù)目，所以輸入神經(jīng)元為48個。隱層神經(jīng)元個數(shù)一般為輸入神經(jīng)元個數(shù)的2倍，由實驗得隱層神經(jīng)元個數(shù)為98時效果最好，輸出神經(jīng)元個數(shù)為1。

Halcon字符識別的過程如下：

（1）在for循環(huán)內(nèi)，先對圖像進行預處理，再調(diào)用算子append_ocr_trainf（）訓練樣本文件，然后添加到訓練文件中；

（2）由算子creat_ocr_class_mlp（）創(chuàng)建分類文件，使用trainf_ocr_class_mlp（）算子訓練已創(chuàng)建的訓練文件；

（3）調(diào)用算子write_ocr_class_mlp（）寫入分類器；

（4）用算子read_ocr_class_mlp（）調(diào)出創(chuàng)建好的分類器；再用do_ocr_multi_class_mlp（）算子根據(jù)字符的特征進行字符分類，并將類返還到字符數(shù)組中；

（5）把識別出來的單個字符通過算子tuple_number（）變換成數(shù)字，按公式賦值給變量MaxValue，公式為：

MaxValue：=Number1*100+Number2*10+Number3（4）式中：Number1為識別出的第一個字符，即最大值的百位；Number2，Number3分別為識別出的第二個、第三個字符。

2.6指針的定位

數(shù)學形態(tài)學作為一種有效的圖像處理工具，可以從圖像中提取出表達和描繪區(qū)域形狀的有用圖像分量，如邊界、骨架和凸殼等［12］。開運算是先腐蝕后膨脹的過程，具有消除小物體，分離物體和平滑較大物體邊界的作用，其定義為：

式（5）表示所有完全被A容納的B的平移的并集。

使用開運算算子opening_circle（）獲得有指針關(guān)鍵部分的region，再根據(jù)面積特征提取合適的指針區(qū)域，如圖7所示。再使用算子smallest_circle（）獲取指針的中心（R4，C4）。

2.7幾何計算

指針到第一條刻度線的距離與刻度線的總長度的比值乘以刻度最大值得到的數(shù)值即為指針的讀數(shù)，幾何表達式為：

式中：S為指針的讀數(shù)；MaxValue為該指針式儀表的最大刻度值；C1為左邊第一條刻度線的列坐標；C2為最后第一條刻度線的列坐標；C4為指針所在位置的列坐標。識別出的數(shù)字顯示在原圖中，如圖8所示。

圖7　指針關(guān)鍵部分的region

圖8　表盤讀數(shù)

3結(jié)　語

指針式儀表的自動讀數(shù)系統(tǒng)應滿足實時性和準確性的要求，本文利用機器視覺軟件Halcon對采集到的不同刻度值的儀表圖像進行處理，平均每0.348 s識別一幅圖像，讀數(shù)誤差小于1%。實驗結(jié)果表明該方法檢測精度較高，實時性令人滿意。該系統(tǒng)可以大大提高產(chǎn)品的讀數(shù)效率，同時節(jié)約勞動力成本，系統(tǒng)節(jié)能，安全穩(wěn)定，具有很好的擴展性和適應性，可廣泛應用于各類指針式儀表的讀數(shù)中，具有很大的市場價值和應用前景。

［1］宋人杰，趙立亞.Hough變換的改進及其在電廠指針式儀表自動識別中的應用［J］.東北電力大學學報，2011（3）：42-46.

［2］李盛陽，葉梧，馮穗利.基于Hough變換的視覺識別方法在儀表自動檢測中的應用研究［J］.科學技術(shù)與工程，2005（2）：82-85.

［3］SABLATNIG R，HANSEN C.Machine vision for automatic calibration of analog display instruments［J］.Machine vision applications in industrial inspection，1995（2423）：356-366.

［4］張永強，邸金紅，馬鵬閣.基于機器視覺的汽車儀表盤指針檢測［J］.計算機測量與控制，2015（6）：1922-1924.

［5］晁陽.基于特征識別的指針式儀表自動識別研究［D］.濟南：山東大學，2008.

［6］袁勇.基于機器視覺的轎車儀表自動校驗技術(shù)與系統(tǒng)開發(fā)［D］.上海：上海交通大學，2008.

［7］邵蕊.指針式儀表識別方法的研究［D］.沈陽：沈陽工業(yè)大學，2009.

［8］黃劍航.基于HALCON的圓環(huán)區(qū)域字符識別實現(xiàn)［J］.現(xiàn)代計算機（專版），2010（7）：58-60.

［9］張銀蘋，葛廣英.基于HALCON的車牌識別研究［J］.現(xiàn)代電子技術(shù)，2014，37（16）：92-95.

［10］肖海俊，葛廣英，姚坤，等.基于HALCON的噴碼字符識別技術(shù)的研究與實現(xiàn)［J］.現(xiàn)代電子技術(shù)，2015，38（15）：95-98.

［11］朱正禮.基于三層BP神經(jīng)網(wǎng)絡的字符識別系統(tǒng)的實現(xiàn)［J］.現(xiàn)代計算機，2006（10）：93-95.

［12］GONZALEZ R C，WOODS R E.Digital image processing ［M］.3rd ed.Upper Saddle River：Prentice Hall，2011.

Pointer instrument reading based on Halcon

YIN Hongmin1，2，GE Guangying1，2，XIAO Haijun1，2，ZHANG Ruru1，2
（1.School of Physics Science and Information Engineering，Liaocheng University，Liaocheng 252059，China；2.Shandong Key Laboratory of Optical Communication Science and Technology，Liaocheng 252059，China）

In order to realize the automatic reading of pointer instrument，a Halcon-based method combining polar coordinate transformation，BP neural network，morphological processing and geometric computation is proposed.According to the circle center feature of the instrument，this method is suitable for the reading of different pointer instruments only relying on the image information，and has wide application.The experimental results show that the method is simple and quick，and beneficial to the improvement of accuracy and efficiency.

pointer instrument；polar coordinate transformation；BP neural network；morphological processing

TN911.73-34

A

1004-373X（2016）17-0016-04

10.16652/j.issn.1004-373x.2016.17.004

2015-10-28

國家自然科學基金項目（10874063）

尹紅敏（1991—），女，山東菏澤人，碩士研究生。研究方向為信號與信息處理。葛廣英（1964—），男，山東聊城人，碩士生導師，教授。主要從事圖像處理、物聯(lián)網(wǎng)方向的研究。