張遠(yuǎn)輝 張 鼎 許 昌 謝 波

(中國(guó)計(jì)量學(xué)院機(jī)電工程學(xué)院，浙江 杭州 310018)

指針式儀表總體最小二乘圖像校驗(yàn)算法

張遠(yuǎn)輝 張 鼎 許 昌 謝 波

(中國(guó)計(jì)量學(xué)院機(jī)電工程學(xué)院，浙江 杭州 310018)

為了解決傳統(tǒng)指針式儀表人工校驗(yàn)準(zhǔn)確率低的問(wèn)題，提出了一種基于計(jì)算機(jī)視覺(jué)的指針式儀表校驗(yàn)算法。將儀表圖像由RGB顏色空間模型轉(zhuǎn)換到HSV顏色空間模型，利用儀表盤(pán)指針的顏色特征信息提取指針；并采用總體最小二乘法擬合指針中心軸直線；通過(guò)腐蝕膨脹提取儀表刻度，計(jì)算指針與刻度的偏差，從而判斷儀表是否合格。校驗(yàn)試驗(yàn)結(jié)果表明,該算法可靠性高、魯棒性強(qiáng)、校驗(yàn)準(zhǔn)確率高。

指針式儀表 計(jì)算機(jī)視覺(jué) HSV顏色空間模型 總體最小二乘法 點(diǎn)到線距離

0 引言

利用計(jì)算機(jī)視覺(jué)輔助檢測(cè)技術(shù)對(duì)產(chǎn)品的尺寸和角度進(jìn)行檢測(cè)，能克服傳統(tǒng)人工目視檢測(cè)過(guò)程中諸如人眼的檢測(cè)精度有限、檢測(cè)效率不高等缺點(diǎn)，加快檢測(cè)速度。圖像檢測(cè)的一種典型應(yīng)用是指針式儀表的指針角度檢測(cè)，該類儀表在出廠前需要對(duì)其各項(xiàng)功能尤其是指針?biāo)赶虻慕嵌冗M(jìn)行嚴(yán)格的校準(zhǔn)。目前，常見(jiàn)的指針式儀表校驗(yàn)的方法有：①用Sobel垂直算子邊緣提取并通過(guò)Hough變換獲取指針旋轉(zhuǎn)中心，再利用指針圖像向旋轉(zhuǎn)中心進(jìn)行投影來(lái)檢測(cè)指針位置的方法[1]；②利用動(dòng)態(tài)滑動(dòng)窗口算法確定目標(biāo)感興趣區(qū)域(region of interest，ROI)，利用小波變換提取ROI區(qū)域中指針的特征信息，從而計(jì)算其旋轉(zhuǎn)角度的檢測(cè)方法[2]；③先使用HSI顏色模型，通過(guò)色調(diào)H和飽和度S分量作為特征參數(shù)分割圖像、消除陰影，提取出沒(méi)有干擾的理想目標(biāo)，再細(xì)化腐蝕目標(biāo)和Hough變換直線檢測(cè)計(jì)算旋轉(zhuǎn)角度的方法[3]等。目前，對(duì)于儀表指針的校驗(yàn)往往是選取指針在運(yùn)動(dòng)過(guò)程中不同位置的兩張圖像，通過(guò)分析兩張圖像中的指針位置姿態(tài)信息計(jì)算旋轉(zhuǎn)夾角，并與標(biāo)準(zhǔn)角度作對(duì)比[4]。將圖像中識(shí)別的指針旋轉(zhuǎn)角度轉(zhuǎn)化為實(shí)際指針旋轉(zhuǎn)角度，需要借助攝像機(jī)標(biāo)定參數(shù)來(lái)進(jìn)行換算。由于攝像機(jī)和待測(cè)儀表盤(pán)之間的位置不固定，因此為避免反復(fù)的攝像機(jī)標(biāo)定過(guò)程，本文采用圖像中指針位置與圖像中表盤(pán)刻度的偏差來(lái)校驗(yàn)儀表。由于Hough變換進(jìn)行直線檢測(cè)的計(jì)算量較大，影響檢測(cè)效率，本文采用總體最小二乘法擬合直線的方法來(lái)處理指針中心軸線的識(shí)別問(wèn)題。

1 算法框圖

基于圖像總體最小二乘的指針式儀表校驗(yàn)算法的基本步驟如下。

① 圖像采集：利用攝像機(jī)采集待校驗(yàn)儀表指針指向主要刻度的若干幅圖像。

② 指針提?。恨D(zhuǎn)換圖像的顏色空間模型，從RGB顏色空間模型轉(zhuǎn)換成色調(diào)-飽和度-亮度(hue-saturation-value，HSV)顏色空間模型，利用色調(diào)H與飽和度S分量作為特征參數(shù)提取指針區(qū)域。

③ 指針直線擬合：把提取得到的指針區(qū)域上的所有點(diǎn)作為特征點(diǎn)，利用總體最小二乘法將指針擬合成一條直線，該擬合直線為指針的中心軸線。

④ 儀表刻度提取：利用表盤(pán)的顏色特征提取儀表主要刻度區(qū)域，根據(jù)刻度區(qū)域中的所有特征點(diǎn)計(jì)算每個(gè)刻度的質(zhì)心。

⑤ 校驗(yàn)：根據(jù)指針擬合中心軸線的相關(guān)參數(shù)，計(jì)算其到儀表主要刻度的偏差。若此偏差在誤差允許范圍內(nèi)，則判定儀表通過(guò)校驗(yàn)，反之則判定該儀表不合格。

指針式儀表校驗(yàn)算法框圖如圖1所示。

圖1 指針式儀表校驗(yàn)算法框圖

2 指針提取

儀表盤(pán)彩色圖像中，指針顏色呈紅色，其顏色特征明顯區(qū)別于表盤(pán)其他區(qū)域。在RGB顏色空間模型下，顏色是由RGB三原色以不同比例相加產(chǎn)生。由于指針并非純色，根據(jù)RGB顏色空間中的R特征提取指針效果并不理想。

HSV顏色空間[5-6]是均勻的顏色空間，采用三個(gè)顏色特征分量：色調(diào)H、飽和度S、亮度V，反映了人的視覺(jué)對(duì)顏色的感覺(jué)。色調(diào)H表示色彩的基本屬性，飽和度S表示色彩的純度，亮度V表示顏色的強(qiáng)度與圖像的彩色信息無(wú)關(guān)。鑒于HSV顏色空間模型，可將圖像的彩色信息通過(guò)色調(diào)H與飽和度S更細(xì)致的描述，并且對(duì)RGB三原色的區(qū)分度更大。因此，將RGB顏色空間模型轉(zhuǎn)化到HSV顏色空間模型，用色調(diào)H與飽和度S當(dāng)作特征參數(shù)來(lái)進(jìn)行閾值分割，提取比較理想的指針特征。

由RGB顏色空間模型到HSV空間模型的轉(zhuǎn)換公式如下：

V=Cmax

(1)

(2)

(3)

式中：Cmax=max(R,G,B)，代表RGB顏色空間中R、G、B三個(gè)分量中最大的值；Cmin=min(R,G,B)，代表RGB顏色空間中R、G、B三個(gè)分量中最小的值；NAN表示未定義；R、G、B的取值范圍是[0,255]；色調(diào)H的取值范圍是[0,360]；飽和度S的取值范圍是[0,1]。

指針提取和直線擬合結(jié)果如圖2所示。

圖2 指針提取和直線擬合結(jié)果

本文示例的儀表盤(pán)如圖 2(a)所示，指針顏色為紅色，其色調(diào)H和飽和度S與表盤(pán)差異明顯。將圖像RGB顏色空間模型轉(zhuǎn)換成HSV顏色空間模型，選定色調(diào)H與飽和度S合適的閾值區(qū)間對(duì)圖像進(jìn)行二值化。計(jì)算公式如下：

(4)

式中：f(x,y)為二值化圖像在點(diǎn)(x,y)處的像素值；h為色調(diào)值；h1、h2為色調(diào)閾值；s為飽和度值；s1、s2為飽和度閾值。

閾值可以通過(guò)計(jì)算直方圖得出，二值化結(jié)果如圖 2(b)所示，指針被提取出來(lái)，但是存在一定的噪聲干擾。為了去除二值圖像的噪聲，對(duì)二值圖像尋找輪廓，并計(jì)算每個(gè)輪廓的面積。由于噪聲與指針的像素面積差距很大，通過(guò)設(shè)定面積閾值剔除噪聲。再采用5×5模板對(duì)圖像先膨脹后腐蝕，平滑后的圖像如圖 2(c)所示，此時(shí)剔除噪聲后，指針提取比較理想。

3 指針中心軸線擬合

本文利用總體最小二乘法[7-8]擬合儀表盤(pán)指針的對(duì)稱中心軸線。該方法的主要優(yōu)點(diǎn)是直線擬合精度較高且計(jì)算量小?？傮w最小二乘法擬合直線示意圖如圖3所示。

圖3 總體最小二乘法擬合直線示意圖

圖3中，U為儀表指針區(qū)域；Q1=(x1,y1)T,Q2=(x2,y2)T,…,Qn=(xn,yn)T為U的特征點(diǎn)；直線L:Ax+By-C=0(圖中點(diǎn)劃線所示，A,B,C為待定系數(shù))是通過(guò)總體最小二乘法擬合的直線。直線L求解方法如下。

二維平面上特征點(diǎn)Qi=(xi,yi)T到直線L的距離平方di為：

(5)

(6)

‖(u1σ1v1T+u2σ2v2T)t‖2

(7)式中：u1、u2為矩陣M奇異值分解的正交的n×1的列向量；σ1、σ2為矩陣M奇異值分解的奇異值，其中σ1≥σ2；v1、v2是2×1的列向量。

如果把M看作是一個(gè)運(yùn)算符，則Mt表示對(duì)t的一個(gè)變換過(guò)程。當(dāng)t等于向量v2時(shí)，即最小奇異值σ2對(duì)應(yīng)的右奇異向量，‖Mt‖取得最小值，于是可求解得到L直線方程的系數(shù)A、B，此擬合直線為指針的對(duì)稱中心軸線，如圖 2(d)所示。

4 儀表刻度提取

計(jì)算指針與刻度的偏差，不僅需要指針的擬合直線，還需要提取儀表盤(pán)各個(gè)刻度(如圖 2(a)所示)。儀表盤(pán)外圈刻度背景為亮白色，根據(jù)這個(gè)特征，刻度提取具體步驟如下。

首先將圖像轉(zhuǎn)換成灰度圖像，計(jì)算公式如下：

Y=0.299R+0.587G+0.114B

(8)

式中：R、G、B為圖像RGB顏色空間中各分量的值；Y為轉(zhuǎn)換后的灰度圖像分量值。

根據(jù)儀表盤(pán)外圈刻度背景為亮白色這一特征信息，對(duì)灰度圖像進(jìn)行二值化，排除儀表圖像中大部分與刻度無(wú)關(guān)的信息。由于二值化圖像中存在噪聲，并且外圈刻度背景是一個(gè)面積較大的整體，通過(guò)計(jì)算輪廓的面積剔除噪聲，結(jié)果如圖4(a)所示，此時(shí)刻度背景被提取出來(lái)，且各個(gè)白色凹陷部分即為所需要獲取的刻度。

采用9×9模板對(duì)刻度背景圖進(jìn)行先膨脹后腐蝕處理，確?？潭缺尘暗陌枷莶糠直惶畛洌鐖D4(b)所示。將被填充前后的兩幅刻度背景圖像作絕對(duì)值相減，即可得到理想的儀表盤(pán)刻度，如圖4(c)所示。計(jì)算每個(gè)刻度的質(zhì)心[9]，計(jì)算公式為:

(9)

式中：xc、yc為刻度的質(zhì)心；xi、yi為刻度像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)。

圖4 儀表刻度提取結(jié)果

5 指針校驗(yàn)

通常指針式儀表的校驗(yàn)，采用圖像處理計(jì)算指針角度與實(shí)際標(biāo)準(zhǔn)角度作對(duì)比的方法。但在拍攝過(guò)程中，由于攝像頭的光軸與儀表表面不能保證絕對(duì)垂直，并且也存在沿?cái)z像機(jī)光軸垂直方向的偏移，這些都需要通過(guò)攝像機(jī)標(biāo)定得以修正。所以本文采用計(jì)算指針到儀表刻度偏差的方法來(lái)避免攝像機(jī)標(biāo)定的過(guò)程。通過(guò)計(jì)算刻度的質(zhì)心與指針擬合直線的距離，判斷此距離是否在誤差允許范圍內(nèi)，從而實(shí)現(xiàn)儀表校驗(yàn)。

指針到刻度的誤差距離計(jì)算示意圖如圖5所示。

圖5 指針到刻度的誤差距離計(jì)算示意圖

圖5中，v為指針U的擬合中心軸直線GT的單位方向向量，P=(x,y)T為GT上的一個(gè)點(diǎn)，二維平面上的直線方程可以描述為GT:X=P+kv，k為任意實(shí)數(shù)，X為直線上的任意點(diǎn)。H1、H2為儀表的刻度，點(diǎn)O為刻度H1的質(zhì)心，由O向直線GT做投影，垂足為Z，矢量n=OZ為直線GT過(guò)點(diǎn)O的法向量：

n=(P-O)-[(P-O)v]v

(10)

點(diǎn)O到直線GT的距離f[O,(P,v)]為：

f[O,(P,v)]=‖n‖

(11)

利用總體最小二乘法擬合的指針中心軸直線，通過(guò)式(11)可以求得指針到刻度的距離。根據(jù)所規(guī)定的誤差標(biāo)準(zhǔn)，從而判斷儀表指針是否需要重新校準(zhǔn)。

6 試驗(yàn)結(jié)果

采集指針?lè)謩e指向0、1 000、3 000、6 000、9 000和12 000 (單位為r/min)刻度的圖像，每采集一幅圖像后，調(diào)整一次攝像頭與儀表的相對(duì)位置，每個(gè)刻度分別采集10幅圖像。由式(7)根據(jù)總體最小二乘法可得到指針的擬合直線，由式(11)可計(jì)算得到指針與刻度的距離偏差。通過(guò)與對(duì)應(yīng)的標(biāo)準(zhǔn)值作比較，當(dāng)誤差小于θ時(shí)(θ值可根據(jù)該儀表所需要達(dá)到的精度設(shè)定)，則認(rèn)為儀表指針工作正常；反之則提示出錯(cuò)信號(hào)，此儀表指針需要重新校準(zhǔn)。

為了驗(yàn)證本文方法的合理性，將指針與刻度的距離轉(zhuǎn)換為更加直觀的指針與刻度的偏差角度。用所有刻度質(zhì)心點(diǎn)擬合一個(gè)“刻度圓”，其圓半徑即為刻度質(zhì)心到儀表旋轉(zhuǎn)中心的距離。根據(jù)刻度圓半徑和指針到刻度的偏差距離，通過(guò)反正切函數(shù)tan-1計(jì)算指針與刻度的偏差角度，計(jì)算同一刻度拍攝得到的10幅圖像的偏差角度與標(biāo)準(zhǔn)差。使用“細(xì)化+Hough”方法作為本文方法的對(duì)照試驗(yàn)。該方法首先對(duì)圖像進(jìn)行指針區(qū)域提?。辉倮酶倪M(jìn)魯棒性能的Zhang并行快速細(xì)化算法[10]將指針細(xì)化為骨骼線；然后通過(guò)多分辨率Hough變換[11]提取指針骨骼線直線，計(jì)算指針與刻度的距離偏差從而得到對(duì)應(yīng)的偏差角度，并計(jì)算標(biāo)準(zhǔn)差。對(duì)比結(jié)果如表 1所示。細(xì)化+Hough方法作為指針式儀表檢測(cè)常用的算法，具有準(zhǔn)確率高的特點(diǎn)。當(dāng)提取到的指針存在少許毛刺時(shí)，對(duì)細(xì)化產(chǎn)生干擾導(dǎo)致Hough變換計(jì)算得到的偏差角度波動(dòng)較大。

由表1發(fā)現(xiàn)，本文方法得到的指針與刻度的距離轉(zhuǎn)轉(zhuǎn)換成指針與刻度的偏差角度后，其偏差角度小于1°，且偏差角度的標(biāo)準(zhǔn)差較小，因此本文方法總體上優(yōu)于細(xì)化+Hough方法。在計(jì)算量方面，本文方法校驗(yàn)單幅儀表圖像的平均處理時(shí)間為0.79 ms，細(xì)化+Hough方法為13.50 ms，測(cè)試條件是Win7系統(tǒng)，Visual C++2010環(huán)境，CPU主頻為2.20 GHz，內(nèi)存為2 GB。細(xì)化+Hough方法的運(yùn)算時(shí)間大大高于本文方法。一方面是由于Hough變換提取直線前需要對(duì)圖像進(jìn)行細(xì)化處理，改進(jìn)魯棒性能的Zhang細(xì)化算法采用更多的判斷條件以克服經(jīng)典Zhang細(xì)化算法在對(duì)角線位置(比如45°或者135°位置的指針)骨骼線過(guò)度收縮的缺陷問(wèn)題；另一方面是由于Hough變換采用多分辨率角度測(cè)量，設(shè)定其運(yùn)算精度為0.01°，計(jì)算量也較大。綜上所述，本文提出的指針式儀表校驗(yàn)方法精度高，運(yùn)算量小且具有較強(qiáng)的魯棒性。

表1 指針與刻度偏差角度與標(biāo)準(zhǔn)差

7 結(jié)束語(yǔ)

本文設(shè)計(jì)的指針式儀表校驗(yàn)算法，在HSV顏色空間模式下進(jìn)行指針提取，采用總體最小二乘法擬合指針中心軸線，計(jì)算指針相對(duì)于刻度的偏差,從而判定儀表指針是否工作正常。算法有如下特點(diǎn)：①算法主要針對(duì)于儀表指針相較于表盤(pán)中其他區(qū)域色調(diào)與飽和度存在明顯差異，而對(duì)表盤(pán)形狀沒(méi)有要求；②利用總體最小二乘法擬合指針直線不僅有較高的可靠性，而且相比于Hough變換減少了計(jì)算量；③通過(guò)計(jì)算指針與刻度的距離來(lái)判斷儀表指針是否工作正常，可以避免圖像采集過(guò)程中攝像機(jī)標(biāo)定過(guò)程。

對(duì)于常用指針式摩托車儀表的試驗(yàn)結(jié)果表明，該算法可靠性高、魯棒性強(qiáng)、校驗(yàn)準(zhǔn)確率高，因此具有廣闊的應(yīng)用前景。

[1] 李棟,楊志家.基于機(jī)器視覺(jué)的指針儀表識(shí)讀方法[J].儀表技術(shù)與傳感器,2012(10):31-34.

[2] Jaffery Z A.Architecture of noninvasive real time visual monitoring system for dial[J].Sensor,2013,13(4):1236-1244.

[3] 周泓,徐海兒,耿晨歌.基于HSI模型和Hough變換的指針式汽車儀表自動(dòng)校驗(yàn)[J].浙江大學(xué)學(xué)報(bào):工學(xué)版,2010,44(6):1108-1112.

[4] 張冀,王俊宏,尉遲明.基于計(jì)算機(jī)視覺(jué)的汽車儀表指針檢測(cè)方法[J].計(jì)算機(jī)工程與科學(xué),2013,35(3):134-139.

[5] 常巧紅,高滿屯.基于HSV色彩空間與數(shù)學(xué)形態(tài)學(xué)的車牌定位研究[J].圖學(xué)學(xué)報(bào),2013,34(4):159-162.

[6] James I.Face image retrieval with HSV color space using clustering techniques[J].The SIJ Transactions on Computer Science Engineering & its Applications,2013,1(1):17-20.

[7] 吳梅,王瑞,李琦.基于總體最小二乘法的表盤(pán)圖像中心點(diǎn)提取[J].自動(dòng)化與儀表,2013,28(10):53-56.

[8] Lee G,Barlow J L.Two projection methods for regularized total least squares approximation[J].Linear Algebra and its Applications,2014,461:18-41.

[9] 史少龍,尹達(dá)一.改進(jìn)型灰度質(zhì)心實(shí)時(shí)算法研究[J].光電工程,2013,40(12):18-24.

[10]Tarabek P.A robust parallel thinning algorithm for pattern recognition[C]//7th International Symposium on Applied Computational Intelligence and Informatics(SACI).Romania:IEEE,2012:75-79.

[11]Woodford O J,Pham M T,Maki A.Demisting the hough transform for 3D shape recognition and registration[J].International Journal of Computer Vision,2014,106(3):332-341.

Image Calibration Algorithm Based on Total Least Squares Method for Pointer Instruments

To solve the problem of low accuracy for traditional pointer instruments caused by manual calibration, the verification algorithm based on computer vision for pointer instrument is proposed. The image of the instrument is transformed from RGB color space model into HSV color space model, the pointer is extracted by adopting the color characteristics of the panel pointer, then the total least squares method is used to fit the central axis of pointer; and the scale of the instrument is extracted through eroding and dilating algorithm, the deviation between the pointer and scale is calculated, thus to judge if the instrument is qualified or not. The result of calibration experiments indicates that this algorithm is reliable and robust; the calibration accuracy is high.

Pointer instrument Computer vision HSV color space model Total least squares method Point-to-line distance

國(guó)家自然科學(xué)基金資助項(xiàng)目(編號(hào)：61302191)；

浙江省教育廳科研基金資助項(xiàng)目(編號(hào)：Y201224542)。

張遠(yuǎn)輝(1982-)，男，2009年畢業(yè)于浙江大學(xué)控制理論與控制工程專業(yè)，獲博士學(xué)位，講師；主要研究方向?yàn)闄C(jī)器人智能控制、計(jì)算機(jī)視覺(jué)和圖像處理。

TP391

A

10.16086/j.cnki.issn1000-0380.201505019

修改稿收到日期：2014-10-29。