王煥濤 覃航競(jìng) 陳俊彥

（1.天府新區(qū)通用航空職業(yè)學(xué)院 四川省成都市 620500）

（2.桂林電子科技大學(xué)計(jì)算機(jī)與信息安全學(xué)院 廣西壯族自治區(qū)桂林市 541004）

伴隨著工業(yè)技術(shù)和電子信息技術(shù)的發(fā)展，很多工廠或企業(yè)需要遠(yuǎn)程獲得儀表數(shù)據(jù)。由于指針類(lèi)型的儀表具有直觀性和抗干擾性等優(yōu)點(diǎn)，而且改造代價(jià)比較大，所以現(xiàn)在工業(yè)現(xiàn)場(chǎng)很多儀表仍然是模擬指針或數(shù)字類(lèi)型的儀表。隨著《中國(guó)制造2025》的發(fā)布，作為我國(guó)實(shí)施制造強(qiáng)國(guó)戰(zhàn)略第一個(gè)十年的行動(dòng)綱，智能制造受到了業(yè)界的廣泛關(guān)注。精確的實(shí)時(shí)感知工業(yè)現(xiàn)場(chǎng)的各種運(yùn)行數(shù)據(jù)，是智能制造業(yè)的基礎(chǔ)，而絕大多數(shù)的模擬類(lèi)型的儀表沒(méi)有設(shè)計(jì)與配置傳感器，使得配備這些儀表的機(jī)器成為了工業(yè)現(xiàn)場(chǎng)的信息孤島。

為了解決上述問(wèn)題，同時(shí)提高識(shí)別效率、減少人工抄表過(guò)程中的誤差，設(shè)計(jì)與實(shí)現(xiàn)一款用于讀取模擬儀表數(shù)據(jù)的移動(dòng)應(yīng)用，成為了高性價(jià)比的解決方案。傳統(tǒng)的移動(dòng)端圖像識(shí)別任務(wù)往往被發(fā)送到服務(wù)器端執(zhí)行，這大大增加了服務(wù)器的壓力，同時(shí)也影響了識(shí)別的實(shí)時(shí)性，限制了工業(yè)級(jí)圖像智能識(shí)別的應(yīng)用范圍。隨著移動(dòng)設(shè)備計(jì)算能力的增強(qiáng)與圖像識(shí)別算法研究的發(fā)展，使得在移動(dòng)端部署計(jì)算機(jī)視覺(jué)庫(kù)并實(shí)現(xiàn)離線識(shí)別成為可能。

1 系統(tǒng)結(jié)構(gòu)和工作原理

系統(tǒng)由用戶管理模塊、模板管理模塊、圖像識(shí)別模塊、數(shù)據(jù)管理模塊四部分構(gòu)成。用戶管理模塊負(fù)責(zé)用戶信息（包括用戶ID、工號(hào)、權(quán)限等）的配置。模板管理模塊處理儀表類(lèi)型、參數(shù)單位及范圍等參數(shù)的設(shè)置，同時(shí)提供儀表的標(biāo)準(zhǔn)圖像供識(shí)別模塊匹配使用。圖像識(shí)別模塊是應(yīng)用的核心，負(fù)責(zé)讀取儀表的數(shù)據(jù)。數(shù)據(jù)管理模塊負(fù)責(zé)在本地存儲(chǔ)并向服務(wù)器發(fā)送識(shí)別結(jié)果，同時(shí)能夠根據(jù)設(shè)置提供超異常報(bào)警信息。

系統(tǒng)的工作過(guò)程如下：用戶登錄之后，使用移動(dòng)設(shè)備的攝像頭獲取含有儀表的圖像送至圖像識(shí)別模塊。圖像識(shí)別模塊加載用戶圖像之后，使用Brisk算法提取圖像的關(guān)鍵點(diǎn)和描述子，對(duì)關(guān)鍵點(diǎn)進(jìn)行篩選之后，與模板進(jìn)行匹配，確定儀表的種類(lèi)。根據(jù)關(guān)鍵點(diǎn)的位置計(jì)算出透視變換矩陣，使用透視變換矩陣對(duì)儀表盤(pán)圖像進(jìn)行矯正后獲得表盤(pán)的全景圖像。

通過(guò)全景圖像與表盤(pán)模板的匹配，確定儀表的型號(hào)，之后根據(jù)不同型號(hào)儀表的特點(diǎn)，對(duì)指針或數(shù)字區(qū)域進(jìn)行識(shí)別。完成識(shí)別后，將儀表讀數(shù)、編號(hào)、用戶等相關(guān)信息存儲(chǔ)到數(shù)據(jù)管理模塊供后續(xù)的分析處理。

2 關(guān)鍵技術(shù)

2.1 表盤(pán)矯正和特征匹配

在本應(yīng)用中基于Brisk算法設(shè)計(jì)了表盤(pán)的拾取、透視變換矩陣的生成和儀表的分類(lèi)算法。對(duì)于本應(yīng)用來(lái)說(shuō)，圖像的特征來(lái)自于表盤(pán)中的圖像區(qū)域，該區(qū)域獨(dú)特而且易于識(shí)別，較好的特征有角點(diǎn)、邊緣等。常見(jiàn)的特征檢測(cè)算法有SIFT、SURF和BRISK等。其中BRISK算法速度居中，但是強(qiáng)健性最強(qiáng)的，而且具有尺度不變性、旋轉(zhuǎn)不變性等特點(diǎn)，適用于識(shí)別比較模糊的圖像。本應(yīng)用設(shè)計(jì)的算法的流程如下：

步驟1：為了適應(yīng)多尺度，Brisk算法首先需要建立高斯金字塔，獲得在不同尺度獲得的關(guān)鍵點(diǎn)信息，通常層數(shù)為8層，此外再加上原圖共9個(gè)圖像的角點(diǎn)信息。

步驟2：使用9-16FAST算法對(duì)每層進(jìn)行特征點(diǎn)檢測(cè)，并使用閾值獲得候選點(diǎn)，同時(shí)對(duì)候選點(diǎn)區(qū)域通過(guò)8個(gè)相鄰的像素點(diǎn)和尺度空間的18個(gè)像素點(diǎn)進(jìn)行強(qiáng)度差比較實(shí)現(xiàn)非極大值抑制，設(shè)定得分值最大的為角點(diǎn)。

步驟3：獲取精確特征點(diǎn)的坐標(biāo)位置，對(duì)FAST得分值進(jìn)行二次函數(shù)亞像素插值，得到精確的特征點(diǎn)位置。再進(jìn)行一維插值得到極值點(diǎn)對(duì)應(yīng)的尺度。

步驟4：得到特征點(diǎn)的尺度之后需要計(jì)算特征點(diǎn)的描述符，采用均采樣模式，需要對(duì)同心圓上的采樣點(diǎn)進(jìn)行高斯濾波和局部梯度計(jì)算來(lái)得到特征點(diǎn)的主方向。

步驟5：為了解決旋轉(zhuǎn)不變性，需要對(duì)特征點(diǎn)周?chē)牟蓸訁^(qū)域進(jìn)行旋轉(zhuǎn)到主方向。

步驟6：使用漢明距離與模板庫(kù)中的儀表模板特征進(jìn)行比較，選取匹配的模板作為識(shí)別的目標(biāo)。

2.2 指針式儀表的識(shí)別

以壓力表為例，說(shuō)明指針式儀表的識(shí)別方法，其它指針類(lèi)儀表類(lèi)似。

壓力表屬于工業(yè)用用表，為了獲取較為精確的讀數(shù)，使用識(shí)別刻度的方式對(duì)其進(jìn)行讀數(shù)。由于壓力表是圓形結(jié)構(gòu)，因此使用刻度所對(duì)應(yīng)角度的方法對(duì)其刻度進(jìn)行排序并讀數(shù)。具體的識(shí)別算法流程如下：

步驟1：對(duì)透視變換之后的表盤(pán)圖像進(jìn)行濾波去除噪聲，進(jìn)行邊緣檢測(cè)，將邊緣檢測(cè)后的結(jié)果進(jìn)行形態(tài)學(xué)的閉操作，將一些邊緣閉合。

步驟2：創(chuàng)建黑色的Mask掩膜圖像，根據(jù)上面得到的圓的圓心和半徑在Mask中畫(huà)圓，使用使得白色能夠充滿整個(gè)圓域。對(duì)邊緣檢測(cè)后的圖像使用該Mask進(jìn)行掩碼操作，去除周?chē)h(huán)境的影響同時(shí)也能夠?qū)⒖潭茸鳛橥廨喞粰z測(cè)出來(lái)。

步驟3：對(duì)邊緣檢測(cè)后的圖像進(jìn)行膨脹操作，用霍夫直線檢測(cè)函數(shù)檢測(cè)直線并限定長(zhǎng)度來(lái)檢測(cè)指針的位置，然后對(duì)符合要求的直線進(jìn)行擬合為指針?biāo)诘闹本€。

步驟4：對(duì)邊緣檢測(cè)后的圖像進(jìn)行輪廓檢測(cè)，同時(shí)用最小矩形包圍并判斷該輪廓是否屬于刻度，如果判斷是刻度則將其像素點(diǎn)和坐標(biāo)所處的象限一起加入列表中，該列表同時(shí)還保存了刻度的坐標(biāo)矩陣以及中心所處的象限。

步驟5：遍歷該列表，對(duì)每個(gè)刻度的向量坐標(biāo)都用最小二乘法擬合成直線，根據(jù)返回的直線斜率和刻度所在象限轉(zhuǎn)化為平面中的0-360°角度，再用公式k = (360-k+270)%360將其轉(zhuǎn)化為實(shí)際應(yīng)用中坐標(biāo)系。

步驟6：將指針?biāo)谥本€的斜率同樣轉(zhuǎn)化為上圖所示的角度，并將對(duì)每個(gè)刻度求出來(lái)的角度存放在結(jié)果列表中。

步驟7：對(duì)結(jié)果列表進(jìn)行排序并遍歷，找到離刻度最近的角度及其索引位置，同時(shí)根據(jù)刻度之間的平均角度差來(lái)判斷指針是否與刻度重合，最終根據(jù)索引所在位置、指針角度和指針與前后兩個(gè)刻度的角度差進(jìn)行讀數(shù)。

2.3 混合儀表的識(shí)別

為方便說(shuō)明問(wèn)題，以水表為例說(shuō)明混合儀表的識(shí)別過(guò)程。典型的水表包括數(shù)字部分和指針部分，屬于混合類(lèi)型的模擬儀表。數(shù)字部分主要是整數(shù)而下面的指針讀數(shù)屬于小數(shù)部分。水表的一共有三個(gè)指針部分，由于水表指針的量程較小所以用傳統(tǒng)的根據(jù)角度進(jìn)行讀數(shù)效果也比較好。具體的識(shí)別算法如下：

步驟1：將儀表的透視變換的結(jié)果圖像進(jìn)行濾波，由于其與模板圖像大小角度等信息一致，所以可以根據(jù)數(shù)字區(qū)域在模板圖像中的位置定位其在圖像中的位置。通過(guò)設(shè)置ROI區(qū)域?qū)ζ溥M(jìn)行切割為數(shù)字區(qū)域和指針區(qū)域。

步驟2：由于數(shù)字區(qū)域存在紅色和黑色以及一些邊緣信息，需要對(duì)圖像進(jìn)行直方圖均衡化后，分解為紅、黑兩色的矩陣。將紅、黑矩陣疊加后，用5*5的卷積核對(duì)該圖像進(jìn)行多次形態(tài)學(xué)的開(kāi)閉運(yùn)算得到最終處理后的二值圖像。

步驟3：對(duì)于數(shù)字區(qū)域產(chǎn)生的二值圖使用Tess-two進(jìn)行識(shí)別，讀取其數(shù)值。

步驟4：使用前一節(jié)所述的指針刻度讀數(shù)算法，獲取表盤(pán)上指針部分區(qū)域的讀數(shù)，不同之處在于讀數(shù)公式為read =(360-theta+90)%360/36。其中read為最終的結(jié)果讀數(shù)，theta為求出的指針在平面坐標(biāo)系中的角度。

步驟5：重復(fù)第4步，求出每個(gè)指針子區(qū)域的讀數(shù)，將它們與第3步識(shí)別出的數(shù)字區(qū)域的數(shù)值進(jìn)行拼接得到最終的結(jié)果讀數(shù)。

3 測(cè)試及結(jié)論

本應(yīng)用對(duì)指針型、數(shù)值顯示型和混合型儀表具有較好的識(shí)別能力。以壓力表和水表作為指針型和混合型儀表的典型代表，其圖像獲取和識(shí)別結(jié)果分別如圖1、圖2所示。從圖中可以看出，透視變換算法能夠較好的矯正拍攝帶來(lái)的干擾，獲取儀表的主體；識(shí)別算法能夠準(zhǔn)確的研讀出儀表的數(shù)據(jù)，達(dá)到了應(yīng)用的要求。

圖1：壓力表讀數(shù)實(shí)現(xiàn)效果截圖（讀數(shù)為0.403Pa）

圖2：水表識(shí)別運(yùn)行結(jié)果截圖（讀數(shù)為0000.32862m3）

本應(yīng)用最終實(shí)現(xiàn)了對(duì)模擬儀表的讀數(shù)，識(shí)別精度較高。此外，應(yīng)用可以將識(shí)別的內(nèi)容和處理后的圖像通過(guò)互聯(lián)網(wǎng)進(jìn)行共享，可以用于工業(yè)場(chǎng)景或者社區(qū)儀表數(shù)據(jù)的上報(bào)和監(jiān)測(cè)，以較低的代價(jià)，解決生產(chǎn)、生活場(chǎng)景中最為頑固的信息孤島問(wèn)題，具有較強(qiáng)的應(yīng)用價(jià)值。