彭 誠 丁 蔚 侯旭瑋 李 軍

(北京東方計量測試研究所，北京 100086)

1 引 言

機(jī)器視覺一般是軟、硬件結(jié)合的一套系統(tǒng)，通過機(jī)器的成像系統(tǒng)將光信號轉(zhuǎn)換成電信號，從而識別出所需的圖像信號，進(jìn)行圖像處理后，獲得特征信息用于實現(xiàn)指引、判斷、檢測等功能，在某些特定的場合完全可以替代人眼的功能，現(xiàn)已成為人工智能領(lǐng)域當(dāng)中不可或缺的重要力量[1]。

機(jī)器視覺相比人工檢測而言具有響應(yīng)處理速度快、識別率高、工作時間長等特點，絕對優(yōu)勢明顯，且還能有效地降低人為的主觀因素影響[2]。因此在電子制造、汽車、制藥等領(lǐng)域中，尤其是車牌識別[3]、人臉識別等方面得到廣泛應(yīng)用。

在電學(xué)參數(shù)計量中，手持式數(shù)字萬用表(以下簡稱“萬用表”)是應(yīng)用最為廣泛的通用電參數(shù)測試設(shè)備，由于沒有程控通訊接口，因此在自動化測試技術(shù)不斷發(fā)展的今天，針對此類萬用表的絕大多數(shù)校準(zhǔn)工作仍依賴人工手動的方式完成，只有極個別高端萬用表才可以通過“專用紅外轉(zhuǎn)換接口”實現(xiàn)少量數(shù)據(jù)傳輸，完成半自動校準(zhǔn)工作，校準(zhǔn)過程耗時費力，人工錯誤率較高，勞動效率低下[4]，針對此類問題，羅政元等人提出了一種基于圖像識別算法進(jìn)行自動測試的萬用表校準(zhǔn)系統(tǒng)，能夠提高一定的測試效率，但是其整體智能化程度較低，還需要人工參與換線[5]。另外，隨著技術(shù)的不斷發(fā)展，各條生產(chǎn)線規(guī)模不斷擴(kuò)大，萬用表的校準(zhǔn)需求也在相應(yīng)增加，直接導(dǎo)致計量服務(wù)的人工成本居高不下。因此，需要進(jìn)一步通過研究機(jī)器視覺字符識別技術(shù)，實現(xiàn)萬用表的全自動校準(zhǔn)問題。

2 機(jī)器視覺硬件系統(tǒng)

機(jī)器視覺識別硬件系統(tǒng)主要由工業(yè)數(shù)字相機(jī)和光源共同組成，用以代替人類“眼睛”的部分功能，并與相應(yīng)配套的圖像處理軟件共同完成圖像數(shù)據(jù)的獲取、處理、判定等工作，實物如圖1所示。

圖1 機(jī)器視覺系統(tǒng)實物圖Fig.1 Physical chart of machine vision system

2.1 工業(yè)數(shù)字相機(jī)

若只考慮像素關(guān)鍵參數(shù)，同級別的民用相機(jī)比工業(yè)數(shù)字相機(jī)具有壓倒性的價格優(yōu)勢，但其在圖像穩(wěn)定性、環(huán)境抗干擾性和數(shù)據(jù)傳輸性上處于絕對的劣勢。因此，在工業(yè)控制領(lǐng)域，選擇合適的工業(yè)數(shù)字相機(jī)是機(jī)器視覺設(shè)計的關(guān)鍵。

工業(yè)數(shù)字相機(jī)重要的指標(biāo)有像素分辨率、位深度和拍攝速度(幀率)。根據(jù)被檢萬用表的具體拍攝參數(shù)需求，本部分選用600萬像素的COMS工業(yè)數(shù)字相機(jī)，分辨率3 072×2 048，8位黑白位深度，幀率17fps，128MB板上緩存，數(shù)據(jù)傳輸支持最新的千兆以太網(wǎng)(GigE Vision V1.2)版本協(xié)議。在機(jī)器視覺字符識別系統(tǒng)中，利用其靜止拍照功能獲取數(shù)字圖像(約6MB數(shù)據(jù)容量)，通過千兆網(wǎng)線接口向計算機(jī)傳輸數(shù)據(jù)。

2.2 光源

光源的設(shè)計與選型好壞將直接決定工業(yè)數(shù)字相機(jī)成像的最終效果，為避免增加不必要的后期數(shù)字圖像預(yù)處理，在工業(yè)數(shù)字相機(jī)前置位安裝了環(huán)形LED白色定制光源，用于照亮被拍攝目標(biāo)區(qū)域，從而達(dá)到提高拍攝照片亮度均勻性，最大限度克服外界環(huán)境光照影響，保障圖像穩(wěn)定等特點。

3 機(jī)器視覺字符識別技術(shù)

萬用表需要識別的字符部分包括正負(fù)號、數(shù)字、小數(shù)點、附加信息字符，正確識別以上數(shù)顯內(nèi)容可以實現(xiàn)計量校準(zhǔn)的自動化數(shù)據(jù)獲取，就能獲取數(shù)字萬用表的測量結(jié)果，進(jìn)而完成計量校準(zhǔn)中數(shù)據(jù)采集獲取任務(wù)，配合工業(yè)機(jī)器臂的操控機(jī)構(gòu)，從而實現(xiàn)手持式數(shù)字萬用表計量校準(zhǔn)的全自動化校準(zhǔn)解決方案，機(jī)器視覺識別技術(shù)的方法框圖如圖2所示。

圖2 機(jī)器視覺字符識別三種方法原理對比框圖Fig.2 Block diagram of three methods character recognition in machine vision comparison

當(dāng)下機(jī)器視覺字符識別技術(shù)法多種多樣，本文將介紹三種主流的技術(shù)，分別為圖像灰度閾值法、傳統(tǒng)方法的目標(biāo)分類字符識別、基于深度學(xué)習(xí)下的CNN字符識別。在萬用表的數(shù)字識別過程中三種技術(shù)方式可以靈活組合應(yīng)用，并不局限于某種方式的單一應(yīng)用，下面簡要論述一下它們各自的主要技術(shù)特點。

3.1 圖像灰度閾值法

圖像灰度閾值法是三種方法中最為簡單易用的，在本文前面提到過8位A/D的黑白工業(yè)數(shù)字相機(jī)拍攝的數(shù)字圖形中單點像素為從0(暗)～256(亮)個灰度級數(shù)值，通過判斷某目標(biāo)區(qū)域中平均灰度數(shù)值來判斷該區(qū)域中圖形的有無狀態(tài)，并且可以進(jìn)一步組合形成具體字符的識別判斷。

圖像灰度閾值法應(yīng)用最廣泛的主要是LCD/LED顯示七段數(shù)碼管的線灰度識別，當(dāng)數(shù)碼管關(guān)斷時，灰度等級處于高位，打開時處于低位，通過整合7段數(shù)碼管的狀態(tài)信息即可確定具體的讀數(shù)結(jié)果[6]，如圖3所示。

圖3 使用線灰度識別數(shù)碼管顯示結(jié)果圖Fig.3 Recognition of digital tube display result by line gray level

3.2 傳統(tǒng)方法的目標(biāo)分類字符識別

傳統(tǒng)方法的目標(biāo)分類字符識別(以下簡稱OCR)，在各行業(yè)有著最為廣泛的應(yīng)用，例如可靠地識別在整個價值鏈中的工件和產(chǎn)品上印刷或沖壓字符。

如圖4所示，OCR從基本原理上來說就是不斷的在執(zhí)行分類和訓(xùn)練(也可理解為學(xué)習(xí))兩個過程，二者之間也是一種動態(tài)匹配的過程，隨著訓(xùn)練的增加，特征分類庫也必然增加。OCR是指機(jī)器視覺自動從圖像中識別文字字符的過程，OCR程序先通過圖像預(yù)處理、標(biāo)識識別興趣區(qū)域(以下簡稱ROI)功能選取合適的待識別字符，再與特征分類庫中的字符進(jìn)行篩選對比，返回一個特定的字符值，該返回值即是OCR識別出來的字符值。

圖4 通用訓(xùn)練和分類識別階段流程圖Fig.4 Flow charts for two stages of general training and classification and recognition

3.3 基于深度學(xué)習(xí)下的CNN字符識別

深度學(xué)習(xí)(Deep Learning)是機(jī)器學(xué)習(xí)當(dāng)中逐漸演變出來的一種新算法，常見的模型有深度置信網(wǎng)絡(luò)(DBN)、卷積神經(jīng)網(wǎng)絡(luò)(以下簡稱CNN)、卷積深度置信網(wǎng)絡(luò)(CDBN)等等，其中CNN常被用于判斷輸入的圖像是否包含字符[7]，并從中剪取有效的字符片斷后，再進(jìn)行字符識別的任務(wù)。

CNN最初是從視覺皮層的生物學(xué)上獲得啟發(fā)，即視覺皮層有小部分細(xì)胞對特定部分的視覺區(qū)域敏感，而且一起工作才能產(chǎn)生視覺感知，具有極強的關(guān)聯(lián)性。CNN的一般結(jié)構(gòu)模型如圖5所示，包括卷積層、池化層、全連接層三個主要部分，選擇適合的卷積層與池化層進(jìn)行匹配，形成多個卷積組(或卷積核)，按照順序完成特征值的提取，通過若干個全連接層實現(xiàn)重組，最后依靠傳統(tǒng)神經(jīng)網(wǎng)絡(luò)完成分類等任務(wù)。

圖5 CNN結(jié)構(gòu)模型圖Fig.5 CNN structural model

深度學(xué)習(xí)模型需要對大量的樣本(被標(biāo)識過的訓(xùn)練集)進(jìn)行訓(xùn)練才能提高其識別準(zhǔn)確率。與前面兩種字符識別方法相對比，深度學(xué)習(xí)下的CNN字符識別可以完全不需要進(jìn)行圖像預(yù)處理，它是通過構(gòu)建一個多層神經(jīng)網(wǎng)絡(luò)，在此網(wǎng)絡(luò)上自動學(xué)習(xí)并得到數(shù)據(jù)隱含在內(nèi)部的關(guān)系，從而提取出更高維、更抽象的數(shù)據(jù)，使學(xué)習(xí)到的特征更具有表達(dá)力[8]，識別效率更快、識別泛化能力更強。

4 方案實施

本章節(jié)將以Fluke的15b+作為被識別對象，分別采用兩種不同的方案進(jìn)行設(shè)計與開發(fā)。其中，方案一采用圖像灰度閾值法與傳統(tǒng)目標(biāo)分類字符識別相結(jié)合的方法；方案二采用深度學(xué)習(xí)下的CNN字符識別方法。

4.1 方案一

本方案中機(jī)器視覺開發(fā)采用基于NI LabVIEW開發(fā)平臺的Vision Development Module (VDM)軟件模塊，該模塊內(nèi)置圖像灰度閾值算法以及目標(biāo)分類字符識別(OCR)工具集，并且可以通過Vision Acquisition Software (VAS)驅(qū)動軟件完成對數(shù)字相機(jī)的通信控制。

機(jī)器視覺圖像處理的過程為圖像拍攝，預(yù)處理，LCD灰度檢測完成數(shù)字、小數(shù)點、負(fù)號的讀取，OCR對特定區(qū)域的單位字符處理與識別，最后完成數(shù)字字符和單位字符的字符格式化合并輸出，最后返回數(shù)值顯示結(jié)果，具體的系統(tǒng)流程圖如圖6所示。

圖6 圖像字符識別系統(tǒng)流程圖Fig.6 Flow chart of image character recognition system

4.1.1預(yù)處理

在實際識別工作過程中對數(shù)字表的視覺識別效果造成最大影響的因素就是外部光線的變化，為減小亮度均勻性的影響[9]，需要對相機(jī)拍攝的照片進(jìn)行二值化預(yù)處理，如圖7所示，提高LCD/LED的圖像識別準(zhǔn)確性。通過采用VDM軟件算法庫包中的Threshold函數(shù)實現(xiàn)單灰度區(qū)間的圖像分割。

圖7 照片二值化預(yù)處理效果圖Fig.7 The effect of binary image preprocessing

4.1.2數(shù)字識別

通過VDM軟件算法庫包中的IMAQ Get LCD ROI和IMAQ Read LCD兩個函數(shù)就可以很方便的在短時間內(nèi)搭建好萬用表數(shù)字識別系統(tǒng)。其中LCD/LED數(shù)字識別的基本原理就是前面講解的圖像灰度閾值法，對圖像的灰度影響比較大的包括亮度、對比度、噪聲等，若灰度識別不準(zhǔn)確將直接影響讀數(shù)的準(zhǔn)確性。

4.1.3正負(fù)號及小數(shù)點識別

萬用表的顯示習(xí)慣遵循人們的認(rèn)知常識，所以一般正數(shù)前面的“+”默認(rèn)情況下是不需要顯示的，只有負(fù)數(shù)前面才會顯示“-”。因此，萬用表只需完成負(fù)號“-”的識別，正數(shù)無需識別；另外通過對數(shù)顯表頭的觀察可知，小數(shù)點只出現(xiàn)在固定的三個位置，故只需通過選取正確的ROI，通過自編的“三選一”條件判斷算法即可識別小數(shù)點是否存在以及具體位置。

4.1.4字符識別

萬用表功能強大，包含交直流電壓、交直流電流、直流電阻等常見的5功能參數(shù)，因此相應(yīng)的屏幕顯示也包含了“m，M，k，μ，Ω，V，A”等倍數(shù)詞頭和單位符號，為了進(jìn)一步獲得測量數(shù)據(jù)的實際數(shù)據(jù)，就不能單單獲取數(shù)字的識別結(jié)果，還需要對以上字符信息進(jìn)行有效識別。這些字符信息的識別無法簡易地應(yīng)用圖像灰度閾值法，必須使用目標(biāo)分類字符識別技術(shù)，如圖8所示。

圖8 OCR訓(xùn)練界面圖Fig.8 Interface of OCR training

通過VDM軟件模塊中的Vision OCR Training工具包軟件就能夠很方便的進(jìn)行訓(xùn)練功能，OCR讀取過程如圖9所示。

圖9 OCR讀取過程界面圖Fig.9 Interface of OCR read

4.1.5數(shù)值合成

經(jīng)過以上步驟識別出來的數(shù)值、負(fù)號、小數(shù)點詞頭和單位，在LabVIEW開發(fā)平臺全部是以字符串的形式進(jìn)行單值存儲，因此最后需要進(jìn)行必要的字符串合并來顯示完整的數(shù)據(jù)測量結(jié)果：一個典型的數(shù)值由數(shù)字部分(含負(fù)號、小數(shù)點、)和字符部分共同組成，字符識別結(jié)果如圖10所示。

圖10 方案1字符識別結(jié)果圖Fig.10 Plan 1 character recognition result chart

4.1.6自動錯誤處理

本文開發(fā)的自動校準(zhǔn)系統(tǒng)軟件中還包含自動錯誤處理功能，具備單點復(fù)測的容錯能力，防止機(jī)器誤判，如圖11所示。此功能可有效剔除測試過程中的識別異常值，從而增加系統(tǒng)的健壯性。

圖11 自動錯誤處理功能界面圖Fig.11 Interface of automatic error handling function

4.2 方案二

在深度學(xué)習(xí)下的CNN字符識別方案中，采用?？低暪狙邪l(fā)的深度學(xué)習(xí)識別模塊系統(tǒng)，該模塊內(nèi)置于圖形化開發(fā)機(jī)器視覺應(yīng)用環(huán)境Vision Master中，并細(xì)分為DL字符識別、DL缺陷檢測、DL訓(xùn)練工具三大功能，如圖12所示，根據(jù)前述深度學(xué)習(xí)的方法，本方案需要先訓(xùn)練完模型，才能完成分類識別的任務(wù)。

圖12 深度學(xué)習(xí)識別系統(tǒng)界面圖Fig.12 Interface of deep learning recognition system

4.2.1DL訓(xùn)練工具

深度學(xué)習(xí)字符訓(xùn)練工具通過添加訓(xùn)練集樣本圖片(建議大于100張)，并需要手動框選ROI，人工進(jìn)行字符標(biāo)記，然后點擊訓(xùn)練即可，如圖13所示。

圖13 深度學(xué)習(xí)字符訓(xùn)練界面圖Fig.13 Interface of deep learning character training

4.2.2DL字符識別

訓(xùn)練完成后生成模型庫文件，即可進(jìn)行字符識別，其基本流程是：從拍攝原始圖像輸入開始，設(shè)置ROI，選擇訓(xùn)練好的模型庫文件，設(shè)置置信度參數(shù)，即可開始數(shù)字表的深度學(xué)習(xí)識別，識別完成后，同樣需要進(jìn)行數(shù)據(jù)格式化，最后通過TCP客戶端傳輸識別字符串信息給上層的軟件自動測試系統(tǒng)進(jìn)行后繼數(shù)據(jù)處理。

為達(dá)到更高識別置信概率，需要更多人工已標(biāo)識完畢的圖片對模型訓(xùn)練優(yōu)化，為降低時間成本和硬件資源消耗，本方案更注重數(shù)字部分信息識別，數(shù)字部分識別結(jié)果如圖14所示，其余部分識別均可通過以上方法實現(xiàn)。

圖14 方案二數(shù)字識別結(jié)果圖Fig.14 Plan 2 digital identification result chart

4.3 方案對比

兩種方案實際對比結(jié)果見表1，經(jīng)分析可知，兩個方案的數(shù)字識別率均可達(dá)到99.8%，具有良好的實際工程應(yīng)用效果?，F(xiàn)實生活中大多數(shù)問題卻是小樣本數(shù)據(jù)，此時方案一就可以直接處理；方案二需要大量的訓(xùn)練數(shù)據(jù)作為支撐，消耗的計算機(jī)算力、人工標(biāo)識等資源多，才能達(dá)到理想效果，此時不宜使用方案二。

表1 兩種方案實際對比結(jié)果Tab.1 The actual comparison results of the two schemes方法識別率資源使用率容錯性算法難度方案一99.8%少較差簡單方案二99.8%多高復(fù)雜

另外，方案二的算法較為復(fù)雜，應(yīng)用門檻較高，其模型訓(xùn)練過程是在黑盒環(huán)境下進(jìn)行的，計量自動化測試工程師可控可調(diào)余地較小，因此在識別效果相同的情況下，建議優(yōu)選方案一，但不可否認(rèn)的是方案二可以獲取更深層次的圖像特征，容錯性更好，是未來的重點發(fā)展方向。

5 結(jié)束語

本文通過詳細(xì)的分析比對，兩種方案均能準(zhǔn)確有效地完成萬用表字符識別功能，使測試效率大幅提高，但在計算能力與資源占比，冗余度以及開發(fā)效率上二者有著顯著差異。隨著當(dāng)前社會的不斷發(fā)展，機(jī)器視覺技術(shù)也必然會掀起新一輪的革新浪潮，將更加廣泛地應(yīng)用在計量測試領(lǐng)域，助力人類不斷提高生產(chǎn)效率。