趙宇航，胡 偉

（河南理工大學(xué)電氣工程與自動(dòng)化學(xué)院，河南焦作 454000）

0 引言

隨著工業(yè)生產(chǎn)自動(dòng)化的不斷提升，機(jī)器視覺(jué)技術(shù)的使用越來(lái)越廣泛，機(jī)器視覺(jué)已然成為推動(dòng)工業(yè)生產(chǎn)提高生產(chǎn)效率和自動(dòng)化程度的關(guān)鍵技術(shù)。LTE 通信模塊是智能設(shè)備的關(guān)鍵零部件，在生產(chǎn)過(guò)程中，存在讀取表面刻蝕信息的場(chǎng)景，通過(guò)讀取與上傳相關(guān)信息，完成編帶包裝前的過(guò)站檢查。因機(jī)器視覺(jué)具有高精度、高效率、無(wú)傷檢測(cè)的特點(diǎn)，機(jī)器視覺(jué)技術(shù)廣泛應(yīng)用與電子零部件的過(guò)站檢測(cè)中。隨著對(duì)檢測(cè)穩(wěn)定性與生產(chǎn)自動(dòng)化程度要求的不斷提高，這就需要有新的系統(tǒng)來(lái)滿足新的需求。傳統(tǒng)的編帶設(shè)備只具有單一的編帶功能，無(wú)法實(shí)現(xiàn)模塊表面信息的提取。模塊編帶前，需讀取其屏蔽罩表面字符信息并上傳至MES（制造執(zhí)行系統(tǒng)）中，傳統(tǒng)人工使用掃描槍檢測(cè)的方法勞動(dòng)強(qiáng)度大，存在漏檢復(fù)檢等問(wèn)題，因此編帶機(jī)結(jié)合視覺(jué)檢測(cè)實(shí)現(xiàn)LTE 模塊的信息提取與自動(dòng)編帶具有較高研究?jī)r(jià)值。

提高字符識(shí)別準(zhǔn)確率時(shí)，傳統(tǒng)方法主要是提高硬件性能，這使得項(xiàng)目成本有所增加，在有限的成本內(nèi)通過(guò)改進(jìn)視覺(jué)算法提升字符識(shí)別的準(zhǔn)確率成為研究的重點(diǎn)。王琦、李洪[1]研究提出使用MLP 分別對(duì)數(shù)字與字母創(chuàng)建分類(lèi)器的方法提高識(shí)別率；林輝、蔡秉華等[2]提出使用形狀匹配與MLP 多層感知器的方法提高車(chē)牌字符識(shí)別的穩(wěn)定性；祁俊輝、龍華等[3]提出將特征向量的相似度進(jìn)行融合以提高字符識(shí)別準(zhǔn)確率，以上方法在項(xiàng)目實(shí)際應(yīng)用中存在普適性和穩(wěn)定性欠佳的問(wèn)題。本文根據(jù)實(shí)際項(xiàng)目，采用中值濾波濾除噪聲干擾、灰度變換增強(qiáng)字符邊緣灰度特征、形狀匹配完成目標(biāo)定位、MLP 多層網(wǎng)絡(luò)感知器與特征向量相似度融合等數(shù)字圖像處理技術(shù)實(shí)現(xiàn)LTE 屏蔽蓋表面鐳雕信息的提取。

1 系統(tǒng)架構(gòu)

本系統(tǒng)由編帶系統(tǒng)和視覺(jué)系統(tǒng)兩部分組成，編帶系統(tǒng)負(fù)責(zé)接收視覺(jué)信號(hào)并執(zhí)行相應(yīng)動(dòng)作，視覺(jué)系統(tǒng)接收觸發(fā)信號(hào)完成視覺(jué)檢測(cè)，視覺(jué)系統(tǒng)的硬件設(shè)備主要由相機(jī)、鏡頭、光源、控制器、工控機(jī)等組成，實(shí)現(xiàn)功能包括圖像采集、圖像處理和數(shù)據(jù)通訊。編帶系統(tǒng)結(jié)構(gòu)如圖1 所示，系統(tǒng)平臺(tái)如圖2所示。

圖1 系統(tǒng)結(jié)構(gòu)Fig.1 System structure diagram

圖2 系統(tǒng)平臺(tái)Fig.2 System platform

編帶系統(tǒng)上位機(jī)軟件的人機(jī)交互界面使用VS2019的Winform 窗體設(shè)計(jì)，C#完成軟件功能邏輯設(shè)計(jì)，核心視覺(jué)算法通過(guò)視覺(jué)算法軟件Halon完成設(shè)計(jì)與封裝。

2 圖像預(yù)處理

2.1 圖像濾波

因系統(tǒng)工作環(huán)境存在電磁干擾，圖像會(huì)受到噪聲污染，后續(xù)圖像處理的穩(wěn)定行受到一定影響，因此通過(guò)濾波消除圖像噪聲。常用的濾波方法有中值濾波、均值濾波、Gauss 濾波等[4]。經(jīng)過(guò)對(duì)比驗(yàn)證，本項(xiàng)目采用中值濾波方法消除圖像噪聲，處理效果如圖3所示。

圖3 中值濾波Fig.3 Median filtering effect

2.2 圖像增強(qiáng)

中值濾波在消除圖像噪聲的同時(shí)也降低了圖像邊緣特征，加之屏蔽蓋金屬氧化后出現(xiàn)字符灰度特征減弱等現(xiàn)象，需使用圖像增強(qiáng)改善字符對(duì)比度。圖像增強(qiáng)可分為空域圖像增強(qiáng)和頻域圖像增強(qiáng)兩種方法，其中空間域圖像增強(qiáng)是直接對(duì)圖像中的像素進(jìn)行處理[5-6]，經(jīng)過(guò)對(duì)比驗(yàn)證，本文適合使用灰度變換方法增強(qiáng)圖像邊緣。圖像增強(qiáng)效果如圖4所示。

圖4 圖像增強(qiáng)Fig.4 Image enhancement

3 匹配定位

為提高字符識(shí)別效率，系統(tǒng)使用圖像匹配完成目標(biāo)定位。匹配方法有基于組件、灰度值、形狀匹配等[7]，因生產(chǎn)車(chē)間存在環(huán)境光干擾，為保證檢測(cè)穩(wěn)定性，系統(tǒng)采用形狀匹配完成字符區(qū)域定位。形狀匹配基于圖像邊緣特征完成定位，匹配前計(jì)算模板邊緣點(diǎn)梯度，匹配時(shí)計(jì)算匹配分值，計(jì)算如式（1）所示。在匹配分值超過(guò)閾值時(shí)輸出匹配結(jié)果。

式中：cos(αi)為像素向量夾角余弦值；N為遍歷時(shí)模板對(duì)應(yīng)的圖像區(qū)域像素?cái)?shù)量；P為匹配分值。

4 字符識(shí)別

定位完成后，需對(duì)屏蔽蓋表面序列號(hào)字符進(jìn)行識(shí)別，并將識(shí)別結(jié)果上傳MES 系統(tǒng)。常用的字符識(shí)別方法主要有特征統(tǒng)計(jì)法、神經(jīng)網(wǎng)絡(luò)法、模板匹配法、支持向量機(jī)等[8]。為提高字符識(shí)別穩(wěn)定性與準(zhǔn)確率，系統(tǒng)使用多層感知分類(lèi)器（MLP）進(jìn)行初識(shí)別，然后篩選出低置信度字符圖像，提取字符特征向量，計(jì)算歐幾里得距離、向量空間余弦相速度與皮爾森相關(guān)系數(shù)，并由此計(jì)算出融合后的特征相似度，對(duì)比置信度閾值后輸出最終識(shí)別結(jié)果，算法流程如圖5所示。

圖5 字符識(shí)別流程Fig.5 Character recognition flowchart

4.1 MLP分類(lèi)網(wǎng)絡(luò)設(shè)計(jì)

MLP 多層感知器也叫神經(jīng)網(wǎng)絡(luò)，由多層前饋神經(jīng)網(wǎng)絡(luò)發(fā)展而來(lái)的前饋人工神經(jīng)網(wǎng)絡(luò)[9-10]。MLP網(wǎng)絡(luò)可以高效的進(jìn)行識(shí)別對(duì)象的訓(xùn)練學(xué)習(xí)，網(wǎng)絡(luò)由輸入層、隱私層和輸出層組成[11]。其結(jié)構(gòu)如圖6所示。

圖6 激光焊縫跟蹤控制系統(tǒng)

圖6 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Neural network structure diagram

在訓(xùn)練MLP 分類(lèi)器前，需要確定網(wǎng)絡(luò)各層節(jié)點(diǎn)數(shù)量。網(wǎng)絡(luò)輸入層神經(jīng)元數(shù)量等于特征向量維數(shù)，本文選用字符圖像灰度投影、字符區(qū)域縱橫比、相對(duì)矩I1和I2作為特征分量，其中灰度值投影為字符在像素行坐標(biāo)與列坐標(biāo)方向的像素灰度投影均值，計(jì)算如下：

式中：f(r)與f(c)為投影數(shù)據(jù)；(r, c)為區(qū)域內(nèi)像素坐標(biāo)；R為對(duì)應(yīng)字符的最小外接矩形區(qū)域；n為區(qū)域像素行數(shù)或列數(shù)。

字符區(qū)域縱橫比為字符最小外接矩形長(zhǎng)寬的比值，計(jì)算如下：

相對(duì)矩計(jì)算如下：

式中：Mij為字符區(qū)域的幾何中心矩；(r0, c0)為區(qū)域重心坐標(biāo)。

根據(jù)輸入網(wǎng)絡(luò)的特征向量維數(shù)，網(wǎng)絡(luò)輸入層神經(jīng)元數(shù)量應(yīng)設(shè)置為5。網(wǎng)絡(luò)隱私層神經(jīng)元數(shù)量，可根據(jù)Kolmogorov定理，通過(guò)如下計(jì)算得到：

式中：s為隱私層神經(jīng)元數(shù)量；n為特征向量維數(shù)。

網(wǎng)絡(luò)輸出層節(jié)點(diǎn)數(shù)應(yīng)與分類(lèi)數(shù)一致，這里將輸出層節(jié)點(diǎn)數(shù)設(shè)置為36。確定網(wǎng)絡(luò)各層節(jié)點(diǎn)數(shù)量后，還需使用收集的字符樣本數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲取最優(yōu)分類(lèi)網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)達(dá)到最佳分類(lèi)效果。若已知輸入層特征向量為（x1,x2,x3,…,xn），隱私層的神經(jīng)元輸出計(jì)算如下：

式中：ωij為輸入層與隱私層間神經(jīng)元權(quán)重系數(shù)；bj為隱私層神經(jīng)元閾值；f1為隱私層傳遞函數(shù)，這里選用S型正切函數(shù)。

輸出層神經(jīng)元根據(jù)式（8）處理隱私層輸出。

式中：ωjk為隱私層與輸出層神經(jīng)元權(quán)重系數(shù)；bk為輸出層神經(jīng)元閾值；f2為輸出層傳遞函數(shù)，這里選用純線性函數(shù)。

根據(jù)輸出層輸出結(jié)果計(jì)算誤差并在網(wǎng)絡(luò)中反向傳播以修正網(wǎng)絡(luò)各層權(quán)值系數(shù)，通過(guò)不斷的正像傳播和反向修正使誤差小于給定值從而完成網(wǎng)絡(luò)訓(xùn)練。

4.2 向量相似度計(jì)算

使用單一的相似性度量值對(duì)字符進(jìn)行衡量并不嚴(yán)謹(jǐn)，這里通過(guò)對(duì)不同相似性度量進(jìn)行融合，并引入基于樣本數(shù)據(jù)的權(quán)重系數(shù)，以提高字符識(shí)別準(zhǔn)確率。

在灰度投影、區(qū)域縱橫比、相對(duì)矩I1和I2基礎(chǔ)上添加字符區(qū)域連通數(shù)和區(qū)域孔洞數(shù)組成字符特征向量。求取字符樣本數(shù)據(jù)集的平均特征向量作為基準(zhǔn)向量X0，提取待識(shí)別字符特征向量Xi。這里選擇特征分類(lèi)問(wèn)題中較常用的歐幾里得距離、向量空間余弦相似度和皮爾森相關(guān)系數(shù)進(jìn)行相似性度量和融合[12-13]，計(jì)算X0與Xi的

式中：Xi為特征向量；X0為基準(zhǔn)特征；dist(Xi,X0)為Xi與X0的歐幾里得距離；n為特征向量維數(shù)；cos(θi)為向量余弦相似度；θ為兩特征向量的空間夾角；γ(Xi,X0)為皮爾森相似系數(shù)。

這里定義相似性融合系數(shù)γs來(lái)表示dist(Xi,X0)、cos(θi)與γ(Xi,X0)的融合結(jié)果，定義式如下：

式中：a1、a2與a3為權(quán)重系數(shù)，用以減少樣本特征差異對(duì)干擾式對(duì)γs影響。

權(quán)重系數(shù)計(jì)算如下：

式中：D(dist)為樣本各特征向量與基準(zhǔn)向量的歐幾里得距離方差；D( cos(θ))為余弦相似度偏差；D(γ)為皮爾森系數(shù)方差。

根據(jù)計(jì)算出的融合相似度，比對(duì)相似度閾值輸出字符識(shí)別結(jié)果。

4.3 字符識(shí)別

4.3.1 字符分割提取

通過(guò)形狀匹配定位字符區(qū)域后，為保證字符識(shí)別的穩(wěn)定性和準(zhǔn)確性，需要對(duì)傾斜的字符進(jìn)行角度矯正，矯正后的字符ROI圖像如圖7所示。

圖7 焊縫數(shù)據(jù)提取程序段

圖7 字符ROI提取Fig.7 Character ROI extraction

字符ROI 圖像進(jìn)行分類(lèi)前還需要進(jìn)行圖像分割。分析圖像可知，字符與圖像背景灰度差異明顯且字符邊緣灰度特征較穩(wěn)定，因此使用二進(jìn)制閾值分割來(lái)處理字符圖像，結(jié)果如圖8（a）所示，最后通過(guò)特征選擇、字符灰度投影和區(qū)域形狀轉(zhuǎn)換完成字符分割，結(jié)果如圖8（b）所示。

圖8 字符分割提取Fig.8 Character angle correction and ROI extraction

5.3.2 字符分類(lèi)與數(shù)據(jù)分析

本文通過(guò)do_ocr_multi_class_mlp 算子實(shí)現(xiàn)MLP 多層感知分類(lèi)器對(duì)序列號(hào)字符的初步識(shí)別，圖像處理軟件Halcon完成字符特征提取，Visual C#負(fù)責(zé)處理特征數(shù)據(jù)。MLP 與融合相似度的字符識(shí)別結(jié)果統(tǒng)計(jì)如表1 所示，傳統(tǒng)人工OCR 掃描槍檢測(cè)與機(jī)器視覺(jué)檢測(cè)結(jié)果統(tǒng)計(jì)如表2所示。分析數(shù)據(jù)可知，機(jī)器視覺(jué)檢測(cè)時(shí)間較人工提高近1.07 s，準(zhǔn)確率提升約5.7%。

表1 字符識(shí)別數(shù)據(jù)Tab.1 Character recognition data

表2 測(cè)試數(shù)據(jù)對(duì)比Tab.2 Test data comparison

5 結(jié)束語(yǔ)

針對(duì)LTE 模塊傳統(tǒng)人工檢測(cè)效率和準(zhǔn)確率較低，檢測(cè)與編帶無(wú)法同時(shí)進(jìn)行，本文設(shè)計(jì)了基于機(jī)器視覺(jué)的LTE 模塊編帶系統(tǒng)。根據(jù)視覺(jué)功能要求與系統(tǒng)現(xiàn)場(chǎng)工作環(huán)境，提出使用中值濾波濾除噪聲干擾，灰度變換增強(qiáng)字符邊緣灰度特征、MLP 多層網(wǎng)絡(luò)感知器對(duì)字符進(jìn)行初步識(shí)別，計(jì)算歐幾里得距離、余弦相似度與皮爾森相似系數(shù)，最終根據(jù)融合后的相似度對(duì)字符進(jìn)行準(zhǔn)確識(shí)別。經(jīng)過(guò)實(shí)際生產(chǎn)測(cè)試，系統(tǒng)符合項(xiàng)目設(shè)計(jì)要求，滿足實(shí)際生產(chǎn)需求，在提高LTE 模塊生產(chǎn)自動(dòng)化程度的同時(shí)，模塊檢測(cè)效率和準(zhǔn)確率較傳統(tǒng)人工檢測(cè)有明顯提高。