袁縱青,徐惠鋼,謝 啟

(1.常熟理工學(xué)院電氣與自動(dòng)化工程學(xué)院，江蘇常熟 215500；2.中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院，江蘇徐州 221008)

0 引言

汽車零部件的質(zhì)量極其關(guān)鍵，實(shí)施汽車零部件的追溯制度[1-2]很重要。常用的汽車零部件追溯是采用直接在產(chǎn)品上壓印字符的方法，由此對(duì)零部件的相關(guān)信息進(jìn)行標(biāo)識(shí)。因此，大量的零件表面字符信息需要被識(shí)讀。對(duì)于零件表面字符信息的識(shí)讀，傳統(tǒng)的方法是直接采用人工的方式，通過(guò)人眼讀取然后手動(dòng)輸入計(jì)算機(jī)。這種方式檢測(cè)效率低、勞動(dòng)強(qiáng)度大且容易出現(xiàn)錯(cuò)檢或漏檢等問(wèn)題，不能滿足流水作業(yè)以及自動(dòng)化生產(chǎn)發(fā)展的需求。為了適應(yīng)自動(dòng)化生產(chǎn)的需要，將機(jī)器視覺技術(shù)引入到汽車零部件檢測(cè)中，用于識(shí)別汽車零部件的產(chǎn)品型號(hào)、日期等信息。同時(shí)，利用該技術(shù)可實(shí)現(xiàn)相關(guān)加工工藝質(zhì)量的檢測(cè)，實(shí)現(xiàn)對(duì)沖孔直徑的檢測(cè)，該技術(shù)具有非接觸、精度高以及便于自動(dòng)化管理的特點(diǎn)。

本課題要實(shí)現(xiàn)對(duì)零部件的字符和沖孔直徑的檢測(cè)。針對(duì)這兩個(gè)檢測(cè)項(xiàng)，本文設(shè)計(jì)了一套基于機(jī)器視覺的零部件檢測(cè)系統(tǒng)，進(jìn)行線上自動(dòng)檢測(cè)，并將檢測(cè)信息保存到數(shù)據(jù)庫(kù)中。

1 檢測(cè)系統(tǒng)總體方案設(shè)計(jì)

本系統(tǒng)硬件部分主要由4個(gè)部分組成：工業(yè)相機(jī)、光學(xué)鏡頭、光源、伺服電機(jī)等構(gòu)成的圖像采集裝置；氣缸夾爪、位置傳感器、伺服電機(jī)構(gòu)成的不良品分揀裝置；傳送帶、簡(jiǎn)單限位載具等構(gòu)成的運(yùn)料裝置；數(shù)據(jù)采集卡、工控機(jī)等構(gòu)成的信息采集和軟件處理裝置。圖1為系統(tǒng)的整體3D模型圖。軟件部分主要包含了圖像采集模塊、運(yùn)動(dòng)控制模塊、圖像處理模塊和數(shù)據(jù)存儲(chǔ)模塊。

圖1 系統(tǒng)整體3D模型圖

1.1 檢測(cè)系統(tǒng)硬件設(shè)計(jì)

(1)圖像采集裝置設(shè)計(jì)：由于字符在不同型號(hào)零件的分布位置不同，綜合考慮相機(jī)的視野范圍不夠大和成本問(wèn)題，設(shè)計(jì)了CCD檢測(cè)機(jī)構(gòu)。該機(jī)構(gòu)由伺服電機(jī)及絲桿裝置構(gòu)成，相機(jī)可自由在絲桿上移動(dòng)，可以針對(duì)不同型號(hào)的零件確定拍照位置。由于零件字符是壓印的，通過(guò)對(duì)比實(shí)驗(yàn)選擇了VC75-W型號(hào)的同軸光源安裝在CCD檢測(cè)機(jī)構(gòu)上。感應(yīng)器被安裝在傳送帶的一側(cè)，當(dāng)感應(yīng)器感應(yīng)到產(chǎn)品時(shí)，觸發(fā)相機(jī)拍照。設(shè)計(jì)的圖像采集裝置如圖2所示。

圖2 圖像采集裝置

(2)不良品分揀裝置：當(dāng)零件沖孔不合格時(shí)需要將其從流水線上取下，因?yàn)閭魉蛶且苿?dòng)的，為了得到不合格產(chǎn)品的準(zhǔn)確位置信息，需要計(jì)算傳送帶的移動(dòng)距離，可以根據(jù)伺服電機(jī)的脈沖數(shù)來(lái)得到不合格零件在傳送帶上移動(dòng)的距離，當(dāng)零件到達(dá)指定位置時(shí)，氣缸夾爪抓取不合格零件，通過(guò)伺服電機(jī)及絲桿裝置放到不良品箱中。設(shè)計(jì)的不良品分揀裝置如圖3所示。

圖3 不良品分揀裝置

1.2 檢測(cè)系統(tǒng)軟件設(shè)計(jì)

檢測(cè)系統(tǒng)在啟動(dòng)后，需要先進(jìn)行系統(tǒng)硬件參數(shù)和軟件參數(shù)的初始化，然后由上料端上料，當(dāng)零件達(dá)到檢測(cè)工位時(shí)感應(yīng)器觸發(fā)相機(jī)進(jìn)行圖像采集，采集完成后傳輸至本地計(jì)算機(jī)進(jìn)行圖像處理，分別對(duì)字符和沖孔進(jìn)行檢測(cè)，將檢測(cè)結(jié)果保存到數(shù)據(jù)庫(kù)中，總體的流程如圖4所示。

圖4 檢測(cè)系統(tǒng)軟件流程圖

2 沖孔檢測(cè)

由于零件與傳送帶有著較明顯的對(duì)比度，對(duì)于沖孔的檢測(cè)，先使用閾值分割方法，再利用像素點(diǎn)面積特征和圓度特征來(lái)提取沖孔區(qū)域。

(1)

式中T為灰度閾值。

圖5所示為采集的零件圖像的灰度直方圖，經(jīng)實(shí)驗(yàn)驗(yàn)證，當(dāng)選取灰度閾值T=180，可以將目標(biāo)區(qū)域和背景區(qū)域分離。閾值分割完成后，計(jì)算連通域的個(gè)數(shù)，設(shè)每個(gè)連通域的像素點(diǎn)面積為area(i),其中：(i=1,2,3,…,n),根據(jù)大量實(shí)驗(yàn)，當(dāng)area(i)∈[16 000,20 000]時(shí),可將沖孔區(qū)域以及一些干擾區(qū)域篩選出來(lái)。然后通過(guò)計(jì)算上述篩選區(qū)域的圓度[3]可以將沖孔區(qū)域提取出來(lái)，圓度的計(jì)算公式如式(2)所示。

(2)

式中:C為圓度；F為區(qū)域面積；rmax為區(qū)域中心到輪廓點(diǎn)的最大值。

圖5 零件灰度直方圖

設(shè)篩選區(qū)域的圓度為circularity(i),其中：(i=1,2,…,n),經(jīng)大量實(shí)驗(yàn)驗(yàn)證，當(dāng)圓度circularity(i)>0.9時(shí)，可以將沖孔區(qū)域提取出來(lái)，如圖6所示為提取的沖孔區(qū)域。

圖6 提取的沖孔區(qū)域

由于沖壓的孔不是完全意義上的圓形，所以需要將沖孔的邊緣進(jìn)行擬合。擬合前，需要獲取沖孔區(qū)域邊緣信息，在分析幾種常用的邊緣檢測(cè)算子之后，選取Canny邊緣檢測(cè)算子檢測(cè)沖孔區(qū)域的邊緣。由于對(duì)沖孔直徑的檢測(cè)不需要太高的精度，所以提取像素級(jí)別的邊緣，如圖7所示。最后，使用最小二乘法將邊緣輪廓擬合成圓，將邊緣輪廓上的點(diǎn)到擬合圓的距離相加，使求得的距離之和最小，如式(3)所示，由此計(jì)算出沖孔的直徑為2ρ，當(dāng)直徑超過(guò)產(chǎn)品零件允許誤差時(shí)，就會(huì)被系統(tǒng)判定成不合格品，由不良品分揀裝置夾出。

(3)

式中：(a,b)為擬合圓的圓心坐標(biāo)；ρ為擬合圓的半徑；(ri,ci)為邊緣輪廓上的點(diǎn)。

圖7 像素級(jí)別邊緣提取

3 字符檢測(cè)

傳統(tǒng)的字符檢測(cè)需要經(jīng)過(guò)圖像預(yù)處理、字符定位、字符分割、字符識(shí)別操作完成，其流程如圖8所示。

圖8 傳統(tǒng)字符識(shí)別方法流程圖

本系統(tǒng)采用基于CTPN模型[4-5]的定位和基于CRNN模型[6-7]的字符識(shí)別方法，將自然場(chǎng)景下的文本檢測(cè)應(yīng)用到特定的汽車零部件檢測(cè)場(chǎng)景中，去除了圖像預(yù)處理和字符分割等步驟，相比于傳統(tǒng)的檢測(cè)方法，簡(jiǎn)化了處理流程。新的識(shí)別處理流程如圖9所示。

圖9 本系統(tǒng)使用的字符識(shí)別處理流程圖

3.1 基于CTPN的字符定位

由于在采集圖像時(shí)可能會(huì)出現(xiàn)字符被產(chǎn)品塑料件遮擋、產(chǎn)品擺放傾斜問(wèn)題，此外，零件型號(hào)多，字符在零件上的分布情況比較復(fù)雜，本系統(tǒng)使用文獻(xiàn)[8]自然場(chǎng)景下的文本檢測(cè)方法，使用CTPN模型進(jìn)行零件字符區(qū)域的定位。

CTPN模型利用了RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))和CNN(卷積神經(jīng)網(wǎng)絡(luò))的無(wú)縫結(jié)合來(lái)提高檢測(cè)精度。其中，CNN用來(lái)提取深度特征，RNN用于序列的特征識(shí)別，二者無(wú)縫結(jié)合，在檢測(cè)效果上魯棒性更好。它的步驟如下：

(1)采用VGG16的前5個(gè)Conv Stage進(jìn)行特征提取，得到大小為W×H×C的conv5特征映射。然后在conv5上做3×3的滑動(dòng)窗口得到一個(gè)長(zhǎng)度為3×3×C的特征向量。

(2)將特征輸入到一個(gè)雙向的LSTM中，得到一個(gè)W×256的輸出,再將這個(gè)結(jié)果輸入到一個(gè)512維的全連接層。

(3)通過(guò)分類或線性回歸可以得到3個(gè)輸出：2k vertical coordinates(表示選擇框的高度和中心的y軸的坐標(biāo))、2k scores(表示k個(gè)anchor的類別信息，說(shuō)明其是否為字符)、k side-refinement(表示選擇框的水平偏移量)。使用非標(biāo)準(zhǔn)極大值抑制算法濾除多余的文本框。

由于要檢測(cè)16種型號(hào)零件，選取每種型號(hào)1 000張圖片制作數(shù)據(jù)集，在數(shù)據(jù)集上對(duì)VGG-Net進(jìn)行訓(xùn)練，訓(xùn)練所用的平臺(tái)為Ubuntu18.04系統(tǒng)，用訓(xùn)練好的模型進(jìn)行測(cè)試，測(cè)試效果如圖10所示，在圖10(a)字符被塑料件遮擋(零件A)、圖10(b)產(chǎn)品色差較大且傾斜(零件B)的情況下有良好的定位效果。

(a)字符被塑料件遮擋

(b)產(chǎn)品色差大且傾斜圖10 測(cè)試效果圖

3.2 基于CRNN的字符識(shí)別

字符區(qū)域定位成功后，傳統(tǒng)的方法需要將字符分割出來(lái)，然后再進(jìn)行識(shí)別，使得處理流程相對(duì)復(fù)雜。

CRNN是一種基于深度學(xué)習(xí)的端到端的識(shí)別方法，不需要顯示加入文字切割，它將文字識(shí)別轉(zhuǎn)化為序列學(xué)習(xí)問(wèn)題，對(duì)圖像尺度不同、文本長(zhǎng)度不同的文本識(shí)別具有良好的準(zhǔn)確率。CRNN的網(wǎng)絡(luò)架構(gòu)由卷積層、循環(huán)層和轉(zhuǎn)錄層構(gòu)成。卷積層用于提取每個(gè)輸入圖像的特征序列，在卷積網(wǎng)絡(luò)之后構(gòu)建了一個(gè)循環(huán)網(wǎng)絡(luò)，用于對(duì)卷積層輸出的特征序列的每一幀進(jìn)行預(yù)測(cè)。最后，通過(guò)轉(zhuǎn)錄層將循環(huán)網(wǎng)絡(luò)的每幀預(yù)測(cè)轉(zhuǎn)化為標(biāo)簽序列。具體的操作：將輸入的圖像歸一化為100×32高度的字符串圖像，然后基于7層CNN(一般使用VGG16)提取特征圖，把特征圖按列切分(Map-to-Sequence)，再將每列的512維特征輸入到兩層各256單元的雙向LSTM進(jìn)行分類。在訓(xùn)練過(guò)程中，通過(guò)基于聯(lián)結(jié)時(shí)序分類(connectionist temporal classification，CTC)損失函數(shù)實(shí)現(xiàn)字符位置與類標(biāo)的近似對(duì)齊，輸出不定長(zhǎng)的序列結(jié)果。

經(jīng)過(guò)CTPN模型實(shí)現(xiàn)字符定位成功后，輸出的是檢測(cè)文本框的位置信息和文本的概率，在進(jìn)行字符識(shí)別時(shí)是進(jìn)行字符串圖像的識(shí)別，將不同型號(hào)零件對(duì)應(yīng)位置識(shí)別到的字符串信息保存到數(shù)據(jù)庫(kù)中。設(shè)圖像中一共有n個(gè)文本框，其左上角頂點(diǎn)分別為{(x1,y1),(x2,y2),…,(xn,yn) },檢測(cè)順序按照文本框的左上角縱坐標(biāo)y1，y2，…，yn從大到小排序，若yi=ym=…=yn，則將xi，xm，…，xn對(duì)應(yīng)的字符串圖像按照從小到大的順序識(shí)別，識(shí)別結(jié)果為result1,result2,…,resultn(n為正整數(shù))，將檢測(cè)到的字符信息保存到數(shù)據(jù)庫(kù)中。

本系統(tǒng)選取16種型號(hào)零件，每種型號(hào)1 000張圖片，按照Synth90數(shù)據(jù)集的格式制作數(shù)據(jù)集。在Ubuntu18.04系統(tǒng)下使用GPU進(jìn)行加速訓(xùn)練。用訓(xùn)練好的模型進(jìn)行測(cè)試，測(cè)試結(jié)果如圖11和圖12所示，字符串1、字符串2、字符串3分別是兩款零件截取的字符串圖像，檢測(cè)結(jié)果如圖11(d)、圖12(d)所示，可以看出對(duì)于字符遮擋和對(duì)比度不高的壓印字符，CRNN模型具有良好的識(shí)別效果。

圖11 產(chǎn)品A檢測(cè)結(jié)果

圖12 產(chǎn)品B檢測(cè)結(jié)果

4 現(xiàn)場(chǎng)驗(yàn)證

由于本系統(tǒng)需要檢測(cè)的汽車零件共有16種型號(hào)，為了驗(yàn)證本系統(tǒng)的檢測(cè)效果，進(jìn)行了現(xiàn)場(chǎng)驗(yàn)證。由于沖孔類型一致，對(duì)于沖孔的檢測(cè)，選擇6種型號(hào)零件進(jìn)行測(cè)試，每個(gè)沖孔用千分尺測(cè)量5次直徑并取平均值；用檢測(cè)系統(tǒng)測(cè)量6種型號(hào)零件的直徑，結(jié)果對(duì)比如表1所示。由表1可知，使用檢測(cè)系統(tǒng)測(cè)量的直徑與用千分尺測(cè)量的直徑真值誤差很小，檢測(cè)精度較高，滿足企業(yè)的檢測(cè)要求。對(duì)于零件字符的檢測(cè)，每種型號(hào)選擇100個(gè)零件進(jìn)行測(cè)試，測(cè)試結(jié)果表明，字符的識(shí)別正確率達(dá)到了96%，取得了良好的檢測(cè)效果。通過(guò)查詢保存的零件數(shù)據(jù)信息，可以提高對(duì)產(chǎn)品的監(jiān)管力度。

表1 沖孔測(cè)量結(jié)果 mm

5 結(jié)束語(yǔ)

本系統(tǒng)實(shí)現(xiàn)了圖像采集、圖像處理、信息保存的整個(gè)流程。經(jīng)測(cè)試，本系統(tǒng)穩(wěn)定性好，可擴(kuò)展性強(qiáng)，檢測(cè)效率明顯超越了人工的方法，有著較高的檢測(cè)準(zhǔn)確率，基本滿足工業(yè)的生產(chǎn)需求，達(dá)到了預(yù)期的目標(biāo)。