鐘浩，樓佩煌，翟晶晶

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

近年來，各類消費(fèi)電子產(chǎn)品發(fā)展迅猛，推動(dòng)了電子制造業(yè)的發(fā)展。智能手機(jī)作為電子產(chǎn)品中的典型代表，其快速的普及也使得智能手機(jī)的出貨量一直居高不下。然而在目前國(guó)內(nèi)手機(jī)裝配行業(yè)中，人工裝配占據(jù)了很大比例。為了提高裝配質(zhì)量和效率，并且在我國(guó)經(jīng)濟(jì)轉(zhuǎn)型和人力成本提高的大背景下，機(jī)器人裝配結(jié)合視覺檢測(cè)定位已是大勢(shì)所趨[1]。

在機(jī)器視覺裝配方面，國(guó)內(nèi)外學(xué)者已經(jīng)做了很多研究。日本電氣工程大學(xué)微系統(tǒng)應(yīng)用中心為Miniwalker設(shè)計(jì)了CCD全局定位系統(tǒng)和視覺高精度定位系統(tǒng)：CCD全局定位可實(shí)現(xiàn)4 mm的定位精度；顯微視覺系統(tǒng)為機(jī)器人提供更高的視覺測(cè)量精度，用于指導(dǎo)機(jī)器人完成精密作業(yè)任務(wù)；東南大學(xué)研制的基于雙目視覺的YPJ-1機(jī)器人系統(tǒng)，雙目立體視覺測(cè)量裝置通過連桿結(jié)構(gòu)的擺動(dòng)，改變CCD傳感器的視覺中心俯角。通過對(duì)機(jī)器人雙臂的視覺協(xié)調(diào)，實(shí)現(xiàn)了兩種零件間的孔-軸裝配作業(yè)[2]。

對(duì)于手機(jī)配件裝配的視覺檢測(cè)，馮鍇在金屬手機(jī)外殼視覺尺寸測(cè)量算法研究中，將金屬手機(jī)外殼邊緣提取與ROI(感興趣區(qū)域)設(shè)置相結(jié)合的方法，更加精確地提取重要的輪廓圖元[3]；王盼設(shè)計(jì)出一種基于相關(guān)系數(shù)進(jìn)行改進(jìn)的復(fù)合匹配算法，實(shí)現(xiàn)測(cè)量過程中的圖像匹配，再對(duì)匹配之后的圖像進(jìn)行 Hough變換，擬合出直線，根據(jù)直線的坐標(biāo)信息求出測(cè)量的結(jié)果[4]；劉杰提出在標(biāo)準(zhǔn)區(qū)域內(nèi)H與S通道圖像的灰度分布特征為模板，自動(dòng)匹配待測(cè)圖像感興趣區(qū)域，而后通過Canny提取目標(biāo)邊緣并擬合直線[5]，雖基本滿足實(shí)際生產(chǎn)要求，但依然有提升空間。

手機(jī)玻璃絲網(wǎng)組件一直是手機(jī)生產(chǎn)制造過程中重要的配件之一，其裝配過程中玻璃上安裝位置的角度和中心位置以及絲網(wǎng)位置度的測(cè)量和定位一直是一大難題。針對(duì)玻璃絲網(wǎng)在線檢測(cè)裝配生產(chǎn)線，本文提出一種高精度、快節(jié)拍的視覺在線檢測(cè)方法。

1 手機(jī)玻璃絲網(wǎng)裝配視覺檢測(cè)關(guān)鍵技術(shù)

1.1 問題描述

為了將圖1中標(biāo)號(hào)②聽筒絲網(wǎng)的U形凸起放置并使其嵌入屏幕玻璃的標(biāo)號(hào)①處的U形孔中，如圖2所示，需要通過相機(jī)采集二者的裝配位姿圖像，通過圖像處理并計(jì)算出裝配彌補(bǔ)參數(shù)以保證裝配系統(tǒng)可以精確地進(jìn)行裝配，并且滿足生產(chǎn)環(huán)境下的高精度和高速率的要求，故需要設(shè)計(jì)出一種精度高、速率高的檢測(cè)方案。

圖1 玻璃絲網(wǎng)裝配示意圖

圖2 裝配完成的實(shí)物圖

1.2 裝配總體方案

為了將玻璃固定，將屏幕玻璃固定至夾具上，下方放置CCD相機(jī)并結(jié)合PLC將CCD移動(dòng)至既定位置，以便之后對(duì)玻璃U形孔進(jìn)行圖像采集。機(jī)械臂以固定姿態(tài)吸住聽筒絲網(wǎng)移動(dòng)至另一臺(tái)CCD相機(jī)上方，以進(jìn)行下一步的圖像拍攝；采取合適的光照方案，對(duì)圖像特征進(jìn)行采集；圖像采集之后，針對(duì)采集的圖像，通過預(yù)處理、邊緣檢測(cè)和圖形擬合的方法，計(jì)算出聽筒絲網(wǎng)U形孔的位置度和中心位置以及絲網(wǎng)位置度和中心位置，從而得出裝配彌補(bǔ)參數(shù)；最后將上述計(jì)算出的參數(shù)傳輸給裝配系統(tǒng)，裝配系統(tǒng)將上述參數(shù)作為裝配偏差彌補(bǔ)值以引導(dǎo)控制機(jī)械手將聽筒絲網(wǎng)嵌入屏幕玻璃的正確位置。

2 系統(tǒng)光照方案研究

本文選取3種常用于凸顯零件邊緣的光照方案進(jìn)行對(duì)比實(shí)驗(yàn)，通過比對(duì)實(shí)驗(yàn)效果圖選取合適的光照方案。3種光照方案分別是環(huán)形光源背光照明、同軸光源正向照明和同軸光源背光照明。光照方案實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 光照方案實(shí)驗(yàn)結(jié)果圖

由圖3的實(shí)驗(yàn)結(jié)果可以看出，同軸背光照明的光照方案下獲取的聽筒絲網(wǎng)采集圖的邊緣灰度值變化更明顯，即邊緣更明顯，并且邊緣噪聲更少。而本課題的測(cè)量特征信息為對(duì)象的輪廓邊緣，應(yīng)選用能較大程度凸顯物體輪廓形狀的同軸背光照明方式。

3 視覺測(cè)量

3.1 圖像預(yù)處理

在對(duì)圖像進(jìn)行邊緣提取之前，需要對(duì)圖像進(jìn)行預(yù)處理，去除圖像中的噪聲并提高圖像對(duì)比度，從而突出圖像的邊緣部分，為后續(xù)的邊緣提取提供基礎(chǔ)。本文采用二次濾波的方法，即濾波-銳化-濾波，進(jìn)行圖像預(yù)處理。濾波的方法選取中值濾波，該濾波方法是一種線性的平滑技術(shù)，可以有效地去除圖像中的隨機(jī)黑白噪聲[6]。

濾波之后的圖像銳化處理，可以突出圖像的信息，使圖像的輪廓線、邊緣等細(xì)節(jié)更加清晰。原始圖像和經(jīng)過二次濾波后的預(yù)處理效果如圖4所示。

圖4 圖像預(yù)處理前后的對(duì)比圖

3.2 邊緣檢測(cè)

經(jīng)過圖像預(yù)處理之后，圖像的輪廓線、邊緣等細(xì)節(jié)都更加清晰，為之后的邊緣檢測(cè)提供了便利。考慮到采集過程中需要考慮噪聲的影響，雖然圖像預(yù)處理中的二次濾波有效地去除了圖像的隨機(jī)黑白噪聲，很大程度上優(yōu)化了圖像中的噪聲，但依然會(huì)殘留些許的噪聲點(diǎn)。因此，需要結(jié)合實(shí)際視覺測(cè)量系統(tǒng)測(cè)量環(huán)境下工業(yè)相機(jī)獲取到的被測(cè)物體的幾何特征圖像，對(duì)多種邊緣檢測(cè)方法進(jìn)行實(shí)驗(yàn)和分析，從而選取合適的邊緣檢測(cè)方法。

常用的邊緣檢測(cè)算子包括Sobel梯度算子、Laplace算子、Canny算子，本文針對(duì)玻璃絲網(wǎng)視覺測(cè)量，用以上3種方法在玻璃絲網(wǎng)檢測(cè)中進(jìn)行了實(shí)踐性實(shí)驗(yàn)，3種方法檢測(cè)后的圖像效果圖如圖5所示。

由圖5可以看出，3種檢測(cè)算子中，Canny算子基本排除了噪聲污染，而另外兩個(gè)算子的邊緣依然會(huì)有比較突兀的凸點(diǎn)；而且從邊緣的平滑角度來看，Canny算子擬合的線段最為平滑，另外兩個(gè)算子擬合出的線段斷點(diǎn)較多。故邊緣檢測(cè)選用Canny算子進(jìn)行邊緣提取。

圖5 常用的邊緣檢測(cè)算子實(shí)驗(yàn)對(duì)比圖

3.3 裝配參數(shù)計(jì)算

經(jīng)過圖像邊緣提取步驟后，獲得清晰的邊緣輪廓圖像，利用這些邊緣信息并結(jié)合圖像處理的一些方法，從而計(jì)算出最后傳輸給裝配系統(tǒng)的裝配參數(shù)。要想最后獲取到坐標(biāo)和角度參數(shù)，需要對(duì)這些邊緣進(jìn)行直線的擬合。常用的幾何擬合方法有Hough變換和最小二乘法這兩種。但由于實(shí)際生產(chǎn)線需要實(shí)現(xiàn)快節(jié)拍，因此對(duì)速率也有較高的要求，而最小二乘法在計(jì)算時(shí)間上相較Hough變換有較大的優(yōu)勢(shì)，故選取最小二乘法來實(shí)現(xiàn)邊線擬合這一過程。

1)聽筒絲網(wǎng)參數(shù)的計(jì)算

得到經(jīng)過邊緣檢測(cè)處理后的圖像后，使用最小二乘法對(duì)聽筒絲網(wǎng)的矩形邊緣進(jìn)行直線擬合。擬合后得到絲網(wǎng)矩形4條邊的直線方程，如圖6(a)中的f1(x)、f2(x)、f3(x)、f4(x),并通過這4條直線，兩兩求取交點(diǎn)，求得4個(gè)矩形頂點(diǎn)坐標(biāo)；并根據(jù)4個(gè)矩形頂點(diǎn)坐標(biāo)求得矩形中心點(diǎn)坐標(biāo)，該坐標(biāo)便是裝配中心坐標(biāo)。

選定一條直線的表達(dá)式方程，如圖6中的f1(x)，計(jì)算出該直線與本圖像水平x軸的角度差。最終的直線擬合和參數(shù)計(jì)算結(jié)果圖如圖7所示。

圖6 絲網(wǎng)裝配參數(shù)計(jì)算示意圖

圖7 絲網(wǎng)裝配參數(shù)計(jì)算結(jié)果圖

2)屏幕玻璃參數(shù)的計(jì)算

圖8 玻璃裝配參數(shù)計(jì)算示意圖

圖9 玻璃裝配參數(shù)計(jì)算結(jié)果圖

4 實(shí)驗(yàn)及分析

4.1 視覺檢測(cè)實(shí)驗(yàn)平臺(tái)

手機(jī)玻璃絲網(wǎng)裝配在線視覺測(cè)量系統(tǒng)的實(shí)驗(yàn)平臺(tái)主要由圖像采集系統(tǒng)和圖像處理系統(tǒng)兩個(gè)部分組成。圖像采集部分主要由工業(yè)相機(jī)和光源組成，上文已經(jīng)詳細(xì)地?cái)⑹隽斯庠吹倪x型以及照明方案。圖像處理系統(tǒng)分為硬件部分和軟件部分，硬件部分是由工控機(jī)組成，軟件部分則是Visual Studio中的MFC結(jié)合Visionpro組成的軟件平臺(tái)。

4.2 實(shí)驗(yàn)結(jié)果及分析

本文通過玻璃絲網(wǎng)在線視覺測(cè)量系統(tǒng)的實(shí)驗(yàn)平臺(tái)，并且結(jié)合上文研究討論得出的視覺檢測(cè)方法流程，對(duì)檢測(cè)效果進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)內(nèi)容為：對(duì)同一場(chǎng)景下的同一塊玻璃和絲網(wǎng)進(jìn)行10次重復(fù)視覺測(cè)量，并記錄每次的測(cè)量數(shù)據(jù)，然后將測(cè)量數(shù)據(jù)進(jìn)行分析，驗(yàn)證測(cè)量精度和測(cè)量速率是否滿足實(shí)際生產(chǎn)要求。

實(shí)驗(yàn)結(jié)果見表1，表中的X1、Y1和θ1表示通過測(cè)量后聽筒絲網(wǎng)的裝配參數(shù)值；X2、Y2和θ2表示通過測(cè)量后屏幕玻璃的裝配參數(shù)值。

表1 屏幕玻璃和聽筒絲網(wǎng)裝配測(cè)量實(shí)驗(yàn)結(jié)果

由表1可以得出，本次實(shí)驗(yàn)的最大標(biāo)準(zhǔn)差為0.016 4 mm，最大極限誤差為0.030 2 mm，平均檢測(cè)速率為314 ms/件，而實(shí)際生產(chǎn)中要求的檢測(cè)精度為0.05 mm，檢測(cè)速率為500 ms/件，故精度和速率符合實(shí)際生產(chǎn)要求。

5 結(jié)語(yǔ)

本文針對(duì)手機(jī)裝配線中屏幕玻璃和聽筒絲網(wǎng)的裝配以及實(shí)現(xiàn)裝配的自動(dòng)化和智能化，提出了手機(jī)玻璃絲網(wǎng)裝配在線視覺檢測(cè)方案。完成了視覺測(cè)量系統(tǒng)的設(shè)備選型以及光源成像方案，并設(shè)計(jì)了手機(jī)玻璃絲網(wǎng)的視覺檢測(cè)流程，研究并討論了圖像預(yù)處理方案、邊緣提取方法以及尺寸測(cè)量的模型與方法，提出了一種應(yīng)用于屏幕玻璃和聽筒絲網(wǎng)裝配的在線測(cè)量方法。最后將該在線視覺檢測(cè)方法應(yīng)用于玻璃絲網(wǎng)在線視覺測(cè)量系統(tǒng)的實(shí)驗(yàn)平臺(tái)，針對(duì)測(cè)量得出的裝配彌補(bǔ)參數(shù)以及測(cè)量速率進(jìn)行了實(shí)驗(yàn)和分析。由實(shí)驗(yàn)結(jié)果可得出，其綜合檢測(cè)誤差和檢測(cè)速率均滿足實(shí)際生產(chǎn)線在線檢測(cè)的精度和實(shí)時(shí)性要求。