吳 凡，曲東升,，馬正華，李長(zhǎng)峰

(1.常州大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 常州 213164；2.常州銘賽機(jī)器人科技股份有限公司，江蘇 常州 213164)

基于融合多傳感器信息的點(diǎn)膠機(jī)定位系統(tǒng)的研究

吳 凡1，曲東升1,2，馬正華1，李長(zhǎng)峰2

(1.常州大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 常州 213164；2.常州銘賽機(jī)器人科技股份有限公司，江蘇 常州 213164)

傳統(tǒng)點(diǎn)膠設(shè)備的點(diǎn)膠軌跡是通過人工示教和陣列輸入的方式生成的，這種方式不僅操作復(fù)雜，且沒有考慮到各工件存在高度差異，導(dǎo)致點(diǎn)膠的精度不高，生產(chǎn)效率和點(diǎn)膠合格率較低;針對(duì)這一問題，提出了一種融合相機(jī)和激光傳感器信息來自動(dòng)定位點(diǎn)膠位置的點(diǎn)膠系統(tǒng);先制定模板圖像和示教點(diǎn)膠軌跡，然后用基于NCC的模板匹配方法得到目標(biāo)工件的位姿，再通過激光傳感器測(cè)得目標(biāo)工件的點(diǎn)膠平面高度值，最后通過坐標(biāo)變換得到點(diǎn)膠軌跡在三軸點(diǎn)膠平臺(tái)坐標(biāo)系下的坐標(biāo);實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)在定位速度和精度上都滿足對(duì)點(diǎn)膠生產(chǎn)的需求，且對(duì)于存在高低差異的工件可以保持一致的點(diǎn)膠效果。

模板匹配；點(diǎn)膠機(jī)系統(tǒng)；系統(tǒng)標(biāo)定；激光測(cè)高

0 引言

點(diǎn)膠工藝應(yīng)用于各個(gè)行業(yè)中，幾乎所有的電子器件在生產(chǎn)加工中都涉及到點(diǎn)膠，例如電子元器件的粘貼，IC的封裝，以及LCD底部填充等[1]。隨著電子元器件的尺寸不斷的減小，高精度，高速度，高一致性和可靠性的點(diǎn)膠技術(shù)是現(xiàn)階段發(fā)展的趨勢(shì)[2]。傳統(tǒng)的點(diǎn)膠方式主要是通過人工示教輸入點(diǎn)膠軌跡來完成點(diǎn)膠過程，它的精度主要依靠點(diǎn)膠平臺(tái)的定位精度，點(diǎn)膠夾具的加工和裝配精度以及工件的工裝板的精度來控制的[3]。這種方式不僅點(diǎn)膠精度低，而且工藝調(diào)試繁瑣，生產(chǎn)效率低下。機(jī)器視覺具有檢測(cè)精度高，識(shí)別速度快，可連續(xù)工作等優(yōu)點(diǎn)，在特定場(chǎng)合下，一定程度上比人眼更具有優(yōu)勢(shì)。將機(jī)器視覺引入到點(diǎn)膠控制行業(yè)，可以提高生產(chǎn)產(chǎn)品的質(zhì)量和生產(chǎn)過程的自動(dòng)化程度。

點(diǎn)膠技術(shù)中引入機(jī)器視覺主要運(yùn)用在：1)在點(diǎn)膠前，對(duì)點(diǎn)膠軌跡的位置的精準(zhǔn)定位。2)在點(diǎn)膠后，對(duì)點(diǎn)膠效果進(jìn)行檢測(cè)和評(píng)價(jià)，判定其效果是否合格[4]。本文針對(duì)點(diǎn)膠軌跡的定位，提出了基于融合多傳感器信息的點(diǎn)膠機(jī)定位系統(tǒng)。利用相機(jī)采集工件圖像，使用模板匹配技術(shù)識(shí)別工件位姿，精確定位點(diǎn)膠軌跡，再利用激光傳感器測(cè)量軌跡高度，繼而補(bǔ)償點(diǎn)膠高度。本系統(tǒng)不僅可以精確定位點(diǎn)膠軌跡，而且對(duì)于有高低差異的工件也可以保持相對(duì)一致的點(diǎn)膠效果。

1 系統(tǒng)的構(gòu)成和工作流程

基于融合多傳感器信息的點(diǎn)膠機(jī)定位系統(tǒng)主要由機(jī)器視覺系統(tǒng)，工控機(jī)，三維平臺(tái)運(yùn)動(dòng)控制系統(tǒng)，點(diǎn)膠模塊控制器和測(cè)高模塊所組成。其中視覺系統(tǒng)包括軟件系統(tǒng)和硬件系統(tǒng)兩個(gè)部分，軟件系統(tǒng)是指圖像的采集和處理，硬件系統(tǒng)包括光源、鏡頭、工業(yè)相機(jī)、圖像采集卡等[5]。

整個(gè)系統(tǒng)的主要流程是：

1)系統(tǒng)標(biāo)定，確定點(diǎn)膠平臺(tái)坐標(biāo)系和圖像坐標(biāo)系之間的映射關(guān)系。

2)對(duì)相機(jī)，激光傳感器，針頭之間的基點(diǎn)校準(zhǔn)，確定三者之間的位置關(guān)系。

3)采集工件圖像做模板，示教點(diǎn)膠軌跡和測(cè)高位置，接著采集待點(diǎn)膠工件的圖像，與模板做匹配，確定點(diǎn)膠軌跡位置和測(cè)高位置，根據(jù)測(cè)高位置求得各工件的點(diǎn)膠高度，移動(dòng)點(diǎn)膠平臺(tái)移動(dòng)到各個(gè)點(diǎn)膠軌跡位置控制點(diǎn)膠控制器精確點(diǎn)膠。圖1是整個(gè)系統(tǒng)的工作流程圖。

圖1 點(diǎn)膠系統(tǒng)工作流程圖

2 點(diǎn)膠軌跡定位過程

2.1 系統(tǒng)標(biāo)定

標(biāo)定是指點(diǎn)膠機(jī)三軸平臺(tái)三維坐標(biāo)系和相機(jī)二維坐標(biāo)系之間的映射關(guān)系，相機(jī)標(biāo)定的結(jié)果直接影響到視覺定位系統(tǒng)的準(zhǔn)確性。本文采用基于主動(dòng)視覺的標(biāo)定方法，利用點(diǎn)膠機(jī)三軸平臺(tái)的運(yùn)動(dòng)信息，確定點(diǎn)膠機(jī)平臺(tái)坐標(biāo)和圖像坐標(biāo)系的映射關(guān)系[6-7]。

通過分析，點(diǎn)膠機(jī)平臺(tái)坐標(biāo)(xp,yp,zp)轉(zhuǎn)為圖像坐標(biāo)(u,v)的具體轉(zhuǎn)化過程為：

可以，只需6組不重合的映射點(diǎn)即可求出轉(zhuǎn)換矩陣M。具體做法是，先選取特征區(qū)域，如十字架圖案。然后移動(dòng)平臺(tái)，使得該區(qū)域分別出現(xiàn)在圖2中這九個(gè)位置，記錄(ui,vi)和(xpi,ypi,zpi)，i=1,2,3…9,然后提取(第一行和第二行，第一行和第三行，第二行和第三行)映射點(diǎn)集，計(jì)算出矩陣M1,M2,M3,求平均值，減小誤差。

圖2 標(biāo)定位置示意圖

2.2 激光傳感器-相機(jī)-針頭校準(zhǔn)

通過視覺識(shí)別出的點(diǎn)膠軌跡和測(cè)高點(diǎn)的坐標(biāo)是以相機(jī)為中心的坐標(biāo)，不能直接使用該坐標(biāo)去驅(qū)動(dòng)針頭點(diǎn)膠和激光傳感器測(cè)高，所以需要將坐標(biāo)分別轉(zhuǎn)換為以針頭為中心和以激光傳感器光束為中心的坐標(biāo)。

為了校準(zhǔn)這三者之間的轉(zhuǎn)換關(guān)系，制作如下校準(zhǔn)模塊。

圖3 校準(zhǔn)模塊圖

2.2.1 激光傳感器-相機(jī)校準(zhǔn)

將相機(jī)示教到十字中心，使得圖像中心和十字中心重合，記錄三軸平臺(tái)位置pc=(xc,yc,zc)，然后將激光中心示教到十字中心，并調(diào)節(jié)Z軸高度，使得激光傳感器讀值為0，記錄三軸平臺(tái)位置pl=(xl,yl,zl)，則激光傳感器和相機(jī)之間的平臺(tái)位置差為Δlc=pl-pc=(xlc,ylc,zlc)。

2.2.2 針頭-相機(jī)校準(zhǔn)

2.2.3 激光傳感器-針頭校準(zhǔn)

由于激光傳感器基點(diǎn)和針頭基點(diǎn)所在的平面有高度差，為了消除該差異對(duì)點(diǎn)膠效果的影響，可以在設(shè)定激光基點(diǎn)pl后平移平臺(tái)，將激光傳感器光束對(duì)準(zhǔn)點(diǎn)膠區(qū)域的膠點(diǎn)附近，記錄激光傳感器讀值為hln。

2.3 基于模板匹配的點(diǎn)膠軌跡識(shí)別和定位

本文采用基于halcon模板匹配的方法實(shí)現(xiàn)對(duì)工件位姿的分析和點(diǎn)膠軌跡的識(shí)別定位。所謂模板匹配，就是把不同傳感器或同一傳感器在不同時(shí)間、不同成像條件下對(duì)同一景物獲取的兩幅或多幅圖像在空間上對(duì)準(zhǔn),或根據(jù)已知模式到另一幅圖中尋找相應(yīng)模式的處理方法[8]。

考慮到點(diǎn)膠工件紋理的復(fù)雜性，所以采用halcon中的create_ncc_model函數(shù)創(chuàng)建模板和find_ncc_model函數(shù)做模板匹配，這兩個(gè)函數(shù)都是以NCC(歸一化互相關(guān)系數(shù))作為相似度量。

采用NCC作為相似度量可以避免圖片光照線性變換帶來的影響[9]，同時(shí)，對(duì)于紋理復(fù)雜，邊緣模糊和輕微變形的工件圖片也可以很好的匹配，算法有較好的魯棒性。

(1)

由于在整個(gè)圖像中計(jì)算相似度量是一個(gè)非常耗時(shí)的工作，其時(shí)間復(fù)雜度為o(whn)，為了提高搜索速度，可以使用金字塔分層的搜索策略，同時(shí)減小搜索圖像的大小和模板的數(shù)量[10]。

具體的點(diǎn)膠軌跡識(shí)別過程如下：

1)選取工裝板上任意一個(gè)工件(通常選取第一個(gè))，采集一張圖片，如圖4所示。

2)在該工件圖片上選取ROI(regionofinterest)，制作模板圖像。如圖5，實(shí)線線段內(nèi)的區(qū)域?yàn)镽OI區(qū)域，虛線為摳除ROI區(qū)域內(nèi)不穩(wěn)定的部分。

圖4 模板圖片 圖5 選取ROI區(qū)域

3)在ROI區(qū)域內(nèi)編輯點(diǎn)膠軌跡，可編輯獨(dú)立點(diǎn)，圓弧，直線段等軌跡，記圖像坐標(biāo)為p(u,v)。如圖6，示教了4個(gè)獨(dú)立點(diǎn)。

4)在ROI區(qū)域內(nèi)編輯測(cè)高點(diǎn)(不共線的3個(gè)點(diǎn))，記其坐標(biāo)為pi(ui,vi),i=1,2,3。

圖6 點(diǎn)膠軌跡示教圖 圖7 測(cè)高點(diǎn)示教圖

5)采集其他工件圖片，與模板圖片做匹配，得到位姿信息(θ,Δu,Δv)，其中θ是旋轉(zhuǎn)量，Δu,Δv是平移量。

6)利用位姿信息，就可以把模板中的點(diǎn)膠軌跡點(diǎn)p(u,v)利用公式(2)轉(zhuǎn)換到待匹配得工件圖片上p′(u′,v′)，而p′(u′,v′)就是我們需要定位的點(diǎn)膠軌跡。

圖8 匹配得到的點(diǎn)膠軌跡圖

7)利用標(biāo)定信息，可以將圖像坐標(biāo)p′(u′,v′)轉(zhuǎn)為以相機(jī)為中心的三軸平臺(tái)坐標(biāo)pspc(x,y),同理，可以得到測(cè)高點(diǎn)的坐標(biāo)為ppl(x,y)。

3 融合高度信息，確定點(diǎn)膠軌跡的三維坐標(biāo)

通過模板匹配和標(biāo)定結(jié)果，可以得到點(diǎn)膠軌跡以相機(jī)為中心的平臺(tái)坐標(biāo)。但由于工件的高度存有差異，使用同一點(diǎn)膠高度可能會(huì)造成軌跡膠量不一致，更有可能損壞工件和針頭，所以需要融合高度信息，確定每個(gè)點(diǎn)膠軌跡的三維信息。具體步驟如下。

步驟1：確定以相機(jī)為中心，高度原點(diǎn)為激光傳感器原點(diǎn)的位置信息。

由上面章節(jié)，我們可以得到圖像中的測(cè)高點(diǎn)的X，Y坐標(biāo)，設(shè)定測(cè)高高度hl，那么可以測(cè)得3個(gè)測(cè)高點(diǎn)位置的激光傳感器的讀值為hi(i=1,2,3),記測(cè)高點(diǎn)坐標(biāo)為ppl(x,y,h)，其中,(x,y)是以相機(jī)為中心的平臺(tái)X,Y軸坐標(biāo)，h是激光傳感器的讀值。利用3個(gè)測(cè)高點(diǎn)的坐標(biāo)可以求解如下平面方程，A(x-x0)+B(y-y0)+C(z-z0)=0， 將點(diǎn)膠軌跡點(diǎn)pspc(x,y)帶入該平面公式，可以得到點(diǎn)膠軌跡的坐標(biāo)為pspcl(x,y,z)。

步驟2：確定激光傳感器測(cè)高數(shù)值和針頭點(diǎn)膠高度之間的位置關(guān)系。

由校準(zhǔn)已知，當(dāng)pl(xl,yl,zl)時(shí)，測(cè)高傳感器的讀值為0，且pn=(xn,yn,zn)時(shí)，激光傳感器和針頭的校準(zhǔn)平面的高度差為hln。由此可以知道，針對(duì)同一作業(yè)平面，當(dāng)測(cè)高傳感器讀值為0時(shí)，測(cè)高傳感器的平臺(tái)Z軸高度和針頭的平臺(tái)Z軸高度之間的差值為Δhln=zn+hln-zl。即當(dāng)測(cè)高高度為hl，激光讀值為z時(shí)，針頭的點(diǎn)膠高度為z+hl+Δhln。

步驟3：計(jì)算以針頭為中心的點(diǎn)膠軌跡三維平臺(tái)坐標(biāo)。

4 實(shí)驗(yàn)與分析

采用常州銘賽機(jī)器人三軸點(diǎn)膠機(jī)器人，該平臺(tái)重復(fù)定位精度為±0.01mm，相機(jī)選擇德國(guó)Balser公司acA1300-30gm工業(yè)相機(jī)，分辨率為1 280×960，與之對(duì)應(yīng)的鏡頭采用日本Computar公司的35mm工業(yè)鏡頭，激光傳感器采用松下公司的HL-G103-S-J測(cè)距傳感器，該傳感器的分辨率為0.5μm。實(shí)驗(yàn)系統(tǒng)如圖9所示。

圖9 實(shí)驗(yàn)系統(tǒng)構(gòu)成圖

實(shí)驗(yàn)一：通過人工示教的方式輸入點(diǎn)膠軌跡，示教點(diǎn)膠高度為61.382mm，點(diǎn)膠軌跡坐標(biāo)如表1所示,點(diǎn)膠效果如圖10所示。

其中圖(a)是點(diǎn)膠高度示教工件，(b)(c)使用該高度點(diǎn)膠工件。實(shí)驗(yàn)二：采用本文方法，利用模板匹配技術(shù)定位點(diǎn)膠軌跡，然后利用激光傳感器補(bǔ)償點(diǎn)膠高度做點(diǎn)膠實(shí)驗(yàn)，補(bǔ)償數(shù)據(jù)如表2所示，點(diǎn)膠效果如圖11所示。

表1 人工示教點(diǎn)膠軌跡的平臺(tái)坐標(biāo) (mm)

圖10 人工示教工件點(diǎn)膠效果圖

(mm)

圖11 本文方法得到的點(diǎn)膠效果圖

通過兩組實(shí)驗(yàn)可以看出，在工件存有高度差的情況下，實(shí)

驗(yàn)一僅能在示教點(diǎn)膠高度的工件上有較好的點(diǎn)膠效果，而其他工件上存有少膠以及膠點(diǎn)大小不一致等情況，無法保證點(diǎn)膠效果的一致性。由實(shí)驗(yàn)二的點(diǎn)膠效果可以看出，本文方法不僅可以精確定位點(diǎn)膠軌跡，而且對(duì)點(diǎn)膠高度進(jìn)行了補(bǔ)償，點(diǎn)膠效果具有一致性。

5 結(jié)論

本文研究了融合多傳感器信息的點(diǎn)膠軌跡定位系統(tǒng)，利用CCD相機(jī)采集圖像，然后使用模板匹配圖像處理技術(shù)確定點(diǎn)膠軌跡X,Y軸的位姿，再利用激光傳感器測(cè)得點(diǎn)膠面的高度信息，通過信息融合和坐標(biāo)轉(zhuǎn)換，從而確定了每個(gè)點(diǎn)膠軌跡的平臺(tái)三維坐標(biāo)。本文方法不僅實(shí)現(xiàn)了對(duì)點(diǎn)膠軌跡的X，Y面的精確定位，同時(shí)也確認(rèn)了Z軸上的位置，從而提供了一種針對(duì)工件高低不平的情況點(diǎn)膠解決方案。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)在定位速度和精度上都滿足對(duì)點(diǎn)膠生產(chǎn)的需求，且針對(duì)不一致的點(diǎn)膠面具有一致的點(diǎn)膠效果。

[1] 張勝奎.智能點(diǎn)膠機(jī)關(guān)鍵技術(shù)研究[D]. 焦作：河南理工大學(xué),2011.

[2] Dan Ashley.點(diǎn)膠工藝的新進(jìn)展[J]. 電子工業(yè)專用設(shè)備,2013,42(2):72-74.

[3] Norfis M.Dispensing technolngy[J].Surface Moum Technology，1996(10):56-58

[4] 程 方,張 曦,張金松.基于機(jī)器視覺的點(diǎn)膠機(jī)定位系統(tǒng)[J]. 機(jī)械設(shè)計(jì)與制造,2013(03):101-104.

[5] 袁 斌,陳樹越.基于機(jī)器視覺的微點(diǎn)焊系統(tǒng)研究與設(shè)計(jì)[J]. 組合機(jī)床與自動(dòng)化加工技術(shù),2015(11):52-54.

[6] 吉 峰, 郭新年, 曹沁婕,等. 基于主動(dòng)視覺的結(jié)構(gòu)光手眼系統(tǒng)自標(biāo)定方法[J]. 自動(dòng)化儀表, 2015, 36(02):8-11.

[7] 郭新年,白瑞林,王秀平.基于主動(dòng)視覺的手眼矩陣和光平面標(biāo)定方法[J]. 計(jì)算機(jī)工程與應(yīng)用,2015,51(19):56-60.

[8] 李 超,于 飛,康曉軍.一種模板匹配的快速實(shí)現(xiàn)方法[J]. 航天返回與遙感,2016,37(1):63-70.

[9] 楊通鈺,彭國(guó)華.基于NCC的圖像匹配快速算法[J]. 現(xiàn)代電子技術(shù),2010,33(22):107-109.

[10] 王 斌, 何中市, 伍 星,等. 基于高斯金字塔的圖像運(yùn)動(dòng)估計(jì)算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(7):174-178.

Study on Glue Dispenser Positioning System Based on Multi-sensor Information Fusion

Wu Fan1，Qu Dongsheng1,2，Ma Zhenghua1，Li Changfeng2

(1.College of Information Science and Engineering,Changzhou University,Changzhou 213164, China; 2.Changzhou Mingseal Robot Technology Co., Ltd., Changzhou 213164, China)

The dispensing path of conventional dispensing devices is generated by manually teaching and array inputs. However, that approach has complex operation and does not account for the height difference of each workpiece, which lead to the result that the dispensing accuracy, production efficiency and dispensing qualify can not reach the desired level. In order to compensate for the defects, proposes an automated dispensing system that fusing cameras and laser sensors information to locate the position of dispensing. Firstly, make image template and teach dispensing path, and calculate the pose of target workpiece by template matching based on NCC. Then use laser sensor to measure the dispensing plane height of target workpiece. Finally, dispensing path is obtained by coordinate transformation in the three-axis dispensing platform. Experimental results show that both speed and accuracy of the system are good enough to meet the practical application requirement. In addition, the proposed method can also be applied to the workpiece of different height with the consistent dispensing effect.

template matching; dispensing system; system calibration; laser measurement

2016-08-03；

2016-09-13。

吳 凡(1991-)，男，江蘇南京人，碩士研究生，主要從事機(jī)器視覺方向的研究。

曲東升(1973-)，男，遼寧遼陽人，副研究員，主要從事工業(yè)測(cè)量及過程控制技術(shù)方向的研究。

1671-4598(2017)01-0177-04DOI：10.16526/j.cnki.11-4762/tp

TP

A

馬正華(1962-)，男，江蘇蘇州人，教授，主要從事嵌入式系統(tǒng)應(yīng)用、計(jì)算機(jī)控制技術(shù)、電力電子技術(shù)方向的研究。