曹 蘭

基于線激光掃描的鞋底點(diǎn)膠路徑規(guī)劃方法

曹 蘭

（漳州職業(yè)技術(shù)學(xué)院電子信息學(xué)院，福建，漳州 363000）

以三維視覺(jué)檢測(cè)速度快、機(jī)器人噴膠效率高和通用性強(qiáng)等特點(diǎn)，提出了一種基于線激光掃描的鞋底點(diǎn)膠路徑規(guī)劃方法。首先，利用線激光掃描鞋底工件，通過(guò)全局高度閥值來(lái)分離出鞋底信息。其次，采用法向量的偏置算法提取鞋底的邊緣輪廓，且對(duì)輪廓曲線進(jìn)行最小二乘法多項(xiàng)式的平滑處理。最后，運(yùn)用手眼標(biāo)定變換矩陣將獲取的軌跡坐標(biāo)轉(zhuǎn)換為點(diǎn)膠機(jī)器人的運(yùn)動(dòng)坐標(biāo)，以自動(dòng)生成點(diǎn)膠機(jī)器人運(yùn)動(dòng)軌跡線。實(shí)驗(yàn)表明，采用的點(diǎn)膠機(jī)器人運(yùn)動(dòng)軌跡規(guī)劃方法實(shí)現(xiàn)了鞋底點(diǎn)膠自動(dòng)化，具有一定的工業(yè)應(yīng)用價(jià)值。

4點(diǎn)標(biāo)定；線激光；偏置算法；平滑處理

0 引言

鞋底涂膠是所有制鞋不可或缺的工序，涂膠質(zhì)量好壞事關(guān)成品鞋質(zhì)量。由于人工噴涂方式不一，傳統(tǒng)手工涂膠很難保證涂膠量的均勻程度和穩(wěn)定的質(zhì)量，而且近距離觸碰膠水嚴(yán)重影響了操作人員的健康，并對(duì)環(huán)境造成污染。因此，自動(dòng)化鞋底涂膠工藝具有重大意義。本研究針對(duì)鞋底智能點(diǎn)膠系統(tǒng)開發(fā)的關(guān)鍵技術(shù)[1]，利用線激光輪廓傳感器和四軸機(jī)器人實(shí)現(xiàn)了鞋底自動(dòng)噴膠平臺(tái)，重點(diǎn)研究了智能點(diǎn)膠機(jī)器人運(yùn)動(dòng)軌跡的規(guī)劃。

在本道制鞋工序中，點(diǎn)膠機(jī)器人的作業(yè)對(duì)象是各種不同類型的鞋底，意味著有各種不規(guī)則的曲面，機(jī)器人點(diǎn)膠運(yùn)動(dòng)軌跡需按需調(diào)整。因此，點(diǎn)膠機(jī)器人運(yùn)動(dòng)軌跡的規(guī)劃是本道工序的重點(diǎn)。

賈明峰等采用算法分割圖像，算子提取鞋底邊緣三維輪廓曲線，用插值平滑處理所得曲線[2]；趙云創(chuàng)新研究了有最小厚度約束的點(diǎn)膠機(jī)器人運(yùn)動(dòng)軌跡[3]；丁度坤等研究了基于遺傳算法的圖像閾值分割方法，并用數(shù)學(xué)形態(tài)學(xué)處理圖像[4]；江婧等使用算法以及連接策略生成鞋底噴膠路徑[5]；晉文科等提出基于算法的七關(guān)節(jié)冗余來(lái)生成點(diǎn)膠機(jī)器人運(yùn)動(dòng)軌跡[6]；馬利等提出模糊信息（邊緣輪廓銳度信息）特征估計(jì),實(shí)現(xiàn)圖像的邊緣提取[7]；孫美衛(wèi)等分析鞋底數(shù)據(jù)信息特征，創(chuàng)新研究出了雙邊極大值約束控制的算法[8]。

國(guó)際上等人針對(duì)鞋類行業(yè)的柔性膠合工藝,設(shè)計(jì)了一種視覺(jué)引導(dǎo)的機(jī)器人系統(tǒng)，提出了一種能夠在機(jī)器人框架和視覺(jué)系統(tǒng)框架之間轉(zhuǎn)換坐標(biāo)的校準(zhǔn)程序，提出基于平面二維物體和三維物體兩種點(diǎn)膠路徑規(guī)劃技術(shù)[9]。等人在機(jī)器人機(jī)械臂跟蹤三維曲線輪廓的任務(wù)空間軌跡規(guī)劃中，為了使機(jī)器人適應(yīng)更復(fù)雜的任務(wù)，改進(jìn)了點(diǎn)對(duì)點(diǎn)路徑規(guī)劃方法，研究多個(gè)節(jié)點(diǎn)的路徑規(guī)劃，提出了一種基于路徑規(guī)劃方法。這種路徑規(guī)劃方法通過(guò)確定中速和時(shí)間，允許機(jī)器人通過(guò)任務(wù)空間中的多個(gè)點(diǎn)移動(dòng)，以滿足初、末節(jié)的速度條件。為了優(yōu)化機(jī)器人的運(yùn)動(dòng)，提出了一種時(shí)間尺度法，分別使實(shí)際機(jī)器人的速度和加速度的物理最大值與規(guī)劃軌跡的差值最小[10]。

1 鞋機(jī)運(yùn)動(dòng)系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

圖1為鞋機(jī)運(yùn)動(dòng)系統(tǒng)設(shè)計(jì)圖。本系統(tǒng)由流水線平臺(tái)、線激光輪廓傳感器、點(diǎn)膠機(jī)器人及工控機(jī)等組成，能自動(dòng)規(guī)劃鞋底邊緣曲線，生成點(diǎn)膠路徑，實(shí)現(xiàn)點(diǎn)膠機(jī)器人自動(dòng)點(diǎn)膠。適用于不同鞋型自動(dòng)點(diǎn)膠的要求[11-12]。圖2為系統(tǒng)實(shí)物圖。

圖1 鞋底點(diǎn)膠設(shè)計(jì)圖

基于線性激光輪廓傳感器的鞋機(jī)運(yùn)動(dòng)系統(tǒng)是一條閉合的橢圓形自動(dòng)流水平臺(tái)，線性激光輪廓傳感器和視覺(jué)機(jī)器人緊靠傳送帶。首先用4點(diǎn)標(biāo)定法進(jìn)行系統(tǒng)的手眼標(biāo)定，確定機(jī)器人與相機(jī)的轉(zhuǎn)換矩陣。系統(tǒng)運(yùn)行時(shí)，用線性激光掃描鞋底的表面，經(jīng)計(jì)算機(jī)選擇合適的算法擬合鞋底的輪廓，通過(guò)轉(zhuǎn)換矩陣轉(zhuǎn)換為點(diǎn)膠機(jī)器人的運(yùn)動(dòng)坐標(biāo)，通過(guò)千兆網(wǎng)連接工控機(jī)，導(dǎo)入運(yùn)動(dòng)坐標(biāo)，控制機(jī)器人完成噴膠任務(wù)。

圖2 系統(tǒng)實(shí)物圖

線性激光輪廓傳感器選用公司的，其激光線輪廓點(diǎn)數(shù)為640，測(cè)量范圍為400mm,支持最新的版固件測(cè)量工具，方便采集3D數(shù)據(jù)。本系統(tǒng)滿足線性激光輪廓傳感器的應(yīng)用條件而實(shí)現(xiàn)激光線掃鞋底，實(shí)時(shí)采集掃描圖片，采用適當(dāng)算法規(guī)劃鞋底輪廓路徑，并控制的4軸機(jī)器人實(shí)現(xiàn)點(diǎn)膠動(dòng)作。

1.2 工作流程

如圖3所示，本系統(tǒng)在第一次運(yùn)行時(shí)，操作者需將標(biāo)定版置于線激光傳感器下面的平臺(tái)上，標(biāo)定系統(tǒng)。之后再運(yùn)行時(shí)，圖2中所示的定位裝置循環(huán)觸發(fā)線激光傳感器進(jìn)行激光線掃描鞋底工件，采集鞋底圖像至電腦終端。計(jì)算機(jī)通過(guò)適當(dāng)算法處理所得圖像提取鞋底輪廓并進(jìn)行平滑優(yōu)化處理，得到鞋底邊緣輪廓坐標(biāo)，并轉(zhuǎn)換為機(jī)器人的點(diǎn)膠運(yùn)動(dòng)坐標(biāo)。控制機(jī)器人執(zhí)行運(yùn)動(dòng)坐標(biāo)實(shí)現(xiàn)點(diǎn)膠工作。

圖3 系統(tǒng)工作流程圖

1.3 系統(tǒng)的手眼標(biāo)定

線激光傳感器在相機(jī)坐標(biāo)系下掃描鞋底采集圖像，控制機(jī)器人運(yùn)動(dòng)的坐標(biāo)點(diǎn)都是基于機(jī)器人坐標(biāo)系的。系統(tǒng)的手眼標(biāo)定可以確定兩個(gè)坐標(biāo)系的轉(zhuǎn)換矩陣。本系統(tǒng)采用4點(diǎn)標(biāo)定，

令機(jī)器人的基坐標(biāo)系為，相機(jī)坐標(biāo)系為，機(jī)器人執(zhí)行器端坐標(biāo)為，根據(jù)位姿變換關(guān)系，有：

(1)式展開，得：

(2)式中左右最后一列可得等式：

圖4 4點(diǎn)標(biāo)定版

實(shí)驗(yàn)時(shí)，相機(jī)坐標(biāo)系下標(biāo)定板上的標(biāo)定點(diǎn)可以通過(guò)圖像處理進(jìn)行定位（表1）。采用示教法可以定位機(jī)器人執(zhí)行器末端四個(gè)標(biāo)定點(diǎn)的坐標(biāo)如圖4所示。調(diào)用算子即可獲得其轉(zhuǎn)換矩陣。

表1 機(jī)器人坐標(biāo)系下標(biāo)定板坐標(biāo)

Table 1 Calibration board coordinates under the robot coordinate system

ABCD X -143.210155.750153.564 -145.310 Y352.991347.878238.373243.420 Z-120.392-119.324-120.176-120.786

2 鞋底點(diǎn)膠路徑規(guī)劃方法

2.1 閥值分割

在實(shí)際應(yīng)用中，工件通常有如圖5所示的兩種邊緣輪廓。單邊緣是指內(nèi)部沒(méi)有其他子邊緣，如圖5()所示；反之就是嵌套邊緣，如圖5()所示。若是嵌套邊緣，還可繼續(xù)劃分為外邊緣和內(nèi)邊緣[14]。根據(jù)鞋底點(diǎn)膠實(shí)際情況，鞋底點(diǎn)云數(shù)據(jù)擬合針對(duì)的便是嵌套邊緣。

圖5 邊緣類型

本系統(tǒng)使用的軟件是Halcon17，它提供了極為豐富的算子，方便實(shí)現(xiàn)各類算法。鞋底邊緣提取，采用全局閥值圖像分割算法，實(shí)現(xiàn)步驟：

1）讀取鞋模原圖圖6()得灰度圖6()。

2）利用( )算子對(duì)高度進(jìn)行全局閥值分割，最小灰度值為17.507，最大灰度值為100，處理后的圖像如圖6()所示。

3）利用( )算子填充區(qū)域中的孔洞部分，得到圖像6()。

4）利用( )算子平滑處理圖6()圖腳跟右邊邊緣肉眼可見的區(qū)域干擾信號(hào)。取值為3.5，平滑后的圖像如圖6()。

(a)鞋模原圖；(b)二值化處理后的灰度圖；(c)高度閥值處理后的鞋模圖；(d) 對(duì)(c)填充處理；(e)對(duì)(d)圖下半部分平滑毛刺處理

2.2 二值形態(tài)學(xué)處理

圖像的二值形態(tài)學(xué)處理，是基于數(shù)據(jù)集合的概念，能將圖像信息進(jìn)行簡(jiǎn)單分類，去除不太相關(guān)的數(shù)據(jù)信息，保持圖像信息的基本輪廓特征，并能實(shí)現(xiàn)數(shù)據(jù)并行處理?；镜亩敌螒B(tài)學(xué)運(yùn)算有腐蝕、膨脹、開運(yùn)算和閉運(yùn)算。本系統(tǒng)中采用先膨脹后腐蝕即閉運(yùn)算處理圖6()中鞋底外的殘留干擾信號(hào)。

(a)開運(yùn)算處理；(b)腐蝕處理；(c)圖7(a)和圖7(b)點(diǎn)云數(shù)據(jù)差

本系統(tǒng)采用二值形態(tài)學(xué)處理的實(shí)現(xiàn)步驟是：

1）利用( )算子剔除圖6()輪廓外毛刺，參數(shù)取值為78，平滑后的圖像如7()。

2）利用( )算子進(jìn)一步對(duì)圖7()進(jìn)行腐蝕操作，參數(shù)取值為15，處理后的圖像為圖7()。

3）利用( ) 算子取圖7()和圖7()數(shù)據(jù)集的差值，得到鞋底的輪廓框架圖7()。

2.3 鞋底邊緣輪廓提取

在鞋底邊緣曲線提取過(guò)程中，采用基于法向量的偏置算法處理鞋底的數(shù)據(jù)信息，提取鞋底的邊緣輪廓，生成機(jī)器人運(yùn)動(dòng)軌跡曲線。鞋底輪廓曲線為[15]：

偏置處理后曲線為：

設(shè)置偏置的距離，對(duì)輪廓曲線上的每個(gè)數(shù)據(jù)點(diǎn)及兩個(gè)相鄰點(diǎn)進(jìn)行分段處理，可近似求得曲線上每個(gè)點(diǎn)對(duì)應(yīng)的法線。由(7)和 (8) 式可得鞋底輪廓。

(a) 法向量偏置算法提取的鞋底邊緣輪廓；(b) 取點(diǎn)最小二乘法多項(xiàng)式擬合； (c) 平滑處理后的鞋底邊緣輪廓

圖8 鞋底邊緣輪廓提取

Fig.8 Edge contour extraction of shoe sole

上述偏置算法提取到的鞋底邊緣輪廓線還有細(xì)微的波動(dòng)，如圖8()，設(shè)置特定長(zhǎng)度，選取鞋底邊緣輪廓線上的個(gè)行列坐標(biāo)交叉點(diǎn)，采用最小二乘法多項(xiàng)式對(duì)波動(dòng)曲線進(jìn)行擬合8()[16-18]，平滑處理后的鞋底邊緣輪廓如圖8()。

2.4 點(diǎn)膠機(jī)器人運(yùn)動(dòng)坐標(biāo)

通過(guò)分解圖像，得到鞋底邊緣輪廓的三維圖如圖9所示。將輪廓線上的三維坐標(biāo)通過(guò)手眼標(biāo)定轉(zhuǎn)換矩陣轉(zhuǎn)換成點(diǎn)膠機(jī)器人的運(yùn)動(dòng)坐標(biāo)，如圖10，即完成點(diǎn)膠機(jī)器人的路徑規(guī)劃。圖10擬合的機(jī)器人運(yùn)動(dòng)坐標(biāo)曲線見圖11。

圖9 邊緣提取后的鞋底三維圖

圖10 機(jī)器人部分運(yùn)動(dòng)坐標(biāo)

圖11 機(jī)器人運(yùn)動(dòng)坐標(biāo)擬合的曲線

3 機(jī)器人點(diǎn)膠實(shí)驗(yàn)

在進(jìn)行點(diǎn)膠實(shí)驗(yàn)時(shí)，設(shè)置線激光傳感器機(jī)械手IP地址，使相機(jī)連接機(jī)械手，讀取手眼標(biāo)定矩陣。線激光傳感器掃描鞋底，采集圖像，獲取鞋模輪廓參數(shù)，提取輪廓點(diǎn)坐標(biāo)，并轉(zhuǎn)換為機(jī)器人運(yùn)動(dòng)坐標(biāo)，發(fā)送給機(jī)器人進(jìn)行點(diǎn)膠。由于線激光傳感器與機(jī)器人之間有一定的距離差，線激光傳感器掃描之后，要延時(shí)5.6 s機(jī)器人再開始運(yùn)行。在進(jìn)行點(diǎn)膠實(shí)驗(yàn)時(shí)，調(diào)整鞋模在實(shí)驗(yàn)平臺(tái)的前后左右位置，進(jìn)行20次點(diǎn)膠實(shí)驗(yàn)。旋轉(zhuǎn)鞋模180度，對(duì)調(diào)鞋跟和鞋尖位置，再次調(diào)整鞋模在實(shí)驗(yàn)平臺(tái)的前后左右位置，進(jìn)行20次點(diǎn)膠實(shí)驗(yàn)。通過(guò)實(shí)驗(yàn)可以看到，機(jī)器人每次在不到4s時(shí)間就可以準(zhǔn)確完成鞋底點(diǎn)膠工作，完成率為100%。

圖12 機(jī)器人點(diǎn)膠實(shí)驗(yàn)

4 結(jié)論

搭建基于線激光輪廓傳感器的鞋底自動(dòng)點(diǎn)膠平臺(tái)，機(jī)器人末端為模擬點(diǎn)膠裝置，圖2所示的定位裝置可以暫停和啟動(dòng)控制流水平臺(tái)，可用于實(shí)現(xiàn)靜態(tài)下鞋模點(diǎn)膠操作。同時(shí)，當(dāng)前方鞋模正在點(diǎn)膠時(shí)，相機(jī)下方的鞋模靜止于等待狀態(tài)。實(shí)際測(cè)試結(jié)果顯示，本法采用的點(diǎn)膠機(jī)器人運(yùn)動(dòng)軌跡規(guī)劃方法實(shí)現(xiàn)了鞋底點(diǎn)膠自動(dòng)化，具有一定的工業(yè)應(yīng)用價(jià)值。為了進(jìn)一步改善系統(tǒng)性能，將繼續(xù)研究新的運(yùn)算量小、更準(zhǔn)確獲得邊緣信息的算法，達(dá)到更優(yōu)的控制效果。

[1] 沈飛.制鞋涂膠設(shè)備設(shè)計(jì)及關(guān)鍵工位研究[D].杭州:浙江工業(yè)大學(xué),2016.

[2] 賈明峰,胡國(guó)清,呂成志.基于圖像處理的自動(dòng)噴膠系統(tǒng)的研究[J].制造業(yè)自動(dòng)化,2017,39(6):116-119.

[3] 趙云.基于自由曲面的工業(yè)機(jī)器人噴涂軌跡規(guī)劃及仿真技術(shù)研究[D].武漢:武漢工程大學(xué),2017.

[4] 丁度坤,舒雨峰,謝存禧,等.機(jī)器視覺(jué)在鞋機(jī)運(yùn)動(dòng)軌跡識(shí)別中的應(yīng)用研究[J].機(jī)械設(shè)計(jì)與制造,2018(2): 257-262.

[5] 江婧,劉利剛.鞋膠噴涂的路徑生成與優(yōu)化[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2020,32(5) :830-836.

[6] 晉文科,張華,劉滿祿.基于NURBS算法的冗余機(jī)械臂軌跡規(guī)劃[J].科學(xué)技術(shù)與工程,2014,14(28):226-230.

[7] 馬利,李晶皎,馬技,等.一種應(yīng)用輪廓銳度的單視點(diǎn)圖像深度信息提取算法[J].小型微型計(jì)算機(jī)系統(tǒng),2016,37(2):316-320.

[8] 孫美衛(wèi).基于K最近鄰的3D鞋底噴膠路徑規(guī)劃方法[J].齊齊哈爾大學(xué)學(xué)報(bào):自然科學(xué)版,2020,36(5):21-25.

[9] Kim J, Jin M L, Sang H,et al Y.Task space trajectory planning for robot manipulators to follow 3-D curved contours[J].Electronics,2020,9(9):1424.

[10] Pagano S, Russo R, Savino S. A vision guided robotic system for flexible gluing process in thefootwear industry[J].Robotics and omputer-Integrated ufacturing, 2020,C(65):101965-101965.

[11] 孟飛武.面向制鞋涂膠的SCARA機(jī)器人結(jié)構(gòu)設(shè)計(jì)與研究[D].淮南:安徽理工大學(xué),2015.

[12] 郭震冬,黃亮,顧正東,等.三維激光掃描技術(shù)在古建筑測(cè)量中的應(yīng)用[J].智能城市,2019(18):1-2.

[13] 翟敬梅,黃錦洲,劉坤.雙目視覺(jué)下基于邊緣特征的機(jī)器人作業(yè)環(huán)境檢測(cè)方法[J].華南理工大學(xué)學(xué)報(bào):自然科學(xué)版,2018,46(3):1-7.

[14] 黃登紅,周忠發(fā),吳躍,等.基于無(wú)人機(jī)可見光影像的高原丘陵盆地區(qū)山藥植株識(shí)別[J].熱帶地理,2019,39(4):571-582.

[15] 吳拱星.智能噴膠機(jī)器人的姿態(tài)控制與軌跡規(guī)劃[J].中原工學(xué)院學(xué)報(bào),2019,30(4):45-48,54.

[16] 張帆.圖像處理中曲線曲面擬合問(wèn)題研究[D].濟(jì)南:山東大學(xué),2015.

[17] 劉俊.移動(dòng)最小二乘散點(diǎn)曲線曲面擬合與插值的研究[D]. 杭州:浙江大學(xué),2011.

[18] 王紅平,史明.基于改進(jìn)移動(dòng)最小二乘法的數(shù)據(jù)擬合[J].組合機(jī)床與自動(dòng)化加工技術(shù),2021(3):9-13.

PATH PLANNING MESHOD FOR SHOE SOLE DISPENSING BASED ON LINE LASER SCANNING

CAO Lan

（Electronic Information Department, Zhangzhou Institute of Technologe, Zhangzhou, Fujian 363000, China）

Based on faster speed of 3D visual measurement and high efficiency of robot spraying and strong commonality, this paper presents the line laser scanning path method of shoe sole dispensing. Firstly, a line laser sensor was used to scan the sole artifacts to get the sole information through the global height threshold. Secondly, using the offset algorithm of the normal vector the edge contour of the sole was extracted, and the contour curve was smoothed by least square polynomial. Finally, the transformation matrix of a hand-eye calibration was used to convert the coordinates of a acquired trajectory into the motion coordinates of the dispensing robot, which automatically generate the motion trajectory of the dispensing robot. It showed that the trajectory planning method of dispensing robot realized the automation of sole dispensing and had certain industrial application value.

4-point calibration; line laser; bias algorithm; smoothing

1674-8085（2022）04-0064-06

TP241.2

A

10.3969/j.issn.1674-8085.2022.04.010

2021-09-14；

2022-03-03

國(guó)家自然科學(xué)基金項(xiàng)目 (62001199); 福建省中青年教師教育科研項(xiàng)目(科技類JAT191419，科技類JAT171100)

曹 蘭（1982-），女，湖北天門人，講師，碩士，主要從事人工智能，機(jī)器視覺(jué)研究(E-mail:157621421@qq.com).