喬峰麗,苗鴻賓,2,紀(jì)慧君,張偉,蘇赫朋

(1.中北大學(xué)機(jī)械工程學(xué)院,山西太原 030051； 2.山西省深孔加工工程技術(shù)研究中心， 山西太原 030199)

0 前言

智能制造的出現(xiàn)和發(fā)展使得機(jī)械臂成為工業(yè)領(lǐng)域生產(chǎn)制造等自動(dòng)化生產(chǎn)任務(wù)的主力，因此機(jī)械臂智能制造相關(guān)技術(shù)的研究具有重要意義。目前機(jī)械臂的抓取方式普遍使用離線編程,存在視覺識別準(zhǔn)確率低以及自主避障能力弱等問題。人類即使在復(fù)雜變化的環(huán)境中也可以本能、準(zhǔn)確、穩(wěn)定、快速地執(zhí)行抓取任務(wù)，但這對于機(jī)械臂來說仍然是一項(xiàng)具有挑戰(zhàn)性的工作[1]。機(jī)械臂運(yùn)動(dòng)學(xué)模型是機(jī)械臂本體多關(guān)節(jié)之間的坐標(biāo)系轉(zhuǎn)換，但機(jī)械臂本體無法做到自主檢測到空間中某個(gè)物體，因此需要求解世界坐標(biāo)系與視覺相機(jī)所在坐標(biāo)系的位置關(guān)系，最終實(shí)現(xiàn)機(jī)械臂在視覺相機(jī)的輔助下抓取物體[2-3]。傳統(tǒng)標(biāo)定方法存在標(biāo)定誤差大、精度低以及標(biāo)定過程復(fù)雜的問題[4-5]，本文作者針對以上問題提出了一種面向數(shù)字孿生的手眼標(biāo)定方法，保證了工件抓取的識別精度和抓取精度以及對環(huán)境中障礙物的識別和躲避功能。

1 機(jī)械臂手眼標(biāo)定方法

1.1 機(jī)械臂結(jié)構(gòu)參數(shù)

文中研究對象為六自由度串聯(lián)型機(jī)械臂。該型機(jī)械臂具有外形結(jié)構(gòu)、體積輕巧的優(yōu)良特點(diǎn)，尤其在小單元范圍中能夠保持高精度和高速作業(yè)，最大載質(zhì)量為6 kg，在自動(dòng)化生產(chǎn)線中具有良好的工作表現(xiàn)。工業(yè)機(jī)械臂本體及連桿坐標(biāo)系如圖1所示。

圖1 JL8工業(yè)機(jī)械臂

1.2 手眼標(biāo)定方法

在進(jìn)行手眼標(biāo)定實(shí)驗(yàn)之前，需要確定TCP標(biāo)定精度。根據(jù)線性空間相鄰坐標(biāo)系變換原則[6]，機(jī)械臂末端相對于基座的坐標(biāo)變換映射如下：

(1)

當(dāng)增加工具坐標(biāo)系用來標(biāo)定實(shí)驗(yàn)時(shí)，上式坐標(biāo)變換改寫為

(2)

當(dāng)操作機(jī)械臂使末端標(biāo)定針以不同姿態(tài)與標(biāo)定臺(tái)標(biāo)定針標(biāo)定2次時(shí)，根據(jù)上式有：

(3)

按照上述模式列出多次標(biāo)定次數(shù)下的齊次方程組為

(4)

化簡上式有：

(5)

結(jié)合2次標(biāo)定求解TCP原理，從上式可以看出，當(dāng)且僅當(dāng)上式系數(shù)矩陣滿秩的情況下才能保證有唯一解。

根據(jù)曲線擬合中最小二乘法原則[7]，上述擬合非齊次線性方程組問題等價(jià)為

(6)

判斷上述精度問題可以用式(7)描述：

(7)

文中機(jī)械臂視覺相機(jī)的安裝方式是固定在機(jī)械臂以外的固定位置，故需確定機(jī)械臂坐標(biāo)系和相機(jī)所在坐標(biāo)系之間的位置關(guān)系。為了便于后續(xù)論述，現(xiàn)規(guī)定世界坐標(biāo)系為Base，機(jī)械臂末端執(zhí)行器相對于基座所在的坐標(biāo)系為B-end，相機(jī)坐標(biāo)系為Camera，標(biāo)定臺(tái)所在坐標(biāo)系為Object。各坐標(biāo)系相對位置如圖2所示。

圖2 機(jī)械臂手眼標(biāo)定相對位置關(guān)系

可以看出，相機(jī)和機(jī)械臂基座坐標(biāo)系是固定不變的，同樣標(biāo)定臺(tái)相對于機(jī)械臂末端之間的坐標(biāo)變換也是不變的。故存在以下不變量：

(8)

當(dāng)機(jī)械臂進(jìn)行2次運(yùn)動(dòng)，相機(jī)運(yùn)動(dòng)2次時(shí)有：

TB-end1→BaseTBase→CameraTCamera→Object1=TB-end2→Base·

TBase→CameraTCamera→Object2

(9)

對式(9)化簡后為

(TB-end2→Base)-1TB-end1→BaseTBase→Camera=TBase→Camera·TCamera→Object2(TCamera→Object1)-1

(10)

為了簡化公式，令：

AB=(TB-end2→Base)-1TB-end1→Base

X=TBase→Camera

B=TCamera→Object2(TCamera→Object1)-1

簡化后的式(10)改寫為

ABX=XB

(11)

上述方程為齊次線性方程組的求解，其中具有代表性的解法為李群代數(shù)求解法[8]。文中為了得到唯一解采用取值法，即分別移動(dòng)機(jī)械臂和相機(jī)3次進(jìn)行標(biāo)定實(shí)驗(yàn)，得到機(jī)械臂基座相對于末端執(zhí)行器的3次坐標(biāo)變換：

(12)

以及3次相機(jī)標(biāo)定相對于初始位置的坐標(biāo)變換：

(13)

由于上述坐標(biāo)變換為已知，根據(jù)一一對應(yīng)關(guān)系可求解TBase→TCamera，即機(jī)械臂基座相對于相機(jī)的坐標(biāo)變換。值得注意的是，由于實(shí)驗(yàn)室機(jī)械臂的特殊安裝方式和便于簡化計(jì)算，此實(shí)驗(yàn)的機(jī)械臂世界坐標(biāo)系和機(jī)械臂第2個(gè)連桿所在的坐標(biāo)系重合。

由于通過3D相機(jī)掃描出來的點(diǎn)云生成的模型不完整[9]，在抓取過程中只能識別單面，而希望當(dāng)工件無序擺放時(shí)，只有正面朝上工件能被識別抓取，反面朝上則不能抓取工件。所以選擇3D掃描儀生成的模型進(jìn)行后續(xù)抓取點(diǎn)以及抓取位姿的標(biāo)定。通過掃描得到的某待抓取物3D點(diǎn)云和3D掃描儀生成的點(diǎn)云如圖3所示。

圖3 點(diǎn)云圖像

2 機(jī)械臂數(shù)字孿生模型

文中以JL8工業(yè)機(jī)械臂作為研究對象構(gòu)建了針對工件抓取的視覺抓取系統(tǒng)。文中構(gòu)建的數(shù)字孿生數(shù)據(jù)流分為交互層、數(shù)據(jù)處理層和數(shù)據(jù)傳輸層。根據(jù)分層策略規(guī)則各層數(shù)據(jù)遵循向下可見原則[10-11]。交互層包括示教器示教物理空間以及虛擬空間中的機(jī)械臂，使它能夠移動(dòng)、抓取、顯示實(shí)時(shí)環(huán)境狀況、碰撞檢測等功能，數(shù)據(jù)處理層負(fù)責(zé)機(jī)械臂正逆解求解、路徑生成、最短路徑計(jì)算、工件識別、工件抓取點(diǎn)計(jì)算、指令生成，數(shù)據(jù)傳輸層負(fù)責(zé)虛擬孿生環(huán)境和物理空間之間數(shù)據(jù)的交換、傳輸。數(shù)字孿生系統(tǒng)框架如圖4所示。

圖4 機(jī)械臂數(shù)字孿生框架Fig.4 Digital twin frame of manipulator

物理機(jī)械臂系統(tǒng)是由機(jī)械臂實(shí)體、視覺相機(jī)、各種傳感器、待抓取工件以及控制器組成。物理機(jī)械臂抓取過程可以實(shí)時(shí)映射到虛擬孿生系統(tǒng)中，同時(shí)物理機(jī)械臂在執(zhí)行任務(wù)過程中受到虛擬空間指令的控制。

虛擬機(jī)械臂系統(tǒng)是物理抓取系統(tǒng)在虛擬空間中多維度、全要素的鏡像。虛擬抓取系統(tǒng)不僅包含物理系統(tǒng)中的幾何模型、物理模型以及相關(guān)數(shù)據(jù)，還包含系統(tǒng)內(nèi)部的行為約束。通過虛擬系統(tǒng)對抓取任務(wù)的仿真、迭代優(yōu)化、實(shí)驗(yàn)驗(yàn)證以及和物理機(jī)械臂系統(tǒng)的實(shí)時(shí)信息交互、數(shù)據(jù)映射實(shí)現(xiàn)對物理機(jī)械臂系統(tǒng)的控制、預(yù)測。

信息服務(wù)平臺(tái)用來管理和組織整個(gè)抓取系統(tǒng)，通過與物理、孿生系統(tǒng)的數(shù)據(jù)交互實(shí)現(xiàn)抓取任務(wù)的優(yōu)化。物理機(jī)械臂抓取過程中產(chǎn)生的數(shù)據(jù)、虛擬機(jī)械臂抓取系統(tǒng)產(chǎn)生的仿真數(shù)據(jù)以及信息服務(wù)平臺(tái)產(chǎn)生的關(guān)系數(shù)據(jù)通過不斷優(yōu)化完善可以更好地驅(qū)動(dòng)三者之間的交互。

3 基于數(shù)字孿生的碰撞檢測框架

機(jī)械臂碰撞檢測通常與被抓取工件、機(jī)械臂本體以及環(huán)境中的其他元素有關(guān)，通過對物理空間機(jī)械臂本體的虛擬仿真實(shí)現(xiàn)了對真實(shí)環(huán)境的實(shí)時(shí)動(dòng)態(tài)感知，實(shí)現(xiàn)碰撞的實(shí)時(shí)檢測[12]。包圍盒的重疊思想是通過比對各方向的最大值和最小值來判斷碰撞可能[13-14]。首先需定義2個(gè)零部件的在空間中的區(qū)間范圍，若滿足如下條件則可判斷2個(gè)物體重疊：

xa-MIN≤xb≤xa-MAX

ya-MIN≤yb≤ya-MAX

za-MIN≤zb≤za-MAX

(14)

基于數(shù)字孿生的碰撞檢測框架如圖5所示。

圖5 基于數(shù)字孿生的機(jī)械臂碰撞檢測框架Fig.5 Collision detection framework of manipulator based on digital twinning

4 機(jī)械臂抓取實(shí)驗(yàn)

針對上述提出的手眼標(biāo)定和模板匹配方法引導(dǎo)工業(yè)機(jī)械臂進(jìn)行抓取實(shí)驗(yàn)的驗(yàn)證。此實(shí)驗(yàn)抓取對象為鑄鐵工件，工件隨意擺放在識別區(qū)域，通過激光線掃描工件的3D點(diǎn)云并與模板庫中的工件模板進(jìn)行匹配，根據(jù)手眼標(biāo)定方法計(jì)算抓取位姿并發(fā)送給機(jī)械臂完成抓取并放置工件的任務(wù)。其中的虛實(shí)環(huán)境的通信通過PLC協(xié)議使用ControlStudio獲取并發(fā)送關(guān)節(jié)數(shù)據(jù)到CoppeliaSim仿真平臺(tái)控制虛擬機(jī)械臂的運(yùn)動(dòng)。抓取過程中虛擬空間和上位機(jī)控制界面如圖6所示。

圖6 抓取過程演示Fig.6 Capture process demonstration：(a)virtual space; (b) control interface

為了增加機(jī)械臂系統(tǒng)處理難度,在機(jī)械臂工作區(qū)域隨意擺放3個(gè)工件，且其中1個(gè)為反面放置，另外2個(gè)工件傾斜放置。機(jī)械臂移動(dòng)到工件位置、調(diào)整抓取位姿如圖7所示。當(dāng)機(jī)械臂抓取工件后，要求它放置指定工位。由于工位的特殊性，要求機(jī)械臂以特定位姿放置。

圖7 機(jī)械臂調(diào)整示意Fig.7 Manipulator adjustment signal:(a) grasping position;(b) placement of workpiece

為了驗(yàn)證文中相機(jī)標(biāo)定方法和模板匹配方法的優(yōu)良性，將待抓取工件放置在工作區(qū)域，機(jī)械臂運(yùn)動(dòng)到抓取坐標(biāo)并讀取示教器中的坐標(biāo)與姿態(tài)。同時(shí)控制視覺相機(jī)掃描工作區(qū)域并記錄視覺系統(tǒng)中的工件抓取坐標(biāo)，計(jì)算兩者的距離作為誤差。實(shí)驗(yàn)采取了80組數(shù)據(jù)，其中5組數(shù)據(jù)如表1所示。

表1 精度與處理時(shí)間Tab.1 Precision and processing time

從實(shí)驗(yàn)結(jié)果可以看出，相較于傳統(tǒng)工業(yè)領(lǐng)域0.1 mm的標(biāo)定精度，文中提出的手眼標(biāo)定算法的定位精度在0.01～0.05 mm之間。因此，文中提出的方法具有抓取精度高、效率高、位置誤差小等優(yōu)勢。從視覺相機(jī)識別待抓取工件到機(jī)械臂開始運(yùn)動(dòng)時(shí)間在5.2 s左右，為了保證視覺相機(jī)的準(zhǔn)確掃描，故設(shè)定相機(jī)掃描時(shí)間為5 s，計(jì)算抓取路徑時(shí)間為0.2 s左右。無序狀態(tài)下成功抓取工件并正確放置工件的成功率在100%。由于光照情況會(huì)影響相機(jī)對物體的識別，在不同光照條件下50次實(shí)驗(yàn)中的整體抓取成功率可達(dá)92%。

5 結(jié)語

根據(jù)實(shí)驗(yàn)室現(xiàn)有實(shí)驗(yàn)環(huán)境提出新的手眼標(biāo)定方法，對視覺標(biāo)定方法進(jìn)行了系統(tǒng)概述，給出了標(biāo)定方法的數(shù)學(xué)模型及基本原理，基于上述理論方法給出了手眼標(biāo)定基本操作流程，同時(shí)實(shí)現(xiàn)了物理空間和虛擬空間的實(shí)時(shí)交互功能，能夠更直觀地觀察實(shí)驗(yàn)情況，最后通過工件抓取實(shí)驗(yàn)驗(yàn)證了該方法的正確性。從實(shí)驗(yàn)結(jié)果可以看出：文中提出的手眼標(biāo)定方法引導(dǎo)機(jī)械臂抓取工件的方法精度高，具有良好的抓取性能，可以應(yīng)用在相關(guān)的精度要求高的工業(yè)領(lǐng)域。