楊俊，楊文科，冉貴銀，丁德勝，楊超，郭松梅

（重慶工程學(xué)院，重慶，400056）

0 引言

隨著《中國(guó)制造2025》《德國(guó)“工業(yè)4.0”》等概念的提出，機(jī)器學(xué)習(xí)、大數(shù)據(jù)等人工智能技術(shù)的涌現(xiàn)，推動(dòng)制造業(yè)向數(shù)字化和智能化的方向發(fā)展。近年來(lái)我國(guó)勞動(dòng)力成本急劇上升，生活水平的升高使得市場(chǎng)的需求量急劇提升，若還是采用人工操作，不僅效率低，而且工作質(zhì)量難以保證，從而影響企業(yè)的競(jìng)爭(zhēng)力[1]。在當(dāng)前階段工業(yè)機(jī)器人主要應(yīng)用于事先設(shè)定運(yùn)動(dòng)軌跡的場(chǎng)景，替代了人工通過(guò)機(jī)械勞作完成的任務(wù)，但真實(shí)場(chǎng)景中還存在大量隨環(huán)境變化隨之改變運(yùn)動(dòng)軌跡的任務(wù)，工業(yè)機(jī)器人就需要具備面對(duì)環(huán)境不確定性時(shí)提供解決方案的能力。所以提出了基于機(jī)器人視覺(jué)的工業(yè)機(jī)器人無(wú)序物料分揀系統(tǒng)設(shè)計(jì)。

1 研究方案

在一些不適合人工作業(yè)的環(huán)境或者通過(guò)人工視覺(jué)難以觀察的場(chǎng)合下，通常會(huì)用機(jī)器視覺(jué)來(lái)代替人工視覺(jué)，是工業(yè)機(jī)器人工作時(shí)的重要技術(shù)之一。機(jī)器視覺(jué)技術(shù)是利用攝像機(jī)對(duì)被測(cè)物體進(jìn)行圖像采集、分析、處理的一門綜合性技術(shù)，它主要是通過(guò)使用光學(xué)系統(tǒng)、工業(yè)數(shù)字相機(jī)和圖像處理工具，來(lái)模擬人的視覺(jué)能力，并作出相應(yīng)的決策，最終通過(guò)指揮某種特定的裝置執(zhí)行這些決策。運(yùn)用了圖像處理、機(jī)械工程技術(shù)、控制、電光源照明、光學(xué)成像、傳感器和計(jì)算機(jī)等眾多技術(shù)，使機(jī)器視覺(jué)系統(tǒng)具有檢測(cè)精度高、響應(yīng)速度快、實(shí)時(shí)性好，能提高生產(chǎn)的柔性和自動(dòng)化的能力，從而提高了工作效率、精確度，降低了成本。

在當(dāng)前的工業(yè)生產(chǎn)中對(duì)機(jī)器人的運(yùn)用都是通過(guò)提前示教目標(biāo)點(diǎn)，編寫好機(jī)器人的運(yùn)行軌跡，然后對(duì)程序進(jìn)行自動(dòng)的循環(huán)運(yùn)行，并且機(jī)器人的位姿在出廠時(shí)就已經(jīng)有了固定的姿態(tài)，各個(gè)關(guān)節(jié)都有活動(dòng)范圍，所以機(jī)器人只能實(shí)現(xiàn)特定的工作場(chǎng)合和指定的運(yùn)動(dòng)，對(duì)于被測(cè)物大小、形狀、材料、位置等參數(shù)發(fā)生變化的任務(wù)時(shí)，是難以很好的完成目標(biāo)任務(wù)。為了使工業(yè)機(jī)器人能夠更好地適應(yīng)工業(yè)環(huán)境，就需要使工業(yè)機(jī)器人在工業(yè)生產(chǎn)的柔性化、自動(dòng)化、智能化得到有效地提高。在工業(yè)機(jī)器人系統(tǒng)上加入機(jī)器人的“眼睛”，通過(guò)機(jī)器人視覺(jué)技術(shù)，使機(jī)器人具備視覺(jué)感知能力，以適應(yīng)復(fù)雜的工業(yè)環(huán)境[2]。對(duì)于機(jī)器視覺(jué)技術(shù)，世界各國(guó)都在應(yīng)用創(chuàng)新，相較于國(guó)外發(fā)展的技術(shù)，國(guó)內(nèi)的機(jī)器視覺(jué)發(fā)展起步較晚，現(xiàn)在正處于全盛發(fā)展期，當(dāng)機(jī)器視覺(jué)可以成功地應(yīng)用在工業(yè)領(lǐng)域時(shí)，將大幅度的提高產(chǎn)品的質(zhì)量和生產(chǎn)效率。對(duì)此，我們針對(duì)該項(xiàng)目的背景、國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行總體的方案設(shè)計(jì)；由雙目相機(jī)標(biāo)定、結(jié)構(gòu)光建立物料表面三維重構(gòu)；然后對(duì)目標(biāo)區(qū)域進(jìn)行一次、二次分割；將點(diǎn)云特征進(jìn)行提取、描述、匹配，通過(guò)機(jī)器人運(yùn)動(dòng)學(xué)求解完成機(jī)器人分揀實(shí)驗(yàn)；最后得到實(shí)驗(yàn)結(jié)果和對(duì)結(jié)果進(jìn)行分析。具體實(shí)施路線如圖1 所示。

圖1 技術(shù)路線圖

2 總體方案設(shè)計(jì)

根據(jù)工業(yè)需求分析，由于加工環(huán)境、人為等因素從而導(dǎo)致物料無(wú)序擺放，降低了工作效率和提升了工作難度。為解決這種問(wèn)題，本項(xiàng)目選擇散亂擺放的不同規(guī)格的螺釘作為分揀對(duì)象。將小批量不同規(guī)格的螺釘存放在不同原料框中。本課題將選擇雙目相機(jī)、投影儀、電腦、光源、工業(yè)機(jī)器人、投影儀搭建硬件系統(tǒng)。

首先通過(guò)視覺(jué)系統(tǒng)采集物料無(wú)序擺放的圖像，其次通過(guò)深度學(xué)習(xí)算法得到圖像濾波，以此分割出目標(biāo)拾取區(qū)域，然后對(duì)目標(biāo)拾取區(qū)域進(jìn)行三維點(diǎn)云重構(gòu)并與標(biāo)準(zhǔn)模型點(diǎn)云配準(zhǔn)，對(duì)物料進(jìn)行特征提取及其描述達(dá)到對(duì)位姿估計(jì)，通過(guò)雙目相機(jī)以及手眼對(duì)物料進(jìn)行標(biāo)定，確定物料分揀姿態(tài)，由機(jī)器人的驅(qū)動(dòng)方式、通訊方式對(duì)機(jī)器人分揀通訊設(shè)計(jì)，最后通過(guò)機(jī)器人運(yùn)動(dòng)學(xué)設(shè)計(jì)機(jī)器人運(yùn)動(dòng)軌跡程序。本課題總體方案設(shè)計(jì)如圖2 所示。

3 項(xiàng)目技術(shù)要求

■3.1 雙目相機(jī)定位原理

雙目相機(jī)的視覺(jué)差原理是運(yùn)用兩臺(tái)相機(jī)在不同位置下對(duì)被測(cè)物的三維空間位置進(jìn)行的偏差計(jì)算。雙目視覺(jué)的研究則需要建立在相機(jī)成像模型的基礎(chǔ)之上。雙目相機(jī)的成像模型為針孔成像模型，是通過(guò)針孔投影將光束從P 位置透過(guò)光心投射到成像平面，通過(guò)成像平面與三維空間中物像形成的數(shù)學(xué)關(guān)系計(jì)算被測(cè)物的空間位置?？臻g中的一點(diǎn)q 與投影面形成的對(duì)應(yīng)點(diǎn)p 成倒立關(guān)系，針孔成像如圖3 所示。

圖3 針孔成像模型圖

雙目相機(jī)獲取目標(biāo)的位置信息，是利用雙目相機(jī)的雙目視覺(jué)來(lái)模擬人眼從兩個(gè)不同的方向觀察目標(biāo)物體，根據(jù)獲得的兩幅圖像由視覺(jué)差計(jì)算出物體的三維位置，本項(xiàng)目所采用的雙目視覺(jué)模型采用左右相機(jī)的光軸平行安裝于同一直線上。本方法將左相機(jī)作為主相機(jī)，即相機(jī)坐標(biāo)系對(duì)應(yīng)為左相機(jī)的相機(jī)坐標(biāo)系[3]。如圖4 所示將左右相機(jī)固定在同一個(gè)平面上，相機(jī)焦距為f，基線距離為B。物體在其空間中的空間坐標(biāo)為(Xc,Yc,Zc)，左右相機(jī)對(duì)物體進(jìn)行拍照并在左右相機(jī)中顯示出成像點(diǎn)，左右相機(jī)的成像點(diǎn)位置分別為Pleft= (X left,Ylef)、Pright=(Xright,Yright)，其中Yleft=Yright=Y。由相似三角形原理并運(yùn)用公式1 可計(jì)算出物體在左右相機(jī)中的成像點(diǎn)位置。

圖4 雙目視覺(jué)成像原理圖

物體顯示在左右相機(jī)中成像點(diǎn)X 方向的偏差為D，即：D=Xleft-Xright。當(dāng)位置物體的坐標(biāo)未知時(shí)，可以根據(jù)左右相機(jī)中的成像點(diǎn)位置運(yùn)用公式2 倒推出物體的實(shí)際位置。

■3.2 點(diǎn)云數(shù)據(jù)獲取與三維重建

通過(guò)雙目相機(jī)可以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)物體表面通過(guò)三維掃描設(shè)備進(jìn)行數(shù)字化數(shù)據(jù)采集，點(diǎn)云數(shù)據(jù)獲取是通過(guò)各種測(cè)量方法采集被測(cè)物的表面信息，將被測(cè)物空間幾何結(jié)構(gòu)轉(zhuǎn)化為點(diǎn)位置信息，即對(duì)物體進(jìn)行數(shù)字化處理。點(diǎn)云數(shù)據(jù)的獲取主要分為接觸式測(cè)量與非接觸式測(cè)量，用測(cè)量設(shè)備直接接觸待采集數(shù)據(jù)的被測(cè)物物體模型，得到物體幾何特性的數(shù)字化數(shù)據(jù)的方法統(tǒng)稱為接觸式測(cè)量，非接觸式測(cè)量是在測(cè)量過(guò)程中無(wú)需與被測(cè)物體直接接觸，通過(guò)光學(xué)、聲學(xué)、電磁學(xué)等原理對(duì)物體表面信息進(jìn)行獲取。本項(xiàng)目主要通過(guò)雙目相機(jī)和結(jié)構(gòu)光標(biāo)定，屬于非接觸式測(cè)量。

目前，利用點(diǎn)云數(shù)據(jù)來(lái)做三維物體檢測(cè)的算法，主要使用三種方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。第一，體像素法，通過(guò)使點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為空間的體像素，用三維卷積法實(shí)現(xiàn)空間中的特征提??；第二，點(diǎn)云直接處理法，直接對(duì)空間的點(diǎn)云數(shù)據(jù)進(jìn)行處理，通過(guò)空間變化對(duì)點(diǎn)云整體提取出全體數(shù)據(jù)特征；第三，多視角法，將點(diǎn)云數(shù)據(jù)從各個(gè)角度投影獲取多個(gè)角度的特征，由池化過(guò)程聚合成為物體三維點(diǎn)云特征[4]。

根據(jù)不同的分布特征，可以將點(diǎn)云大致分為以下幾類，其分布形狀如圖5 所示。

圖5 點(diǎn)云成像類型

■3.3 位姿估計(jì)

在點(diǎn)云精準(zhǔn)匹配中所需要用到的算法是ICP 算法，該算法的基本思想是計(jì)算源點(diǎn)云和目標(biāo)點(diǎn)云之間的旋轉(zhuǎn)平移矩陣，對(duì)該過(guò)程重復(fù)進(jìn)行，一直到迭代的目標(biāo)函數(shù)小于給定的范圍或達(dá)到預(yù)設(shè)的次數(shù)，才會(huì)結(jié)束該算法。該項(xiàng)目需要提高算法的運(yùn)行精度和陷入局部最優(yōu)解，將以4PCS 粗配準(zhǔn)后得到的轉(zhuǎn)換關(guān)系作為ICP 算法的匹配矩陣進(jìn)行配準(zhǔn)。

項(xiàng)目旨在尋找點(diǎn)云中任意一點(diǎn)的最近鄰點(diǎn)，并形成對(duì)應(yīng)點(diǎn)對(duì)；同時(shí)，需要計(jì)算出每個(gè)點(diǎn)的法向量，并計(jì)算對(duì)應(yīng)點(diǎn)之間的方向向量的夾角；設(shè)定方向向量之間夾角的范圍，如果得到的夾角不滿足，則取消該對(duì)應(yīng)點(diǎn)對(duì)；計(jì)算對(duì)應(yīng)點(diǎn)對(duì)之間的旋轉(zhuǎn)矩陣R和平移矩陣T，使得誤差函數(shù)E(R,T）最小[5]。

根據(jù)上述給定的公式，我們可以計(jì)算出平移矩陣T 和旋轉(zhuǎn)矩陣R，將它們運(yùn)用在模板點(diǎn)云中，從而計(jì)算出一個(gè)新的點(diǎn)云位姿。接著，我們需要計(jì)算該位姿下的點(diǎn)與目標(biāo)點(diǎn)云中點(diǎn)的平均距離。如果平均距離小于了預(yù)先設(shè)定的范圍或者是達(dá)到了預(yù)先設(shè)定的迭代次數(shù)，那么迭代結(jié)束，輸出最后得到的旋轉(zhuǎn)平移矩陣。否則就需要將新的模板點(diǎn)云位姿來(lái)作為配初始條件重復(fù)執(zhí)行上述的步驟，直到滿足結(jié)束條件[5]。

■3.4 數(shù)據(jù)庫(kù)建立

為了提高分揀系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性，需要建立離線物料位姿數(shù)據(jù)庫(kù)和明確在線目標(biāo)抓取流程。在線抓取過(guò)程中，確定目標(biāo)區(qū)域排序后查找數(shù)據(jù)庫(kù)中是否存在相同的序列，如果存在，調(diào)取數(shù)據(jù)庫(kù)中數(shù)據(jù)，完成機(jī)器人抓??；如果不存在，機(jī)器人自動(dòng)計(jì)算出離線物料位姿的序列并存入數(shù)據(jù)庫(kù)中，然后再調(diào)取數(shù)據(jù)庫(kù)中數(shù)據(jù)，完成機(jī)器人抓取。為了直接從數(shù)據(jù)庫(kù)中獲取各個(gè)位置的拾取矩陣，我們可以建立離線物料位姿數(shù)據(jù)庫(kù)，從而有效的提高機(jī)器人的工作效率和準(zhǔn)確率。為了獲取目標(biāo)區(qū)域在雙目相機(jī)視野內(nèi)不同位置下的點(diǎn)云，我們采用了雙目重建技術(shù)，提取了區(qū)域點(diǎn)云與標(biāo)準(zhǔn)模板點(diǎn)云的特征，接著使用4PCS 算法對(duì)區(qū)域點(diǎn)云和模板點(diǎn)云進(jìn)行粗配準(zhǔn)，根據(jù)4PCS 粗配準(zhǔn)進(jìn)行ICP 算法進(jìn)行精匹配，得到模板點(diǎn)云的轉(zhuǎn)換關(guān)系和區(qū)域點(diǎn)云。然后根據(jù)機(jī)器人基準(zhǔn)坐標(biāo)系的轉(zhuǎn)換關(guān)系與機(jī)器人視覺(jué)系統(tǒng)坐標(biāo)系，使機(jī)械臂到目標(biāo)區(qū)域拾取目標(biāo)物，當(dāng)機(jī)械臂可以正確拾取目標(biāo)物，那么將該目標(biāo)的位置坐標(biāo)和轉(zhuǎn)換矩陣添加到數(shù)據(jù)庫(kù)中，若未能拾取到目標(biāo)物，可通過(guò)手動(dòng)示教的方法調(diào)整機(jī)器人的位姿和姿態(tài)使其讓機(jī)器人能夠準(zhǔn)確地拾取到工件，同樣也會(huì)將調(diào)整后的轉(zhuǎn)換矩陣與位置坐標(biāo)添加到數(shù)據(jù)庫(kù)中。在線物料抓取流程如圖6 所示。

■3.5 工業(yè)機(jī)器人的末端執(zhí)行器設(shè)計(jì)

末端執(zhí)行器是裝在工業(yè)機(jī)器人末端法蘭盤上直接抓握工件或執(zhí)行作業(yè)的部件，具有夾持、運(yùn)輸、放置工件到某一個(gè)位置的功能。通常會(huì)根據(jù)特定的場(chǎng)景和所需要實(shí)現(xiàn)的功能選擇機(jī)器人的末端執(zhí)行器，使機(jī)器人能適應(yīng)空間內(nèi)絕大部分位置的抓取。在沒(méi)有適合的執(zhí)行工具時(shí)，為滿足現(xiàn)場(chǎng)作業(yè)環(huán)境的要求，機(jī)械臂末端執(zhí)行器的設(shè)計(jì)就需要根據(jù)特定的結(jié)構(gòu)和尺寸進(jìn)行定制，并且設(shè)計(jì)的末端執(zhí)行器也要具有通用性和實(shí)用性等特點(diǎn)，能使它在不同型號(hào)的機(jī)器人上也能契合。此項(xiàng)目采用小型LR Mate 200ID/4s 機(jī)械臂，該機(jī)械臂是一個(gè)6 自由度的機(jī)器人，由三個(gè)旋轉(zhuǎn)關(guān)節(jié)和三個(gè)移動(dòng)關(guān)節(jié)組成。它可達(dá)到的工作半徑為550mm，手腕部可以搬動(dòng)4kg的重物，機(jī)器的質(zhì)量較輕重20kg，重復(fù)定位的精度高可達(dá)±0.02mm。常用末端執(zhí)行器為2、3、4 指的手爪。2 指適用于抓取片體、鉤環(huán)結(jié)構(gòu)體；3 指可以抓取球體、塊體物件；4 指適用于抓取柱狀物件、條形物件。本項(xiàng)目選擇的末端執(zhí)行器為可拆卸式手爪，以便根據(jù)現(xiàn)場(chǎng)環(huán)境進(jìn)行相應(yīng)的選擇，使得更好地完成該項(xiàng)目的抓取任務(wù)。

4 總結(jié)

我國(guó)是一個(gè)制造業(yè)大國(guó)，在當(dāng)今自動(dòng)化、智能化不斷發(fā)展的背景下，制造業(yè)仍是我國(guó)國(guó)民經(jīng)濟(jì)發(fā)展的主體，以往在工件的搬運(yùn)、拾取需要大量人工在生產(chǎn)線上完成，這不僅是繁忙復(fù)雜的工作，并且?guī)в幸欢ǖ奈ｋU(xiǎn)性。對(duì)此，需要將自動(dòng)化融入設(shè)備生產(chǎn)中，使生產(chǎn)過(guò)程中能夠更快更安全地執(zhí)行。針對(duì)此現(xiàn)象，本研究小組利用機(jī)器人視覺(jué)設(shè)計(jì)了無(wú)序物料的抓取和分揀的系統(tǒng)，本系統(tǒng)運(yùn)用雙目相機(jī)作為機(jī)器人的“眼睛”獲取物料在空間的位置，根據(jù)三維重建獲取物料的點(diǎn)云數(shù)據(jù)，將每一個(gè)點(diǎn)云數(shù)據(jù)存在數(shù)據(jù)庫(kù)中，運(yùn)用ICP 算法計(jì)算源點(diǎn)云和目標(biāo)點(diǎn)云之間的旋轉(zhuǎn)平移矩陣估算位姿，運(yùn)用機(jī)器人安裝特定的末端執(zhí)行器實(shí)現(xiàn)物料分揀工作。