楊俊，楊文科，冉貴銀，丁德勝，楊超，郭松梅

（重慶工程學(xué)院，重慶，400056）

0 引言

隨著《中國制造2025》《德國“工業(yè)4.0”》等概念的提出，機(jī)器學(xué)習(xí)、大數(shù)據(jù)等人工智能技術(shù)的涌現(xiàn)，推動制造業(yè)向數(shù)字化和智能化的方向發(fā)展。近年來我國勞動力成本急劇上升，生活水平的升高使得市場的需求量急劇提升，若還是采用人工操作，不僅效率低，而且工作質(zhì)量難以保證，從而影響企業(yè)的競爭力[1]。在當(dāng)前階段工業(yè)機(jī)器人主要應(yīng)用于事先設(shè)定運(yùn)動軌跡的場景，替代了人工通過機(jī)械勞作完成的任務(wù)，但真實場景中還存在大量隨環(huán)境變化隨之改變運(yùn)動軌跡的任務(wù)，工業(yè)機(jī)器人就需要具備面對環(huán)境不確定性時提供解決方案的能力。所以提出了基于機(jī)器人視覺的工業(yè)機(jī)器人無序物料分揀系統(tǒng)設(shè)計。

1 研究方案

在一些不適合人工作業(yè)的環(huán)境或者通過人工視覺難以觀察的場合下，通常會用機(jī)器視覺來代替人工視覺，是工業(yè)機(jī)器人工作時的重要技術(shù)之一。機(jī)器視覺技術(shù)是利用攝像機(jī)對被測物體進(jìn)行圖像采集、分析、處理的一門綜合性技術(shù)，它主要是通過使用光學(xué)系統(tǒng)、工業(yè)數(shù)字相機(jī)和圖像處理工具，來模擬人的視覺能力，并作出相應(yīng)的決策，最終通過指揮某種特定的裝置執(zhí)行這些決策。運(yùn)用了圖像處理、機(jī)械工程技術(shù)、控制、電光源照明、光學(xué)成像、傳感器和計算機(jī)等眾多技術(shù)，使機(jī)器視覺系統(tǒng)具有檢測精度高、響應(yīng)速度快、實時性好，能提高生產(chǎn)的柔性和自動化的能力，從而提高了工作效率、精確度，降低了成本。

在當(dāng)前的工業(yè)生產(chǎn)中對機(jī)器人的運(yùn)用都是通過提前示教目標(biāo)點(diǎn)，編寫好機(jī)器人的運(yùn)行軌跡，然后對程序進(jìn)行自動的循環(huán)運(yùn)行，并且機(jī)器人的位姿在出廠時就已經(jīng)有了固定的姿態(tài)，各個關(guān)節(jié)都有活動范圍，所以機(jī)器人只能實現(xiàn)特定的工作場合和指定的運(yùn)動，對于被測物大小、形狀、材料、位置等參數(shù)發(fā)生變化的任務(wù)時，是難以很好的完成目標(biāo)任務(wù)。為了使工業(yè)機(jī)器人能夠更好地適應(yīng)工業(yè)環(huán)境，就需要使工業(yè)機(jī)器人在工業(yè)生產(chǎn)的柔性化、自動化、智能化得到有效地提高。在工業(yè)機(jī)器人系統(tǒng)上加入機(jī)器人的“眼睛”，通過機(jī)器人視覺技術(shù)，使機(jī)器人具備視覺感知能力，以適應(yīng)復(fù)雜的工業(yè)環(huán)境[2]。對于機(jī)器視覺技術(shù)，世界各國都在應(yīng)用創(chuàng)新，相較于國外發(fā)展的技術(shù)，國內(nèi)的機(jī)器視覺發(fā)展起步較晚，現(xiàn)在正處于全盛發(fā)展期，當(dāng)機(jī)器視覺可以成功地應(yīng)用在工業(yè)領(lǐng)域時，將大幅度的提高產(chǎn)品的質(zhì)量和生產(chǎn)效率。對此，我們針對該項目的背景、國內(nèi)外研究現(xiàn)狀進(jìn)行總體的方案設(shè)計；由雙目相機(jī)標(biāo)定、結(jié)構(gòu)光建立物料表面三維重構(gòu)；然后對目標(biāo)區(qū)域進(jìn)行一次、二次分割；將點(diǎn)云特征進(jìn)行提取、描述、匹配，通過機(jī)器人運(yùn)動學(xué)求解完成機(jī)器人分揀實驗；最后得到實驗結(jié)果和對結(jié)果進(jìn)行分析。具體實施路線如圖1 所示。

圖1 技術(shù)路線圖

2 總體方案設(shè)計

根據(jù)工業(yè)需求分析，由于加工環(huán)境、人為等因素從而導(dǎo)致物料無序擺放，降低了工作效率和提升了工作難度。為解決這種問題，本項目選擇散亂擺放的不同規(guī)格的螺釘作為分揀對象。將小批量不同規(guī)格的螺釘存放在不同原料框中。本課題將選擇雙目相機(jī)、投影儀、電腦、光源、工業(yè)機(jī)器人、投影儀搭建硬件系統(tǒng)。

首先通過視覺系統(tǒng)采集物料無序擺放的圖像，其次通過深度學(xué)習(xí)算法得到圖像濾波，以此分割出目標(biāo)拾取區(qū)域，然后對目標(biāo)拾取區(qū)域進(jìn)行三維點(diǎn)云重構(gòu)并與標(biāo)準(zhǔn)模型點(diǎn)云配準(zhǔn)，對物料進(jìn)行特征提取及其描述達(dá)到對位姿估計，通過雙目相機(jī)以及手眼對物料進(jìn)行標(biāo)定，確定物料分揀姿態(tài)，由機(jī)器人的驅(qū)動方式、通訊方式對機(jī)器人分揀通訊設(shè)計，最后通過機(jī)器人運(yùn)動學(xué)設(shè)計機(jī)器人運(yùn)動軌跡程序。本課題總體方案設(shè)計如圖2 所示。

3 項目技術(shù)要求

■3.1 雙目相機(jī)定位原理

雙目相機(jī)的視覺差原理是運(yùn)用兩臺相機(jī)在不同位置下對被測物的三維空間位置進(jìn)行的偏差計算。雙目視覺的研究則需要建立在相機(jī)成像模型的基礎(chǔ)之上。雙目相機(jī)的成像模型為針孔成像模型，是通過針孔投影將光束從P 位置透過光心投射到成像平面，通過成像平面與三維空間中物像形成的數(shù)學(xué)關(guān)系計算被測物的空間位置。空間中的一點(diǎn)q 與投影面形成的對應(yīng)點(diǎn)p 成倒立關(guān)系，針孔成像如圖3 所示。

圖3 針孔成像模型圖

雙目相機(jī)獲取目標(biāo)的位置信息，是利用雙目相機(jī)的雙目視覺來模擬人眼從兩個不同的方向觀察目標(biāo)物體，根據(jù)獲得的兩幅圖像由視覺差計算出物體的三維位置，本項目所采用的雙目視覺模型采用左右相機(jī)的光軸平行安裝于同一直線上。本方法將左相機(jī)作為主相機(jī)，即相機(jī)坐標(biāo)系對應(yīng)為左相機(jī)的相機(jī)坐標(biāo)系[3]。如圖4 所示將左右相機(jī)固定在同一個平面上，相機(jī)焦距為f，基線距離為B。物體在其空間中的空間坐標(biāo)為(Xc,Yc,Zc)，左右相機(jī)對物體進(jìn)行拍照并在左右相機(jī)中顯示出成像點(diǎn)，左右相機(jī)的成像點(diǎn)位置分別為Pleft= (X left,Ylef)、Pright=(Xright,Yright)，其中Yleft=Yright=Y。由相似三角形原理并運(yùn)用公式1 可計算出物體在左右相機(jī)中的成像點(diǎn)位置。

圖4 雙目視覺成像原理圖

物體顯示在左右相機(jī)中成像點(diǎn)X 方向的偏差為D，即：D=Xleft-Xright。當(dāng)位置物體的坐標(biāo)未知時，可以根據(jù)左右相機(jī)中的成像點(diǎn)位置運(yùn)用公式2 倒推出物體的實際位置。

■3.2 點(diǎn)云數(shù)據(jù)獲取與三維重建

通過雙目相機(jī)可以實現(xiàn)對現(xiàn)實物體表面通過三維掃描設(shè)備進(jìn)行數(shù)字化數(shù)據(jù)采集，點(diǎn)云數(shù)據(jù)獲取是通過各種測量方法采集被測物的表面信息，將被測物空間幾何結(jié)構(gòu)轉(zhuǎn)化為點(diǎn)位置信息，即對物體進(jìn)行數(shù)字化處理。點(diǎn)云數(shù)據(jù)的獲取主要分為接觸式測量與非接觸式測量，用測量設(shè)備直接接觸待采集數(shù)據(jù)的被測物物體模型，得到物體幾何特性的數(shù)字化數(shù)據(jù)的方法統(tǒng)稱為接觸式測量，非接觸式測量是在測量過程中無需與被測物體直接接觸，通過光學(xué)、聲學(xué)、電磁學(xué)等原理對物體表面信息進(jìn)行獲取。本項目主要通過雙目相機(jī)和結(jié)構(gòu)光標(biāo)定，屬于非接觸式測量。

目前，利用點(diǎn)云數(shù)據(jù)來做三維物體檢測的算法，主要使用三種方法對數(shù)據(jù)進(jìn)行預(yù)處理。第一，體像素法，通過使點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為空間的體像素，用三維卷積法實現(xiàn)空間中的特征提??；第二，點(diǎn)云直接處理法，直接對空間的點(diǎn)云數(shù)據(jù)進(jìn)行處理，通過空間變化對點(diǎn)云整體提取出全體數(shù)據(jù)特征；第三，多視角法，將點(diǎn)云數(shù)據(jù)從各個角度投影獲取多個角度的特征，由池化過程聚合成為物體三維點(diǎn)云特征[4]。

根據(jù)不同的分布特征，可以將點(diǎn)云大致分為以下幾類，其分布形狀如圖5 所示。

圖5 點(diǎn)云成像類型

■3.3 位姿估計

在點(diǎn)云精準(zhǔn)匹配中所需要用到的算法是ICP 算法，該算法的基本思想是計算源點(diǎn)云和目標(biāo)點(diǎn)云之間的旋轉(zhuǎn)平移矩陣，對該過程重復(fù)進(jìn)行，一直到迭代的目標(biāo)函數(shù)小于給定的范圍或達(dá)到預(yù)設(shè)的次數(shù)，才會結(jié)束該算法。該項目需要提高算法的運(yùn)行精度和陷入局部最優(yōu)解，將以4PCS 粗配準(zhǔn)后得到的轉(zhuǎn)換關(guān)系作為ICP 算法的匹配矩陣進(jìn)行配準(zhǔn)。

項目旨在尋找點(diǎn)云中任意一點(diǎn)的最近鄰點(diǎn)，并形成對應(yīng)點(diǎn)對；同時，需要計算出每個點(diǎn)的法向量，并計算對應(yīng)點(diǎn)之間的方向向量的夾角；設(shè)定方向向量之間夾角的范圍，如果得到的夾角不滿足，則取消該對應(yīng)點(diǎn)對；計算對應(yīng)點(diǎn)對之間的旋轉(zhuǎn)矩陣R和平移矩陣T，使得誤差函數(shù)E(R,T）最小[5]。

根據(jù)上述給定的公式，我們可以計算出平移矩陣T 和旋轉(zhuǎn)矩陣R，將它們運(yùn)用在模板點(diǎn)云中，從而計算出一個新的點(diǎn)云位姿。接著，我們需要計算該位姿下的點(diǎn)與目標(biāo)點(diǎn)云中點(diǎn)的平均距離。如果平均距離小于了預(yù)先設(shè)定的范圍或者是達(dá)到了預(yù)先設(shè)定的迭代次數(shù)，那么迭代結(jié)束，輸出最后得到的旋轉(zhuǎn)平移矩陣。否則就需要將新的模板點(diǎn)云位姿來作為配初始條件重復(fù)執(zhí)行上述的步驟，直到滿足結(jié)束條件[5]。

■3.4 數(shù)據(jù)庫建立

為了提高分揀系統(tǒng)的實時性和準(zhǔn)確性，需要建立離線物料位姿數(shù)據(jù)庫和明確在線目標(biāo)抓取流程。在線抓取過程中，確定目標(biāo)區(qū)域排序后查找數(shù)據(jù)庫中是否存在相同的序列，如果存在，調(diào)取數(shù)據(jù)庫中數(shù)據(jù)，完成機(jī)器人抓??；如果不存在，機(jī)器人自動計算出離線物料位姿的序列并存入數(shù)據(jù)庫中，然后再調(diào)取數(shù)據(jù)庫中數(shù)據(jù)，完成機(jī)器人抓取。為了直接從數(shù)據(jù)庫中獲取各個位置的拾取矩陣，我們可以建立離線物料位姿數(shù)據(jù)庫，從而有效的提高機(jī)器人的工作效率和準(zhǔn)確率。為了獲取目標(biāo)區(qū)域在雙目相機(jī)視野內(nèi)不同位置下的點(diǎn)云，我們采用了雙目重建技術(shù)，提取了區(qū)域點(diǎn)云與標(biāo)準(zhǔn)模板點(diǎn)云的特征，接著使用4PCS 算法對區(qū)域點(diǎn)云和模板點(diǎn)云進(jìn)行粗配準(zhǔn)，根據(jù)4PCS 粗配準(zhǔn)進(jìn)行ICP 算法進(jìn)行精匹配，得到模板點(diǎn)云的轉(zhuǎn)換關(guān)系和區(qū)域點(diǎn)云。然后根據(jù)機(jī)器人基準(zhǔn)坐標(biāo)系的轉(zhuǎn)換關(guān)系與機(jī)器人視覺系統(tǒng)坐標(biāo)系，使機(jī)械臂到目標(biāo)區(qū)域拾取目標(biāo)物，當(dāng)機(jī)械臂可以正確拾取目標(biāo)物，那么將該目標(biāo)的位置坐標(biāo)和轉(zhuǎn)換矩陣添加到數(shù)據(jù)庫中，若未能拾取到目標(biāo)物，可通過手動示教的方法調(diào)整機(jī)器人的位姿和姿態(tài)使其讓機(jī)器人能夠準(zhǔn)確地拾取到工件，同樣也會將調(diào)整后的轉(zhuǎn)換矩陣與位置坐標(biāo)添加到數(shù)據(jù)庫中。在線物料抓取流程如圖6 所示。

■3.5 工業(yè)機(jī)器人的末端執(zhí)行器設(shè)計

末端執(zhí)行器是裝在工業(yè)機(jī)器人末端法蘭盤上直接抓握工件或執(zhí)行作業(yè)的部件，具有夾持、運(yùn)輸、放置工件到某一個位置的功能。通常會根據(jù)特定的場景和所需要實現(xiàn)的功能選擇機(jī)器人的末端執(zhí)行器，使機(jī)器人能適應(yīng)空間內(nèi)絕大部分位置的抓取。在沒有適合的執(zhí)行工具時，為滿足現(xiàn)場作業(yè)環(huán)境的要求，機(jī)械臂末端執(zhí)行器的設(shè)計就需要根據(jù)特定的結(jié)構(gòu)和尺寸進(jìn)行定制，并且設(shè)計的末端執(zhí)行器也要具有通用性和實用性等特點(diǎn)，能使它在不同型號的機(jī)器人上也能契合。此項目采用小型LR Mate 200ID/4s 機(jī)械臂，該機(jī)械臂是一個6 自由度的機(jī)器人，由三個旋轉(zhuǎn)關(guān)節(jié)和三個移動關(guān)節(jié)組成。它可達(dá)到的工作半徑為550mm，手腕部可以搬動4kg的重物，機(jī)器的質(zhì)量較輕重20kg，重復(fù)定位的精度高可達(dá)±0.02mm。常用末端執(zhí)行器為2、3、4 指的手爪。2 指適用于抓取片體、鉤環(huán)結(jié)構(gòu)體；3 指可以抓取球體、塊體物件；4 指適用于抓取柱狀物件、條形物件。本項目選擇的末端執(zhí)行器為可拆卸式手爪，以便根據(jù)現(xiàn)場環(huán)境進(jìn)行相應(yīng)的選擇，使得更好地完成該項目的抓取任務(wù)。

4 總結(jié)

我國是一個制造業(yè)大國，在當(dāng)今自動化、智能化不斷發(fā)展的背景下，制造業(yè)仍是我國國民經(jīng)濟(jì)發(fā)展的主體，以往在工件的搬運(yùn)、拾取需要大量人工在生產(chǎn)線上完成，這不僅是繁忙復(fù)雜的工作，并且?guī)в幸欢ǖ奈ｋU性。對此，需要將自動化融入設(shè)備生產(chǎn)中，使生產(chǎn)過程中能夠更快更安全地執(zhí)行。針對此現(xiàn)象，本研究小組利用機(jī)器人視覺設(shè)計了無序物料的抓取和分揀的系統(tǒng)，本系統(tǒng)運(yùn)用雙目相機(jī)作為機(jī)器人的“眼睛”獲取物料在空間的位置，根據(jù)三維重建獲取物料的點(diǎn)云數(shù)據(jù)，將每一個點(diǎn)云數(shù)據(jù)存在數(shù)據(jù)庫中，運(yùn)用ICP 算法計算源點(diǎn)云和目標(biāo)點(diǎn)云之間的旋轉(zhuǎn)平移矩陣估算位姿，運(yùn)用機(jī)器人安裝特定的末端執(zhí)行器實現(xiàn)物料分揀工作。