文/王磊 歐陽(yáng)世波 鄭宇 陳海軍 全英玉

在工業(yè)制造和物流領(lǐng)域，各種工業(yè)機(jī)器人可用于優(yōu)化貨物的流轉(zhuǎn)，其中物料的拆垛是常見應(yīng)用之一。“機(jī)器人拆垛”通常指利用機(jī)械臂將物料按順序從托盤上卸載的過(guò)程，可以用于替代簡(jiǎn)單但繁重的體力勞動(dòng)。在物流領(lǐng)域中，存在將不同品規(guī)的貨物（即不同尺寸、重量或紋理的商品）裝在箱子內(nèi)進(jìn)行交付的場(chǎng)景，如圖1所示。

圖1 由不同形狀的產(chǎn)品組成的混合托盤示例

然而，早期的機(jī)器人拆垛系統(tǒng)主要通過(guò)人工控制來(lái)完成機(jī)器人抓取，只適用于單一貨物的卸載，且要求貨物按照固定順序排列，機(jī)器人并不具備感知能力，無(wú)法對(duì)外界的變化做出反應(yīng)。然而，多品規(guī)物料拆垛系統(tǒng)的待卸載物體尺寸多變，且碼放不規(guī)整，因而要求機(jī)器人具備實(shí)時(shí)的環(huán)境感知能力以引導(dǎo)抓取動(dòng)作。

隨著各類光學(xué)傳感器的發(fā)展，人們逐漸將計(jì)算機(jī)視覺技術(shù)引入機(jī)器人抓取任務(wù)中，以提高機(jī)器人獲取外界信息的能力?；谝曈X引導(dǎo)的機(jī)器人拆垛系統(tǒng)通常包含五個(gè)模塊，分別為視覺信息獲取模塊、物體定位與分析模塊、抓取位置計(jì)算模塊、手眼坐標(biāo)轉(zhuǎn)換模塊和運(yùn)動(dòng)規(guī)劃模塊，如圖2所示。其中，前三個(gè)模塊為視覺系統(tǒng)的主體部分，負(fù)責(zé)獲取、處理視覺信息，提供物體位姿。后兩個(gè)模塊主要用于向機(jī)器人提供控制信息，完成抓取功能。下面我們將對(duì)每個(gè)模塊、常用方法及實(shí)施案例進(jìn)行介紹。

圖2 物流拆垛機(jī)器人視覺系統(tǒng)總體結(jié)構(gòu)示意圖

一、視覺信息獲取模塊

視覺信息獲取模塊的作用是捕獲視覺信息，為后續(xù)步驟提供輸入。目前較為常用的視覺輸入包括2D RGB圖像、3D點(diǎn)云圖像和2D與3D組合的RGB-D圖像等。其中，基于2D RGB圖像的視覺輔助機(jī)械臂抓取是目前工業(yè)上比較成熟的方案，其將機(jī)器人抓取的問題轉(zhuǎn)化為對(duì)RGB圖像做物體的目標(biāo)檢測(cè)或圖像分割的問題。然而，2D視覺缺乏物體的絕對(duì)尺度信息，只能在特定的條件下使用，如垛型固定、物料尺寸已知的場(chǎng)景。對(duì)于物料品規(guī)未知的場(chǎng)景，要求視覺模塊為機(jī)器人提供準(zhǔn)確的待抓取物體的絕對(duì)尺寸信息，因此只能使用3D點(diǎn)云圖像或2D與3D組合的RGB-D圖像。相比于RGB信息，RGB-D信息包含了相機(jī)到物體的空間距離信息；相比于3D點(diǎn)云圖像，RGB-D信息則包含豐富的彩色紋理信息。因此，可以采用RGB-D圖像作為多品規(guī)物料拆垛系統(tǒng)的視覺信息輸入。

二、物體定位與分析模塊

物體定位與分析模塊接收視覺信息獲取模塊輸入的數(shù)據(jù)，分析出場(chǎng)景中存在的物料，并獲取其位置、姿態(tài)等關(guān)鍵信息，之后再將這些關(guān)鍵信息輸入抓取位姿計(jì)算模塊。通常來(lái)說(shuō)，機(jī)器人拆垛系統(tǒng)中的物料定位問題可以轉(zhuǎn)化為視覺領(lǐng)域的目標(biāo)檢測(cè)或圖像分割問題。基于RGB-D視覺的機(jī)器人抓取方案，可以先在RGB圖像上對(duì)物料進(jìn)行二維目標(biāo)檢測(cè)或二維圖像分割，然后融合深度圖輸出物體的絕對(duì)尺寸與抓取位姿；或者直接對(duì)三維點(diǎn)云圖做目標(biāo)檢測(cè)或分割。下面將對(duì)相關(guān)工作進(jìn)行簡(jiǎn)單介紹。

1.二維目標(biāo)檢測(cè)

二維目標(biāo)檢測(cè)的輸入是場(chǎng)景的RGB圖像，輸出為圖像中物體的類別和位置，位置以邊框或中心的形式給出。目標(biāo)檢測(cè)的方法可以分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)的目標(biāo)檢測(cè)方法一般使用滑動(dòng)窗口的方式遍歷整張圖片，每個(gè)窗口成為一個(gè)候選區(qū)域。對(duì)于每個(gè)候選區(qū)域，首先使用SIFT、HOG等方法進(jìn)行特征提取，然后訓(xùn)練一個(gè)分類器來(lái)對(duì)提取的特征進(jìn)行分類。比如經(jīng)典的DPM算法就是使用SVM對(duì)改良后的HOG特征進(jìn)行分類，從而達(dá)到目標(biāo)檢測(cè)的效果。傳統(tǒng)方法有兩個(gè)明顯的缺陷：首先是用滑動(dòng)窗口來(lái)遍歷整張圖片十分耗時(shí)，使得算法的時(shí)間復(fù)雜度很高，難以應(yīng)用于大規(guī)模或有實(shí)時(shí)性要求的場(chǎng)景；其次，所使用的特征往往需要人工設(shè)計(jì)，使得此類算法較為依賴經(jīng)驗(yàn)，魯棒性較差。

2.二維圖像分割

圖像分割可以看作像素級(jí)別的圖像分類任務(wù)。根據(jù)分割結(jié)果含義的不同，又可以將圖像分割分為語(yǔ)義分割（semantic segmentation）和實(shí)例分割（instance segmentation）。語(yǔ)義分割對(duì)圖像中的每個(gè)像素都劃分出對(duì)應(yīng)的類別；而實(shí)例分割不但要進(jìn)行像素級(jí)別的分類，還需要在具體類別基礎(chǔ)上區(qū)別開不同的實(shí)例。相對(duì)目標(biāo)檢測(cè)的邊界框，實(shí)例分割可精確到物體的邊緣；相對(duì)語(yǔ)義分割，實(shí)例分割需要標(biāo)注出圖上同類物體的不同個(gè)體。在拆垛應(yīng)用中，我們需要精確提取物料的邊緣以計(jì)算抓取位置，因此需要采用實(shí)例分割技術(shù)?，F(xiàn)有的圖像分割技術(shù)可以分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。

傳統(tǒng)的圖像分割方法大多基于圖片中灰度值的相似或突變來(lái)判斷像素是否屬于同一類別。常用的方法包括基于圖論的方法、基于聚類的方法和基于邊緣檢測(cè)的方法。

基于深度學(xué)習(xí)的方法相比于傳統(tǒng)方法大幅度提高了二維圖像分割的準(zhǔn)確性。典型的深度神經(jīng)網(wǎng)絡(luò)框架，如AlexNet、VGGNet、GoogleNet等在網(wǎng)絡(luò)的最后加入全連接層進(jìn)行特征整合，隨后通過(guò)softmax來(lái)判斷整張圖片的類別。為了解決圖像分割問題，F(xiàn)CN框架將這些全連接層替換成了反卷積層，使得網(wǎng)絡(luò)的輸出結(jié)果從一個(gè)一維概率變成了一個(gè)和輸入分辨率相同的矩陣，是將深度學(xué)習(xí)應(yīng)用于語(yǔ)義分割的開山之作。

3.三維目標(biāo)檢測(cè)

三維目標(biāo)檢測(cè)通過(guò)直接計(jì)算物體的3D位置，使機(jī)器人可以準(zhǔn)確地預(yù)判和規(guī)劃自己的行為和路徑，避免碰撞和違規(guī)。三維目標(biāo)檢測(cè)按照傳感器類型分為單目相機(jī)、雙目相機(jī)、多目相機(jī)、線面激光雷達(dá)掃描、深度相機(jī)和紅外相機(jī)目標(biāo)檢測(cè)。一般而言，由多目相機(jī)組成的立體/多目視覺系統(tǒng)或者激光雷達(dá)可以實(shí)現(xiàn)更準(zhǔn)確地3D點(diǎn)云測(cè)量，其中基于多視圖的方法可以使用從不同視圖的圖像中得到的視差來(lái)獲得深度圖；基于點(diǎn)云的方法從點(diǎn)云獲取目標(biāo)信息。相比較而言，由于點(diǎn)的深度數(shù)據(jù)可以直接測(cè)量，基于點(diǎn)云的三維目標(biāo)檢測(cè)本質(zhì)上是三維點(diǎn)的劃分問題，因此更為直觀和準(zhǔn)確。

三、抓取位姿計(jì)算模塊

抓取位姿計(jì)算模塊利用第二個(gè)模塊輸出的目標(biāo)物體的位置姿態(tài)信息來(lái)計(jì)算機(jī)器人的抓取位姿。由于在多品規(guī)物料拆垛系統(tǒng)中經(jīng)常同時(shí)存在多個(gè)可抓取目標(biāo)，因此該模塊應(yīng)解決“抓哪個(gè)”和“怎么抓”兩個(gè)問題。

第一步解決“抓哪個(gè)”的問題。該問題的目標(biāo)是在眾多抓取目標(biāo)中選取一個(gè)最佳的抓取目標(biāo)，這里的“最佳”往往需要通過(guò)實(shí)際需求來(lái)定義。具體地，可以根據(jù)實(shí)際情況量化一些對(duì)抓取判斷有影響的指標(biāo)，然后對(duì)這些指標(biāo)進(jìn)行優(yōu)先級(jí)調(diào)度。

第二步解決“怎么抓”的問題。我們可以選擇通過(guò)力學(xué)分析的方式解析計(jì)算出抓取的位姿，也可以通過(guò)學(xué)習(xí)的方法先對(duì)物體進(jìn)行分類，再根據(jù)分類選擇抓取點(diǎn)，或者直接回歸出抓取位姿。

四、手眼坐標(biāo)轉(zhuǎn)換模塊

通過(guò)第三個(gè)模塊，我們已經(jīng)獲得了一個(gè)可行的抓取位姿。然而，該抓取位姿是基于相機(jī)坐標(biāo)系下的位姿，在進(jìn)行運(yùn)動(dòng)規(guī)劃之前，還需要將抓取位姿轉(zhuǎn)化到機(jī)器人坐標(biāo)系下。在拆垛系統(tǒng)中，通常使用手眼標(biāo)定來(lái)解決這個(gè)問題。根據(jù)相機(jī)固定位置不同，手眼標(biāo)定方法可以分為兩種情況。一種是相機(jī)固定在機(jī)械臂上，相機(jī)隨著機(jī)械臂一起移動(dòng)，稱為“眼在手”（Eye-in-hand），如圖 3所示。在這種關(guān)系下，機(jī)械臂的兩次運(yùn)動(dòng)中，機(jī)器人底座和標(biāo)定板的位姿關(guān)系始終不變，求解的量為相機(jī)和機(jī)器人末端坐標(biāo)系的位姿關(guān)系。另一種是相機(jī)固定在獨(dú)立支架上，稱為“眼在外”（Eyeto-hand），如圖 4所示。這種關(guān)系下，機(jī)械臂的兩次運(yùn)動(dòng)中，機(jī)器人末端和標(biāo)定板的位姿關(guān)系始終不變，求解的量為相機(jī)和機(jī)器人底座坐標(biāo)系之間的位姿關(guān)系。兩種情況最終都轉(zhuǎn)化為一個(gè)AX=XB的求解問題，可以利用李群和李代數(shù)將該方程轉(zhuǎn)化為線性方程以分別求解旋轉(zhuǎn)量和平移量。

圖3 “眼在手”（Eye-in-hand）標(biāo)定系統(tǒng)示意圖

圖4 “眼在外”（Eye-to-hand）標(biāo)定系統(tǒng)示意圖

五、運(yùn)動(dòng)規(guī)劃模塊

該模塊主要考慮機(jī)器人的運(yùn)動(dòng)學(xué)、動(dòng)力學(xué)、力學(xué)分析、運(yùn)動(dòng)規(guī)劃等，規(guī)劃出一條與環(huán)境不碰撞的可行運(yùn)動(dòng)路徑。通過(guò)將抓取位姿計(jì)算模塊獲得的相機(jī)坐標(biāo)系下的抓取位姿乘以手眼坐標(biāo)轉(zhuǎn)換模塊標(biāo)定的轉(zhuǎn)換矩陣，我們可以得到機(jī)械臂坐標(biāo)系下的抓取位姿。根據(jù)這個(gè)位姿可以進(jìn)行運(yùn)動(dòng)規(guī)劃，最終引導(dǎo)機(jī)械臂完成拆碼垛任務(wù)。因此，運(yùn)動(dòng)規(guī)劃模塊的輸入為機(jī)械臂運(yùn)動(dòng)的起始位姿和目標(biāo)位姿，輸出為機(jī)械臂的運(yùn)動(dòng)路徑。

完整的運(yùn)動(dòng)規(guī)劃算法可以拆分成以下三個(gè)步驟：

步驟一：逆運(yùn)動(dòng)學(xué)求解。為避免出現(xiàn)奇異點(diǎn)等問題，機(jī)械臂運(yùn)動(dòng)規(guī)劃一般在關(guān)節(jié)空間下進(jìn)行。所以我們首先應(yīng)根據(jù)輸入的位姿進(jìn)行逆運(yùn)動(dòng)學(xué)求解，得到位姿對(duì)應(yīng)的關(guān)節(jié)值。

步驟二：路徑規(guī)劃。通過(guò)路徑規(guī)劃算法，我們可以得到機(jī)械臂的運(yùn)動(dòng)路徑。該步驟的目標(biāo)有兩點(diǎn)：一是避障，保證機(jī)械臂在運(yùn)動(dòng)過(guò)程中不與場(chǎng)景中的其他物體發(fā)生碰撞；二是提升運(yùn)行速度，以提高系統(tǒng)的運(yùn)行效率。通過(guò)規(guī)劃合理的運(yùn)動(dòng)路徑，可以讓機(jī)械臂單次抓取的運(yùn)行時(shí)間更短，從而提升效率。

步驟三：時(shí)間插值。盡管通過(guò)路徑規(guī)劃我們已經(jīng)可以得到一條可行的運(yùn)動(dòng)路徑，然而這條路徑是由一個(gè)個(gè)位置點(diǎn)構(gòu)成的。機(jī)械臂在沿著這條路徑運(yùn)行時(shí)，需要不停加減速，因此會(huì)對(duì)運(yùn)行速度造成影響。為此，我們需要進(jìn)行時(shí)間插值，對(duì)路徑上的每個(gè)點(diǎn)求取機(jī)械臂運(yùn)動(dòng)到該點(diǎn)時(shí)的速度、加速度、時(shí)間信息等。這樣，機(jī)械臂便可以連續(xù)、平滑地運(yùn)行，從而提升效率。

六、實(shí)施實(shí)例

基于上述研究，在件箱物料識(shí)別場(chǎng)景中，可采用由3D深度相機(jī)、光照系統(tǒng)、計(jì)算機(jī)、以及視覺處理軟件組成的一個(gè)完整的視覺系統(tǒng)，獲得現(xiàn)實(shí)物體的一些特殊信息，而通過(guò)這套系統(tǒng)獲得的信息，可以被用于完成一些特殊的任務(wù)，例如通過(guò)視覺系統(tǒng)獲得箱子位置，可以引導(dǎo)機(jī)器人抓取，獲得箱子數(shù)量信息，作為任務(wù)的校驗(yàn)。這套系統(tǒng)的主要組成部分，如圖5所示。

圖5 視覺系統(tǒng)組成

3D相機(jī)和光照系統(tǒng)主要用于拍照成像，其中3D相機(jī)可以獲得一定范圍內(nèi)的深度數(shù)據(jù)。而數(shù)字圖像成像與光照系統(tǒng)相關(guān)。計(jì)算機(jī)則包括通用計(jì)算與存儲(chǔ)設(shè)備，用于保存圖像，通過(guò)專門的視覺軟件處理圖像，同時(shí)還要與其他系統(tǒng)進(jìn)行網(wǎng)絡(luò)通訊。圖像顯示器可以方便操作者操作視覺處理軟件，監(jiān)測(cè)系統(tǒng)運(yùn)行情況。大容量?jī)?chǔ)存用于永久或暫時(shí)存放圖像或其他數(shù)據(jù)。而專門的視覺軟件則包括數(shù)字圖像處理，圖像數(shù)據(jù)分析，以及一些特殊功能。

一般來(lái)說(shuō)，一臺(tái)3D深度相機(jī)幀率為1到30幀，RGB圖像分辨率有640×480，1280×960，特殊的有1920×1080，2592×1944，深度范圍為500mm左右到5000mm左右。

而根據(jù)價(jià)格不同，有不同的精度和范圍。下面以某品牌的一款3D相機(jī)為例，參數(shù)如圖6所示，精度如圖7所示。

圖6 某3D相機(jī)參數(shù)

圖7 某3D相機(jī)精度

使用3D相機(jī)，可以獲得特殊場(chǎng)景的RGB圖像和深度圖像，根據(jù)對(duì)這些圖像（見圖8）的處理和分析，可以獲得一些關(guān)于場(chǎng)景里物體的位置、數(shù)量、信息。

圖8 原拍攝圖像

圖9的矩形框就是處理后識(shí)別出來(lái)的箱子抓取位置圖。按左上、左下、右上、右下的順序分別為“2、3、3、2”，即機(jī)器手會(huì)根據(jù)圖像識(shí)別系統(tǒng)給的位置信息按左上兩個(gè)箱子、左下三個(gè)箱子、右上三個(gè)箱子、右下兩個(gè)箱子的順序去抓取。

圖9 經(jīng)過(guò)圖像識(shí)別系統(tǒng)處理后識(shí)別出來(lái)的框圖

七、總結(jié)

在本文中，我們對(duì)3D視覺引導(dǎo)的多品規(guī)物料機(jī)器人拆垛系統(tǒng)框架及常用方法進(jìn)行了介紹，并定義了該框架需要具備的幾個(gè)基本模塊，即視覺信息獲取模塊、物體定位與分析模塊、抓取位姿計(jì)算模塊、手眼坐標(biāo)轉(zhuǎn)換模塊、運(yùn)動(dòng)規(guī)劃模塊，并且對(duì)每個(gè)模塊的主要任務(wù)和常用方法進(jìn)行了說(shuō)明。在實(shí)際應(yīng)用中，可以根據(jù)需要使用不同的方法來(lái)實(shí)現(xiàn)這些模塊，而不影響其他模塊和系統(tǒng)整體的功能。