王 帥， 王軍義， 賈子熙， 白 帆， 王冬冬

（東北大學(xué)機(jī)器人科學(xué)與工程學(xué)院，沈陽(yáng)110819）

0 引 言

機(jī)器人工程專業(yè)是在新工科背景下順應(yīng)國(guó)家建設(shè)需求和國(guó)際發(fā)展趨勢(shì)而設(shè)立的專業(yè)，在自動(dòng)化類專業(yè)基礎(chǔ)上深化機(jī)器人科學(xué)與工程學(xué)科特色，具有交叉性、實(shí)踐性強(qiáng)的特點(diǎn)。按照機(jī)器人工程專業(yè)現(xiàn)行培養(yǎng)計(jì)劃，大四上學(xué)期開(kāi)設(shè)的移動(dòng)機(jī)器人控制實(shí)驗(yàn)，以《工程教育認(rèn)證標(biāo)準(zhǔn)》為指導(dǎo)目標(biāo)，秉承“以學(xué)生為中心”的教學(xué)理念，采用項(xiàng)目式（project-based learning，PBL）教學(xué)方式［1］，從符合產(chǎn)業(yè)發(fā)展的多學(xué)科交叉項(xiàng)目出發(fā)，“自頂而下”設(shè)計(jì)實(shí)驗(yàn)內(nèi)容，并對(duì)復(fù)雜工程問(wèn)題分層次進(jìn)行研究，設(shè)計(jì)了基于深度學(xué)習(xí)的移動(dòng)機(jī)械手抓取實(shí)驗(yàn)。以培養(yǎng)學(xué)生自主學(xué)習(xí)的能力以及團(tuán)隊(duì)成員協(xié)作交流能力，包括撰寫(xiě)報(bào)告和陳述發(fā)言、清晰表達(dá)或回應(yīng)指令等能力。

1 移動(dòng)機(jī)械手抓取實(shí)驗(yàn)平臺(tái)總體架構(gòu)

硬件系統(tǒng)為搭載單線激光雷達(dá)的移動(dòng)平臺(tái)、AUBO i5機(jī)械臂、Intel RealsenseSR300深度攝像頭和帶麥克風(fēng)的IntelI7處理器的PC。軟件部分主要是在Ubuntu16.04下完成的，在機(jī)器人操作系統(tǒng)（robot operation system，ROS）平臺(tái)上進(jìn)行各個(gè)部分的通信，并利用MoveIt進(jìn)行機(jī)械臂的控制，系統(tǒng)總體架構(gòu)如圖1所示。

圖1 機(jī)械臂抓取實(shí)驗(yàn)平臺(tái)總體架構(gòu)

通過(guò)語(yǔ)音系統(tǒng)下達(dá)任務(wù)指令，控制移動(dòng)平臺(tái)開(kāi)始自主導(dǎo)航和避障到達(dá)目標(biāo)點(diǎn)，進(jìn)行目標(biāo)檢測(cè)和執(zhí)行抓取任務(wù)。整個(gè)項(xiàng)目在ROS平臺(tái)上搭建，利用百度語(yǔ)音識(shí)別系統(tǒng)與用戶進(jìn)行交互，借助ROS通信機(jī)制完成語(yǔ)音控制導(dǎo)航和控制目標(biāo)檢測(cè)與抓取的功能。在自主導(dǎo)航和避障方面，采用gmapping方法通過(guò)成本較低的激光雷達(dá)采集室內(nèi)地圖信息并保存為地圖，利用amcl

（自適應(yīng)蒙特卡洛定位）方法實(shí)現(xiàn)自我定位，通過(guò)實(shí)時(shí)接收的里程計(jì)數(shù)據(jù)，調(diào)整移動(dòng)機(jī)器人的運(yùn)動(dòng)，以減少誤差，并利用Bresenham算法計(jì)算柵格地圖中非障礙物格點(diǎn)的集合，將機(jī)器人安全地移動(dòng)到目標(biāo)位置，實(shí)現(xiàn)室內(nèi)的低成本、高準(zhǔn)確度的導(dǎo)航與避障功能。在目標(biāo)檢測(cè)方面，直接讀取相機(jī)的彩色圖像，利用預(yù)訓(xùn)練完成的YOLO模型進(jìn)行物體識(shí)別與檢測(cè)，并將識(shí)別到的候選目標(biāo)與語(yǔ)音指令中的目標(biāo)對(duì)比，選定最終的目標(biāo)區(qū)域，將其對(duì)應(yīng)的深度圖像輸入到抓取生成卷積網(wǎng)絡(luò)GGCNN中。該網(wǎng)絡(luò)可以將深度圖像作為輸入，直接預(yù)測(cè)出每個(gè)像素點(diǎn)的抓取質(zhì)量（成功率）、寬度和位姿，獲得物體的最優(yōu)的抓取位姿。直接在ROS平臺(tái)下利用MoveIt控制機(jī)械臂，到達(dá)目標(biāo)位姿，完成抓取動(dòng)作。實(shí)驗(yàn)結(jié)果表明本文構(gòu)建的移動(dòng)機(jī)器人系統(tǒng)能夠?qū)崿F(xiàn)在語(yǔ)音控制下的導(dǎo)航避障、物體檢測(cè)與自主抓取，結(jié)合語(yǔ)音識(shí)別、SLAM、目標(biāo)檢測(cè)、位姿生成、ROS和機(jī)械臂與移動(dòng)平臺(tái)控制等多種技術(shù)，提高了學(xué)生解決復(fù)雜工程問(wèn)題的能力。

2 課程設(shè)計(jì)內(nèi)容

2.1 實(shí)驗(yàn)?zāi)康呐c要求

（1）了解SLAM原理，并學(xué)會(huì)在ROS下應(yīng)用SLAM；

（2）了解ROS下語(yǔ)音控制移動(dòng)機(jī)器人導(dǎo)航方法；

（3）理解YOLO的算法原理，并學(xué)會(huì)利用預(yù)訓(xùn)練的YOLO模型，進(jìn)行物體識(shí)別與檢測(cè)；

（4）學(xué)會(huì)訓(xùn)練并使用最優(yōu)抓取位姿生成神經(jīng)網(wǎng)絡(luò)（GG-CNN）模型，實(shí)現(xiàn)抓取位姿生成；

（5）掌握眼在手上的機(jī)器人視覺(jué)標(biāo)定與相機(jī)內(nèi)參標(biāo)定；

（6）學(xué)會(huì)在ROS平臺(tái)下利用MoveIt控制機(jī)械臂完成目標(biāo)抓取。

2.2 實(shí)驗(yàn)內(nèi)容

2.2.1 語(yǔ)音識(shí)別

在ROS下，利用百度語(yǔ)音識(shí)別系統(tǒng)實(shí)現(xiàn)人機(jī)交互，將語(yǔ)音信號(hào)轉(zhuǎn)化為指令，控制機(jī)器人導(dǎo)航到達(dá)目的地以及目標(biāo)檢測(cè)指定物體功能［2］。表1為語(yǔ)音控制的偽代碼。

表1 語(yǔ)音控制偽代碼

2.2.2 自主導(dǎo)航和實(shí)時(shí)避障

對(duì)實(shí)驗(yàn)場(chǎng)景進(jìn)行地圖構(gòu)建。Gmapping是基于濾波SLAM框架的常用開(kāi)源SLAM算法，可以實(shí)時(shí)構(gòu)建室內(nèi)地圖，在構(gòu)建小場(chǎng)景地圖所需的計(jì)算量較小且精度較高。相比Hector SLAM對(duì)激光雷達(dá)頻率要求低、魯棒性高?；贕mapping算法建立的地圖如圖2所示。

圖2 Gmapping地圖

在建立完世界地圖后，利用移動(dòng)機(jī)器人的概率定位算法AMCL［3］，通過(guò)PF粒子濾波來(lái)跟蹤定位已知地圖中的機(jī)器人位置。激光傳感器會(huì)向固定的方向發(fā)射激光束，發(fā)射出的激光遇到障礙物會(huì)被反射，這樣就能得到激光從發(fā)射到收到的時(shí)間差，乘以速度除以2就得到了傳感器到該方向上最近障礙物的距離，再計(jì)算障礙物在柵格地圖中的坐標(biāo)，以及機(jī)器人在柵格地圖中的坐標(biāo)，使用Bresenham算法來(lái)計(jì)算非障礙物格點(diǎn)的集合。利用激光傳感器構(gòu)建柵格地圖來(lái)完成避障導(dǎo)航功能［4］，自主導(dǎo)航效果圖如圖3所示。

圖3 自主導(dǎo)航效果圖

2.2.3 物體識(shí)別與檢測(cè)

考慮到目標(biāo)檢測(cè)的實(shí)時(shí)性，直接采用YOLO v1［5］進(jìn)行目標(biāo)檢測(cè)。YOLO v1是一種基于深度神經(jīng)網(wǎng)絡(luò)的對(duì)象識(shí)別和定位算法，其最大的特點(diǎn)是運(yùn)行速度快，可用于實(shí)時(shí)系統(tǒng)。YOLO v1將物體檢測(cè)作為回歸問(wèn)題求解?；谝粋€(gè)單獨(dú)的end-to-end網(wǎng)絡(luò)，完成從原始圖像的輸入到物體位置和類別的輸出。僅經(jīng)過(guò)一次模型推理，便能得到圖像中所有物體的位置和其所屬類別及相應(yīng)的置信概率。

為方便學(xué)生盡快將目標(biāo)檢測(cè)應(yīng)用于項(xiàng)目中，在學(xué)習(xí)完YOLO v1的基本理論以后，直接應(yīng)用預(yù)訓(xùn)練的YOLO v1模型進(jìn)行常用物體的識(shí)別與檢測(cè)，避免長(zhǎng)時(shí)間的模型訓(xùn)練。

在目標(biāo)檢測(cè)過(guò)程中，加載預(yù)訓(xùn)練的YOLO v1模型，讀取相機(jī)的彩色圖像，并以448×448×3的大小輸入到Y(jié)OLO v1模型中，經(jīng)過(guò)網(wǎng)絡(luò)模型的推理，得到輸出的是一個(gè)7×7×30的向量，包含了圖片中物體的分類結(jié)果以及其位置信息的編碼。輸出的30維的特征向量中前20維為模型預(yù)測(cè)的20個(gè)對(duì)象的概率，接著2維分別預(yù)測(cè)2個(gè)bounding box的置信度，最后的8維分別表示2個(gè)bounding box的位置，其中每個(gè)bounding box的位置需要4個(gè)數(shù)值進(jìn)行表示。通過(guò)模型的輸出特征得到檢測(cè)的候選物體，并將其與語(yǔ)音指令中的物體對(duì)比，得到最終的目標(biāo)物體，并將該區(qū)域?qū)?yīng)的深度圖像發(fā)布到位姿生成算法的話題上，完成目標(biāo)檢測(cè)。YOLO v1網(wǎng)絡(luò)示意圖如圖4，算法流程圖如圖5所示。

圖4 YOLO網(wǎng)絡(luò)示意圖

圖5 YOLO算法檢測(cè)流程

2.2.4 抓取位姿生成

在抓取位姿生成模型訓(xùn)練中，采用Cornell Grasping Dataset［6］的數(shù)據(jù)。Cornell Grasping Dataset包含885個(gè)真實(shí)物體的RGB-D圖像，每個(gè)圖像打上若干標(biāo)簽，其中5 110個(gè)被打上“positive抓取”標(biāo)簽，2 909個(gè)被打上“negative抓取”標(biāo)簽。這是一個(gè)相對(duì)較小的抓取數(shù)據(jù)集，使用隨機(jī)裁剪，縮放和旋轉(zhuǎn)來(lái)增加Cornell Grasping Dataset的數(shù)量［7］，創(chuàng)建一組8 840個(gè)深度圖像和相關(guān)抓取圖像的集合G T，并有效地結(jié)合了51 100個(gè)抓取示例。

Cornell Grasping Dataset使用像素坐標(biāo)將待抓取位姿表示為矩形框，校準(zhǔn)末端執(zhí)行器的位置和旋轉(zhuǎn)角度。為從抓取矩形框表示轉(zhuǎn)變?yōu)榛趫D像的表示，選擇每個(gè)抓取矩形的中心1/3處作為圖像掩碼，其對(duì)應(yīng)于抓取器中心的位置，選用被標(biāo)記為positive的抓取訓(xùn)練GG-CNN網(wǎng)絡(luò)并假設(shè)其他任何的區(qū)域都不是有效的抓取。

抓取質(zhì)量（準(zhǔn)確率）：將每個(gè)有效抓取視為二進(jìn)制標(biāo)簽，并將抓取質(zhì)量Q T的相應(yīng)區(qū)域設(shè)置為1，其他所有像素均為0。

角度：計(jì)算每個(gè)抓取矩形在［－π/2，π/2］范圍內(nèi)的角度，并設(shè)置相應(yīng)的抓取角度ΦT區(qū)域。由于二指抓取在±π/2弧度附近是對(duì)稱的，本文使用兩個(gè)分量sin（2ΦT）和cos（2ΦT），它們提供在ΦT∈［－π/2，π/2］內(nèi)唯一且在±π/2處對(duì)稱的值。

寬度：和角度類似，計(jì)算每個(gè)抓取矩形的寬度（以最大值為單位），表示抓取器的寬度并設(shè)置夾爪寬度W T的相應(yīng)部分。在訓(xùn)練期間，將W T的值按1/150的比例縮小，使其在［0，1］范圍內(nèi)。

通過(guò)以上的定義和操作，從Cornell Grasping Dataset中，生成用于訓(xùn)練GG-CNN模型的數(shù)據(jù)集。

生成最優(yōu)抓取位姿利用GG-CNN［8］計(jì)算函數(shù)Mθ（I）＝（Qθ，Φθ，Wθ），直接從輸入的深度圖像I來(lái)近似生成抓取信息圖像Gθ，以300×300的深度圖像作為輸入，經(jīng)過(guò)3層卷積操作和3層反卷積操作，最終獲得抓取的信息圖。GG-CNN結(jié)構(gòu)示意圖如6所示。

圖6 GG-CNN結(jié)構(gòu)示意圖

將圖像中的抓取位姿變換到機(jī)器人坐標(biāo)系下。

式中：tRC為從相機(jī)坐標(biāo)系轉(zhuǎn)換到機(jī)械臂坐標(biāo)系的坐標(biāo)變換；tCI為基于相機(jī)內(nèi)部參數(shù)和機(jī)器人與相機(jī)之間的已知校準(zhǔn)，從2D圖像坐標(biāo)轉(zhuǎn)換到3D相機(jī)坐標(biāo)系；g～

為從抓取信息圖Gθ中得到的一組抓取信息。

2.2.5 手眼標(biāo)定

本文采用眼在手上（eye in hand）的方式識(shí)別AR Marker碼［10］來(lái)進(jìn)行相機(jī)外參標(biāo)定，如圖7所示。

圖7 Eye-in-hand手眼標(biāo)定過(guò)程

對(duì)于機(jī)器人移動(dòng)過(guò)程中任意兩個(gè)位姿，機(jī)器人底座和標(biāo)定板的關(guān)系始終不變，求出相機(jī)和機(jī)器人末端坐標(biāo)系的位姿關(guān)系。

式中：Camera1、Camera2為兩次運(yùn)動(dòng)相機(jī)的位姿；End1、End2為兩次運(yùn)動(dòng)機(jī)械臂末端位姿，根據(jù)標(biāo)定板（Object）和機(jī)器人底座間（Base）兩次運(yùn)動(dòng)保持不變，上式經(jīng)過(guò)轉(zhuǎn)換后，可得：

即

在標(biāo)定中，首先利用ROScamera_calibration包基于張正友法進(jìn)行內(nèi)參標(biāo)定［9］，然后再利用easy_handeye手眼標(biāo)定功能包直接求解［10］進(jìn)行外參標(biāo)定，至此完成手眼標(biāo)定用于后面的基于視覺(jué)的抓取工作。

2.2.6 實(shí)驗(yàn)結(jié)果

本文在1080ti GPU訓(xùn)練GG-CNN網(wǎng)絡(luò)模型，經(jīng)過(guò)100個(gè)epoch的訓(xùn)練后，將訓(xùn)練好的模型進(jìn)行測(cè)試，預(yù)測(cè)效果如圖8所示。

圖8 GG-CNN輸出及抓取框生成

將數(shù)據(jù)集中帶標(biāo)記抓取框（綠色）的RGB圖像（左上）、生成抓取框（紅色）的深度圖像（右上）、網(wǎng)絡(luò)輸出的抓取寬度圖像（左下）和抓取角度圖像（右下）顯示出來(lái)。從生成抓取框的灰度圖像可以清晰地看出，GG-CNN所生成的抓取框與原數(shù)據(jù)集中標(biāo)記的抓取框的位置、寬度和角度值相差不大，效果理想。

將項(xiàng)目整體進(jìn)行實(shí)驗(yàn)測(cè)試，硬件系統(tǒng)為搭載激光雷達(dá)的移動(dòng)平臺(tái)、AUBO i5機(jī)械臂、Intel Realsense SR300深度攝像頭和帶麥克風(fēng)的Intel I7處理器的PC。軟件部分主要是在Ubuntu16.04下完成的，在ROS平臺(tái)上進(jìn)行各個(gè)部分的通信，并利用MoveIt控制機(jī)械臂完成抓取動(dòng)作［11］，實(shí)驗(yàn)效果如圖9所示。

圖9 實(shí)驗(yàn)系統(tǒng)驗(yàn)證效果

移動(dòng)機(jī)器人在實(shí)驗(yàn)者語(yǔ)音的指導(dǎo)下由“客廳”走進(jìn)“廚房”，然后按照命令?yuàn)A起“香蕉”。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證與測(cè)試，移動(dòng)機(jī)器人能夠在用戶的語(yǔ)音控制下順利地完成自主導(dǎo)航與避障、目標(biāo)物體的識(shí)別檢測(cè)與自主抓取，系統(tǒng)的魯棒性和實(shí)時(shí)性較好。

3 實(shí)驗(yàn)實(shí)施及項(xiàng)目評(píng)估

實(shí)驗(yàn)采用5～6人一組，自由組隊(duì)，組長(zhǎng)分配任務(wù)和權(quán)重。實(shí)驗(yàn)內(nèi)容及考核方式見(jiàn)表2。

表2 實(shí)驗(yàn)內(nèi)容及考核方式

（1）預(yù)習(xí)階段。通過(guò)檢索國(guó)內(nèi)外科技論文，查閱資料，了解移動(dòng)機(jī)器人的組成、導(dǎo)航算法、目標(biāo)檢測(cè)算法、抓取位姿生成算法，以及語(yǔ)音識(shí)別，手眼標(biāo)定，MoveIt控制機(jī)械臂；引導(dǎo)學(xué)生把項(xiàng)目分解為若干子課題，討論分工及子課題的進(jìn)行順序，撰寫(xiě)實(shí)驗(yàn)計(jì)劃。

（2）操作階段。根據(jù)學(xué)生的知識(shí)水平、學(xué)習(xí)能力和實(shí)踐能力，結(jié)合課程設(shè)計(jì)項(xiàng)目的難度和特點(diǎn)，分“基礎(chǔ)-拓展-提高”3階段有序開(kāi)展創(chuàng)新能力培養(yǎng)工作?；A(chǔ)階段首先讓學(xué)生了解ROS下通信機(jī)制，完成機(jī)械臂和AGV的校正，完成“眼在手上”手眼標(biāo)定；拓展階段學(xué)會(huì)MoveIt功能包控制機(jī)械臂，以及利用百度語(yǔ)音識(shí)別庫(kù)控制AGV運(yùn)動(dòng)；提高階段實(shí)現(xiàn)物體識(shí)別檢測(cè)，生成最優(yōu)抓取位姿，控制機(jī)械臂抓取。

（3）總結(jié)階段。每組寫(xiě)一份課程設(shè)計(jì)報(bào)告，介紹分組情況，系統(tǒng)原理、硬件組成、軟件組成、代碼實(shí)現(xiàn)、系統(tǒng)調(diào)試等部分。每組進(jìn)行演示答辯，老師給出每組成績(jī)，組長(zhǎng)和老師一起分配組員成績(jī)權(quán)重。

4 結(jié) 語(yǔ)

針對(duì)移動(dòng)機(jī)器人控制實(shí)驗(yàn)課程，搭建了基于深度學(xué)習(xí)的移動(dòng)機(jī)械手實(shí)驗(yàn)平臺(tái)，并設(shè)計(jì)了32學(xué)時(shí)的課程設(shè)計(jì)內(nèi)容，取得良好的教學(xué)效果。實(shí)驗(yàn)項(xiàng)目具有以下特點(diǎn)：

（1）按照“自底向上”的教學(xué)設(shè)計(jì)方法，對(duì)標(biāo)《工程教育認(rèn)證標(biāo)準(zhǔn)》，制定人才培養(yǎng)方案，同時(shí)融合“自頂向下”的教學(xué)設(shè)計(jì)方法，分階段完成復(fù)雜工程項(xiàng)目［12］。

（2）基于PBL項(xiàng)目式實(shí)踐教學(xué)模式，把大學(xué)4年所學(xué)多門課程如機(jī)器人基礎(chǔ)原理、機(jī)器人操作系統(tǒng)、圖像處理、機(jī)器視覺(jué)等知識(shí)融會(huì)貫通，真正做到多學(xué)科交叉。

（3）階梯式創(chuàng)新人才培養(yǎng)模式［13］，把科研項(xiàng)目拆解成子課題，根據(jù)學(xué)生的知識(shí)水平、學(xué)習(xí)能力和實(shí)踐能力，結(jié)合課程設(shè)計(jì)項(xiàng)目的難度和特點(diǎn)，分階段有序開(kāi)展創(chuàng)新能力培養(yǎng)工作。

（4）本系統(tǒng)可在多領(lǐng)域應(yīng)用，如可以用作智能輪椅為老年人與殘疾人的生活提供便利，或者作為搬運(yùn)機(jī)器人，具有一定的社會(huì)意義和研究?jī)r(jià)值［14-16］。