劉相權(quán) 秦宇飛

摘? 要：針對(duì)目前服務(wù)機(jī)器人實(shí)訓(xùn)課程教學(xué)存在的設(shè)備成本高、學(xué)生操作機(jī)會(huì)不足等問題，該文提出基于ROS的仿真實(shí)訓(xùn)課程教學(xué)方案。依托真實(shí)系統(tǒng)和仿真實(shí)訓(xùn)室，構(gòu)建基于ROS的服務(wù)機(jī)器人建模與運(yùn)動(dòng)仿真、建圖與導(dǎo)航仿真、平面視覺檢測(cè)仿真、三維視覺檢測(cè)仿真、物品自動(dòng)抓取綜合應(yīng)用仿真5個(gè)實(shí)訓(xùn)項(xiàng)目，詳述每個(gè)項(xiàng)目的實(shí)施要點(diǎn)，實(shí)現(xiàn)虛實(shí)結(jié)合的實(shí)訓(xùn)模式。經(jīng)過實(shí)踐證明，虛擬仿真實(shí)驗(yàn)教學(xué)不僅提高實(shí)訓(xùn)教學(xué)效率，同時(shí)極大激發(fā)學(xué)生的學(xué)習(xí)興趣與自主創(chuàng)新意識(shí)。

關(guān)鍵詞：服務(wù)機(jī)器人；虛擬仿真；建圖與導(dǎo)航；視覺檢測(cè)；實(shí)驗(yàn)教學(xué)

中圖分類號(hào)：G640? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? 文章編號(hào)：2096-000X（2024）05-0073-05

Abstract： Aiming at the problems of high equipment cost and insufficient operation opportunities for students in the teaching of Service Robot Training course， a simulation training course teaching scheme based on ROS is proposed. Relying on the real system and simulation training room， five training projects such as service robot modeling and motion simulation based on ROS， SLAM and navigation simulation， plane visual inspection simulation， three-dimensional visual inspection simulation and automatic grasping comprehensive application simulation are constructed. The implementation key points of each project are described in detail， and the training mode of combining virtual and reality is realized. Practice has proved that the virtual simulation experiment teaching not only improves the training teaching efficiency， but also greatly stimulates students' learning interest and independent innovation consciousness.

Keywords： service robot; Virtual simulation; mapping and navigation; visual inspection; experiment teaching

教育部辦公廳印發(fā)的《2019年教育信息化和網(wǎng)絡(luò)安全工作要點(diǎn)》指出：“推動(dòng)大數(shù)據(jù)、虛擬現(xiàn)實(shí)、人工智能等新技術(shù)在教育教學(xué)中的深入應(yīng)用?！庇纱丝梢姡瑖?guó)家高度重視虛擬現(xiàn)實(shí)在教學(xué)方式方法改革中的應(yīng)用。

ROS作為一種開源軟件，集成了全球機(jī)器人領(lǐng)域頂尖科研機(jī)構(gòu)的研究成果，成為世界上較先進(jìn)、通用的機(jī)器人與人工智能科研和教育平臺(tái)。其涵蓋了建圖與導(dǎo)航定位、物體識(shí)別、運(yùn)動(dòng)規(guī)劃、多關(guān)節(jié)機(jī)械臂運(yùn)動(dòng)控制和機(jī)器學(xué)習(xí)等內(nèi)容。

針對(duì)服務(wù)機(jī)器人實(shí)訓(xùn)課程教學(xué)存在的設(shè)備成本高昂、學(xué)生操作機(jī)會(huì)不足、操作危險(xiǎn)及創(chuàng)新能力培養(yǎng)困難等問題，本文提供了在機(jī)器人實(shí)訓(xùn)教學(xué)中基于ROS可以實(shí)現(xiàn)的仿真應(yīng)用，以促進(jìn)學(xué)生實(shí)踐動(dòng)手能力的提高，提升學(xué)生的職業(yè)競(jìng)爭(zhēng)力[1]。

一? 實(shí)訓(xùn)課程教學(xué)規(guī)劃

服務(wù)機(jī)器人實(shí)訓(xùn)課程的課時(shí)為兩周（共10天），設(shè)置有5個(gè)仿真實(shí)訓(xùn)項(xiàng)目，進(jìn)度安排見表1。

（一）? 服務(wù)機(jī)器人建模與運(yùn)動(dòng)仿真實(shí)訓(xùn)項(xiàng)目

通過這個(gè)仿真項(xiàng)目的訓(xùn)練，學(xué)生可以掌握URDF文件中的物理模型結(jié)構(gòu)、傳感器的代碼描述，最后通過實(shí)例實(shí)現(xiàn)基于激光雷達(dá)傳感器的閉環(huán)運(yùn)動(dòng)控制仿真[2]。建模與運(yùn)動(dòng)仿真實(shí)訓(xùn)項(xiàng)目?jī)?nèi)容如下。

1? URDF的物理模型描述

在ROS系統(tǒng)中，機(jī)器人的三維模型是通過URDF（Unified Robot Description Format）文件進(jìn)行描述的，是一種基于XML規(guī)范擴(kuò)展出來的文本格式。從機(jī)構(gòu)學(xué)角度講，機(jī)器人通常被分解為由連桿和關(guān)節(jié)組成的結(jié)構(gòu)。而URDF就是用來描述這一系列關(guān)節(jié)與連桿的相對(duì)關(guān)系的工具。除此之外，還包括慣性屬性、幾何特點(diǎn)和碰撞模型等一系列附加參數(shù)。

2? URDF的傳感器描述

在模型文件中，包含了全向移動(dòng)底盤描述、RPLidar A2的激光雷達(dá)描述、Kinect v2的立體相機(jī)描述，在Gazebo仿真中，將會(huì)根據(jù)立體相機(jī)描述輸出相應(yīng)的數(shù)據(jù)。Kinect v2的描述內(nèi)容根據(jù)輸出數(shù)據(jù)格式分成了三個(gè)部分：SD深度圖數(shù)據(jù)、HD高清彩色圖像數(shù)據(jù)和QHD半高清彩色圖像數(shù)據(jù)。

3? 基于激光雷達(dá)傳感器的閉環(huán)運(yùn)動(dòng)控制仿真

在一個(gè)標(biāo)準(zhǔn)的ROS程序里，獲取機(jī)器人從仿真環(huán)境里采集到的數(shù)據(jù)，再反饋回去控制仿真環(huán)境里的虛擬機(jī)器人。整個(gè)程序的實(shí)現(xiàn)流程如圖1所示。

程序啟動(dòng)后，如圖2所示，機(jī)器人開始以0.05米/秒的速度向前移動(dòng)；當(dāng)機(jī)器人前方1米處出現(xiàn)障礙物時(shí)，機(jī)器人停止移動(dòng)，以0.3弧度/秒的速度原地轉(zhuǎn)動(dòng)；當(dāng)機(jī)器人轉(zhuǎn)到前方1米范圍內(nèi)沒有障礙物，停止轉(zhuǎn)動(dòng)，繼續(xù)以0.05米/秒的速度向前移動(dòng)。

（二）? 建圖與導(dǎo)航仿真實(shí)訓(xùn)項(xiàng)目

通過這個(gè)仿真項(xiàng)目的訓(xùn)練，學(xué)生首先在了解SLAM建圖原理的基礎(chǔ)上，掌握SLAM建圖和Navigation導(dǎo)航的仿真；接著用開源地圖導(dǎo)航插件完成在仿真環(huán)境中的導(dǎo)航任務(wù)[3-4]；最后通過語(yǔ)音指令實(shí)現(xiàn)機(jī)器人的自主導(dǎo)航功能。建圖與導(dǎo)航仿真實(shí)訓(xùn)項(xiàng)目?jī)?nèi)容如下。

1? 進(jìn)行SLAM建圖和導(dǎo)航仿真

在本項(xiàng)目中，建立了一個(gè)模擬家庭環(huán)境的場(chǎng)景，如圖3所示，場(chǎng)景中共有4個(gè)房間，分別為客廳、臥室、餐廳和廚房，在每個(gè)房間里都放置了一些床、柜子之類的家具；場(chǎng)景有2個(gè)出入口，服務(wù)機(jī)器人初始位置就位于場(chǎng)景的中心位置。

ROS支持多種SLAM算法，本項(xiàng)目主要使用的是Gmapping，是在激光雷達(dá)的基礎(chǔ)上，融合了電機(jī)碼盤里程計(jì)等信息。我們可以使用USB手柄或鍵盤控制機(jī)器人移動(dòng)，在場(chǎng)景里巡游，Gmapping會(huì)把機(jī)器人行經(jīng)的區(qū)域地圖都掃描出來。在Rviz窗口中，可以看到建好的地圖如圖4所示。

建好地圖后，為機(jī)器人指定導(dǎo)航的目標(biāo)地點(diǎn)和目標(biāo)朝向，ROS的導(dǎo)航系統(tǒng)會(huì)自動(dòng)規(guī)劃出一條紫色的路徑。路徑規(guī)劃完畢后，機(jī)器人開始沿著這條路徑移動(dòng)，機(jī)器人到終點(diǎn)后，會(huì)原地旋轉(zhuǎn)，調(diào)整航向角，最終朝向和初始設(shè)置的目標(biāo)朝向一致，如圖5所示。

2? 基于插件的導(dǎo)航調(diào)用

如果是在多個(gè)導(dǎo)航目標(biāo)點(diǎn)之間巡航，并且需要在導(dǎo)航任務(wù)的間隙插入一些識(shí)別抓取等操作，代碼和工作量將成倍增加，為簡(jiǎn)單起見，可以下載一款名為waterplus_map_tools的開源地圖導(dǎo)航插件，該插件基于Rviz的可視化操作，相比代碼描述更加直觀。用鼠標(biāo)設(shè)置導(dǎo)航點(diǎn)，加上少量代碼，就可以完成導(dǎo)航任務(wù)。如圖6所示，在地圖上設(shè)置了4個(gè)導(dǎo)航目標(biāo)點(diǎn)，啟動(dòng)運(yùn)行后，導(dǎo)航插件會(huì)自動(dòng)規(guī)劃全局路徑，機(jī)器人沿著這條路徑自主移動(dòng)，依次到達(dá)各導(dǎo)航目標(biāo)點(diǎn)。

3? 語(yǔ)音識(shí)別和自主導(dǎo)航綜合實(shí)例

在這個(gè)實(shí)例中，通過使用一款名為xfyun_waterplus的開源語(yǔ)音識(shí)別包，將自主導(dǎo)航功能與語(yǔ)音識(shí)別結(jié)合，機(jī)器人通過語(yǔ)音識(shí)別引擎識(shí)別語(yǔ)音指令（Go to the kitchen），然后按照語(yǔ)音指令，執(zhí)行相應(yīng)的任務(wù)（自主導(dǎo)航到“kitchen”這個(gè)航點(diǎn)）。

（三）? 平面視覺檢測(cè)仿真實(shí)訓(xùn)項(xiàng)目

通過這個(gè)仿真項(xiàng)目的訓(xùn)練，學(xué)生可以掌握在ROS系統(tǒng)中獲取機(jī)器人的視覺圖像，并將其轉(zhuǎn)化為OpenCV格式，顯示在窗口中；實(shí)現(xiàn)機(jī)器人視覺中的顏色特征提取和目標(biāo)定位功能，并進(jìn)一步根據(jù)目標(biāo)位置計(jì)算速度并輸出給機(jī)器人，完成一個(gè)目標(biāo)跟隨閉環(huán)控制；最后在仿真環(huán)境中通過使用級(jí)聯(lián)分類器實(shí)現(xiàn)人臉識(shí)別功能[5]。平面視覺檢測(cè)仿真實(shí)訓(xùn)項(xiàng)目?jī)?nèi)容如下。

1? 使用OpenCV獲取服務(wù)機(jī)器人的視覺圖像

如圖7所示，通過編程可以實(shí)現(xiàn)的功能有：①?gòu)姆?wù)機(jī)器人的頭部相機(jī)獲取實(shí)時(shí)的視覺圖像；②將獲取的視覺圖像轉(zhuǎn)換成OpenCV格式，并顯示在窗口程序中。

2? 使用OpenCV進(jìn)行顏色特征提取和目標(biāo)定位

如圖8所示，通過編程可以實(shí)現(xiàn)的功能有：①對(duì)機(jī)器人視覺圖像進(jìn)行顏色空間轉(zhuǎn)換，從RGB空間轉(zhuǎn)換到HSV空間，排除光照影響；②對(duì)轉(zhuǎn)換后的圖像進(jìn)行二值化處理，將目標(biāo)物體分割提取出來；③對(duì)提取到的目標(biāo)像素進(jìn)行計(jì)算統(tǒng)計(jì)，得出目標(biāo)物的質(zhì)心坐標(biāo)。

如圖9所示，可以看到檢測(cè)到的目標(biāo)物的中心坐標(biāo)值。

3? 實(shí)現(xiàn)服務(wù)機(jī)器人的目標(biāo)跟隨

通過編程可以實(shí)現(xiàn)的功能有：①進(jìn)行顏色特征提取和目標(biāo)定位；②根據(jù)目標(biāo)位置計(jì)算機(jī)器人運(yùn)動(dòng)速度，完成目標(biāo)跟隨功能。

啟動(dòng)程序后，如圖10所示，可以看到Gazebo里的橘色球開始隨機(jī)運(yùn)動(dòng)，服務(wù)機(jī)器人也開始跟隨其運(yùn)動(dòng)。實(shí)例將識(shí)別檢測(cè)和運(yùn)動(dòng)行為結(jié)合起來，形成一個(gè)典型的視覺閉環(huán)控制系統(tǒng)。

4? 實(shí)現(xiàn)服務(wù)機(jī)器人的人臉檢測(cè)

通過編程可以實(shí)現(xiàn)的功能有：①?gòu)臋C(jī)器人頭部相機(jī)獲取彩色圖像；②使用OpenCV的級(jí)聯(lián)分類器實(shí)現(xiàn)人臉檢測(cè)。

啟動(dòng)程序后，如圖11所示，可以看到，機(jī)器人已經(jīng)檢測(cè)到人臉，并用一個(gè)紫色方框?qū)⑵滏i定。還讓機(jī)器人運(yùn)動(dòng)起來，通過不同視角去測(cè)人臉識(shí)別的魯棒性。

（四）? 三維視覺檢測(cè)仿真實(shí)訓(xùn)項(xiàng)目

通過這個(gè)仿真項(xiàng)目的訓(xùn)練，學(xué)生首先通過使用立體相機(jī)獲取其輸出的三維點(diǎn)云數(shù)據(jù)；接著利用點(diǎn)云數(shù)據(jù)實(shí)現(xiàn)桌面高度的檢測(cè)以及桌面上物品的坐標(biāo)定位；最后結(jié)合機(jī)器人機(jī)械臂，完成對(duì)桌面上物品抓取的功能[6]。三維視覺檢測(cè)仿真實(shí)訓(xùn)項(xiàng)目?jī)?nèi)容如下。

1? 服務(wù)機(jī)器人的三維點(diǎn)云數(shù)據(jù)獲取

服務(wù)機(jī)器人上的頭部立體相機(jī)每接收到一幀深度圖像，ROS就會(huì)將其轉(zhuǎn)換成三維點(diǎn)云，在實(shí)際開發(fā)中，通常將其轉(zhuǎn)換成基于機(jī)器人坐標(biāo)系的PCL點(diǎn)云格式，把其存儲(chǔ)到點(diǎn)云數(shù)組，這樣就可以使用豐富的PCL函數(shù)來處理點(diǎn)云數(shù)據(jù)。

編好程序啟動(dòng)運(yùn)行后，會(huì)彈出Gazebo的仿真界面，如圖12所示，在該場(chǎng)景中，服務(wù)機(jī)器人面前擺放著一張桌子，桌子上放置兩瓶飲料。

同時(shí)還會(huì)彈出一個(gè)Rviz界面，如圖13所示，里面顯示立體相機(jī)采集到的點(diǎn)云集合。

2? 使用PCL點(diǎn)云庫(kù)進(jìn)行平面特征提取

在獲取到三維點(diǎn)云數(shù)據(jù)的基礎(chǔ)上，進(jìn)一步實(shí)現(xiàn)對(duì)載物平臺(tái)的高度測(cè)量。

首先使用一個(gè)直通濾波器對(duì)獲取到的三維點(diǎn)云截取保留距離地面高度0.3米到1.5米之間的點(diǎn)集，這樣只保留載物平臺(tái)高度周圍的點(diǎn)集。截取后的點(diǎn)云結(jié)果存放在容器對(duì)象cloud_src里。接著使用RANSAC方法的分類器操作函數(shù)segment（）對(duì)點(diǎn)云cloud_src進(jìn)行平面檢測(cè)，檢測(cè)出的平面三維點(diǎn)，存放在容器planeIndices里。最后對(duì)容器planeIndices里所指示的平面三維點(diǎn)的z值進(jìn)行統(tǒng)計(jì)，進(jìn)行一個(gè)均值處理，獲得平均高度值，平均高度就是載物平面的大概高度。

編好程序啟動(dòng)運(yùn)行后，終端顯示載物平臺(tái)的高度測(cè)量結(jié)果。

3? 使用PCL點(diǎn)云庫(kù)進(jìn)行點(diǎn)云聚類分割

在成功測(cè)量桌面高度的基礎(chǔ)上，進(jìn)一步通過點(diǎn)云的聚類分割，檢測(cè)出桌面上物體的空間坐標(biāo)。

首先使用一個(gè)直通濾波器對(duì)獲取到的三維點(diǎn)云截取保留比載物平臺(tái)高度稍高一點(diǎn)的點(diǎn)集，這樣可以剔除載物平臺(tái)，截取后的點(diǎn)云結(jié)果存放在容器對(duì)象cloud_src里。接著使用一個(gè)歐式距離分類器pcl：：EuclideanCluste

rExtraction來分離點(diǎn)云團(tuán)，通過KdTree近鄰搜索方法，將點(diǎn)云中的物品依次分割出來，分類結(jié)果存放在容器cluster_indices中。對(duì)容器cluster_indices中的所有點(diǎn)云團(tuán)進(jìn)行遍歷，計(jì)算每個(gè)點(diǎn)云團(tuán)的所有點(diǎn)的x、y、z坐標(biāo)的均值，就得到每個(gè)物體的中心坐標(biāo)。

編好程序啟動(dòng)運(yùn)行后，終端顯示物體的中心坐標(biāo)。

4? 基于三維視覺的物品檢測(cè)和抓取

在實(shí)現(xiàn)了桌面高度檢測(cè)以及桌面上物品坐標(biāo)定位的基礎(chǔ)上，進(jìn)一步將其與機(jī)器人的機(jī)械臂相結(jié)合，完成一個(gè)物品抓取的功能。

編好程序啟動(dòng)運(yùn)行后，如圖14所示，機(jī)器人慢慢地移動(dòng)底盤，對(duì)準(zhǔn)將要抓取的目標(biāo)物。當(dāng)機(jī)器人調(diào)整好自己和目標(biāo)物的相對(duì)位置時(shí)，伸出機(jī)械臂進(jìn)行抓取，然后后退，讓物品離開桌子上方，抓取功能完成。

（五）? 物品自動(dòng)抓取綜合應(yīng)用仿真實(shí)訓(xùn)項(xiàng)目

通過這個(gè)仿真項(xiàng)目的訓(xùn)練，學(xué)生綜合應(yīng)用地圖創(chuàng)建、航點(diǎn)設(shè)置、三維視覺定位和機(jī)械臂抓取等知識(shí)，實(shí)現(xiàn)自動(dòng)路徑規(guī)劃、機(jī)器人從廚房桌子上抓取飲料、自主運(yùn)動(dòng)、把飲料放置餐廳桌子上等一系列動(dòng)作，完整實(shí)現(xiàn)服務(wù)機(jī)器人飲料抓取和放置的仿真任務(wù)[7]。任務(wù)運(yùn)行步驟見表2。

編好程序啟動(dòng)運(yùn)行后，會(huì)彈出一個(gè)模擬家庭環(huán)境的Gazebo仿真界面，如圖3所示。

服務(wù)機(jī)器人到達(dá)導(dǎo)航目標(biāo)點(diǎn)“kitchen”之后，如圖15所示，開始抓取載物臺(tái)上的飲料。

獲取飲料后，機(jī)器人導(dǎo)航去往航點(diǎn)“dinning room”，到達(dá)后，如圖16所示，松開手爪，飲料滑落到桌子上。隨后機(jī)器人后退，離開桌子，完成任務(wù)。

二? 實(shí)訓(xùn)條件與效果

實(shí)施服務(wù)機(jī)器人實(shí)訓(xùn)課程虛擬仿真教學(xué)方案的前提是實(shí)驗(yàn)室擁有足夠數(shù)量的計(jì)算機(jī)，每臺(tái)計(jì)算機(jī)能聯(lián)網(wǎng)，并安裝有Linux Ubuntu 20.04和ROS noetic。

該實(shí)訓(xùn)教學(xué)方案已在北京信息科技大學(xué)機(jī)器人工程專業(yè)2屆學(xué)生的服務(wù)機(jī)器人實(shí)訓(xùn)教學(xué)中得到連續(xù)應(yīng)用，收到了良好的實(shí)訓(xùn)效果，激發(fā)了學(xué)生的學(xué)習(xí)積極性及創(chuàng)新思維。在仿真實(shí)訓(xùn)過程中，學(xué)生可以把仿真環(huán)境中已經(jīng)測(cè)試成功的代碼移植到現(xiàn)場(chǎng)真實(shí)的服務(wù)機(jī)器人上進(jìn)行驗(yàn)證，節(jié)省現(xiàn)場(chǎng)編程的時(shí)間，取得更好的實(shí)訓(xùn)效果。

三? 結(jié)束語(yǔ)

基于ROS的服務(wù)機(jī)器人實(shí)訓(xùn)課程虛擬仿真教學(xué)方案能讓每位學(xué)生都能充分體驗(yàn)到每個(gè)項(xiàng)目的開發(fā)流程，充分發(fā)揮了學(xué)生在學(xué)習(xí)中的主體作用，有效解決了服務(wù)機(jī)器人設(shè)備和空間不足的困境，在降低了實(shí)訓(xùn)成本的同時(shí)，提高了實(shí)訓(xùn)的效率。

參考文獻(xiàn)：

[1] 郝翠霞，葉暉.工業(yè)機(jī)器人實(shí)訓(xùn)課程的虛擬仿真教學(xué)研究[J].實(shí)驗(yàn)技術(shù)與管理，2018，35（6）：144-146.

[2] 仲朝亮，呂強(qiáng).移動(dòng)機(jī)器人虛擬仿真平臺(tái)及其在實(shí)驗(yàn)教學(xué)中的實(shí)踐應(yīng)用[J].實(shí)驗(yàn)技術(shù)與管理，2020，37（8）：146-148.

[3] 楊亮，李文生，傅瑜，等.基于ROS的機(jī)器人即時(shí)定位及地圖構(gòu)建創(chuàng)新實(shí)驗(yàn)平臺(tái)研制[J].實(shí)驗(yàn)技術(shù)與管理，2017，34（8）：99-103.

[4] 祝甜一.基于ROS的自主式救援機(jī)器人SLAM和導(dǎo)航系統(tǒng)研究[D].南京：東南大學(xué)，2015.

[5] 周錫恩，吳鎮(zhèn)江.基于視覺檢測(cè)與自主導(dǎo)航的輪式機(jī)器人平臺(tái)[J].信息技術(shù)，2019（10）：55-58.

[6] 韓崢，劉華平，黃文炳，等.基于Kinect的機(jī)械臂目標(biāo)抓取[J].智能系統(tǒng)學(xué)報(bào)，2013，8（2）：149-155.

[7] 楊麗新，黃亮輝.基于機(jī)器人實(shí)驗(yàn)教學(xué)的虛擬仿真集成技術(shù)探討[J].實(shí)驗(yàn)室研究與探索，2017，36（11）：103-106，125.