大連理工大學(xué)控制科學(xué)與工程學(xué)院 郭欣桐廣西大學(xué)機(jī)械工程學(xué)院物流工程實(shí)驗(yàn)室 戰(zhàn) 藝

基于ROS的服務(wù)型機(jī)器人新型控制方式

大連理工大學(xué)控制科學(xué)與工程學(xué)院 郭欣桐
廣西大學(xué)機(jī)械工程學(xué)院物流工程實(shí)驗(yàn)室 戰(zhàn) 藝

【摘要】傳統(tǒng)的服務(wù)機(jī)器人控制方式通常采用鍵盤等操控，再通過(guò)視頻監(jiān)控進(jìn)行反饋的控制方式，該方式具有操作繁瑣、高延遲、缺乏臨場(chǎng)感等缺點(diǎn)。為了改善這些缺點(diǎn)，提出一種基于ROS機(jī)器人操作系統(tǒng)的服務(wù)機(jī)器人新型控制方式，以ROS為基礎(chǔ)，在語(yǔ)音控制的基礎(chǔ)上通過(guò)深度攝像頭實(shí)現(xiàn)跟隨物體。實(shí)驗(yàn)結(jié)果表明，該種控制方式可以高效完成指定任務(wù)，具有操作簡(jiǎn)單、延遲低、臨場(chǎng)感強(qiáng)等優(yōu)點(diǎn)，改善了傳統(tǒng)機(jī)器人操控繁瑣的缺點(diǎn)，為服務(wù)行業(yè)、物流領(lǐng)域等諸多方向提供了一種新型的解決方案，提高了人的工作效率。

【關(guān)鍵詞】機(jī)器人操作系統(tǒng)；服務(wù)機(jī)器人；語(yǔ)音控制；機(jī)器人視覺；機(jī)器人跟隨

0 引言

隨著服務(wù)機(jī)器人的發(fā)展，傳統(tǒng)按鍵、搖桿等遠(yuǎn)程操控方式由于其操控繁瑣等因素漸漸淡出人們的視線，基于視覺跟隨、語(yǔ)音控制、自主導(dǎo)航等新型控制方式的機(jī)器人由于具有增強(qiáng)人機(jī)交互、提高參與感等優(yōu)點(diǎn)越來(lái)越受到人們的關(guān)注。然而，隨著機(jī)器人技術(shù)的發(fā)展，為不同機(jī)器人編寫軟件這一工作也變得越來(lái)越繁重。不同的機(jī)器人設(shè)計(jì)方案不同，底層接口也大不相同，編寫的軟件也不同。然而，其基本算法是一致的，這就導(dǎo)致了機(jī)器人平臺(tái)繁多，大量代碼冗余，通用性差等缺點(diǎn)。為了改善這些缺點(diǎn)，機(jī)器人操作系統(tǒng)ROS（robot operating system）應(yīng)運(yùn)而生。ROS很好的解決了軟件開發(fā)過(guò)程中代碼冗余、移植性差等問(wèn)題。ROS兼容C++、Python等主流編程語(yǔ)言，可以跨平臺(tái)，含有rviz、gazebo、tf等豐富的軟件資源，現(xiàn)已成為機(jī)器人開發(fā)領(lǐng)域的首選工具。

本文在基于ROS平臺(tái)的基礎(chǔ)上，在語(yǔ)音控制的基礎(chǔ)上，設(shè)計(jì)了視覺跟隨的服務(wù)型機(jī)器人新型控制方式，改善了傳統(tǒng)機(jī)器人操作繁瑣等缺點(diǎn)，為服務(wù)行業(yè)、物流領(lǐng)域的服務(wù)機(jī)器人控制提供了基礎(chǔ)。

1 ROS系統(tǒng)框架

ROS系統(tǒng)是起源于2007年斯坦福大學(xué)人工智能實(shí)驗(yàn)室的項(xiàng)目與機(jī)器人技術(shù)公司W(wǎng)illow Garage公司的個(gè)人機(jī)器人項(xiàng)目PRP（personal robots program）之間的合作。2010年Willow Garage公司發(fā)布了開源機(jī)器人操作系統(tǒng)ROS，很快在機(jī)器人研究領(lǐng)域展開了學(xué)習(xí)和使用ROS的熱潮。

ROS是開源機(jī)器人操作系統(tǒng)，它是一種分布式模塊化的開源軟件框架［1］，其目的在于提高軟件代碼的復(fù)用率，提供機(jī)器人開發(fā)框架。主要特點(diǎn)有多語(yǔ)言支持、免費(fèi)開源等。ROS總體框架如圖1所示。

圖1 ROS總體框架

計(jì)算圖級(jí)主要是體現(xiàn)進(jìn)程與系統(tǒng)之間的通訊。主要包括節(jié)點(diǎn)、節(jié)點(diǎn)管理器、參數(shù)服務(wù)器、消息、服務(wù)、主題和消息記錄包幾部分。節(jié)點(diǎn)是利用ROS與其他節(jié)點(diǎn)通訊的可執(zhí)行程序，節(jié)點(diǎn)之間通過(guò)消息進(jìn)行通訊。消息是一種ROS數(shù)據(jù)類型，以訂閱或發(fā)布主題的方式進(jìn)行傳遞。ROS主機(jī)提供了主題發(fā)布服務(wù)，其結(jié)構(gòu)如圖2所示［2］。節(jié)點(diǎn)1將數(shù)據(jù)發(fā)送給節(jié)點(diǎn)2，在ROS主機(jī)上注冊(cè)了對(duì)應(yīng)的主題和服務(wù)，節(jié)點(diǎn)2通過(guò)訂閱對(duì)應(yīng)的主題來(lái)接受消息，進(jìn)而與節(jié)點(diǎn)1進(jìn)行通信。ROS框架允許多節(jié)點(diǎn)發(fā)布或訂閱同一主題，因而只需知道主題是什么，而不需要知道發(fā)布該主題的節(jié)點(diǎn)的名稱。

文件系統(tǒng)級(jí)主要包括功能包（package）與功能包集（stack）。功能包是ROS中軟件組織的基本形式，軟件包可包含程序庫(kù)、可執(zhí)行文件、腳本等。功能包集（stack）是軟件包的集合，提供完整的功能。清單（manifest）是對(duì)軟件包信息的描述，用于定義軟件包之間的依賴關(guān)系、開源許可證協(xié)議等。

社區(qū)級(jí)主要指ROS資源，能通過(guò)獨(dú)立的網(wǎng)絡(luò)社區(qū)分享軟件與資源［3］。

圖2 ROS計(jì)算圖級(jí)結(jié)構(gòu)

2 服務(wù)機(jī)器人控制方案

2.1 實(shí)驗(yàn)平臺(tái)

Turtlebot服務(wù)機(jī)器人平臺(tái)是基于ROS框架下的移動(dòng)機(jī)器人，本實(shí)驗(yàn)采用韓國(guó)Yujin公司的Kobuki底盤，并配有Asus Xtion pro live深度攝像頭，機(jī)器人實(shí)物如圖3所示。

圖3 實(shí)驗(yàn)平臺(tái)實(shí)物圖

2.2 服務(wù)機(jī)器人新型控制方式簡(jiǎn)述

服務(wù)機(jī)器人新型控制方式主要結(jié)構(gòu)如圖4所示。語(yǔ)音控制在開源項(xiàng)目CMU Pocket Sphinx的基礎(chǔ)上進(jìn)行二次開發(fā)，其通過(guò)識(shí)別出用戶的語(yǔ)音命令（如forward、halt等）進(jìn)而發(fā)出控制命令控制機(jī)器人移動(dòng)。在語(yǔ)音控制的基礎(chǔ)上，采用跟隨軟件包為主、語(yǔ)音控制為輔的方式進(jìn)行控制，跟隨軟件包使用Camshift算法，通過(guò)尋找前方物體并與之保持一定的距離，進(jìn)而實(shí)現(xiàn)跟隨。

圖4 新型機(jī)器人控制方式結(jié)構(gòu)圖

3 機(jī)器人新型控制方式的實(shí)現(xiàn)

3.1 機(jī)器人跟隨算法及軟件包

ROS機(jī)器人跟隨通過(guò)Asus Xtion pro live深度攝像頭求出前方物體的質(zhì)心坐標(biāo)，計(jì)算出機(jī)器人當(dāng)前與其距離與角度，進(jìn)而計(jì)算出速度與角速度來(lái)跟隨前方物。

跟隨軟件包采用Camshift算法［4］，設(shè)（x，y）為搜索窗口中的像素坐標(biāo)，I（x，y）是投影圖中（x，y）的像素值，定義搜索窗口的零階矩M00、一階矩M10、M01如下：

可以求得搜索窗口的質(zhì)心坐標(biāo)：

然后根據(jù)M00調(diào)整窗口大小，并將窗口中心移到質(zhì)心，若移動(dòng)距離大于預(yù)設(shè)閾值，則重新計(jì)算質(zhì)心。直到窗口中心與質(zhì)心間距離小于預(yù)設(shè)閾值，或者循環(huán)次數(shù)到某一設(shè)定值，認(rèn)為滿足收斂條件，進(jìn)行下一幀計(jì)算。

令：

則下一幀搜索窗口的長(zhǎng)度l1、寬度l2和角度分別為：

由于運(yùn)動(dòng)物體在視頻圖像中的大小、位置可能會(huì)發(fā)生變化，Camshift算法會(huì)根據(jù)上一幀圖像跟蹤結(jié)果得到的新窗口可能與目標(biāo)窗口不聯(lián)通，導(dǎo)致跟蹤丟失。初始選擇窗口得到的目標(biāo)零階矩，若后續(xù)跟蹤得到的，則認(rèn)定本次跟蹤目標(biāo)丟失。當(dāng)目標(biāo)丟失時(shí)對(duì)其運(yùn)動(dòng)進(jìn)行估計(jì)，考慮到運(yùn)行效率，假設(shè)目標(biāo)在很短的時(shí)間內(nèi)是勻速運(yùn)動(dòng)的，令分別為前一次目標(biāo)在水平、垂直方向上的位移，故可認(rèn)為與本次的位移一致，即將其作為本次的預(yù)測(cè)位移對(duì)其窗口進(jìn)行平移，若目標(biāo)有一部分落在窗口內(nèi)，則仍可使用Camshift算法搜索，進(jìn)而提高了Camshift算法的穩(wěn)定性，利用Camshift算法跟蹤水杯的仿真實(shí)驗(yàn)如圖5所示。

在Camshift算法的基礎(chǔ)上，編寫機(jī)器人跟隨軟件包，其簡(jiǎn)要流程圖如圖6所示。軟件包首先對(duì)機(jī)器人相關(guān)移動(dòng)參數(shù)進(jìn)行設(shè)定，如速度上下限、角速度上下限等，然后獲取攝像頭的點(diǎn)云信息，并發(fā)布空消息給機(jī)器人底盤使其停止。如果存在點(diǎn)云信息，則計(jì)算前方目標(biāo)的質(zhì)心坐標(biāo)；若不存在點(diǎn)云信息，則返回繼續(xù)等待。計(jì)算出質(zhì)心坐標(biāo)之后計(jì)算機(jī)器人的線速度角速度等參數(shù)，并發(fā)布主題，機(jī)器人控制節(jié)點(diǎn)通過(guò)訂閱該主題，將控制信息發(fā)布給機(jī)器人控制其移動(dòng)。

圖5 利用Camshift算法跟蹤水杯的仿真圖

圖6 跟隨軟件包簡(jiǎn)要流程圖

3.2 機(jī)器人語(yǔ)音控制軟件包

該軟件包在CMU Pocket Sphinx開源項(xiàng)目的基礎(chǔ)上進(jìn)行二次開發(fā)，可以將識(shí)別出的語(yǔ)音轉(zhuǎn)化為文字信息，與命令庫(kù)中的命令進(jìn)行匹配，進(jìn)而發(fā)布命令控制機(jī)器人執(zhí)行相關(guān)命令，語(yǔ)音控制可以與機(jī)器人跟隨結(jié)合起來(lái)使用。該軟件包的核心節(jié)點(diǎn)recognizer.py通過(guò)麥克風(fēng)采集語(yǔ)音消息進(jìn)行識(shí)別，進(jìn)而生成文本信息，轉(zhuǎn)化為控制命令進(jìn)行控制。本系統(tǒng)添加了forward（向前）、halt（停止）、turn left（左轉(zhuǎn)）、turn right（右轉(zhuǎn)）、rotate left（左轉(zhuǎn)90°）、rotate right（右轉(zhuǎn)90°）、slower（減速）、faster（加速）、follow me（跟隨我）共九個(gè)語(yǔ)音指令。識(shí)別出的文本通過(guò)主題/recognizer/output發(fā)布，使用其它節(jié)點(diǎn)訂閱該主題即可獲得文本信息，并對(duì)機(jī)器人發(fā)出控制指令。語(yǔ)音控制的簡(jiǎn)要節(jié)點(diǎn)圖如圖7所示。

圖7 語(yǔ)音控制的簡(jiǎn)要節(jié)點(diǎn)圖

4 結(jié)束語(yǔ)

本文提出了一種基于ROS的服務(wù)機(jī)器人的人機(jī)交互方式。機(jī)器人跟隨通過(guò)深度攝像頭采集周圍環(huán)境的信息，計(jì)算出其質(zhì)心坐標(biāo)進(jìn)而實(shí)現(xiàn)跟隨。語(yǔ)音控制通過(guò)識(shí)別用戶語(yǔ)音進(jìn)而實(shí)現(xiàn)控制。這種新型控制方式為服務(wù)行業(yè)、物流領(lǐng)域等諸多方向提供了一種新型的解決方案，改善了傳統(tǒng)機(jī)器人操作繁瑣、缺乏臨場(chǎng)感等缺點(diǎn)。節(jié)省了人力物力，提高了人的工作效率。

參考文獻(xiàn)

［1］ZUO Xuanchen，HAN Liangliang，ZHUANG Jie，et al.Design of human-robot interaction system for space robot using robot operating syatem［J］.Computer Engineering & Design，2015，12∶3370-3374（in Chinese）［左軒塵，韓亮亮，莊杰，石琪琦，黃煒.基于ROS的空間機(jī)器人人機(jī)交互系統(tǒng)設(shè)計(jì)［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2015，12∶3370-3374.

［2］ROS Summarize［EB/OL］［2016-2-19］.http∶//www.guyuehome. com/229，2016（in Chinese）.［ROS探索總結(jié)］［EB/OL］［2016-2-19］. http∶//www.guyuehome.com/229，2016］.

［3］QIAN Sheng.Study on obstacle avoidance of mobile robot Based On Multi sensors［D］.University of the South，2014（in Chinese）［錢勝.基于多傳感器的智能小車避障研究［D］.江南大學(xué)，2014］.

［4］XUE Cuihong，QI Liping，YANG Peng，et al.A real-time object recognition and tracking system for home service robots［J］.Journal of HeBei University of Technology，2015，06∶1-6+32（in Chinese）［薛翠紅，齊立萍，楊鵬，賈超.一種服務(wù)機(jī)器人的實(shí)時(shí)物體識(shí)別與跟蹤系統(tǒng)［J］.河北工業(yè)大學(xué)學(xué)報(bào)，2015，06∶1-6+32］.

A new control mode of service robot using robot operating system

GUO Xin-tong1zhanyi2
（1.School of control science and Engineering，Dalian University of Technology Dalian 116024，China；2.Logistics Engineering Laboratory，School of mechanical engineering，Guangxi University，Nanning，Guangxi 530004）

Abstract：The control methods of traditional service robot usually by using keyboard or other controllers，and feedback to people through video surveillance，which has the disadvantages of complex operation，high-delay，lack of presence and so on.In order to improve the disadvantages，a new control method for the service robot based on the robot operating system was designed.This system on the basis of the voice control and following the object through the depth camera.The experimental results indicate that this control mode can finish assigned tasks efficiency.It has the advantages of simple operation，low latency and telepresence.It improves the traditional robot the shortcoming of tedious manipulation and provides a modern solution for service industry，logistics，etc.，and improving people's working efficiency.

Key words：robot operating system；service robot；speech recognition；robot vision；robot follow