張美平,郭旭城,張毅韜,王志宇

1(福建師范大學(xué) 數(shù)學(xué)與信息學(xué)院,福州 350007)

2(福建省網(wǎng)絡(luò)安全與密碼技術(shù)重點(diǎn)實(shí)驗(yàn)室,福州 350007)

引言

隨著服務(wù)機(jī)器人的發(fā)展,基于視覺跟隨、語音控制、自主導(dǎo)航等新型控制方式的機(jī)器人由于具有增加人機(jī)交互、提高參與感等優(yōu)點(diǎn)越來越受到人們的關(guān)注.然而,隨著機(jī)器人技術(shù)的發(fā)展,為不同機(jī)器人編寫軟件這一工作也變得越來越繁重.不同的機(jī)器人設(shè)計(jì)方案不同,底層接口也大不相同,編寫的軟件也不同,但是其基本算法是一致的.為了改善這一缺點(diǎn),機(jī)器人操作系統(tǒng) ROS (Robot Operating System)應(yīng)運(yùn)而生.ROS 是開源機(jī)器人操作系統(tǒng),它是一種分布式模塊化的開源軟件框架,其目的在于提高軟件代碼的復(fù)用率,提供機(jī)器人開發(fā)框架,很好的解決了軟件開發(fā)過程中代碼冗余、移植性差等問題[1],更提供了不同硬件的抽象描述、底層驅(qū)動(dòng)程序的管理、程序節(jié)點(diǎn)間消息傳遞的機(jī)制、機(jī)器人軟件發(fā)行包的管理等功能[2].目前,開發(fā)者和開源 ROS 開發(fā)人員為 ROS 共享社區(qū)貢獻(xiàn)了各個(gè)領(lǐng)域的軟件包,如 SLAM 定位算法、坐標(biāo)轉(zhuǎn)換 tf 庫、機(jī)器視覺開源庫 OpenCV 和 OpenNI等.由于 ROS 代碼的高可重用性和可擴(kuò)展性,基于 ROS 的機(jī)器人系統(tǒng)可以通過利用社區(qū)中已有的代碼方便地用于二次開發(fā)[3].

近年物聯(lián)網(wǎng)相關(guān)技術(shù)的飛速發(fā)展,使得物聯(lián)網(wǎng)的概念深入人心,相關(guān)應(yīng)用輻射至各行各業(yè).據(jù)統(tǒng)計(jì),國內(nèi)物聯(lián)網(wǎng)連接數(shù)已達(dá)16億個(gè),預(yù)計(jì)2020年將超過70億個(gè),市場規(guī)模達(dá)到2.5萬億元,物聯(lián)網(wǎng)的發(fā)展?jié)摿薮?與之同時(shí),國內(nèi)外對(duì)物聯(lián)網(wǎng)與智能機(jī)器人結(jié)合的研究已經(jīng)展開,如IBM公司、日本國際電氣通信先進(jìn)技術(shù)研究所等[4,5].

本系統(tǒng)在基于ROS平臺(tái)的基礎(chǔ)上與物聯(lián)網(wǎng)相結(jié)合,設(shè)計(jì)可根據(jù)傳感器數(shù)據(jù)異常而追溯至異常數(shù)據(jù)源附近的機(jī)器人,通過機(jī)器人身上搭載的攝像頭捕獲異常數(shù)據(jù)源附近的圖像數(shù)據(jù).為使機(jī)器人具有更強(qiáng)的實(shí)用性,機(jī)器人添加了物體識(shí)別、物體追蹤、語音控制等功能.在結(jié)合用戶的需求后,設(shè)計(jì)了擁有視頻監(jiān)控、傳感器數(shù)據(jù)監(jiān)控、機(jī)器人控制功能的Web端.

1 系統(tǒng)框架

基于ROS的溯源機(jī)器人系統(tǒng)的功能主要由:感知層數(shù)據(jù)采集、基于感知數(shù)據(jù)的溯源服務(wù)、語音控制、物體識(shí)別、機(jī)器人物體追蹤和Web端等幾部分組成.其總體框架如圖1.感知層數(shù)據(jù)采集:通過傳感器獲取所處環(huán)境的物理狀態(tài),如溫濕度、光照數(shù)據(jù)等,采集到數(shù)據(jù)后將數(shù)據(jù)發(fā)送至ROS網(wǎng)絡(luò);基于感知數(shù)據(jù)的溯源服務(wù):對(duì)感知層的數(shù)據(jù)處理分析后,若結(jié)果表示為異常狀態(tài),機(jī)器人則自動(dòng)導(dǎo)航至異常數(shù)據(jù)點(diǎn),搭載的攝像頭獲取實(shí)時(shí)圖像,否則機(jī)器人原地待命;語音控制:喚醒詞喚醒機(jī)器人后可對(duì)機(jī)器人下達(dá)行駛命令,機(jī)器人做出相應(yīng)的動(dòng)作;物體自動(dòng)識(shí)別:對(duì)機(jī)器人下達(dá)識(shí)別指令后,機(jī)器人將對(duì)當(dāng)前獲取的圖像進(jìn)行識(shí)別,并將結(jié)果返回給用戶;機(jī)器人的物體追蹤:用戶選取待追蹤的物體后機(jī)器人會(huì)自動(dòng)追蹤該物體;Web端:實(shí)時(shí)顯示感知層獲取的數(shù)據(jù)并對(duì)執(zhí)行節(jié)點(diǎn)進(jìn)行控制、展示視頻監(jiān)控和控制機(jī)器人.

圖1 系統(tǒng)總體框架

2 系統(tǒng)硬件設(shè)計(jì)

2.1 系統(tǒng)總硬件設(shè)計(jì)

該系統(tǒng)由感知層的傳感器節(jié)點(diǎn)、接入網(wǎng)關(guān)、溯源機(jī)器人等組成.如表1所示,本系統(tǒng)硬件部分由樹莓派、STM32核心驅(qū)動(dòng)板、攝像頭、各種傳感器與傳感器節(jié)點(diǎn)等幾部分構(gòu)成.通過數(shù)字接口、SPI、串口等連接,實(shí)現(xiàn)系統(tǒng)所需要的感知、數(shù)據(jù)傳遞、圖像處理、溯源服務(wù)等功能.

表1 系統(tǒng)硬件

2.2 溯源機(jī)器人的硬件設(shè)計(jì)

溯源機(jī)器人采用性能為1.2 GHz四核Broadcom CEM2837 64位ARMV8處理器的樹莓派3代作為主控,板載 BCM43143WIFI模塊用于 WiFi通信;還采用基于ARM CortexM3內(nèi)核的STM32F103RC高性能單片機(jī)作為機(jī)器人的驅(qū)動(dòng)板,其突出優(yōu)點(diǎn)是高性能、低成本、低功耗,主要用于控制機(jī)器人的行駛,并獲取IMU測量所得的機(jī)器人在三維空間中的角速度和加速度.另外,機(jī)器人搭載的高清攝像頭 Logitech C270,分辨率高達(dá) 1280×720 像素,以每秒 25 幀的速度獲取圖像數(shù)據(jù),并通過USB2.0將圖像數(shù)據(jù)傳輸至樹莓派.搭載的RPLIDAR A1掃描測距雷達(dá)采樣頻率高達(dá)8000次/秒,可實(shí)現(xiàn)對(duì)周圍環(huán)境的360度全方位掃描測距檢測,從而獲得周圍環(huán)境的輪廓圖,是應(yīng)用SLAM算法較理想的傳感器,獲得的數(shù)據(jù)直接通過USB傳輸至樹莓派,無需其他任何編碼工作.溯源機(jī)器人的結(jié)構(gòu)如圖2,實(shí)物圖如圖3.

圖2 溯源機(jī)器人硬件連接圖

圖3 溯源機(jī)器人識(shí)物圖

3 系統(tǒng)軟件設(shè)計(jì)

3.1 感知層的設(shè)計(jì)

通過無線傳感器網(wǎng)絡(luò)傳遞數(shù)據(jù)實(shí)現(xiàn)感知層數(shù)據(jù)采集的功能.無線傳感器網(wǎng)絡(luò)的組建采用了近幾年發(fā)展迅速的基于IPv6的Contiki物聯(lián)網(wǎng)操作系統(tǒng).感知層節(jié)點(diǎn)運(yùn)行由Contiki協(xié)議棧提供的TCP/IP堆棧,將數(shù)據(jù)打包為UDP數(shù)據(jù)報(bào)遞交至網(wǎng)關(guān).

底層數(shù)據(jù)上報(bào)格式與反向控制指令見表2,表3.

表2 感知層數(shù)據(jù)上報(bào)格式

表3 感知層執(zhí)行節(jié)點(diǎn)控制指令

3.2 Contiki-ROS網(wǎng)關(guān)程序的設(shè)計(jì)

整個(gè)網(wǎng)關(guān)程序的設(shè)計(jì)[6]如圖4.程序內(nèi)部使用Contiki IPv6接入模塊,實(shí)現(xiàn)IPv6和IPv4的動(dòng)態(tài)轉(zhuǎn)換,設(shè)置轉(zhuǎn)換地址池,將數(shù)據(jù)匯聚處理后以ROS規(guī)范進(jìn)行轉(zhuǎn)換,最后將感知層數(shù)據(jù)遞交至ROS網(wǎng)絡(luò).

3.3 SALM自動(dòng)溯源的實(shí)現(xiàn)

溯源模塊的流程見圖5.機(jī)器人首先采用基于優(yōu)化算法的hectorslam方法建立試驗(yàn)環(huán)境的地圖并記錄傳感器節(jié)點(diǎn)的坐標(biāo).建圖過程見圖6.

其次溯源模塊監(jiān)聽感知層的實(shí)時(shí)數(shù)據(jù),若檢測出異常狀態(tài),如溫度超過閾值,則在建立試驗(yàn)環(huán)境地圖的基礎(chǔ)上,采用ROS提供的navigation導(dǎo)航功能包集依次建立試驗(yàn)環(huán)境的全局代價(jià)地圖和局部代價(jià)地圖,結(jié)合查詢得到的異常數(shù)據(jù)點(diǎn)坐標(biāo),初步規(guī)劃自動(dòng)導(dǎo)航的全局路徑,再經(jīng)局部代價(jià)地圖調(diào)整得到修正過后的全局路徑.溯源機(jī)器人導(dǎo)航路徑建立的框架見圖7.

完成建圖和路線規(guī)劃后,引入ROS的actionlib功能包集合判斷溯源結(jié)果,actionlib使用client-server工作模式,不斷比較異常節(jié)點(diǎn)坐標(biāo)和當(dāng)前位置,判斷是否到達(dá)目標(biāo)點(diǎn),交互過程見圖8.

我認(rèn)為，每位教師不只是學(xué)習(xí)業(yè)務(wù)知識(shí)，還必須學(xué)習(xí)《教育法》、《教師法》和《未成年人保護(hù)法》等法律法規(guī)，并深刻認(rèn)識(shí)到不懂法律，否則不依法執(zhí)教就是不合格的教師。例如：要想讓學(xué)生熱愛環(huán)境，保護(hù)公共衛(wèi)生，我們必須得先彎下腰，去主動(dòng)拾起地上的字紙；要想讓學(xué)生學(xué)會(huì)文明用語，不用暴力解決問題，我們必須先注意自己的言行，不體罰和打罵學(xué)生。要想讓學(xué)生遵守《中小學(xué)生守則》和《小學(xué)生日常行為規(guī)范》，我們必須先遵守學(xué)校的各項(xiàng)規(guī)章制度，哪怕是排隊(duì)打飯不講小話的日常生活問題。

圖4 Contiki-ROS 網(wǎng)關(guān)設(shè)計(jì)圖

圖5 溯源流程

3.4 語音功能模塊

首先對(duì)獲取的語音信號(hào)進(jìn)行判斷,若是規(guī)定的喚醒詞,則繼續(xù)獲取語音信號(hào),在靜音檢測 2 s 后,保存為wav格式的音頻文件,信號(hào)的采樣頻率為16 000 Hz,聲道數(shù)為1.音頻信息獲取結(jié)束后,調(diào)用語音識(shí)別API,最后對(duì)返回的結(jié)果進(jìn)行判斷,從而讓機(jī)器人做出相應(yīng)的行駛動(dòng)作.語音功能模塊的流程見圖9.

圖6 hectorslam 建圖流程

圖7 溯源機(jī)器人導(dǎo)航框架

圖8 溯源服務(wù) protocol

圖9 語音控制流程

3.5 物體識(shí)別

物體識(shí)別采用tensorflow深度學(xué)習(xí)框架和Inceptionv3模型.程序收到物體識(shí)別的指令后,對(duì)當(dāng)前攝像頭捕獲的圖像進(jìn)行識(shí)別預(yù)測,根據(jù)預(yù)測結(jié)果的id號(hào),在Inception-v3模型中查找對(duì)應(yīng)的物體,最后將結(jié)果返回至用戶.程序的具體實(shí)現(xiàn)邏輯如圖10.

3.6 物體追蹤

實(shí)驗(yàn)中待追蹤的物體具有較統(tǒng)一的顏色,為了讓機(jī)器人可以隨著顏色物體位置的改變而能做出簡單的移動(dòng),在考慮機(jī)器人的處理能力之后,采用Camshift算法利用其計(jì)算量少等特點(diǎn)實(shí)現(xiàn)物體追蹤.在選擇待追蹤的物體之后,以顏色作為基本特征來提取物體的圖像特征,將原本的RGB顏色空間轉(zhuǎn)換至HSV顏色空間.為更好的規(guī)避因光照不均勻造成的影響,提高準(zhǔn)確率,抽取H通道作為顏色特征,計(jì)算待追蹤物體的Hue分量直方圖并輸出圖像的反向投影圖,因待追蹤物體的顏色較統(tǒng)一,所以只以H通道作為顏色特征也可實(shí)現(xiàn)追蹤.再利用Camshift算法計(jì)算得出當(dāng)前圖像中待追蹤物體的位置信息(起始坐標(biāo)、長度、寬度等),而后與待追蹤物體初始的位置信息進(jìn)行比較,從而實(shí)現(xiàn)機(jī)器人的物體追蹤.程序的具體邏輯如圖11.

圖10 物體識(shí)別程序邏輯

試驗(yàn)中位置信息的變化幅度閾值使用兩個(gè)值同時(shí)進(jìn)行判斷,試驗(yàn)中物體位置中心點(diǎn)的變化幅度閾值設(shè)置為0.4,物體位置長度的變化幅度閾值設(shè)置為0.2,當(dāng)閾值偏大時(shí),物體追蹤效果不怎么明顯,當(dāng)閾值偏小時(shí),由于算法的計(jì)算誤差有時(shí)會(huì)導(dǎo)致機(jī)器人追蹤失誤.

3.7 Web端的實(shí)現(xiàn)

Web端利用 HTML、CSS、roslibjs開發(fā).感知層顯示頁面分為感知層反向控制區(qū)和數(shù)據(jù)實(shí)時(shí)顯示區(qū),視頻監(jiān)控網(wǎng)頁則分為視頻采集區(qū),機(jī)器人控制區(qū).并采用websocket的方式與rosbridge節(jié)點(diǎn)進(jìn)行通信,rosbridge 主要包含兩個(gè)部分,Rosbridge Protocol和Rosbridge Implementation.其中 Protocol部分提供了非ROS系統(tǒng)和ROS系統(tǒng)通信的具體格式,包括話題的訂閱,消息的發(fā)布等.Implementation 部分是 rosbridge 的具體實(shí)現(xiàn),包含 rosbridge_server 等包.rosbridge_server負(fù)責(zé)通信的傳輸層,包括 websockect,tcp,udp 等通信方式.

圖11 物體追蹤程序邏輯

視頻監(jiān)控則采用ROS提供的web_video_server,當(dāng)一個(gè)HTTP請(qǐng)求相應(yīng)的ROS圖像主題的視頻流,就會(huì)訂閱相應(yīng)的話題,并創(chuàng)建一個(gè)視頻編碼器的實(shí)例[7],然后被編碼的原始視頻包被送達(dá)至客戶端.Web端的設(shè)計(jì)如圖12.

4 試驗(yàn)與實(shí)現(xiàn)

在實(shí)驗(yàn)室構(gòu)建試驗(yàn)環(huán)境對(duì)感知層的數(shù)據(jù)采集、機(jī)器人溯源功能、物體追蹤、物體識(shí)別、語音功能,Web端的功能進(jìn)行測試.

機(jī)器人根據(jù)雷達(dá)獲取的信息采用hectorslam方法建圖的效果如圖13、圖14.之后對(duì)機(jī)器人的溯源功能進(jìn)行測試,見圖15,在多次的測試中機(jī)器人都能到達(dá)異常數(shù)據(jù)點(diǎn)附近,準(zhǔn)確率高達(dá)100%.

對(duì)物體追蹤功能進(jìn)行試驗(yàn):選取待追蹤的物體,依次得到了待追蹤物體的Hue分量圖和待追蹤物體的反向投影圖,見圖16.手動(dòng)讓機(jī)器人遠(yuǎn)離待追蹤的物體,機(jī)器人會(huì)自動(dòng)靠近待追蹤的物體,最終停在最開始的地方附近.

物體追蹤實(shí)驗(yàn)的測試結(jié)果記錄如表4所示.從表中可知物體追蹤的成功率在75%,由于左右移動(dòng)的距離較小以及Camshift算法得到的位置信息的誤差,所以在物體向左右移動(dòng)的實(shí)驗(yàn)中,效果較差.

圖12 Web 端交互示意圖

圖13 建立的地圖

圖14 地圖實(shí)景

圖15 溯源服務(wù)測試

圖16 物體追蹤測試

表4 物體追蹤測試記錄表

對(duì)語音功能進(jìn)行測試:當(dāng)喚醒詞成功喚醒機(jī)器人后,下達(dá)“向前進(jìn)”的語音,語音模塊可準(zhǔn)確地識(shí)別為“向前進(jìn)”,與之同時(shí),溯源機(jī)器人也會(huì)向前行駛.語音識(shí)別過程中終端頁面的輸出信息見圖17.之后對(duì)喚醒功能進(jìn)行多次試驗(yàn),50次的試驗(yàn)中成功喚醒43次,喚醒成功率高達(dá)86%.

圖17 語音功能測試

Web端的設(shè)計(jì)與物體識(shí)別功能的試驗(yàn)效果見圖18、圖19.圖18是感知層數(shù)據(jù)的實(shí)時(shí)顯示與執(zhí)行節(jié)點(diǎn)的控制.圖19是視頻監(jiān)控與機(jī)器人控制的頁面,按住shift鍵并點(diǎn)擊方向圖標(biāo),機(jī)器人會(huì)做出相應(yīng)的行駛.而點(diǎn)擊“識(shí)別”按鈕可進(jìn)行識(shí)物,并顯示識(shí)別的結(jié)果.

圖18 感知層數(shù)據(jù)監(jiān)控頁面

圖19 視頻監(jiān)控與機(jī)器人控制頁面

5 總結(jié)

國內(nèi)外對(duì)物聯(lián)網(wǎng)與智能機(jī)器人結(jié)合的研究已經(jīng)展開,并取得了一定成就.本文基于此對(duì)物聯(lián)網(wǎng)與機(jī)器人結(jié)合的方式進(jìn)行了研究,采用STM32節(jié)點(diǎn)、樹莓派等硬件并結(jié)合ROS、Contiki等支持,設(shè)計(jì)實(shí)現(xiàn)了感知層的數(shù)據(jù)采集,接入網(wǎng)關(guān)的數(shù)據(jù)處理,基于SLAM的自動(dòng)溯源,語音控制,機(jī)器人的物體追蹤,Web 端的實(shí)時(shí)展示等;最后構(gòu)建相關(guān)實(shí)驗(yàn)環(huán)境,對(duì)系統(tǒng)與設(shè)備的相關(guān)性能進(jìn)行測試,驗(yàn)證可行性.未來需要進(jìn)一步優(yōu)化整合系統(tǒng),構(gòu)建大規(guī)模試驗(yàn)與應(yīng)用.