黃林琪，盧穎儀，黎盛業(yè)，關(guān)兆基，郜志航，李德榮▲

(1.廣東海洋大學(xué)機(jī)械與動(dòng)力工程學(xué)院，廣東 湛江 524088;2.廣東海洋大學(xué)電子與信息工程學(xué)院，廣東 湛江 524088)

0 引言

運(yùn)動(dòng)正逐漸成為人們主要生活方式之一，其中球類運(yùn)動(dòng)已成為最受歡迎的運(yùn)動(dòng)[1-2]。而目前國(guó)內(nèi)外收球裝置的機(jī)械化、自動(dòng)化程度極低，一般以人工撿球的方式為主。但人工撿球勞動(dòng)強(qiáng)度大、效率低，且專門從事此方面的勞務(wù)人員數(shù)量日漸短缺[3]。而現(xiàn)有的撿球機(jī)器人普遍效率低下或需要人工輔助，且大多數(shù)仍通過遍歷的方式進(jìn)行撿球[4]。

針對(duì)上述問題，結(jié)合我國(guó)現(xiàn)代化裝備自動(dòng)化和智能化的發(fā)展需求，本文提出一種適應(yīng)小球類(主要針對(duì)乒乓球、網(wǎng)球類的小球)、準(zhǔn)確快速、數(shù)據(jù)采集匯總的基于深度學(xué)習(xí)及嵌入式視覺系統(tǒng)的球童機(jī)器人。

1 機(jī)器人結(jié)構(gòu)設(shè)計(jì)

本機(jī)器人結(jié)構(gòu)設(shè)計(jì)主要由圖像采集裝置、行走裝置、撿球裝置、集球裝置構(gòu)成。圖1為機(jī)器人結(jié)構(gòu)示意圖。

圖1 機(jī)器人總體結(jié)構(gòu)

機(jī)器人工作時(shí)，行走裝置由直流電機(jī)配合全向輪帶動(dòng)，再利用圖像采集裝置實(shí)時(shí)監(jiān)測(cè)場(chǎng)地上目標(biāo)球類的位置，當(dāng)其迅速到達(dá)球的附近時(shí)，通過控制四爪結(jié)構(gòu)機(jī)械手爪來實(shí)現(xiàn)撿球。激光雷達(dá)可以使機(jī)器人有效躲避障礙物，提高其應(yīng)變環(huán)境的能力。

1.1 行走裝置結(jié)構(gòu)設(shè)計(jì)

機(jī)器人底盤近似圓形，4個(gè)搭載全向輪的驅(qū)動(dòng)電機(jī)安裝在兩層底盤之間，驅(qū)動(dòng)電機(jī)輸出軸由圓心指向圓周，沿徑向均勻分布。全向輪能使識(shí)別及撿球過程變得更加流暢，省去轉(zhuǎn)彎、掉頭等步驟，針對(duì)不同材質(zhì)的地面依舊表現(xiàn)出高機(jī)動(dòng)性。該行走裝置能實(shí)現(xiàn)機(jī)器人在水平地面上任意方向移動(dòng)的同時(shí)，具有快速啟動(dòng)、制動(dòng)的優(yōu)點(diǎn)。

驅(qū)動(dòng)電機(jī)輸出軸受到的屈服力大小為20 N，根據(jù)SolidWorks Simulation應(yīng)力分析得出支撐底盤的最大位移量為0.5886 mm，符合適度變形條件。負(fù)載扭矩32 N·m于驅(qū)動(dòng)電機(jī)輸出扭矩115 N·m，驅(qū)動(dòng)電機(jī)正常工作。故得出結(jié)論：機(jī)器人驅(qū)動(dòng)平臺(tái)的支撐底盤設(shè)計(jì)校核安全。應(yīng)力分析如圖2。

圖2 應(yīng)力分析

1.2 撿球裝置結(jié)構(gòu)設(shè)計(jì)

目前，已有的撿球機(jī)器人其撿球動(dòng)作根據(jù)掃地機(jī)器人“掃把”裝置的原理，將乒乓球掃入機(jī)器人內(nèi)部[5]，也有利用風(fēng)扇等吸力裝置將乒乓球吸入收集[6]。這些裝置由于機(jī)械機(jī)構(gòu)的限制，對(duì)于位于墻角處和藏于障礙物之間的球以及體積、重量稍大的網(wǎng)球不能有效撿取，因而只適用于拾取障礙物較少且遠(yuǎn)離墻壁的質(zhì)量輕的乒乓球。

針對(duì)上述問題，機(jī)械手爪類型裝置的撿球方式是最適用的。為使機(jī)器人能廣泛地適用于球場(chǎng)，本機(jī)器人采用了四爪結(jié)構(gòu)的機(jī)械手，能牢牢抓住球類，使撿球動(dòng)作更加平穩(wěn)，成功概率高，能有效抓取墻角、墻邊等死角的球。

整個(gè)撿球裝置的結(jié)構(gòu)由一個(gè)雙自由度的機(jī)械臂和四爪機(jī)械手組成，通過控制爪子張開與閉合的角度來抓取小球，舵機(jī)控制機(jī)械臂的轉(zhuǎn)動(dòng)，將抓取的球轉(zhuǎn)動(dòng)到傳送導(dǎo)管。撿球裝置如圖3所示。

圖3 撿球裝置

2 系統(tǒng)設(shè)計(jì)

本機(jī)器人由圖像檢測(cè)系統(tǒng)、供電控制系統(tǒng)、定位避障系統(tǒng)、運(yùn)動(dòng)執(zhí)行系統(tǒng)以及撿球執(zhí)行系統(tǒng)此五大系統(tǒng)組成。圖像檢測(cè)系統(tǒng)對(duì)圖像進(jìn)行處理并對(duì)其進(jìn)行特征識(shí)別后，得到對(duì)應(yīng)的目標(biāo)球類在圖像中的位置。供電控制系統(tǒng)根據(jù)識(shí)別出的位置坐標(biāo)，以及定位避障系統(tǒng)對(duì)機(jī)器人的具體定位，控制運(yùn)動(dòng)執(zhí)行系統(tǒng)讓機(jī)器人運(yùn)動(dòng)至球類附近的位置并通過收球執(zhí)行系統(tǒng)將球類抓取存放于儲(chǔ)球裝置。機(jī)器人系統(tǒng)的硬件組成框圖如圖4所示。

圖4 機(jī)器人系統(tǒng)的硬件組成框圖

2.1 圖像檢測(cè)系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)

深度學(xué)習(xí)為我們展示了端到端學(xué)習(xí)(end-to-end learning)的概念，簡(jiǎn)而言之，針對(duì)每個(gè)特定類別的對(duì)象，機(jī)器會(huì)自動(dòng)學(xué)習(xí)需要查找所需要的特征[7]。相對(duì)于其他目標(biāo)檢測(cè)方法，YOLO-v3更有優(yōu)勢(shì)[8]，對(duì)于320×320的圖像的檢測(cè)，其可達(dá)到22 ms的速度，獲得28.2 mAP的性能，與SSD的準(zhǔn)確率相當(dāng)，但是速度快3倍?？紤]到機(jī)器人算法的實(shí)用性，采用了工業(yè)上做圖像識(shí)別常用的Tensor Flow作為YOLO-v3的運(yùn)行框架。將模型轉(zhuǎn)換到Tensor Flow環(huán)境下完成模型的訓(xùn)練，再將訓(xùn)練好的權(quán)重轉(zhuǎn)為darknet，就可以把識(shí)別的權(quán)重部署到實(shí)際應(yīng)用中，這樣就可以將算法的訓(xùn)練和實(shí)際部署分開。

圖像檢測(cè)系統(tǒng)決定了機(jī)器人原理實(shí)現(xiàn)的可能性。330fps高幀率攝像頭對(duì)圖像進(jìn)行采集，樹莓派再對(duì)采集到的圖像進(jìn)行初步處理?？紤]到球類識(shí)別所需的算力對(duì)樹莓派來說是個(gè)很重的負(fù)擔(dān)，則運(yùn)用其自帶的Wi-Fi芯片對(duì)圖像以及相關(guān)數(shù)據(jù)通過路由器無線傳輸至PC端，對(duì)相關(guān)圖像數(shù)據(jù)進(jìn)行深度處理。

2.2 供電控制系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)

供電控制系統(tǒng)是控制機(jī)器人整體運(yùn)作的系統(tǒng)。采用基于Cortex-M4內(nèi)核的STM32F407ZGT6芯片作為主控CPU，高運(yùn)算能力及IO功能口多等特點(diǎn)使其運(yùn)作更少拖延。由于樹莓派在工作過程中功耗較大，以及運(yùn)動(dòng)控制系統(tǒng)需要大功率輸出的特點(diǎn)，則采用了大功率6S鋰電池，外加AS1015芯片用于大功率降壓穩(wěn)壓，用于控制系統(tǒng)以及樹莓派和相關(guān)傳感器的供電。

2.3 定位避障系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)

短距離無線通信通常采用WiFi、Bluetooth、HomeRF、ZigBee和UWB(Ultra Wide Band)等技術(shù)。UWB是利用超短電磁能量在脈沖作為信息載體來傳輸脈沖信號(hào)，使得脈沖占用極高的寬帶并且使其數(shù)據(jù)傳輸速率達(dá)到上百M(fèi)bps[9]。其能憑借僅一兩厘米的誤差識(shí)別出隱藏在墻體后運(yùn)動(dòng)著的物體，在室內(nèi)環(huán)境下，其抗多徑能力優(yōu)秀，能使不同多徑到達(dá)時(shí)間之差較小。每次的脈沖發(fā)射時(shí)間很短，在反射波到達(dá)之前，直射波的發(fā)射和接收已經(jīng)完成。因此，UWB系統(tǒng)特別適合于高速移動(dòng)環(huán)境下使用[10]。采用UWB作為定位系統(tǒng)彌補(bǔ)了330fps攝像頭廣角有限(150°)所帶來的可視范圍較小的缺點(diǎn)，將其工作范圍增大至球場(chǎng)面積，同時(shí)利用激光雷達(dá)配合UWB的高速傳輸使機(jī)器人擁有了實(shí)時(shí)地形建模能力，通過相關(guān)路徑算法對(duì)機(jī)器人周圍的異物進(jìn)行避障，完成運(yùn)動(dòng)的任務(wù)。

3 軟件設(shè)計(jì)

機(jī)器人的硬件為電源、控制主板、樹莓派4B、UWB標(biāo)簽、330fps高幀率攝像頭等。樹莓派與控制主板的串口通信引腳相連，用于相互的通信以及控制；攝像頭與樹莓派相連，用于實(shí)時(shí)采集圖像；UWB標(biāo)簽與定位基站配套使用，實(shí)時(shí)反饋機(jī)器人當(dāng)前的位置。

由于機(jī)器人的軟件設(shè)計(jì)部分較為復(fù)雜，則這一部分可分為兩大部分，即圖像識(shí)別部分以及嵌入式控制兩部分。

3.1 圖像識(shí)別部分

在圖像識(shí)別部分中，當(dāng)供電控制系統(tǒng)對(duì)樹莓派發(fā)送了開啟識(shí)別的指令，攝像頭將實(shí)時(shí)采集圖像數(shù)據(jù)，再使用OpenCV對(duì)其進(jìn)行相關(guān)的圖像初步處理(如降噪、顏色空間的轉(zhuǎn)換等)。隨即將處理完畢的圖像數(shù)據(jù)通過Wi-Fi傳輸至PC端，其中用到一個(gè)路由器來提供局域網(wǎng)。PC端在接收到數(shù)據(jù)后，在TensorFlow下運(yùn)行YOLO-v3算法，同時(shí)使用Intel二代神經(jīng)網(wǎng)絡(luò)計(jì)算棒對(duì)神經(jīng)網(wǎng)絡(luò)運(yùn)算進(jìn)行加速，輸出目標(biāo)球類在圖像中的具體位置以及大小至樹莓派。樹莓派接收到數(shù)據(jù)后將其輸出至單片機(jī)用于后續(xù)的控制。圖像識(shí)別部分流程圖如圖5所示。

圖5 圖像識(shí)別部分流程圖

3.2 嵌入式控制部分

在嵌入式控制部分，當(dāng)機(jī)器人開啟工作后，機(jī)器人將按照既定的路徑規(guī)劃算法，對(duì)場(chǎng)地球類進(jìn)行搜索。當(dāng)機(jī)器人在視野范圍內(nèi)發(fā)現(xiàn)球時(shí)，圖像識(shí)別系統(tǒng)對(duì)其進(jìn)行識(shí)別，得到球類的坐標(biāo)以及大小、種類等信息，再調(diào)整機(jī)器人移動(dòng)至靠近球類，并調(diào)整姿態(tài)使自身處于合適抓球的位置。根據(jù)球的種類以及大小，控制系統(tǒng)控制機(jī)械臂張開至合適的大小進(jìn)行抓取。在機(jī)器人的移動(dòng)過程中，定位避障系統(tǒng)不斷對(duì)機(jī)器人進(jìn)行實(shí)時(shí)定位以及運(yùn)動(dòng)姿態(tài)糾正。嵌入式控制部分流程圖如圖6所示。

圖6 嵌入式控制部分流程圖

4 創(chuàng)新點(diǎn)

4.1 處理器處理方式的創(chuàng)新

樹莓派作為圖像初步處理終端，而PC端作為圖像深度處理終端，一方面解決了樹莓派圖像識(shí)別算力不足的問題，另一方面樹莓派本身所嵌入的一些通訊以及芯片及協(xié)議便于機(jī)器人在機(jī)器視覺上的集成化，使其在性能方面比其他機(jī)器人性能更高的同時(shí)，體積更小，因此運(yùn)動(dòng)更輕便，實(shí)現(xiàn)了實(shí)際意義上的嵌入式視覺系統(tǒng)。嵌入式控制主控制電路如圖7所示。

圖7 嵌入式控制主控制電路

4.2 識(shí)別算法創(chuàng)新

YOLO-v3算法相比于基于分類器系統(tǒng)的算法有一些優(yōu)勢(shì)。它在測(cè)試時(shí)會(huì)查看整個(gè)圖像，所以它的預(yù)測(cè)利用了圖像中的全局信息。與需要數(shù)千張單一目標(biāo)圖像的 R-CNN 不同，它通過單一網(wǎng)絡(luò)評(píng)估進(jìn)行預(yù)測(cè)。這令YOLO-v3非?？欤话闼萊-CNN算法快1000倍、比Fast R-CNN快100倍?？焖俚淖R(shí)別速度，使機(jī)器人大大提高了拾球的效率，并且基于深度學(xué)習(xí)的識(shí)別相對(duì)于市面上使用普通的機(jī)器視覺算法做設(shè)計(jì)的只針對(duì)某一種球類的拾球機(jī)器人，受環(huán)境的影響更小，并且理論上只要訓(xùn)練數(shù)據(jù)種類足夠，可實(shí)現(xiàn)所有球類的識(shí)別。在1050顯卡上運(yùn)行YOLO-v3模型進(jìn)行識(shí)別，識(shí)別準(zhǔn)確率最高可達(dá)92%，模型識(shí)別幀率達(dá)到29fps，足夠用于機(jī)器人日常識(shí)別工作。識(shí)別效果如圖8所示。

圖8 識(shí)別效果

由于現(xiàn)實(shí)世界的光線變化影響因素太大，因而需要運(yùn)用OpenCV對(duì)圖像進(jìn)行初步處理，使用開運(yùn)算以及降噪算法對(duì)其中存在的噪聲進(jìn)行過濾以及進(jìn)行銳化，保證了圖像的質(zhì)量。OpenCV中對(duì)球類圖像進(jìn)行開運(yùn)算處理，像素核為5*5，進(jìn)行開運(yùn)算后可對(duì)圖像進(jìn)行降噪，減少不必要的噪聲干擾。經(jīng)過轉(zhuǎn)換后的對(duì)比圖如圖9所示。

圖9 轉(zhuǎn)換后的對(duì)比

4.3 運(yùn)算處理速度的創(chuàng)新

采用Intel二代神經(jīng)網(wǎng)絡(luò)計(jì)算棒，是一個(gè)基于USB模式的深度學(xué)習(xí)推理工具和獨(dú)立的人工智能(AI)加速器，為廣泛的邊緣主機(jī)設(shè)備提供專用深度神經(jīng)網(wǎng)絡(luò)處理功能。通過USB棒可簡(jiǎn)單地進(jìn)行原型設(shè)計(jì)和調(diào)整深層神經(jīng)網(wǎng)絡(luò)，并以低功耗運(yùn)行機(jī)器智能應(yīng)用，不需要云連接。USB型尺寸有助于輕松連接到現(xiàn)有主機(jī)，而視覺處理單元(VPU)可減輕機(jī)器負(fù)載和加速機(jī)器智能應(yīng)用，可以在低端ARM硬件上運(yùn)行引用，節(jié)省了硬件的開發(fā)成本。

5 結(jié)語

本文提出了一款基于深度學(xué)習(xí)及嵌入式視覺系統(tǒng)的球童機(jī)器人的設(shè)計(jì)，該機(jī)器人搭載攝像頭從不同角度實(shí)時(shí)記錄周圍的環(huán)境，利用OpenCV及相關(guān)算法對(duì)掃描出的圖像進(jìn)行優(yōu)化處理。系統(tǒng)通過YOLO-v3算法對(duì)圖像中的標(biāo)定物進(jìn)行全局預(yù)測(cè)并建立模型，同時(shí)利用激光雷達(dá)配合UWB輔助定位避障，使機(jī)器人完成拾球任務(wù)。本文研究結(jié)果適用于不同球場(chǎng)環(huán)境下的撿球任務(wù)，能夠有效減少人工成本，提高撿球效率，具有廣闊的應(yīng)用前景。