袁 越 ， 趙大旭

（浙江農(nóng)林大學(xué)光機(jī)電工程學(xué)院，浙江 杭州 311300）

機(jī)器人融合了機(jī)械、電子、信息等多學(xué)科技術(shù)，參加機(jī)器人相關(guān)學(xué)科競(jìng)賽，需要深入學(xué)習(xí)和理解機(jī)構(gòu)學(xué)、機(jī)器人學(xué)、傳感器技術(shù)、測(cè)試技術(shù)、機(jī)器視覺、圖形圖像處理、控制理論等相關(guān)領(lǐng)域的知識(shí)，分析機(jī)器人工作環(huán)境，設(shè)計(jì)具體作業(yè)參數(shù)，編程實(shí)現(xiàn)不同環(huán)境下的作業(yè)功能。智能采摘機(jī)器人是中國(guó)機(jī)器人及人工智能大賽的子賽項(xiàng)，比賽場(chǎng)地如圖1所示。機(jī)器人從起點(diǎn)區(qū)出發(fā)，經(jīng)過 A 區(qū)、B 區(qū)、C 區(qū)、D 區(qū)，采收果蔬，并在分類后放置到 D 區(qū)規(guī)定區(qū)域。

圖1 比賽場(chǎng)地導(dǎo)圖

1 機(jī)械結(jié)構(gòu)與硬件系統(tǒng)設(shè)計(jì)

1.1 整體設(shè)計(jì)方案

機(jī)器人包括機(jī)械本體、檢測(cè)傳感系統(tǒng)、執(zhí)行機(jī)構(gòu)和控制系統(tǒng)幾大部分，整體設(shè)計(jì)方案和布局如圖2所示?；谀K化設(shè)計(jì)思想，機(jī)器人的行走、環(huán)境感知、機(jī)器視覺、采摘執(zhí)行機(jī)構(gòu)、機(jī)器視覺和主控制單元等子系統(tǒng)均以模塊形式進(jìn)行設(shè)計(jì)開發(fā)，可方便根據(jù)任務(wù)進(jìn)行組合以及移植到其他機(jī)器人上。機(jī)械本體包括移動(dòng)底盤和采摘機(jī)械臂，移動(dòng)底盤承載所有設(shè)備和系統(tǒng)。底盤的移動(dòng)功能由行走模塊實(shí)現(xiàn)，該模塊包括四個(gè)左右對(duì)稱布置的無刷直流電機(jī)，可通過四輪驅(qū)動(dòng)差動(dòng)方式實(shí)現(xiàn)轉(zhuǎn)向，具有較高的方向精度和轉(zhuǎn)向靈活性。采摘機(jī)械臂是作業(yè)執(zhí)行機(jī)構(gòu)，采用了具有較大工作空間和較高的靈活性的五自由度關(guān)節(jié)型機(jī)械臂，末端執(zhí)行器與各關(guān)節(jié)均由總線舵機(jī)驅(qū)動(dòng)[1-3]。

圖2 機(jī)器人整體設(shè)計(jì)

環(huán)境感知模塊包括IMU單元（慣性測(cè)量單元）、光電顏色傳感器、灰度傳感器等，用于檢測(cè)路徑、作業(yè)環(huán)境和對(duì)象的特征信息。雖然視覺系統(tǒng)也承擔(dān)了部分環(huán)境感知功能，但本設(shè)計(jì)的機(jī)器視覺模塊是相對(duì)獨(dú)立的，核心部分由攝像頭和微處理器組成，主要功能是作業(yè)對(duì)象的定位、識(shí)別和導(dǎo)航信息的采集處理[4]。

1.2 控制系統(tǒng)硬件設(shè)計(jì)

本設(shè)計(jì)機(jī)器人選擇了一個(gè)Arduino Mega2560控制器作為主控單元，其核心部件是一個(gè)ATmega2560單片機(jī)。機(jī)器視覺模塊以Raspberry Pi微處理器為核心，視覺信息主要包括導(dǎo)航定位信息和果實(shí)的識(shí)別定位信息，由OpenMV模塊采集并傳輸至Arduino Mega2560與Raspberry Pi進(jìn)行處理[5]。

環(huán)境感知系統(tǒng)中，灰度傳感器陣列用于檢測(cè)軌跡線，以反饋關(guān)卡信息。IMU慣性傳感器模塊則用于檢測(cè)機(jī)器人方向角，以確定移動(dòng)方向，作為輔助導(dǎo)航信息，用于方向校正控制。定位導(dǎo)航功能主要依賴機(jī)器視覺模塊完成，攝像頭采集到位置標(biāo)記信息，經(jīng)Raspberry Pi處理，輸出定位信息至主控制器[6]。

機(jī)器人的行走系統(tǒng)和采摘機(jī)械臂系統(tǒng)分別由直流電機(jī)和舵機(jī)驅(qū)動(dòng)，其中直流電機(jī)由內(nèi)置驅(qū)動(dòng)器驅(qū)動(dòng)，舵機(jī)由總線舵機(jī)驅(qū)動(dòng)器驅(qū)動(dòng)[7]?？刂葡到y(tǒng)硬件框架及選型如圖3所示。

圖3 控制系統(tǒng)硬件框架及選型

2 控制程序設(shè)計(jì)

按照比賽規(guī)則，A區(qū)等間距擺放成熟的蘋果、南瓜；B區(qū)等間距混合擺放成熟與不成熟的蘋果、南瓜；C區(qū)混合擺放成熟與不成熟的西紅柿；D區(qū)等間距布置三個(gè)不同作物的收集區(qū)。比賽過程中，機(jī)器人需要盡可能多采摘成熟果蔬，并在比賽結(jié)束前盡可能準(zhǔn)確地將收獲果蔬分類后分別傾倒在不同收集區(qū)，通過語(yǔ)音播報(bào)采摘成果，完成整個(gè)比賽。根據(jù)各關(guān)卡特點(diǎn)，設(shè)計(jì)了控制策略，編寫了對(duì)應(yīng)的控制程序。

2.1 控制策略設(shè)計(jì)

依據(jù)賽方規(guī)則，結(jié)合機(jī)器自身結(jié)構(gòu)，設(shè)計(jì)了相應(yīng)的控制策略。A區(qū)與B區(qū)的作業(yè)對(duì)象等距分布在路徑兩側(cè)，C區(qū)分布更密集，其中A區(qū)為模擬果樹，B區(qū)、C區(qū)為模擬蔬菜。除A區(qū)外，都存在不成熟果蔬，因此針對(duì)每個(gè)關(guān)卡，設(shè)計(jì)了有針對(duì)性的控制策略。A區(qū)之外增加了視覺識(shí)別環(huán)節(jié)，定位并判斷作業(yè)對(duì)象后通過機(jī)械臂實(shí)施采摘作業(yè)。

2.2 定位與導(dǎo)航子程序

由于比賽場(chǎng)地在第一、四關(guān)卡布置了循跡線，第二、三關(guān)卡沒有布置循跡線，因此設(shè)計(jì)了兩套導(dǎo)航方案。一是依賴循跡線的基于循跡傳感器的導(dǎo)航策略，二是不依賴循跡線的基于視覺特征并結(jié)合IMU的定位導(dǎo)航策略。

基于循跡傳感器的導(dǎo)航系統(tǒng)是利用傳感器中光敏電阻對(duì)不同顏色反射光的對(duì)應(yīng)阻值不同，輸出不同強(qiáng)弱的電信號(hào)，主控板結(jié)合當(dāng)前車身姿態(tài)判斷出車身與循跡線的相對(duì)位置，并進(jìn)行調(diào)整；基于視覺特征的導(dǎo)航系統(tǒng)是在Raspberry Pi上實(shí)現(xiàn)的，通過攝像頭獲取幀緩存圖像之后，利用OpenCV的庫(kù)函數(shù)進(jìn)行圖像處理，通過模板匹配獲得完整清晰的十字標(biāo)圖像，并擬合導(dǎo)航線求解出其中心坐標(biāo)；最后返回導(dǎo)航參數(shù)，主控板調(diào)整電機(jī)速度和方向，完成糾偏。視覺導(dǎo)航流程如圖4所示，十字標(biāo)提取效果如圖5所示。

圖4 視覺導(dǎo)航流程

圖5 十字標(biāo)提取效果

2.3 識(shí)別子程序設(shè)計(jì)

作業(yè)過程中，機(jī)器人需要判斷作業(yè)對(duì)象的類型與成熟程度，以確定是否實(shí)施采摘。本設(shè)計(jì)用LAB顏色模型進(jìn)行顏色識(shí)別，對(duì)圖像進(jìn)行預(yù)處理后進(jìn)行HSV轉(zhuǎn)換，再對(duì)其用灰度變換和閾值分割后進(jìn)行形態(tài)學(xué)處理，最后提取出輪廓，進(jìn)行果實(shí)種類對(duì)比，識(shí)別果實(shí)的種類及成熟與否。蘋果、西紅柿圖像處理及輪廓提取的效果分別如圖6、圖7所示，對(duì)象識(shí)別的流程如圖8所示[8-9]。

圖6 蘋果圖像處理及輪廓提取效果

圖7 西紅柿圖像處理及輪廓提取效果

圖8 對(duì)象識(shí)別流程

2.4 視覺伺服子程序設(shè)計(jì)

確定作業(yè)對(duì)象可以采摘后，機(jī)器人需要控制機(jī)械臂實(shí)施作業(yè)，課題組設(shè)計(jì)了基于位置的手眼協(xié)調(diào)控制方案：根據(jù)圖像提取目標(biāo)特征信息，估算出目標(biāo)物體相對(duì)于機(jī)器人末端的位姿，然后利用與期望位姿的偏差進(jìn)行反饋控制，直接在笛卡爾坐標(biāo)空間應(yīng)用較成熟的控制方法對(duì)機(jī)器人進(jìn)行控制，把視覺處理過程問題從機(jī)器人控制中分離出來，分別對(duì)二者進(jìn)行研究。手眼協(xié)調(diào)分析如圖9所示。

圖9 手眼協(xié)調(diào)分析

在正常情況下，首先需要通過一系列圖像處理及計(jì)算得到果實(shí)的空間坐標(biāo)，再結(jié)合機(jī)械臂自身參數(shù)，計(jì)算出各關(guān)節(jié)需轉(zhuǎn)動(dòng)的角度，完成采摘作業(yè)。但這種方法的控制精度在很大程度上要依賴于從圖像到位姿的估計(jì)精度，并且需要進(jìn)行逆運(yùn)動(dòng)學(xué)運(yùn)算，依賴于攝像機(jī)的系統(tǒng)模型、標(biāo)定精度、圖像處理等，需要較大的算力支持[10]。

受軟硬件成本限制，課題組選擇了逼近法代替計(jì)算法：通過單目攝像頭（具體什么形式型號(hào)，在前文中已經(jīng)敘述，所以此處可以不強(qiáng)調(diào)單目）提取出果實(shí)圖像后，經(jīng)過圖像處理和初步計(jì)算得到果實(shí)相對(duì)于機(jī)械爪掌心攝像頭畫面中心的二維平面坐標(biāo)，并通過調(diào)整云臺(tái)處舵機(jī)進(jìn)行末端執(zhí)行器的二維校準(zhǔn)。再根據(jù)反饋回來的果實(shí)距離設(shè)置分層次的比例系數(shù)，使得機(jī)械臂各關(guān)節(jié)角度均勻緩慢變化，直至果實(shí)距離趨近合理，完成三維校準(zhǔn)，并實(shí)施采摘，視覺伺服程序流程圖如圖10所示。

圖10 視覺伺服程序流程圖

3 結(jié)語(yǔ)

以賽方規(guī)則為基本要求，課題組設(shè)計(jì)了一款以Arduino單片機(jī)為控制核心的采摘競(jìng)賽機(jī)器人，完成了行走模塊、傳感模塊、機(jī)械臂執(zhí)行模塊、機(jī)器視覺模塊和總控制模塊這五個(gè)模塊的結(jié)構(gòu)和程序設(shè)計(jì)，同時(shí)特殊的語(yǔ)音播報(bào)系統(tǒng)可以進(jìn)行果實(shí)收獲情況的播報(bào)。自主導(dǎo)航的行走方式和手眼協(xié)調(diào)的采摘作業(yè)方式對(duì)該類競(jìng)賽具有一定參考價(jià)值，課題組設(shè)計(jì)的機(jī)器人在2021年中國(guó)機(jī)器人及人工智能大賽中獲得了該賽項(xiàng)冠軍，在一定程度上驗(yàn)證了其可靠性。