梁喜鳳，花瑞，楊銘濤

(中國計(jì)量大學(xué)機(jī)電工程學(xué)院，杭州市，310018)

0 引言

中國是世界上番茄生產(chǎn)和消費(fèi)總量最多的國家之一。近年來，番茄種植管理的人工成本逐漸增加，而番茄打葉又需要周期性的進(jìn)行，人工成本較高[1]。目前番茄種植方式是以溫室大棚中或者高架形式種植為主，植株之間的行距比較寬闊，無論是采摘果實(shí)還是修剪枝葉，都適合機(jī)械化作業(yè)[2-3]。因此，研發(fā)一種代替或輔助人工作業(yè)的番茄枝葉修剪機(jī)械手是很必要的。

目前，國內(nèi)研究的枝葉修剪機(jī)器人大多是用于林木修剪，徐軍[4]設(shè)計(jì)的林木剪枝機(jī)器人是利用驅(qū)動(dòng)與蝸輪的鏈?zhǔn)竭B接裝置，實(shí)現(xiàn)攀爬樹干和修剪樹枝功能。由于番茄植株的枝干較為細(xì)軟、長勢較高[5]，所以需要設(shè)計(jì)一種針對番茄植株的枝葉修剪機(jī)械手，而視覺伺服控制系統(tǒng)是番茄修剪枝葉機(jī)械手的重要組成部分。視覺伺服分為基于位置的視覺伺服(PBVS)和基于圖像的視覺伺服(IBVS)[6]?；谖恢玫囊曈X伺服是通過估計(jì)目標(biāo)位置相對攝像機(jī)的位姿，將該位姿與當(dāng)前位姿進(jìn)行對比再調(diào)整機(jī)械臂，由于PBVS固定了攝像機(jī)的位置，使得其無法在一些流動(dòng)性的作業(yè)中獲取完備的特征[7-8]?；趫D像的視覺伺服在控制過程中需要估計(jì)圖像雅克比矩陣，如今大部分都使用KF算法[9]和UKF算法[10]來估計(jì)圖像雅克比矩陣，但其計(jì)算工作復(fù)雜并受環(huán)境噪聲影響較大[11]。Mehta等[12]在IBVS的基礎(chǔ)上加入魯棒反饋去克服外界影響造成目標(biāo)果實(shí)的運(yùn)動(dòng)。除此之外還有在視覺伺服上加入神經(jīng)網(wǎng)絡(luò)[13-14]，目前大多運(yùn)用于工業(yè)領(lǐng)域，Gu等[15]在模糊神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上對圖像特征點(diǎn)和機(jī)械臂關(guān)節(jié)變化關(guān)系進(jìn)行估計(jì)，在視覺伺服中加入神經(jīng)網(wǎng)絡(luò)可以避免計(jì)算圖像雅克比矩陣[16-18]，但是需要對目標(biāo)物體規(guī)定尺寸。

本文結(jié)合番茄枝葉的生長特點(diǎn)，以項(xiàng)目組設(shè)計(jì)的五自由度的全自動(dòng)番茄枝葉修剪機(jī)械手為平臺，在PSO-BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)了番茄枝葉修剪機(jī)械手的視覺伺服系統(tǒng)。以番茄植株的側(cè)枝夾取點(diǎn)為研究目標(biāo)，提出了一種基于不同邊緣類型的番茄側(cè)枝特征點(diǎn)識別方法，通過圖像處理算法中橫縱邊緣類型的分類，提取目標(biāo)剪枝點(diǎn)，在訓(xùn)練好的PSO-BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，得到機(jī)械臂的關(guān)節(jié)角度，進(jìn)行仿真試驗(yàn)。

1 基于不同邊緣類型的番茄側(cè)枝特征點(diǎn)識別方法

本文基于不同邊緣類型的番茄側(cè)枝特征點(diǎn)識別方法的流程如圖1所示。

圖1 番茄側(cè)枝特征點(diǎn)識別方法的流程

本文以在番茄植株中搜尋番茄側(cè)枝特征點(diǎn)為目的，提出了一種基于不同邊緣類型的番茄側(cè)枝特征點(diǎn)識別方法，在背景中提取出整株番茄植株，通過區(qū)分橫縱邊緣的算法對番茄植株邊緣進(jìn)行處理，將橫縱邊緣交界點(diǎn)作為番茄植株側(cè)枝的特征點(diǎn)，然后再利用邊緣排序算法對每段番茄枝條邊緣進(jìn)行排序和分類，得到一對分別在上邊緣和下邊緣上的特征點(diǎn)。

1.1 圖像預(yù)處理

通過佳能450D相機(jī)，在自然光照條件下獲得番茄側(cè)枝的圖像。由于番茄植株側(cè)枝的葉片和枝干顏色太過相似，無法基于多光譜識別方法對枝葉進(jìn)行分類，所以本文中使用形態(tài)學(xué)方法對番茄側(cè)枝進(jìn)行圖像處理(圖2)。對圖2(a)彩色圖像I進(jìn)行背景分割，提取出整株的蔬果枝葉如圖2(b)所示，并對提取的圖像進(jìn)行二值化處理，得到如圖2(c)的二值化圖像C。

(a) 彩色圖像I

1.2 橫縱邊緣分割

由于枝、葉無法通過顏色對其進(jìn)行區(qū)分，采用一種橫縱邊緣分割的方法去除葉片的邊緣的影響。首先對二值化圖像進(jìn)行橫縱邊緣的提取，分別形成與二值化圖像尺寸相同的縱邊緣圖像C2和橫邊緣圖像C3，在縱邊緣圖像中的像素值取值如式(1)所示。

(1)

式(1)中將橫向邊緣像素賦值0，縱向邊緣賦值1，使得C2圖像用白色顯示出縱向邊緣段。

再將上述的橫邊緣圖像C3分為上下邊緣Cu，其中Cu像素值取值如式(2)所示。

(2)

在式(2)中橫向邊緣像素賦值1，縱向邊緣賦值0，使得橫向邊緣在圖像中顯示出來，在坐標(biāo)數(shù)列里給下邊緣和上邊緣進(jìn)行分類。再對得到的縱邊緣圖像和橫邊緣圖像分別進(jìn)行開運(yùn)算，去除圖像中離散的點(diǎn)和不屬于枝條的邊緣，得到僅保留枝條邊緣的縱向枝條邊緣(圖3)和橫向枝條邊緣(圖4)。

圖3 縱向邊緣

圖4 橫向邊緣

1.3 修剪側(cè)枝特征點(diǎn)提取

基于上下邊緣標(biāo)記圖像，再利用蔬果植株邊緣排序算法[19]對植株的橫向枝條邊緣進(jìn)行排序和類別判斷，將圖像中的每條橫向枝條邊緣按照判斷結(jié)果標(biāo)記為上邊緣或下邊緣；基于縱向枝條邊緣圖像和橫向枝條邊緣圖像，將橫縱邊緣進(jìn)行整合(圖5)。

圖5 橫縱邊緣整合

由于同一枝條的兩個(gè)側(cè)枝點(diǎn)不可能距離很遠(yuǎn)，因此可以通過設(shè)置距離閾值，剔除非側(cè)枝點(diǎn)，得到每一根橫向枝條對應(yīng)的一組分叉點(diǎn)，所述的距離閾值為20～40個(gè)像素。如圖6所示得到所有的對偶交點(diǎn)；再根據(jù)一組分叉點(diǎn)中兩個(gè)交點(diǎn)所靠近或是依附的橫向枝條邊緣類別，來判斷交點(diǎn)是上邊緣點(diǎn)還是下邊緣點(diǎn)，最終識別到橫向枝條側(cè)枝點(diǎn)的上邊緣點(diǎn)和下邊緣點(diǎn)，如圖7所示圈出了目標(biāo)特征點(diǎn)。

圖6 對偶的橫縱邊緣交點(diǎn)

圖7 番茄植株目標(biāo)特征點(diǎn)

2 視覺伺服控制器的PSO-BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

2.1 BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

BP神經(jīng)網(wǎng)絡(luò)是一種不需要事先確定輸入輸出之間映射關(guān)系的網(wǎng)絡(luò)，僅通過自身的訓(xùn)練，學(xué)習(xí)某種規(guī)則，在給定輸入值時(shí)得到最接近期望輸出值的結(jié)果[20]。本文中在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基礎(chǔ)上進(jìn)行無標(biāo)定的視覺伺服控制，通過不斷迭代練習(xí)，得到一個(gè)訓(xùn)練好的機(jī)械臂關(guān)節(jié)角度和目標(biāo)特征點(diǎn)映射關(guān)系的網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成。在本文中由于番茄側(cè)枝的圖像特征點(diǎn)只有兩個(gè)，為了提高網(wǎng)絡(luò)的收斂性和減小訓(xùn)練方差，增加輸入節(jié)點(diǎn)數(shù)，所以使用雙目攝像機(jī)，這樣就可以得到4個(gè)目標(biāo)特征點(diǎn)，分別將其橫縱坐標(biāo)作為輸入。輸出層設(shè)置為5個(gè)輸出節(jié)點(diǎn)，分別對應(yīng)機(jī)械臂5個(gè)期望關(guān)節(jié)角度與當(dāng)前關(guān)節(jié)角度的差值。BP神經(jīng)網(wǎng)絡(luò)隱含層通常采用經(jīng)驗(yàn)公式，如式(3)所示。

(3)

式中：m——隱含層節(jié)點(diǎn)數(shù)；

s——輸入層節(jié)點(diǎn)數(shù)；

l——輸出層節(jié)點(diǎn)數(shù)；

α——1～10之間的整數(shù)[12]。

通過計(jì)算隱含層節(jié)點(diǎn)設(shè)置在5～14即可。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本是通過仿真機(jī)械臂相應(yīng)關(guān)節(jié)角變化，并同時(shí)記錄相應(yīng)的圖像特征點(diǎn)變化來獲?。浑x線對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖8所示，其中Δx1…Δx8為特征點(diǎn)變化，q1…q5為關(guān)節(jié)角度變化值；網(wǎng)絡(luò)的執(zhí)行階段是根據(jù)神經(jīng)網(wǎng)絡(luò)的輸入計(jì)算期望的關(guān)節(jié)角變化。

圖8 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

粒子優(yōu)化算法(PSO)源于鳥群捕食的行為研究，通過給予粒子位置和速度兩個(gè)屬性，讓每個(gè)粒子尋求空間中最優(yōu)解。在PSO-BP神經(jīng)網(wǎng)絡(luò)中利用PSO算法對全局范圍中進(jìn)行大致搜索[22]，得到一個(gè)優(yōu)化過的BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，提高了BP網(wǎng)絡(luò)的泛化能力和學(xué)習(xí)能力，大大提升了其收斂速度。PSO算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)流程圖如圖9所示，具體步驟如下。

圖9 PSO-BP神經(jīng)網(wǎng)絡(luò)流程圖

1) 設(shè)置BP神經(jīng)網(wǎng)絡(luò)的參數(shù)，包括輸入層節(jié)點(diǎn)In，隱含層節(jié)點(diǎn)Hid和輸出層節(jié)點(diǎn)Out，將訓(xùn)練數(shù)據(jù)歸一化處理。

2) 初始化粒子群算法的所有參數(shù)，包括粒子最大速度，慣性權(quán)重，學(xué)習(xí)因子，迭代次數(shù)N和粒子群規(guī)模U；速度向量維數(shù)Dims按式(4)求得，每個(gè)粒子由速度矩陣和位置矩陣組成。

Dims=In×Out+Hid+Hid×Out+Out

(4)

3) 對粒子個(gè)體進(jìn)行評價(jià)：首先把最小適應(yīng)度函數(shù)值設(shè)置為粒子群的個(gè)體極值Pbest，然后將粒子中最小的個(gè)體極值設(shè)置為全局極值gbest，適應(yīng)度函數(shù)按式(5)確定。

(5)

式中：Vn——實(shí)際輸出；

yn——期望輸出。

4) 將粒子的當(dāng)前最佳位置作為迭代點(diǎn)，進(jìn)行迭代。

5) 排除越界的粒子，更新粒子的速度和位置。

6) 當(dāng)?shù)螖?shù)到達(dá)N或是誤差滿足精度要求時(shí)，停止迭代；否則轉(zhuǎn)入步驟5。

7) 結(jié)束迭代，將當(dāng)前的Pbest和gbest作為BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，獲得BP神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出。

3 視覺伺服控制器設(shè)計(jì)與仿真試驗(yàn)

3.1 基于PSO-BP神經(jīng)網(wǎng)絡(luò)視覺伺服系統(tǒng)

視覺伺服控制主要通過末端執(zhí)行器的移動(dòng)位置和期望位置的偏差進(jìn)行反饋，不斷調(diào)整機(jī)械臂的位姿來夾取側(cè)枝。本文中視覺伺服控制系統(tǒng)是通過雙目攝像機(jī)對目標(biāo)枝條進(jìn)行采集圖像，將采集的圖像通過上述圖像處理得出目標(biāo)側(cè)枝點(diǎn)的位置；再通過將位置信息輸入到PSO-BP神經(jīng)網(wǎng)絡(luò)中，來獲得五個(gè)關(guān)節(jié)角度，轉(zhuǎn)動(dòng)機(jī)械臂各個(gè)關(guān)節(jié)，使用的雙目、基于圖像特征的視覺伺服控制系統(tǒng)，如圖10所示，再通過眼在手上的方式將攝像機(jī)安裝在機(jī)器人的末端執(zhí)行器上。

圖10 番茄枝葉修剪機(jī)械手視覺伺服系統(tǒng)框圖

3.2 數(shù)據(jù)采集

為了獲得充足的訓(xùn)練樣本，本試驗(yàn)根據(jù)課題組中番茄剪葉機(jī)械手實(shí)物，利用Matlab軟件中的機(jī)器人工具箱(Robotics Toolbox)搭建了一個(gè)五關(guān)節(jié)的機(jī)器臂模型如圖11所示，并建立了一個(gè)基于圖像的視覺伺服(IBVS)仿真系統(tǒng)。變化仿真機(jī)械手各個(gè)關(guān)節(jié)的角度，保證得到特征點(diǎn)在同一平面上，在照相機(jī)模塊得到對應(yīng)的圖像特征變化圖，得到300組數(shù)據(jù)，其中250組作為訓(xùn)練樣本，50組作為測試樣本。

圖11 枝葉修剪機(jī)械手仿真圖

3.3 仿真試驗(yàn)與數(shù)據(jù)誤差

為了驗(yàn)證本文中提出的視覺伺服系統(tǒng)的可行性，進(jìn)行simlink仿真試驗(yàn)。根據(jù)上述方法建立的PSO-BP神經(jīng)網(wǎng)絡(luò)模型，其中各項(xiàng)參數(shù)設(shè)置為BP網(wǎng)絡(luò)的學(xué)習(xí)率μ=0.4，動(dòng)量因子η=0.8，期望誤差e=10-5；PSO優(yōu)化網(wǎng)絡(luò)中，種群規(guī)模為80，迭代100次，學(xué)習(xí)因子設(shè)置為c1=c2=2。

導(dǎo)入訓(xùn)練集進(jìn)行反復(fù)迭代訓(xùn)練，訓(xùn)練完成后測試集的輸出均方差如圖12所示。

圖12 PSO-BP神經(jīng)網(wǎng)絡(luò)曲線圖

由圖12可知，在迭代100次內(nèi)均方差已經(jīng)漸漸收斂，最終迭代次數(shù)不到90次時(shí)，均方差就能收斂到7.933 7×10-5，達(dá)到期望的輸出精度。在仿真試驗(yàn)中，將每個(gè)攝像機(jī)中兩個(gè)期望的特征點(diǎn)坐標(biāo)(末端執(zhí)行器的特征點(diǎn))提取，四個(gè)坐標(biāo)構(gòu)成一個(gè)長方形，將其坐標(biāo)做以下假設(shè)。

1) 四個(gè)期望的圖像特征坐標(biāo)

2) 機(jī)械臂的初始關(guān)節(jié)角

3) 攝像機(jī)參數(shù)設(shè)置：焦距f=8 mm，α=β=80 000 pixels/m，目標(biāo)成像深度h=1.5 m，圖像中心點(diǎn)為(200, 200)。

如圖13所示，試驗(yàn)中特征點(diǎn)在攝像機(jī)中從初始點(diǎn)移動(dòng)到最終位置，虛線為初始特征點(diǎn)位置，實(shí)線表示最終位置，根據(jù)特征點(diǎn)的變化，求解出機(jī)械臂各個(gè)關(guān)節(jié)運(yùn)動(dòng)角度，各個(gè)關(guān)節(jié)運(yùn)動(dòng)軌跡變化如圖14所示。

圖13 初始特征點(diǎn)位置

圖14 各關(guān)節(jié)角度變化

由圖13可知，圖像特征最終位置的像素坐標(biāo)為a1=(174,162)，a2=(223,218)，a3=(174,217)，a4=(226,164)，與設(shè)定的期望圖像特征點(diǎn)對比相差3～5個(gè)像素點(diǎn)，由圖14可知，在4 s內(nèi)機(jī)械臂各個(gè)關(guān)節(jié)運(yùn)動(dòng)到期望位置。

4 結(jié)論

4.1 討論

本文僅在仿真試驗(yàn)中驗(yàn)證了該方法的可行性，具體運(yùn)用到試驗(yàn)部分還需要改進(jìn)，并且對機(jī)械臂的軌跡規(guī)劃未進(jìn)行研究，在實(shí)際工作中會(huì)影響修剪效果并損壞側(cè)枝，后續(xù)應(yīng)增加對該方面的研究。文中提出的基于神經(jīng)網(wǎng)絡(luò)的視覺伺服系統(tǒng)的研究在工業(yè)領(lǐng)域比較多，主要由于工業(yè)器件尺寸的確定性，但在農(nóng)業(yè)中番茄側(cè)枝的寬度并不確定，所以使用神經(jīng)網(wǎng)絡(luò)只能得到機(jī)械臂轉(zhuǎn)動(dòng)關(guān)節(jié)角度，在平動(dòng)關(guān)節(jié)還需要使用雙目測距進(jìn)行調(diào)整。

4.2 結(jié)論

1) 通過對番茄植株圖像進(jìn)行形態(tài)學(xué)處理，將番茄側(cè)枝分為橫縱邊緣，根據(jù)不同邊緣類型找到對偶的番茄側(cè)枝點(diǎn)，能夠獲得機(jī)械臂修剪枝葉所需要的期望特征點(diǎn)。

2) 在PSO-BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上建立視覺伺服系統(tǒng)，相對于傳統(tǒng)的視覺伺服控制，減少了計(jì)算雅克比矩陣的工作量；相對于雙目定位來說，省去了標(biāo)定環(huán)節(jié)，也就減少了標(biāo)定環(huán)節(jié)帶來的誤差和所需要的人工成本。

3) 試驗(yàn)結(jié)果表明設(shè)計(jì)的視覺伺服系統(tǒng)能成功的識別番茄側(cè)枝修剪點(diǎn)，仿真試驗(yàn)測試得到圖像特征的實(shí)際值和期望值誤差在3～5個(gè)像素之間，五自由度的機(jī)械手在4 s內(nèi)能移動(dòng)到期望位置，具有良好的控制精度和速度。