張軍凱,李 欣,韓俊先,趙 娟,程龍雪

(河北機(jī)電職業(yè)技術(shù)學(xué)院 電氣工程系,河北 邢臺(tái) 054000)

0 引言

蘋(píng)果作為一種深受大眾喜愛(ài)的水果,在我國(guó)種植面積廣泛,但由于蘋(píng)果生長(zhǎng)位置較高,需要進(jìn)行登高采摘,勞動(dòng)強(qiáng)度較大[1-2]。隨著城鎮(zhèn)化進(jìn)程的加劇,大量的農(nóng)村勞動(dòng)力涌入城鎮(zhèn)就業(yè),從事農(nóng)業(yè)生產(chǎn)的人口規(guī)模逐漸減小[3],故缺乏勞動(dòng)力和高強(qiáng)度的蘋(píng)果采摘?jiǎng)趧?dòng)形成了一對(duì)鮮明的矛盾,而實(shí)現(xiàn)蘋(píng)果采摘自動(dòng)化成為解決該矛盾的有效手段。目前,蘋(píng)果采摘系統(tǒng)廣泛采用圖像識(shí)別技術(shù)。傳統(tǒng)的圖像識(shí)別需要將圖像進(jìn)行灰度化處理和圖像分割,進(jìn)而確定蘋(píng)果位置[4-5];但不同天氣的光照強(qiáng)度直接影響著圖像分割精度,故傳統(tǒng)的圖像識(shí)別技術(shù)不能有效適應(yīng)所有地形和天氣情況。本系統(tǒng)基于改進(jìn)型深度學(xué)習(xí)網(wǎng)絡(luò),具有很強(qiáng)的環(huán)境適應(yīng)能力[6-7],同時(shí)改進(jìn)型深度學(xué)習(xí)網(wǎng)絡(luò)可以有效降低學(xué)習(xí)樣本量,提高識(shí)別經(jīng)度;采用單目視覺(jué)系統(tǒng)和激光測(cè)距器可實(shí)現(xiàn)蘋(píng)果定位,采用雙反饋系統(tǒng)對(duì)采摘機(jī)械臂進(jìn)行控制。測(cè)試結(jié)果表明,系統(tǒng)具有良好的圖像識(shí)別精度和采摘機(jī)械手控制精度。

1 系統(tǒng)組成

為了實(shí)現(xiàn)蘋(píng)果的自動(dòng)化采摘,基于深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計(jì)了蘋(píng)果自動(dòng)采摘系統(tǒng),如圖1所示。其中,電瓶為整個(gè)系統(tǒng)供電,中央控制器完成行走系控制、機(jī)械臂控制和深度圖像識(shí)別與目標(biāo)蘋(píng)果定位。中央控制器通過(guò)后輪驅(qū)動(dòng)器和前輪驅(qū)動(dòng)器控制后驅(qū)動(dòng)輪和前驅(qū)動(dòng)輪,實(shí)現(xiàn)采摘系統(tǒng)的移動(dòng);機(jī)械臂通過(guò)水平舵機(jī)實(shí)現(xiàn)水平轉(zhuǎn)動(dòng),大臂舵機(jī)和小臂舵機(jī)實(shí)現(xiàn)采摘機(jī)械臂的關(guān)節(jié)運(yùn)動(dòng),小臂伸長(zhǎng)氣缸實(shí)現(xiàn)采摘終端的前后移動(dòng),采摘終端配有采摘器、攝像頭和激光測(cè)距器。

工作時(shí),攝像頭采集蘋(píng)果圖像,在中央控制器完成深度學(xué)習(xí),識(shí)別圖像中蘋(píng)果區(qū)域;激光測(cè)距器完成距離測(cè)定,進(jìn)而實(shí)現(xiàn)目標(biāo)蘋(píng)果圖像坐標(biāo)向空間坐標(biāo)的轉(zhuǎn)換;根據(jù)視覺(jué)定位系統(tǒng)得到的目標(biāo)蘋(píng)果空間坐標(biāo)位置,中央控制器調(diào)整機(jī)械臂舵機(jī)與氣缸伸長(zhǎng)量,完成采摘終端向目標(biāo)蘋(píng)果的轉(zhuǎn)移,實(shí)現(xiàn)采摘;中央控制器控制行走底盤(pán),向下一處采摘地點(diǎn)轉(zhuǎn)移。

圖1 系統(tǒng)組成Fig.1 Structure of system

2 圖像預(yù)處理

CCD攝像頭采集圖像是進(jìn)行整個(gè)分析過(guò)程的基礎(chǔ),但由于光照強(qiáng)度及天氣等原因會(huì)對(duì)采集到的圖像造成干擾,因此需要對(duì)CCD攝像頭采集的圖像進(jìn)行濾波處理,降低自然環(huán)境因素對(duì)于圖像的影響。

CCD攝像頭采集到的蘋(píng)果枝頭的圖像如圖2(a)所示。由于光照的影響,在蘋(píng)果葉片邊緣出現(xiàn)模糊,同時(shí)蘋(píng)果的果實(shí)上出現(xiàn)葉片影子的暗區(qū)域以及陽(yáng)光直射造成的明亮區(qū)域。采用目前的主流降噪方法(即均值濾波、高斯濾波和中值濾波)對(duì)圖像進(jìn)行預(yù)處理,均值濾波[8]結(jié)果如圖2(b)所示。由圖2(b)可知:整張圖片明顯發(fā)亮,對(duì)于蘋(píng)果果實(shí)上的暗區(qū)域和亮區(qū)域調(diào)整效果明顯,但整張圖像趨于模糊。高斯濾波[9]結(jié)果如圖2(c)所示。由圖2(c)可知:葉片邊界趨于清晰,果實(shí)整體色調(diào)趨于統(tǒng)一。中值濾波[10]結(jié)果如圖2(d)所示。由圖2(d)可知:葉片邊緣出現(xiàn)模糊情況,同時(shí)果實(shí)存在色調(diào)、亮度不統(tǒng)一問(wèn)題。因此,選用高斯濾波作為圖像預(yù)處理算法。

圖2 圖像預(yù)處理Fig.2 The preprocessing for image

3 基于深度學(xué)習(xí)的蘋(píng)果圖像識(shí)別

傳統(tǒng)的圖像識(shí)別技術(shù)是將圖像灰度化處理后進(jìn)行圖像分割,進(jìn)而得到圖像的邊界信息,整個(gè)過(guò)程采用灰度化算法、二值化算法和邊界算法固定,對(duì)環(huán)境變化的適應(yīng)能力差;深度學(xué)習(xí)的圖像識(shí)別技術(shù)是在全彩色狀態(tài)下對(duì)圖像進(jìn)行分析,具有自主識(shí)別的特點(diǎn),深度學(xué)習(xí)算法具有適應(yīng)能力強(qiáng)、準(zhǔn)確度高的特點(diǎn)。因此,本系統(tǒng)在經(jīng)典VGG16深度學(xué)習(xí)網(wǎng)絡(luò)[11-12]上進(jìn)行優(yōu)化,以提高識(shí)別速度和精度。

傳統(tǒng)卷積深度學(xué)習(xí)網(wǎng)絡(luò)分為卷積層、池化層、全連接層等。其中,卷積層作用為輸入圖像和卷積核進(jìn)行卷積運(yùn)算得到的結(jié)果,在池化層完成圖像降維,實(shí)現(xiàn)特征的提取;卷積層、池化層進(jìn)行多次重復(fù)設(shè)置,最終實(shí)現(xiàn)圖像特征提取,在全連接層特征圖像得到整合,進(jìn)而完成圖像特征提取[13-14]。

建立整個(gè)網(wǎng)絡(luò)的損失函數(shù),用來(lái)表征預(yù)測(cè)值與實(shí)際值的差距。輸入圖像從輸入層進(jìn)入網(wǎng)絡(luò),經(jīng)歷多個(gè)卷積層和池化層后,在全連接層實(shí)現(xiàn)圖像特征提取,同時(shí)計(jì)算損失函數(shù),完成正向?qū)W習(xí)過(guò)程;利用損失函數(shù)對(duì)每個(gè)卷積層參量進(jìn)行梯度計(jì)算,得到結(jié)果用于優(yōu)化卷積層參量,完成逆向?qū)W習(xí)。

目前,主流的深度學(xué)習(xí)網(wǎng)絡(luò)為VGG16網(wǎng)絡(luò),其網(wǎng)絡(luò)特點(diǎn)為卷積層和池化層結(jié)構(gòu)單一,由16層結(jié)構(gòu)相同的卷積層和池化層組成。其中,卷積層中卷積核大小為3×3,填充量為1;池化層窗口為3×3,步幅為2。由于將圖像進(jìn)行統(tǒng)一卷積處理,造成學(xué)習(xí)周期較長(zhǎng),因此在其基礎(chǔ)上進(jìn)行改進(jìn),改進(jìn)后深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。由圖3可知:在VGG16最后一層卷積池化層后,增加區(qū)域推薦網(wǎng)絡(luò);將區(qū)域推薦學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)得到的特征圖和VGG16得到的卷積特征圖,在Roi Pooling池化層進(jìn)行融合,完成特征圖像大小的格式統(tǒng)一,而后進(jìn)入全連接層,完成特征圖像的邊界框預(yù)測(cè)和類(lèi)別預(yù)測(cè)。整個(gè)優(yōu)化學(xué)習(xí)網(wǎng)絡(luò)的核心為區(qū)域推薦學(xué)習(xí)網(wǎng)絡(luò)和Roi Pooling池化層。

圖3 基于VGG16的深度學(xué)習(xí)優(yōu)化網(wǎng)絡(luò)Fig.3 The deep learning optimization network based on VGG16

區(qū)域推薦網(wǎng)絡(luò)的卷積層填充數(shù)為1,通道數(shù)為256;以每個(gè)像素為中心,建立大小不同的方形區(qū)域(即建立錨框),每個(gè)錨框具有256個(gè)通道。建立背景分類(lèi)器,原理如下:①計(jì)算每個(gè)錨框預(yù)測(cè)概率p,按照預(yù)計(jì)概率p由大到小將此類(lèi)錨框進(jìn)行排列,得到一次向量L;②將預(yù)測(cè)概率p最大的錨框與其他本類(lèi)錨框進(jìn)行交并比計(jì)算,將大于閾值的非基準(zhǔn)錨框剔除;③按照步驟②方法,將預(yù)測(cè)概率p第2大的錨框與本類(lèi)錨框進(jìn)行交并比計(jì)算,將大于閾值的非基準(zhǔn)錨框剔除;④重復(fù)步驟②和步驟③,直到向量L中的所有錨框的交并比均小于閾值為止,剩下的錨框即為預(yù)測(cè)錨框。區(qū)域推薦網(wǎng)絡(luò)的損失函數(shù)為

(1)

VGG16學(xué)習(xí)網(wǎng)絡(luò)得到的卷積特征圖像,經(jīng)過(guò)區(qū)域推薦網(wǎng)絡(luò)后大小發(fā)生變化;Roi Pooling池化層的作用為實(shí)現(xiàn)不同大小的圖像融合,即完成VGG16學(xué)習(xí)網(wǎng)絡(luò)特征圖像并和經(jīng)過(guò)區(qū)域推薦網(wǎng)絡(luò)的特征圖像的融合。Roi Pooling池化層原理如下:假定輸入前圖像大小為16×16,輸出標(biāo)準(zhǔn)大小為8×8,過(guò)程為將16×16平均分為2×2的8個(gè)區(qū)域,每個(gè)區(qū)域取最大特征值,進(jìn)而構(gòu)成大小為8×8的標(biāo)準(zhǔn)圖像。

對(duì)改進(jìn)型學(xué)習(xí)算法和VGG16學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行比較,測(cè)試兩種深度學(xué)習(xí)網(wǎng)絡(luò)達(dá)到穩(wěn)定預(yù)測(cè)值所需要的樣本容量和穩(wěn)定預(yù)測(cè)值精度,采用AP值來(lái)表征穩(wěn)定預(yù)測(cè)精度,即

(2)

其中,P為預(yù)測(cè)準(zhǔn)確度;R為預(yù)測(cè)樣本召回度。

改進(jìn)型學(xué)習(xí)算法和VGG16學(xué)習(xí)網(wǎng)絡(luò)穩(wěn)定預(yù)測(cè)值及所需樣本量如圖4所示。

圖4 改進(jìn)型學(xué)習(xí)算法性能對(duì)比Fig.4 The performance comparison for improved learning algorithm

其中,VGG16網(wǎng)絡(luò)達(dá)到的穩(wěn)定準(zhǔn)確率AP值為0.855,穩(wěn)定所需樣本量為13;改進(jìn)型學(xué)習(xí)網(wǎng)絡(luò)能達(dá)到的穩(wěn)定準(zhǔn)確率為0.92,穩(wěn)定所需樣本量為11。結(jié)果表明:改進(jìn)型學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)速度和準(zhǔn)確率上均優(yōu)于VGG16網(wǎng)絡(luò)。

4 蘋(píng)果定位與采摘控制

攝像頭采集的圖像通過(guò)改進(jìn)型深度學(xué)習(xí)網(wǎng)絡(luò),得到蘋(píng)果的特征邊界。采用圖像定位的方法,根據(jù)圖像中蘋(píng)果位置,計(jì)算實(shí)際環(huán)境中蘋(píng)果的位置坐標(biāo),進(jìn)而控制采摘機(jī)械臂,完成蘋(píng)果的采摘。其中,蘋(píng)果定位系統(tǒng)采用單目圖像定位系統(tǒng)配合激光測(cè)距方案[15],采摘機(jī)械臂采用雙反饋控制系統(tǒng)。

4.1 蘋(píng)果視覺(jué)定位

蘋(píng)果視覺(jué)定位系統(tǒng)如圖5所示。圖5中,蘋(píng)果空間坐標(biāo)P(X,Y,Z)在成像平面內(nèi),已知整個(gè)圖像的中心坐標(biāo)為O(u0,v0),P點(diǎn)在成像平面的投影點(diǎn)為P1(u,v),則投影平面內(nèi)P1點(diǎn)到O點(diǎn)的坐標(biāo)增量為Δu和Δv,則

(3)

其中,du和dv為水平方向和豎直方向像素點(diǎn)間距對(duì)應(yīng)的實(shí)際距離(mm/pixel)。

圖5 蘋(píng)果視覺(jué)定位Fig.5 The visual positioning for apple

由相似三角關(guān)系可知,蘋(píng)果空間坐標(biāo)P的水平坐標(biāo)和豎直坐標(biāo)與成像平面水平坐標(biāo)和豎直坐標(biāo)增量的關(guān)系,即

(4)

其中,f為攝像頭焦距;Z為攝像頭鏡頭到蘋(píng)果位置之間的距離,由激光測(cè)距儀檢測(cè)得到。

4.2 機(jī)械臂采摘控制

通過(guò)視覺(jué)系統(tǒng)計(jì)算目標(biāo)蘋(píng)果的空間位置坐標(biāo)P,機(jī)器人控制器比對(duì)目標(biāo)蘋(píng)果位置坐標(biāo)和采摘終端位置坐標(biāo),通過(guò)逆運(yùn)動(dòng)學(xué)方程調(diào)整機(jī)械臂各關(guān)節(jié)舵機(jī)和小臂伸長(zhǎng)氣缸,完成機(jī)械臂采摘機(jī)構(gòu)向蘋(píng)果移動(dòng),進(jìn)而實(shí)現(xiàn)采摘。

機(jī)械臂控制系統(tǒng)如圖6所示。其中,上控制閉環(huán)實(shí)現(xiàn)機(jī)械臂采摘控制、機(jī)器人動(dòng)作控制器、計(jì)算機(jī)械臂逆運(yùn)動(dòng)學(xué)方程、機(jī)器人各關(guān)節(jié)舵機(jī)調(diào)整,伸長(zhǎng)氣缸調(diào)整、進(jìn)而控制采摘機(jī)械臂完成采摘作業(yè);下控制閉環(huán)CCD攝像頭采集蘋(píng)果圖像,通過(guò)改進(jìn)型深度學(xué)習(xí)算法提取蘋(píng)果特征信息,進(jìn)而確定蘋(píng)果在成像平面上的坐標(biāo)增量,通過(guò)機(jī)器視覺(jué)控制器實(shí)現(xiàn)圖像位置向空間位置坐標(biāo)的轉(zhuǎn)化。整個(gè)系統(tǒng)工作過(guò)程為CCD攝像頭采集蘋(píng)果圖像,通過(guò)深度學(xué)習(xí)算法提取蘋(píng)果圖像特征,輸入信號(hào)在機(jī)器視覺(jué)控制器內(nèi)進(jìn)行分析,將蘋(píng)果圖像坐標(biāo)轉(zhuǎn)化為蘋(píng)果空間距坐標(biāo);采摘端坐標(biāo)和目標(biāo)蘋(píng)果坐標(biāo)在機(jī)器人控制器進(jìn)行比對(duì),通過(guò)機(jī)器人逆運(yùn)動(dòng)學(xué)方程調(diào)整機(jī)器人關(guān)節(jié)舵機(jī)和小臂氣缸,改變采摘終端位置,直到完成蘋(píng)果的采摘。

圖6 采摘機(jī)械臂控制系統(tǒng)Fig.6 The control system for picking manipulator

5 系統(tǒng)測(cè)試

為了實(shí)現(xiàn)蘋(píng)果采摘的自動(dòng)化,基于深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計(jì)了蘋(píng)果圖像自動(dòng)識(shí)別技術(shù);采用單目視覺(jué)系統(tǒng)配合測(cè)距儀的方案,實(shí)現(xiàn)了圖像坐標(biāo)向空間坐標(biāo)的轉(zhuǎn)移,通過(guò)控制機(jī)械臂采摘終端,最終實(shí)現(xiàn)了機(jī)械臂向蘋(píng)果移動(dòng),完成采摘任務(wù)。本系統(tǒng)兩大關(guān)鍵環(huán)節(jié)為圖像識(shí)別和機(jī)械臂控制,現(xiàn)對(duì)二者進(jìn)行測(cè)試,結(jié)果如圖7所示。

對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)蘋(píng)果識(shí)別精度進(jìn)行測(cè)試,進(jìn)行8組試驗(yàn),對(duì)比圖像中蘋(píng)果個(gè)數(shù)與識(shí)別個(gè)數(shù),結(jié)果如圖7(a)中實(shí)線及偏差棒所示。圖像中蘋(píng)果個(gè)數(shù)區(qū)間為20～27,偏差分布區(qū)間為0～2,在第6組和第7組時(shí)出現(xiàn)最大偏差;相對(duì)誤差分布如圖7(a)中虛線所示,分布區(qū)間為0～7.8%。測(cè)試結(jié)果表明,深度學(xué)習(xí)網(wǎng)絡(luò)具有較高的識(shí)別精度。

對(duì)采摘機(jī)械手進(jìn)行動(dòng)作精度測(cè)試,測(cè)試方法為指定采摘終端移動(dòng)距離,控制機(jī)械手移動(dòng),得到實(shí)際移動(dòng)距離,計(jì)算二者之間的誤差,測(cè)試結(jié)果如圖7(b)所示。其中,數(shù)據(jù)點(diǎn)為實(shí)際移動(dòng)距離,偏差棒為實(shí)際移動(dòng)距離和設(shè)置距離之間的偏差,實(shí)際移動(dòng)距離分布區(qū)間為[895mm, 1414mm],偏差分布區(qū)間為[-10mm, 12mm]。測(cè)試結(jié)果表明:機(jī)械手具有較高的控制精度,偏差分布區(qū)間可以滿(mǎn)足蘋(píng)果采摘要求。

圖7 系統(tǒng)測(cè)試Fig.7 The test for system

6 結(jié)論

為了實(shí)現(xiàn)蘋(píng)果采摘的自動(dòng)化,基于改進(jìn)型深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計(jì)了視覺(jué)采摘系統(tǒng)。首先,對(duì)攝像頭采集的蘋(píng)果圖像進(jìn)行高斯濾波處理;其次,在VGG16深度學(xué)習(xí)網(wǎng)絡(luò)基礎(chǔ)上增加區(qū)域推薦網(wǎng)絡(luò),將區(qū)域推薦學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)得到的特征圖和VGG16得到的卷積特征圖在Roi Pooling池化層進(jìn)行融合,完成圖片大小的格式統(tǒng)一。測(cè)試結(jié)果表明:改進(jìn)型網(wǎng)絡(luò)在所需樣本量為11,小于VGG16網(wǎng)絡(luò)所需的13個(gè)樣本量,同時(shí)改進(jìn)型學(xué)習(xí)網(wǎng)絡(luò)能達(dá)到的穩(wěn)定準(zhǔn)確率為0.92,優(yōu)于VGG16深度學(xué)習(xí)網(wǎng)絡(luò)的0.855;基于單目視覺(jué)系統(tǒng)和激光測(cè)距器,可實(shí)現(xiàn)目標(biāo)蘋(píng)果由圖像坐標(biāo)向空間坐標(biāo)的轉(zhuǎn)化。測(cè)試結(jié)果表明:蘋(píng)果識(shí)別相對(duì)誤差小于7.8%,機(jī)械臂實(shí)際移動(dòng)距離分布區(qū)間為[895mm,1414mm],偏差分布區(qū)間為[-10mm, 12mm],表明機(jī)械臂具有較高的控制精度。