何　婕，羅　妤

(1.重慶工商職業(yè)學(xué)院 電子信息工程學(xué)院，重慶　401520；2.重慶科技學(xué)院 電氣與信息工程學(xué)院，重慶　401331)

?

果實(shí)成熟度識(shí)別機(jī)器人設(shè)計(jì)——基于近紅外線信號(hào)處理

何婕1，羅妤2

(1.重慶工商職業(yè)學(xué)院 電子信息工程學(xué)院，重慶401520；2.重慶科技學(xué)院 電氣與信息工程學(xué)院，重慶401331)

摘要：為了提高采摘機(jī)器人自動(dòng)識(shí)別果實(shí)成熟度的智能化水平，提高果實(shí)識(shí)別的準(zhǔn)確性，實(shí)現(xiàn)機(jī)器人自主定位和自動(dòng)規(guī)劃路徑能力，設(shè)計(jì)了一種新的自動(dòng)化采摘機(jī)器人。該機(jī)器人利用圖像分割技術(shù)和近紅外信號(hào)處理技術(shù)，實(shí)現(xiàn)了果實(shí)成熟度的自動(dòng)定位和判別。對(duì)采摘機(jī)器人的性能進(jìn)行了測(cè)試，包括蘋果圖像的分割和提取、果實(shí)成熟度的判斷和機(jī)器人路徑規(guī)劃。通過測(cè)試發(fā)現(xiàn)：機(jī)器人可以在復(fù)雜采摘背景下準(zhǔn)確地識(shí)別蘋果果實(shí)，并可以通過紅外線探測(cè)實(shí)現(xiàn)果實(shí)成熟度的判別，最終規(guī)劃出來合理的采摘路徑，實(shí)現(xiàn)果實(shí)的精準(zhǔn)采摘，為果蔬采摘機(jī)器人的研究提供了較有價(jià)值的參考。

關(guān)鍵詞：采摘機(jī)器人；紅外線探測(cè)；果實(shí)成熟度；圖像分割；路徑規(guī)劃

0引言

機(jī)器視覺系統(tǒng)是果實(shí)采摘機(jī)器人的重要組成部分，能否實(shí)現(xiàn)準(zhǔn)確的識(shí)別與定位果實(shí)是采摘機(jī)器人成功實(shí)現(xiàn)采摘的關(guān)鍵。果實(shí)采摘機(jī)器視覺一般采用主動(dòng)成像系統(tǒng)，其抗干擾能力較強(qiáng)，可以直接獲取高清晰度的蘋果圖像，將其使用在蘋果果園這一非線性結(jié)構(gòu)化環(huán)境中，具有重要的現(xiàn)實(shí)意義。目前的采摘機(jī)器人大多數(shù)還不具備自動(dòng)識(shí)別果實(shí)成熟度的能力，對(duì)于果實(shí)成熟度判斷的精度較低。本次研究將結(jié)合圖像分割技術(shù)和紅外線探測(cè)技術(shù)，提高采摘機(jī)器人果實(shí)成熟度的判斷能力，對(duì)于采摘機(jī)器人果實(shí)高精度的采摘具有重要的現(xiàn)實(shí)意義。

1果實(shí)成熟度自動(dòng)識(shí)別機(jī)器人總體設(shè)計(jì)

機(jī)器人果實(shí)成熟度的識(shí)別主要依賴于機(jī)器視覺，通過高清攝像機(jī)獲取蘋果圖像，對(duì)蘋果進(jìn)行路徑跟蹤，然后利用近紅外光譜技術(shù)對(duì)成熟度進(jìn)行探測(cè)，對(duì)完全成熟期的果實(shí)進(jìn)行摘取。果實(shí)的定位流程如圖1所示。果實(shí)圖像的采集使用高清攝像頭，安裝在機(jī)器人執(zhí)行末端，采集得到圖像后利用閾值分割技術(shù)對(duì)蘋果圖像進(jìn)行識(shí)別，并劃分跟蹤軌跡，實(shí)現(xiàn)果實(shí)的準(zhǔn)確定位。

圖1　采摘機(jī)器人果實(shí)定位流程

圖2為采摘機(jī)器人的果實(shí)成熟度的判斷流程框架圖。通過圖像采集和圖像分割可以有效地識(shí)別蘋果果實(shí)，對(duì)果實(shí)進(jìn)行定位后利用紅外線探測(cè)技術(shù)對(duì)果實(shí)進(jìn)行識(shí)別，探測(cè)過程使用紅外探測(cè)器。為了提高紅外探測(cè)器的工作效率，使用多通道并行計(jì)算的D/A轉(zhuǎn)換器，可以同時(shí)實(shí)現(xiàn)多路信號(hào)的采集和處理；對(duì)驅(qū)動(dòng)電機(jī)發(fā)出指令后，便可以執(zhí)行果實(shí)采摘?jiǎng)幼鳌?/p>

2采摘機(jī)器人果實(shí)成熟度識(shí)別系統(tǒng)設(shè)計(jì)

果實(shí)采摘機(jī)器人使用高清攝像頭對(duì)蘋果圖像進(jìn)行采集，并使用紅外線探測(cè)器探測(cè)果實(shí)的成熟度。高清攝像頭和紅外線探測(cè)器均安裝在采摘機(jī)器人的執(zhí)行末端，結(jié)構(gòu)如圖3所示。

圖2　采摘機(jī)器人果實(shí)成熟度判斷流程

圖3　采摘機(jī)器人果實(shí)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖

紅外線探測(cè)結(jié)果被PC單片機(jī)處理后會(huì)發(fā)出數(shù)字信號(hào)進(jìn)行采摘指令控制，發(fā)出的數(shù)字信號(hào)進(jìn)行數(shù)模轉(zhuǎn)換，數(shù)模轉(zhuǎn)換采用DAC0832微處理器。該處理器兼容型D/A轉(zhuǎn)換器，如圖4所示。

圖4　DNC0832引腳示意圖

圖4中，芯片的引腳較多，可以接受微處理控制功能，具有兩級(jí)鎖存的控制能力，可以實(shí)現(xiàn)多通道的D/A同步轉(zhuǎn)換與輸出，內(nèi)部參考電壓為0，需要外接參考電壓才能工作。

顏色的識(shí)別和判斷主要分為兩種方法：一種是HIS顏色空間方法；二是Lab顏色空間方法。其中，HIS顏色空間類似人眼感受顏色：H為色度，表示不同的顏色；I為明度，表示顏色的亮暗程度；S表示飽和度，表示顏色的深淺。將RGB轉(zhuǎn)換為HIS模型，則

(1)

其中，H、S和I分別表示色度、飽和度和明度，R、G、B分別表示紅色、綠色和橙色分量，取值為0～255。Lab顏色空間的L為照度，a為紅綠分量，b為藍(lán)黃分量。其中，L相當(dāng)于亮度，取值為0～100；a為從紅到綠的范圍，取值為-128～127；b表示從藍(lán)到黃的范圍，取值為-128-127。由RGB轉(zhuǎn)換為L(zhǎng)ab，則有

(2)

其中，Xn、Yn和Zn的取值可以參考CIE標(biāo)準(zhǔn)流明D65參考白平衡點(diǎn)。f(t)和Y、Z為

(3)

依據(jù)顏色分級(jí)統(tǒng)計(jì)方法，將閾值a的最低等級(jí)設(shè)置為-5.8：當(dāng)a<-5.8時(shí)，判斷為果實(shí)枝葉；當(dāng)a>5.8時(shí)，識(shí)別為果實(shí)。其計(jì)算為

(4)

通過顏色分類方法，可將蘋果從背景圖像中成功地分離出來。Lab顏色空間判別建議表如表1所示。

表1　Lab顏色判別建議表

通過對(duì)蘋果圖像的處理，可以初步識(shí)別成熟果實(shí)圖像。要實(shí)現(xiàn)蘋果成熟度的準(zhǔn)確判斷，還需要結(jié)合紅外探測(cè)技術(shù)。其性能測(cè)試在下節(jié)中將做進(jìn)一步的詳細(xì)研究。

3果實(shí)成熟度自動(dòng)識(shí)別機(jī)器人性能測(cè)試

為了驗(yàn)證本次研究設(shè)計(jì)的果實(shí)自動(dòng)識(shí)別與采摘機(jī)器人的可靠性，對(duì)采摘機(jī)器人的性能進(jìn)行了測(cè)試，包括果實(shí)圖像識(shí)別、成熟度檢測(cè)及機(jī)器人自動(dòng)化路徑規(guī)劃能力。蘋果采摘的場(chǎng)景圖像如圖5所示。

圖5　果實(shí)采摘場(chǎng)景照片

在實(shí)際采摘過程中，受自然條件的影響，大部分的樹冠的蘋果會(huì)受到光照、枝葉和果實(shí)重疊的影響，使圖像的識(shí)別變得復(fù)雜；而使用lab顏色空間可以相對(duì)準(zhǔn)確地提取出蘋果的圖像，如圖6所示。

圖6　成熟蘋果閾值分割圖像

采摘中，可以根據(jù)不同成熟度蘋果的顏色閾值，對(duì)成熟蘋果圖像進(jìn)行提取，利用邊緣提取方法將成熟蘋果圖像分割出來，再對(duì)蘋果的面積和周長(zhǎng)進(jìn)行計(jì)算，達(dá)到成熟蘋果圖像準(zhǔn)確識(shí)別的目的。

通過計(jì)算得到了如圖7所示的成熟蘋果面積和周長(zhǎng)的計(jì)算結(jié)果圖。由圖7可知：提取出的主要蘋果面積為33 557個(gè)像素點(diǎn)，周長(zhǎng)為428個(gè)像素點(diǎn)，通過迭代計(jì)算得到了如圖8所示的收斂殘差。

圖7　成熟蘋果面積和周長(zhǎng)計(jì)算結(jié)果

圖8　殘差控制收斂曲線

圖9表示圖像識(shí)別計(jì)算過程中，得到的殘差收斂曲線。由圖9可以看出：在計(jì)算時(shí)間4ms時(shí)，計(jì)算誤差便開始接近于0，殘差較小，從而驗(yàn)證了本次計(jì)算的可靠性。通過計(jì)算得到的成熟蘋果圖像的連通區(qū)域特征如表2所示。

表2　連通區(qū)域特征表

由表2可以看出：利用Lab顏色特征方法可以較好地分離出蘋果的圖像，根據(jù)圓形度也可以預(yù)先判斷果實(shí)是否成熟。為了進(jìn)一步確定果實(shí)的成熟度，使用紅外線探測(cè)的方法對(duì)果實(shí)的成熟度進(jìn)行探測(cè)，結(jié)果如圖9所示。

圖9　紅外線蘋果成熟度檢測(cè)結(jié)果曲線

由圖9可以看出：不同成熟度的蘋果對(duì)紅外線的反射率有所不同，可以根據(jù)不同的反射率來判斷果實(shí)的成熟度。判斷需要采摘的蘋果后，對(duì)機(jī)器人路徑進(jìn)行規(guī)劃，如圖10所示。

圖10　機(jī)器人二維路徑規(guī)劃圖

由圖10可知：在二維平面內(nèi)確定成熟蘋果目標(biāo)后，使用路徑規(guī)劃方法對(duì)蘋果目標(biāo)進(jìn)行跟蹤，并規(guī)劃出形式路徑；但是二維平面的機(jī)器人路徑規(guī)劃還是有一定的缺陷，需要結(jié)合三維路徑規(guī)劃來提高采摘的準(zhǔn)確度，如圖11所示。

圖11　采摘機(jī)器人三維路徑規(guī)劃圖

圖11中，A表示成熟蘋果的目標(biāo)，機(jī)器人從右側(cè)開始規(guī)劃形式路徑，并判斷最佳行駛路徑。其中，最佳行駛路徑為粗線部分，結(jié)合三維路徑規(guī)劃，采摘機(jī)器人可以精準(zhǔn)地采摘到成熟的蘋果果實(shí)。

4結(jié)論

1)為了提高果實(shí)采摘機(jī)器人果實(shí)成熟度的識(shí)別能力，提高果實(shí)采摘精度，本文依據(jù)閾值分割理論和紅外線信號(hào)處理技術(shù)，對(duì)果實(shí)成熟度識(shí)別系統(tǒng)進(jìn)行了改進(jìn)，提高了機(jī)器人自主識(shí)別成熟果實(shí)的能力及采摘的智能化水平。

2)對(duì)本次研究設(shè)計(jì)的自主識(shí)別果實(shí)成熟度的采摘機(jī)器人進(jìn)行了測(cè)試。通過測(cè)試發(fā)現(xiàn)：利用Lab顏色空間和閾值分割技術(shù)，可以在復(fù)雜的背景下提取出果實(shí)的圖像，邊緣提取效果較好。通過計(jì)算可以得到果實(shí)的面積和周長(zhǎng)，利用紅外線探測(cè)技術(shù)成功的識(shí)別了果實(shí)成熟度，進(jìn)而劃分了采摘機(jī)器人的二維平面和三維立體路徑規(guī)劃，符合高精度采摘作業(yè)機(jī)器人的設(shè)計(jì)要求。

參考文獻(xiàn)：

[1]樊景超,周國(guó)民.蘋果近紅外光譜采集影響因素研究[J].安徽農(nóng)業(yè)科學(xué),2011,39(1):464-467.

[2]吳迪,陳孝敬,何勇.基于離散余弦變換和支持向量機(jī)的多光譜紋理圖像的茶葉分類研究[J].光譜學(xué)與光譜分析,2009,29(5):1382-1385.

[3]吳迪,吳洪喜,蔡景波,等.基于無信息變量消除法和連續(xù)投影算法的可見-近紅外光譜技術(shù)白蝦種分類方法研究[J].紅外與毫米波學(xué)報(bào),2009,28(6): 423-427.

[4]史敏.基于紅外光譜技術(shù)的獼猴桃品質(zhì)檢測(cè)研究[D].楊凌:西北農(nóng)林科技大學(xué),2008:1-9.

[5]曹志勇,邱靖,曹志娟,等.基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的植物病蟲害預(yù)警模型的構(gòu)建[J].安徽農(nóng)業(yè)科學(xué),2010,38(1):538-540.

[6]時(shí)君偉,胡敏英,武志富,等.基于神經(jīng)網(wǎng)絡(luò)的視覺圖像處理研究[J].安徽農(nóng)業(yè)科學(xué),2009,37(19):9300- 9302.

[7]紀(jì)淑娟,柏蘭,李東華,等.南果梨糖度近紅外光譜無損檢測(cè)模型的建立[J].食品工業(yè)科技,2008,29(4): 281-283.

[8]于冠年,紀(jì)淑娟,魏寶東,等.1-MCP處理對(duì)冷藏后南果梨常溫貨架影響[J].北方園藝,2007(1):180-182.

[9]王圓圓,丁志杰,萬華林.基于視覺顏色聚類的彩色圖像分割[J].北京理工大學(xué)學(xué)報(bào),2003,23(2):19-23.

[10]袁春蘭,熊宗龍.基于Sobel算子的圖像邊緣檢測(cè)研究[J].河?？萍即髮W(xué)學(xué)報(bào),2009,30(6):31-48.

[11]向方,段瑞玲,李慶祥,等.圖像邊緣檢測(cè)方法研究綜述[J].光學(xué)技術(shù),2005(3):415-419.

[12]周心明,蘭賽,徐燕.圖像處理中幾種邊緣檢測(cè)算法的比較[J].現(xiàn)代電力,2000(3):65-69.

[13]魏偉波,芮筱亭.圖像邊緣檢測(cè)方法研究[J].計(jì)算機(jī)工程與應(yīng)用,2006(30):88-91.

[14]林卉,趙長(zhǎng)勝,舒寧.基于Canny算子的邊緣檢測(cè)及評(píng)價(jià)[J].黑龍江工程學(xué)院學(xué)報(bào),2003(2):3-6,16.

[15]孫慧,周紅霞,李朝暉.圖像處理中邊緣檢測(cè)技術(shù)的研究[J].電腦開發(fā)與應(yīng)用,2002(10):7-9.

[16]宏福.圖像邊緣分割算法的優(yōu)化研究與仿真[J].計(jì)算機(jī)仿真,2011(8):280-283.

[17]丁吉昌,崔現(xiàn)成.一副疊加有噪聲圖像的邊緣分割的討論[J].醫(yī)療設(shè)備信息,2001(12):12-13.

[18]紀(jì)淑娟,李東華,柏蘭,等.掃描方式對(duì)南果梨近紅外光譜無損檢測(cè)模型建立的影響研究[J].食品科學(xué),2008,29(6):383-386.

[19]周瑩,傅霞萍,應(yīng)義斌.濕度對(duì)近紅外光譜檢測(cè)的影響[J].光譜學(xué)與光譜分析,2007,27(11):2197-2199.

[20]周俊,程嘉煜.基于機(jī)器視覺的農(nóng)業(yè)機(jī)器人運(yùn)動(dòng)障礙目標(biāo)檢測(cè)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2011,42(8):154-158.

[21]朱安民,明仲.基于神經(jīng)動(dòng)力學(xué)的目標(biāo)跟蹤算法[J].深圳大學(xué)學(xué)報(bào):理工版,2009,3(26):83-88.

[22]朱大奇,顏明重.移動(dòng)機(jī)器人路徑規(guī)劃技術(shù)綜述[J].控制與決策, 2010,25(7):961-967.

[23]朱慶保.動(dòng)態(tài)復(fù)雜環(huán)境下的機(jī)器人路徑規(guī)劃螞蟻預(yù)測(cè)算法[J].計(jì)算機(jī)學(xué)報(bào), 2005,28(11):1898-1906.

Recognition of Fruit Maturity——Based on Near Infrared Signal Processing

He Jie1, Luo Yu2

(1.College of Electronic Information Engineering ,Chongqing Technology And Business Institute, Chongqing 401520,China; 2.School of Electrical and Information Engineering, Chongqing University of Science & Technology, Chongqing 401331,China)

Abstract：In order to improve the picking robot automatic identification of fruit maturity level of intelligence, improve fruit recognition accuracy, robot self localization and automatic planning path capacity design a new automatic picking robot, the robot using image segmentation technique and near infrared signal processing technology, to realize the automatic positioning of fruit maturity and discriminant. The performance of the picking robot was tested, including the segmentation and extraction of the apple image, the judgment of the fruit maturity and the path planning of the robot. Through the test found that the robot can be in complex picking background accurate recognition of apple fruit, and can be in infrared light to achieve the identification of fruit maturity. Finally, plan out the reasonable picking path, to obtain the fruit of accurate picking, for the fruit picking robot research provides a valuable reference.

Key words：picking robot; infrared detection; fruit maturity; image segmentation; path planning

中圖分類號(hào)：S225.91；TP242

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1003-188X(2016)08-0194-05

作者簡(jiǎn)介：何婕(1984-)，女，重慶人，講師，碩士。通訊作者：羅妤(1980-)，女, 四川廣元人, 講師,博士研究生，(E-mail)luoyu1980@126.com。

基金項(xiàng)目：重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1403805)

收稿日期：2015-07-27