王 慧， 季 雪

0 引 言

現(xiàn)階段，農(nóng)業(yè)生產(chǎn)逐步走向現(xiàn)代化[1,2]。在果蔬農(nóng)場中，使用了一定數(shù)量的采摘機(jī)器人，在實(shí)際工作過程中，機(jī)器人在單位時(shí)間內(nèi)采摘的果實(shí)數(shù)量和質(zhì)量，與人工相比有很大的差距。此外，在采摘過程中，機(jī)器人易損傷果實(shí)。因此，必須研發(fā)高精度的視覺系統(tǒng)，以快速準(zhǔn)確地檢測到符合采摘要求的果實(shí)，準(zhǔn)確測量其位置，實(shí)現(xiàn)精確采摘[3，4]。該過程中涉及到機(jī)器視覺技術(shù)，融合了多門學(xué)科專業(yè)知識，主要包括光學(xué)原理、計(jì)算機(jī)學(xué)、影像成型、生物學(xué)以及過程控制學(xué)等[5～7]。

本文對圖像識別技術(shù)在農(nóng)業(yè)工程中的應(yīng)用進(jìn)行了研究，提出了一種蘋果圖像識別技術(shù)，為實(shí)現(xiàn)蘋果智能采摘提供了新方法。

1 圖像預(yù)處理

1.1 圖像分割方法

蘋果與背景之間的色彩差距較大，可以使用圖像分割方法對果實(shí)和背景的顏色進(jìn)行區(qū)分。在真實(shí)的果園背景中選取多張照片，重點(diǎn)突出果實(shí)和背景重合的區(qū)域，在該區(qū)域中選取并分析R，G，B 顏色因子的值。通過分析發(fā)現(xiàn)，R-G 和2R-G-B 可以明顯區(qū)分蘋果和背景的色彩。

由于固定閾值分割法無法較好地適應(yīng)光線的變化,所以,使用的最大類間方差法(OTSU)法,該方法功能強(qiáng)大,可用于閾值分割,在進(jìn)行求值時(shí),使用的圖像目標(biāo)和背景使類內(nèi)方差最小、類間方差最大。

圖像分割后，圖像中往往存在獨(dú)立的點(diǎn)、小空洞、毛刺，為了降低這部分噪聲對辨識產(chǎn)生影響，使用了文獻(xiàn)[8]中所述的腐蝕—去除—膨脹的方法，即對分割后的圖像實(shí)施腐蝕計(jì)算，以消除目標(biāo)界線的臨界點(diǎn)，促使邊界向內(nèi)收縮；采用小區(qū)域消除運(yùn)算對圖像法中依然存在的小區(qū)域?qū)嵤┫?；采用膨脹?jì)算對目標(biāo)臨界點(diǎn)實(shí)施擴(kuò)展，將目標(biāo)接觸的全部點(diǎn)整合到該目標(biāo)中。最終圖像分割為背景和果實(shí)2部分內(nèi)容[9]。

1.2 圖像特征提取

在圖像辨識體系中最關(guān)鍵的是準(zhǔn)確地判別目標(biāo)。但由于蘋果自然成長的無規(guī)則性，以及圖像收集過程中拍攝角度的差異，極易產(chǎn)生果實(shí)之間疊加、枝葉擋住果實(shí)等情況，對準(zhǔn)確辨識目標(biāo)物產(chǎn)生很大干擾，獲得的圖像存在很差異，并且變化非常大。為了獲得更加準(zhǔn)確的神經(jīng)網(wǎng)絡(luò)辨識模型，以及更加便捷地辨識結(jié)果，在神經(jīng)網(wǎng)絡(luò)(neural network,NN)進(jìn)行練習(xí)的過程中，將樹枝、樹葉、果實(shí)一起進(jìn)行訓(xùn)練。訓(xùn)練樣本特征時(shí)，在分割圖像中選取對應(yīng)的一段樹枝、一片樹葉，用于特征提取。在辨識樣本圖像的過程當(dāng)中，僅需提取果實(shí)目標(biāo)物的特性即可[10,11]。

根據(jù)文獻(xiàn)[12]中的方法對果實(shí)特征進(jìn)行提取。在RGB顏色空間中，可以直接實(shí)施顏色對比。肉眼看到的顏色與HSI顏色具有一定的相似性，并且能夠適合全部的關(guān)聯(lián)環(huán)境，在顏色特性中提取H，S，I 3個(gè)分量十分關(guān)鍵。提取HIS，RGB顏色空間中的6個(gè)顏色分量特性，用于介紹目標(biāo)物的整體特性。樹枝、樹葉、果實(shí)均具有其獨(dú)特的形態(tài)，并且其中存在很大的差異，提取對象的狀態(tài)非常切合實(shí)際。根據(jù)蘋果果實(shí)圖像的特征，選擇Hu不變矩和幾何圖像特點(diǎn)，其中Hu不變矩包括了7個(gè)特征向量，幾何特征選擇了周長平方面積、致密度、圓方差3種特征向量。提取10個(gè)不因?qū)ο笪镌趫D像中的角度、大小、位置而產(chǎn)生改變的形狀特征，即特征滿足旋轉(zhuǎn)、縮放和平移(rotation scale translation, RST)不變性。

2 圖像識別算法

使用神經(jīng)網(wǎng)絡(luò)算法對處理后的果實(shí)圖像進(jìn)行分析，從而識別出圖像中的果實(shí)。將上述研究的蘋果果實(shí)(目標(biāo))和樹枝、樹葉(干擾)的顏色形狀特征共16種，作為NN識別模型的輸入量，建立基于NN的蘋果果實(shí)識別模型。

2.1 常規(guī)反向傳播NN算法

作為一種多層前饋型網(wǎng)絡(luò)，反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation NN,BPNN)能夠前向輸入信號，逆向反饋誤差信號。在進(jìn)行前向運(yùn)輸時(shí)，輸入信號的處理途徑為輸入層—隱含層—輸出層，采用逐層處理的方法。通過對比期望輸出以及輸出層輸出進(jìn)行反饋，網(wǎng)絡(luò)結(jié)構(gòu)中的權(quán)值可以通過兩者的差值進(jìn)行調(diào)整。利用BPNN經(jīng)過多次訓(xùn)練后即可更加接近期望輸出，進(jìn)而得到合適的閾值和權(quán)值。

NN函數(shù)實(shí)際上具有非線性的特點(diǎn)，其非線性函數(shù)的因變量為輸出層輸出的變量，自變量為輸入層輸入的變量，形成一個(gè)函數(shù)映射。本文根據(jù)NN所具有的特點(diǎn)，在充分分析影響識別質(zhì)量影響因素的基礎(chǔ)上，采用NN訓(xùn)練得到識別質(zhì)量和影響因素間的關(guān)系，其具體的關(guān)系可以通過權(quán)值和閾值體現(xiàn)出來。

但在應(yīng)用BPNN的過程中存在一定的問題：閾值和權(quán)值隨機(jī)生成，容易導(dǎo)致局部最優(yōu)，降低了訓(xùn)練效果；無法有效地確定學(xué)習(xí)率，當(dāng)學(xué)習(xí)率過大時(shí)結(jié)果準(zhǔn)確性無法保證，如果學(xué)習(xí)率太小會減緩訓(xùn)練過程，無法保證快速的收斂。解決方法：在尋找權(quán)值和閾值時(shí)借助遺傳算法實(shí)現(xiàn)，能夠有效避免局部最優(yōu)問題；改進(jìn)原有的固定學(xué)習(xí)率，在對自適應(yīng)學(xué)習(xí)率進(jìn)行改進(jìn)的過程中有效地提升學(xué)習(xí)效率。

2.2 遺傳優(yōu)化算法

使用文獻(xiàn)[13]改進(jìn)算法對遺傳優(yōu)化算法進(jìn)行更進(jìn)一步優(yōu)化。通過改動常規(guī)的變異和交叉操作來提升進(jìn)化速度：1)對免疫算法中所具有的免疫記憶機(jī)制進(jìn)行應(yīng)用，保護(hù)優(yōu)秀個(gè)體，不進(jìn)行交叉和變異操作，提升最優(yōu)解的尋找速度；2)改變變異過程中的變異概率，先對適應(yīng)度進(jìn)行排序，并標(biāo)記后30 %的個(gè)體，在變異操作的過程中采用更高的概率以保證最優(yōu)個(gè)體的出現(xiàn)，加快進(jìn)化速度；3)由于染色體具有較長的長度，為了保證優(yōu)秀個(gè)體的產(chǎn)生采用多點(diǎn)交叉的方法。

3 蘋果圖像識別模型構(gòu)建

本文主要考察蘋果、樹枝和樹葉的16種顏色形狀特征，通過識別模型分別識別出圖像中的果實(shí)、樹枝以及樹葉， 因此，可以確定NN模型的輸入節(jié)點(diǎn)數(shù)為16，輸出節(jié)點(diǎn)數(shù)為3。常規(guī)NN使用經(jīng)驗(yàn)試湊法確定隱含層節(jié)點(diǎn)數(shù)為35。

針對BPNN對于網(wǎng)絡(luò)初始閾值和權(quán)值比較依賴，采用隨機(jī)選取的方法容易出現(xiàn)局部最優(yōu)現(xiàn)象，應(yīng)用遺傳算法實(shí)現(xiàn)全局優(yōu)化，得到全局最優(yōu)解。在優(yōu)化和尋優(yōu)神經(jīng)網(wǎng)絡(luò)初始閾值和權(quán)值時(shí)應(yīng)用遺傳算法能夠達(dá)到自適應(yīng)學(xué)習(xí)的目的，有效提升了訓(xùn)練和學(xué)習(xí)效率。

4 蘋果圖像識別分析

4.1 蘋果圖像特征提取

選取1 000幅蘋果果實(shí)圖像，按照圖像分割與特征提取方法提取用于識別的特征。獲得完整果實(shí)和有樹葉遮擋果實(shí)的圖像處理過程如圖1所示。

圖1 蘋果果實(shí)圖像處理過程

4.2 蘋果圖像識別結(jié)果分析

使用200幅僅有一個(gè)蘋果果實(shí)的圖像對識別模型進(jìn)行訓(xùn)練，使用剩余600幅圖像對訓(xùn)練后的識別模型進(jìn)行測試，測試樣本隨機(jī)分為3組：圖像中大部分圖像為完整蘋果果實(shí)；部分圖像被樹葉遮擋；另一部分圖像存在蘋果果實(shí)重疊，各情況在樣本中的比例如表1所示。

表1 蘋果果實(shí)識別測試樣本

針對3組樣本，分別使用常規(guī)BPNN和本文研究的識別模型得到的識別準(zhǔn)確率如圖2所示。

圖2 3組測試樣本的蘋果果實(shí)識別準(zhǔn)確率

可以看出：針對完整的果實(shí)，本文模型和常規(guī)BP模型的識別準(zhǔn)確率分別為95.8 %和86.6 %；針對有樹葉遮擋的果實(shí)，本文模型和常規(guī)BP模型的識別準(zhǔn)確率分別為84.3 %和80.9 %；針對有重疊的果實(shí)，本文模型和常規(guī)BP模型的識別準(zhǔn)確率分別為82.6 %和75.2 %。

樹葉遮擋和果實(shí)重疊會降低識別模型的識別準(zhǔn)確率，經(jīng)過實(shí)驗(yàn)，不同遮擋率情況下，識別模型的識別準(zhǔn)確率如圖3所示。

圖3 不同遮擋率情況下識別模型的識別準(zhǔn)確率

不同遮擋率情況下，識別模型的識別準(zhǔn)確率測試結(jié)果可以看出：當(dāng)樹葉遮擋比例或果實(shí)重疊率大于70 %時(shí)，雖然本文模型較常規(guī)BP模型具有更好的識別準(zhǔn)確率，但總體識別準(zhǔn)確率極低，無法滿足識別與采摘的精度要求，當(dāng)樹葉遮擋比例或果實(shí)重疊率在40 %～70 %之間時(shí)，總體識別準(zhǔn)確率有所上升，只有當(dāng)樹葉遮擋比例或果實(shí)重疊率在40 %以下時(shí)，總體識別準(zhǔn)確率才能夠穩(wěn)定，滿足識別與采摘的精度要求。

5 結(jié) 論

針對圖像識別技術(shù)在農(nóng)業(yè)工程中的應(yīng)用進(jìn)行了研究，提出了一種蘋果圖像識別技術(shù)，為實(shí)現(xiàn)蘋果智能采摘提供了一種新方法。測試結(jié)果表明：1)相比常規(guī)BPNN模型，本文方法具有更高的識別準(zhǔn)確率。2)當(dāng)樹葉遮擋比例或果實(shí)重疊率大于70 %時(shí)，識別準(zhǔn)確率極低，無法滿足識別與采摘的精度要求；當(dāng)樹葉遮擋比例或果實(shí)重疊率在40 %以下時(shí)，總體識別準(zhǔn)確率滿足識別與采摘的精度要求。

參考文獻(xiàn):

[1] 王 瓊.基于優(yōu)化理論的神經(jīng)網(wǎng)絡(luò)研究及在抽油機(jī)故障診斷中的應(yīng)用[D].大慶：東北石油大學(xué),2011:11-14.

[2] 馮 娟,曾立華,劉 剛,等.融合多源圖像信息的果實(shí)識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(2):73-80.

[3] 馬曉丹.蘋果樹冠層光照分布計(jì)算方法研究[D].北京：中國農(nóng)業(yè)大學(xué),2015:14-16.

[4] 馮 娟,劉 剛,王圣偉，等.采摘機(jī)器人果實(shí)識別的多源圖像配準(zhǔn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2013,44(3):197-203.

[5] 王 晉.自然環(huán)境下蘋果采摘機(jī)器人視覺系統(tǒng)的關(guān)鍵技術(shù)研究[D].秦皇島：燕山大學(xué),2014:66-69.

[6] 呂小蓮，呂小榮，盧秉福.西紅柿采摘機(jī)器人視覺系統(tǒng)的設(shè)計(jì)與研究[J].傳感器與微系統(tǒng)，2010,29(6)：21-24.

[7] 李 劍，李臻峰，宋飛虎，等.基于近紅外光譜的水蜜桃采摘期的鑒別方法[J].傳感器與微系統(tǒng)，2017，36(10):48-50.

[8] 呂繼東,趙德安,姬 偉.蘋果采摘機(jī)器人目標(biāo)果實(shí)快速跟蹤識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(1):65-72.

[9] 呂繼東.蘋果采摘機(jī)器人視覺測量與避障控制研究[D].鎮(zhèn)江：江蘇大學(xué),2012:13-16.

[10] 謝忠紅.采摘機(jī)器人圖像處理系統(tǒng)中的關(guān)鍵算法研究[D].南京：南京農(nóng)業(yè)大學(xué),2013:15-25.

[11] 王津京.基于支持向量機(jī)蘋果采摘機(jī)器人視覺系統(tǒng)的研究[D].鎮(zhèn)江：江蘇大學(xué),2009:35-60.

[12] 賈偉寬,趙德安,劉曉洋，等.機(jī)器人采摘蘋果果實(shí)的K-means和GA-RBF-LMS神經(jīng)網(wǎng)絡(luò)識別[J].農(nóng)業(yè)工程學(xué)報(bào),2015,31(18):175-183.

[13] 畢艷亮,寧 芊,雷印杰，等.基于改進(jìn)的遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)并用于紅酒質(zhì)量等級分類[J].計(jì)算機(jī)測量與控制,2016,24(1):226-228.