徐曉婧 許來濤
(嘉興職業(yè)技術(shù)學(xué)院,浙江 嘉興 314000)
農(nóng)業(yè)是國民經(jīng)濟(jì)的基礎(chǔ)。近幾年,我國的水果產(chǎn)業(yè)緊隨糧食產(chǎn)業(yè)和蔬菜產(chǎn)業(yè)之后,成為第三大種植業(yè)[1]。2018年、2019年、2020年我國的水果產(chǎn)量分別為2.55億t、2.62億t、2.7億t[2]。為滿足人們的日均水果攝入量需求,預(yù)計(jì)我國未來幾年的水果產(chǎn)量將會(huì)保持持續(xù)增長的趨勢。
與此同時(shí),水果產(chǎn)業(yè)的一些問題也隨著市場競爭的加劇而日益凸顯。地段、價(jià)格已經(jīng)不再是影響產(chǎn)業(yè)鏈的主要因素,智能化的種植、精細(xì)化運(yùn)營管理成為關(guān)鍵。要滿足新時(shí)代農(nóng)業(yè)發(fā)展需求,必須加快農(nóng)業(yè)現(xiàn)代化建設(shè),加快新技術(shù)、新產(chǎn)品研發(fā)。傳統(tǒng)行業(yè)和新技術(shù)有機(jī)結(jié)合的一個(gè)典型案例就是機(jī)器人在現(xiàn)代農(nóng)業(yè)采摘中的應(yīng)用,這對(duì)于引領(lǐng)傳統(tǒng)水果產(chǎn)業(yè)迅速邁向智能化、自動(dòng)化和規(guī)?;l(fā)展具有重大意義。
嘉興地區(qū)很早就開始了葡萄栽培。目前,當(dāng)?shù)仄咸逊N植面積高達(dá)8 580 hm2,年產(chǎn)優(yōu)質(zhì)葡萄18.27萬t[3]。30多年的商品化種植使葡萄產(chǎn)業(yè)成了嘉興市農(nóng)民增收的一條重要途徑,葡萄逐漸成了嘉興農(nóng)業(yè)的一張“金名片”[4]。
葡萄果期在每年的7—9月。此時(shí)正值夏季,高溫給本就繁重的采摘分揀工作增加了難度。人工分揀既費(fèi)時(shí)又費(fèi)力,而且增加了果農(nóng)的種植成本。提高采摘實(shí)時(shí)性和工作效率、降低生產(chǎn)成本的有效途徑之一是利用采摘機(jī)器人。
對(duì)于采摘機(jī)器人來說,其視覺系統(tǒng)對(duì)水果的識(shí)別和定位能力決定了采摘的作業(yè)效率和自動(dòng)化程度,是能否準(zhǔn)確成功采摘水果的關(guān)鍵因素。但是自然環(huán)境下,準(zhǔn)確識(shí)別目標(biāo)水果還是比較困難,很多學(xué)者都把研究目光投向這個(gè)領(lǐng)域。
20世紀(jì)70年代,水果圖像識(shí)別技術(shù)就已經(jīng)開始被研究。果蔬采摘機(jī)器人的概念最早是被Schertz和Brown在20世紀(jì)70年代提出,水果檢測主要是利用果實(shí)和樹葉的電磁光譜反射;2006年,在自然環(huán)境下的葡萄識(shí)別中,Chamelat用到了顏色信息、Zemike距;2010年,Shebiah通過小波變換統(tǒng)計(jì)特征最小距的分類,并且融入果實(shí)的紋理和顏色,進(jìn)行果實(shí)識(shí)別[5];Berenstein等人也在同年進(jìn)行葡萄識(shí)別時(shí),用到了果實(shí)及枝葉邊緣分布的差異性;2013年,Bansal等人通過比較樹葉和果實(shí)的快速傅里葉變換獲得閾值,從而開發(fā)了一種從室外圖像中檢測綠色未成熟柑橘類水果的技術(shù)[6];2015年,F(xiàn)ont等人進(jìn)行自適應(yīng)閾值分割處理時(shí),用到了HSV顏色空間中的H分量對(duì)圖像進(jìn)行處理;Rizon等人利用隨機(jī)霍夫變換,采用紋理特征參數(shù)和形態(tài)算子結(jié)合的方式識(shí)別被遮擋的水果果實(shí),并取得了較好的成效;2017年,Bargoti等人對(duì)蘋果進(jìn)行圖像處理和分割時(shí)用到了卷積神經(jīng)網(wǎng)絡(luò)和多尺度多層感知器兩種算法。
相比于國外,我國開展水果圖像自動(dòng)識(shí)別的研究較晚。熊俊濤等人識(shí)別出荔枝的果實(shí)和枝梗時(shí),用到Retinex算法濾除圖像噪聲,在YCbCr顏色空間中分割目標(biāo)的Cr分量[7];Feng等人提取HSI顏色空間的H分量和幅度作為融合的圖像,對(duì)果實(shí)識(shí)別具有更好的穩(wěn)健性和準(zhǔn)確性[8];毛亮等人對(duì)荔枝進(jìn)行圖像分割時(shí),用到了HSV彩色空間中的H分量的旋轉(zhuǎn)分量[9];孫颯爽等人通過三點(diǎn)定圓法來進(jìn)行果實(shí)識(shí)別,這里面用到了Ncut算法和GrabCut模型提取出果實(shí)之間的遮擋區(qū)域[10];羅陸峰等人利用改進(jìn)的蟻群聚類算法,使葡萄的識(shí)別準(zhǔn)確率達(dá)到了90.33%[11]。
目前,基于模糊聚類的分割和色彩空間的閾值分割、基于形狀模板的檢測是國內(nèi)外研究者對(duì)水果目標(biāo)識(shí)別的主要方法。雖然相關(guān)領(lǐng)域的算法已經(jīng)很多,但是因?yàn)樗幁h(huán)境變化多樣,使得很多算法只適用于某個(gè)特定的環(huán)境或是某個(gè)特定類型的水果品種,其通用性較差。除此之外,果實(shí)被樹枝、樹葉或其他果實(shí)遮擋的現(xiàn)象普遍存在,目前常用的識(shí)別算法不能運(yùn)用于所有遮擋情況,具有一定的局限性[12]。
在自然環(huán)境下,對(duì)果實(shí)目標(biāo)進(jìn)行識(shí)別時(shí),可根據(jù)果實(shí)顏色特征分為果實(shí)與背景顏色差異較大、果實(shí)與背景顏色相近這兩種情況。其中,在果實(shí)與背景顏色相近的情況下,僅僅依靠顏色特征難以將目標(biāo)區(qū)域提取出來,并且其識(shí)別效果較差、精確度低。因此,基于顏色和紋理兩個(gè)空間角度對(duì)葡萄果實(shí)進(jìn)行特征的分析和提取,能極大地提高識(shí)別率、精確度。
目前,在對(duì)葡萄果實(shí)的圖像分割和識(shí)別中,對(duì)紫色葡萄的識(shí)別率已經(jīng)在90%以上,但是對(duì)綠色葡萄的目標(biāo)識(shí)別效果還不太理想。例如,僅通過顏色空間特征,利用樣本值分割圖像,對(duì)紫色葡萄的識(shí)別率較高,而綠色葡萄僅為52%。而且傳統(tǒng)的模糊聚類算法常帶來局部最優(yōu)問題,使目標(biāo)果實(shí)的識(shí)別陷入困境。因此,利用基于紋理特征的支持向量機(jī)、(SVW)基于顏色空間的Otsu閾值分割辦法和AdaBoost算法,既能加快采摘機(jī)器人識(shí)別速度,又能提高圖像分割的準(zhǔn)確率。
水果采摘機(jī)器人在進(jìn)行采摘前,首先要在復(fù)雜的環(huán)境中把水果識(shí)別出來,然后再根據(jù)果實(shí)的成熟度來決定是否采摘[13]。但因?yàn)樽匀画h(huán)境的復(fù)雜性和不確定性,以及果實(shí)受光照、枝葉等環(huán)境因素的干擾較大,使得采摘機(jī)器人對(duì)果實(shí)的目標(biāo)識(shí)別成為了難題。
針對(duì)不同的水果,有的利用基于紋理、形狀的識(shí)別方法,有的利用基于色彩空間的識(shí)別算法。研究對(duì)象是綠色陽光玫瑰葡萄,其果實(shí)顏色和樹葉顏色相對(duì)接近,在一定程度上加大了果實(shí)目標(biāo)識(shí)別的難度。因此,先分析果實(shí)圖像的顏色特征,采用基于Otsu閾值算法對(duì)圖像進(jìn)行初步的分割;然后通過圖像紋理特征,采用支持AdaBoost算法和向量機(jī)(SVW)算法對(duì)圖像進(jìn)行進(jìn)一步的精細(xì)化處理,從而獲得準(zhǔn)確的陽光玫瑰葡萄識(shí)別圖像。具體流程見圖1?;诖?,此項(xiàng)研究包括以下兩大塊內(nèi)容。
圖1 葡萄圖像分割與識(shí)別流程
一是基于顏色空間的初步檢測處理,包括顏色空間及特征分析、顏色分類提取、Otsu閾值算法進(jìn)行初步分割三個(gè)方面。
二是基于紋理的精確檢測處理,包括基于LBP的支持向量機(jī)(SVM)算法、基于LBP的adaboost算法、兩種算法的精確度比較三個(gè)方面。
本項(xiàng)目旨在研究基于顏色及紋理兩種外在特征基礎(chǔ)下的圖像分割算法,分析不同算法的果實(shí)識(shí)別率及其精確度,實(shí)現(xiàn)在自然環(huán)境下對(duì)葡萄果實(shí)識(shí)別率達(dá)到90%以上的目標(biāo),從而為采摘機(jī)器人準(zhǔn)確定位及實(shí)施采摘行為奠定基礎(chǔ)。
2019年嘉興市優(yōu)質(zhì)葡萄的年產(chǎn)量達(dá)18.27萬t,葡萄的種植和采摘工作相比其他水果品種對(duì)勞動(dòng)力的需求更大。若將采摘機(jī)器人應(yīng)用于其中,能大大降低勞動(dòng)強(qiáng)度、節(jié)約生產(chǎn)成本、提高生產(chǎn)效率,能產(chǎn)生很大的經(jīng)濟(jì)效益。對(duì)葡萄果實(shí)的圖像分割和識(shí)別,是采摘機(jī)器人視覺系統(tǒng)中果實(shí)采摘點(diǎn)空間位置確定的基礎(chǔ),直接影響采摘機(jī)器人工作的精確性和效率。
隨著不斷深度學(xué)習(xí),傳統(tǒng)的圖像識(shí)別方式已經(jīng)被逐漸淘汰。通過構(gòu)建多層深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),模擬人類大腦的認(rèn)知規(guī)律,并將其運(yùn)用于農(nóng)業(yè)自然環(huán)境下的果實(shí)目標(biāo)識(shí)別,將會(huì)是一個(gè)非常有潛力的方向和研究重點(diǎn)。