徐曉婧 許來濤
(嘉興職業(yè)技術(shù)學(xué)院,浙江 嘉興 314000)
農(nóng)業(yè)是國民經(jīng)濟的基礎(chǔ)。近幾年,我國的水果產(chǎn)業(yè)緊隨糧食產(chǎn)業(yè)和蔬菜產(chǎn)業(yè)之后,成為第三大種植業(yè)[1]。2018年、2019年、2020年我國的水果產(chǎn)量分別為2.55億t、2.62億t、2.7億t[2]。為滿足人們的日均水果攝入量需求,預(yù)計我國未來幾年的水果產(chǎn)量將會保持持續(xù)增長的趨勢。
與此同時,水果產(chǎn)業(yè)的一些問題也隨著市場競爭的加劇而日益凸顯。地段、價格已經(jīng)不再是影響產(chǎn)業(yè)鏈的主要因素,智能化的種植、精細化運營管理成為關(guān)鍵。要滿足新時代農(nóng)業(yè)發(fā)展需求,必須加快農(nóng)業(yè)現(xiàn)代化建設(shè),加快新技術(shù)、新產(chǎn)品研發(fā)。傳統(tǒng)行業(yè)和新技術(shù)有機結(jié)合的一個典型案例就是機器人在現(xiàn)代農(nóng)業(yè)采摘中的應(yīng)用,這對于引領(lǐng)傳統(tǒng)水果產(chǎn)業(yè)迅速邁向智能化、自動化和規(guī)模化發(fā)展具有重大意義。
嘉興地區(qū)很早就開始了葡萄栽培。目前,當(dāng)?shù)仄咸逊N植面積高達8 580 hm2,年產(chǎn)優(yōu)質(zhì)葡萄18.27萬t[3]。30多年的商品化種植使葡萄產(chǎn)業(yè)成了嘉興市農(nóng)民增收的一條重要途徑,葡萄逐漸成了嘉興農(nóng)業(yè)的一張“金名片”[4]。
葡萄果期在每年的7—9月。此時正值夏季,高溫給本就繁重的采摘分揀工作增加了難度。人工分揀既費時又費力,而且增加了果農(nóng)的種植成本。提高采摘實時性和工作效率、降低生產(chǎn)成本的有效途徑之一是利用采摘機器人。
對于采摘機器人來說,其視覺系統(tǒng)對水果的識別和定位能力決定了采摘的作業(yè)效率和自動化程度,是能否準(zhǔn)確成功采摘水果的關(guān)鍵因素。但是自然環(huán)境下,準(zhǔn)確識別目標(biāo)水果還是比較困難,很多學(xué)者都把研究目光投向這個領(lǐng)域。
20世紀(jì)70年代,水果圖像識別技術(shù)就已經(jīng)開始被研究。果蔬采摘機器人的概念最早是被Schertz和Brown在20世紀(jì)70年代提出,水果檢測主要是利用果實和樹葉的電磁光譜反射;2006年,在自然環(huán)境下的葡萄識別中,Chamelat用到了顏色信息、Zemike距;2010年,Shebiah通過小波變換統(tǒng)計特征最小距的分類,并且融入果實的紋理和顏色,進行果實識別[5];Berenstein等人也在同年進行葡萄識別時,用到了果實及枝葉邊緣分布的差異性;2013年,Bansal等人通過比較樹葉和果實的快速傅里葉變換獲得閾值,從而開發(fā)了一種從室外圖像中檢測綠色未成熟柑橘類水果的技術(shù)[6];2015年,F(xiàn)ont等人進行自適應(yīng)閾值分割處理時,用到了HSV顏色空間中的H分量對圖像進行處理;Rizon等人利用隨機霍夫變換,采用紋理特征參數(shù)和形態(tài)算子結(jié)合的方式識別被遮擋的水果果實,并取得了較好的成效;2017年,Bargoti等人對蘋果進行圖像處理和分割時用到了卷積神經(jīng)網(wǎng)絡(luò)和多尺度多層感知器兩種算法。
相比于國外,我國開展水果圖像自動識別的研究較晚。熊俊濤等人識別出荔枝的果實和枝梗時,用到Retinex算法濾除圖像噪聲,在YCbCr顏色空間中分割目標(biāo)的Cr分量[7];Feng等人提取HSI顏色空間的H分量和幅度作為融合的圖像,對果實識別具有更好的穩(wěn)健性和準(zhǔn)確性[8];毛亮等人對荔枝進行圖像分割時,用到了HSV彩色空間中的H分量的旋轉(zhuǎn)分量[9];孫颯爽等人通過三點定圓法來進行果實識別,這里面用到了Ncut算法和GrabCut模型提取出果實之間的遮擋區(qū)域[10];羅陸峰等人利用改進的蟻群聚類算法,使葡萄的識別準(zhǔn)確率達到了90.33%[11]。
目前,基于模糊聚類的分割和色彩空間的閾值分割、基于形狀模板的檢測是國內(nèi)外研究者對水果目標(biāo)識別的主要方法。雖然相關(guān)領(lǐng)域的算法已經(jīng)很多,但是因為水果所處環(huán)境變化多樣,使得很多算法只適用于某個特定的環(huán)境或是某個特定類型的水果品種,其通用性較差。除此之外,果實被樹枝、樹葉或其他果實遮擋的現(xiàn)象普遍存在,目前常用的識別算法不能運用于所有遮擋情況,具有一定的局限性[12]。
在自然環(huán)境下,對果實目標(biāo)進行識別時,可根據(jù)果實顏色特征分為果實與背景顏色差異較大、果實與背景顏色相近這兩種情況。其中,在果實與背景顏色相近的情況下,僅僅依靠顏色特征難以將目標(biāo)區(qū)域提取出來,并且其識別效果較差、精確度低。因此,基于顏色和紋理兩個空間角度對葡萄果實進行特征的分析和提取,能極大地提高識別率、精確度。
目前,在對葡萄果實的圖像分割和識別中,對紫色葡萄的識別率已經(jīng)在90%以上,但是對綠色葡萄的目標(biāo)識別效果還不太理想。例如,僅通過顏色空間特征,利用樣本值分割圖像,對紫色葡萄的識別率較高,而綠色葡萄僅為52%。而且傳統(tǒng)的模糊聚類算法常帶來局部最優(yōu)問題,使目標(biāo)果實的識別陷入困境。因此,利用基于紋理特征的支持向量機、(SVW)基于顏色空間的Otsu閾值分割辦法和AdaBoost算法,既能加快采摘機器人識別速度,又能提高圖像分割的準(zhǔn)確率。
水果采摘機器人在進行采摘前,首先要在復(fù)雜的環(huán)境中把水果識別出來,然后再根據(jù)果實的成熟度來決定是否采摘[13]。但因為自然環(huán)境的復(fù)雜性和不確定性,以及果實受光照、枝葉等環(huán)境因素的干擾較大,使得采摘機器人對果實的目標(biāo)識別成為了難題。
針對不同的水果,有的利用基于紋理、形狀的識別方法,有的利用基于色彩空間的識別算法。研究對象是綠色陽光玫瑰葡萄,其果實顏色和樹葉顏色相對接近,在一定程度上加大了果實目標(biāo)識別的難度。因此,先分析果實圖像的顏色特征,采用基于Otsu閾值算法對圖像進行初步的分割;然后通過圖像紋理特征,采用支持AdaBoost算法和向量機(SVW)算法對圖像進行進一步的精細化處理,從而獲得準(zhǔn)確的陽光玫瑰葡萄識別圖像。具體流程見圖1。基于此,此項研究包括以下兩大塊內(nèi)容。
圖1 葡萄圖像分割與識別流程
一是基于顏色空間的初步檢測處理,包括顏色空間及特征分析、顏色分類提取、Otsu閾值算法進行初步分割三個方面。
二是基于紋理的精確檢測處理,包括基于LBP的支持向量機(SVM)算法、基于LBP的adaboost算法、兩種算法的精確度比較三個方面。
本項目旨在研究基于顏色及紋理兩種外在特征基礎(chǔ)下的圖像分割算法,分析不同算法的果實識別率及其精確度,實現(xiàn)在自然環(huán)境下對葡萄果實識別率達到90%以上的目標(biāo),從而為采摘機器人準(zhǔn)確定位及實施采摘行為奠定基礎(chǔ)。
2019年嘉興市優(yōu)質(zhì)葡萄的年產(chǎn)量達18.27萬t,葡萄的種植和采摘工作相比其他水果品種對勞動力的需求更大。若將采摘機器人應(yīng)用于其中,能大大降低勞動強度、節(jié)約生產(chǎn)成本、提高生產(chǎn)效率,能產(chǎn)生很大的經(jīng)濟效益。對葡萄果實的圖像分割和識別,是采摘機器人視覺系統(tǒng)中果實采摘點空間位置確定的基礎(chǔ),直接影響采摘機器人工作的精確性和效率。
隨著不斷深度學(xué)習(xí),傳統(tǒng)的圖像識別方式已經(jīng)被逐漸淘汰。通過構(gòu)建多層深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),模擬人類大腦的認(rèn)知規(guī)律,并將其運用于農(nóng)業(yè)自然環(huán)境下的果實目標(biāo)識別,將會是一個非常有潛力的方向和研究重點。