白 琨，年福東，劉丹萍，桑銘偉

合肥學(xué)院先進(jìn)制造工程學(xué)院，安徽合肥，230601

采摘作業(yè)所用的勞動力占整個生產(chǎn)過程所用的勞動力的33%至50%[1]，是重要的生產(chǎn)環(huán)節(jié)，我國果園多采用人工采摘。為改善作業(yè)環(huán)境，幫助果農(nóng)緩解采摘難題，多種形式的采摘器順勢而出。但是大多數(shù)采摘器并不具備對蘋果自動識別、采摘、收集、裝箱的功能。一般收集好的蘋果需要重新整理完成裝箱，費時費力。為進(jìn)一步提高經(jīng)濟(jì)效益和降低勞動力投入，本文基于計算機視覺技術(shù)設(shè)計了一款采摘器，能自動對蘋果進(jìn)行識別采摘并完成裝箱收集工作。

1 蘋果采摘自動收集系統(tǒng)總體架構(gòu)

本文設(shè)計的蘋果采摘自動收集系統(tǒng)主要由視覺識別模塊和機械結(jié)構(gòu)模塊兩部分組成。視覺識別包括蘋果定位和成熟度判斷，機械結(jié)構(gòu)包括蘋果采摘和自動收集。系統(tǒng)總體架構(gòu)如圖1所示。該架構(gòu)中

圖1 蘋果采摘自動收集系統(tǒng)總體架構(gòu)圖

第一步是準(zhǔn)確定位蘋果，在攝像頭所涉范圍內(nèi)將蘋果與樹葉等其他物質(zhì)區(qū)分開來，捕捉到蘋果；第二步判斷蘋果成熟與否，決定是否進(jìn)行采摘，若不成熟則重新定位下一個蘋果，否則進(jìn)入第三步切割分離果柄；最后一步蘋果切落后通過自動收集裝置落入果盒。架構(gòu)的前兩步屬于視覺識別設(shè)計，后兩步屬于機構(gòu)結(jié)構(gòu)設(shè)計。系統(tǒng)機械結(jié)構(gòu)詳細(xì)工作流程如圖2所示。

圖2 系統(tǒng)機械結(jié)構(gòu)工作流程圖

物體識別是計算機視覺領(lǐng)域中的一項基礎(chǔ)研究，它的任務(wù)是識別出圖像中有什么物體，并報告出這個物體在圖像表示的場景中的位置和方向[2]。視覺識別的方法合理與否，直接決定著蘋果采摘機的性能。在蘋果識別方案的設(shè)計中，關(guān)鍵是能夠快速、準(zhǔn)確地識別出成熟蘋果在果樹枝頭所處的位置，基于計算機視覺技術(shù)設(shè)計了蘋果識別方案，先采集果樹圖片，進(jìn)行蘋果識別訓(xùn)練；再根據(jù)訓(xùn)練結(jié)果，使機器自動定位所有蘋果(包括成熟的和未成熟的蘋果)的位置，即在攝像頭的采集范圍內(nèi)，準(zhǔn)確地輸出采集圖片當(dāng)中每一個蘋果所在區(qū)域的最小矩形包圍框；第三步，對第二步識別到的每一個蘋果進(jìn)行成熟度判斷。識別出成熟蘋果后，系統(tǒng)移動使蘋果進(jìn)入采摘筒，通過傳感器判斷蘋果是否到位，到位后進(jìn)行切割果柄分離，通過收集管道進(jìn)入收集盒，通過計數(shù)傳感器判斷果盒是否需要移位或者是否裝滿。

2 視覺識別

2.1 蘋果定位模塊設(shè)計

本文采用的基于深度學(xué)習(xí)的蘋果自動定位流程如圖3所示，首先利用大量真實標(biāo)簽數(shù)據(jù)訓(xùn)練基于深度學(xué)習(xí)的物體檢測算法獲得蘋果定位模型[3]。隨后將待檢測圖片通過訓(xùn)練完成的模型獲得每一個蘋果的位置。主要包含三個步驟，即訓(xùn)練數(shù)據(jù)庫的構(gòu)建、自動定位蘋果位置的深度模型訓(xùn)練和蘋果定位模型的在線部署。

圖3 基于深度學(xué)習(xí)的蘋果自動定位流程圖

2.1.1 訓(xùn)練數(shù)據(jù)庫的構(gòu)建

為了使機器能夠在果樹上準(zhǔn)確捕捉到蘋果，需要對其進(jìn)行訓(xùn)練，使之學(xué)習(xí)蘋果特征。這需要大量的、多樣化的、質(zhì)量高的訓(xùn)練數(shù)據(jù)，構(gòu)建訓(xùn)練數(shù)據(jù)庫。模擬果園真實環(huán)境，準(zhǔn)備了150張帶有蘋果的圖片，利用圖像標(biāo)注軟件，在每一張圖片上人工框選出圖片的所有蘋果，每一個蘋果樣本生成對應(yīng)的坐標(biāo)數(shù)據(jù)，建立數(shù)據(jù)庫。工作流程如圖4所示。

圖4 蘋果定位數(shù)據(jù)庫構(gòu)建示意圖

2.1.2 自動定位蘋果位置的深度模型訓(xùn)練

在訓(xùn)練數(shù)據(jù)準(zhǔn)備完成之后，即可利用物體檢測算法訓(xùn)練蘋果定位模型。為了盡可能地平衡檢測準(zhǔn)確率與檢測速度，采用YOLO物體檢測算法[4]訓(xùn)練蘋果檢測定位模型。YOLO的原理如圖5所示，其首先將圖像等分為S×S的網(wǎng)格，然后利用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測帶檢測物體落在每一個網(wǎng)格的概率，最后對所有可能的物體進(jìn)行融合，選取概率最大的矩形框作為預(yù)測物體的實際位置。在實際訓(xùn)練時，采用官方訓(xùn)練框架darknet[5]。值得注意的是采用監(jiān)督學(xué)習(xí)算法訓(xùn)練深度模型一般而言需要標(biāo)注數(shù)以萬計、甚至千萬計的訓(xùn)練數(shù)據(jù)，否則可能會出現(xiàn)過擬合問題，導(dǎo)致所訓(xùn)練模型的泛化性能較差。為了避免這一問題，采用遷移訓(xùn)練的方式，即首先在公開大規(guī)模圖片數(shù)據(jù)集上訓(xùn)練分類模型，隨后再利用所標(biāo)注的蘋果數(shù)據(jù)進(jìn)行模型的微調(diào)。

圖5 蘋果定位算法(YOLO)原理示意圖

2.1.3 蘋果定位模型的在線部署

由于模型的訓(xùn)練用到專用深度學(xué)習(xí)框架，不利于項目的實際部署。以O(shè)penCV作為平臺進(jìn)行蘋果檢測模型的實際部署。具體做法如下：首先將darknet訓(xùn)練好的模型轉(zhuǎn)換為OpenCV可讀取的形式，隨后利用OpenCV將模型二次封裝，僅預(yù)留兩個接口：一個是加載模型，另一個是輸入一張圖片返回當(dāng)前圖片內(nèi)所有蘋果的最小包圍框的矩形坐標(biāo)。

2.2 蘋果成熟度判斷模塊設(shè)計

基于顏色模型判斷蘋果成熟度。成功定位出蘋果的坐標(biāo)后，依然達(dá)不到分類收集的一個目的，對蘋果的識別不能只限于定位出蘋果這個物體，還要對其是否成熟有一個判斷，因此需要給出蘋果成熟與否的分類依據(jù)。針對蘋果在成熟后，其表面的顏色將從青色轉(zhuǎn)變成紅色的這一特點，通過顏色空間分析將捕捉到的圖片中蘋果紅色區(qū)域超過70%是成熟蘋果作為判斷依據(jù)。

首先，將蘋果圖片進(jìn)行顏色空間轉(zhuǎn)換。通過攝像頭采集到的圖片所在色彩空間為RGB顏色空間。RGB顏色空間雖然利于電子屏幕進(jìn)行顯示和人眼進(jìn)行肉眼觀察，但由于其對光照即為敏感(例如，同樣是紅色，在不同的光照條件下，在RGB顏色空間下的數(shù)值將具有巨大差異)，不利于對顏色的屬性進(jìn)行自動分析。在圖像處理研究與應(yīng)用領(lǐng)域中，RGB和HSV是兩種極為常見的顏色空間，兩者之間可以相互轉(zhuǎn)化。RGB顏色模型簡單來說就是以R(紅色)、G(綠色)、B(藍(lán)色)三種原色進(jìn)行不斷疊加產(chǎn)生多色的三基色模型[6]，這種模型更加直觀。HSV顏色模型則是把H(色相)，S(飽和度)，V(亮度)當(dāng)作色值來定義顏色的空間，直觀的表達(dá)色彩的明暗、色調(diào)以及鮮艷程度，方便進(jìn)行顏色之間的對比，因此本文將利用HSV顏色空間對蘋果的色彩進(jìn)行分析。

經(jīng)由RGB轉(zhuǎn)化成HSV的公式計算[7]，在將蘋果圖片由原始RGB轉(zhuǎn)為HSV顏色空間之后，通過對H通道(即色相)的分析來判斷紅色區(qū)域的占比。經(jīng)過大量圖片實際測試，選取像素為紅色的H取值范圍是：(H>0&&H<16)‖(H>240&&H<360)。若紅色像素占蘋果區(qū)域的比例為大于一定閾值(設(shè)置為70%)則認(rèn)為當(dāng)前蘋果為成熟，否則認(rèn)為蘋果未成熟。

3 機械結(jié)構(gòu)設(shè)計

采摘收集裝置[8]如圖6所示。主要分為采摘和收集兩部分。蘋果采摘收集時主要考慮降低蘋果的損傷度。Lu 等認(rèn)為蘋果損傷程度與下落高度成正比[9]；Menesatti等通過對杏、梨、桃和蘋果碰撞試驗得到果實跌落沖擊損傷的抵抗力和跌落損傷高度臨界值，建立了桃的跌落損傷預(yù)測模型[9]。

圖6中采摘器升降高度h的范圍為2.5～3.7 m，降落點相對于起落點的水平距離l的范圍為0～0.5 m?？梢灶A(yù)測，當(dāng)起落點和降落點在豎直直線上時，降落點的加速度最大，蘋果受到的沖擊力最大、最容易受到損傷；當(dāng)起落點和降落點的連線與豎直線間的夾角最大(即降落點相對于起落點的水平距離l最大)時，降落點的加速度最小、受到的損傷最小?？紤]到結(jié)構(gòu)的緊湊性，并不是l越大越好。在滿足損傷可承受力的情況下，l值越小越好，既可以減小結(jié)構(gòu)尺寸，又可以提高設(shè)備的運行效率。

蘋果在降落點的切向加速度為:

(1)

圖6 某蘋果采摘器

設(shè)計l-h兩因素六水平實驗表1。可以看出當(dāng)以加速度為9.7 m/s作為無損傷標(biāo)準(zhǔn)時，表中陰影部分顯示l對應(yīng)6個h水平的調(diào)節(jié)范圍為0.3～0.4 m。經(jīng)擬合計算，可得l和之間的優(yōu)化模型式(2)，其中a=-429 8，b=-11.62，c=0.402。圖7為l-h擬合曲線圖，可以更直觀地看出擬合后的l和h位置關(guān)系，機械結(jié)構(gòu)設(shè)計時可據(jù)此設(shè)計安裝降落點調(diào)節(jié)裝置，以達(dá)到合理的損傷控制。

(2)

圖7 l-h擬合曲線圖

表1 l-h因素水平表

4 結(jié) 語

本設(shè)計利用計算機視覺技術(shù)，基于深度學(xué)習(xí)的物體檢測技術(shù)訓(xùn)練蘋果檢測模型，實現(xiàn)蘋果位置的自動定位，建立了判斷蘋果成熟與否的依據(jù)，利用色彩分析算法對蘋果的成熟度進(jìn)行判斷。分析了采摘器升降高度h和降落點相對于起落點的水平距離l對蘋果損傷的影響，得出以下結(jié)論：h越大損傷越大，l越小損傷越大;可以減小設(shè)備收集裝置的尺寸，使結(jié)構(gòu)緊湊，且提高運行效率。