高 翔，陳福展，董力中，盧嘉威,，李媛媛，凡 超，陳萬云

（1.廣東省現(xiàn)代農(nóng)業(yè)裝備研究所，廣東 廣州 510630；2.深圳市現(xiàn)代農(nóng)業(yè)裝備研究院，廣東 深圳 518022；3.廣州市健坤網(wǎng)絡(luò)科技發(fā)展有限公司，廣東 廣州 510630；4.廣東省農(nóng)業(yè)科學(xué)院果樹研究所，廣東 廣州 510645）

0 引言

荔枝為無患子科，屬于熱帶亞熱帶常綠果樹。我國荔枝栽培主要集中在廣西、海南、廣東、福建等?。▍^(qū)），花期3～4 月，成熟期5～7 月，既有“南國佳果”之稱,又有“嶺南果王”的美譽(yù)。自20 世紀(jì)80 年代至今，我國荔枝栽培面積和總產(chǎn)量均有了較大幅度的增加，1987 年荔枝栽培面積為12.75 萬hm2，2012 年增加 到55.33 萬hm2；1987 年荔枝 總產(chǎn)量 為11.68 萬t，2012 年增加 到190.66 萬t[1]。廣東省有著優(yōu)越的地理環(huán)境與氣候條件以及豐富的荔枝種質(zhì)資源和悠久的栽培歷史，具有發(fā)展荔枝生產(chǎn)的獨(dú)特優(yōu)勢，素有“中國荔枝第一產(chǎn)區(qū)”之美譽(yù)，是中國荔枝的原產(chǎn)地之一，也是世界少有的荔枝宜種區(qū)，已成為世界荔枝栽種面積最大、栽培品種較多的地區(qū)[2]。

隨著荔枝產(chǎn)業(yè)的進(jìn)一步發(fā)展，推進(jìn)廣東省荔枝產(chǎn)業(yè)的發(fā)展，堅(jiān)持農(nóng)業(yè)科技創(chuàng)新勢在必行。人工智能熱潮的興起，深度學(xué)習(xí)等多種算法相繼被探索出來，這使農(nóng)業(yè)精準(zhǔn)估產(chǎn)成為可能，很多研究人員也開展了相應(yīng)的嘗試。西北農(nóng)林科技大學(xué)周忠賢[3]基于深度學(xué)習(xí)與Android 手機(jī)雙目視覺，研究了果園獼猴桃測產(chǎn)方法，并結(jié)合開發(fā)了相應(yīng)的App 應(yīng)用程序，實(shí)現(xiàn)實(shí)時(shí)視頻計(jì)數(shù)、體積測量和實(shí)時(shí)測產(chǎn)功能；中國農(nóng)業(yè)大學(xué)李志軍等[4]基于輕量化改進(jìn)YOLOv5，研究了蘋果樹產(chǎn)量測定方法，達(dá)到了較好的精度，基本能夠滿足自然環(huán)境下蘋果樹的測產(chǎn)要求；華中科技大學(xué)熊雄[5]利用深度學(xué)習(xí)技術(shù)，研究了大田水稻稻穗分割及無損產(chǎn)量預(yù)估方法，為早期稻田精準(zhǔn)估產(chǎn)提供了實(shí)現(xiàn)路徑。本文在相關(guān)研究基礎(chǔ)上，采用深度學(xué)習(xí)技術(shù)和機(jī)器視覺技術(shù)[6]，研究荔枝的精準(zhǔn)估產(chǎn)算法，以期替代傳統(tǒng)的人工估產(chǎn)方式，提升荔枝估產(chǎn)的效率和準(zhǔn)確率。

1 研究思路及相關(guān)基礎(chǔ)技術(shù)

1.1 研究思路

要替代現(xiàn)有的通過人工憑經(jīng)驗(yàn)進(jìn)行大致推理計(jì)數(shù)的過程，主要考慮方向如下：數(shù)出荔枝4 個(gè)方向表面果實(shí)的數(shù)量，根據(jù)樹寬、數(shù)高、大小年、種類特性對(duì)輸出的數(shù)量進(jìn)行修正，即根據(jù)經(jīng)驗(yàn)乘以1 個(gè)估計(jì)系數(shù)。最后，根據(jù)不同荔枝種類果實(shí)的平均重量乘以修正后的果實(shí)數(shù)量得到整棵樹的估計(jì)產(chǎn)量?；诂F(xiàn)有人工的估產(chǎn)思路，考慮使用AI 圖像目標(biāo)檢測技術(shù)進(jìn)行識(shí)別，并將識(shí)別后的結(jié)果作為局部變量構(gòu)建估產(chǎn)模型，將此模型部署到邊緣設(shè)備端，則使用者可通過拍攝荔枝樹4 面不同的圖片，根據(jù)圖像處理的結(jié)果輸出所采集果樹的估產(chǎn)結(jié)果，實(shí)現(xiàn)思路如圖1 所示。

圖1 荔枝估產(chǎn)技術(shù)實(shí)現(xiàn)思路

實(shí)現(xiàn)荔枝估產(chǎn)，需要對(duì)采集果樹圖片信息進(jìn)行識(shí)別和計(jì)算，主要使用到的圖像處理技術(shù)如下：基于深度學(xué)習(xí)的目標(biāo)檢測可以對(duì)圖像或視頻中的物體進(jìn)行識(shí)別和定位；雙目視覺可以通過視差獲得目標(biāo)物的深度信息；邊緣端檢測可以獲得圖像中目標(biāo)物的外輪廓，對(duì)相機(jī)進(jìn)行標(biāo)定后，結(jié)合深度信息通過比例換算可以得到輪廓邊緣像素點(diǎn)的實(shí)際距離。

融合深度學(xué)習(xí)、機(jī)器視覺等技術(shù)，本文以向陽面果實(shí)數(shù)量、其他3 面果實(shí)總數(shù)、大小年、樹高、樹寬、果實(shí)大小、樹齡7 個(gè)參數(shù)作為模型的輸入，搭建基于Py Torch 框架的多層感知機(jī)模型來訓(xùn)練荔枝估產(chǎn)模型[7]。模型結(jié)構(gòu)包括1 個(gè)輸入層、2 個(gè)隱藏層和1 個(gè)輸出層，在前2 層全連接后面均使用ReLU作為激活函數(shù)，并在第1 層全連接后面加入Dropout層，以防止過擬合，模型的輸出為1 個(gè)產(chǎn)量值，實(shí)現(xiàn)產(chǎn)量預(yù)估功能。BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，其中輸入層（M 層）為7 個(gè)節(jié)點(diǎn)[8]。

圖2 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

1.2 相關(guān)基礎(chǔ)技術(shù)

1）目標(biāo)檢測。目標(biāo)檢測領(lǐng)域的深度學(xué)習(xí)方法有很多，主要分為One-stage 目標(biāo)檢測算法和Twostage 目標(biāo)檢測算法2 類[9]，這2 類目標(biāo)檢測算法各有優(yōu)勢，但也有很大區(qū)別：Two-stage 目標(biāo)檢測方法先由算法生成一系列作為樣本的候選框，再通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本分類，檢測準(zhǔn)確率較高、定位精度較準(zhǔn)確；One-stage 目標(biāo)檢測方法不用產(chǎn)生樣本候選框，而是直接將目標(biāo)邊框定位的問題轉(zhuǎn)化為回歸問題進(jìn)行處理，算法速度較快。本文探索的荔枝果樹、果實(shí)目標(biāo)檢測，要求較高的準(zhǔn)確度、較強(qiáng)的實(shí)時(shí)性以及能夠快速進(jìn)行計(jì)算，而Two-stage 目標(biāo)檢測方法中Selective Search 聚類方法需要耗費(fèi)大量的時(shí)間，難以滿足實(shí)時(shí)性，因此One-stage 是更好的選擇。One-stage 目標(biāo)檢測方法的YOLOv3 算法采用了更深層的特征提取網(wǎng)絡(luò)Darknet53，并使用3 個(gè)尺度的特征進(jìn)行目標(biāo)檢測，檢測精度效果良好，能夠滿足小目標(biāo)的檢測需求。本文選擇YOLOv3 算法作為荔枝估產(chǎn)任務(wù)目標(biāo)檢測的選定算法。

2）雙目測距。同一物體在2 幅圖像上分別成像時(shí)，由于物體與雙目的相對(duì)位置不同而存在視差，物體距離攝像頭越近視差值越大，基于圖像幾何關(guān)系，可以測量實(shí)際物體的深度值。本文通過雙目測距獲取果樹的深度信息。

3）邊緣檢測。邊緣檢測主要是計(jì)算顯示出圖像的大概輪廓，為圖像的特征提提取、識(shí)別定位、測量擬合等提供支撐，是圖像處理最基礎(chǔ)而又關(guān)鍵的操作。本文利用邊緣檢測獲取樹高、樹寬等信息。

2 估產(chǎn)模型搭建及算法優(yōu)化

2.1 荔枝目標(biāo)檢測的模型搭建與優(yōu)化

YOLOv3[10]算法以Darknet53[11]為主干網(wǎng)路，并分別在32 倍下采樣、16 倍下采樣和8 倍下采樣后進(jìn)行預(yù)測，以416×416 的輸入尺寸為例，網(wǎng)絡(luò)分別在13×13、26×26 和52×52 這3 個(gè)尺度的特征圖中對(duì)圖像中的物體進(jìn)行預(yù)測，其中52×52 尺度的特征圖負(fù)責(zé)預(yù)測較小的目標(biāo)；26×26 尺度的特征圖負(fù)責(zé)預(yù)測中等目標(biāo)；13×13 尺度的特征圖負(fù)責(zé)預(yù)測較大的目標(biāo)。通過將卷積層、歸化層和激活層組成一個(gè)基本組件層（DBL），其中DBL（1×1）指卷積層的卷積核大小為1×1 的輸入尺寸，多個(gè)DBL 層組成了一個(gè)DBL 模塊，多個(gè)DBL 模塊組成了Dense Module，YOLOv3 原始網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 YOLOv3 原始網(wǎng)絡(luò)結(jié)構(gòu)

在拍攝整棵樹的情況下，單個(gè)荔枝在圖片中相對(duì)整張圖的尺寸很小，而且荔枝果實(shí)生長較為密集，這使得荔枝果實(shí)的檢測任務(wù)更加困難。為了提高在大場景下荔枝果實(shí)的檢測性能，本文做出了以下幾點(diǎn)改進(jìn)：①增加模型的輸入尺寸到800×800，更大的輸入尺寸能夠更好的保存圖像中小目標(biāo)的特征；②為了得到更大尺度的特征圖，本文將原始網(wǎng)絡(luò)最大尺度的特征圖進(jìn)行了處理，通過2 倍采樣以及與淺層特征進(jìn)行融合，增強(qiáng)了對(duì)更小目標(biāo)的檢測能力[12-13]，使用K-means 算法針對(duì)荔枝數(shù)據(jù)集中的標(biāo)注框進(jìn)行聚類[14-15]，得到適合荔枝檢測的Anchor Box 尺寸，使網(wǎng)絡(luò)能夠更好的提取特征，從而使模型達(dá)到更好的檢測效果。本研究在Darknet 框架下對(duì)改進(jìn)后的荔枝檢測模型進(jìn)行訓(xùn)練，在訓(xùn)練過程中，設(shè)置初始學(xué)習(xí)率為0.001，并分別在訓(xùn)練15 000 次和18 000 次時(shí)，調(diào)整為原來的0.1 倍。設(shè)置模型輸入尺寸為800×800，Batch Size 為64。設(shè)置12 個(gè)Anchor Box 分 別為 6,10,8,12,10,16,12,20,14,20,14,26,18,24,20,32,24,36,30,48,46,70,76,112。優(yōu)化后的YOLOv3-4scale 網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 優(yōu)化后的YOLOv3-4scale 網(wǎng)絡(luò)結(jié)構(gòu)

基于新的網(wǎng)絡(luò)結(jié)構(gòu)，本研究根據(jù)測試結(jié)果進(jìn)行了幾次的迭代。使用YOLOv3-up1 模型（調(diào)整了3 個(gè)輸出尺度），設(shè)置輸入尺寸為800×800，重新使用Kmeans 聚類的Anchors。設(shè)置Batch Size=128，subdivisions=64；初始學(xué)習(xí)率調(diào)整為0.001，step 為5 000 次和10 000 次時(shí)，減少10 倍。迭代20 000次，loss 降到10 左右。改進(jìn)前后的檢測結(jié)果對(duì)比如圖5 所示。圖5（a）、（c）、（e）為原始YOLOv3 模型的檢測結(jié)果圖，圖5（b）、（d）、（f）為改進(jìn)后的YOLOv3-4scale 模型的識(shí)別結(jié)果圖。通過對(duì)比后發(fā)現(xiàn)，在荔枝較小且密集的部分，改進(jìn)后的模型檢測效果更好。

圖5 YOLOv3 模型與YOLOv3-4scale 模型識(shí)別結(jié)果

2.2 樹高、樹寬數(shù)據(jù)的識(shí)別與處理

本文選用小覓雙目攝像頭實(shí)時(shí)測量圖像中果樹的深度，距離與視差的關(guān)系如圖6 所示。攝像頭成像4 個(gè)坐標(biāo)系，分別為像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系、世界坐標(biāo)系。如圖7 所示，像素坐標(biāo)系以圖像的左上角為原點(diǎn)O0，橫縱坐標(biāo)（u，v）分別表示像素點(diǎn)在圖像中的列數(shù)和行數(shù)；圖像坐標(biāo)系的原點(diǎn)為相機(jī)的光軸與圖像平面的交點(diǎn)，一般為圖像平面的中心。令O1在像素坐標(biāo)系O0-uv的坐標(biāo)為（u0，u0），dx、dy為單位像素在橫軸和縱軸上的物理尺寸，則像素坐標(biāo)系與圖像坐標(biāo)系之間存在如下關(guān)系：

圖6 距離與視差的關(guān)系

圖7 像素坐標(biāo)系與圖像坐標(biāo)系

轉(zhuǎn)換成“齊次矩陣”表示則為

由于受外界光照影響較大，且選用的小覓雙目攝像頭輸出的圖像為灰度圖，故本研究的思路是對(duì)視差圖進(jìn)行處理，通過算法最終獲得所需要的值。處理流程為：深度圖獲取→圖像處理（濾波去噪、物體去除、邊緣檢測、尋找輪廓）→樹寬、樹高數(shù)據(jù)輸出。目標(biāo)果數(shù)圖像處理流程如圖8 所示。

圖8 目標(biāo)果樹圖像處理過程

1）深度圖獲取。本研究選用小覓雙目攝像頭來實(shí)時(shí)測量圖像中果樹的深度。基于果樹的深度信息，可以有效的區(qū)分前后果樹位置，從而解決前后果樹的重疊問題。獲得的原始圖像深度圖與結(jié)合深度信息去除遠(yuǎn)處果實(shí)輪廓后的目標(biāo)果樹深度。

2）圖像處理。①濾波去噪：為了減少噪聲和失真，且不損壞輪廓等重要信息（矩陣卷積運(yùn)算），利用不同權(quán)重的鄰域算子（周圍像素點(diǎn)），使用高斯濾波、均值濾波、中值濾波這3 種方式進(jìn)行調(diào)試處理；②物體去除：分割出獨(dú)立元素，采用形態(tài)學(xué)運(yùn)算平滑邊界，去除障礙物周圍大塊噪點(diǎn)，去除波動(dòng)問題；③邊緣檢測：通過低錯(cuò)誤率、高定位性、最小響應(yīng)方法獲取障礙物邊緣信息，選定Canny 算子，Sobel 算子，Laplacian 算子檢測方式進(jìn)行邊緣檢測；④尋找輪廓：同一個(gè)障礙物邊緣檢測結(jié)果可能離散的，需要將統(tǒng)一障礙物輪廓當(dāng)做一個(gè)整體處理，選定輪廓檢測模式方式和輪廓近似方法進(jìn)行處理，通過圖像處理，可以獲得目標(biāo)果樹的外輪廓，計(jì)算后輸出樹高與樹寬。

2.3 估產(chǎn)結(jié)果的輸出

基于已搭建多層感知機(jī)模型來訓(xùn)練荔枝估產(chǎn)模型，通過C++將目標(biāo)檢測的結(jié)果與樹高、樹寬的測量結(jié)果調(diào)用至MLP 神經(jīng)網(wǎng)絡(luò)中。在模型訓(xùn)練過程中，本研究共使用200 組數(shù)據(jù)，其中185 組作為訓(xùn)練集、15 組作為驗(yàn)證集；訓(xùn)練中使用均方誤差作為損失函數(shù)，設(shè)置初始學(xué)習(xí)率為0.001。模型訓(xùn)練前500 次loss 下降明顯，1 000 次以后loss 趨向平緩，最終loss 降到0.3 左右，模型的性能有待進(jìn)一步的驗(yàn)證和優(yōu)化。

將識(shí)別模型部署到邊緣端，結(jié)合Jetson Nano 模塊、人機(jī)交互觸摸屏、攝像頭等，構(gòu)建手持式荔枝估產(chǎn)裝備，如圖9 所示。通過邊緣端采集圖像、進(jìn)行圖像推理與識(shí)別計(jì)算，實(shí)現(xiàn)快速的荔枝成熟度識(shí)別、荔枝個(gè)數(shù)統(tǒng)計(jì)以及產(chǎn)量預(yù)估等。

圖9 手持式荔枝估產(chǎn)儀結(jié)構(gòu)渲染圖

3 結(jié)語

本文主要描述了機(jī)器視覺結(jié)合目標(biāo)檢測，通過其輸出的結(jié)果搭建MLP 神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)荔枝的估產(chǎn)。數(shù)據(jù)采集方面，一方面通過機(jī)器視覺代替人工數(shù)果，實(shí)現(xiàn)荔枝果實(shí)數(shù)量的自動(dòng)識(shí)別獲??；另一方面，通過深度學(xué)習(xí)處理，自動(dòng)識(shí)別獲取樹高和樹寬。通過向陽面果實(shí)數(shù)量、其他3 面果實(shí)總數(shù)、大小年、樹高、樹寬、果實(shí)大小和樹齡7 個(gè)參數(shù)作為模型的輸入，搭建基于Py Torch 框架的多層感知機(jī)模型來訓(xùn)練荔枝估產(chǎn)模型，最終實(shí)現(xiàn)了荔枝的產(chǎn)量預(yù)測，為荔枝智慧化估產(chǎn)提供了新的實(shí)現(xiàn)路徑。但由于荔枝產(chǎn)量影響因素復(fù)雜多樣，還需要進(jìn)一步對(duì)估產(chǎn)結(jié)果進(jìn)行驗(yàn)證和估產(chǎn)模型優(yōu)化訓(xùn)練。