黃昊，謝圣橋，陳度，王恒

（1.中國農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083；2.中國農(nóng)業(yè)大學(xué)現(xiàn)代農(nóng)業(yè)裝備優(yōu)化設(shè)計北京市重點實驗室，北京 100083；3.洛陽智能農(nóng)業(yè)裝備研究院有限公司，河南洛陽 471934）

隨著人工智能的興起，各個傳統(tǒng)產(chǎn)業(yè)都在嘗試與其進(jìn)行結(jié)合，以實現(xiàn)產(chǎn)業(yè)的智能化升級與革新。我國的蘋果產(chǎn)業(yè)機械化和自動化生產(chǎn)水平不高，影響了產(chǎn)業(yè)的發(fā)展和市場競爭力，亟需探索人工智能技術(shù)的產(chǎn)業(yè)落地。

在人工智能領(lǐng)域中，深度學(xué)習(xí)是研究的熱點，其開端可以追溯到2006 年，Hinton 等[1]使用神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)降維研究。深度學(xué)習(xí)是由輸入層（input layer）、隱藏層（hidden layer）和輸出層（output layer）組成的多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，使用多階段非線性信息處理單元處理復(fù)雜的非線性問題，進(jìn)而實現(xiàn)特征學(xué)習(xí)和模式分類[2-3]。

深度學(xué)習(xí)的過程由推理階段和訓(xùn)練階段[4]組成。深度學(xué)習(xí)模型的每層節(jié)點（處理單元）都會連接到相鄰層的節(jié)點，每個連接都有相應(yīng)的權(quán)重值，輸入乘以權(quán)重后在節(jié)點處進(jìn)行求和，再將總和進(jìn)行非線性變換（激活函數(shù)）后得到輸出，經(jīng)過多次上述操作后實現(xiàn)對原始輸入的轉(zhuǎn)換或特征提取[5]，該過程為推理階段也叫前向傳播；訓(xùn)練階段基于推理階段，在大量標(biāo)注數(shù)據(jù)下通過反向傳播、損失函數(shù)與優(yōu)化器等共同作用實現(xiàn)參數(shù)的優(yōu)化[6]。

從2006 年發(fā)展至今，典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)、深度置信網(wǎng)絡(luò)（deep belief network，DBN）和堆棧自編碼網(wǎng)絡(luò)(stacked auto-encoder network)模型等[7]，對于蘋果產(chǎn)業(yè)鏈來說，將機器視覺與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合是深度學(xué)習(xí)在該領(lǐng)域的重要應(yīng)用，

VGG（visual geometry group）、FCN（fully convolutional networks）、YOLO（you only look once）和Faster R-CNN（region-convolutional neural network）等經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型在蘋果種植、采摘收獲和產(chǎn)后檢測中的應(yīng)用逐漸增多，也表明該技術(shù)與蘋果產(chǎn)業(yè)鏈具有較高契合度和研究價值。

本研究聚焦近幾年深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的應(yīng)用案例和研究進(jìn)展，對相關(guān)研究進(jìn)展進(jìn)行歸納總結(jié)，在蘋果種植階段著重于病害識別、果樹疏花、長勢監(jiān)測和品類識別方向的應(yīng)用；在采摘收獲階段著重于采摘機器人對果樹與果實的辨識應(yīng)用；在產(chǎn)后階段著重于基于顏色、大小和品質(zhì)無損檢測的應(yīng)用。

1 深度學(xué)習(xí)在蘋果種植階段中的應(yīng)用

蘋果種植階段是果園管理的核心階段，其管理方法的科學(xué)性、合理性與先進(jìn)性將對蘋果的品質(zhì)、產(chǎn)量和質(zhì)量具有最直接的影響，因此該階段也是深度學(xué)習(xí)發(fā)揮作用的最有價值的階段，由于深度學(xué)習(xí)強大的特征自動提取能力，其在病蟲害識別、果樹疏花、長勢監(jiān)測與品類識別中的研究和應(yīng)用相當(dāng)廣泛。

1.1 蘋果樹病蟲害的識別

蟲害對蘋果產(chǎn)量和質(zhì)量的影響巨大，因此，果樹病蟲害防治是蘋果在種植生產(chǎn)和果園管理過程中的重要工作，對于不同的病蟲害要采取不同的防治手段，蘋果果樹的病蟲害識別往往需要專業(yè)人士的幫助，但由于果園種植的人力成本限制，很少有蘋果園能配備專業(yè)的病蟲害防治專家。因此，運用深度學(xué)習(xí)對圖像深層信息的獲取能力，實現(xiàn)蘋果果樹病蟲害的自動化和智能化識別，已經(jīng)成為蘋果病蟲害防治領(lǐng)域技術(shù)發(fā)展的重要方向。

蘋果樹葉片狀態(tài)最能直觀反映蘋果樹病蟲害類別的性狀表征，通過葉片表征信息快速準(zhǔn)確地獲取蘋果樹病害類別將為蘋果病蟲害防治提供技術(shù)支持。但蘋果樹葉片的紋理形狀和病蟲害種類多樣，且不同種類的病蟲害又具有相似的葉部表征，故傳統(tǒng)的計算機視覺與識別算法在蘋果葉片病蟲害識別任務(wù)中的綜合性能相對不佳。

運用卷積神經(jīng)網(wǎng)絡(luò)對圖像深層抽象特征的自動提取能力，使得葉片病蟲害識別的精度和效率都有了顯著提高。卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層（input layer）、卷積層（convolutional layer）、池化層（pooling layer）和全連接層（fully connected layer）組成（圖1），通過卷積塊的堆疊實現(xiàn)對蘋果葉片圖像深層信息的提取，再通過全連接層整合卷積層或者池化層中具有類別區(qū)分性的局部信息，最終實現(xiàn)病蟲害的識別分類。

圖1 卷積神經(jīng)網(wǎng)絡(luò)Fig.1 Convolutional neural network structure

近年來，國內(nèi)外科研人員圍繞卷積神經(jīng)網(wǎng)絡(luò)識別蘋果葉片病蟲害開展了大量的研究工作。邸潔等[8]將Tiny-YOLO 運用于蘋果葉片病害的識別檢測中，將蘋果葉片病害識別檢測問題轉(zhuǎn)換成回歸問題，并在Darenet-19 的結(jié)構(gòu)基礎(chǔ)上優(yōu)化網(wǎng)絡(luò)模型結(jié)構(gòu)，使得葉片病害的識別速度和準(zhǔn)確率都得以提升。Francis 等[9]基于內(nèi)存大小與綜合性能的比較，提出一種由4個卷積層與2個全連接層組成的自建神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)小尺寸神經(jīng)網(wǎng)絡(luò)在葉片病害識別中具有較好的識別精度；Zheng等[10]采用窮舉試驗設(shè)計方法，進(jìn)一步分析索貝爾算子（Sobel operator）、數(shù)據(jù)增強、不同池化方法和不同網(wǎng)絡(luò)結(jié)構(gòu)（包含卷積核尺寸、特征圖數(shù)量和卷積層的深度）對蘋果葉片病害識別精度的影響，并通過對比實驗找到了合適的網(wǎng)絡(luò)用于葉片病害識別；Agarwal 等[11]針對蘋果葉片病害識別提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要由3個卷積層和3個最大池化層組成，其中還含有dropout 層用于防止過擬合，另外該模型的超參數(shù)由多次組合實驗比對得出，最終所得網(wǎng)絡(luò)模型性能優(yōu)于傳統(tǒng)機器學(xué)習(xí)模型和部分預(yù)訓(xùn)練的深度學(xué)習(xí)模型（VGG16、InceptionV3），并且該模型的參數(shù)和運行時間都明顯低于部分預(yù)訓(xùn)練模型。上述研究的重要共性是在葉片病害識別任務(wù)中對于低內(nèi)存與低延時的追求，高效能運算已逐漸成為該領(lǐng)域的研究重點。

在蘋果葉片病蟲害自動識別過程中發(fā)現(xiàn)，大多數(shù)葉片病蟲害的表征以葉片斑點的形式呈現(xiàn)，為了高效識別葉片病害，Son等[12]提出一種新的葉片病害斑點注意網(wǎng)絡(luò)（LSA-Net）用于葉片病害識別，如圖2 所示。該研究與以往的葉片病害區(qū)域分割不同，通過FS-SubNet（feature segmentation subnetwork，特征分割子網(wǎng)絡(luò)）和SAC-SubNet（spot-aware classification subnetwork，病害斑點區(qū)域分類子網(wǎng)絡(luò)）組成的LSA-Net 實現(xiàn)對蘋果葉片病害的高效準(zhǔn)確識別，F(xiàn)S-SubNet將輸入圖像分割成背景、葉片區(qū)域和病害斑點區(qū)域，由于引入了病害斑點注意機制，使得LSA-Net 的分割網(wǎng)絡(luò)可以專注于特定病害表征區(qū)域的特征提取。

圖2 用于蘋果葉片病害識別的葉部病害斑點注意網(wǎng)絡(luò)（LSA-Net）結(jié)構(gòu)Fig.2 Leaf spot attention network（LSA-Net）for apple leaf disease identification

遷移學(xué)習(xí)也是蘋果葉片病害識別的重要手段。Nagaraju 等[13]通過去除VGG16 最后1 層并添加1 個新的輸出層，得到微調(diào)后的VGG16 網(wǎng)絡(luò)用于葉片病害識別。得益于遷移學(xué)習(xí)的優(yōu)勢，使得該團隊所得網(wǎng)絡(luò)的訓(xùn)練參數(shù)相對于VGG16 減少了98.9%，從而減少了計算量，識別準(zhǔn)確率到達(dá)97.87%，這對于追求高效訓(xùn)練網(wǎng)絡(luò)以應(yīng)對模型訓(xùn)練計算力不足的場景具有參考價值；同樣采用VGG16 遷移學(xué)習(xí)，鮑文霞等[14]選擇在VGG16 網(wǎng)絡(luò)的瓶頸層后添加1 個選擇性核（selective kernel，SK）卷積模塊以提高多尺度特征提取的水平，并采用全局平均池化代替最大池化，以提高模型的收斂速度和抗過擬合能力。以上研究結(jié)果表明，運用遷移學(xué)習(xí)解決蘋果葉片病害識別問題的范式思路是在有先驗知識的神經(jīng)網(wǎng)絡(luò)后部進(jìn)行結(jié)構(gòu)優(yōu)化，以提升現(xiàn)有網(wǎng)絡(luò)對特定問題的處理能力。

1.2 蘋果樹疏花中的應(yīng)用

蘋果樹的花果管理對于控制果樹產(chǎn)量、保障果品質(zhì)量具有重要作用，在疏花過程中運用深度學(xué)習(xí)實現(xiàn)目標(biāo)花朵的識別與定位是該研究領(lǐng)域的熱點。Wang等[15]在FCN8s的基礎(chǔ)上提出了FCNs-Edge的全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional network，簡稱FCN），通過將另外2 個池化層與反卷積層組合，以及添加邊緣類的方式提高網(wǎng)絡(luò)的綜合性能，將包含更多局部特征和低維度特征的池化層和反卷積層相連接能夠強化對目標(biāo)邊緣的檢測，因此所提出的FCNs-Edge 網(wǎng)絡(luò)無論是在白天還是夜晚，其模型的預(yù)測精度和召回率都明顯提升；Bhattarai 等[16]運用Mask R-CNN 實現(xiàn)蘋果花朵的分割，并開展了不同數(shù)據(jù)強化方案對目標(biāo)檢測影響效果的對比研究。上述研究重心都在蘋果花朵的目標(biāo)檢測上，這也是該研究領(lǐng)域的主流方向，但蘋果樹的疏花難點在于疏花策略的自動化生成，這將成為深度學(xué)習(xí)在蘋果樹疏花領(lǐng)域的新方向。

1.3 蘋果樹長勢監(jiān)測中的應(yīng)用

在種植過程中，對蘋果樹體及果實的生長狀態(tài)進(jìn)行自動監(jiān)測是智能化果園生產(chǎn)及果樹管理的重要基礎(chǔ)，將為果園的水-肥-藥管理、果樹修剪、產(chǎn)量預(yù)估等提供支撐。

果實監(jiān)測是深度學(xué)習(xí)在種植監(jiān)測中的主要應(yīng)用。例如Mazzia 等[17]在Raspberry Pi 3 B+上部署YOLOv3-tiny 的果實長勢檢測模型用于蘋果種植監(jiān)測系統(tǒng)的嵌入式硬件開發(fā)，為保障硬件的運算性能，該團隊采用Intel Movidius Neural Computing Stick (NCS)、Nvidia 的Jetson Nano 和Jetson AGX Xavier 為該硬件提供邊緣算力支持，并且比較各種設(shè)備之間的綜合性能差異，值得一提的是該團隊對用于蘋果檢測的YOLOv3-tiny 進(jìn)行了針對性優(yōu)化，選取了合適的網(wǎng)格尺寸，優(yōu)化了小目標(biāo)檢測的性能，整個研究對于小功耗下的蘋果目標(biāo)檢測的邊緣計算具有參考價值；Wang 等[18]基于深度學(xué)習(xí)邊緣檢測網(wǎng)絡(luò)開發(fā)了果園蘋果生長監(jiān)測系統(tǒng)，用于整個生長期內(nèi)的蘋果大小尺寸遠(yuǎn)程監(jiān)測，該團隊在ResNet-50 的基礎(chǔ)上融合了多段其所提出的融合卷積特征（fused convolutional features，F(xiàn)CF）來實現(xiàn)蘋果邊緣檢測，此外為了實現(xiàn)對蘋果尺寸大小的視覺度量，該團隊使用區(qū)域生長的方法進(jìn)行蘋果與校準(zhǔn)球的分割，整項研究對于去除復(fù)雜背景檢測蘋果生長的分割具有參考價值。

在蘋果種植中除了果實監(jiān)測外，樹體監(jiān)測也是重要方向，其中對于被遮擋部分的果樹分割一直都是該方向的難題之一。Chen 等[19]就遮擋的果樹分割問題提出了遮擋難度指數(shù)（occlusion difficulty index）和深度難度指數(shù)（depth difficulty index），并運用于U-Net 和DeepLabv3 這兩種流行的語義分割模型、原始的Pix2Pix（生成式對抗網(wǎng)絡(luò)，GAN）和優(yōu)化后的Pix2Pix 之間的對比性研究，結(jié)果表明在有遮擋的蘋果樹體分割任務(wù)中，傳統(tǒng)的用于無遮擋分割任務(wù)中的評價指標(biāo)不能準(zhǔn)確反映模型的性能。

1.4 蘋果種類識別中的應(yīng)用

隨著育種技術(shù)的進(jìn)步與分子生物技術(shù)的發(fā)展，蘋果種類繁多，能夠快速準(zhǔn)確地識別出蘋果種類對于蘋果種植的精確管理具有重要意義。Liu等[20]提出了一種以蘋果葉片圖像為輸入的深度卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了對14 種蘋果種類的自動識別，平均識別準(zhǔn)確率可達(dá)97.11%。從該研究的對比實驗中可以看出，深度學(xué)習(xí)在蘋果品類識別任務(wù)中具有明顯優(yōu)勢，相比于傳統(tǒng)的機器學(xué)習(xí)，其提出的卷積神經(jīng)網(wǎng)絡(luò)在該任務(wù)上具有較高的泛化精度、穩(wěn)定的收斂性和良好的特異性。

蘋果種類識別的另一大輸入類型為果實圖像輸入。例如，為了實現(xiàn)對紅富士、國光、紅元帥、黃元帥、嘎啦和青蘋果6 種蘋果的種類識別，Li 等[21]提出了一種由7 個卷積層、3 個最大池化層和2 個全連接層組成的淺層卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)了在無遮擋下92%左右的識別準(zhǔn)確度。此外，在自然環(huán)境中存在樹葉和樹枝遮擋、蘋果表面腐爛或被其他蘋果遮擋等復(fù)雜情況，該研究引入分塊投票法以提升模型的識別精度和泛化能力，并在不同程度的遮擋實驗中取得了較好的效果。在與SVM、ResNet-18 和ResNet-50 等方法的對比實驗中發(fā)現(xiàn)：上述蘋果種類識別任務(wù)中ResNet-18的性能優(yōu)于SVM，這說明深度學(xué)習(xí)的深層信息提取能力在圖像識別任務(wù)中相對于機器學(xué)習(xí)有一定優(yōu)勢；但ResNet-50 的性能卻低于SVM，這證明當(dāng)數(shù)據(jù)集的樣本量遠(yuǎn)小于深度學(xué)習(xí)模型的學(xué)習(xí)能力時必然發(fā)生過擬合；所提出的淺層卷積神經(jīng)網(wǎng)絡(luò)明顯優(yōu)于所有對照模型，研究結(jié)果表明在特定任務(wù)中降低深度學(xué)習(xí)模型的復(fù)雜度依然可以有效保障模型性能。

張力超等[22]基于LeNet-5 提出了一種以果實圖像為輸入的改進(jìn)神經(jīng)網(wǎng)絡(luò)模型，以實現(xiàn)對紅富士和紅元帥這些具有相似外觀的蘋果種類識別。如圖3 所示，改進(jìn)神經(jīng)網(wǎng)絡(luò)模型在原始LeNet-5 的全連接層之前添加了展平層（flatten）用于數(shù)據(jù)的降維；將全連接層的激活函數(shù)由Sigmoid 換成了LeakyReLU,以防止反向傳播時的梯度消失以及神經(jīng)元出現(xiàn)“凋亡”的情況；在全連接層之后添加Dropout層緩解模型的過擬合以便增強泛化能力。在與SVM+HOG 和SVM+G 的對比實驗中發(fā)現(xiàn)，提出模型的識別平均準(zhǔn)確率和平均總耗時都顯著優(yōu)于SVM方法。

圖3 LeNet-5模型的改進(jìn)前后對比Fig.3 Comparison before and after improvement of LeNet-5

2 深度學(xué)習(xí)在蘋果采摘收獲中的應(yīng)用

對果實進(jìn)行精準(zhǔn)、快速的識別是實現(xiàn)蘋果自動化采摘的關(guān)鍵技術(shù)之一。由于自然環(huán)境下蘋果果實辨識與定位受枝葉遮擋、光照強度以及高斯噪聲的影響，使得蘋果果實的自動化識別具有較大的難度[23]。

傳統(tǒng)果實檢測主要是依據(jù)果實的顏色、紋理和形狀等特征。馮娟等[24]采用隨機圓法和（RG）∕（R+G）顏色特征對230 幅蘋果圖像進(jìn)行測試，識別準(zhǔn)確率達(dá)92%。宋懷波等[25]利用K-means 聚類算法對蘋果圖像進(jìn)行分割，進(jìn)而獲得果實邊緣信息，實現(xiàn)果實目標(biāo)的識別。劉曉洋等[26]利用改進(jìn)的R-G 色差分割算法對70 幅蘋果圖像進(jìn)行測試，識別準(zhǔn)確率達(dá)83.7%。孫颯爽[27]利用流形排序法解決了在相似背景中青蘋果識別困難的問題，測試了120 幅青蘋果圖像，識別準(zhǔn)確率達(dá)90.8%。傳統(tǒng)果實檢測方法受自然環(huán)境下天氣、光照強度和背景遮擋等因素的影響，難以具有通用性。

基于深度學(xué)習(xí)的蘋果識別能自動提取果實的特征參數(shù)，從而避免了傳統(tǒng)識別算法中復(fù)雜特征和數(shù)據(jù)的提取，目標(biāo)識別的速度快、精度高，應(yīng)用場景廣闊。張亞靜等[28]采用RGB顏色特征輸入神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，利用包含1 506個蘋果的圖像對模型進(jìn)行了測試，識別準(zhǔn)確率達(dá)86.7%。王津京等[29]將SVM 用于蘋果果實顏色和形狀等特征的訓(xùn)練，把采集的特征信息輸入到由支持向量機構(gòu)成的分類器中，代替CNN中的softmax層，通過200幅圖像的驗證性試驗測試，識別準(zhǔn)確率可以達(dá)到93.3%。以上研究表明，使用SVM 分類器和CNN 融合的模型比單獨使用K-最鄰近算法的識別準(zhǔn)確率高，可應(yīng)用于采摘機器人作業(yè)過程中對果實目標(biāo)的識別。

Faster R-CNN 方法可以依賴不同的CNN 架構(gòu)實現(xiàn)快速的目標(biāo)檢測，因而在蘋果收獲采摘過程中受到廣泛關(guān)注，例如Gené-Mola等[30]采用多模態(tài)Faster R-CNN 進(jìn)行蘋果的檢測，并在其所提出的KFuji RGB-DS 數(shù)據(jù)庫（其中包含了真實果園中富士蘋果的多模態(tài)圖像）上進(jìn)行評估實驗，結(jié)果表明，使用色彩與深度感知攝像頭作為果實識別的傳感器，能夠額外獲取被檢測目標(biāo)的空間距離，在多模態(tài)Faster R-CNN 果實識別中提升準(zhǔn)確率，但該方法的主要限制是深度傳感器的距離檢測精度受光照強度影響較大；Lfabc 等[31]采用3D 體感攝像頭Kinect V2 構(gòu)建采摘機器人的室外機器視覺系統(tǒng)，并使用2 種基于Faster R-CNN 架構(gòu)的ZFNet（Zeiler&Fergus Net）和VGG16 來進(jìn)行對比實驗，結(jié)果表明，VGG16 在給定數(shù)據(jù)集下的識別準(zhǔn)確率更高，并且通過結(jié)合景深信息來去除不需要的背景（包括目標(biāo)果樹旁其他果樹上的樹葉和果實）能夠提升2.5%的蘋果識別準(zhǔn)確率；Chu 等[32]提出了名為Suppression Mask R-CNN 的新型蘋果檢測模型，通過在標(biāo)準(zhǔn)的Mask R-CNN 中添加用來抑制網(wǎng)絡(luò)生成非蘋果特征的抑制分支來提升網(wǎng)絡(luò)的檢測精度，在嘎拉和Blondee蘋果的綜合果園數(shù)據(jù)集上進(jìn)行實驗發(fā)現(xiàn)，該方法的檢測準(zhǔn)確率高達(dá)88%，明顯高于YOLO v3、Faster R-CNN 和Mask R-CNN等早期的目標(biāo)檢測模型。

雖然Faster R-CNN 是蘋果目標(biāo)檢測中的主流算法之一[33]，但在較看重實時性的蘋果采摘收獲過程中，YOLO 和SSD 等運行效率更高的深度學(xué)習(xí)算法逐漸在該領(lǐng)域興起。例如Kuznetsova 等[34]使用YOLOv3 算法開發(fā)了一種用于蘋果采摘收獲機器人上的計算機視覺系統(tǒng)，通過增強對比度、采用中值濾波器進(jìn)行輕微模糊、加厚檢測邊緣等預(yù)處理方法來減輕陰影、眩光、蘋果輕微損害和薄樹枝重疊蘋果對YOLOv3 果實檢測的負(fù)面影響，同時采用黃色像素[RGB 值為（248，228，115）]替代在圖像上呈現(xiàn)棕色陰影[RGB值從(70,30,0)到(255,1 540,0)]的蘋果上斑點、花被和細(xì)枝條的后處理方法來提升的果實識別準(zhǔn)確率，通過上述的預(yù)處理和后處理方法能使YOLOv3 的蘋果識別準(zhǔn)確率達(dá)到92%以上；武星等[35]設(shè)計的Tiny-yolo網(wǎng)絡(luò)，用輸入和優(yōu)化策略對蘋果進(jìn)行識別，精簡了網(wǎng)絡(luò)結(jié)構(gòu)，提升了蘋果識別的精確度和速度；彭紅星等[36]以蘋果為研究目標(biāo)，將ResNet-101 網(wǎng)絡(luò)作為SSD的目標(biāo)特征提取網(wǎng)絡(luò)，并用遷移學(xué)習(xí)微調(diào)SSD 模型，采用梯度下降法進(jìn)行模型訓(xùn)練，辨識率為95.2%，檢測速度為0.125 s·幅-1，取得了較高的識別精度和較快的識別速度。

3 深度學(xué)習(xí)在蘋果產(chǎn)后無損檢測中的應(yīng)用

產(chǎn)后無損檢測屬于蘋果產(chǎn)業(yè)鏈中的采后處理，隨著蘋果產(chǎn)量的逐年升高，實現(xiàn)大規(guī)模、自動化、高準(zhǔn)確度的蘋果品質(zhì)檢測和質(zhì)量篩選是亟需解決的問題。深度學(xué)習(xí)在蘋果外部品質(zhì)檢測和內(nèi)部質(zhì)量篩選中的應(yīng)用，有望加快蘋果自動化分級的進(jìn)程。

3.1 外部品質(zhì)檢測中的應(yīng)用

由GB∕T10651—2008中鮮蘋果質(zhì)量等級（表1）要求可知[37]，基于外部品質(zhì)檢測的蘋果產(chǎn)后分級指標(biāo)主要包括蘋果顏色、大小和完整度等。

表1 鮮蘋果質(zhì)量等級要求［37］Table 1 Fresh apple quality grade requirements［37］

何進(jìn)榮等[38]用DXNet 模型對紅富士蘋果顏色、大小和果形等外觀品質(zhì)進(jìn)行分級，與VGG16、Xception、ResNet50、DenseNet121、Inception_V3 進(jìn)行比較發(fā)現(xiàn)該模型的性能較優(yōu)，準(zhǔn)確率可以達(dá)到97.84%。薛勇等[39]用GoogLeNet 對蘋果進(jìn)行表面缺陷檢測，并與AleNet 和LeNet-5 網(wǎng)絡(luò)進(jìn)行對比，識別準(zhǔn)確率最高，為91.91%，實現(xiàn)了小樣本數(shù)據(jù)訓(xùn)練獲得較好的分類模型。Fan 等[40]使用4 層的卷積神經(jīng)網(wǎng)絡(luò)在蘋果分揀機（每秒5 個蘋果的速度）上實現(xiàn)了蘋果外部缺陷的檢測，識別準(zhǔn)確率能達(dá)到96.5%，且在每6 張?zhí)O果圖像72 ms 處理時間下的驗證實驗中也能達(dá)到92%的識別準(zhǔn)確率；Ohali 等[41]利用VGG16 特征提取模型對蘋果按顏色、紋理等特征，將蘋果分為3 個等級（1,2,3），系統(tǒng)的識別準(zhǔn)確率為84.6%。Sofu等[42]利用MobileNet模型設(shè)計的蘋果檢測系統(tǒng)對3 個不同品種的蘋果同時進(jìn)行檢測分級，以重量、大小和顏色為特征將蘋果劃分為不同類別，用238 個樣品進(jìn)行檢測，分類準(zhǔn)確率達(dá)到96.8%。

王立揚等[43]利用改進(jìn)LeNet-5 對蘋果按照顏色、形狀及大小等指標(biāo)進(jìn)行分級，識別精確度達(dá)98.37%，并將模型移植到分級系統(tǒng)中，在實際應(yīng)用中取得了良好的進(jìn)展。石瑞瑤[44]用最小外接矩形法計算蘋果大小，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)對蘋果大小進(jìn)行分級，準(zhǔn)確率為89.75%。凌強[45]利用RGB模型進(jìn)行蘋果顏色分選，用最小外接圓法對蘋果進(jìn)行大小分選，識別準(zhǔn)確率為91.32%；用CNN 對蘋果缺陷進(jìn)行識別，準(zhǔn)確率為96.89%，取得了較好的效果。

3.2 內(nèi)部質(zhì)量篩選中的應(yīng)用

由GB∕T 10651—2008 中蘋果主要品種的理化指標(biāo)參考值（表2）可知[37]，不同品種的蘋果其果實硬度和可溶性固形物含量（soluble solid content，SSC）都有不同的推薦范圍，即該品種蘋果成熟時應(yīng)符合的基本內(nèi)在質(zhì)量要求，因此對收獲后的蘋果進(jìn)行內(nèi)部質(zhì)量的篩選主要是對蘋果的粉質(zhì)化、糖度和其他SSC進(jìn)行檢測，基于人工品嘗和破壞性儀器測量的傳統(tǒng)內(nèi)部篩選方法不能滿足蘋果產(chǎn)后無損檢測和果品快速分級的需求[46]，而現(xiàn)階段較為成熟的光譜分析、電特性檢測、CT(computed tomography)和電子嗅覺傳感器檢測等無損檢測方法雖然在蘋果內(nèi)部質(zhì)量篩選中取得了廣泛的運用，但模型建立過程復(fù)雜且繁瑣、檢測設(shè)備昂貴、針對性差等問題依然存在[47]，因此深度學(xué)習(xí)技術(shù)的引入將成為該領(lǐng)域的研究熱點。

Lashgari 等[48]提出采用聲波傳感技術(shù)與深度學(xué)習(xí)相結(jié)合的方式進(jìn)行蘋果粉質(zhì)化檢測，在該研究中，實驗人員以塑料球作為沖擊裝置產(chǎn)生聲波，并使用BSWA 設(shè)備記錄穿過樣本蘋果的聲波信號，之后利用短時傅里葉變換（short time Fourier transform，STFT）將每個聲波沖擊信號轉(zhuǎn)換為具有紋理的頻普圖像來獲取數(shù)據(jù)集，需要說明的是，該研究使用的蘋果樣本是在室溫（21 ℃）、低溫（6 ℃）和儲藏時間的組合條件下產(chǎn)生的，即通過不同溫度和不同儲藏時間的組合誘導(dǎo)不同程度的蘋果粉質(zhì)化。最后在預(yù)訓(xùn)練的AlexNet 和VGGNet 上進(jìn)行模型微調(diào)，結(jié)果表明，上述2 種網(wǎng)絡(luò)在該方法下區(qū)分蘋果粉質(zhì)化和非粉質(zhì)化的準(zhǔn)確率能夠分別達(dá)到91.11%和86.94%，并且AlexNet 的識別速度更快，該研究證明了在蘋果粉質(zhì)化檢測中聲學(xué)信號與深度學(xué)習(xí)相結(jié)合的可行性。

Bai 等[49]基于光譜指紋特征和深度學(xué)習(xí)成功地建立了具有良好可靠性和準(zhǔn)確性的蘋果SSC多元預(yù)測模型并準(zhǔn)確檢測了多個產(chǎn)地的蘋果SSC。該團隊以光譜指紋特征作為輸入，通過深度學(xué)習(xí)識別蘋果的種類和產(chǎn)地并用其搜索專屬單源SSC檢測模型，最終實現(xiàn)蘋果多元SSC檢測模型的性能提升，與單源和雜交源模型相比，多元模型具有更穩(wěn)定且準(zhǔn)確的檢測性能，其原因在于該模型結(jié)合了種類和產(chǎn)地識別，以至于其能夠抵抗蘋果產(chǎn)地變化時對SSC檢測產(chǎn)生的干擾。

除了上述單一指標(biāo)內(nèi)部檢測外，蘋果糖度和硬度的同時檢測也逐漸興起，例如徐煥良等[50]提出一種基于光子傳輸模擬的蘋果品質(zhì)檢測方法。該團隊為了解決樣本數(shù)量不足且較難獲取的問題，采用蒙特卡洛方法獲取2 萬張面光源下的蘋果表面光亮度分布圖，并用其作為樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行預(yù)訓(xùn)練，再以少量實測光譜蘋果圖像為樣本使用遷移學(xué)習(xí)進(jìn)行模型微調(diào)，最終實現(xiàn)光譜信息和光學(xué)參數(shù)信息的結(jié)合預(yù)測。結(jié)果表明，該方法對蘋果糖度和硬度的檢測準(zhǔn)確率為92.22%和86.97%，都明顯高于高光譜數(shù)據(jù)和光學(xué)參數(shù)數(shù)據(jù)的品種檢測模型，也略高于通過遷移學(xué)習(xí)得到的點光源條件下的模型。

4 深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中存在的問題與發(fā)展建議

本文以蘋果產(chǎn)業(yè)鏈中的果樹種植、收獲采摘和產(chǎn)后檢測3 個關(guān)鍵時期為主線，將近幾年深度學(xué)習(xí)在該領(lǐng)域的研究進(jìn)行分類總結(jié)，并著重介紹了蘋果葉片病害識別、果實與樹體長勢監(jiān)測、果實內(nèi)外部無損檢測等相關(guān)方向的成功案例，但該領(lǐng)域的研究仍然面臨著困難和挑戰(zhàn)。

4.1 深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的困難和挑戰(zhàn)

專業(yè)樣本數(shù)據(jù)集較少且獲取難度大。深度學(xué)習(xí)對數(shù)據(jù)具有“貪婪性”[51]，需要大量標(biāo)注良好的數(shù)據(jù)集作為樣本進(jìn)行訓(xùn)練，在蘋果種植過程中獲取樣本的周期較長，且在蘋果的生長周期內(nèi)不一定能夠獲取完整的數(shù)據(jù)集，以葉片病害為例，同一果園內(nèi)難以完整采集系統(tǒng)性的病害樣本，故要實現(xiàn)較多種類病害樣本的采集就需要在同一地區(qū)的多片果園進(jìn)行多年的圖片采集，并且同種病害在不同階段或不同品種上也會表現(xiàn)不同特征，從而提升樣本標(biāo)簽化的難度，這些都將使深度學(xué)習(xí)在該領(lǐng)域的研究與應(yīng)用成本陡升。

算法精度、計算開銷與模型尺寸之間具有不易調(diào)和性。為了提高模型的識別精度和魯棒性，需要模型算法能獲取樣本更多的深層信息和局部空間信息，實現(xiàn)樣本向高緯度抽象性信息更有效的映射，這將增加深度學(xué)習(xí)算法模型的復(fù)雜程度，使權(quán)重矩陣變大，最直觀的感受是模型的尺寸變大和模型預(yù)測的召回時間增長。在計算資源有限并且注重響應(yīng)時間的邊緣場景中，尋找到算法精度與模型尺寸之間的平衡點或者探索合適的模型壓縮方法都是極具挑戰(zhàn)性的任務(wù)。

4.2 深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的發(fā)展建議

面對數(shù)據(jù)集構(gòu)建難度大、構(gòu)建周期長的問題，可以從以下3 個方面探討解決思路：一是需要高校與研究機構(gòu)牽頭，組建公共的、開源的大型蘋果果園數(shù)據(jù)集，彌補各研究團隊在數(shù)據(jù)集構(gòu)建上的資源不足或不均的問題；二是優(yōu)化樣本預(yù)處理方案，對獲取的樣本進(jìn)行合適的預(yù)處理，減小樣本噪聲、突出樣本的特性，使所用樣本具有良好的特征代表性；三是探索合理且有效的數(shù)據(jù)增廣策略，實現(xiàn)在從有限的數(shù)據(jù)中提煉出更多有用的信息從而產(chǎn)生等價于更多數(shù)據(jù)的價值[52]。

對于大模型的使用，可以考慮壓縮模型尺寸和增大邊緣計算能力的2 條研究路線：一是可以考慮模型剪枝、知識蒸餾、網(wǎng)絡(luò)量化等模型壓縮與計算加速策略[53-54]，實現(xiàn)在精度影響可接受范圍內(nèi)（或模型壓縮后再微調(diào)網(wǎng)絡(luò)）的模型尺寸優(yōu)化，從而減小計算開銷；二是可以考慮匹配合適邊緣計算能力，例如NVIDIA的Jetson系列、Intel 的Movidius Myriad X 等先進(jìn)的邊緣算力，可以為不同尺寸的模型部署提供合適的選擇。

5 展望

深度學(xué)習(xí)在圖像領(lǐng)域取的成功使得研究者們熱衷于用其解決各行各業(yè)中的難題，盡管現(xiàn)階段深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的優(yōu)勢與挑戰(zhàn)共存，但這并不妨礙深度學(xué)習(xí)在該領(lǐng)域會取得進(jìn)一步的發(fā)展，因此，作如下展望。

①將深度學(xué)習(xí)運用于更多的蘋果產(chǎn)業(yè)鏈環(huán)節(jié)中。現(xiàn)階段的深度學(xué)習(xí)主要集中在果樹種植、采摘收獲和產(chǎn)后檢測中，未來應(yīng)該繼續(xù)探索在木苗繁育、果汁加工和銷售運輸中的深度學(xué)習(xí)應(yīng)用，最終實現(xiàn)蘋果全產(chǎn)業(yè)鏈的深度學(xué)習(xí)應(yīng)用落地。

②多信息融合促進(jìn)模型綜合能力提升。目前深度學(xué)習(xí)多以機器視覺為載體，未來的研究應(yīng)采用更加多元的信息進(jìn)行融合，例如機器嗅覺、機器觸覺以及天氣信息等，數(shù)據(jù)種類的增多固然會提高模型的訓(xùn)練難度，但多源信息的融合會使深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈的應(yīng)用中創(chuàng)造更多的可能性，使得深度學(xué)習(xí)對于該行業(yè)的技術(shù)革新產(chǎn)生更大助力。

③完整數(shù)據(jù)鏈推動果園的智慧化管理。之前的研究多注重于單一領(lǐng)域或單一階段，未能聚焦蘋果產(chǎn)業(yè)鏈的全數(shù)據(jù)，若能嘗試將深度學(xué)習(xí)運用于全數(shù)據(jù)鏈（例如蘋果從木苗選育到蘋果銷售之間的所有數(shù)據(jù)），這將對蘋果果園的智慧管理產(chǎn)生重大影響。