田有文，吳 偉，盧時鉛，鄧寒冰

（1.沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，遼寧 沈陽 110866；2.遼寧省農(nóng)業(yè)信息化工程技術(shù)研究中心，遼寧 沈陽 110866）

隨著社會進(jìn)步與發(fā)展，人們對生活品質(zhì)的要求也逐漸提高，尤其飲食中水果品質(zhì)是消費者十分關(guān)注的問題。水果在生產(chǎn)、銷售、運輸過程中其品質(zhì)可能都會受到影響。為此，將水果交付市場和消費者之前，銷售者需要對水果的品質(zhì)進(jìn)行檢測[1]。在生產(chǎn)時，需要對遭受病害等方面的水果進(jìn)行分類分揀；在運輸方面，水果易造成的機械損傷，需要對損傷水果進(jìn)行分類分揀；在銷售時，需要根據(jù)水果糖度、成熟度、大小、外觀缺陷等指標(biāo)進(jìn)行分級銷售等。按照以上指標(biāo)，對采摘后的水果品質(zhì)進(jìn)行快速精確的檢測，分揀出質(zhì)量不合格的果實，并將質(zhì)量合格的果實進(jìn)行分級銷售，可以提高在售水果的品質(zhì)，減少水果的安全質(zhì)量問題。因此水果的品質(zhì)檢測與分級分類對保障人們健康生活起到重要的作用，同時也可提升食品工業(yè)的經(jīng)濟效益，目前其已成為食品科學(xué)領(lǐng)域的熱點研究問題。

以往的水果品質(zhì)檢測與分類大多依靠人工操作，浪費人力資源且效率低下。由于大多數(shù)水果品質(zhì)都可以通過RGB圖像、高光譜圖像等直觀反映出其大部分特征，從而被檢測與識別。因此現(xiàn)代光學(xué)成像技術(shù)（如計算機視覺、光譜成像等）廣泛應(yīng)用于水果品質(zhì)自動無損檢測與分級分類。這些技術(shù)可以獲取大量與水果特性相關(guān)的數(shù)字信息。如何處理如此大量的數(shù)據(jù)并從中提取有用的特征并建立有效的模型是一個迫切而重要的問題。為此研究者們開發(fā)了許多特征提取方法（如主成分分析（principal component analysis，PCA）算法[2]、連續(xù)投影（successive projections algorithm，SPA）算法[3]、競爭性自適應(yīng)重加權(quán)（competitive adaptive reweighting sampling，CARS）算法[4]、小波變換（wavelet transform，WT）[5]、獨立成分分析[6]等）和數(shù)據(jù)分析方法（如偏最小二乘法[7]、人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）[8]、支持向量機（support vector machine，SVM）[9]、隨機森林[10]，k-最近鄰（k-nearest neighbor，KNN）[11]等）來解決數(shù)據(jù)處理問題，但是這些傳統(tǒng)方法在處理大量的水果數(shù)據(jù)時存在計算耗時較長、準(zhǔn)確率較低等問題。

近些年來深度學(xué)習(xí)作為機器學(xué)習(xí)的重要分支，因在數(shù)據(jù)處理方面呈現(xiàn)出了顯著的優(yōu)勢而飛速發(fā)展。它通過對模型進(jìn)行預(yù)訓(xùn)練，自動提取并不斷優(yōu)化特征，可快速處理大量數(shù)據(jù)，擁有更好的性能和更高的精度。因此，深度學(xué)習(xí)越來越受到遙感監(jiān)測[12]、農(nóng)作物病害識別[13]、農(nóng)產(chǎn)品在線識別[14]、農(nóng)產(chǎn)品品質(zhì)分級[15]等農(nóng)業(yè)各個領(lǐng)域的研究學(xué)者關(guān)注，尤其一些研究者通過深度學(xué)習(xí)技術(shù)分析水果的RGB圖像和光譜圖像等而實現(xiàn)水果品質(zhì)檢測與分級分類，并取得了一系列的重要研究進(jìn)展。本文旨在梳理水果外部品質(zhì)檢測、內(nèi)部品質(zhì)檢測、安全品質(zhì)檢測和分級分類等方面深度學(xué)習(xí)技術(shù)的最新研究進(jìn)展，以期為此領(lǐng)域的研究者和工作者提供一些參考。

1 深度學(xué)習(xí)簡介

深度學(xué)習(xí)是基于多層神經(jīng)網(wǎng)絡(luò)的規(guī)則自學(xué)習(xí)方法，可以對海量數(shù)據(jù)進(jìn)行訓(xùn)練。深度學(xué)習(xí)通過對大量數(shù)據(jù)的特征學(xué)習(xí)總結(jié)出數(shù)據(jù)特征中的高級抽象規(guī)律，以服務(wù)不同領(lǐng)域的應(yīng)用需求[16]。其模型具有高度分層結(jié)構(gòu)和較強的自動學(xué)習(xí)能力，因此能夠特別好地執(zhí)行檢測、分級和識別分類操作，靈活且適用于各種各樣的復(fù)雜數(shù)據(jù)分析問題的挑戰(zhàn)。目前在處理基于圖像與數(shù)據(jù)的眾多應(yīng)用中，深度學(xué)習(xí)已經(jīng)十分流行。

1.1 深度學(xué)習(xí)發(fā)展歷程及特點

20世紀(jì)80年代的神經(jīng)網(wǎng)絡(luò)第二次發(fā)展熱潮時期，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[17]、長短期記憶網(wǎng)絡(luò)（long and short-term memory，LSTM）模型[18]獲得了快速發(fā)展。2006年，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念[19]。2012年，在ImageNet圖像識別大賽中，杰弗里·辛頓團(tuán)隊的深度學(xué)習(xí)模型AlexNet一舉奪冠，將錯誤率降低至16%[20]，至此開啟了基于深度學(xué)習(xí)的人工智能繁榮新時代。隨后研究者們對其深度學(xué)習(xí)模型不斷改進(jìn)，以降低分類錯誤率。2015年，LeCun等[21]明確了深度學(xué)習(xí)的定義，指出深度學(xué)習(xí)是一種更復(fù)雜的特征表示學(xué)習(xí)，具有多個級別的表示，它通過組合簡單但非線性的模塊獲得，每個模塊將一個級別的表示（從原始輸入開始）轉(zhuǎn)換為更高、更抽象的表示；有了足夠多的這種變換的組合，就可以學(xué)習(xí)非常復(fù)雜的模式。

深度學(xué)習(xí)的遷移學(xué)習(xí)能力極高，因此預(yù)訓(xùn)練好的深度學(xué)習(xí)模型可以對較小的數(shù)據(jù)集實現(xiàn)精確的遷移學(xué)習(xí)。深度學(xué)習(xí)在處理圖像問題時的優(yōu)點是減少了對特征工程（feature engineering，F(xiàn)E）的需求。深度學(xué)習(xí)出現(xiàn)之前，傳統(tǒng)的圖像分類方法都是基于人工設(shè)計的特征，性能嚴(yán)重影響整體結(jié)果。FE是一個十分復(fù)雜且耗時的過程，每當(dāng)目標(biāo)問題或使用的數(shù)據(jù)集發(fā)生更改時，F(xiàn)E都需要重新做出調(diào)整。另外相對于機器學(xué)習(xí)來說，深度學(xué)習(xí)的測試速度比基于機器學(xué)習(xí)的方法快很多[22]。但深度學(xué)習(xí)對計算機硬件、數(shù)據(jù)集的要求較高。當(dāng)計算機硬件水平較差時，計算速度會大幅下降。

1.2 深度學(xué)習(xí)的主流方法

目前典型的深度學(xué)習(xí)算法主要有深度玻爾茲曼機[23]、自動編碼器[24]、CNN[25]等。各種算法的組成結(jié)構(gòu)與特點如表1所示，這些典型算法經(jīng)過不斷的優(yōu)化與發(fā)展，衍生出了更多的算法。

表1 深度學(xué)習(xí)主流算法Table1 Mainstream deep learning algorithms

深度玻爾茲曼機是一個隨機神經(jīng)網(wǎng)絡(luò)（即當(dāng)網(wǎng)絡(luò)的神經(jīng)元節(jié)點被激活時會有隨機行為，隨機取值），包含一層可視層和一層隱藏層，同層中的神經(jīng)元相互獨立，不同層神經(jīng)元相互連接（雙向）。深度玻爾茲曼機是以受限玻爾茲曼機為原型進(jìn)行層數(shù)加深的一種深度學(xué)習(xí)模型。深度玻爾茲曼機由多層受限玻爾茲曼機疊加而成，不同于DBN，深度玻爾茲曼機的中間層與相鄰層是雙向連接的。受限玻爾茲曼機借鑒了模擬退火的思想，定義一個網(wǎng)絡(luò)溫度以模仿退火溫度，將網(wǎng)絡(luò)能量作為欲優(yōu)化的函數(shù)，網(wǎng)絡(luò)中的神經(jīng)元只有0與1兩種輸出狀態(tài)，輸出概率的取值以概率統(tǒng)計的規(guī)則決定。但是此類網(wǎng)絡(luò)的算法復(fù)雜性太高，在大規(guī)模學(xué)習(xí)的問題上應(yīng)用起來比較困難，所以在水果檢測領(lǐng)域的應(yīng)用明顯少于CNN。

自動編碼器是一種自監(jiān)督的神經(jīng)網(wǎng)絡(luò)模型，它可以學(xué)習(xí)到輸入數(shù)據(jù)的隱含特征，稱為編碼，同時用學(xué)習(xí)到的新特征重構(gòu)出原始輸入數(shù)據(jù)，稱之為解碼。自動編碼器可以用于特征降維，類似PCA，但是其相比PCA性能更強。除了進(jìn)行特征降維，自動編碼器學(xué)習(xí)到的新特征可以送入有監(jiān)督學(xué)習(xí)模型中，所以自動編碼器可以起到特征提取器的作用。自動編碼器是從訓(xùn)練樣本中進(jìn)行自動學(xué)習(xí)的，但是遷移學(xué)習(xí)能力較弱。因此自動編碼器只能處理與訓(xùn)練與樣本類似的數(shù)據(jù)，所以自動編碼器在水果品質(zhì)檢測與分級分類領(lǐng)域更多的是作為一種特征提取方法使用。

CNN是一類深度、前饋的神經(jīng)網(wǎng)絡(luò)，主要結(jié)構(gòu)為輸入層、卷積層、池化層、全連接層和Softmax輸出層，具體如圖1所示。圖像從輸入層輸入之后，神經(jīng)元經(jīng)過多層卷積層和池化層對圖像進(jìn)行特征的提取，每層的單個神經(jīng)元與前一層中的神經(jīng)元進(jìn)行卷積或者采樣操作，最后由輸出層進(jìn)行結(jié)果的輸出。每個卷積層和池化層中都有若干個特征平面，每個特征平面都用來表示提取到的圖像特定區(qū)域中的特定特征，如方向特征、邊緣特征等。CNN適用于圖像處理，十分適合對水果RGB圖像和高光譜圖像進(jìn)行識別，完成水果檢測與分類的目標(biāo)。大多數(shù)水果檢測與分類論文中的方法都是以CNN為基礎(chǔ)進(jìn)行優(yōu)化和改進(jìn)的?？梢?，CNN是目前深度學(xué)習(xí)在水果識別與分類中比較常用的方法。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Structure of convolutional neural network

AlexNet是CNN最經(jīng)典的模型，近年來，研究者們在此模型基礎(chǔ)上，通過各自的研究，提出了VGG-16、VGG-19、GoogleNet、Fast-RCNN、ResNet等優(yōu)秀的深度學(xué)習(xí)模型，并不斷進(jìn)行優(yōu)化。AlexNet模型設(shè)計了含有5 個卷積層和3 個全連接層的8 層網(wǎng)絡(luò)結(jié)構(gòu)，并引入了更簡單的ReLu激活函數(shù)，首次證明了CNN在復(fù)雜情況下的有效性，并通過大量的圖像增強方法緩解了過擬合問題。以AlexNet模型為基礎(chǔ)，VGGNet更進(jìn)一步地提高了網(wǎng)絡(luò)的深度，VGG16模型與VGG19模型分別達(dá)到了16 層與19 層的網(wǎng)絡(luò)層數(shù)，通過深度的擴展提升了模型的精度。隨后GoogleNet繼續(xù)從模型深度進(jìn)行探索，并引入Inception模型，提高了模型的寬度。但是隨著網(wǎng)絡(luò)層數(shù)的大幅加深，梯度消失問題逐漸嚴(yán)重，有些模型出現(xiàn)了錯誤率上升的問題，ResNet通過引入殘差模塊，使得模型在1 200 層的深度下仍能將錯誤率控制在較低的水平。隨著近年來計算機視覺技術(shù)的快速發(fā)展，在目標(biāo)檢測領(lǐng)域又出現(xiàn)了Faster-RCNN、SSD、Mask-RCNN和Yolo等更優(yōu)秀的模型，已在水果檢測與分級分類問題上有廣泛的應(yīng)用。

同時，各大互聯(lián)網(wǎng)公司也陸續(xù)推出了自己的開源深度學(xué)習(xí)平臺，如Google公司推出的TensorFlow平臺以及Caffe、Keras、CNTK、MXNet、Leaf和Pytorch等眾多平臺。這些平臺各有特色，支持C＋＋、R、Python等多種語言進(jìn)行編程，大大拓寬了深度學(xué)習(xí)的應(yīng)用領(lǐng)域。目前TensorFlow平臺是最受歡迎的開源平臺，因為Google公司在深度學(xué)習(xí)方面一直是世界頂尖水平，所以各界對TensorFlow平臺的認(rèn)同度很高。在科研領(lǐng)域，Caffe框架和Keras框架也深受研究者們的喜愛。眾多深度學(xué)習(xí)應(yīng)用平臺的陸續(xù)推出，以及云計算的快速發(fā)展，使得深度學(xué)習(xí)技術(shù)應(yīng)用門檻降低，越來越多的研究領(lǐng)域引入了深度學(xué)習(xí)技術(shù)，在水果品質(zhì)檢測與分類識別方面，短短幾年就涌現(xiàn)出了大量的科研成果，也側(cè)面證實了深度學(xué)習(xí)技術(shù)的普適性。

2 深度學(xué)習(xí)在水果品質(zhì)檢測與分類領(lǐng)域的研究現(xiàn)狀

2.1 水果外部品質(zhì)檢測

水果在生產(chǎn)、銷售、運輸、貯存期間容易受到環(huán)境影響，發(fā)生機械損傷等，而導(dǎo)致水果的外觀品質(zhì)受到影響。水果的外部品質(zhì)主要依據(jù)它們的顏色、形狀、尺寸等物理特征和機械損傷、外部缺陷等進(jìn)行評估。外部品質(zhì)是水果最直觀的品質(zhì)特征，直接影響它們的市場銷售價格和消費者的購買欲望。對水果外部品質(zhì)進(jìn)行快速及時的無損檢測，可以最大限度地減少損失，滿足消費者的需求。

藍(lán)莓是日常生活中常見的一種水果，個體較小且表皮顏色較深，RGB圖像難以反映出其損傷程度，而光譜圖像能反映出藍(lán)莓的損傷情況。Zhang Mengyun等[32]結(jié)合光譜透射圖像采用全卷積網(wǎng)絡(luò)，完成了對藍(lán)莓內(nèi)部損傷的無損檢測。作者將基礎(chǔ)VGG16模型改進(jìn)成全卷積模型進(jìn)行訓(xùn)練與檢測。對VGG16模型的改進(jìn)如圖2所示，將池化層的結(jié)果與預(yù)測結(jié)果結(jié)合后加入兩個轉(zhuǎn)置卷積層進(jìn)行卷積得到最終預(yù)測結(jié)果。使得最后的輸出結(jié)果與輸入圖像的大小、分辨率相同，成為全卷積模型。實驗結(jié)果表明，采用深度學(xué)習(xí)方法，可以將機械損傷后30 min的藍(lán)莓分割出藍(lán)莓損傷區(qū)域和花萼區(qū)域，測試集的準(zhǔn)確度達(dá)到81.2%。Wang Zhaodi等[33]同樣將高光譜圖像和深度學(xué)習(xí)方法相結(jié)合，采用AlexNet和ResNet兩種模型，將ResNet模型卷積層中的濾波器數(shù)量進(jìn)行了調(diào)整，然后通過高光譜透射率數(shù)據(jù)檢測藍(lán)莓的內(nèi)部機械損傷。同時使用順序最小優(yōu)化、線性回歸、隨機森林、多層感知器等機器學(xué)習(xí)方法做了對比實驗。結(jié)果兩種深度學(xué)習(xí)模型在大幅縮短計算時間的情況下提高了檢測準(zhǔn)確率，表明深度學(xué)習(xí)在分析水果內(nèi)部機械損傷方面的潛力。

圖2 基于VGG16的全CNN模型[31]Fig. 2 Fully convolutional neural network (CNN) model based on VGG16[31]

外部缺陷是水果外部品質(zhì)檢測的重要研究內(nèi)容之一。番茄水果在各國需求量都很大，而以往番茄都是由人工根據(jù)果實大小、外部缺陷等進(jìn)行分類，效率低下且容易出錯。Costa等[34]建立了一個包含外部缺陷番茄的43 843 幅圖像的數(shù)據(jù)集，提出了一種用于番茄外部缺陷檢測的深層神經(jīng)網(wǎng)絡(luò)模型。該模型以ResNet模型為基礎(chǔ)，對ResNet50模型的所有層都進(jìn)行了微調(diào)，使其能夠利用特征提取和微調(diào)來檢測外部缺陷。該模型在測試集上的平均精度達(dá)到94.6%。Luna等[35]也研究了番茄的外觀缺陷問題，他們基于深度學(xué)習(xí)，利用Python中的OpenCV庫進(jìn)行編程，對外部品質(zhì)有問題的番茄進(jìn)行了識別。作者利用簡單的圖像采集箱采集了1 200 幅番茄圖像，將采集的番茄圖像集80%作為訓(xùn)練集和20%作為驗證集。然后使用了VGG-16、InceptionV3和ResNet50 3 種模型進(jìn)行了對比實驗。相比之下，VGG-16模型的準(zhǔn)確率接近100%，而InceptionV3模型的準(zhǔn)確率僅有60%左右。通過對比3 個模型的訓(xùn)練與測試準(zhǔn)確率可以看出，對番茄缺陷進(jìn)行識別的最佳模型是VGG-16模型。

Azizah等[36]采用深度學(xué)習(xí)CNN模型檢測了山竹的表面缺陷，采用CNN結(jié)合4 次交叉驗證的方法解決了二值分類問題。該方法對山竹缺陷表面檢測的分類準(zhǔn)確率可達(dá)97.5%。但選取的數(shù)據(jù)集是用120 幅手工標(biāo)注RGB圖像組成的，數(shù)據(jù)集偏小。進(jìn)行數(shù)據(jù)增強或者對數(shù)據(jù)集進(jìn)行擴充之后，準(zhǔn)確率會有所提高。Fan Shuxiang等[37]自主設(shè)計了一個含有卷積層、匯集層和分類層的CNN網(wǎng)絡(luò)，大幅減少了傳統(tǒng)CNN模型中的參數(shù)與連接數(shù)。使用該CNN模型對水果分揀機上的蘋果進(jìn)行了實時的缺陷檢測，在分揀機上可以獲取單個蘋果6 個角度的圖像。經(jīng)實驗，CNN模型的檢測準(zhǔn)確率達(dá)到了92%。

由已發(fā)表的文獻(xiàn)可知，水果的外部缺陷檢測主要集中在機械損傷和外觀缺陷參數(shù)兩方面。對于水果外觀缺陷檢測一般通過RGB圖像反映，而機械損傷早期水果外觀變化不明顯，其檢測常利用光譜圖像。對于各種流行的深度學(xué)習(xí)模型，包括AlexNet、VGG、GoogLeNet，ResNet等都在水果檢測與分類領(lǐng)域有所應(yīng)用。此外，這些提到的網(wǎng)絡(luò)架構(gòu)在TensorFlow、Caffe等平臺都有預(yù)訓(xùn)練模型，這些模型已經(jīng)被一些像ImageNet這樣的公開圖像數(shù)據(jù)集訓(xùn)練過。有些研究通過這些平臺提供的模型，或者對這些模型進(jìn)行調(diào)整之后，完成了對水果外觀品質(zhì)問題的檢測[38-39]。這些被預(yù)訓(xùn)練過的模型，已經(jīng)能夠在測試集中自動提取基礎(chǔ)的圖像特征。研究者們直接使用預(yù)訓(xùn)練模型，可以省去大量的預(yù)訓(xùn)練工作所需的時間，還能提高識別的準(zhǔn)確率。使用預(yù)訓(xùn)練好的模型，只需根據(jù)自己的研究內(nèi)容對模型網(wǎng)絡(luò)權(quán)值進(jìn)行微調(diào)即可直接使用。

2.2 水果內(nèi)部品質(zhì)檢測

水果的內(nèi)部品質(zhì)主要包括可溶性固形物含量（soluble solid content，SSC）、硬度、糖度、成熟度等，是人們十分關(guān)注的問題，因此水果內(nèi)部品質(zhì)檢測一直是研究熱點之一。近年來，深度學(xué)習(xí)與圖像處理和光譜傳感技術(shù)相結(jié)合作為一種高效、無損的水果內(nèi)品質(zhì)檢測手段，展現(xiàn)出了令人驚喜的研究成果。

Yu Xinjie等[40]結(jié)合深度學(xué)習(xí)與可見/近紅外高光譜反射成像技術(shù)，預(yù)測了庫爾勒香梨采后硬度和SSC。將堆疊自動編碼器（stack auto encoder，SAE）和全連接神經(jīng)網(wǎng)絡(luò)（fully connected neural network，F(xiàn)NN）相結(jié)合，構(gòu)建出一個SAE-FNN模型，具體如圖3所示。在此模型中，將采集到的光譜圖像使用SAE進(jìn)行提取，獲得深度光譜特征作為模型的輸入，隨后對模型進(jìn)行訓(xùn)練，并將提出的SAE-FNN模型與SVM方法進(jìn)行對比實驗，結(jié)果顯示SAE-FNN模型準(zhǔn)確度更高，表現(xiàn)更優(yōu)越。

圖3 SAE-FNN模型[39]Fig. 3 Stack auto encoder-fully connected neural network (SAE-FNN) model[39]

Bai Yuhao等[41]建立了多產(chǎn)地蘋果中SSC的預(yù)測模型。該模型將深度學(xué)習(xí)、光譜指紋特征、多元回歸分析等方法相結(jié)合，能夠消除不同產(chǎn)地的蘋果造成的預(yù)測偏差。模型將多產(chǎn)地蘋果的光譜指紋特征提取出來，使用CARS算法選擇最佳波長，輸入深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練，然后使用訓(xùn)練完成的模型進(jìn)行未知蘋果SSC預(yù)測。經(jīng)實驗，預(yù)測蘋果樣品的預(yù)測平方根和預(yù)測平方根誤差值分別為0.990和0.274，SSC預(yù)測模型表現(xiàn)十分優(yōu)秀。溫馨[42]以臍橙、香梨為研究對象，糖度為研究內(nèi)容，自主設(shè)計了基于深度學(xué)習(xí)的水果糖度回歸模型。與偏最小二乘、PCA等傳統(tǒng)方法進(jìn)行對比實驗后，結(jié)果表明新模型識別與預(yù)測能力性能更佳。吳爽等[43]將高光譜成像技術(shù)與機器學(xué)習(xí)和深度學(xué)習(xí)相結(jié)合，對西瓜的SSC進(jìn)行了定量判別。在相同數(shù)據(jù)集下，分別使用兩種機器學(xué)習(xí)算法（KNN、隨機森林）和兩種深度學(xué)習(xí)算法（CNN、Res-CNN）進(jìn)行了實驗，將ResNet模型中的殘差塊（Resblock）引入CNN模型進(jìn)行改進(jìn)得到Res-CNN模型。結(jié)果表明深度學(xué)習(xí)算法的預(yù)測集相關(guān)系數(shù)遠(yuǎn)高于機器學(xué)習(xí)算法，且Res-CNN模型的預(yù)測集相關(guān)系數(shù)達(dá)到了89%，效果更好。

黑枸杞具有很大的商業(yè)和營養(yǎng)價值。Zhang Chu等[44]采用近紅外高光譜成像技術(shù)測定了干燥黑枸杞中的總酚、總黃酮和總花色苷含量。然后使用CNN模型預(yù)測其化學(xué)成分。CNN模型和深度自動編碼器分別用作有監(jiān)督和無監(jiān)督的特征提取方法。結(jié)合偏最小二乘和最小二乘支持向量機作為建模方法，SPA算法和CARS采樣作為波長選擇方法，PCA和WT作為特征提取方法作為常規(guī)方法進(jìn)行比較研究。作為建模方法和特征提取方法的深度學(xué)習(xí)方法獲得了與傳統(tǒng)方法相當(dāng)?shù)牧己眯阅?。結(jié)果表明，深度學(xué)習(xí)作為近紅外光譜化學(xué)成分分析的建模和特征提取方法具有很大的潛力。

水果成熟度也是反映水果內(nèi)部品質(zhì)的重要指標(biāo)。番木瓜是一種營養(yǎng)價值很高的常見熱帶水果，不同成熟度的番木瓜有不同的經(jīng)濟價值。Behera等[45]在探究番木瓜成熟度分級問題時將常規(guī)機器學(xué)習(xí)方法（KNN、SVM和樸素貝葉斯）和深度學(xué)習(xí)方法（ResNet101、ResNet50、ResNet18、VGG19、VGG16、GoogleNet和AlexNet）進(jìn)行了比較。作者采用智能手機拍攝番木瓜未成熟、半成熟和成熟狀態(tài)的3 種圖像作為數(shù)據(jù)集進(jìn)行實驗。因為深度學(xué)習(xí)模型有強大的遷移學(xué)習(xí)能力，因此使用的深度學(xué)習(xí)模型都是在ImageNet圖像集上預(yù)訓(xùn)練過的。經(jīng)過實驗得出，眾多的機器學(xué)習(xí)與深度學(xué)習(xí)模型中，VGG19、ResNet50、ResNet18、VGG16、GoogleNet等都達(dá)到了100%準(zhǔn)確率，但VGG19模型所需的時間最少，所以認(rèn)為VGG19模型表現(xiàn)最好。李穩(wěn)穩(wěn)[46]將光譜信息與深度學(xué)習(xí)結(jié)合，成功檢測了砂梨的成熟度。作者建立了3 種深度學(xué)習(xí)模型，即標(biāo)準(zhǔn)DBN、自編碼網(wǎng)絡(luò)與隨機隱匿DBN模型，經(jīng)實驗測試，3 種模型的檢測準(zhǔn)確率都在90%以上，隨機隱匿DBN模型準(zhǔn)確率達(dá)到了95.8%，表明了深度學(xué)習(xí)強大的學(xué)習(xí)與表達(dá)能力。

光譜圖像數(shù)據(jù)集獲取相對較難，有些研究者放棄利用直接圖像進(jìn)行研究，而選擇使用聲音傳感作為中轉(zhuǎn)進(jìn)行水果內(nèi)部品質(zhì)探究。Lashgari等[47]同樣以蘋果為研究目標(biāo)，將深度學(xué)習(xí)技術(shù)與聲音傳感技術(shù)相結(jié)合，將蘋果反饋的聲音轉(zhuǎn)換為圖像，然后使用AlexNet和VGGNet進(jìn)行訓(xùn)練，通過探究果實內(nèi)部粉狀物的含量，預(yù)測出了蘋果的成熟度與品質(zhì)。

水果內(nèi)部品質(zhì)如糖度、成熟度等，這些信息無法通過RGB圖像顯示出來，只有通過高光譜圖像才可以反映，而高光譜圖像所含數(shù)據(jù)過大，光譜圖像大數(shù)據(jù)集的建立相對困難、處理復(fù)雜，深度學(xué)習(xí)模型無法進(jìn)行足夠次數(shù)的訓(xùn)練，且受硬件條件的制約，所以采用高光譜圖像進(jìn)行實驗難度較大，深度學(xué)習(xí)與光譜圖像相結(jié)合的實驗也較少，希望隨著硬件水平的不斷發(fā)展，能夠早日出現(xiàn)高質(zhì)量的水果光譜圖像數(shù)據(jù)集供研究使用，推動水果內(nèi)部品質(zhì)檢測取得更好的研究進(jìn)展。

2.3 水果安全品質(zhì)檢測

水果的安全品質(zhì)關(guān)系到消費者的飲食安全和健康，是水果最為重要的品質(zhì)特征之一，主要通過對各種病蟲害、農(nóng)藥殘留、外來污染物等進(jìn)行檢測評估。

水果病害是水果安全品質(zhì)研究的核心問題之一，盡早發(fā)現(xiàn)病害便能最大程度上降低影響、減少經(jīng)濟損失。水心病是蘋果的一種病害，會使蘋果的保質(zhì)期比普通蘋果低，所以在采摘后要盡快識別分揀水心蘋果。徐亞琴[48]在探究如何無損檢測水心蘋果時，將近紅外光譜與深度學(xué)習(xí)技術(shù)相結(jié)合，利用Keras平臺建立了一個CNN模型，將預(yù)處理后的光譜圖像作為輸入，將150 個圖像作為樣本，劃分訓(xùn)練集與測試集進(jìn)行實驗，結(jié)果表明CNN模型的識別準(zhǔn)確率達(dá)到了98%。蘋果霉心病也是危害蘋果安全品質(zhì)的主要病害之一。周兆永等[49-50]提出了基于DBN的蘋果霉心病病害程度判別模型，該模型由多層受限玻爾茲曼機（restricted boltzmann machine，RBM）網(wǎng)絡(luò)和1 層反向傳播（back progagation，BP）神經(jīng)網(wǎng)絡(luò)組成。RBM網(wǎng)絡(luò)實現(xiàn)最優(yōu)特征向量映射，BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)對霉心病病害程度分類。實驗采集了225 個蘋果在200～1 025 nm波長處的透射光光譜，采用DBN方法對健康蘋果、輕度霉心病、中度霉心病和重度霉心病蘋果進(jìn)行分類，并與偏最小二乘判別分析、SVM和反向傳播神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)機器學(xué)習(xí)方法進(jìn)行了比較。DBN模型對訓(xùn)練集和測試集中霉心病病害等級的判別正確率（99.33%）高于傳統(tǒng)機器學(xué)習(xí)方法（88.00%）。實驗結(jié)果表明，DBN模型具有更強的學(xué)習(xí)能力和預(yù)測能力，可用于蘋果霉心病病害程度的快速無損識別。Akagi等[51]用VGG16、InceptionsV3、ResNet50和InceptionResnetV25種CNN模型預(yù)測了柿果內(nèi)部疾病并可視化了疾病指數(shù)。訓(xùn)練集與測試集使用了從果實頂端獲得的3 173 幅RGB圖像，測試準(zhǔn)確率高達(dá)90%；此外，還使用InnResearch庫實現(xiàn)了特征可視化。崔燦[52]將圖像處理技術(shù)中的注意力機制和中心損失函數(shù)引入ResNet34模型，完成了對草莓病害的識別分類。將包含204 幅圖像的數(shù)據(jù)集進(jìn)行了圖像預(yù)處理與數(shù)據(jù)增強，分為訓(xùn)練集與測試集進(jìn)行實驗，并基于此模型成功編寫了一個草莓病害系統(tǒng)，用戶只需上傳草莓圖像即可獲得草莓患病種類的識別結(jié)果。劉杰[53]通過改進(jìn)傳統(tǒng)AlexNet模型，結(jié)合圖像質(zhì)量評價（image quality assessment，IQA）技術(shù)完成了對柑橘潰瘍病的識別。通過減少模型參數(shù)、權(quán)值均一化和自動剪枝3 種方法對AlexNet模型進(jìn)行優(yōu)化，使用含有7 250 幅圖像的自建數(shù)據(jù)集進(jìn)行了實驗，最后結(jié)合IQA技術(shù)降低了模糊圖像造成的影響。

為防止病蟲害的發(fā)生，水果生長各階段中需要噴灑農(nóng)藥，所以在果實上難免會有農(nóng)藥殘留。農(nóng)藥殘留是影響水果安全性的重要因素之一[54]。Jiang Bo等[55]采用AlexNet CNN進(jìn)行了蘋果采后農(nóng)藥殘留檢測。在實驗時采集了噴灑4 種農(nóng)藥的蘋果高光譜圖像。通過理論分析和實驗驗證，確定了CNN的結(jié)構(gòu)和參數(shù)（圖4）。將提取的蘋果高光譜圖像歸一化為227×227×3像素，作為農(nóng)藥殘留的CNN網(wǎng)絡(luò)輸入檢測。結(jié)果表明，當(dāng)訓(xùn)練周期數(shù)為10 個時，測試集的檢測準(zhǔn)確率為99.09%，且測試集的檢測精度為99.09%，單波段平均圖像的檢測準(zhǔn)確率為95.35%。與傳統(tǒng)的KNN和支持向量機分類算法的比較表明，CNN方法表現(xiàn)更好，且無損、快速、低成本，可有效檢測蘋果采后農(nóng)藥殘留。

圖4 CNNs網(wǎng)絡(luò)結(jié)構(gòu)[54]Fig. 4 CNNs network structure[54]

目前水果安全品質(zhì)檢測問題的主要研究是針對水果病害和農(nóng)藥殘留。因為RGB圖像不能明顯反映水果內(nèi)部病害、農(nóng)藥殘留，所以需結(jié)合光譜數(shù)據(jù)進(jìn)行實驗研究。但此類實驗對數(shù)據(jù)集的要求很高。只有數(shù)據(jù)集足夠大、質(zhì)量夠高，能夠完全滿足模型訓(xùn)練的要求，才能在實際預(yù)測時獲得較高的準(zhǔn)確率。但是目前公開的高質(zhì)量高光譜數(shù)據(jù)集較少，所以有些研究者使用了自建的數(shù)據(jù)集，通過數(shù)據(jù)增強操作提高了模型特征提取準(zhǔn)確度，但普適性較差。

2.4 水果分級分類

水果的形狀、糖度和表面缺陷等指標(biāo)不同，其經(jīng)濟價值也會有所不同，所以在采摘與銷售過程中要對水果進(jìn)行分級分類，而這個過程目前仍是以人工主觀分類為主，智能化、機械化分級分類尚處于研究階段。如果能夠?qū)崿F(xiàn)快速高效的自動分級，可以有效減少水果銷售過程中時間的浪費，從而保證水果新鮮度，延長水果保質(zhì)期。

櫻桃果實通常以雙櫻桃或多櫻桃的形式發(fā)育，櫻桃果實的不規(guī)則形狀導(dǎo)致其不良的市場銷售失敗，使其在市場上長期未售出并腐爛。Momeny等[56]根據(jù)果實外形是否規(guī)則對櫻桃進(jìn)行識別與分級。他們改良了傳統(tǒng)的CNN模型，利用最大值池化和平均值池化相結(jié)合的方法，提高了CNN的泛化能力。使用兩個自建的719 個櫻桃樣品數(shù)據(jù)集（307 個形狀規(guī)則和412 個形狀不規(guī)則）進(jìn)行實驗，通過梯度直方圖和局部二值圖提取圖像特征，并采用KNN算法、神經(jīng)網(wǎng)絡(luò)算法、模糊算法和邊緣檢測算法進(jìn)行分類，與改良的CNN模型進(jìn)行比較。基于批量歸一化，提出的CNN改良模型能夠在所有圖像尺寸下以99.4%的準(zhǔn)確率對櫻桃進(jìn)行分類。

Jahanbakhshi等[57]選取341 個酸檸檬樣品（185 個健康樣品和156 個損傷樣品）獲取RGB圖像構(gòu)成數(shù)據(jù)集，使用MATLAB軟件對圖像進(jìn)行預(yù)處理，將30%圖像作為測試集，提出改進(jìn)的CNN模型，根據(jù)酸檸檬的表面缺陷進(jìn)行了分級檢測，檢測流程如圖5所示。同時設(shè)立對比實驗，與KNN、ANN、模糊綜合評價法、SVM和決策樹算法的結(jié)果進(jìn)行對比。結(jié)果表明改進(jìn)后的CNN模型準(zhǔn)確率更高，可作為加強酸檸檬分級的現(xiàn)代方法。

圖5 檢測酸檸檬的改進(jìn)CNN模型[56]Fig. 5 Improved CNN model for detecting lime[56]

青梅是一種深受人們喜愛的水果，有很多的保健功能，國內(nèi)的青梅分級方式大多是人工分揀，這種傳統(tǒng)方式受主觀影響較大，導(dǎo)致分級不夠明確，對青梅后期加工和銷售造成了很多困難。傳統(tǒng)的有監(jiān)督學(xué)習(xí)青梅分級分類器樣本標(biāo)定困難，泛化能力較弱，陶海[58]提出了一種基于深度學(xué)習(xí)的青梅品級分類方法。首先將果實根據(jù)完好程度、果實大小、果實顏色等幾個方面進(jìn)行綜合分析，將青梅分為3 個等級。然后將深度學(xué)習(xí)優(yōu)秀的特征提取能力和識別能力引入青梅的品級分類中來，并根據(jù)廣義熵理論建立了一種認(rèn)知誤差熵，可以反映出分類結(jié)果的可信度；這種半監(jiān)督機制引入后可以增強整個模型的魯棒性。最后采用包含5 400 幅圖像（3 400 幅無標(biāo)簽，2 000 幅有標(biāo)簽，有標(biāo)簽圖像包括630 幅優(yōu)質(zhì)果實圖像、790 幅次品果實圖像和580 幅腐爛果實圖像）進(jìn)行實驗，證實了青梅品級半監(jiān)督智能認(rèn)知算法的有效性。曹仲達(dá)[59]在研究青梅分級時基于自適應(yīng)CNN，引入青梅不同品級的圖像決策信息，建立了具有完備評價指標(biāo)的青梅品級智能決策信息模型。作者將青梅分為優(yōu)品、帶疤良品、次品、帶疤次品和腐爛品5 個等級，采用1 008 幅圖像進(jìn)行驗證，分級正確率達(dá)到了98.15%。

目前水果的分級分類大多是通過RGB圖像對水果顏色、果實形狀、表面缺陷等方面進(jìn)行識別從而進(jìn)行分級的，僅適用于不同品級外觀差距較大的水果；而對于外觀表現(xiàn)不明顯的水果來說，光譜信息更能反映出不同品級水果的某些內(nèi)部信息，相對于RGB圖像更加全面。希望在以后的研究中，有更多的研究者可以將光譜圖像信息引入深度學(xué)習(xí)中，全面采集各種品質(zhì)指標(biāo)，進(jìn)一步提高水果分級精確度。

2.5 水果分類識別

自動化的水果分類識別可以給生活帶來很多的便利，比如識別與自動計數(shù)、超市中的分類入庫和識別付款等，可應(yīng)用領(lǐng)域十分廣泛。深度學(xué)習(xí)技術(shù)能夠在極短時間內(nèi)完成對水果的識別與分類，為水果快速分類提供了新的可能性。

Saranya等[60]以蘋果、香蕉、石榴和柑橘為研究對象，在公開數(shù)據(jù)集fruit-360上對傳統(tǒng)的機器學(xué)習(xí)方法和深度學(xué)習(xí)方法進(jìn)行了比較，結(jié)果表明CNN模型有更好的學(xué)習(xí)效果，而共享最近鄰法和SVM模型在特征提取方面表現(xiàn)很優(yōu)秀，但在分類時表現(xiàn)不如CNN模型。Hossain等[61]基于深度學(xué)習(xí)提出了一個水果分類系統(tǒng)，該系統(tǒng)建立了兩種模型，第一種是一個6 層CNNs輕模型（圖6）。在這個模型中，分為預(yù)處理、特征轉(zhuǎn)換和分類3 個步驟。首先將原始圖像進(jìn)行等高寬裁剪，然后固定圖像大??；然后通過CNN模型等的重復(fù)卷積和池化操作來實現(xiàn)圖像的特征轉(zhuǎn)換；最后學(xué)習(xí)到的一維特征向量被饋送到輸出層。輸出層使用Softmax激活。在每個池化層之后和輸出層之前添加脫落層，以使網(wǎng)絡(luò)規(guī)則化，并防止過度擬合。第二種模型是經(jīng)過預(yù)訓(xùn)練的VGG-16模型（圖7），此模型通過最大池化層對5 個卷積運算塊進(jìn)行連接，每個運算塊中包含著一系列的3×3卷積層，卷積核的數(shù)量由第一層的64 個逐步增加到最后一層的512 個，共有16 層可學(xué)習(xí)層數(shù)。

圖6 6 層CNNs輕模型[54]Fig. 6 Six-layer CNNs light model[54]

圖7 VGG-16模型[54]Fig. 7 VGG-16 model[54]

Hossain等[61]采用兩個不同數(shù)據(jù)集對兩個模型進(jìn)行了實驗，兩個數(shù)據(jù)集內(nèi)包含蘋果、梨、桃、橙子、西瓜等數(shù)十種水果圖像。數(shù)據(jù)集1包括2 633 幅圖像，是比較容易識別的圖像。數(shù)據(jù)集2中的5 946 幅圖像較為復(fù)雜，圖像中含有多種水果且含有冗余背景信息。在實驗過程中進(jìn)行數(shù)據(jù)增強后，通過兩個圖像集對兩種模型進(jìn)行訓(xùn)練與測試，數(shù)據(jù)集1的分類準(zhǔn)確度分別為99.49%和99.75%，數(shù)據(jù)集2的準(zhǔn)確度分別為85.43%和96.75%。實驗結(jié)果表明，VGG-16模型在兩個數(shù)據(jù)集上表現(xiàn)都十分優(yōu)秀，輕量級CNN模型在數(shù)據(jù)集1上識別準(zhǔn)確率也較高，都具有較好的研究前景與實際應(yīng)用價值。

Rojas-Aranda等[62]在研究零售店的自動化識別與付款時，也使用了輕量級的CNN模型。由于研究的目標(biāo)是收銀臺結(jié)算，因此建立了一個創(chuàng)新的數(shù)據(jù)集，即數(shù)據(jù)集中的圖像分為無塑料袋包裝和有塑料袋包裝兩種情況，經(jīng)測試，總體分類準(zhǔn)確率為95%，而對塑料袋內(nèi)水果的分類準(zhǔn)確率也達(dá)到了93%。Duong等[63]使用目前最前沿的EfficientNet和MixNet構(gòu)建出了一個水果分類專家系統(tǒng)，在基礎(chǔ)深度學(xué)習(xí)模型中加入了一個權(quán)值計算器，可以調(diào)整不同特征所占比重，而且可以通過遷移學(xué)習(xí)，將其他實驗的權(quán)值比重導(dǎo)入權(quán)值計算器中。最后專家系統(tǒng)在一個包含48 905 個訓(xùn)練圖像和16 421 個測試圖像的真實水果數(shù)據(jù)集上進(jìn)行了實驗。實驗結(jié)果表明，在所考慮的數(shù)據(jù)集上應(yīng)用此專家系統(tǒng)，顯著提高了整體預(yù)測精度。

水果分類不僅僅是不同水果之間的分類，也包括了同種水果間的分類。Rong Dian等[64]建立了包含5 種桃的可見-近紅外光譜數(shù)據(jù)庫，通過構(gòu)造一維CNN模型，實現(xiàn)了桃品種的多重鑒別。首先采集不同品種的桃光譜圖像，然后采用CNN模型對光譜信息進(jìn)行訓(xùn)練，訓(xùn)練完成的模型可完成對未知品種桃的分類。深度學(xué)習(xí)模型在驗證數(shù)據(jù)集上的準(zhǔn)確率達(dá)到100%，在測試數(shù)據(jù)集上的準(zhǔn)確率達(dá)到94.4%。Osako等[65]利用深度學(xué)習(xí)技術(shù)對臺灣4 個常見的荔枝栽培品種（‘桂味’‘黑葉’‘無麥仔’‘玉荷包’）分類進(jìn)行了研究。通過對預(yù)先訓(xùn)練的VGG-16模型進(jìn)行微調(diào)，構(gòu)建了合適的識別模型，對模型進(jìn)行訓(xùn)練之后對4 個品種混合圖像進(jìn)行分類，準(zhǔn)確率達(dá)到98.33%。Rodríguez等[66]采用AlexNet模型，研究了3 個不同品種李子早熟期品種的鑒別。由于使用的是自建數(shù)據(jù)集，所以首先要進(jìn)行降噪、腐蝕、膨脹等預(yù)處理，去除不需要的背景。測試集的最終分類精度最高達(dá)到了97%。

隨著深度學(xué)習(xí)框架的不斷優(yōu)化，越來越多的科研實驗依托TensorFlow、Caffe、Keras等開源平臺進(jìn)行操作，采用AlexNet、VGGNet、ResNet和GoogleNet等經(jīng)典模型，大大提高了科研效率。呂偉[67]使用Caffe平臺中的經(jīng)典CNN模型，對自建訓(xùn)練集（攝像機在不同光照、角度變換以及局部遮擋環(huán)境下蘋果、百香果、火龍果和橘子等14 類39 種96 815 幅不同類型水果圖像）進(jìn)行學(xué)習(xí)分類，水果種類分類正確率達(dá)99.53%。廉小親等[68]使用Google公司TensorFlow框架中預(yù)訓(xùn)練完成的Inception-V3模型，對含有梨、蘋果、香蕉、柑橘、芒果、獼猴桃6 類水果的測試集進(jìn)行了分類，結(jié)果較傳統(tǒng)水果分類算法的準(zhǔn)確率有明顯提升。研究者們基于基礎(chǔ)的深度學(xué)習(xí)模型，通過修改各種模型中各個部分，例如改進(jìn)預(yù)處理方法、修改圖像分割方法、修改神經(jīng)網(wǎng)絡(luò)隱藏層之間的結(jié)構(gòu)、改進(jìn)特征提取的方法等，不同程度地提高了水果分類的準(zhǔn)確率[69-73]。

智能家居的快速發(fā)展使冰箱果蔬識別與分類的應(yīng)用研究受到了越來越多的關(guān)注。曾維亮[74]探究了冰箱中的水果分類問題，提出一種基于感興趣區(qū)域（region of interest，ROI）的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（region proposals cnvolutional neural network，RCNN）水果圖像識別模型。先從樣本確定目標(biāo)水果ROI，再基于ROI進(jìn)行大量訓(xùn)練，得到特征明顯的圖像塊后，再進(jìn)行識別。實驗結(jié)果表明，基于ROI訓(xùn)練的卷積核能提取區(qū)分度較強的特征，在融合多通道水果特征信息時可有效地提高識別率。Zhang Weishan等[75]在設(shè)計智能冰箱時，希望冰箱能夠自動識別水果。他們的研究重點包括兩部分，即識別水果種類與實現(xiàn)水果個體計數(shù)。他們的測試集包括智能冰箱內(nèi)部拍攝的水果圖像和來自互聯(lián)網(wǎng)的冰箱儲藏水果圖像，使用ResNet、VGG-16和VGG-19多種模型進(jìn)行訓(xùn)練，這些模型的輸出作為輸入數(shù)據(jù)導(dǎo)入到BP神經(jīng)網(wǎng)絡(luò)中繼續(xù)進(jìn)行運算。這種多結(jié)構(gòu)融合的深度學(xué)習(xí)模型比3 種模型單獨使用的方法具有更好的識別精度。

近年來深度學(xué)習(xí)技術(shù)在水果識別與分類方面最新的一些研究成果，AlexNet與VGGNet等各種不同的算法在不同研究中都有所使用。多數(shù)實驗以RGB圖像作為載體進(jìn)行相應(yīng)的研究，也有部分實驗使用了高光譜圖像進(jìn)行研究。通過深度學(xué)習(xí)模型對RGB圖像和高光譜圖像進(jìn)行學(xué)習(xí)和權(quán)值訓(xùn)練，可以成功提取與水果的各種特征，完成對水果的識別與分類。與傳統(tǒng)的水果分類方法相比，深度學(xué)習(xí)方法具有更好的性能，值得進(jìn)一步研究。水果分類識別仍舊是一個水果研究領(lǐng)域的難點問題。有幾個難點尚未發(fā)現(xiàn)比較好的解決方案，一是有些水果種間外觀差距較小，例如李子和杏外觀特點就十分相似；二是光照陰影導(dǎo)致的明暗變化使得同物種間圖像出現(xiàn)較大差異；三是圖像背景干擾大，對識別造成較大影響。從上述幾點中可以看出某些水果識別難度較高，如何提高這些水果圖像的識別精度將是未來的重點研究目標(biāo)。

3 結(jié) 語

水果品質(zhì)檢測與分類識別領(lǐng)域引入深度學(xué)習(xí)僅僅短短幾年就涌現(xiàn)出大批的優(yōu)秀科研成果，與過去的模式識別、機器學(xué)習(xí)和人工分類等傳統(tǒng)方法相比有很多的優(yōu)勢：1）在眾多的水果研究中，深度學(xué)習(xí)技術(shù)都顯示出了良好的適應(yīng)性與較高的準(zhǔn)確率，說明機器學(xué)習(xí)技術(shù)的通用性很高；2）深度學(xué)習(xí)的另一個優(yōu)點是兼容性高，可以從多維數(shù)據(jù)中提取有用信息，在對水果進(jìn)行檢測時，有很多作者在研究中將深度學(xué)習(xí)和高光譜成像技術(shù)等其他技術(shù)結(jié)合起來，也取得了可喜的成果；3）各種深度學(xué)習(xí)模型可以單獨或者自由組合使用，針對不同的實驗?zāi)繕?biāo)可以對模型進(jìn)行針對性調(diào)整改造，模型可塑性極高。

深度學(xué)習(xí)技術(shù)在水果品質(zhì)檢測與分類識別領(lǐng)域中的研究才剛剛興起，還有許多工作需要進(jìn)一步完善和發(fā)展。1）在水果品質(zhì)檢測與分級分類領(lǐng)域的研究中，大多應(yīng)用的是CNN模型，或是在經(jīng)典網(wǎng)絡(luò)模型基礎(chǔ)上進(jìn)行改進(jìn)。在將來的研究中其他深度學(xué)習(xí)模型例如循環(huán)神經(jīng)網(wǎng)絡(luò)、LSTM等的強大功能或多種模型交叉融合，會給未來的科研提供了無數(shù)可能，在水果品質(zhì)檢測與分級分類領(lǐng)域的應(yīng)用潛力值得研究者關(guān)注。2）深度學(xué)習(xí)訓(xùn)練模型所需的數(shù)據(jù)量很大，對數(shù)據(jù)集要求較高。目前公開的水果數(shù)據(jù)集較少，且圖像質(zhì)量參差不齊，而研究者自建數(shù)據(jù)集的圖像數(shù)量一般不足以支撐訓(xùn)練與預(yù)測。希望在將來的研究中，科研人員可以廣泛采集水果各種品質(zhì)圖像，互相分享，建立出更好的水果數(shù)據(jù)集。3）以RGB圖像為載體的研究比較多，但其無法反映出水果的硬度、糖度和成熟度等內(nèi)部品質(zhì)，高光譜圖像可以反映出這些內(nèi)部性質(zhì)，但以高光譜圖像為載體進(jìn)行的研究較少。在深度學(xué)習(xí)中如何融合高光譜圖像，如何充分利用高光譜圖像的空間和光譜信息，使其應(yīng)用具有較強的魯棒性和網(wǎng)絡(luò)泛化能力，將是未來的研究熱點。4）應(yīng)進(jìn)一步擴充研究對象。雖然深度學(xué)習(xí)已經(jīng)滲透到水果品質(zhì)檢測中，但檢測的品質(zhì)指標(biāo)還不完善，如硬度、蟲害等還未涉及。另外如果將時間維度引入水果品質(zhì)檢測與分類的研究中，可能會得到更加精準(zhǔn)的結(jié)果，如預(yù)測水果的成熟趨向、SSC、水果遭受病害的趨向等，值得進(jìn)一步使用深度學(xué)習(xí)的方法進(jìn)行分析和研究。5）多數(shù)實驗仍舊在實驗研究階段，尚未實現(xiàn)工業(yè)化、商業(yè)化使用，在線檢測、智能手機應(yīng)用等方面的實驗較少，還有廣闊的發(fā)展空間。期望隨著計算機硬件水平的發(fā)展，水果的在線智能化檢測與識別可以廣泛應(yīng)用到水果生產(chǎn)、運輸和銷售等環(huán)節(jié)中，減少人力資源浪費。

本文為水果品質(zhì)檢測與分類識別領(lǐng)域的研究者們總結(jié)了近期應(yīng)用深度學(xué)習(xí)的研究成果，期望深度學(xué)習(xí)技術(shù)未來能夠在本領(lǐng)域取得更多優(yōu)秀的研究成果，并將研究結(jié)果付諸實踐。