岑海燕，朱月明，孫大偉，翟 莉，萬 亮，麻志宏，劉子毅，何 勇

·綜合研究·

深度學(xué)習(xí)在植物表型研究中的應(yīng)用現(xiàn)狀與展望

岑海燕，朱月明，孫大偉，翟 莉，萬 亮，麻志宏，劉子毅，何 勇

（1. 浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院，杭州 310058；2. 農(nóng)業(yè)農(nóng)村部光譜檢測重點實驗室，杭州 310058；3. 浙江大學(xué)現(xiàn)代光學(xué)儀器國家重點實驗室，杭州 310027）

精確測量植物表型是深入分析表型-基因-環(huán)境互作關(guān)系，了解植物生理過程的前提和基礎(chǔ)，也是培育良種和提升現(xiàn)代農(nóng)業(yè)生產(chǎn)精準(zhǔn)管控的關(guān)鍵。伴隨高通量植物表型測量與分析技術(shù)的不斷發(fā)展，以深度學(xué)習(xí)為代表的人工智能方法在植物表型研究與應(yīng)用中取得了一系列重要進(jìn)展。為系統(tǒng)闡述相關(guān)研究最新成果和熱點問題，該研究首先概述了植物表型與深度學(xué)習(xí)方法的背景；隨后從植物識別與分類、脅迫分析、產(chǎn)量預(yù)測、面向精準(zhǔn)育種和精準(zhǔn)管理的表型分析等方面綜述了深度學(xué)習(xí)在植物表型交叉研究的進(jìn)展；最后提出了未來深度學(xué)習(xí)和植物表型交叉融合研究與應(yīng)用中亟需解決的問題，并展望了植物表型研究智能化的發(fā)展前景。

植物；表型；管理；深度學(xué)習(xí)；識別與分類；作物育種

0 引 言

植物表型研究目標(biāo)是通過獲取高質(zhì)、海量的性狀特征數(shù)據(jù)來量化分析基因型和環(huán)境因子的互作效應(yīng)（genotype-by-environment interactions）及其對作物產(chǎn)量、品質(zhì)、抗逆能力等生產(chǎn)指標(biāo)的影響[1]，是精準(zhǔn)設(shè)計育種和作物生產(chǎn)精準(zhǔn)管理的重要技術(shù)支撐。當(dāng)前，植物表型測量技術(shù)在高精度和高通量的需求引領(lǐng)下快速發(fā)展，表型數(shù)據(jù)急劇增長，面向智慧農(nóng)業(yè)的植物表型研究具有多學(xué)科交叉、組學(xué)關(guān)系耦合、多尺度協(xié)同、多傳感器融合和多源數(shù)據(jù)協(xié)同處理等特點。

伴隨深度學(xué)習(xí)與大數(shù)據(jù)技術(shù)的快速發(fā)展，基于大數(shù)據(jù)和人工智能的植物表型交叉融合研究開啟了植物表型智能化研究時代，本研究在概述主流深度學(xué)習(xí)方法的基礎(chǔ)上，對近年來深度學(xué)習(xí)在植物表型研究的應(yīng)用場景進(jìn)行了總結(jié)、對比和梳理，以期為相關(guān)研究人員提供參考。

1 深度學(xué)習(xí)簡介

人類之所以擁有智能，是因為人類擁有數(shù)量龐大的神經(jīng)元以特殊方式互相連接和工作，而深度學(xué)習(xí)方法正是模仿了類似的構(gòu)架，通過對大量數(shù)據(jù)的特征學(xué)習(xí)總結(jié)出數(shù)據(jù)特征中的高級抽象規(guī)律，以服務(wù)不同領(lǐng)域的應(yīng)用需求[2]。經(jīng)過多年發(fā)展，深度學(xué)習(xí)領(lǐng)域提出了一系列算法模型。

1.1 深度學(xué)習(xí)主流算法

總體來講，目前已經(jīng)在植物表型分析中應(yīng)用的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)主要包括：卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、受限玻爾茲曼機(jī)（Restricted Boltzmann Machines，RBM）、自動編碼器（Auto Encoder，AE）、稀疏編碼（Sparse Coding，SC）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）等，本研究重點對以上幾種廣泛使用的算法進(jìn)行介紹。

1.1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是最常見的深度學(xué)習(xí)方法之一。自20世紀(jì)80年代后期以來，CNN已應(yīng)用于視覺識別與分類任務(wù)，特別是LeCun等[3]在1998年提出了LeNet-5，基于CNN的相關(guān)研究隨即成為研究熱點，伴隨圖形處理器（Graphical Processing Unit，GPU）計算能力的發(fā)展和大量標(biāo)記數(shù)據(jù)集的出現(xiàn)，CNN在算法和架構(gòu)上不斷改進(jìn)，在各個應(yīng)用場景取得了突破。

圖像分類是計算機(jī)視覺中的基本問題，通常使用特征提取和分類器判別的技術(shù)架構(gòu)來解決圖像的分類問題。傳統(tǒng)圖像分類方法的準(zhǔn)確性在很大程度上取決于所提取的特征，往往存在特征設(shè)計困難、面向復(fù)雜任務(wù)具有局限性、特征間的層次關(guān)系設(shè)計困難進(jìn)而導(dǎo)致算法的泛化性能較弱等弊端。近年來的研究表明，隨著數(shù)據(jù)獲取方式的簡化和大數(shù)據(jù)集的出現(xiàn)，在GPU等芯片技術(shù)的快速發(fā)展，深度學(xué)習(xí)可以有效解決上述瓶頸問題[4]。2012年，Krizhevsky等[5]使用擴(kuò)展了深度的CNN架構(gòu)在ImageNet[6]大規(guī)模視覺識別挑戰(zhàn)競賽中取得了最佳的分類效果，隨即CNN受到研究者們的重視，一系列網(wǎng)絡(luò)模型的提出進(jìn)一步推動了CNN的深入研究與廣泛應(yīng)用。目前，CNN已經(jīng)成為大多數(shù)圖像識別、分類和檢測任務(wù)的領(lǐng)先架構(gòu)[7]，越來越多的網(wǎng)絡(luò)架構(gòu)也相繼問世，包括Alex Net[5]、Clarifai[8]、SPP[9]、VGG[10]、GoogleNet[11]、FCN[12]、U-Net[13]等。同時，梯度下降、參數(shù)優(yōu)化策略、權(quán)重共享以及近年來神經(jīng)網(wǎng)絡(luò)架構(gòu)優(yōu)化（Neural Architecture Optimization，NAO）[14]和元學(xué)習(xí)（meta-learning）[15]等理論的迅速發(fā)展，使得CNN在復(fù)雜應(yīng)用場景中的優(yōu)勢更加明顯。新型的CNN神經(jīng)網(wǎng)絡(luò)架構(gòu)表現(xiàn)出以多個網(wǎng)絡(luò)或多種網(wǎng)絡(luò)級聯(lián)組合應(yīng)用的新態(tài)勢，神經(jīng)網(wǎng)絡(luò)形態(tài)的快速進(jìn)化為紛繁復(fù)雜的科研領(lǐng)域提供了智能高效的數(shù)據(jù)分析手段。

1.1.2 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)（RBM）是由Hinton和Sejnowski[16]在1986年提出的神經(jīng)網(wǎng)絡(luò)模型，具備兩層結(jié)構(gòu)、層間全連接和層內(nèi)無連接的特點，適用于有效地提取數(shù)據(jù)特征以及預(yù)訓(xùn)練傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)，可明顯提高網(wǎng)絡(luò)的判別能力。其可見層所描述的是觀察數(shù)據(jù)一個方面或一個特征，約束條件是可見單元和隱藏單元必須構(gòu)成二分圖。這種機(jī)制可用于組建更加有效的訓(xùn)練算法，特別是基于梯度的對比發(fā)散算法。用RBM可以組成以下深層模型：深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）[17]、深度玻爾茲曼機(jī)（Deep Boltzmann Machines，DBM）[18]和深能模型（Deep Energy Models，DEM）[19]，適用于特征提取、數(shù)據(jù)編碼、構(gòu)建用于監(jiān)督學(xué)習(xí)的分類或回歸學(xué)習(xí)模型，以及初始化神經(jīng)網(wǎng)絡(luò)等場景。

1.1.3 自動編碼器

自動編碼器是一種特殊類型的人工神經(jīng)網(wǎng)絡(luò)，用于從數(shù)據(jù)中學(xué)習(xí)有效的特征。最初也是由Hinton[20]在2006年提出。自動編碼器的幾個重要變體包括：稀疏自動編碼器（Sparse Auto Encoder，SAE）、去噪自動編碼器（Denoising Auto Encoder，DAE）和收縮自動編碼器（Contractive Auto Encoder，CAE）。在圖像處理領(lǐng)域，原始圖像像素值作為初級特征表達(dá)通常維度很高，且大多情況下存在數(shù)據(jù)冗余，因此需要采用合適的方法對圖像數(shù)據(jù)進(jìn)行降維或特征提取等預(yù)處理，進(jìn)而得到更加簡潔而有效的特征表達(dá)，以提高數(shù)據(jù)分析效率和精度，自動編碼器多用于高維數(shù)據(jù)的降維處理和特征提取。

1.1.4 稀疏編碼

稀疏編碼（Sparse Coding，SC）最早由Olshausen 和Field于1996年提出[21]，用于解釋大腦中的初期視覺處理（比如邊緣檢測）。稀疏編碼通過訓(xùn)練和學(xué)習(xí)來構(gòu)建對輸入數(shù)據(jù)的描述函數(shù)，通過訓(xùn)練來找到一組“超完備基向量（an over-complete set of basis vectors）”來表示輸入數(shù)據(jù)的算法，超完備基向量能更有效地找出隱含在輸入數(shù)據(jù)內(nèi)部的結(jié)構(gòu)與模式來重構(gòu)原數(shù)據(jù)[22]。稀疏編碼的優(yōu)點主要體現(xiàn)在：1）可以使用高維特征，對不同類別的特征更加易于分類；2）稀疏性可以捕獲圖像的顯著特性；3）具備與生物視覺系統(tǒng)類似的認(rèn)知方式。稀疏編碼算法被廣泛應(yīng)用于語音信號分離、視覺圖像處理、生物DNA（DeoxyriboNucleic Acid）微陣列數(shù)據(jù)分類和模式識別等領(lǐng)域。

1.1.5 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，與“人的認(rèn)知是基于過往的經(jīng)驗和記憶”類似，通過使用特定形式的存儲器來模擬基于時間的動態(tài)變化，RNN不僅能考慮當(dāng)前的輸入，而且賦予了網(wǎng)絡(luò)對前序內(nèi)容的一種“記憶”功能。這種網(wǎng)絡(luò)結(jié)構(gòu)能夠直接地反映系統(tǒng)動態(tài)變化過程中的高度非線性和不確定性，因此適用于對時序數(shù)據(jù)規(guī)律的學(xué)習(xí)與未來變化趨勢的預(yù)測，但該方法存在梯度消失與梯度爆炸問題[23]。1997年，Hochreiter 和Schmidhuber[24]提出了長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)，成功解決了這一問題。LSTM可以保持前序信息的長期存儲，在語音識別、信息檢索、文本分類等應(yīng)用中被廣泛使用，現(xiàn)已成為實際應(yīng)用中最有效的序列模型。

1.2 不同算法的特點

為了系統(tǒng)地介紹深度學(xué)習(xí)核心算法的優(yōu)缺點，本研究對以上幾種常見的深度學(xué)習(xí)算法進(jìn)行了對比。表1所列出的5種常見的深度學(xué)習(xí)算法均具備一定的泛化能力，CNN和SC支持?jǐn)?shù)據(jù)增強(qiáng)，可通過對訓(xùn)練數(shù)據(jù)進(jìn)行旋轉(zhuǎn)等處理來減少一定數(shù)據(jù)采集和標(biāo)記的工作量。在無監(jiān)督學(xué)習(xí)、特征學(xué)習(xí)和支持生物學(xué)解釋方面，各算法表現(xiàn)各異。不同類型的深度學(xué)習(xí)算法表現(xiàn)出各自不同的特點，在實際應(yīng)用場景中，研究人員需要根據(jù)特定科學(xué)問題及應(yīng)用場景，選擇合適的算法來構(gòu)建相關(guān)模型。

表1 不同深度學(xué)習(xí)算法的特點

注：+表示對屬性的支持，++表示對屬性很好的支持，-表示對屬性不支持。

Note: + means the normal capability of the property, ++ means the effectively capability of the property, - means the disability of the property.

理論上，深度學(xué)習(xí)算法是通過海量數(shù)據(jù)來解決復(fù)雜問題的機(jī)器學(xué)習(xí)方法，通常在海量數(shù)據(jù)的支持下，深度學(xué)習(xí)方法的潛力才被充分釋放和發(fā)揮出來，在數(shù)據(jù)量相對較小情況下，普通的機(jī)器學(xué)習(xí)方法即可滿足數(shù)據(jù)建模與預(yù)測的應(yīng)用需求，因而在具體應(yīng)用中通常需要根據(jù)特定研究目標(biāo)的數(shù)據(jù)量與應(yīng)用需求來選取合適的算法。

就目前已經(jīng)發(fā)表的相關(guān)研究來看，圖像仍然是植物表型研究的主要數(shù)據(jù)格式，基于深度學(xué)習(xí)的植物表型圖像處理與應(yīng)用當(dāng)前正呈現(xiàn)出快速增長的趨勢，憑借強(qiáng)大的特征提取和建模能力，深度學(xué)習(xí)為數(shù)據(jù)分析的特征表達(dá)能力不足和維數(shù)災(zāi)難等問題給出全新的解決思路，特別是卷積神經(jīng)網(wǎng)絡(luò)（CNN）[25]，其性能在很大程度上超越了傳統(tǒng)的機(jī)器學(xué)習(xí)方法，成為表型大數(shù)據(jù)分析的常用算法。本研究主要圍繞CNN及其與其他算法融合的網(wǎng)絡(luò)架構(gòu)在作物形態(tài)結(jié)構(gòu)鑒別與分類、脅迫判別與預(yù)警、精準(zhǔn)育種與精準(zhǔn)生產(chǎn)管理、產(chǎn)量測定與預(yù)測等方面的代表性研究與進(jìn)展進(jìn)行討論。

2 深度學(xué)習(xí)在植物表型研究中的具體應(yīng)用

2.1 基于植物形態(tài)特征的表型鑒別與分類

植物的形態(tài)結(jié)構(gòu)在農(nóng)業(yè)生產(chǎn)和研究中有著重要的生物學(xué)意義，是對植物進(jìn)行科學(xué)研究的重要特征，借助機(jī)器視覺技術(shù)、圖像分割和深度學(xué)習(xí)等技術(shù)來準(zhǔn)確地對植物的重要特征進(jìn)行采集和分析是育種和生產(chǎn)過程管理的重要技術(shù)手段，植物表型研究中的圖像分析主要涉及到對作物形態(tài)結(jié)構(gòu)的鑒別與監(jiān)測[26]。

傳統(tǒng)的植物識別與分類方法多依賴于專家經(jīng)驗來分析植物的外觀形狀、紋理、顏色等形態(tài)特征表型，具有主觀性且準(zhǔn)確性不高。在育種工作中，育種學(xué)家通常需要精確測量大量的表型數(shù)據(jù)來篩選優(yōu)良性狀[27]；在農(nóng)業(yè)生產(chǎn)實踐中，對作物不同物候期的特定形態(tài)結(jié)構(gòu)的有效識別與監(jiān)測進(jìn)而實現(xiàn)對作物全生長周期長勢監(jiān)控與水肥智能化調(diào)控，并提高智慧農(nóng)業(yè)生產(chǎn)管控與智能化管理水平，都需要更加強(qiáng)大的表型數(shù)據(jù)分析方法[28]。

借助深度學(xué)習(xí)在特征提取上的優(yōu)勢，一系列人工智能算法在植物特定形態(tài)結(jié)構(gòu)的分類與識別應(yīng)用上表現(xiàn)出較高精度與穩(wěn)健性，為植物表型的智能化識別提供了穩(wěn)健的解決方案。在表2中列舉了深度學(xué)習(xí)算法在基于植物表型研究中具有代表性的一些最新工作?？傮w來看，大多數(shù)表型數(shù)據(jù)以圖像數(shù)據(jù)為主，通過深度學(xué)習(xí)算法進(jìn)行表型特征提取進(jìn)而完成表型鑒別。所列的研究工作涉及組織-器官-植株不同尺度的表型分析，數(shù)據(jù)類型來自實驗室數(shù)據(jù)集和開放數(shù)據(jù)集兩大類，研究目標(biāo)涵蓋了多種作物及其不同生長階段的識別分類，研究層面囊括了不同基因型的表型差異分類與鑒別。

在不同種質(zhì)資源識別研究中，相關(guān)研究的主要目標(biāo)在于如何提高對作物本身或作物特定表型的識別率以及算法的泛化能力，近年來各主流深度學(xué)習(xí)算法均有研究成果發(fā)表，特別是CNN網(wǎng)絡(luò)架構(gòu)，應(yīng)用層面與普適性得到了極大的拓展。在深度學(xué)習(xí)理論與方法發(fā)展早期，研究人員嘗試使用多種方法來解決特定情景下的表型分類與識別問題，但受限于方法本身的局限性，早期的解決方案中需要對圖像數(shù)據(jù)進(jìn)行不同程度的預(yù)處理，如二值化、圖像分割等，然后將紋理特征和形態(tài)特征的組合再進(jìn)行特征提取與分類判別，雖取得了較好的分類結(jié)果（如Liu和Kan[30]、Zhu等[32]），但是方法本身需要多個數(shù)據(jù)處理環(huán)節(jié)，可移植性與穩(wěn)健性有限。

隨著CNN網(wǎng)絡(luò)架構(gòu)的不斷演變與發(fā)展，其本身對圖像特征的抽象學(xué)習(xí)能力得到了充分釋放，因而在基于圖像的表型相關(guān)研究中取得了一系列進(jìn)展，并表現(xiàn)出較其他深度學(xué)習(xí)方法更普適的解析能力。Grinblat等[31]采用葉脈紋理特征通過深度學(xué)習(xí)算法將豆科作物不同品種的識別率提高到96.9%±0.2%，較Larese等[39]提出的算法提高了1.8%。

表2 基于作物形態(tài)結(jié)構(gòu)的分類與識別舉例

在基于植物圖像的表型識別方面，Liu和Kan[30]通過改進(jìn)的深度置信網(wǎng)絡(luò)和多特征融合的葉片識別研究，將220種不同植物的葉片分類精度提高到93.9%；2017年，Zhu等[32]基于多通道稀疏編碼特征提取方法，對圖像進(jìn)行了尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）后，再進(jìn)行多通道稀疏編碼獲得了近100%的分類效果。Taghavi等[33]通過卷積神經(jīng)網(wǎng)絡(luò)與長短記憶網(wǎng)絡(luò)的耦合算法（Convolutional Neural Network Combined Long Short-Term Memory Network，CNN-LSTM），對不同品種的擬南芥頂部視角照片組成的數(shù)據(jù)集進(jìn)行了識別與分類，成功地將擬南芥的識別與分類工作提高到93%，較卷積神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)融合（Convolutional Neural Network Combined Conditional Random Fields，CNN-CRFs）算法87.6%的平均識別率提高了5.4%。Liu等[34]利用卷積神經(jīng)網(wǎng)絡(luò)融合循環(huán)神經(jīng)網(wǎng)絡(luò)的算法架構(gòu)（Convolutional Neural Network Combined Recurrent Neural Network，CNN-RNN）以觀察者視角的圖像數(shù)據(jù)對植物進(jìn)行了識別，以作物各部分結(jié)構(gòu)或器官以順序方式對植物圖像進(jìn)行建模，探索并實現(xiàn)了通過多個局部特征來提高整體表型識別率的可行性。夏威夷大學(xué)馬諾阿分校Krause等[35]利用卷積神經(jīng)網(wǎng)絡(luò)通過多器官形態(tài)特征構(gòu)建了用于在自然圖像中精準(zhǔn)識別植物的系統(tǒng)WTPlant（What's that plant?）（圖1），依據(jù)植物分類學(xué)體系，該系統(tǒng)可對夏威夷大學(xué)馬諾阿分校中的100種不同植物進(jìn)行識別。在微觀層面的作物表型識別與計數(shù)應(yīng)用上，不少研究聚焦在作物生長生產(chǎn)過程中密切相關(guān)的微觀生理結(jié)構(gòu)分析上，以此來評價作物生理學(xué)運(yùn)行機(jī)制。葉片是植物進(jìn)行光合作用的場所，氣孔是植物與外界環(huán)境進(jìn)行氣體與水分交換的重要結(jié)構(gòu)，葉片氣孔的大小與密度直接影響葉片與外部環(huán)境間的氣體交換量，進(jìn)而影響植物的光合作用、呼吸作用與蒸騰作用[40]。此外，氣孔對植物生境的變化具有較強(qiáng)的敏感性，其形狀、密度、大小等特征隨溫度、光照、CO2濃度以及降水等環(huán)境因子的改變而發(fā)生變化，因此大多采用植物葉片氣孔參數(shù)（密度、大小、導(dǎo)度）來反應(yīng)植物體對環(huán)境變化的響應(yīng)，對氣孔進(jìn)行表型識別與評估有助于理解作物對環(huán)境變化的響應(yīng)機(jī)制。在對氣孔數(shù)量表型的研究中，如何對單位面積上的氣孔進(jìn)行準(zhǔn)確識別與計數(shù)需要借助全新的研究手段，在完全自動化的氣孔計數(shù)方法出現(xiàn)之前，研究人員只能依靠人工操作來完成計數(shù)，適用于少量研究樣本的研究，易受主觀影響引起誤差。Fetter等[36]提出了一種使用深卷積神經(jīng)網(wǎng)絡(luò)的自動氣孔計數(shù)系統(tǒng)StomataCounter（圖2），來識別和統(tǒng)計顯微圖像中的氣孔。結(jié)果表明該神經(jīng)網(wǎng)絡(luò)對銀杏顯微照片的識別準(zhǔn)確率達(dá)到98.1%，模型在未經(jīng)訓(xùn)練的其他作物氣孔圖像應(yīng)用識別精度達(dá)到了94.2%，提供了針對作物微觀表型智能化研究范例。

注：引自Krause等[35]。MIT圖像情景解析器是堆疊卷積結(jié)構(gòu)的圖像分割功能模塊。

注：引自Fetter等[36]。DCNN為深度卷積神經(jīng)網(wǎng)絡(luò)，SGD為隨機(jī)梯度下降。

在基于圖像視覺特征的農(nóng)田雜草種子分類與識別研究方面，Wang和Cai[29]構(gòu)建了深度學(xué)習(xí)網(wǎng)絡(luò)PCANet，相比之前類似研究中對圖像特征提取過程存在的噪聲較大和有效特征丟失的問題，該網(wǎng)絡(luò)表現(xiàn)出對噪聲更好的抑制能力和對重要特征的更有效抓取能力，在對91種雜草種子圖像的平均識別率也達(dá)到了90.96%，對其中的45種雜草識別率達(dá)到100%，為精細(xì)農(nóng)業(yè)生產(chǎn)中的雜草鑒別提供了可借鑒方法。

總體來看，在深度學(xué)習(xí)算法與植物表型識別分類的應(yīng)用場景中，深度算法在特征選取的優(yōu)勢表現(xiàn)的尤為明顯，表現(xiàn)出很好的穩(wěn)健性。在以上列舉的代表性工作中，CNN網(wǎng)絡(luò)架構(gòu)對植物表型特征的提取能力較之前發(fā)表的特征提取方法表現(xiàn)出相當(dāng)?shù)膬?yōu)勢，而且不需要對特征進(jìn)行設(shè)計就可以實現(xiàn)對圖像特征的提取。從植物表型分類的維度上來看，可概括為不同植物品種特定表型的分類以及融合多表型特征的分類。隨著表型鑒別難度的增加，研究人員除通過選取合適的算法外，還對作物不同組織器官特征進(jìn)行預(yù)提取，或根據(jù)不同器官組織特征分別進(jìn)行特征提取等方法來解決實際表型分類問題。近期，研究人員嘗試用傳統(tǒng)特征提取與CNN特征提取相融合解決對作物表型特征的識別與分類（如Wang和Cai[29]），取得了比傳統(tǒng)方法更好的效果。對比常見的研究視角，CNN在植物微觀表型分類與識別上同樣表現(xiàn)出適用性，CNN對不同尺度層面的表型研究均適用。

此外，結(jié)合深度學(xué)習(xí)各種算法發(fā)展的時間脈絡(luò)分析可以看出（表2），在CNN網(wǎng)絡(luò)發(fā)展初期，其他深度學(xué)習(xí)算法（如DBN、SC等）需要借助之前發(fā)表的傳統(tǒng)特征提取方法（如SIFT），先對特定特征進(jìn)行提取，然后通過進(jìn)一步的特征提取來達(dá)到分類效果，同時需要借助傳統(tǒng)的分類器（如SVM）來達(dá)到表型識別與分類效果。相關(guān)文獻(xiàn)顯示，自2017年以來，隨著CNN算法架構(gòu)的發(fā)展與特征提取能力的逐漸提高，CNN已成為圖像特征提取與分類的主流算法，且隨之出現(xiàn)了針對特定研究目標(biāo)的優(yōu)化方案，諸如Taghavi等[33]和Liu等[34]通過多種深度學(xué)習(xí)方法的融合，進(jìn)一步提升了特定情景下植物表型鑒別的精度。較新的研究顯示，除了通過深度學(xué)習(xí)方法的創(chuàng)新外，還可以通過多個表型特征的融合來改善分類識別精度，如Rzanny等[37]基于CNN最新網(wǎng)絡(luò)架構(gòu)，結(jié)合了花的側(cè)視圖和花的頂視圖等多器官特征，極大地改善了最新CNN網(wǎng)絡(luò)架構(gòu)的分類結(jié)果。Nguyen等[38]利用CNN及遷移學(xué)習(xí)能力通過靈活的數(shù)據(jù)收集方式構(gòu)建了適應(yīng)植物在不同地區(qū)分布不均的普適型作物識別系統(tǒng)，并評價了AlexNet（該網(wǎng)絡(luò)是2012年ImageNet競賽冠軍獲得者Alex Krizhevsky設(shè)計的，并由此命名）[5]、VGG（系列架構(gòu)由牛津大學(xué)視覺幾何小組 Visual Geometry Group提出，名稱來自該研究小組名稱縮寫）[41]和研究人員構(gòu)建的CNN算法架構(gòu)在作物不同器官特征下的分類識別效果，結(jié)果顯示，所設(shè)計的算法架構(gòu)與遷移學(xué)習(xí)的結(jié)合可以提取到比之前發(fā)表的特征提取算法更加豐富可靠的特征，為未來深度學(xué)習(xí)數(shù)據(jù)收集與算法設(shè)計提供了借鑒。

2.2 深度學(xué)習(xí)在植物脅迫分析中的應(yīng)用

植物的生長受到多種環(huán)境因素的影響，其生長生產(chǎn)過程中需要應(yīng)對多種生物脅迫和非生物脅迫的考驗。總體來講，農(nóng)業(yè)生產(chǎn)受到不同程度自然災(zāi)害的影響，嚴(yán)重的高溫、低溫、干旱、洪澇、蟲害、病害等自然災(zāi)害一旦發(fā)生，往往對農(nóng)業(yè)生產(chǎn)造成不可逆轉(zhuǎn)的損失[42]。從全球范圍來看，非生物脅迫因素中的干旱與生物脅迫中的病蟲害是影響世界糧食產(chǎn)量的兩大主要因素。在作物受到脅迫且未形成不可恢復(fù)損傷之前通過對受脅迫部位的精準(zhǔn)識別來定性脅迫種類，判定脅迫程度，為有效啟動植保作業(yè)贏得寶貴時機(jī)是智慧農(nóng)業(yè)植保工作的目標(biāo)。

在生物脅迫方面，蟲害和病害是造成作物減產(chǎn)的主要因素。世界范圍內(nèi)的林木、果蔬、觀賞和藥用植物以及主糧生產(chǎn)作物等都可能受到不同程度、不同類型的蟲害病害侵襲，對相關(guān)產(chǎn)業(yè)產(chǎn)值收益造成重大損失。在植物脅迫表型識別與定性定量的系列研究中，眾多文獻(xiàn)對不同植物在相應(yīng)典型生物脅迫下的表型性狀進(jìn)行了分類與識別、定性與定量的相關(guān)研究工作，表3列舉了部分代表性文獻(xiàn)，涉及到大豆、香蕉、玉米和油菜等作物的典型生物脅迫的識別與鑒定，算法以卷積神經(jīng)網(wǎng)絡(luò)為主，通過數(shù)碼圖像對作物的病害種類進(jìn)行了鑒定，對病害程度進(jìn)行了定性與定量分析。

在實際大田生產(chǎn)中的生物脅迫研究中，DeChant等[43]就玉米的真菌性病害葉枯?。∟orthern Leaf Blight，NLB）葉片圖像進(jìn)行了識別、定性及定量分析，NLB病原為，是子囊菌的一種，感染該病的玉米葉片會呈現(xiàn)出綠灰色壞死病斑，未及時處理會影響植株生理健康進(jìn)而引起減產(chǎn)。研究結(jié)果顯示，通過CNN算法對控制變量情景下的玉米病害識別與分類精度較之前 Mohanty等[49]發(fā)表的結(jié)果有大幅提高，在對作物葉片是否染病的判別分類結(jié)果達(dá)到99%以上的高精度，而在對作物品種與病害類型同時進(jìn)行分類與識別準(zhǔn)確度一舉提高了23%，該模型可在低空遙感和田間生產(chǎn)服務(wù)的作物高通量表型的快速獲取與研究中發(fā)揮作用。Ferentinos[45]采用開放數(shù)據(jù)集對作物病害的識別診斷給出了解決方案，采用不同的深度學(xué)習(xí)方法對包含25種作物的58種病害圖像數(shù)據(jù)進(jìn)行了分類鑒定，識別分類結(jié)果精度可達(dá)99.53%。He等[46]通過在互聯(lián)網(wǎng)和田間兩種途徑收集的包含12種典型油菜病蟲害數(shù)據(jù)集就油菜病蟲害的識別分類進(jìn)行了研究（圖3），所構(gòu)建的模型將油菜蟲害分類識別的平均精度提高到了77.14%，由此集成的手機(jī)應(yīng)用程序表現(xiàn)出良好的環(huán)境適應(yīng)性、響應(yīng)速度和準(zhǔn)確性，并且具有成本低廉和操作簡單的優(yōu)點，適合于無人機(jī)和物聯(lián)網(wǎng)（Internet of Things，IoT）的有害生物監(jiān)視任務(wù)。

表3 深度學(xué)習(xí)在植物生物脅迫分析中的應(yīng)用舉例

脅迫研究的目標(biāo)是盡早發(fā)現(xiàn)脅迫癥狀而采取相應(yīng)的應(yīng)對方案，因此對作物在受到脅迫后未顯癥或早期顯癥時進(jìn)行圖像數(shù)據(jù)采集需要把握恰當(dāng)?shù)臅r機(jī)，對圖像的標(biāo)記需要專家經(jīng)驗的支持，構(gòu)建高質(zhì)量的作物脅迫數(shù)據(jù)集需要專業(yè)人員付出相當(dāng)?shù)木?。值得研究人員注意的是，近年來CNN深度學(xué)習(xí)模型對非生物脅迫表型的識別表現(xiàn)出對脅迫種類的無關(guān)性，不少研究已經(jīng)表明對非生物脅迫的定性可以考慮采用遷移學(xué)習(xí)或改進(jìn)現(xiàn)有的網(wǎng)絡(luò)架構(gòu)（Kamal等[47-48]）在減少網(wǎng)絡(luò)參數(shù)，縮短訓(xùn)練時間的同時不影響模型的預(yù)測能力，特別是以VGG、Inception v3、ResNet、DenseNet和SENet等成熟應(yīng)用的網(wǎng)絡(luò)架構(gòu)，在適應(yīng)性和可遷移性方面都有穩(wěn)定的表現(xiàn)。

在非生物脅迫方面，溫室效應(yīng)導(dǎo)致全球變暖日益加劇，不同程度的自然災(zāi)害時有發(fā)生，嚴(yán)重威脅到農(nóng)林牧業(yè)的穩(wěn)定生產(chǎn)和自然生態(tài)環(huán)境安全。表4列舉了近年來深度學(xué)習(xí)在植物非生物脅迫分析中的一些代表性工作，研究對象多聚集在主糧作物和經(jīng)濟(jì)作物。

注：引自He等[46]。白色方框中為算法對害蟲的識別。

表4 深度學(xué)習(xí)在植物非生物脅迫分析中的應(yīng)用舉例

干旱作為影響主要經(jīng)濟(jì)作物生產(chǎn)的關(guān)鍵影響因素之一，每年都會在全球范圍內(nèi)造成巨大的經(jīng)濟(jì)損失。通過培育對非生物脅迫具有更強(qiáng)抗性的優(yōu)良品種等[55]手段是實現(xiàn)在干旱和半干旱地區(qū)提高作物產(chǎn)量的可行技術(shù)路線。在通過對抗旱基因型-表型的篩選來培育抗旱品種的相關(guān)研究中，Sun等[53]利用葉綠素?zé)晒獬上駝討B(tài)監(jiān)測鹽分過度敏感（Salt Overly Sensitive，SOS）突變體在干旱條件下的時間序列響應(yīng)（圖4），并提取擬南芥SOS突變體在干旱脅迫下的熒光指紋圖譜。通過深度學(xué)習(xí)算法 SAE 神經(jīng)網(wǎng)絡(luò)提取時間序列葉綠素?zé)晒馓卣?，然后將其用于對SOS11、SOS23和Col 0三個基因型的擬南芥葉綠素?zé)晒庵讣y圖譜的識別，準(zhǔn)確度可達(dá)95%。該項研究的結(jié)果為了解干旱基因在SOS通路中的功能提供了一種有效的觀測手段，同時也為提高作物抗性育種效率提供了新思路。

注：引自Sun等[53]。ChIF為葉綠素?zé)晒?，PCA為主成分分析，SFS為序列前向選擇，LDA為線性判別分析，KNN為K最鄰近算法，NB為樸素貝葉斯，SVM為支持向量機(jī)。

Ghosal等[52]通過25 000幅大豆葉片生理脅迫損傷和營養(yǎng)缺乏癥（如除草劑脅迫損傷、缺鉀等）圖像對大豆非生物脅迫下的癥狀進(jìn)行了深度學(xué)習(xí)分類鑒別（圖5），所訓(xùn)練的模型對于輸入圖像擾動具有穩(wěn)健性。訓(xùn)練后的模型可以部署在移動平臺（如無人駕駛飛機(jī)和自動地面?zhèn)刹鞕C(jī)）中，可實現(xiàn)快速，大規(guī)模的大豆植保偵察，也可以部署成移動應(yīng)用程序來實時檢測大豆的非生物脅迫類別。

注：引自Ghosal等[52]。

快速預(yù)測作物水分含量是實現(xiàn)作物水分供應(yīng)智能管控的前提。溫度，濕度，日照量和植物繁殖力等因素均可能影響植物的生理過程而形成水分脅迫。Kaneda等[51]提出了一種使用多模式新型植物水分脅迫預(yù)測方法（圖 6），所提出的基于滑窗的支持向量機(jī)回歸（Sliding Window-Based Support Vector Regression，SW-SVR）算法用于監(jiān)測不同時期植物在水分脅迫下的生理變化，對比研究結(jié)果表明所提出的模型在植物水分脅迫預(yù)測上更勝一籌。

注：引自Kaneda等[51]。白色方框展示了算法對植株受水分脅迫后形態(tài)變化的識別效果，對照正常情況圖6a，相同高度h1和h2下，圖6b中的植物在相應(yīng)位置的組織受水分脅迫出現(xiàn)了萎蔫現(xiàn)象。

凍害是造成作物生產(chǎn)重大損失且不可逆轉(zhuǎn)的災(zāi)害之一。無損光譜圖像是對作物內(nèi)部生理結(jié)構(gòu)變化進(jìn)行有效分析的一種技術(shù)，通過光譜差異可以反映植物生長發(fā)育過程中生理結(jié)構(gòu)、生理參數(shù)的變化，并已廣泛用于高通量表型育種篩選。Yang等[54]使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型根據(jù)多個基因型玉米在可見-近紅外范圍內(nèi)光譜特征對玉米凍害進(jìn)行的判別效果與化學(xué)值判別結(jié)果表現(xiàn)出較好的相關(guān)性。

玉米產(chǎn)業(yè)是很多國家的支柱產(chǎn)業(yè)，玉米生長過程中的氮素供應(yīng)直接影響玉米的產(chǎn)量，因此盡早發(fā)現(xiàn)其氮素利用狀況以便及時調(diào)整氮素供給以最大程度地保證玉米產(chǎn)量是生產(chǎn)中的客觀需求。Condori等[50]通過預(yù)訓(xùn)練CNN模型，提出了一種簡單的遷移學(xué)習(xí)方法，從已經(jīng)訓(xùn)練好的CNN網(wǎng)絡(luò)中來學(xué)習(xí)到玉米氮素缺乏診斷函數(shù)，并將其結(jié)果與傳統(tǒng)紋理方法對氮素缺乏的識別效果進(jìn)行了比較。在包含不同生長階段和不同水平的氮肥水平的玉米葉片數(shù)字化圖像數(shù)據(jù)上的測試結(jié)果表明，基于深度學(xué)習(xí)的描述比傳統(tǒng)的紋理方法效果更佳。

總之，人工智能算法與作物脅迫的融合為相關(guān)研究提供了特定情景下優(yōu)選的解決方案，然而，相關(guān)研究仍需要解決以下幾個矛盾。其一，對網(wǎng)絡(luò)架構(gòu)的設(shè)計規(guī)模與訓(xùn)練代價方面的權(quán)衡，還需要考慮所要解決問題的復(fù)雜程度和神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)的特征豐度來設(shè)計或選用特定的神經(jīng)網(wǎng)絡(luò)架構(gòu)，也可以在現(xiàn)有工作的基礎(chǔ)上，為類似的問題通過遷移學(xué)習(xí)的辦法來實現(xiàn)更加快速的參數(shù)調(diào)整進(jìn)而得到需要的解決方案。其二，對脅迫癥狀的有效識別需要考慮癥狀類別數(shù)、訓(xùn)練集和測試集中圖像之間的特征相似性以及圖像背景特征及其多變性。顯然，脅迫類別數(shù)越多，模型對脅迫判別的準(zhǔn)確度越低。而深度學(xué)習(xí)模型只能學(xué)習(xí)到訓(xùn)練集中的特征，如果訓(xùn)練集與測試集中的圖像特征相關(guān)較小，勢必會影響到模型的準(zhǔn)確性，因此，大數(shù)據(jù)集有助于提高模型對脅迫判定的準(zhǔn)確度，同時，特定試驗?zāi)Ｐ驮趯嶋H生產(chǎn)中的應(yīng)用仍需要大量引入實際數(shù)據(jù)或從實際數(shù)據(jù)集構(gòu)建識別模型。而圖像拍攝條件也會對模型泛化能力造成一定影響，不同的背景可能對模型預(yù)測結(jié)果產(chǎn)生相當(dāng)?shù)挠绊懀貏e是在真實生產(chǎn)環(huán)境中采集的數(shù)據(jù)集，而實驗室數(shù)據(jù)通常是在相對統(tǒng)一的拍攝條件下得到的數(shù)據(jù)集，這也成為影響模型預(yù)測準(zhǔn)確性的重要因素，因此，研究人員可以盡可能包括實際生產(chǎn)環(huán)境中的多種背景來構(gòu)建更加穩(wěn)健的智能診斷模型。其三，如何通過相關(guān)智能算法對脅迫后未顯癥或隱現(xiàn)癥狀進(jìn)行有效識別。文獻(xiàn)查閱顯示，目前深度學(xué)習(xí)對常見作物的生物及非生物脅迫通常僅僅局限在常見癥狀的典型癥狀數(shù)據(jù)進(jìn)行識別與量化，而如何通過多源傳感器數(shù)據(jù)在作物脅迫后未顯癥或脅迫癥狀隱現(xiàn)階段進(jìn)行有效識別的研究尚不多見，相關(guān)研究也是智慧農(nóng)業(yè)生產(chǎn)管控的重要技術(shù)支撐之一，是本領(lǐng)域的重點與難點，尚有不少問題需要解決，以光譜成像等傳感數(shù)據(jù)與深度學(xué)習(xí)方法來對作物脅迫進(jìn)行深入分析為例，面臨的問題有高維數(shù)據(jù)冗余、數(shù)據(jù)采集費(fèi)時耗力，缺少成熟的面向光譜圖像訓(xùn)練的深度學(xué)習(xí)模型等，需要開展多學(xué)科交叉融合與深度合作。

2.3 深度學(xué)習(xí)在作物產(chǎn)量預(yù)測方面的應(yīng)用

在深度學(xué)習(xí)算法還未取得重大突破之前，關(guān)于作物生產(chǎn)過程的產(chǎn)量預(yù)測建立在果實目標(biāo)有效識別的前提上，在不同物候期對作物進(jìn)行產(chǎn)量評估多依賴經(jīng)驗，缺乏科學(xué)依據(jù)，特別是對作物果實目標(biāo)的有效識別往往受制于不同生長期果實性狀的動態(tài)變化性，包括果實顏色、形狀、紋理、空間位置和大小等。此外，對不同成熟期的果實識別多依賴于閾值選取范圍，且特定算法通常只能對特定生長期的果實進(jìn)行識別，一定程度上，對于外觀尚小的、成長期不一致的情況，增大了產(chǎn)量預(yù)測誤差。

計算機(jī)視覺結(jié)合深度學(xué)習(xí)算法通過對顏色、幾何形狀、紋理以及多種表型耦合特征的提取和分類，極大地提升了產(chǎn)量預(yù)測的準(zhǔn)確度。在產(chǎn)量測定和預(yù)測方面，深度學(xué)習(xí)算法在各種主糧作物以及經(jīng)濟(jì)作物產(chǎn)量評估中兼有研究成果，大致可分為以下3種應(yīng)用場景：基于果實識別與計數(shù)的經(jīng)濟(jì)類作物產(chǎn)量預(yù)測，基于無人機(jī)低空遙感的田間作物產(chǎn)量預(yù)測以及基于多尺度、多源數(shù)據(jù)、多因素復(fù)合的多維度產(chǎn)量預(yù)測。深度學(xué)習(xí)在作物產(chǎn)量方面的應(yīng)用舉例表5列舉了近年來深度學(xué)習(xí)在作物生產(chǎn)方面的典型應(yīng)用，其中，CNN類算法被廣泛用于基于果實識別與計數(shù)的經(jīng)濟(jì)類作物產(chǎn)量預(yù)測，而LSTM則被用于時序產(chǎn)量的多因素、多維度預(yù)測。Rahnemoonfar和Sheppard[56]通過24 000張合成的照片，在Nvidia 980Ti GPU的硬件支持下，借助谷歌（Google）深度學(xué)習(xí)框架（Tensorflow）完成了模型訓(xùn)練，并通過2 400張合成照片和100張Google隨機(jī)搜索到的成熟番茄照片對模型進(jìn)行了驗證，結(jié)果表明，對隨機(jī)搜索圖片表現(xiàn)出91%的準(zhǔn)確率，算法在應(yīng)對葉片莖部陰影、遮擋或果實部分重疊情況下依然表現(xiàn)出穩(wěn)定的性能，可以推廣到果實特征相仿的其它水果產(chǎn)量預(yù)測中，但該研究并未對綠熟期和轉(zhuǎn)熟期的果實識別與計數(shù)進(jìn)行研究。

表5 深度學(xué)習(xí)在作物產(chǎn)量方面的應(yīng)用舉例

在尋求提高作物產(chǎn)量的過程中，往往需要對大量種群樣本進(jìn)行產(chǎn)量相關(guān)的表型數(shù)據(jù)分析與評估[61]。通常的做法是通過品種、建園、整形、施肥、防病及植物生長調(diào)節(jié)劑的綜合應(yīng)用來提出改進(jìn)品質(zhì)、提高產(chǎn)量的經(jīng)驗途徑和方法，評估過程多依賴于專家經(jīng)驗[62]。此外，在作物產(chǎn)量的評估研究中，不同類型的作物對產(chǎn)量的評估通常需要有針對性的方法，當(dāng)前大多情況下的作物的產(chǎn)量表型數(shù)據(jù)主要是通過人工進(jìn)行測量，效率低且可靠性差。最近的一些研究中，有研究人員通過生產(chǎn)管控數(shù)據(jù)科學(xué)地完成這些工作是近年來深度學(xué)習(xí)融合表型數(shù)據(jù)探索的方向，產(chǎn)出了一系列研究成果。

在漿果類作物產(chǎn)量評估研究方面所構(gòu)建的模型需要滿足現(xiàn)場實時使用的需求，一方面，在實驗室條件下，以簇為單位估計漿果數(shù)依賴于圖像分析技術(shù)[63]，考慮到作物實際生產(chǎn)環(huán)境下的各種生長形態(tài)以及實驗室或現(xiàn)場條件下表型信息采集速度與基因分型速度的不一致，漿果計數(shù)的研究遇到了瓶頸[64]。因此，不少學(xué)者近年來提出了在真實不受控條件下的產(chǎn)量預(yù)測的圖像分析算法。Aquino等[57]提出了一款智能手機(jī)應(yīng)用程序（圖7），通過人工智能算法提出了漿果實時計數(shù)方案，利用計算機(jī)視覺在不同物候期對葡萄果粒數(shù)量進(jìn)行了估測，最高精度可達(dá)95%，借助該應(yīng)用，葡萄種植者可以簡單高效地獲取葡萄的表型信息，也為相關(guān)研究者快速獲取和評價漿果類作物表型信息提供了一種借鑒。

大田作物的生長過程監(jiān)控和產(chǎn)量評估是保障糧食安全的基礎(chǔ)，近年來，遙感信息與作物生長模型的耦合應(yīng)用被用來解決作物長勢監(jiān)測和產(chǎn)量預(yù)測等一系列農(nóng)業(yè)問題，越來越受到相關(guān)研究人員的關(guān)注，遙感數(shù)據(jù)與作物生長模型的主流方法有強(qiáng)迫法和同化法[65]。然而這些方法的處理模型（作物生長和輻射傳遞）處理過程相對復(fù)雜，耦合過程數(shù)據(jù)處理存在積累誤差，此外，驅(qū)動模型運(yùn)行的各種初始數(shù)據(jù)、遙感反演作物參數(shù)以及同化算法的不完備性，相關(guān)方法還存在技術(shù)瓶頸，無法在實際中應(yīng)用[66]。東京大學(xué)的Kuwata和Shibasaki[67]提出了利用氣候數(shù)據(jù)和其他環(huán)境數(shù)據(jù)結(jié)合深度學(xué)習(xí)方法來估算作物產(chǎn)量的新思路。該方法使用快速特征嵌入的深度學(xué)習(xí)架構(gòu)對美國伊利諾伊州（State of Illinois）的玉米產(chǎn)量進(jìn)行了預(yù)測，取得了0.81的相關(guān)性系數(shù)，均方根誤差（Root Mean Square Error，RMSE）為6.298，表明深度學(xué)習(xí)在大尺度估測作物產(chǎn)量的可能性。相比作物生長模型需要預(yù)先確定嚴(yán)格的輸入數(shù)據(jù)，其應(yīng)用范圍和使用場景非常有限，而深度學(xué)習(xí)方法提高了作物產(chǎn)量特征提取的穩(wěn)定性，由此為進(jìn)一步提升產(chǎn)量預(yù)測的精度提供了可能。因此，即使在數(shù)據(jù)獲取有限的地區(qū)，深度學(xué)習(xí)在估算作物產(chǎn)量的表現(xiàn)也比之前的方法表現(xiàn)出優(yōu)勢。Aich等[58]建立了3個深度學(xué)習(xí)模型，分別就航拍小麥大田圖像進(jìn)行作物部分圖像切割、作物植株計數(shù)和生物量預(yù)測。結(jié)果顯示，論文所做的工作較之前發(fā)表論文中的田野植株生物量估計、植株計數(shù)和葉片計數(shù)模型都表現(xiàn)出更高的準(zhǔn)確率。

注：引自Aquino等[57]。

此外，Jiang等[59]以美國縣級玉米生產(chǎn)帶2006—2017年共7 232條觀測數(shù)據(jù)借助LSTM算法對玉米產(chǎn)量預(yù)測進(jìn)行了研究，數(shù)據(jù)集包括玉米生產(chǎn)的5個生長期的降水、積溫、高溫積溫和植被指數(shù)及產(chǎn)量數(shù)據(jù)，憑借LSTM算法在時序依賴、信息選擇性傳遞和非線性擬合等優(yōu)勢（圖 8），結(jié)果表明該模型較嶺回歸和隨機(jī)森林模型明顯提升了玉米估產(chǎn)的精度和魯棒性。該研究工作為探究氣候變化下的作物生長監(jiān)測提供了一種多源數(shù)據(jù)驅(qū)動的研究方法。此外，Sun等[60]為縣級尺度下大豆產(chǎn)量預(yù)測提出了一個深層卷積-長短記憶網(wǎng)絡(luò)（CNN-LSTM）模型，模型通過對天氣數(shù)據(jù)，中等分辨率成像光譜儀（Moderate Resolution Imaging Spectroradiometer，MODIS）測得的地表溫度和地面反射率作為輸入數(shù)據(jù)，以大豆歷史產(chǎn)量數(shù)據(jù)為標(biāo)簽，基于Google Earth Engine，將數(shù)據(jù)合并轉(zhuǎn)換為基于直方圖的張量以進(jìn)行了模型訓(xùn)練，結(jié)果顯示，模型的結(jié)果均優(yōu)于單純使用CNN或LSTM模型。

圖8 基于物候的長期短期記憶（LSTM）模型的結(jié)構(gòu)

Fig.8 Structure of the phenology-based Long Short-Term Memory (LSTM) model

在高通量產(chǎn)量性狀監(jiān)測方面，計算機(jī)視覺和人工智能是主要的技術(shù)路線，與傳統(tǒng)的人工方法相比，人工智能的引入可以有效提高估測效率和通量，在模型穩(wěn)健性和效率上也明顯勝出。

在基于作物重要組織或器官的目標(biāo)識別進(jìn)行的產(chǎn)量預(yù)測方面，不少研究在現(xiàn)有的網(wǎng)絡(luò)架構(gòu)上進(jìn)行了改進(jìn)或調(diào)整來達(dá)到對產(chǎn)量的預(yù)測，通常并不需要為實現(xiàn)多類別多目標(biāo)識別計數(shù)的網(wǎng)絡(luò)深度，因此研究人員需要根據(jù)自己的研究情景來構(gòu)建或調(diào)整成熟的網(wǎng)絡(luò)來實現(xiàn)相應(yīng)的研究目標(biāo)。近年來針對目標(biāo)檢測的框架可分為基于候選框（anchor-based）類和不依賴候選框（anchor-free）兩類，前者又可分為基于邊框回歸的一步判別法和首先生成候選框再進(jìn)行目標(biāo)判別的二步法。概括來講，一步法檢測速度較二步法快一些，但是二步法可為多重特征分類識別提供更高的識別準(zhǔn)確率。此類算法在基于植物形態(tài)特征的表型鑒別與分類中已有大量應(yīng)用采用該類算法架構(gòu)，該類算法在基于果實表型識別與計數(shù)基礎(chǔ)上的產(chǎn)量預(yù)測較多種表型鑒別分類而言，需要鑒定的類別在特征層面上由相似特征鑒定轉(zhuǎn)變?yōu)樘囟ū硇途珳?zhǔn)識別，應(yīng)用情景略有差異，但是后者算法的相關(guān)研究將在實際生產(chǎn)應(yīng)用中表現(xiàn)出更大的潛力。此外，對基于作物的歷史產(chǎn)量數(shù)據(jù)，兼顧考慮農(nóng)作物生長環(huán)境、長勢、物候等的大范圍產(chǎn)量預(yù)測情景中，需要融合空間異質(zhì)的作物物候數(shù)、遙感和氣象數(shù)據(jù)等多源數(shù)據(jù)實現(xiàn)在不同生長期對作物產(chǎn)量預(yù)測。最近在該領(lǐng)域進(jìn)行的試驗表明，CNN在探索更多的空間特征方面具有顯著優(yōu)勢，而LSTM具有揭示物候特征的能力，這兩類算法優(yōu)勢的融合將進(jìn)一步提升基于多源生產(chǎn)數(shù)據(jù)對大田作物產(chǎn)量預(yù)測的靈活性和可靠性。

2.4 表型人工智能和大數(shù)據(jù)支撐的精準(zhǔn)育種與精準(zhǔn)管理應(yīng)用

作物生產(chǎn)力和生態(tài)適應(yīng)性是糧食作物新品種選育的重要評價指標(biāo)[55]，基因組學(xué)和表型組學(xué)的交叉融合為深入探究植物對環(huán)境擾動的復(fù)雜生物學(xué)反應(yīng)機(jī)制提供了新思路，然而，目前的傳統(tǒng)算法與應(yīng)用多集中在解決單組學(xué)數(shù)據(jù)集的明確任務(wù)，如何將基因型與表型聯(lián)系起來仍然是相關(guān)研究的瓶頸[68-69]。表6列舉了在基于表型大數(shù)據(jù)和人工智能支撐的精準(zhǔn)育種和精準(zhǔn)管理方面的代表性工作，在面向現(xiàn)代先進(jìn)育種和田間管理智能化管理領(lǐng)域，表型大數(shù)據(jù)與人工智能的融合為應(yīng)對相關(guān)領(lǐng)域內(nèi)的難點問題提供了方案。

表6 人工智能和大數(shù)據(jù)支撐的精準(zhǔn)育種與精準(zhǔn)管理應(yīng)用舉例

人工智能技術(shù)為解決跨多模態(tài)集成數(shù)據(jù)支持的現(xiàn)代育種研究提供了可行性，基于基因型-表型的大數(shù)據(jù)人工智能育種是現(xiàn)代育種研究的新方向，基于基因組數(shù)據(jù)指導(dǎo)的育種選擇將從基因組-表型組的融合視角大幅度提高育種效率。基因組選擇（Genomic Selection，GS）是一種用于植物育種選擇的新方法，它通過基因組預(yù)測（Genomic Prediction，GP）機(jī)制來加速育種過程。大多數(shù)GP模型使用的線性方法忽略了基因之間相互作用的影響和高階非線性的影響，而深度學(xué)習(xí)可以有效避免傳統(tǒng)模型在基因組預(yù)測上的局限性。Rachmatia等[77]的研究通過DBN深度學(xué)習(xí)算法（圖9），利用全基因組單核苷酸多態(tài)性（Single Nucleotide Polymorphisms，SNP）作為訓(xùn)練和測試數(shù)據(jù)構(gòu)建了基因組預(yù)測模型（GP），結(jié)果顯示，在具有非疊加性特征的情況下，DBN的性能優(yōu)于其他傳統(tǒng)方法，在[-1,1]范圍內(nèi)的相關(guān)性可達(dá)0.579。

注：引自Rachmatia等[77]。SNP為重新編碼的全基因組單核苷酸多態(tài)性；Stacked RBM指堆疊受限玻爾茲曼機(jī)。

Baweja等[72]使用配備高分辨率立體成像儀的地面機(jī)器人Robotanist來捕獲高粱植物實驗地塊的密集圖像數(shù)據(jù)，通過快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster-Regions with CNN Features，F(xiàn)aster-RCNN)算法構(gòu)建了莖桿數(shù)和莖寬的測量算法（圖10），結(jié)果表明，這種新型方法產(chǎn)生的2為0.88、平均絕對誤差2.77 mm，大幅度提升傳統(tǒng)測量效率，該研究對許多一年生作物（如高粱、甘蔗、谷物、玉米）有借鑒意義。

在現(xiàn)代育種工作及生產(chǎn)實踐中發(fā)現(xiàn)，種子活力具有很強(qiáng)遺傳性，且存在母體效應(yīng)，種子活力的高低不僅決定后期植株優(yōu)良形態(tài)的建立，而且是作物高產(chǎn)的基礎(chǔ)，因此，高活力的親本是育種工作的重要種質(zhì)資源[69]。如何快速高通量地實現(xiàn)對種子活力進(jìn)行分級是智能農(nóng)業(yè)面向生產(chǎn)應(yīng)用中需要解決的問題之一。Przyby?o和Jab?oński[73]構(gòu)建了一種基于計算機(jī)視覺和深度學(xué)習(xí)方法的橡子種子生存力預(yù)測方法（圖11），實現(xiàn)了智能高通量的橡子種子活力預(yù)測模式，預(yù)測準(zhǔn)確性達(dá)到85%，與人類專家預(yù)測效果相當(dāng)或略高于專家預(yù)測準(zhǔn)確率。

深度學(xué)習(xí)方法已成為解決復(fù)雜生產(chǎn)環(huán)境下應(yīng)用問題的重要方法，在現(xiàn)代農(nóng)業(yè)生產(chǎn)過程中，田間除草工作一直以來都備受關(guān)注，傳統(tǒng)方法中以人工除草和化學(xué)除草為多見，但人工除草勞動成本高，化學(xué)除草環(huán)境不友好，甚至干擾生態(tài)平衡，引起一系列環(huán)境問題；此外，傳統(tǒng)圖像處理方法在田間復(fù)雜環(huán)境下的泛化能力有限，智能除草成為田間除草的新思路?；谧钚碌腃NN模型，Sarker和Kim[75]提出了一種基于區(qū)域的全卷積網(wǎng)絡(luò)（圖 12），該研究評估了算法在田間雜草識別的性能。為了避免過擬合，研究人員在算法架構(gòu)中引入神經(jīng)元丟棄技術(shù)（dropout），結(jié)合數(shù)據(jù)增強(qiáng)技術(shù)，在實際測試中表現(xiàn)出領(lǐng)先的田間雜草識別準(zhǔn)確率為81%。

注：引自Baweja等[72]。紅色方框為算法對玉米莖桿的識別效果，數(shù)字為對玉米莖稈的識別得分。

注：引自Przyby?o和Jab?oński[73]。Conv表示神經(jīng)網(wǎng)絡(luò)中的卷積層，ReLU為線性激活函數(shù)，Norm為歸一化，Max pooling為最大池化，F(xiàn)C為全連接層，Recognition（good/bad）為識別結(jié)果輸出。

與田間除草互補(bǔ)的理念是通過對作物的精準(zhǔn)識別來實現(xiàn)大田生產(chǎn)環(huán)境下的作物智能化管控，特別是在考慮到雜草及作物長勢因時而變，且雜草種類多、密度大、長勢猛的實際生產(chǎn)環(huán)境中，如何對作物進(jìn)行精準(zhǔn)識別來實現(xiàn)對大田作物全生長周期的精準(zhǔn)管理，也是大田生產(chǎn)管控智能化的重要目標(biāo)。就發(fā)表的文獻(xiàn)來看，研究思路多憑借機(jī)器視覺捕獲的圖像特征入手，借助作物與雜草乃至農(nóng)田背景等對象類別在顏色、形狀或紋理方面的差異性，通過單個或多個特征組合來解決具體應(yīng)用場景下的作物精準(zhǔn)識別，涉及到的代表性特征提取方法包括主成分分析法（Principal Components Analysis，PCA）以及Bay等[78]提出的加速穩(wěn)健特征算法（Speeded Up Robust Features，SURF）等，這些方法在特征提取上較前人的特征提取方法雖然取得了相對領(lǐng)先的優(yōu)勢，但是當(dāng)面對作物與雜草不同的生長習(xí)性、在高密度多種類雜草和較大的日照強(qiáng)度變化等復(fù)雜的田間生產(chǎn)條件，這些方法并不能有效應(yīng)對這些挑戰(zhàn)。

注：引自Sarker和Kim[75]。紅色方框中為算法對雜草的識別效果，數(shù)字為對雜草的識別得分。

深度學(xué)習(xí)方法對特征的提取思路與傳統(tǒng)方法有著本質(zhì)的不同，它可以依靠不同的功能來對數(shù)據(jù)特征進(jìn)行轉(zhuǎn)換，可以對數(shù)據(jù)特征進(jìn)行分層表示，且能適應(yīng)密集型圖像計算任務(wù)。Abdalla等[76]在數(shù)據(jù)增強(qiáng)基礎(chǔ)上，對VGG的2個網(wǎng)絡(luò)重新進(jìn)行了初始化，結(jié)合遷移學(xué)習(xí)思想，分別在數(shù)據(jù)增強(qiáng)技術(shù)和無數(shù)據(jù)增強(qiáng)技術(shù)的數(shù)據(jù)集上，評估了改造后的VGG16和VGG19在高密度雜草環(huán)境下油菜圖像精準(zhǔn)分割的性能（圖13）。結(jié)果顯示，基于遷移學(xué)習(xí)的深度特征機(jī)器學(xué)習(xí)分類器（Deep Feature-Machine Learning Classifier，DF-MLC) 對高密度雜草環(huán)境拍攝的油菜作物圖像像素分割獲得了96%的準(zhǔn)確度，所提出的方法不但減少了訓(xùn)練數(shù)據(jù)集規(guī)模，而且節(jié)約了訓(xùn)練時間，訓(xùn)練好的模型在單幅圖像實現(xiàn)油菜精準(zhǔn)分割的響應(yīng)時間小于0.05 s，為復(fù)雜農(nóng)田生產(chǎn)環(huán)境下的作物精準(zhǔn)分割與定位等相關(guān)產(chǎn)業(yè)應(yīng)用提供了可借鑒的解決方案。

作物的生長生產(chǎn)需要具備相對穩(wěn)定的水肥氣熱光等基礎(chǔ)條件，其中溫度變化會對溫度敏感作物的生長和生產(chǎn)形成制約。很多應(yīng)季蔬菜的特定生產(chǎn)季節(jié)較短，如何提高其耐熱性以延長生長期，同時可減少由于氣候變化而造成的經(jīng)濟(jì)損失是育種與生產(chǎn)實踐中需要解決的問題。Jiang等[71]開發(fā)了一種基于深度學(xué)習(xí)和熱成像技術(shù)測量田間植物溫度的方法（圖14），通過高通量表型系統(tǒng)（GPhenovision）收集作物熱圖像，將60張標(biāo)記的熱圖像隨機(jī)分為2個子集：50張用于訓(xùn)練的圖像集和10張用于測試的圖像集。通過基于掩模的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask Faster-Regions with CNN Features，Mask RCNN）和基于閾值的方法進(jìn)行植物定位，對圖像進(jìn)行分割和閾值溫度提取。研究表明，Mask RCNN優(yōu)于傳統(tǒng)閾值分析方法，顯著提高了提取的植物不同區(qū)域溫度識別的準(zhǔn)確性。這種改進(jìn)極大地減少了由于傳感器測量而引起的誤差，降低了數(shù)據(jù)分析誤差。相關(guān)研究可以促進(jìn)耐熱基因型的育種計劃和遺傳學(xué)研究，大大提高了提取植物溫度的準(zhǔn)確性。

注：引自Abdalla等[76]。VGG16和VGG19為VGG網(wǎng)絡(luò)的2個形態(tài)。

基于作物特定表型的精準(zhǔn)識別是實現(xiàn)表型大數(shù)據(jù)和人工智能精準(zhǔn)育種和精準(zhǔn)管理的基礎(chǔ)，本質(zhì)上可以將其歸納為目標(biāo)檢測計數(shù)與量化指標(biāo)預(yù)測、復(fù)雜生產(chǎn)環(huán)境下目標(biāo)分割與量化指標(biāo)評估兩大類，面向這兩類的相關(guān)網(wǎng)絡(luò)架構(gòu)正在從兼顧提升目標(biāo)檢測的效率和精度轉(zhuǎn)向?qū)μ卣鞅磉_(dá)的增強(qiáng)研究，相繼提出了諸如混合特征圖、特征金字塔等思想，取得了一系列進(jìn)展。從深度學(xué)習(xí)發(fā)展的現(xiàn)狀來看，已經(jīng)有一大批成熟的網(wǎng)絡(luò)架構(gòu)可供表型研究人員選擇進(jìn)而解決實際問題，不少的研究情景可以考慮使用遷移學(xué)習(xí)等技術(shù)來解決研究問題?？紤]到深度學(xué)習(xí)通常需要一定的硬件條件和運(yùn)行時間，研究人員需要在模型訓(xùn)練的代價與模型應(yīng)用效果上追求相對的平衡，就自己的研究來選擇或構(gòu)建自己的深度學(xué)習(xí)模型來解決特定的研究問題。

注：引自Jiang等[71]。

3　總結(jié)與展望

本研究對近年來深度學(xué)習(xí)在植物表型研究領(lǐng)域的最新進(jìn)展進(jìn)行了總結(jié)梳理。總體來看，深度學(xué)習(xí)在表型識別與分類方向上取得了比人工識別和分類更好的效果，且近年來的深度學(xué)習(xí)方法正在不斷克服人工識別與分類易誤判、依賴專家經(jīng)驗、耗費(fèi)人力物力等缺點；在不同應(yīng)用場景和不同研究尺度上，深度學(xué)習(xí)解決了傳統(tǒng)方法無解或性能差等問題，特別是在不同尺度的應(yīng)用研究中，深度學(xué)習(xí)為植物表型的研究拓展了全新的研究視角，深度學(xué)習(xí)算法精度不斷提高，為促進(jìn)表型與基因型組學(xué)的不同尺度關(guān)聯(lián)研究帶來新的機(jī)會。本研究列舉了以特征提取分類、目標(biāo)識別計數(shù)、復(fù)雜背景下目標(biāo)分割等植物表型的相關(guān)研究，從應(yīng)該場景上介紹了4大研究應(yīng)用場景，通過列舉代表性文獻(xiàn)分析了深度學(xué)習(xí)在植物表型相關(guān)研究的最新進(jìn)展。

在植物表型識別與分類研究中，深度學(xué)習(xí)依然依賴大量的訓(xùn)練數(shù)據(jù)來提取識別目標(biāo)特征，而且在面向特定作物的算法，在不同生長周期的識別需要提供不同的訓(xùn)練數(shù)據(jù)，而且對訓(xùn)練數(shù)據(jù)特征有一定的要求，盡管不少作物表型的圖像可以通過互聯(lián)網(wǎng)搜索得到，但是面對不少非常見植物的表型圖像數(shù)據(jù)，仍然需要研究人員采集一定量的數(shù)據(jù)作為深度學(xué)習(xí)的數(shù)據(jù)源，在未來的表型識別與分類研究中，預(yù)測結(jié)果精度可進(jìn)一步提高，有望為相關(guān)產(chǎn)業(yè)應(yīng)用帶來更多機(jī)會。

在植物脅迫相關(guān)研究領(lǐng)域，在生物脅迫和非生物脅迫兩方面，均有不少成果。相關(guān)研究表明，對植物脅迫的有效識別與分類有助于科學(xué)家對基因組學(xué)和表型組學(xué)的關(guān)系進(jìn)行深入研究，在培育高抗品種、保障糧食安全方面有著重要意義。在脅迫監(jiān)測研究方面，如何將深度學(xué)習(xí)應(yīng)用于不同物候期或不同脅迫程度下的作物脅迫反應(yīng)前兆信息感知進(jìn)而對生產(chǎn)過程中的異常情況及時進(jìn)行預(yù)警，有待研究人員進(jìn)行更深入的研究。

在產(chǎn)量預(yù)測方面，從預(yù)測效果的層面來看，基于對圖像特征的提取和識別能力，較傳統(tǒng)研究方法而言，深度學(xué)習(xí)方法對產(chǎn)量預(yù)測的精度呈現(xiàn)出不斷增長的勢頭，但目前的研究水平還處在初級應(yīng)用階段，這主要由于作物產(chǎn)量受作物品種特點、氣候差異、生物和非生物脅迫等諸多因素的影響，作物產(chǎn)量的精準(zhǔn)預(yù)測需要考慮的因素很多。在已經(jīng)發(fā)表的研究中，只能將部分因素作為數(shù)據(jù)來驅(qū)動深度學(xué)習(xí)模型的建立，大多只完成了對成熟果實的產(chǎn)量預(yù)測，對于果實全生長期特征差異性較大的作物進(jìn)行有效的產(chǎn)量預(yù)測還需要融入專家經(jīng)驗、知識圖譜等技術(shù)推進(jìn)本領(lǐng)域的研究。

從深度學(xué)習(xí)與植物表型的交叉研究與應(yīng)用層面來看，有一系列問題值得關(guān)注，在監(jiān)督式算法的表型、脅迫識別、分類、精細(xì)農(nóng)業(yè)生產(chǎn)管控過程中的表型數(shù)據(jù)采集等應(yīng)用場景中，通常需要對大量圖像數(shù)據(jù)進(jìn)行標(biāo)記，以此來訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，而通常這些工作是由人工完成的，意味著很大的工作量。在表型數(shù)據(jù)分析與育種研究方面，已經(jīng)取得了一定的突破，同時也表現(xiàn)出一定的局限性，如何就特定基因型-表型進(jìn)行深入的研究，還需要跨學(xué)科研究人員的協(xié)作配合。

在表型人工智能和大數(shù)據(jù)支撐的精準(zhǔn)育種與精準(zhǔn)管理應(yīng)用方面，基于海量表型數(shù)據(jù)與基因、環(huán)境的耦合關(guān)系是未來表型研究指導(dǎo)選種育種的前沿領(lǐng)域，伴隨植物表型技術(shù)和現(xiàn)代育種技術(shù)的快速發(fā)展，基于基因型-表型育種研究的數(shù)據(jù)量和復(fù)雜性急劇增加，將催生更加深入的多學(xué)科融合研究工作，將物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)、數(shù)學(xué)、物理學(xué)、統(tǒng)計學(xué)、遺傳學(xué)和定量遺傳學(xué)以及生物信息學(xué)等學(xué)科整合在一起應(yīng)對面向未來的科學(xué)育種，以統(tǒng)計數(shù)據(jù)分析和深度數(shù)據(jù)挖掘的神經(jīng)網(wǎng)絡(luò)方法將在以譜系、基因組和環(huán)境協(xié)同變量結(jié)合到統(tǒng)計遺傳預(yù)測模型中發(fā)揮巨大潛力?；蚪M選擇與譜系育種在深度學(xué)習(xí)的支持下如何把控復(fù)雜性狀的遺傳增益，如何進(jìn)一步提高表型預(yù)測準(zhǔn)確性，進(jìn)而通過縮短繁殖周期來加速遺傳增益仍然是未來育種工作的巨大挑戰(zhàn)。此外，基于深度學(xué)習(xí)等一系列人工智能與農(nóng)業(yè)生產(chǎn)交叉研究成果可以更加精準(zhǔn)地指導(dǎo)農(nóng)業(yè)生產(chǎn)，提高農(nóng)業(yè)生產(chǎn)力和生產(chǎn)水平。

綜上所述，深度學(xué)習(xí)為植物表型的研究帶來了巨大的機(jī)遇，人工智能技術(shù)的發(fā)展將為植物表型相關(guān)研究與應(yīng)用提供新思路。同時應(yīng)當(dāng)看到，隨著表型研究在角度、尺度、時間、空間等維度的深度融合，對未來深度學(xué)習(xí)技術(shù)提出更高的要求，只有智能技術(shù)的更進(jìn)一步發(fā)展才能有效促進(jìn)多學(xué)科交叉融合下的多維度數(shù)據(jù)分析，從而推進(jìn)基因型與表型研究向著更多維度的智能高通量方向發(fā)展，為構(gòu)建智能化的農(nóng)業(yè)生產(chǎn)管控提供技術(shù)保障?？傊?，人工智能在農(nóng)業(yè)生產(chǎn)中的普適化應(yīng)用仍需要業(yè)界同仁久久為功。

[1] Tester M, Langridge P. Breeding technologies to increase crop production in a changing world[J]. Science, 2010, 327(5967): 818-822.

[2] Guo Yanming, Liu Yu, Oerlemans A, et al. Deep learning for visual understanding: A review[J]. Neurocomputing, 2016, 187: 27-48.

[3] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[4] LeCun Y, Bengio Y, Hinton G E. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[5] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems, Siem Reap, Cambodia, 2012: 1097-1105.

[6] Jia Deng, Wei Dong, Socher R, et al. ImageNet: A large-scale hierarchical image database[C]//2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009), Miami Beach, USA, IEEE, 2009: 248-255.

[7] Rawat W, Wang Zenghui. Deep convolutional neural networks for image classification: A comprehensive review[J]. Neural Computation, 2017, 29(9): 2352-2449.

[8] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision, Zurich, Switzerland, 2014: 818-833.

[9] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(9): 1904-1916.

[10] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2014-09-04]. https: //arxiv. org/abs/1409. 1556.

[11] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2015, 10(1): 1-9.

[12] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[13] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[EB/OL]. [2015-05-18]. https: //arxiv. org/abs/1505. 04597.

[14] Luo Renqian, Tian Fei, Qin Tao, et al. Neural architecture optimization[EB/OL]. [2018-08-22]. https: //arxiv. org/abs/1808. 07233.

[15] Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[EB/OL]. [2017-03-09]. https://arxiv. org/abs/1703. 03400.

[16] Hinton G E, Sejnowski T J. Learning and relearning in Boltzmann machines[J]. Parallel Distributed Processing: Explorations in the Microstructure Of Cognition, 1986, 1: 282-317.

[17] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[18] Salakhutdinov R, Hinton G E. Deep boltzmann machines[C]//Proceedings of the 12thInternational Conference on Artificial Intelligence and Statistics (AISTATS 2009), Clearwater, USA, 2009: 448-455.

[19] Ngiam J, Chen Zhenghao, Koh P W, et al. Learning deep energy models[C]//Proceedings of the 28thInternational Conference On Machine Learning (ICML-11). Bellevue, USA, 2011: 1105-1112.

[20] Hinton G E. Reducing the dimensionality of data with neural networks[J]. Science, American Association for the Advancement of Science, 2006, 313(5786): 504-507.

[21] Olshausen B A, Field D J. Learning efficient linear codes for natural images: The roles of sparseness, overcompleteness, and statistical independence[J]. Human Vision and Electronic Imaging, 1996, 2657: 132-138.

[22] Sun Xiaoxia, Nasrabadi N M, Tran T D. Supervised deep sparse coding networks[EB/OL]. [2017-01-29]. https: //arxiv. org/abs/1701. 08349.

[23] Lipton Z C, Berkowitz J, Elkan C. A critical review of recurrent neural networks for sequence learning[EB/OL]. [2015-05-29]. https: //arxiv. org/abs/1506. 00019.

[24] Hochreiter S, Schmidhuber J. LSTM can solve hard long time lag problems[C]//Proceedings of the 9thInternational Conference on Neural Information Processing Systems. Singapore, 1996: 473-479.

[25] 常亮，鄧小明，周明全，等. 圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J]. 自動化學(xué)報，2016， 42(9)： 1300-1312. Chang Liang, Deng Xiaoming, Zhou Mingquan, et, al. Convolutional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300-1312. (in Chinese with English abstract)

[26] Granier C, Vile D. Phenotyping and beyond: Modelling the relationships between traits[J]. Current Opinion in Plant Biology, Elsevier Current Trends, 2014, 18: 96-102.

[27] Araus J L, Kefauver S C, Zaman-Allah M, et al. Phenotyping: New crop breeding frontier[J]. Encyclopedia of Sustainability Science and Technology, 2018: 1-11.

[28] Mahlein A K. Plant disease detection by imaging sensors-parallels and specific demands for precision agriculture and plant phenotyping[J]. Plant Disease, Am Phytopath Society, 2016, 100(2): 241-251.

[29] Wang Xinshao, Cai Cheng. Weed seeds classification based on PCANet deep learning baseline[C]//2015 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA). Hong Kong, China, 2015: 408-415.

[30] Liu Nian, Kan Jiangming. Improved deep belief networks and multi-feature fusion for leaf identification[J]. Neurocomputing, 2016, 216: 460-467.

[31] Grinblat G L, Uzal L C, Larese M G, et al. Deep learning for plant identification using vein morphological patterns[J]. Computers and Electronics in Agriculture, 2016, 127: 418-424.

[32] Zhu Heyan, Huang Xinyuan, Zhang Shengping, et al. Plant identification via multipath sparse coding[J]. Multimedia Tools and Applications, 2017, 76(3): 4599-4615.

[33] Taghavi N, Esmaeilzadeh M, Najafi M, et al. Deep phenotyping: Deep learning for temporal phenotype/genotype classification[J]. Plant Methods, 2018, 14(1): 66-80.

[34] Liu Xuanxin, Xu Fu, Sun Yu, et al. Convolutional recurrent neural networks for observation-centered plant identification[J]. Journal of Electrical and Computer Engineering, 2018: 1-7.

[35] Krause J, Sugita G, Baek K, et al. WTPlant (What’s that plant?): A deep learning system for identifying plants in natural images[C]//Proceedings of the 2018 ACM on International Conference on Multimedia Retrieval. 2018: 517-520.

[36] Fetter K C, Eberhardt S, Barclay R S, et al. StomataCounter: A neural network for automatic stomata identification and counting[J]. New Phytologist, 2019, 223(3): 1671-1681.

[37] Rzanny M, M?der P, Deggelmann A, et al. Flowers, leaves or both? How to obtain suitable images for automated plant identification[J]. Plant Methods, 2019, 15(1): 77-88.

[38] Nguyen T T N, Le T L, Vu H, et al. Towards an automatic plant identification system without dedicated dataset[J]. International Journal of Machine Learning and Computing, 2019, 9(1): 26-34.

[39] Larese M G, Namías R, Craviotto R M, et al. Automatic classification of legumes using leaf vein image features[J]. Pattern Recognition, 2014, 47(1): 158-168.

[40] Taylor S H, Franks P J, Hulme S P, et al. Photosynthetic pathway and ecological adaptation explain stomatal trait diversity amongst grasses[J]. New Phytologist, 2015, 193(2): 387-396.

[41] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2014-09-04]. https: //arxiv. org/abs/1409. 1556.

[42] Singh A K, Ganapathysubramanian B, Sarkar S, et al. Deep learning for plant stress phenotyping: Trends and future perspectives[J]. Trends in Plant Science, 2018, 23(10): 883-898.

[43] DeChant C, Wiesner-Hanks T, Chen Siyuan, et al. Automated identification of northern leaf blight-infected maize plants from field imagery using deep learning[J]. Phytopathology, 2017, 107(11): 1426-1432.

[44] Abdullahi H S, Sheriff R E, Mahieddine F. Convolution neural network in precision agriculture for plant image recognition and classification[C]//2017 Seventh International Conference on Innovative Computing Technology. Luton, UK, IEEE, 2017: 1-3.

[45] Ferentinos K P. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145(1): 311-318.

[46] He Yong, Zeng Hong, Fan Yangyang, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems, 2019: 1-14.

[47] Kamal K C, Yin Zhendong, Wu Mingyang, et al. Depthwise separable convolution architectures for plant disease classification[J]. Computers and Electronics in Agriculture, 2019, (165): 104948-104954.

[48] Kamal K C, Yin Zhendong, Li Bo, et al. Transfer learning for fine-grained crop disease classification based on leaf mages[C]//Workshop on Hyperspectral Image and Signal Processing, Evolution in Remote Sensing. Amsterdam, The Netherlands, IEEE Computer Society, 2019: 1-5.

[49] Mohanty S P, Hughes D, Salathe M. Using deep learning for image-based plant disease detection[EB/OL]. [2016-04-11]. https://arxiv. org/abs/1604. 03169.

[50] Condori R H M, Romualdo L M, Martinez Bruno O, et al. Comparison between traditional texture methods and deep learning descriptors for detection of nitrogen deficiency in maize crops[C]//2017 Workshop of Computer Vision (WVC), Natal, Brazil, IEEE, 2017: 7-12.

[51] Kaneda Y, Shibata S, Mineno H. Multi-modal sliding window-based support vector regression for predicting plant water stress[J]. Knowledge-Based Systems, Elsevier, 2017, 134(15): 135-148.

[52] Ghosal S, Blystone D, Singh A K, et al. An explainable deep machine vision framework for plant stress phenotyping[J]. Proceedings of the National Academy of Sciences, 2018, 115(18): 4613-4618.

[53] Sun Dawei, Zhu Yueming, Xu Haixia, et al. Time-series chlorophyll fluorescence imaging reveals dynamic photosynthetic fingerprints of SOS mutants to drought stress[J]. Sensors, 2019, 19(12): 2649-2666.

[54] Yang Wei, Yang Ce, Hao Ziyuan, et al. Diagnosis of plant cold damage based on hyperspectral imaging and convolutional neural network[J]. IEEE Access, 2019, 7: 118239-118248.

[55] Sánchez-Martín J, Keller B. Contribution of recent technological advances to future resistance breeding[J]. Theoretical and Applied Genetics, 2019, 132(3): 713-732.

[56] Rahnemoonfar M, Sheppard C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): 1-12.

[57] Aquino A, Barrio I, Diago M P, et al. VitisBerry: An Android-smartphone application to early evaluate the number of grapevine berries by means of image analysis[J]. Computers and Electronics in Agriculture, Elsevier, 2018, 148(1): 19-28.

[58] Aich S, Josuttes A, Ovsyannikov I, et al. DeepWheat: Estimating phenotypic traits from crop images with deep learning[EB/OL]. [2017-09-30]. https: //arxiv. org/abs/1710. 00241.

[59] Jiang Hao, Hu Hao, Zhong Renhai, et al. A deep learning approach to conflating heterogeneous geospatial data for corn yield estimation: A case study of the US corn belt at the county level[J]. Global Change Biology, 2020, 26(3): 1754-1766.

[60] Sun Jie, Di Liping, Sun Ziheng, et al. County-level soybean yield prediction using deep CNN-LSTM model[J]. Sensors, 2019, 19(20): 4363-4384.

[61] Ghanem M E, Marrou H, Sinclair T R. Physiological phenotyping of plants for crop improvement[J]. Trends in Plant Science, 2015, 20(3): 139-144.

[62] Smart R E, Dick J K, Gravett I M, et al. Canopy management to improve grape yield and wine quality-principles and practices[J]. South African Journal of Enology and Viticulture, 1990, 11(1): 3-17.

[63] Liu S, Whitty M, Cossell S. A lightweight method for grape berry counting based on automated 3D bunch reconstruction from a single image[C]//International Conference on Robotics and Automation (IEEE), Workshop on Robotics in Agriculture. 2015: 4-8.

[64] Houle D, Govindaraju D R, Omholt S. Phenomics: The next challenge[J]. Nature Reviews Genetics, 2010, 11(12): 855-866.

[65] Wójtowicz M, Wójtowicz A, Piekarczyk J. Application of remote sensing methods in agriculture[J]. Communications in Biometry and Crop Science, 2016, 11(1): 31-50.

[66] Yue Jibo, Yang Guijun, Li Changchun, et al. Estimation of winter wheat above-ground biomass using unmanned aerial vehicle-based snapshot hyperspectral sensor and crop height improved models[J]. Remote Sensing, Multidisciplinary Digital Publishing Institute, 2017, 9(7): 708-727.

[67] Kuwata K, Shibasaki R. Estimating crop yields with deep learning and remotely sensed data[C]//2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2015: 858-861.

[68] Harfouche A L, Jacobson D A, Kainer D, et al. Accelerating climate resilient plant breeding by applying next-generation artificial intelligence[J]. Trends in Biotechnology, 2019, 37(11): 1217-1235.

[69] Washburn J D, Mejia-Guerra M K, Ramstein G, et al. Evolutionarily informed deep learning methods for predicting relative transcript abundance from DNA sequence[J]. Proceedings of the National Academy of Sciences of the United States of America, National Academy of Sciences, 2019, 116(12): 5542-5549.

[70] Peerlinck A, Sheppard J, Maxwell B. Using deep learning in yield and protein prediction of winter wheat based on fertilization prescriptions in precision agriculture[C]//14thInternational Conference on Precision Agriculture (ICPA), Montreal, Canada, 2018.

[71] Jiang Yu, Shuang Lanshuan, Li Changying, et al. Deep learning for thermal image segmentation to measure canopy temperature of Brassica oleracea in the field[C]//ASABE 2018 Annual International Meeting, Detroit, USA, 2018: 1-11. doi: 10. 13031/aim. 2018 00 305.

[72] Baweja H S, Parhar T, Mirbod O, et al. StalkNet: A deep learning pipeline for high-throughput measurement of plant stalk count and stalk width[C]//Field and Service Robotics, 2018: 271-284.

[73] Przyby?o J, Jab?oński M. Using deep convolutional neural network for oak acorn viability recognition based on color images of their sections[J]. Computers and Electronics in Agriculture, 2019, 156(2): 490-499.

[74] Peng Yinshu, Wang Yi. Prediction of the chlorophyll content in pomegranate leaves based on digital image processing technology and stacked sparse autoencoder[J]. International Journal of Food Properties, 2019, 22(1): 1720-1732.

[75] Sarker M I, Kim H. Farm land weed detection with region-based deep convolutional neural networks[EB/OL]. [2019-06-05]. https: //arxiv. org/abs/1906. 01885.

[76] Abdalla A, Cen Haiyan, Wan Liang, et al. Fine-tuning convolutional neural network with transfer learning for semantic segmentation of ground-level oilseed rape images in a field with high weed pressure[J]. Computers and Electronics in Agriculture, 2019, 167: 105091-105102.

[77] Rachmatia H, Kusuma W A, Hasibuan L S. Prediction of maize phenotype based on whole-genome single nucleotide polymorphisms using deep belief networks[J]. Journal of Physics: Conference Series 2017, 835(1): 012003-012009.

[78] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

Current status and future perspective of the application of deep learning in plant phenotype research

Cen Haiyan, Zhu Yueming, Sun Dawei, Zhai Li, Wan Liang, Ma Zhihong, Liu Ziyi, He Yong

(1.,,310058,; 2.,,310058,; 3,,310027,)

Accurate plant phenotyping is important for gaining a fundamental understanding of phenotype-genotype-environment interaction and is also critical for plant breeding and agricultural precision management. With the development of accurate and high-throughput plant phenotyping techniques, big phenotypic data of various plants especially image data can be collected. There is an urgent need to develop effective approaches to dealing with large-scale image data analysis to explore the biological and physiological mechanisms which can be eventually used from the laboratory to the field. This research was entering a new era called ‘smart phenomics’. Deep Learning (DL) provided an opportunity to extract useful traits from the complicated phenotypic dataset, which could bridge the knowledge gap between genotype and phenotype for fundamental research and engineering applications in a breeding program and precision farming. Recently, a series of phenotyping related research supported by DL had been published all around the plant fundamental mechanism as well as the agricultural engineering applications. This study investigated the latest publications focused on phenotyping relating to the following algorithms: Convolutional Neural Network (CNN), Restricted Boltzmann Machines (RBM), Auto Encoder (AE), Sparse Coding (SC) and Recurrent Neural Network (RNN), both of the achievements and problems were introduced and summarized in the following aspects. The published researches involved the phenotypic identification and classification over various crops from tissues, organs, and plant scales singly or combined. Not like DBN, SC, or other earlier algorithms, CNN could extract the features without image preprocessing or feature design, its capability also grew rapidly since it was proposed and now had been the first-choice for image identification and classification scenarios. While deep learning applications in biotic/abiotic plant stress analysis mainly focused on the identification and classification of different phenotypic traits of various common crops under typical stresses. Recent studies CNN showed the most potential capability for stress identification and classification, and the predictions by CNN was an irrelevance to the type of stress. Studies also found that the qualitative analysis of abiotic stress could be diagnosed by transfer learning to reduce training time without affecting the prediction capability of the model, especially network architectures with mature applications scenarios manifested stable performance in terms of adaptability and migration based on CNN or integrated with CNN, Besides, yield prediction accuracy had been greatly improved through color, geometric shapes, textures and multiple phenotypic coupling features, which could be divided into the following three scenarios, including fruit yield prediction based on fruit identification and counting, field crop yield prediction by Unmanned Aerial Vehicle (UAV) remote sensing and multi-dimensional yield prediction based on multi-scale, multi-source, and multi-factor data. Moreover, deep learning had shown the potential for precision breeding and precision management. The precise identification of crop-specific phenotypes is the basis for accurate breeding and phenotypic management, and it can be summarized as two categories, including quantitative index counts after target detection and target segmentation under complex field conditions. In summary, a large number of proposed network architectures applied in plant phenotyping have been reviewed, and future efforts should be made on improving the efficiency and accuracy in production scenarios. Finally, the trend and future perspective in the multi-disciplinary research field of deep learning in plant phenotype research were also discussed.

plant; phenotype; management; deep learning; identification and classification; crop breeding

岑海燕，朱月明，孫大偉，等. 深度學(xué)習(xí)在植物表型研究中的應(yīng)用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(9)：1-16.doi：10.11975/j.issn.1002-6819.2020.09.001 http://www.tcsae.org

Cen Haiyan, Zhu Yueming, Sun Dawei, et al. Current status and future perspective of the application of deep learning in plant phenotype research[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 1-16. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.09.001 http://www.tcsae.org

2019-12-18

2020-02-24

國家自然科學(xué)基金（31971776）；國家重點研發(fā)計劃課題（2017YFD0201501）

岑海燕，博士，研究員，主要從事農(nóng)作物光學(xué)成像與智能傳感技術(shù)及裝備、高通量植物表型技術(shù)、無人機(jī)低空遙感等方面的教學(xué)與科研工作。Email：hycen@zju.edu.cn

10.11975/j.issn.1002-6819.2020.09.001

TP183

A

1002-6819(2020)-09-0001-16