鐘陸杰，汪小旵,2，張曉蕾,2，施印炎,2

(1 南京農(nóng)業(yè)大學(xué) 工學(xué)院, 江蘇 南京 210031； 2 江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實驗室, 江蘇 南京 210031)

番茄在世界范圍內(nèi)被廣泛喜愛和食用，是我國主要的設(shè)施農(nóng)業(yè)蔬菜之一。番茄是典型的喜溫植物，最適宜生長溫度范圍為 25～30 ℃，30～35 ℃ 屬于亞高溫，即不會抑制植物生長但又高于最適宜生長溫度，超過35 ℃便會對番茄的生長發(fā)育造成脅迫[1]。在實際農(nóng)業(yè)生產(chǎn)中，由于溫室保溫效果好，白天往往會出現(xiàn)升溫快、氣溫高的情況[2]，而大多數(shù)番茄品種缺乏耐熱性，因此中國南方夏季高溫是限制番茄生長發(fā)育的主要因素[3]。番茄的苗期發(fā)育階段通常比結(jié)果階段更容易受到高溫的影響，會出現(xiàn)葉片卷曲、下垂、收縮、黃化甚至是枯萎等癥狀[4]。傳統(tǒng)的脅迫檢測主要是通過人工診斷，效率低下且具有一定的時空滯后性[5-6]。

熱紅外成像技術(shù)對溫度反應(yīng)敏感，與圖像處理技術(shù)相結(jié)合對采集圖像中作物不同的溫度區(qū)域進行比較后，可以非常便捷地對溫度和圖像數(shù)據(jù)進行解釋。目前研究主要關(guān)注于水分脅迫、病害脅迫及干旱脅迫的快速無損遠距離監(jiān)測分析，以便選取合適手段進行綠色防治[7-11]。一般采用遙感或無人機的熱紅外成像研究，觀察范圍廣泛，群體特征表現(xiàn)良好，但是缺乏對作物個體特征的研究；針對個體特征的熱紅外成像研究對試驗條件要求更加嚴(yán)苛，所以研究方向更加細(xì)化分散[12-15]。

近些年來，機器視覺、計算機視覺技術(shù)蓬勃發(fā)展[16-17]，在引入作物表型組學(xué)的同時，不同的學(xué)者們分別使用了 GoogLeNet、AlexNet、VGGNet、Inception-v3和ResNet50等深度卷積神經(jīng)網(wǎng)絡(luò)對不同作物的病蟲害以及水分脅迫的RGB圖像進行了分類、識別和預(yù)測，試驗結(jié)果具有良好準(zhǔn)確性、可靠性和可擴展性[18-24]。隨著深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)逐漸加深，模型結(jié)構(gòu)趨于復(fù)雜化，整體訓(xùn)練的性能和效果也在逐漸提升。

針對實際生產(chǎn)場景中番茄苗期生長遇到的高溫脅迫問題，一般的RGB圖像可以提供較為清晰的葉片分布，但是由于苗期番茄葉片形狀不規(guī)則、分布密集、顏色近似且重疊嚴(yán)重，而早期的高溫脅迫癥狀根據(jù)傳統(tǒng)的圖像處理方法只能進行粗略的分割，誤差很大，因此需要采用深度學(xué)習(xí)技術(shù)對脅迫癥狀的精細(xì)特征進行劃分和提??；另一方面，針對肉眼不可見的高溫脅迫特征，熱紅外圖像提供的葉面溫度信息可以很好地對深度學(xué)習(xí)RGB圖像提供的細(xì)化特征進行補充。本文綜合了上述2個方面的研究內(nèi)容提出了一種基于熱紅外和RGB圖像的番茄苗期高溫脅迫檢測方法，對高溫脅迫的癥狀和分級進行快速精準(zhǔn)的預(yù)警，以防對番茄苗期的生長造成不可逆的損傷和影響[25]。

1 材料與方法

1.1 試驗設(shè)計與圖像采集

試驗于2021年12月至2022年1月在南京農(nóng)業(yè)大學(xué)工學(xué)院博遠樓實驗室進行。供試番茄品種為‘美粉先鋒’，經(jīng)過熱水浸種、消毒、催芽以后，將番茄種子播在育苗盤中，在適溫LED頂置光源人工氣候箱(南京聯(lián)策科學(xué)儀器有限公司)內(nèi)進行育苗。育苗期間每天08:00—20:00設(shè)置溫度28 ℃，光照度 50 000 lx，相對濕度 75%；20:00—08:00設(shè)置溫度20 ℃，光照度為0，相對濕度75%。將番茄幼苗培育到“三葉一心”時，進行移栽定植，經(jīng)過優(yōu)選后將長勢基本一致的幼苗移栽到 8.5 cm×11.5 cm×8 cm(高×上口徑×底徑)的塑料花盆中。當(dāng)番茄幼苗進一步發(fā)育至3～4 葉，高度約15 cm時，對盆栽植株進行試驗條件處理。試驗期間08:00—20:00設(shè)定光照度 50 000 lx，20:00—08:00光照度為 0，試驗處理第1、2天的晝、夜溫度分別設(shè)置為35、25 ℃，使番茄幼苗正常健康生長的同時，適應(yīng)亞高溫環(huán)境，第3～6天的晝、夜溫度分別設(shè)置為40、25 ℃，給予高溫脅迫，設(shè)定相對濕度為75%，各植株灌水量一致，處理水分適宜。試驗分為2個批次，每次45株幼苗，共90株幼苗。

在整個試驗期間進行圖像采集，試驗開始第3～6天高溫處理使番茄幼苗產(chǎn)生不同程度的脅迫癥狀。按一定的拍攝規(guī)則和拍攝順序使用可自動對焦的智能手機iPhone XS Max原生相機獲取所有番茄幼苗的冠層尺度RGB圖像，成像分辨率為3 024×4 032，拍攝 900幅；并由 FLIR ONE Pro紅外熱像儀(美國菲力爾公司，量程-20～400 ℃)獲取所有番茄幼苗的熱紅外圖像，成像分辨率為480×640，拍攝810幅，建立試驗樣本數(shù)據(jù)集。為了降低環(huán)境溫光條件和其余植株的噪聲干擾，使用白紙對背景進行遮擋并選取冠層尺度進行拍攝。

1.2 試驗流程

試驗整體流程如圖1所示，主要分3個部分進行：溫度數(shù)據(jù)的計算與提取、構(gòu)建脅迫癥狀分割模型和構(gòu)建脅迫等級分類模型。

圖1 試驗整體流程圖Fig. 1 Overall flow chart of the test

1.3 獲得番茄苗期冠層溫度數(shù)據(jù)

1.3.1 溫度數(shù)據(jù)處理獲取番茄幼苗的熱紅外圖像，將其導(dǎo)入熱紅外圖像處理軟件FLIRTools中，通過將熱紅外圖像進行像元分離，得到圖像中樣本每一個像素點的溫度值CSV文件，將圖像溫度數(shù)據(jù)文件導(dǎo)入MATLAB軟件(美國MathWorks公司)，并輸出番茄幼苗熱紅外圖像的溫度分布直方圖(圖2)，將冠層溫度的分布特征通過反演進行可視化，得到冠層能量分布三維曲面圖(圖3)。

圖3 番茄幼苗冠層能量分布三維曲面圖Fig. 3 3D surface map of energy distribution in canopy of tomato seedlings

通過圖2、3可知，溫度分布主要集中在23和31 ℃附近，由于背景用白紙遮擋，因此第1個峰值代表背景溫度，第2個峰值代表番茄幼苗冠層溫度。隨著溫度像素的變化存在著明顯的能量波動，觀察到2個峰值之間的溫度閾值大約在25.2 ℃，以此可對熱紅外偽彩色圖像進行閾值分割去除背景。

圖2 番茄幼苗熱紅外圖像溫度分布直方圖Fig. 2 Histogram of temperature distribution of thermal infrared image of tomato seedling

簡單的熱紅外圖像因受到環(huán)境噪聲的影響，不具有良好的可分析性，不能作為番茄高溫脅迫檢測的可靠依據(jù)，需要對溫度數(shù)據(jù)進行提取和處理，依據(jù)閾值分割后的熱紅外圖像可以進行計算，得到試驗期間每天12:00和16:00番茄幼苗冠層熱紅外溫度最大值、最小值、極差、平均值和標(biāo)準(zhǔn)差，結(jié)果如表1所示。

由表1可知，隨著高溫脅迫程度的不斷加深，番茄幼苗的冠層溫度區(qū)間在慢慢提升，平均溫度也隨之提升，同時冠層日積溫也呈增長趨勢，最大溫差范圍在[7.5,9.9] ℃區(qū)間內(nèi)浮動，冠層整體溫度分散趨勢比較穩(wěn)定均勻。

表1 番茄幼苗冠層熱紅外溫度參數(shù)變化表Table 1 Variation table of thermal infrared temperature parameters of tomato seedling canopy ℃

1.3.2 熱紅外溫度特征指標(biāo)計算與降維篩選為了消除圖像采集時環(huán)境溫度對熱紅外圖像采集的噪聲干擾，同時方便進行多組不同量綱溫度數(shù)據(jù)之間的比較，對采集的溫度數(shù)據(jù)先進行正規(guī)標(biāo)準(zhǔn)化計算，轉(zhuǎn)化成無量綱標(biāo)準(zhǔn)化數(shù)據(jù)，方法參考文獻[26]，其計算公式為：

將番茄的冠層溫度正交標(biāo)準(zhǔn)化后的最大值、最小值、平均值、標(biāo)準(zhǔn)差作為特征指標(biāo)～，將進行規(guī)范標(biāo)準(zhǔn)化后的無量綱溫度數(shù)據(jù)作為，將式(2)中 m ax1≤i≤nXi用替換作為，正交標(biāo)準(zhǔn)化后的變異系數(shù)、冠氣溫差、信息熵[27]作為～，計算公式為：

其中， p(Xi)為溫度值為的像素數(shù)與圖像總像素數(shù)之比，Th表示采集環(huán)境溫度標(biāo)準(zhǔn)化值。

通過熱紅外圖像采集的溫度數(shù)據(jù)可知，番茄冠層溫度分布在20～35 ℃的溫度范圍內(nèi)，將溫度范圍五等分，計算冠層溫度中[20，23) ℃溫度范圍的溫度頻率，[23，26) ℃溫度范圍的溫度頻率，[26，29) ℃ 溫度范圍的溫度頻率，[29，32) ℃ 溫度范圍的溫度頻率，[32，35) ℃溫度范圍的溫度頻率。在相應(yīng)溫度區(qū)間內(nèi)的溫度變化，即溫度頻率的公式如下：

為了獲得最佳的特征指標(biāo)，需要對14個特征指標(biāo)進行降維選取對比PCA和PLS模型發(fā)現(xiàn)，對于輸入特征指標(biāo)來說，PCA模型沒有考慮篩選出的指標(biāo)對輸出特征的解釋能力，僅依靠方差大小來進行判斷，剔除了相互交叉部分信息的影響。而PLS模型利用逐步回歸的思想，對輸入特征和輸出特征進行逐步分解，綜合考慮篩選出的指標(biāo)對輸出特征的解釋能力，提升了校正模型的性能[28]。因此選取PLS模型計算各個特征指標(biāo)的相關(guān)系數(shù)和主成分貢獻率。

1.4 構(gòu)建高溫脅迫癥狀分割模型

1.4.1 脅迫癥狀分類圖4為采集到的部分番茄幼苗葉片RGB圖像，本試驗根據(jù)番茄幼苗在高溫脅迫產(chǎn)生的不同癥狀將葉片劃分為卷曲、下垂、收縮、枯萎和黃化5類，用以增強圖像數(shù)據(jù)集的多樣性，并給出不同癥狀的特征描述：卷曲表現(xiàn)為葉片由邊緣向內(nèi)不同程度的卷曲；下垂表現(xiàn)為葉片從葉尖開始向葉根呈下垂趨勢；收縮表現(xiàn)為葉片從兩邊開始向內(nèi)收縮露出部分葉背；枯萎表現(xiàn)為葉片從葉尖向內(nèi)呈不同程度褐色枯萎狀；黃化表現(xiàn)為葉片由受光位置擴散到整片葉子的黃化。

圖4 不同高溫脅迫癥狀的番茄幼苗葉片RGB圖像Fig. 4 RGB images of tomato seedling leaves with different symptoms of high temperature stress

1.4.2 網(wǎng)絡(luò)架構(gòu) 本試驗需要對苗期番茄的高溫脅迫癥狀特征進行提取，番茄葉片形狀不規(guī)則且相互之間重疊遮擋嚴(yán)重，因此對產(chǎn)生癥狀的葉片進行分割時需要較高的精度。一般的神經(jīng)網(wǎng)絡(luò)算法，如SSD、Yolo、RCNN等只能實現(xiàn)對目標(biāo)的檢測和分類，而Mask-RCNN[29]算法因能精確地保存像素的位置并完成逐像素的掩膜預(yù)測，使最終的模型不僅能夠進行目標(biāo)檢測和分類，還能夠進行實例分割，因此本文選用Mask-RCNN對苗期番茄高溫脅迫癥狀進行檢測識別。Mask-RCNN架構(gòu)如圖5所示，具體實現(xiàn)過程是基于Faster-RCNN[30]模型的骨架進行實例分割，對原來結(jié)構(gòu)中的感興趣區(qū)域(Region of Interest, RoI)池化 (Pooling)操作進行改進，使用不同的RoI對齊(Align)操作對模板中包含的元素進行輸出，并在通過全連接層后的2個分支并行的情況下增加一個新的掩膜分支，內(nèi)部結(jié)構(gòu)采用全卷積網(wǎng)絡(luò) (Fully convolutional networks, FCN)[31]進行預(yù)測。首先采用殘差網(wǎng)絡(luò)ResNet101[32]作為主干特征提取網(wǎng)絡(luò)(Backbone)，從網(wǎng)絡(luò)的底層到高層分5層依次提取出番茄圖像的低級特征(邊緣、角、顏色等)和高級特征(葉片和莖等)，再使用特征金字塔網(wǎng)絡(luò) (Feature pyramid networks, FPN)將高級特征傳入底層，使其與低級特征融合，得到特征圖，再輸入到區(qū)域建議網(wǎng)絡(luò) ( Region proposal network,RPN) 中，RPN通過不同尺寸的錨框(Anchor)尋找特征圖中存在目標(biāo)的區(qū)域，形成區(qū)域建議框，每個建議框分別輸出Anchor的前景邊框和前景/背景分類。之后通過RoI Align過程對特征圖的特征尺寸進行對齊和固定，最后使用FCN對輸出特征圖進行RoI實例分割，產(chǎn)生3個分支以避免類別競爭，其中，掩膜分支需要通過一個全卷積網(wǎng)絡(luò)后得到，生成獨立的二值掩膜，再通過全連接層后，經(jīng)過Softmax層得到分類分支，產(chǎn)生類別標(biāo)簽，經(jīng)過邊界框回歸后得到預(yù)測邊界框分支，產(chǎn)生矩形框坐標(biāo)輸出，3個分支綜合最終得到實例分割結(jié)果。

圖5 Mask-RCNN架構(gòu)Fig. 5 Mask-RCNN architecture

1.4.3 圖像數(shù)據(jù)處理使用 Labelme 標(biāo)注工具[33]對原始RGB圖像數(shù)據(jù)集中5種苗期番茄高溫脅迫癥狀進行人工標(biāo)注。由于番茄葉片是不規(guī)則的物體，因此采用多邊形框進行精細(xì)標(biāo)注，生成了530幅帶有癥狀掩膜標(biāo)注和類別數(shù)量的圖像，僅針對單幅圖像的癥狀掩膜標(biāo)注數(shù)量為2～23。

數(shù)據(jù)增強方式能在一定程度上增加樣本的復(fù)雜程度，使樣本更具有代表性，從而提升模型的泛化能力和魯棒性，提高模型整體的訓(xùn)練效果[34]。本文使用的方法包括：改變圖像的亮度和對比度；對圖像進行翻轉(zhuǎn)；對圖像進行角度(0～360 °)旋轉(zhuǎn)。在不改變圖片尺寸的前提下對數(shù)據(jù)集中圖像進行3倍數(shù)據(jù)增強處理，最終得到1 590幅圖像。對RGB數(shù)據(jù)集進行訓(xùn)練集、測試集和驗證集的劃分，比例為8∶1∶1，其中，驗證集可以有效防止過擬合現(xiàn)象的出現(xiàn)。

1.4.4 脅迫癥狀分割模型訓(xùn)練本文通過遷移學(xué)習(xí)的方式使用MS_COCO數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重，對苗期番茄高溫脅迫癥狀數(shù)據(jù)集進行只調(diào)整Mask-RCNN全連接層參數(shù)的所有網(wǎng)絡(luò)層級訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練環(huán)境是Windows 10操作系統(tǒng)，硬件配置為處理器 Intel(R) Gold 6226 CPU @ 2.70 GHz 2.69 GHz(2個處理器)，內(nèi)存256 GB，顯卡采用型號NVIDIA GeForce RTX 2080Ti的圖形處理器 (Graphics processing unit, GPU)加速，編程語言為 Python 3.6，采用 Tensorflow-gpu 1.12.0和 Keras 2.1.5軟件庫作為框架。初始學(xué)習(xí)率(Learning_rate)設(shè)置為 0.000 1，權(quán)值衰減值設(shè)置為0.000 01，每個周期內(nèi)1次處理樣本的個數(shù)(Batch_size)設(shè)置5，動量(Momentum)設(shè)置為0.9，總共訓(xùn)練了100個周期(Epochs)，每個周期進行10次交叉驗證。將Mask-RCNN模型的主干特征提取網(wǎng)絡(luò)設(shè)置為ResNet50、ResNet101和MobileNet，并進行對比分析，網(wǎng)絡(luò)性能參數(shù)如表2所示。

表2 主干特征提取網(wǎng)絡(luò)性能參數(shù)Table 2 Performance parameters of backbone feature extraction network

Mask-RCNN網(wǎng)絡(luò)采用多任務(wù)損失的形式，定義分割網(wǎng)絡(luò)總體損失函數(shù)(L)為[35]：

1.5 構(gòu)建高溫脅迫等級分類模型

1.5.1 脅迫等級分類圖6為采集到的部分番茄幼苗熱紅外圖像，本試驗將熱紅外番茄幼苗高溫脅迫等級分為3類，試驗第1、2天微高溫適應(yīng)的番茄幼苗標(biāo)記為正常分類，記為等級0，試驗第3、4天高溫處理的番茄幼苗標(biāo)記為輕度高溫脅迫分類，記為等級1，試驗第5、6天高溫處理的番茄幼苗標(biāo)記為重度高溫脅迫分類，記為等級2。

圖6 番茄幼苗葉片熱紅外圖像Fig. 6 Thermal infrared images of tomato seedling leaves

1.5.2 脅迫分級模型訓(xùn)練本文選用了處理器Intel (R) Core (TM) i7-7700 CPU@3.60 GHz、內(nèi)存(RAM)16 GB的計算機，采用 MATLAB R2019a 軟件中的分類網(wǎng)絡(luò)和模型函數(shù)進行計算。經(jīng)過剔除共獲得有效熱紅外圖像540張，通過特征提取形成540條數(shù)據(jù)記錄。每條數(shù)據(jù)記錄由3部分組成：第1部分為降維篩選后的溫度特征指標(biāo)；第2部分為Mask-RCNN分割識別統(tǒng)計出來的5種不同高溫脅迫癥狀的數(shù)量；第3部分為苗期番茄實際的高溫脅迫等級。

選取4種常見的分類網(wǎng)絡(luò)模型進行訓(xùn)練，包括NB、SVM、kNN和BPNN[36-38]。對于BPNN模型，網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)設(shè)為14-30-14-3，訓(xùn)練回合數(shù)為30 000，學(xué)習(xí)率設(shè)為0.01，初始化權(quán)重為0.5，學(xué)習(xí)速率設(shè)為0.9；對于SVM模型，使用高斯核作為核函數(shù)，采用網(wǎng)格搜索法確定模型訓(xùn)練誤差懲罰因子和核函數(shù)參數(shù)，分類器設(shè)置為“ovr”構(gòu)造1對多分類；對于kNN模型，近鄰數(shù)設(shè)置為3。對熱紅外數(shù)據(jù)集進行訓(xùn)練集和測試集的劃分，比例為2∶1。

1.6 模型評價

對番茄脅迫癥狀/等級判別進行降維，簡化為二分類問題，以脅迫癥狀分類為例，廣義上可以理解成所有種類癥狀葉片和健康葉片的二分類識別問題，狹義上可以理解成單個種類的癥狀葉片和健康葉片的二分類識別問題。檢測模型判斷番茄脅迫癥狀/等級的混淆矩陣一般將目標(biāo)分為4類，代表實際目標(biāo)是癥狀葉片且被預(yù)測為癥狀葉片像素的數(shù)量；代表實際目標(biāo)是癥狀葉片但被預(yù)測為健康葉片像素的數(shù)量；代表實際目標(biāo)是健康葉片但被預(yù)測為癥狀葉片像素的數(shù)量；代表實際目標(biāo)是健康葉片且被預(yù)測為健康葉片像素的數(shù)量。

根據(jù)混淆矩陣計算的4個參數(shù)，計算模型的評價指標(biāo)。查準(zhǔn)率(Precision,)是在識別出來的目標(biāo)中正確預(yù)測到的目標(biāo)占所有實際被預(yù)測到目標(biāo)的比例；查全率(Recall,)是測試集中所有實際正確目標(biāo)中被正確預(yù)測為正樣本的比例；交并比( Intersection over Union，IoU)為系統(tǒng)預(yù)測框與實際標(biāo)記框重合程度和2個框并集的比值，可以判斷目標(biāo)的捕獲程度和預(yù)測的精確程度；準(zhǔn)確率(Accuracy，)為標(biāo)記正確的目標(biāo)占總目標(biāo)的比例；馬修斯相關(guān)系數(shù) ( Matthews correlation coefficient，)表示目標(biāo)實際類別和模型預(yù)測類別之間的相關(guān)系數(shù)；是查準(zhǔn)率和查全率的調(diào)和平均數(shù)；平均查準(zhǔn)率(Average precision,)是在人為選定的IoU閾值(一般為0.5)設(shè)定下，單張圖像的P-R曲線和坐標(biāo)軸之間的面積；對數(shù)據(jù)集中每張圖像的AP求均值，計算上述評價指標(biāo)的公式如下：

2 結(jié)果與分析

2.1 PLA模型降維篩選溫度特征指標(biāo)結(jié)果

基于PLA模型計算的14個溫度特征指標(biāo)的相關(guān)系數(shù)和主成分貢獻率如表3所示。由表3可見，特征指標(biāo)與脅迫等級呈負(fù)相關(guān)，其余特征指標(biāo)與脅迫等級呈正相關(guān)，正相關(guān)與負(fù)相關(guān)指標(biāo)累計貢獻率占總貢獻率比重均較大。除少數(shù)特征指標(biāo)外，大部分特征指標(biāo)的主成分貢獻率和相關(guān)系數(shù)的絕對值基本呈線性分布，其中，標(biāo)準(zhǔn)差()離群可能是在指標(biāo)標(biāo)準(zhǔn)化后進一步消除了溫度特征的離散程度；冠氣溫差()離群是因為使用了標(biāo)準(zhǔn)差作為計算參數(shù)；20～23 ℃溫度頻率()和32～35 ℃溫度頻率()離群可能是因為超出番茄幼苗冠層溫度波動的范圍，包含了大量無用的背景信息，形成了干擾；26～29 ℃溫度頻率()離群正好與之相反，分布在番茄幼苗冠層溫度波動范圍的中間位置，溫度參數(shù)不具有很好的離散特性。

表3 溫度特征指標(biāo)的相關(guān)系數(shù)和主成分貢獻率Table 3 Correlation coefficient and principal component contribution rate of temperature characteristic indicators

篩選出所有特征指標(biāo)中貢獻率大于3%的7個特征指標(biāo)作為分類模型輸入主成分，從大到小分別是變異系數(shù) ()、29～32 ℃ 溫度頻率 ()、信息熵()、23～26 ℃ 溫度頻率 ()、規(guī)范替換值 ()、規(guī)范標(biāo)準(zhǔn)化值()和最大值()，累計貢獻率為95.45%。

2.2 Mask-RCNN分割結(jié)果

分別從測試集輕度和重度脅迫分級RGB圖像中隨機選取1張輸入Mask-RCNN模型后，人工標(biāo)注的掩膜圖像和3種不同主干特征提取網(wǎng)絡(luò)輸出的脅迫癥狀預(yù)測結(jié)果如圖7所示。對于輕度脅迫圖像，人工標(biāo)注8個癥狀，ResNet50模型正確預(yù)測出7個癥狀，漏檢1個；ResNet101模型正確預(yù)測出7個癥狀，漏檢1個；MobileNet模型正確預(yù)測出6個癥狀，漏檢2個。對于重度脅迫圖像，人工標(biāo)注12個癥狀，ResNet50模型正確預(yù)測出9個癥狀，漏檢1個，混疊1個，錯檢1個；ResNet101模型正確預(yù)測出9個癥狀，漏檢1個，混疊1個，錯檢1個；MobileNet模型正確預(yù)測出8個癥狀，漏檢2個，混疊1個，錯檢1個。

圖7 3種不同主干特征提取網(wǎng)絡(luò)不同程度脅迫預(yù)測結(jié)果Fig. 7 Prediction results of different stresses on three different backbone feature extraction networks

在所有的5種脅迫癥狀中，觀察到黃化、枯萎和收縮癥狀的檢測平均置信度更高，而卷曲和下垂檢測平均置信度稍低，可能是因為在對番茄幼苗葉片進行特征提取時，卷曲癥狀主要提取葉片邊緣的異常形狀特征，下垂癥狀主要提取葉片中上部和葉面積相對小的異常形狀特征，因此這2種邊緣特征較難以區(qū)分；而收縮癥狀主要提取邊緣葉背像素值，枯萎癥狀主要提取局部枯萎褐色像素值，黃化癥狀主要提取葉片整體范圍內(nèi)的變黃像素值，這3種像素顏色特征相對較易區(qū)分。

針對漏檢和混疊的癥狀，可能是因為番茄幼苗葉片分布密集，互相之間形成遮擋，而圖像采集過程中因為高度差異、葉片邊緣近似等因素影響沒能對焦，導(dǎo)致顯示出來的癥狀特征面積較小或者較為模糊；錯檢的癥狀可能是因為葉片具有復(fù)合的癥狀特征，因此雖然可以檢測出異常，但難以進行正確的分類。當(dāng)然這些漏檢、錯檢的癥狀指標(biāo)也不排除人為標(biāo)注時的主觀因素判斷帶來的誤差。

更進一步，在對脅迫癥狀進行分割生成掩膜的過程中，可以看到ResNet101模型的掩膜區(qū)域?qū)ΠY狀葉片的覆蓋效果最準(zhǔn)確，ResNet50模型對邊緣角度較大的區(qū)域識別效果不好，其余檢測效果接近ResNet101模型，而MobileNet模型僅分割出相應(yīng)的范圍，誤差較大，相比于另外2種模型，均多漏檢了1個癥狀，這可能是因為該主干特征提取網(wǎng)絡(luò)容量較小，因此對小面積的葉片脅迫癥狀特征識別精度不高。因此在3種主干特征提取網(wǎng)絡(luò)中，ResNet101模型可以取得最好的分割效果，ResNet50模型次之，MobileNet模型最差，測試集中其他脅迫圖像分割結(jié)果與之類似。

由于預(yù)測結(jié)果圖只能對個別圖像的分割效果進行展示，因此對IoU=0.5時3種不同主干特征提取網(wǎng)絡(luò)Mask-RCNN模型分割精度進行統(tǒng)計，結(jié)果如表4所示。對于3種主干特征提取網(wǎng)絡(luò)來說，隨著圖像脅迫等級的加重，番茄幼苗的葉片在生長的同時脅迫癥狀也變得更加交錯復(fù)雜，導(dǎo)致整體模型的分割精度指標(biāo)都有所下降，即輕度脅迫的檢測效果要優(yōu)于重度脅迫，其中，ResNet101網(wǎng)絡(luò)在輕度脅迫圖像數(shù)據(jù)集達到最好的分割效果，各項指標(biāo)均為最高；但是識別的整體性或者說預(yù)測像素的完整度不夠高，包括一些漏檢、混疊、錯檢現(xiàn)象的存在，其中，MobileNet模型在重度脅迫圖像數(shù)據(jù)集的分割效果最差，各項指標(biāo)均為最低。Mask-RCNN+ResNet101模型分割結(jié)果能夠較好地反映總體樣本中的癥狀特征指標(biāo)，為輸入分類模型的數(shù)據(jù)提供良好的研究基礎(chǔ)和分級依據(jù)。

表4 IoU=0.5時3種不同主干特征提取網(wǎng)絡(luò)Mask-RCNN模型分割精度Table 4 Segmentation accuracy of Mask-RCNN model of three different backbone feature extraction networks when IoU=0.5

Mask-RCNN+ResNet101模型損失函數(shù)值變化曲線如圖8所示?？梢姡S著訓(xùn)練周期數(shù)的增加，模型訓(xùn)練集的損失函數(shù)值由2.097下降到0.152，模型驗證集的損失函數(shù)值由2.468下降到0.898，雖然在訓(xùn)練過程中損失函數(shù)值在小范圍內(nèi)有一定的波動，可能是訓(xùn)練樣本個體間的特征差異造成的，但總體損失函數(shù)呈下降趨勢，并逐漸收斂，和Mask-RCNN+ResNet50模型、Mask-RCNN+MobileNet模型損失函數(shù)曲線變化趨勢基本一致，說明深度學(xué)習(xí)模型整體訓(xùn)練情況良好。

圖8 Mask-RCNN+ResNet101模型損失函數(shù)值變化曲線Fig. 8 Change curve of loss function value of Mask-RCNN+ResNet101 model

2.3 4種分類網(wǎng)絡(luò)模型分級結(jié)果

圖9 為4種不同模型測試集分級結(jié)果混淆矩陣，為了方便對分類模型總體評價指標(biāo)進行計算，將混淆矩陣簡化成二分類問題。從測試集的角度來看，所有180個樣本經(jīng)過隨機分配后獲得79個健康樣本(0)、44個輕度脅迫樣本(1)和57個重度脅迫樣本(2)。一般歸類錯誤樣本都集中在比較靠近所分類別旁邊的等級，符合樣本數(shù)據(jù)的實際分布特性。分級模型整體的分類效果較好，可能是因為總體樣本數(shù)固定，所以相對的訓(xùn)練集中健康樣本較少、脅迫樣本較多，存在非均衡訓(xùn)練的情況。

圖9 4種不同模型測試集分類結(jié)果混淆矩陣Fig. 9 Confusion matrices of classification results of test sets of four different models

4種不同的分類網(wǎng)絡(luò)模型在測試集上的高溫脅迫分級精度如表5所示，BPNN的分類預(yù)測效果最好，準(zhǔn)確率達95.6%，各項評價指標(biāo)也均為最高，可能是因為BPNN采用了人工神經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)，具有良好的學(xué)習(xí)訓(xùn)練效果；SVM次之，可能是因為相比于2個模型有更好的超參數(shù)調(diào)整結(jié)構(gòu)，利用誤差懲罰因子和核參數(shù)來進行優(yōu)化；kNN雖然沒有固定的數(shù)學(xué)模型，但通過找最鄰近分類的方式要好于僅使用概率模型分類的NB。針對模型中局部變異不均等的評價指標(biāo)分布特征，僅kNN的查全率高于SVM，NB和KNN的查準(zhǔn)率相同，這可能是因為不同的分類模型算法結(jié)構(gòu)、優(yōu)化參數(shù)側(cè)重不同造成的。綜合番茄幼苗的熱紅外溫度特征指標(biāo)和RGB脅迫癥狀分割指標(biāo)，4種模型的分級準(zhǔn)確率均達到了90%以上，說明選取的特征指標(biāo)和脅迫等級間具有良好的相關(guān)性。

表5 不同分類網(wǎng)絡(luò)模型的苗期番茄高溫脅迫分級精度Table 5 Classification accuracy of high temperature stress of tomato at seedling stage with different classification network model

3 結(jié)論

本文提出了一種基于熱紅外和RGB圖像的苗期番茄高溫脅迫檢測方法，結(jié)論如下：

通過苗期番茄的熱紅外圖像，獲取番茄冠層溫度參數(shù)，將冠層溫度能量分布進行反演可視化，通過溫度閾值剔除背景干擾，采用PLS模型從14個特征指標(biāo)中降維提取7個作為脅迫分級檢測模型輸入?yún)?shù)，累計主成分貢獻率達95.45%。

基于深度卷積神經(jīng)網(wǎng)絡(luò)Mask-RCNN，通過遷移學(xué)習(xí)的方式在3種不同的主干特征提取網(wǎng)絡(luò)ResNet50、ResNet101和MobileNet對數(shù)據(jù)增強后的苗期番茄RGB圖像進行脅迫癥狀實例分割，其中，Resnet101+Mask-RCNN模型分割精度最高，對輕度和重度脅迫的 m AP分別為77.3%和73.8%。在RGB脅迫圖像數(shù)據(jù)集顯示出很好的檢測效果，分割出5種脅迫癥狀作為特征指標(biāo)輸入脅迫分級檢測模型。

將篩選出的7個溫度特征指標(biāo)和MASKRCNN模型分割出的5個脅迫癥狀特征指標(biāo)構(gòu)建分級數(shù)據(jù)集作為模型輸入，NB、SVM、kNN和BPNN這4種脅迫分級檢測模型在測試集的分級準(zhǔn)確率分別為90.6%、93.3%、91.7%和95.6%，其中BPNN模型能獲得最好的脅迫分級效果。

目前檢測方法的處理流程較為復(fù)雜，后續(xù)可以通過批量處理、流程簡化、軟件統(tǒng)一化進行通用性改進和優(yōu)化，以便移植到相應(yīng)的檢測裝置、移動設(shè)備、農(nóng)業(yè)裝備或者農(nóng)業(yè)機器人，實現(xiàn)更好的脅迫檢測效果和實際場景應(yīng)用價值。