韓 旭,趙春江※,吳華瑞,朱華吉,張 燕
(1. 西北農(nóng)林科技大學(xué)信息工程學(xué)院,楊凌 712100;2. 國(guó)家農(nóng)業(yè)信息化工程技術(shù)研究中心,北京 100097;3. 北京市農(nóng)業(yè)信息技術(shù)研究中心,北京 100097)
番茄是世界范圍內(nèi)廣泛栽培的蔬菜之一,在中國(guó)農(nóng)業(yè)生產(chǎn)中也占有非常重要的地位,番茄生長(zhǎng)過(guò)程中肥料的需求量大,生長(zhǎng)期較長(zhǎng)。設(shè)施栽培又要求肥力高消耗的同時(shí)高補(bǔ)充,因此實(shí)際施肥存在盲目性,極易出現(xiàn)土壤障礙和缺素癥狀[1]。番茄發(fā)生缺素時(shí),葉片的顏色、紋理和形狀等外觀表現(xiàn)出相應(yīng)的缺素癥狀[2]。
傳統(tǒng)的植物缺素圖像識(shí)別研究主要通過(guò)機(jī)器視覺(jué)技術(shù)采集缺素圖像,借助圖像處理技術(shù)挖掘出植物缺素癥狀特征并構(gòu)建模型對(duì)缺素癥進(jìn)行識(shí)別。目前國(guó)內(nèi)外學(xué)者已取得了諸多成果。張凱兵等[3]提出一種基于HSV顏色空間的非均勻直方圖量化和組合多個(gè)支撐向量機(jī)分類器的智能化油菜缺素分析與診斷方法,其總體識(shí)別率達(dá)到93%。Xu等[4]描述了一種基于葉片顏色和紋理特征的遺傳算法識(shí)別番茄缺氮缺鉀的方法,其準(zhǔn)確率為82.5%。關(guān)海鷗等[5]利用圖像灰度直方圖與主成分分析方法,提取并計(jì)算出大豆冠層圖像的最佳顏色特征藍(lán)光標(biāo)準(zhǔn)化值B/(R+G+B)和綠光標(biāo)準(zhǔn)化值G/(R+G+B),通過(guò)正則模糊神經(jīng)網(wǎng)絡(luò)模型,解決了大豆缺素癥狀與顏色特征向量之間的模糊邏輯映射關(guān)系。劉紅玉等[6]采用遺傳算法優(yōu)選出波段中反射光譜強(qiáng)度與氮、磷、鉀實(shí)測(cè)值含量的相關(guān)系數(shù)大于0.6的特征波長(zhǎng)作為特征波段,采用主成分分析法PCA提取反射光譜的紋理特征,建立了番茄鮮葉的氮、磷、鉀含量估測(cè)模型,最高相關(guān)系數(shù)達(dá)0.96。楊捷[7]利用兩級(jí)三層PCA-BP神經(jīng)網(wǎng)絡(luò),建立了馬鈴薯葉片的缺鉀、錳、鐵、硼、鎂、硫識(shí)別模型,其識(shí)別率達(dá)到96%以上。基于上述研究可以看出傳統(tǒng)的植物缺素癥識(shí)別主要通過(guò)圖像預(yù)處理技術(shù)提取缺素葉片的顏色、形狀、紋理、葉綠素分布等特征[8-11],再通過(guò)機(jī)器學(xué)習(xí)模型進(jìn)行種類識(shí)別,特征提取過(guò)程繁瑣單一且只能提取葉片表面特征,難以挖掘到區(qū)別力強(qiáng)的深層特征,識(shí)別精度仍有提升空間。
目前深度學(xué)習(xí)在植物缺素和病害識(shí)別中也得到廣泛應(yīng)用[12-16],基于深度學(xué)習(xí)的識(shí)別方法采用端到端的結(jié)構(gòu),簡(jiǎn)化了識(shí)別流程,對(duì)數(shù)據(jù)集的表達(dá)更高效和準(zhǔn)確,所提取的抽象特征魯棒性更強(qiáng),泛化能力更好。Tran等[12]采用基于CNN結(jié)構(gòu)的2種預(yù)測(cè)模型,實(shí)現(xiàn)了對(duì)番茄葉片和果實(shí)營(yíng)養(yǎng)缺乏癥狀進(jìn)行預(yù)測(cè)和分類,并使用集成學(xué)習(xí)來(lái)提高結(jié)果的準(zhǔn)確性,模型Inception-resnet v2與Autoencoder的缺素識(shí)別準(zhǔn)確率從87.27%和79.09%均提高至91%。熊俊濤等[13]提出了一種基于神經(jīng)網(wǎng)絡(luò)的大豆葉片缺素視覺(jué)檢測(cè)方法,利用Mask R-CNN模型對(duì)葉片圖像進(jìn)行分割,以去除背景特征,再利用VGG16模型進(jìn)行缺素分類,分類準(zhǔn)確率達(dá)到89.42%。
近年來(lái),在植物圖像方面的研究多集中在植物和病理的鑒定,但在植物缺素識(shí)別領(lǐng)域應(yīng)用較少。此外,大部分模型對(duì)于相似特征的提取能力有限,無(wú)法實(shí)現(xiàn)對(duì)早期缺素葉片的高精度識(shí)別。識(shí)別番茄葉部的不同缺素癥狀時(shí),需要考慮如下問(wèn)題:1)番茄缺素初期葉片的變化較小,難以捕捉缺素特征的細(xì)節(jié)紋理信息;2)不同缺素葉片特征相似,難以區(qū)分;3)不同階段缺素葉片特征差異較大。已有的相關(guān)缺素識(shí)別研究鮮少考慮以上問(wèn)題。Huang等[17]提出的DenseNet模型在ImageNet公開(kāi)數(shù)據(jù)集上取得了較好的識(shí)別效果,使用稠密連接方法充分利用提取的特征,同時(shí)有效緩解了梯度消失問(wèn)題。DenseNet在圖像分類、對(duì)象檢測(cè)和語(yǔ)義分割等很多任務(wù)中取得了不錯(cuò)的效果[18-22]。趙奇慧等[20]利用微調(diào)后的DenseNet-169圖像分類模型進(jìn)行葉片水分脅迫程度分類,試驗(yàn)結(jié)果表明,經(jīng)過(guò)DenseNet-169網(wǎng)絡(luò)訓(xùn)練的葉片水分脅迫程度分類模型在測(cè)試集上的分類準(zhǔn)確率為94.68%。
針對(duì)上述問(wèn)題,本文設(shè)計(jì)缺素試驗(yàn)構(gòu)建番茄缺素圖像數(shù)據(jù)集,針對(duì)番茄缺素葉片特點(diǎn),對(duì)DenseNet-121模型網(wǎng)絡(luò)進(jìn)行適用性改進(jìn),構(gòu)造能夠有效捕捉不同缺素特征之間的細(xì)微差別、具有高精度番茄缺素葉片分類性能的識(shí)別方法。
本研究以采集的番茄葉片缺素圖像作為研究對(duì)象進(jìn)行圖像分類試驗(yàn),并對(duì)不同算法處理下的分類結(jié)果進(jìn)行對(duì)比分析。具體以北京農(nóng)林科學(xué)院大數(shù)據(jù)智能部實(shí)驗(yàn)室中氣候箱所采集的圖像作為試驗(yàn)數(shù)據(jù),試驗(yàn)時(shí)間為2020年10-12月。試驗(yàn)從幼苗出現(xiàn)缺素性狀開(kāi)始并根據(jù)生長(zhǎng)階段分別對(duì)缺素葉片圖像采集拍攝。
試驗(yàn)使用的番茄品種為山東大紅果番茄,番茄樣本為32株長(zhǎng)勢(shì)基本一致的健康番茄幼苗。采用氣候箱進(jìn)行培養(yǎng),氣候箱型號(hào)為L(zhǎng)RG-1000B,容量1 000 L?;ㄅ铻榇筇?hào)水培專用花盆?;|(zhì)為陶粒,陶粒化學(xué)穩(wěn)定性強(qiáng),不會(huì)對(duì)試驗(yàn)效果產(chǎn)生影響。該試驗(yàn)使用的營(yíng)養(yǎng)液為霍格蘭氏液,缺氮樣本的營(yíng)養(yǎng)液為完全去除氮元素的霍格蘭氏液,缺磷和缺鉀樣本的營(yíng)養(yǎng)液也采用同樣的方法配置。
缺素試驗(yàn)中番茄植株的生長(zhǎng)環(huán)境因素由人工氣候箱進(jìn)行調(diào)控,郭小清等[23]通過(guò)試驗(yàn)解析環(huán)境因子耦合對(duì)番茄光合作用及生長(zhǎng)的驅(qū)動(dòng)和調(diào)控作用,獲得了番茄最適生長(zhǎng)環(huán)境。結(jié)合相關(guān)研究,本試驗(yàn)番茄缺素人工氣候箱的番茄培養(yǎng)環(huán)境設(shè)置如表1所示。
表1 人工氣候箱的環(huán)境設(shè)置Table 1 Environmental settings for artificial climate boxes
缺素試驗(yàn)設(shè)置正常對(duì)照組和3類缺素組(缺氮、缺磷和缺鉀),每組8株番茄苗,缺素培養(yǎng)試驗(yàn)為8周,每天施營(yíng)養(yǎng)液一次,每盆澆約30 mL至花盆水位線即可(水位剛好達(dá)到番茄苗根部)。試驗(yàn)開(kāi)始時(shí)番茄苗的葉片大小達(dá)不到試驗(yàn)要求,故在試驗(yàn)前對(duì)所有幼苗使用正常營(yíng)養(yǎng)液進(jìn)行培養(yǎng),待番茄苗長(zhǎng)至開(kāi)花期前進(jìn)行移苗,移苗時(shí)需將番茄苗根部清洗干凈,并更換新陶粒。移苗后的前兩周進(jìn)行缺素試驗(yàn)緩苗處理,具體處理方式為各營(yíng)養(yǎng)液濃度減半,兩周后使用完全缺素營(yíng)養(yǎng)液進(jìn)行缺素試驗(yàn)。
番茄不同的營(yíng)養(yǎng)元素缺乏時(shí),外觀會(huì)產(chǎn)生不同的變化。番茄缺氮在苗期顯癥,幼苗葉片逐漸變黃,且黃色區(qū)與綠色區(qū)分界不明顯;番茄缺磷早期下部葉片變成紫紅色,成株期葉面略顯皺縮,葉片正面及背面的葉脈變?yōu)樽霞t色;番茄缺鉀發(fā)病初期葉緣及后莖部出現(xiàn)針尖大小黑褐色點(diǎn),葉緣呈鮮橙黃色,且葉脈間逐漸變黃。番茄的具體缺素典型癥狀見(jiàn)圖1。
在番茄生長(zhǎng)過(guò)程中對(duì)缺氮、缺鉀、缺磷和正常4種類型進(jìn)行拍攝圖像,共拍攝1 250幅圖像,最終拍攝圖像數(shù)量為:缺氮190幅,缺鉀280幅,缺磷380幅和正常400幅。具體過(guò)程如下:
1)由于缺素條件對(duì)植株生長(zhǎng)有較大限制,番茄幼苗生長(zhǎng)緩慢且葉片較小,所以圖像中存在部分圖像中含有多片葉的情況。經(jīng)過(guò)測(cè)量計(jì)算,含有多片葉的缺素圖像中葉片長(zhǎng)度均不超過(guò)圖像總長(zhǎng)度的二分之一,且大致分布在圖片邊界。為確保葉片的分割完整性,設(shè)計(jì)分割算法以圖像的4個(gè)頂點(diǎn)為起點(diǎn),切割圖像邊長(zhǎng)5/8單位的四張子圖片,因此,對(duì)圖像進(jìn)行了圖2方式的平移切割。原1 250幅圖生成5 000幅圖,按比例從中挑選1 250張葉片重合較少且側(cè)重葉片不一致的圖片合成數(shù)據(jù)集1。
2)圖像通過(guò)對(duì)比度增強(qiáng)、亮度增強(qiáng)、鏡像和旋轉(zhuǎn)相結(jié)合等方法對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)以增加數(shù)據(jù)多樣性,原圖與數(shù)據(jù)增強(qiáng)圖像合成數(shù)據(jù)集2共5 000幅圖片,具體過(guò)程如圖3所示。
3)番茄缺素?cái)?shù)據(jù)集由數(shù)據(jù)集1與數(shù)據(jù)集2組成,其中缺氮、缺鉀、缺磷和正常圖像分別為950、1 400、1 900和2 000幅,共6 250幅圖像。訓(xùn)練集、驗(yàn)證集和測(cè)試集分配為6∶2∶2,各自的樣本數(shù)量如表2所示。為了提高模型的訓(xùn)練效率,利用 Photoshop 將圖像統(tǒng)一壓縮為224×224像素。
表2 番茄缺素圖像的訓(xùn)練集、驗(yàn)證集和測(cè)試集分配Table 2 Training dataset, validation, dataset and test dataset assignments of tomato deficient nutrient elements images
基于注意力的多尺度融合卷積神經(jīng)網(wǎng)絡(luò)模型(MSFF-AM-CNNs)是針對(duì)缺素葉片圖像分類任務(wù)而提出的,模型的具體結(jié)構(gòu)簡(jiǎn)圖見(jiàn)圖4。提出的MSFF-AM-CNNs模型的關(guān)鍵技術(shù)包括4部分:1)針對(duì)缺素性狀的多尺度特征融合模塊(Multi-Scale Feature Fusion Module, MSFF Module);2)基于注意力機(jī)制的多尺度特征融合的淺層特征提取模塊(Multi-Scale Feature Fusion Module Based On Attention Mechanism, MSFF-AM Module);3)由多尺度融合的瓶頸(Multi-Scale Feature Fusion BottleNeck,MSFF BottleNeck)組成以提取深度特征的模塊(Deep Multi-Scale Feature Fusion Block, Deep-MSFF Block);4)引入Focal Loss函數(shù)作為損失函數(shù),以減少易分樣本的權(quán)重。MSFF-AM-CNNs模型是基于DenseNet-121網(wǎng)絡(luò)模型進(jìn)行改進(jìn)的,結(jié)構(gòu)上主要由1個(gè)MSFF-AM Module,4個(gè)Deep-MSFF Block,池化層和全連接層組成,各Deep-MSFF Block之間用卷積層和池化層相連接,用于整合學(xué)到的特征,降低特征圖的尺寸。Deep-MSFF Block 1-4中所包含的MSFF BottleNeck數(shù)分別為6、12、24、16。
其中通道空間注意力機(jī)制(Convolutional Block Attention Module,CBAM)[24]僅添加在提取淺層特征的卷積層中??紤]本研究旨在解決番茄早期缺素性狀不明顯難辨別問(wèn)題,因此模型的特征提取主要側(cè)重在番茄葉片細(xì)微的紋理及顏色等細(xì)節(jié)變化。網(wǎng)絡(luò)模型中淺層網(wǎng)絡(luò)提取的是紋理、細(xì)節(jié)特征,深層網(wǎng)絡(luò)提取的是輪廓、形狀特征,因此淺層網(wǎng)絡(luò)包含更多的特征,具備提取關(guān)鍵特征的能力。將通道空間注意力機(jī)制添加在淺層特征提取的卷積層中,可以實(shí)現(xiàn)選擇性地強(qiáng)調(diào)關(guān)鍵細(xì)節(jié)信息特征并達(dá)到對(duì)特征精準(zhǔn)定位的效果。且深層網(wǎng)絡(luò)提取的輪廓、形狀特征并不是用于辨別番茄缺素的關(guān)鍵細(xì)微特征。網(wǎng)絡(luò)層數(shù)越深,提取的特征越具有概括性,注意力機(jī)制對(duì)網(wǎng)絡(luò)的影響相對(duì)就越小,因此不能夠達(dá)到同樣的效果。同時(shí),隨著網(wǎng)絡(luò)加深,模型的參數(shù)數(shù)量、權(quán)重空間增大、平均測(cè)試耗時(shí)也隨之增大。經(jīng)試驗(yàn)驗(yàn)證,將通道空間注意力機(jī)制(CBAM)添加于提取深層特征的模塊效果不理想且消耗過(guò)大,故本研究沒(méi)有將通道空間注意力機(jī)制(CBAM)添加在深層特征提取的模塊中。
DenseNet[17]網(wǎng)絡(luò)結(jié)合ResNet網(wǎng)絡(luò)和GoogLeNet網(wǎng)絡(luò)的優(yōu)點(diǎn),連接模式可以最大化網(wǎng)絡(luò)中各層之間的信息流動(dòng),將網(wǎng)絡(luò)中所有層之間都相互連接,各層通過(guò)獲取前層的額外輸入并將本層特征傳遞給后續(xù)層的方式保留前向的特征。圖像輸入到DenseNet網(wǎng)絡(luò)后先經(jīng)過(guò)一個(gè)7×7的卷積層和池化層后輸入至多個(gè)Dense Block中,Dense Block由多個(gè)瓶頸(Bottleneck)組成,每一個(gè)BotteNeck的輸入,都來(lái)自于前一層BottleNeck輸出和原始輸入的堆疊。此外,DenseNet 網(wǎng)絡(luò)通過(guò)稠密連接產(chǎn)生的正則化作用可以在訓(xùn)練中有效減少過(guò)擬合問(wèn)題。因此對(duì)于需要大規(guī)模訓(xùn)練計(jì)算從而實(shí)現(xiàn)精準(zhǔn)識(shí)別的番茄缺素分類任務(wù),省參數(shù),省計(jì)算,抗過(guò)擬合的DenseNet網(wǎng)絡(luò)對(duì)其具有更強(qiáng)的適用性。
DenseNet盡管在很大程度上解決了梯度消失和過(guò)擬合問(wèn)題,但在番茄葉部缺素的具體識(shí)別過(guò)程中,不具有針對(duì)性,不能準(zhǔn)確地在番茄缺素早期實(shí)現(xiàn)高精度識(shí)別,存在特征提取尺寸單一以至于無(wú)法感知番茄早期缺磷的細(xì)微變化等問(wèn)題。
2.2.1 提出針對(duì)缺素性狀的多尺度特征融合模塊(MSFF Module)
番茄缺素性狀具有多樣性和差異性,具體表現(xiàn)為:1)番茄缺素初期葉片的變化較小,卷邊和變色問(wèn)題較輕,所表現(xiàn)的性狀區(qū)域尺寸較小,捕捉細(xì)節(jié)紋理困難。而細(xì)微的性狀變化和微小的顏色差異是區(qū)分不同缺素的關(guān)鍵,例如缺磷的表現(xiàn)是葉片沿脈絡(luò)逐步變紫,因脈絡(luò)結(jié)構(gòu)大多細(xì)小,所以在缺磷早期性狀細(xì)節(jié)難以捕捉;2)不同缺素條件下的番茄葉片在某階段表現(xiàn)出相似的顏色、紋理特征。例如缺氮初期與缺鉀初期都有葉片輕微黃化的性狀展現(xiàn),僅在所表現(xiàn)的性狀區(qū)域尺寸有細(xì)小差別;3)同一種缺素條件下的不同階段,特征差異明顯。且隨著幼苗伴隨缺素條件持續(xù)生長(zhǎng),葉片在顏色、紋理等方面均表現(xiàn)出明顯的差異。因此固定尺度的卷積核在感知不同大小的番茄缺素性狀時(shí)效果不佳,針對(duì)此問(wèn)題引入多尺度(Multi-Scale)結(jié)構(gòu)[25-26],提出了針對(duì)番茄缺素性狀的多尺度特征融合模塊,具體結(jié)構(gòu)簡(jiǎn)圖見(jiàn)圖5。
該結(jié)構(gòu)是通過(guò)替代淺層網(wǎng)絡(luò)的大尺寸卷積層和池化層,使用多個(gè)尺度的卷積核對(duì)輸入圖像進(jìn)行多尺度特征融合后進(jìn)行多通道的特征拼接,在擴(kuò)大通道數(shù)的同時(shí)對(duì)淺層圖像進(jìn)行多尺度特征融合。本研究采用3種不同尺度(1×1)、(3×3)、(5×5)卷積核提取特征,通過(guò)設(shè)置成不同尺寸的卷積核組合的形式改善網(wǎng)絡(luò)底層對(duì)不同特征的響應(yīng),其中K是卷積核尺寸,c為各通道的比例參數(shù),其作用為強(qiáng)調(diào)以上3個(gè)卷積層的通道輸出比例為2∶1∶1,小卷積核的通道數(shù)占較大比重,說(shuō)明模塊可以在多尺度特征提取的同時(shí)重點(diǎn)提取葉片的細(xì)微的紋理變化和顏色差異,達(dá)到更好的缺素特征提取效果。
2.2.2 改進(jìn)的基于注意力機(jī)制的多尺度特征融合模塊
網(wǎng)絡(luò)模型中淺層網(wǎng)絡(luò)提取的是紋理、細(xì)節(jié)特征,深層網(wǎng)絡(luò)提取的是輪廓、形狀特征,因此淺層網(wǎng)絡(luò)包含更多的特征,且具備提取關(guān)鍵特征的能力。將空間注意力模塊和通道注意力模塊添加在淺層特征提取的卷積層中,可以實(shí)現(xiàn)選擇性地強(qiáng)調(diào)關(guān)鍵細(xì)節(jié)信息特征并達(dá)到對(duì)特征精準(zhǔn)定位的效果。
MSFF-AM Module將DenseNet提取淺層特征的大尺度卷積層和池化層轉(zhuǎn)換為由本文改進(jìn)的多尺度特征融合結(jié)構(gòu)(MSFF Module)并加入通道信息注意力網(wǎng)絡(luò)(CBAM)組成MSFF-AM Module。目的是通過(guò)全局信息融合多個(gè)特征通道來(lái)選擇性地強(qiáng)調(diào)特征,實(shí)現(xiàn)對(duì)缺素特征的重標(biāo)定,從而提高番茄葉片缺素的分類準(zhǔn)確率。
DenseNet原結(jié)構(gòu)中圖像經(jīng)過(guò)7×7的Conv + 2×2的最大池化層MaxPool模塊實(shí)現(xiàn)對(duì)淺層信息的大尺度特征提??;改進(jìn)后的MSFF-AM Module中,輸入圖像先經(jīng)過(guò)一個(gè)MSFF模塊提取番茄缺素的多尺度特征,再通過(guò)通道和空間的注意力機(jī)制(CBAM)得到重標(biāo)定的缺素特征,為了使模型可以選擇性地強(qiáng)調(diào)關(guān)鍵特征,最后用MSFF Module取代原模塊MaxPool,從而達(dá)到優(yōu)化淺層特征提取效果的目的,MSFF-AM Module具體結(jié)構(gòu)如圖6a。
1)多尺度特征融合模塊(MSFF Module)替換單一尺度(7×7 conv)
由于不同種類番茄缺素葉片在不同時(shí)期具有不同的表現(xiàn),缺磷和缺鉀的番茄葉片在初期性狀較為細(xì)小,后期性狀大且密集;而缺氮在初期和后期番茄葉片的性狀均大且密集,固定尺度的卷積核在感知不同大小的番茄缺素病斑時(shí)效果不佳,因此本文引入了多尺度特征融合機(jī)制。
2)引入通道空間注意力機(jī)制(CBAM)
當(dāng)注意力機(jī)制應(yīng)用于深度學(xué)習(xí)的圖像處理領(lǐng)域時(shí),本質(zhì)對(duì)不同重要程度的信息賦予不同的權(quán)重,大大提高神經(jīng)網(wǎng)絡(luò)效率,用很小的計(jì)算量換取網(wǎng)絡(luò)性能的顯著提升。為提升番茄葉片缺素圖像分類模型網(wǎng)絡(luò)性能,本文在淺層特征提取的卷積層中引入注意力機(jī)制,銜接于2個(gè)多尺度特征融合結(jié)構(gòu)的卷積層之間,具體為1個(gè)空間注意力模塊(Spatial Attention Module)[27]和1個(gè)通道注意力模塊(Channel Attention Module)[28]。
通道注意力機(jī)制通過(guò)對(duì)通道進(jìn)行過(guò)濾從而得到優(yōu)化后的特征,空間注意力關(guān)注點(diǎn)為空間內(nèi)有意義的特征,使用平均池化層和最大池化層對(duì)輸入特征進(jìn)行通道層壓縮操作。CBAM結(jié)合了通道注意力和空間注意力,全局信息融合多個(gè)特征通道來(lái)選擇性地強(qiáng)調(diào)信息特征功能,從而達(dá)到對(duì)缺素特征進(jìn)行重標(biāo)定。集成網(wǎng)絡(luò)很好的學(xué)習(xí)目標(biāo)對(duì)象區(qū)域中的信息并從中聚合特征。通過(guò)建立卷積特征通道之間的相互依賴關(guān)系來(lái)提高分類準(zhǔn)確率,CBAM結(jié)構(gòu)如圖6b所示。模型通過(guò)學(xué)習(xí)全局信息來(lái)選擇性的強(qiáng)調(diào)特征信息并執(zhí)行特征通道重新校準(zhǔn)。
2.2.3 改進(jìn)的深度特征提取模塊Deep-MSFF Block
在番茄缺素性狀顯現(xiàn)過(guò)程中,因不同種類番茄缺素葉片在不同時(shí)期具有多種表現(xiàn)型的特點(diǎn),故將原本的Dense Block改進(jìn)為Deep-MSFF Block。Deep-MSFF Block由多個(gè)MSFF BottleNeck組成,多層之間稠密連接,每一個(gè)MSFF BottleNeck的輸入,都來(lái)自于前面每一層MSFF BottleNeck的輸出和原始輸入的堆疊,Deep-MSFF Block結(jié)構(gòu)如圖4所示。
多尺度融合的瓶頸 (MSFF BottleNeck) 將其中的1×1conv擴(kuò)大通道數(shù)的過(guò)程改為采用多尺度特征融合模塊(MSFF Module)擴(kuò)大通道數(shù)的過(guò)程,將1×1conv (n→4r)替換為1×1conv (n→2r)、3×3conv (n→r) 和5×5conv (n→r)拼接,r=32,其結(jié)構(gòu)不僅降低特征數(shù)量,提升計(jì)算效率,還強(qiáng)調(diào)了多尺度特征融合在特征提取中的作用。改進(jìn)的多尺度融合的瓶頸結(jié)構(gòu)如圖6c所示。
其中,r是一個(gè)超參數(shù)被稱為增長(zhǎng)率growth rate,是Deep-MSFF Block中每一個(gè)非線性變換(MSFF Module→BN→ReLU→3×3conv)的輸出,其與輸入進(jìn)行連接為一個(gè)MSFF BottleNeck的輸出,增長(zhǎng)率r反映每個(gè)Deep-MSFF Block中Feature Map通道數(shù)的增長(zhǎng)速度。隨著增長(zhǎng)率超參數(shù)r的增加,模型的準(zhǔn)確率有提升效果,但模型參數(shù)明顯增多,計(jì)算量明顯增大。為了避免網(wǎng)絡(luò)變得很寬,在實(shí)際應(yīng)用中通常采用較小的r,當(dāng)r=32時(shí),可以在稍復(fù)雜數(shù)據(jù)集中達(dá)到較好平衡。
2.2.4 引入Focal Loss函數(shù)作為分類損失函數(shù)
本研究通過(guò)訓(xùn)練番茄缺素葉片圖像,使模型可以對(duì)健康及缺素的番茄葉片進(jìn)行分類。在番茄缺素早期,缺氮和缺鉀葉片變化相似容易混淆,故訓(xùn)練時(shí)健康的圖像樣本相對(duì)于缺素的圖像樣本更容易被分辨。Focal loss(焦點(diǎn)損失)[29]損失函數(shù)是解決分類問(wèn)題中類別不平衡、分類難度有差異的損失函數(shù),廣泛用于圖像領(lǐng)域解決數(shù)據(jù)不平衡造成的模型性能問(wèn)題。引入Focal loss損失函數(shù)后網(wǎng)絡(luò)在訓(xùn)練時(shí)可以減少易分樣本(健康葉片)的權(quán)重,從而使模型在訓(xùn)練過(guò)程中更專注難分類的樣本。因此從樣本難易分類角度出發(fā),使得loss聚焦于難分樣本,解決了樣本少的類別分類準(zhǔn)確率不高的問(wèn)題,有助于模型的整體性能提高。
交叉熵?fù)p失函數(shù)的本質(zhì)是信息理論中的交叉熵在分類問(wèn)題中的應(yīng)用,其優(yōu)點(diǎn)是能在梯度下降時(shí)避免均方誤差損失函數(shù)學(xué)習(xí)速率降低的問(wèn)題。Focal loss損失函數(shù)是在交叉熵?fù)p失函數(shù)[30]的基礎(chǔ)上進(jìn)行修改得到的,在交叉熵?fù)p失函數(shù)基礎(chǔ)上為了控制正負(fù)樣本對(duì)總的損失的權(quán)重共享,增加一個(gè)參數(shù)αt,表示不同類別的權(quán)重,通過(guò)將αt取一個(gè)較小的值來(lái)降低負(fù)樣本的權(quán)重表達(dá)式(1)如下:
式中CE()即cross entropy,為交叉熵?fù)p失函數(shù);pt即ground truth,為標(biāo)注類別所對(duì)應(yīng)的概率。
在式(1)的基礎(chǔ)上,再增加一個(gè)控制容易分類和難分類樣本的權(quán)重,通過(guò)減少易分類樣本的權(quán)重,從而使得模型在訓(xùn)練時(shí)更專注于難分類的樣本。焦點(diǎn)損失為
式中Lfl為二分類的焦點(diǎn)損失函數(shù),其中y表示樣本類別,取值0或1,γ為焦點(diǎn)參數(shù),γ≥0,(1-pt)γ為調(diào)制系數(shù),用來(lái)減少易分類樣本的權(quán)重,使番茄缺素圖像識(shí)別模型在訓(xùn)練中可以關(guān)注難分類的樣本。
多分類任務(wù)下的焦點(diǎn)損失為
式中FL即Focal Loss,為多分類任務(wù)下的焦點(diǎn)損失函數(shù),pprediction為目標(biāo)的預(yù)測(cè)值。
網(wǎng)絡(luò)模型訓(xùn)練與測(cè)試的試驗(yàn)環(huán)境配置如表3所示。
表3 試驗(yàn)環(huán)境配置Table 3 Eeperimental environment configuration
MSFF-AM-CNNs模型選用ReLU為激活函數(shù),為了避免網(wǎng)絡(luò)過(guò)擬合的發(fā)生,對(duì)全連接層引入了dropout。遍歷一次訓(xùn)練集中的所有圖片稱作一次迭代(iterations),訓(xùn)練100 iterations,選取0.01為學(xué)習(xí)率初始值,試驗(yàn)以小批量的形式進(jìn)行,batch size設(shè)置為20。
batch size應(yīng)在內(nèi)存效率和內(nèi)存容量之間尋求最佳平衡,從而最優(yōu)化網(wǎng)絡(luò)模型的性能及速度。為在合理范圍內(nèi)增大相對(duì)處理速度,當(dāng)試驗(yàn)設(shè)置為batch size=32和batch size=24時(shí),結(jié)果均為電腦運(yùn)行內(nèi)存不足,無(wú)法訓(xùn)練。batch size=20和batch size=16時(shí),模型皆正常收斂,平均準(zhǔn)確率基本相同。當(dāng)batch size=20時(shí),模型訓(xùn)練速度明顯更快,故本次實(shí)驗(yàn)設(shè)置為20。
訓(xùn)練和驗(yàn)證過(guò)程中的損失函數(shù)變化趨勢(shì)如圖7,其中遍歷完一個(gè)batch的圖片稱作一次Total iterations。可以發(fā)現(xiàn)分類損失loss在訓(xùn)練的前40次iterations(Total iterations/(訓(xùn)練集圖片總數(shù)/batch):7 500/(3 750/20)=40)一直處于快速下降狀態(tài),迭代到60(11 500/(3 750/20))次iterations之后loss一直維持在較低水平,說(shuō)明模型達(dá)到收斂。
為驗(yàn)證MSFF-AM-CNNs 的有效性,采用召回率Recall(%)、F1得分(%)、準(zhǔn)確率Precision(%)、平均識(shí)別準(zhǔn)確率AP(%)作為評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比試驗(yàn),衡量分割模型的性能。指標(biāo)的計(jì)算公式如下:
式中設(shè)正樣本被正確識(shí)別為正樣本的數(shù)量為T(mén)P,負(fù)樣本被正確識(shí)別為負(fù)樣本的數(shù)量為T(mén)N,負(fù)樣本被錯(cuò)誤識(shí)別為正樣本的數(shù)量為FP,正樣本被錯(cuò)誤識(shí)別為負(fù)樣本的數(shù)量為FN,TPi、FPi分別表示測(cè)試集中第i類缺素樣本預(yù)測(cè)正確的和預(yù)測(cè)錯(cuò)誤的樣本數(shù),N表示缺素種類數(shù)。平均識(shí)別準(zhǔn)確率可以衡量模型對(duì)于整個(gè)番茄缺素?cái)?shù)據(jù)集的識(shí)別精度,平均識(shí)別準(zhǔn)確率、準(zhǔn)確率、F1得分和召回率的值越接近于1則代表本文模型的性能越好。
為更好地分析本文網(wǎng)絡(luò)獲得番茄葉片缺素圖像特征表達(dá)的過(guò)程,分別將各模塊中卷積層的輸出特征圖可視化。具體分類過(guò)程中,首先將番茄葉片缺素圖像通過(guò)MSFF-AM Module,在注意力機(jī)制基礎(chǔ)上提取圖像的多尺度特征,然后連續(xù)通過(guò)4個(gè)包含MSFF BottleNeck數(shù)分別為6、12、24、16的Deep-MSFF Block模塊,4個(gè)模塊間通過(guò)卷積層和池化層相連,最后通過(guò)全局池化后使用SoftMax對(duì)圖像進(jìn)行分類,并輸出分類結(jié)果。
MSFF-AM Module旨在淺層網(wǎng)絡(luò)中融合注意力機(jī)制模型及以多尺度特征融合層替換部分普通卷積層為提高番茄葉片缺素的分類準(zhǔn)確率,圖8為MSFF-AM Module和原Conv+Pool模塊的部分可視化輸出,其中圖8a、8b、8c分別為圖像通過(guò)MSFF-AM Module中卷積核尺寸為1×1、3×3、5×5多尺度卷積計(jì)算的部分通道可視化輸出,圖8d均為圖像通過(guò)原Conv+Pool模塊中卷積核尺寸為7×7多尺度卷積計(jì)算的部分通道可視化輸出。
通過(guò)對(duì)比得出,針對(duì)葉片上的細(xì)微特征和輕微紋理變化,原模塊不能準(zhǔn)確定位提取不同尺度的特征,而MSFF-AM Module可以通過(guò)多尺度卷積核和注意力機(jī)制結(jié)構(gòu)提取到不同尺度的關(guān)鍵特征,達(dá)到精準(zhǔn)定位、準(zhǔn)確提取特征的作用,對(duì)番茄缺素特征提取確實(shí)有顯著效果。
隨著網(wǎng)絡(luò)層次加深,圖像的特征Deep-MSFF Block模塊強(qiáng)調(diào)了多尺度特征融合在特征提取中的作用,圖9為Deep-MSFF Block2層和Dense Block2的可視化輸出,由圖9a可得Deep-MSFF Block可以提取莖和葉上更微小的特征,較Dense Block提取特征能力效果更好,對(duì)不同尺度特征捕捉效果更優(yōu),對(duì)關(guān)鍵特征的提取更加精確。由此得出Deep-MSFF Block對(duì)番茄缺素特征提取確實(shí)有顯著效果。
以正常、缺氮、缺磷、缺鉀4種類型的番茄葉片圖像為分類對(duì)象,分別標(biāo)記為正常Normal、缺氮Lack nitrogen、缺磷Lack phosphorus、缺鉀Lack potassium。本文采用以下不同的模型網(wǎng)絡(luò)進(jìn)行番茄缺素檢測(cè):
1)現(xiàn)有的DenseNet-121網(wǎng)絡(luò)。
2)DenseNet-121網(wǎng)絡(luò)添加基于注意力機(jī)制的多尺度特征融合模塊(MSFF-AM Module),以下簡(jiǎn)稱為DenseNet-121 + MSFF-AM 。
3)DenseNet-121網(wǎng)絡(luò)添加基于注意力機(jī)制的多尺度特征融合模塊(MSFF-AM Module)并引入Focal Loss函數(shù)作為損失函數(shù),以下簡(jiǎn)稱為DenseNet-121+ MSFF-AM+Focal Loss。
4)DenseNet-121網(wǎng)絡(luò)添加基于注意力機(jī)制的多尺度特征融合模塊(MSFF-AM Module)、提取深度特征的Deep-MSFF Block及引入Focal Loss函數(shù)作為損失函數(shù),以下簡(jiǎn)稱為MSFF-AM-CNNs。
5)傳統(tǒng)機(jī)器學(xué)習(xí)模型BP神經(jīng)網(wǎng)絡(luò)算法、K最近鄰算法KNN、貝葉斯算法NBM。
6)現(xiàn)有成熟深度學(xué)習(xí)模型MobileNetV3、AlexNet、VGG16等。
將MSFF-AM-CNNs 應(yīng)用于番茄葉片缺素圖像分類,并與傳統(tǒng)機(jī)器學(xué)習(xí)模型(BP神經(jīng)網(wǎng)絡(luò)算法、K最近鄰算法KNN、貝葉斯算法NBM)和成熟深度學(xué)習(xí)模型(MobileNetV3、AlexNet、VGG16、DenseNet-121和DenseNet-201)進(jìn)行準(zhǔn)確率比較。將訓(xùn)練集、驗(yàn)證集和測(cè)試集輸入到訓(xùn)練好的各個(gè)模型進(jìn)行測(cè)試,驗(yàn)證多模型的性能。由于驗(yàn)證集數(shù)據(jù)的信息會(huì)被帶入到模型中去,因此驗(yàn)證誤差通常比測(cè)試誤差要小。多模型的驗(yàn)證集與測(cè)試集準(zhǔn)確率對(duì)比結(jié)果如表4。從驗(yàn)證集和測(cè)試集的效果來(lái)看,模型未出現(xiàn)過(guò)擬合或者欠擬合現(xiàn)象,模型性能取得理想效果。
表4 缺素類型的多模型準(zhǔn)確率對(duì)比Table 4 Multi-model accuracy comparison of the deficient nutrient elements %
由表4可得,針對(duì)番茄缺素識(shí)別任務(wù),傳統(tǒng)機(jī)器學(xué)習(xí)算法的識(shí)別準(zhǔn)確率普遍低于深度學(xué)習(xí)算法的識(shí)別準(zhǔn)確率。深度學(xué)習(xí)算法MobileNetV3、AlexNet、VGG16和DenseNet-121應(yīng)用于番茄缺素測(cè)試集平均識(shí)別準(zhǔn)確率分別為90.83%、91.26%、91.73%和92.98%,深度學(xué)習(xí)算法雖具有優(yōu)勢(shì),但仍不能針對(duì)性的滿足番茄葉片缺素圖像的高精度分類需求。因番茄缺氮與缺鉀在缺素早期的癥狀較為類似且都會(huì)呈現(xiàn)葉片變黃的特征,所以兩者區(qū)分較為困難。從特征細(xì)節(jié)看,缺氮為大面積黃化而缺鉀是從葉片邊緣開(kāi)始的小范圍黃化,兩者顏色變化類似但缺素癥顯現(xiàn)的大小和表現(xiàn)的部位卻不同。本研究的MSFF-AM-CNNs模型對(duì)性狀相似的缺氮和缺鉀葉片的誤識(shí)率更低,其中缺氮和缺鉀葉片的準(zhǔn)確率較原模型DenseNet-121分別提高了8.06和6.14個(gè)百分點(diǎn),召回率分別提高了6.31和5.00個(gè)百分點(diǎn),F(xiàn)1得分分別提高了7.25和5.55個(gè)百分點(diǎn),MSFF-AM-CNNs的識(shí)別準(zhǔn)確率可達(dá)95.92%,因此模型能夠有效捕捉不同缺素癥之間的細(xì)微差別,對(duì)番茄葉片缺素圖像分類有良好表現(xiàn)。
表5 為4組模型設(shè)計(jì)方案針對(duì)番茄缺素?cái)?shù)據(jù)的性能對(duì)比結(jié)果。首先在DenseNet-121網(wǎng)絡(luò)的基礎(chǔ)上引入基于注意力機(jī)制的多尺度特征融合模塊,模型各指標(biāo)性能有較大提升精確率、召回率和F1得分分別大幅提升;在此基礎(chǔ)上,引入Focal Loss函數(shù)作為損失函數(shù),并將Dense Block替換為Deep-MSFF Block,使得模型具有了更好的準(zhǔn)確率與召回率,說(shuō)明模型在改進(jìn)后,網(wǎng)絡(luò)在訓(xùn)練時(shí)會(huì)考慮正負(fù)樣本之間的差異和不同樣本之間的差異,在不斷的迭代中,減小類內(nèi)距離、擴(kuò)大類間距離,使得模型具有更好的模型性能。
表5 模型設(shè)計(jì)方案性能對(duì)比結(jié)果Table 5 Performance comparison results of the model design scheme %
混淆矩陣(Confusion matrix)也是分類模型評(píng)判指標(biāo)之一[14]?;煜仃嚨男袠?biāo)簽表示預(yù)測(cè)圖像的真實(shí)類別。行列交叉處的數(shù)值表示該類別被預(yù)測(cè)為對(duì)應(yīng)列標(biāo)簽的數(shù)量,對(duì)角線處的數(shù)值表示正確預(yù)測(cè)的標(biāo)簽數(shù)量,對(duì)角線的數(shù)值越大表示模型的效果越好。表6為原網(wǎng)絡(luò)DenseNet-121和改進(jìn)后網(wǎng)絡(luò)MSFF-AM-CNNs的混淆矩陣。關(guān)于得出相對(duì)于原模型,改進(jìn)后的MSFF-AM-CNNs針對(duì)性狀相似的缺氮和缺鉀葉片的誤識(shí)率更低,且模型可以更準(zhǔn)確地分辨健康葉片和早期缺素葉片的細(xì)微差別,對(duì)缺素性狀實(shí)現(xiàn)更清晰的定位和更精準(zhǔn)的識(shí)別。MSFF-AM-CNNs的混淆矩陣表現(xiàn)出得性能更好,平均識(shí)別率更高。
表6 DenseNet-121與MSFF-AM-CNNs識(shí)別番茄缺素圖像的混淆矩陣Table 6 DenseNet-121 and MSFF-AM-CNNs identifies the confusion matrix of tomato deficient elements nutrient images
在實(shí)際應(yīng)用中模型的效率對(duì)識(shí)別任務(wù)有很大的影響,表7為原模型DenseNet-121、改進(jìn)后的模型MSFF&AM-CNNs和模型DenseNet-201針對(duì)番茄缺素任務(wù)的模型參數(shù)大小、平均測(cè)試耗時(shí)、平均召回率、平均F1得分與平均準(zhǔn)確率對(duì)比。
表7 多模型性能對(duì)比結(jié)果Table 7 Performance comparison results of multiple model
MSFF&AM-CNNs基于DenseNet-121進(jìn)行改進(jìn),雖然與DenseNet-121相比模型大小增加了6.52MB,平均測(cè)試耗時(shí)增加了0.0102s,但平均召回率、平均F1得分、平均準(zhǔn)確率比改進(jìn)前提升了3.04個(gè)百分點(diǎn)、2.98個(gè)百分點(diǎn)、2.94個(gè) 百 分 點(diǎn)。與DenseNet-201相 比,MSFF&AM-CNNs的結(jié)構(gòu)更簡(jiǎn)單,其平均召回率、平均F1得分、平均準(zhǔn)確率比DenseNet-201高了1.29個(gè)百分點(diǎn)、1.27個(gè)百分點(diǎn)、1.52個(gè)百分點(diǎn),模型體積比DenseNet-201小41.60 MB,平均測(cè)試耗時(shí)低0.050 3s。以上結(jié)果表明,注意力機(jī)制及多尺度特征融合模塊可以顯著提升模型綜合性能,更適用于番茄缺素分類任務(wù)。
圖10 為番茄缺素在線診斷過(guò)程架構(gòu)圖。模型訓(xùn)練保存后,接入在線診斷平臺(tái),用戶上傳番茄缺素圖片,輸出預(yù)測(cè)結(jié)果。
目前,依靠水培技術(shù)實(shí)現(xiàn)植物的缺素培養(yǎng)是農(nóng)業(yè)中的常見(jiàn)做法[31-34]。張陸[31]對(duì)50株番茄幼苗分別采用正常營(yíng)養(yǎng)液、100%缺鎂營(yíng)養(yǎng)液、100%缺氮營(yíng)養(yǎng)液、50%缺鎂營(yíng)養(yǎng)液、50%缺氮營(yíng)養(yǎng)液進(jìn)行番茄的缺素試驗(yàn),獲得正常、缺鎂、缺氮3類圖像共計(jì)500 張。石吉勇等[32]以溫室水培黃瓜為研究對(duì)象,分別采用正常營(yíng)養(yǎng)液和100%缺磷營(yíng)養(yǎng)液對(duì)80株黃瓜進(jìn)行試驗(yàn),獲得正常、缺磷2類近紅外光譜共計(jì)90條。由此可見(jiàn),通過(guò)水培技術(shù)獲得植物缺素樣本方案可行可實(shí)施。
本研究以氣候箱水培番茄為研究對(duì)象,使用正常營(yíng)養(yǎng)液及100%缺素營(yíng)養(yǎng)液進(jìn)行缺素試驗(yàn),試驗(yàn)全程記錄苗期番茄從正常到缺素狀態(tài)的全部變化過(guò)程,具體從缺素早期的輕度不明顯性狀到苗期結(jié)束的缺素后期顯著性狀進(jìn)行記錄,獲得正常、缺氮、缺磷、缺鉀4類番茄缺素圖像共1 250張,實(shí)現(xiàn)了番茄缺氮、磷、鉀圖像的獲取。但是本試驗(yàn)仍存在以下不足,1)番茄缺素樣本較少,未考慮在每種缺素條件的梯度設(shè)置,使得缺素?cái)?shù)據(jù)集涵蓋范圍不夠全面;2)實(shí)際生產(chǎn)中,番茄葉片缺素的性狀表現(xiàn)因所處生長(zhǎng)期不同,缺素癥狀差異較大。試驗(yàn)未采集不同缺素番茄處于不同生長(zhǎng)周期下的圖像數(shù)據(jù)。在未來(lái)的缺素識(shí)別研究中,將設(shè)置多濃度梯度缺素條件,以增加樣本數(shù)量及樣本多樣性。同時(shí)進(jìn)行番茄苗期、花期和果期等不同生長(zhǎng)期缺素培養(yǎng)試驗(yàn),提高模型對(duì)全生育期番茄缺素識(shí)別的普適性。
1)為實(shí)現(xiàn)對(duì)番茄缺素葉片的識(shí)別,本研究設(shè)計(jì)番茄缺素實(shí)驗(yàn),構(gòu)建了包含3種番茄缺素葉片及番茄健康葉片的數(shù)據(jù)集,共包含6 250張圖像。
2)設(shè)計(jì)針對(duì)缺素性狀的多尺度特征融合模塊,分別針對(duì)淺層和深層網(wǎng)絡(luò)特征提取特點(diǎn)引入注意力機(jī)制及多尺度特征融合結(jié)構(gòu),同時(shí)引入Focal Loss函數(shù),構(gòu)建基于注意力機(jī)制及多尺度特征融合卷積神經(jīng)網(wǎng)絡(luò)的番茄葉片缺素圖像分類模型(MSFF-AM-CNNs),本文提出的模型和方法為植物缺素分類提供新思路。
3)針對(duì)番茄缺素識(shí)別任務(wù),基于注意力機(jī)制及多尺度特征融合卷積神經(jīng)網(wǎng)絡(luò)的番茄葉片缺素圖像分類模型(MSFF-AM-CNNs)取得相對(duì)較高的分類結(jié)果,其準(zhǔn)確率、召回率和F1得分較原模型DenseNet-121均有大幅提升。MSFF-AM-CNNs對(duì)性狀相似的缺氮和缺鉀葉片的誤識(shí)率更低,其中缺氮和缺鉀葉片的準(zhǔn)確率分別提高了8.06和6.14個(gè)百分點(diǎn),召回率分別提高了6.31和5.00個(gè)百分點(diǎn),F(xiàn)1得分分別提高了7.25和5.55個(gè)百分點(diǎn),平均識(shí)別準(zhǔn)確率可達(dá)95.92%,因此MSFF-AM-CNNs模型在番茄葉片缺素圖像分類任務(wù)中具有更強(qiáng)的適用性。