王曉東，樊江川，杜建軍，云 挺，溫維亮，郭新宇 *

(1.中國農(nóng)業(yè)大學(xué) 信息與電氣工程學(xué)院,北京100083) (2.國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097) (3.數(shù)字植物北京市重點實驗室, 北京 100097) (4.南京林業(yè)大學(xué) 信息科學(xué)技術(shù)學(xué)院, 南京210037)

基于可見光圖像的玉米長勢監(jiān)測與表型解析在現(xiàn)代玉米育種、生產(chǎn)和管理中扮演了重要的角色[1-2].田間生長環(huán)境下采集的玉米冠層圖像普遍受到復(fù)雜天氣條件影響，這使得自動分割玉米多生育期圖像數(shù)據(jù)面臨巨大挑戰(zhàn)，如何從玉米冠層圖像序列中高質(zhì)量提取出玉米結(jié)構(gòu)信息，并準(zhǔn)確確定其生育期成為當(dāng)前作物表型研究熱點之一[3].

近年來，傳統(tǒng)的圖像分割算法如閾值法[4]、聚類法[5]、區(qū)域生長法[6-7]、圖論法[8]等在農(nóng)業(yè)領(lǐng)域得到了廣泛應(yīng)用.傳統(tǒng)的圖像分割方法多基于人工提取圖像的灰度、顏色、紋理和空間幾何等特征，通過增強這些特征在前景與背景區(qū)域的差異性，使得前景與背景分離.這類方法雖然相對簡單且易于實現(xiàn)，但人工定義的圖像特征難以全面描述作物對復(fù)雜生長環(huán)境的響應(yīng)，使得傳統(tǒng)的算法只適用于特定類型的圖像分割，而在處理不同光照條件、不同生育期作物圖像時傳統(tǒng)算往往法泛化能力不足，存在大量過分割和欠分割現(xiàn)象.

隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，深度學(xué)習(xí)已在自然語言處理[9]、圖像識別[10-11]、視頻跟蹤[12]等領(lǐng)域超越了傳統(tǒng)的機器學(xué)習(xí)算法.在農(nóng)業(yè)領(lǐng)域，由于卷積神經(jīng)網(wǎng)絡(luò)較強的圖像特征提取能力，越來越多的學(xué)者將深度學(xué)習(xí)應(yīng)用于表型信息獲取[13]，農(nóng)業(yè)遙感影像分類等[14]領(lǐng)域. 文獻(xiàn)[15]提出的全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)，奠定了深度學(xué)習(xí)在語義分割領(lǐng)域的基礎(chǔ)，而后大量的基于FCN的網(wǎng)絡(luò)模型被提出，且被應(yīng)用于農(nóng)業(yè)的各個領(lǐng)域.如文獻(xiàn)[16]利用全卷積網(wǎng)絡(luò)結(jié)合條件隨機場，實現(xiàn)了棉花冠層圖像的語義分割；文獻(xiàn)[17-18]利用SegNet模型提高了田間玉米冠層圖像的分割精度.但這些方法中上下文特征語義信息聯(lián)系不緊密，會造成部分細(xì)節(jié)信息丟失，從而導(dǎo)致分割精度不能滿足精細(xì)化表型提取的要求；增加卷積層數(shù)雖然可以增強特征提取能力，但隨著卷積深度的增加又可能造成梯度消失和網(wǎng)絡(luò)難以訓(xùn)練的問題.針對這些問題，文獻(xiàn)[19]提出的U-net模型通過跨層連接實現(xiàn)了上下文信息融合，能夠?qū)崿F(xiàn)端到端的訓(xùn)練輸出.從而擁有較好的分割效果.文獻(xiàn)[20]提出 ResNet的模型解決了隨著卷積網(wǎng)絡(luò)層數(shù)加深而造成的梯度消失、爆炸及深層網(wǎng)絡(luò)難以訓(xùn)練的問題，可在更深層網(wǎng)絡(luò)中提取特征信息.

針對傳統(tǒng)分割算法對于不同光照條件下玉米原位冠層圖像分割效果差，泛化性低的問題以及經(jīng)典卷積網(wǎng)絡(luò)模型缺乏上下文特征融合而造成分割精度難以滿足精細(xì)化表型提取需求的問題.文中利用深度學(xué)習(xí)模型訓(xùn)練學(xué)習(xí)像素級圖像特征.提出在U-net語義分割模型的基礎(chǔ)上，通過殘差學(xué)習(xí)進(jìn)一步增強卷積深度，利用深層次特征進(jìn)行像素級圖像分割.

1 材料與方法

1.1 原位玉米冠層圖像獲取裝置與方法

試驗在北京市農(nóng)林科學(xué)院試驗田內(nèi)開展，玉米種植小區(qū)大小為5 m×5 m(材料為ZD985，種植密度為45 000株/hm2，正常水肥管理).小區(qū)內(nèi)部署一套冠層圖像采集裝置，如圖1.

圖1 圖像采集裝置示意

整個圖像獲取裝置包括成像單元、供電及通訊單元和桁架結(jié)構(gòu).成像單元置于玉米冠層頂部，距離地面6 m，由桁架結(jié)構(gòu)支撐固定，圖像采集指令由遠(yuǎn)程上位機發(fā)出，無線176通訊網(wǎng)絡(luò)負(fù)責(zé)指令和圖像數(shù)據(jù)的傳輸.成像單元圖像采集設(shè)備采用?？低旸S-2CD5052F的高清網(wǎng)絡(luò)攝像頭，像素為500萬，圖像的分辨率為1 920×1 080像素.本次實驗采用自動曝光模式對田間作物進(jìn)行圖像數(shù)據(jù)采集.圖像采集時間從2018年6月 15 日起到 2018年7月17日止，每隔 1 h 獲取被監(jiān)測玉米小區(qū)可見光圖像，每天可獲取24張圖像，共計獲取768張.

為了適配復(fù)雜的光照條件和不同生育期圖像數(shù)據(jù)變化(如：晴天，陰天，強光，弱光，陰影，葉片高光反射等)，選取從2018年6月16日到7月16日之間連續(xù)一個月早7時到晚19時的時序圖像數(shù)據(jù)構(gòu)成原始數(shù)據(jù)集(共390張圖像).為了降低模型的輸入大小、便于數(shù)據(jù)標(biāo)注，從原始圖像中選擇中心無雜物區(qū)域進(jìn)行裁剪，將圖像尺寸從1 920×1 080像素減小為512×512像素.在此基礎(chǔ)上將數(shù)據(jù)集按照7 ∶3劃分為訓(xùn)練集和測試集.訓(xùn)練集，共273張圖像，測試集共有117張圖像.圖2為裁剪后圖像及其標(biāo)注.

圖2 不同光照條件下冠層圖像及標(biāo)注

U-net模型結(jié)構(gòu)決定其輸入圖像尺寸需為32的倍數(shù)，為了增加數(shù)據(jù)數(shù)量防止過擬合，且在滿足U-net模型的輸入需求的條件下，將訓(xùn)練集彩色圖像及其標(biāo)注值由 512×512裁剪為256×256大小，即每張尺寸為512×512的圖像裁剪為4張尺寸256×256的圖像，并進(jìn)一步進(jìn)行鏡像和旋轉(zhuǎn).最終訓(xùn)練集共2 184張圖像.其中原始圖像是JPEG格式，標(biāo)注圖像是PNG格式.

1.2 研究方法流程

文中基于U-net語義分割模型和Resnet殘差學(xué)習(xí)模型進(jìn)行田間玉米冠層圖像分割方法流程如圖3，主要包括數(shù)據(jù)獲取及預(yù)處理、模型構(gòu)建及優(yōu)化和精度評價3個階段.

數(shù)據(jù)獲取及預(yù)處理階段主要進(jìn)行數(shù)據(jù)獲取和數(shù)據(jù)集組織劃分.模型構(gòu)建及優(yōu)化階段主要是在U-net模型的基礎(chǔ)上逐步進(jìn)行結(jié)構(gòu)優(yōu)化和模型訓(xùn)練.精度評價主要比較不同模型在測試圖像上的精度比較，確定最優(yōu)參數(shù)并驗證其泛化性.

圖3 基于U-net模型的玉米冠層圖像分割流程

2 ResU-net圖像分割模型

2.1 ResU-net模型結(jié)構(gòu)

U-net模型包含一個收縮路徑和一個擴(kuò)張路徑，收縮路徑用于捕捉上下文，擴(kuò)張路徑用于實現(xiàn)精確定位，兩個路徑呈對稱關(guān)系.收縮路徑中包括5個卷積模塊，每個模塊中包括兩次卷積操作，模塊間進(jìn)行一次池化操作；擴(kuò)張路徑是與收縮路徑相反的上采樣過程，擴(kuò)張路徑包括4個上采樣模塊.每個上采樣模塊包括一次反卷積操作、一次特征融合和兩次卷積操作.輸出前進(jìn)行一次1×1卷積用于分類輸出.

殘差學(xué)習(xí)的主要思想是在網(wǎng)絡(luò)中增加一個直接從輸入到輸出的旁路，并利用殘差來學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)層之間的差異，有效避免了隨著網(wǎng)絡(luò)深度的增加而造成的梯度消失或爆炸問題.殘差學(xué)習(xí)單元的模型結(jié)構(gòu)如圖4.x為該層的輸入數(shù)據(jù)，若經(jīng)過隱藏層后x對應(yīng)的輸出為H(x)，假設(shè)輸入和輸出維度一致，則可令F(x)=H(x)-x為殘差函數(shù).可以驗證擬合F(x)與擬合H(x)的目標(biāo)是等價的.由于增加了一個快捷映射分支，兩個分支通過特征映射融合后，原始函數(shù)可表述為H(x)=F(x)+x，使得輸入與輸出之間由傳統(tǒng)網(wǎng)絡(luò)中的非線性連乘轉(zhuǎn)變?yōu)闅埐罾奂拥木€性連接.整個網(wǎng)絡(luò)只需要學(xué)習(xí)輸入和輸出之間的差異，簡化了學(xué)習(xí)目標(biāo)，降低了學(xué)習(xí)難度.

圖4 殘差結(jié)構(gòu)

玉米冠層圖像光照背景復(fù)雜，使用傳統(tǒng)的U-net模型難以達(dá)到預(yù)期效果.而單純的增加模型的網(wǎng)絡(luò)深度又會造成訓(xùn)練難度增加，存在梯度消失及爆炸的問題.為了實現(xiàn)復(fù)雜光照條件下玉米冠層圖像分割，文中基于殘差學(xué)習(xí)的思想，在U-net網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計應(yīng)用了殘差(Residual)學(xué)習(xí)單元，構(gòu)成ResU-net網(wǎng)絡(luò)結(jié)構(gòu).

ResU-net模型的收縮路徑一共包括5個卷積模塊，第一個卷積模塊通過卷積和最大池化操作對輸入圖像進(jìn)行尺寸調(diào)整，后四個卷積模塊由不同數(shù)量的殘差結(jié)構(gòu)有機組合，對輸入數(shù)據(jù)進(jìn)行特征提取.收縮路徑中結(jié)構(gòu)及參數(shù)設(shè)置如表1.

表1 收縮路徑結(jié)構(gòu)參數(shù)配置

對應(yīng)于收縮路徑的結(jié)構(gòu)，ResU-net的擴(kuò)張路徑采用5層上采樣結(jié)構(gòu).上采樣層結(jié)構(gòu)如圖5.每次上采樣后進(jìn)行卷積、批標(biāo)準(zhǔn)化和激活操作，而后與收縮路徑對應(yīng)的低維特征進(jìn)行融合.將融合后的特征圖再進(jìn)行兩次卷積、批標(biāo)準(zhǔn)化及激活操作后傳遞到下一層上采樣層.

圖5 上采樣結(jié)構(gòu)

2.2 ResU-net模型優(yōu)化

傳統(tǒng)的U-net模型隱藏層利用修正線性單元(rectified linear unit, ReLu)作為激活函數(shù).如圖6，ReLu函數(shù)當(dāng)輸入值為負(fù)時，輸出值恒定為0，使得梯度變?yōu)?.這就可能造成的神經(jīng)元失活情況.為此文中利用指數(shù)線性單元(exponential linear unit，ELU)作為激活函數(shù).在ELU激活函數(shù)的基礎(chǔ)上，將激活函數(shù)的曲線向上平移得到activation=elu+1，如式(2)，式中x為經(jīng)過當(dāng)前隱藏層后的輸出，a表示趨于0的非負(fù)數(shù).這樣就為負(fù)值輸入添加了一個非零輸出，從而防止失活神經(jīng)元的出現(xiàn)，提高了學(xué)習(xí)效率.

(1)

(2)

圖6 激活函數(shù)圖

玉米原位冠層圖像隨著玉米生育期的變化會造成冠層圖像中的前景與背景像素點不均勻的問題．如圖7,隨著時間的推移前景像素點比例逐漸增大,而交叉熵?fù)p失是對每個像素點進(jìn)行均勻的計算．僅僅使用交叉熵?fù)p失得到的效果并不理想．

圖7 前景像素比例變化圖

為解決此問題,文中在交叉熵?fù)p失的基礎(chǔ)上結(jié)合分割領(lǐng)域典型的損失函數(shù)和評價指標(biāo),構(gòu)成CE-Dice、Focal-Tversky、CE-F1、Focal-Dice 4種損失函數(shù)，如表2．

表2 不同損失函數(shù)的構(gòu)建方式

其中Focal損失函數(shù)[20-21],是在交叉熵?fù)p失函數(shù)的基礎(chǔ)上提出,旨在解決one-stage類型目標(biāo)檢測問題中由于類別失衡造成的分類精度低的問題．Dice 損失是文獻(xiàn)[22]在V-net中提出的Loss function,其源于S?rensen-Dice coefficient,將Dice系數(shù)作為目標(biāo)優(yōu)化項．Tversky損失[23]對Dice Loss的正則化版本,其源于Tversky系數(shù)．各函數(shù)數(shù)學(xué)表達(dá)式如下:

(3)

式中：N為總樣本個數(shù);yn,l為第n個樣本預(yù)測是否為第l個標(biāo)簽,若是記yn,l,否則為0;pn,l為第n個樣本預(yù)測為第l個標(biāo)簽的概率．

(4)

式中：N為總樣本個數(shù)；p和r為預(yù)測值和真實值．

(5)

式中：a為類平衡因子；λ為難易平衡因子；p為預(yù)測為1的輸出概率；y為像素點的預(yù)測值,文中取值為0或1．

2.3 模型訓(xùn)練方式

模型訓(xùn)練過程就是對損失函數(shù)進(jìn)行優(yōu)化的過程．文中模型訓(xùn)練采用的是文獻(xiàn)[24]提出的適應(yīng)性矩估計優(yōu)化算法(adaptive moment estimation optimization algorithm,Adam)，其與傳統(tǒng)的隨機梯度下降不同．隨機梯度下降保持單一的學(xué)習(xí)率更新所有的權(quán)重,學(xué)習(xí)率在訓(xùn)練過程中并不會改變；而Adam通過計算梯度的一階矩估計和二階矩估計從而為不同的參數(shù)設(shè)計獨立的自適應(yīng)性學(xué)習(xí)率,并且有很高的計算效率和較低的內(nèi)存需求．算法的數(shù)學(xué)表達(dá)式如下：

(6)

文中模型訓(xùn)練將初始學(xué)習(xí)率設(shè)置為0.001,衰減率分別設(shè)置為為0.9、0.999．設(shè)置訓(xùn)練迭代次數(shù)為200次．批大小設(shè)置為2,模型訓(xùn)練是在Windows10操作系統(tǒng)下配載GTX1080Ti GPU利用tensorflow-Keras框架完成．

2.4 模型評價指標(biāo)

分類模型訓(xùn)練結(jié)束之后需要判斷其分類性能,尤其對于二分類而言,常用的評價指標(biāo)有總體精度(Accuracy)、查全率(Recall)、查準(zhǔn)率(Precision)、交并比(IOU)和F1值．為客觀評價分類的精度,采用以上5種精度評價指標(biāo)對玉米冠層圖像分割結(jié)果進(jìn)行精度評估．具體計算方式如下：

(7)

(8)

(9)

(10)

(11)

式中：TP為真陽性樣本像素數(shù)；TN為真陰性樣本像素數(shù)；FP為假陽性樣本像素數(shù)；FN為假陰性樣本像素數(shù)．

3 結(jié)果與分析

3.1 不同網(wǎng)絡(luò)結(jié)構(gòu)精度比較

設(shè)置隱藏層使用修正線性單元(rectified linear unit,ReLu)作為激活函數(shù),輸出層利用Sigmold進(jìn)行激活．以交叉熵?fù)p失函數(shù)(cross entropy loss)作為模型訓(xùn)練的目標(biāo)優(yōu)化函數(shù)．分別對U-net模型的ResU-net模型進(jìn)行迭代訓(xùn)練,訓(xùn)練曲線如圖8．可知兩個模型在迭代120次后,訓(xùn)練曲線趨于平緩．迭代200次后,ResU-net模型的訓(xùn)練準(zhǔn)確率可以逼近94%,U-net模型的訓(xùn)練準(zhǔn)確率約為92%．

圖8 模型訓(xùn)練曲線

不同模型對測試集的分割效果如圖9．其中圖(a)和(e)光照均勻,但亮度不同；圖(b)、(c)和(e)光照不均勻且存在不同程度的陰影．對比可知,不同分割模型對于圖(a)的分割并無明顯差異,分割效果較好．但對于亮度比較低的圖(e),通過對比框內(nèi)區(qū)域可知,U-net模型存在欠分割現(xiàn)象,ResU-net模型分割較為完整;對比圖(b)左下方的框內(nèi)區(qū)域可知,U-net模型對于陰影遮擋部分欠分割嚴(yán)重,ResU-net模型雖然也存在欠分割,但其輪廓相對清晰完整.

圖9 不同模型分割結(jié)果對比

對于圖(e)和圖(d)的分割,對比框內(nèi)區(qū)域可知,U-net模型存在較大程度的過分割現(xiàn)象,錯將雜草分為葉片,而ResU-net模型則對于雜草的分割則相對較好．

各模型在測試集的評價指標(biāo)的平均值如表3,由表可知U-net模型的精確率為0.857 2，小于ResU-net模型的0.929 5,這也驗證了ResU-net模型對于圖9中樣本的欠分割和錯分割程度優(yōu)于U-net模型,但ResU-net模型的IOU值小于0.87,說明ResU-net模型存在一定程度的欠分割和錯分割現(xiàn)象．

表3 不同分割方法測試集分類結(jié)果對比

3.2 不同損失函數(shù)ResU-net++模型的確定

為了進(jìn)一步提升ResU-net模型的分割精度,將ResU-net模型隱藏層的激活用函數(shù)改為式(2)形式,并分別以CE-Dice、Focal-Tversky、CE-F1和Focal-Dice作為損失函數(shù)進(jìn)行訓(xùn)練．不同模型對于測試集的5種評價指標(biāo)的平均值如圖10．

圖10 不同損失函數(shù)ResU-net模型在測試集分割精度對比

由圖10可知,修改損失函數(shù)后訓(xùn)練的4種ResU-net模型,在測試集中的總體分割準(zhǔn)確率在0.93～0.984之間浮動;精確率在0.90～0.931之間浮動;召回率在0.95左右浮動,優(yōu)于U-net模型的0.877 5和以交叉熵為損失函數(shù)的ResU-net模型的0.927 5;F1值在0.92～0.942之間浮動;IOU值在0.87～0.913之間浮動,優(yōu)于U-net模型的0.802 2和以交叉熵為損失函數(shù)的ResU-net模型的的0.867 2．其中表現(xiàn)最為優(yōu)異的是以Focal-Tversky為損失函數(shù)的ResU-net模型(簡稱為ResU-net++)，其在測試集種的5種評價指標(biāo)的平均值分別為：準(zhǔn)確率為0.953 9、精確率為0.931、召回率為0.955 1、F1為0.941 9、IOU為0.912 3．

ResU-net++模型對于圖9(b)的精確率是0.920 3,高于ResU-net模型的0.875 6;IOU值為0.894 0高于ResU-net的0.856 4,說明ResU-net++模型對于圖9中(b)圖的分割效果更好．

3.3 ResU-net++模型泛化性

為了驗證ResU-net++模型對于不同玉米品種分割精度的魯棒性,從種植材料為登海605的數(shù)據(jù)集(數(shù)據(jù)獲取時間為2016年,數(shù)據(jù)獲取方式與本文數(shù)據(jù)集一致)中隨機選擇選擇40張圖像作為測試集．在該測試集的平均準(zhǔn)確度為0.912 5,平均精確度為0.931 5,說明ResU-net++具有一定的泛化性．圖11為登海605測試集上的部分結(jié)果圖．

圖11 ResU-net++模型在登海605測試集的分割

4 結(jié)論

(1) 以時序數(shù)據(jù)構(gòu)建了不同光照調(diào)條件下的玉米原位冠層圖像數(shù)據(jù)集．在U-net模型的基礎(chǔ)上增加殘差學(xué)習(xí)單元,構(gòu)建了ResU-net模型．該模型在測試集的平均分割準(zhǔn)確率0.939 8，優(yōu)于傳統(tǒng)的U-net模型的0.893 6.

(2) 通過修改ResU-net模型隱藏層的激活函數(shù),并且構(gòu)造、對比4種不同損失函數(shù)在測試集上的優(yōu)劣,進(jìn)一步提高了ResU-net模型的分割精度,其中以Focal-Tversky函數(shù)為損失函數(shù)的ResU-net++模型在測試集上的表現(xiàn)優(yōu)于ResU-net模型,準(zhǔn)確率達(dá)到0.953 9．

(3) 以登海605數(shù)據(jù)作為驗證,得到的平均精確度為0.931 5,說明ResU-net++模型具有一定的泛化性．

(4) 基于U-net模型和殘差學(xué)習(xí)模型的田間玉米冠層圖像分割方法,對于田間玉米冠層分割具有較高的分割精度,未來可以在時間序列上繼續(xù)擴(kuò)充圖像數(shù)據(jù)集,以進(jìn)一步提高模型的性能,做到全生育期的圖像分割,為全生育期冠層表型監(jiān)測提供技術(shù)支撐．