廖 娟 陳民慧 張 鍇 鄒 禹 張 順 朱德泉

(1.安徽農(nóng)業(yè)大學(xué)工學(xué)院, 合肥 230036; 2.安徽農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)研究院, 合肥 230036;3.安徽省農(nóng)業(yè)科學(xué)院水稻研究所, 合肥 230031)

0 引言

隨著農(nóng)業(yè)自動(dòng)化、智能化技術(shù)的不斷發(fā)展，機(jī)器視覺技術(shù)已廣泛應(yīng)用于作物生長(zhǎng)信息獲取、病蟲害識(shí)別、農(nóng)藥精準(zhǔn)噴施、田間智能除草以及農(nóng)業(yè)機(jī)械視覺導(dǎo)航等領(lǐng)域[1]。而作物植株的準(zhǔn)確分割是機(jī)器視覺技術(shù)的關(guān)鍵步驟，但不同作物的外觀(如形狀、尺寸、姿態(tài)等)存在較大差異，且田間自然光照環(huán)境復(fù)雜，這些因素給作物植株圖像分割帶來了一定困難。

傳統(tǒng)的植株分割方法多通過提取目標(biāo)特定圖像中顏色[2]、紋理[3]及幾何形狀[4]等淺層特征來區(qū)分作物植株與背景，但淺層特征通常缺乏表達(dá)高層語義的能力，在表征作物植株的特定信息方面具有局限性，從而導(dǎo)致傳統(tǒng)分割方法性能下降。相比傳統(tǒng)方法，深度學(xué)習(xí)技術(shù)憑借其卓越的特征學(xué)習(xí)能力，可在圖像語義分割中取得更好的分割結(jié)果，現(xiàn)已廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域[5]。段凌鳳等[6]提出了基于全卷積神經(jīng)網(wǎng)絡(luò)SegNet的大田稻穗分割算法，通過網(wǎng)絡(luò)訓(xùn)練自動(dòng)學(xué)習(xí)和提取稻穗圖像中深度特征，實(shí)現(xiàn)稻穗分割。MILIOTO等[7]構(gòu)建了14通道的輸入圖像，提出了一種深度編-解碼的語義分割網(wǎng)絡(luò)，能夠?qū)崟r(shí)分割作物和雜草。韓振浩等[8]基于全卷積神經(jīng)網(wǎng)絡(luò)U-Net[9]，實(shí)現(xiàn)了果園圖像中果樹與道路的像素級(jí)平穩(wěn)分割。

基于深度學(xué)習(xí)的語義分割方法在作物植株分割應(yīng)用中優(yōu)勢(shì)明顯，但其分割效果取決于網(wǎng)絡(luò)在訓(xùn)練過程中能否學(xué)習(xí)到豐富的有用特征，其中，高層的語義特征包含更多抽象的語義信息，低層的語義特征包含較多的邊界紋理等信息[10]。然而，當(dāng)前作物植株語義分割研究多用高層特征實(shí)現(xiàn)像素分類，忽略了低層特征，導(dǎo)致分割結(jié)果缺乏精確的邊緣信息。而邊緣作為分割目標(biāo)的一個(gè)重要特征，能有效表征不同區(qū)域間語義信息。為獲取精細(xì)邊緣，XIE等[11]提出整體嵌套邊緣檢測(cè)網(wǎng)絡(luò)(Holistically-nested edge detection，HED)，通過構(gòu)建多層邊緣深度監(jiān)督，實(shí)現(xiàn)了利用卷積神經(jīng)網(wǎng)絡(luò)提取邊緣。CHENG等[12]提出了一種融合邊緣與區(qū)域語義信息的遙感圖像分割模型，通過單層的邊緣監(jiān)督，增強(qiáng)主干網(wǎng)絡(luò)對(duì)邊緣信息的感知，有效提高了小尺寸物體的分割精度。TAKIKAWA等[13]構(gòu)建了一種并行卷積神經(jīng)網(wǎng)絡(luò)的語義分割模型，明確將邊緣信息作為單獨(dú)的處理分支，采用邊緣標(biāo)簽監(jiān)督支路的優(yōu)化，以并行的方式處理信息，能夠?qū)δ繕?biāo)邊界產(chǎn)生更清晰的預(yù)測(cè)。但現(xiàn)有的結(jié)合邊緣信息的語義分割網(wǎng)絡(luò)缺少針對(duì)作物苗期植株分割的研究，且邊緣信息對(duì)于作物生長(zhǎng)信息獲取、生長(zhǎng)檢測(cè)等是不可或缺的數(shù)據(jù)依據(jù)。

針對(duì)作物苗期植株語義分割中邊緣信息缺失問題，本文提出一種同時(shí)關(guān)注目標(biāo)植株語義信息和邊緣信息的作物苗期植株分割網(wǎng)絡(luò)模型，聯(lián)合邊緣檢測(cè)與區(qū)域語義分割任務(wù)，實(shí)現(xiàn)作物苗期圖像中植株與背景的精確分割。以U-Net為主干框架，基于HED中側(cè)邊深度監(jiān)督的思想構(gòu)建邊緣感知模塊(Edge awareness module，EAM)，并弱化邊緣深度監(jiān)督帶來的監(jiān)督?jīng)_突，引導(dǎo)網(wǎng)絡(luò)在提取植株區(qū)域的語義分割特征時(shí)，能夠關(guān)注植株的邊緣信息；基于空間空洞特征金字塔(Atrous spatial pyramid pooling，ASPP)結(jié)構(gòu)[14]設(shè)計(jì)特征融合模塊(Feature fusion module，F(xiàn)FM)，融合主干網(wǎng)絡(luò)中作物植株區(qū)域的語義分割特征和邊緣感知模塊中邊緣特征，以充分利用邊緣感知模塊獲取的豐富的邊緣語義信息，并利用聯(lián)合損失優(yōu)化整體網(wǎng)絡(luò)，最終實(shí)現(xiàn)具有精細(xì)邊緣的作物植株分割。

1 數(shù)據(jù)集構(gòu)建

1.1 數(shù)據(jù)來源

采用3個(gè)作物植株數(shù)據(jù)集開展實(shí)驗(yàn)，數(shù)據(jù)集1為自制的田間水稻秧苗圖像數(shù)據(jù)集，圖像于2018年6月、2019年5月及2020年6月采集自安徽農(nóng)業(yè)大學(xué)郭河實(shí)驗(yàn)基地和安徽省農(nóng)業(yè)科學(xué)院全椒實(shí)驗(yàn)基地，水稻品種為雙季早秈稻，采集設(shè)備為Canon EOS 850D型相機(jī)，拍攝高度為0.5～1.5 m，拍攝垂直角度為0°～60°，取多個(gè)拍攝點(diǎn)，在不同光照條件下共采集圖像樣本560幅，圖像分辨率為3 456像素×2 304像素。數(shù)據(jù)集2和數(shù)據(jù)集3分別為公開的Plant Phenotyping Dataset[15]和Crop/Weed Field Image Datase[16]，其中，數(shù)據(jù)集2共有原始圖像350幅，圖像分辨率為2 448像素×2 048像素，主要包含3種不同形態(tài)的植株圖像：葉少的Y形擬南芥幼苗135幅、長(zhǎng)葉柄蓮座形態(tài)的擬南芥植株145幅和緊密的蓮座形態(tài)的煙草植株70幅。數(shù)據(jù)集3共有原始圖像60幅，圖像分辨率為1 296像素×966像素。圖1為3個(gè)數(shù)據(jù)集中部分樣本示例。為減少后續(xù)網(wǎng)絡(luò)訓(xùn)練所占的內(nèi)存和顯存，對(duì)數(shù)據(jù)集圖像進(jìn)行壓縮處理，處理后圖像分辨率為416像素×416像素。

1.2 數(shù)據(jù)集構(gòu)建與標(biāo)注

為增加數(shù)據(jù)集的多樣性，增強(qiáng)模型的泛化能力和魯棒性，采用5種圖像增強(qiáng)技術(shù)：亮度隨機(jī)減弱或增強(qiáng)、圖像對(duì)比度隨機(jī)增強(qiáng)、色度動(dòng)態(tài)變化30%、添加高斯噪聲和圖像隨機(jī)旋轉(zhuǎn)(0°、90°、180° 、270°)。對(duì)數(shù)據(jù)增強(qiáng)后的圖像進(jìn)行篩選，剔除植株信息嚴(yán)重缺失的圖像，篩選后的數(shù)據(jù)集1擴(kuò)充至1 400幅，數(shù)據(jù)集2增加到1 424幅，數(shù)據(jù)集3增加到549幅。

將數(shù)據(jù)增強(qiáng)后的3個(gè)數(shù)據(jù)樣本按照7∶2∶1分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，對(duì)應(yīng)的統(tǒng)計(jì)表如表1所示。使用Labelme工具對(duì)數(shù)據(jù)集1分別進(jìn)行手動(dòng)標(biāo)注水稻秧苗區(qū)域像素和邊緣像素，標(biāo)注標(biāo)簽分別是背景和植株，標(biāo)注后生成8位PNG灰度圖，黑色為背景，白色為植株。而數(shù)據(jù)集2、3已公開了相應(yīng)的語義分割標(biāo)注圖，僅使用Labelme標(biāo)注其邊緣像素。原圖和可視化標(biāo)注結(jié)果如圖2所示。

表1 數(shù)據(jù)分類統(tǒng)計(jì)表Tab.1 Data classification statistics

2 植株分割網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)概述

語義分割網(wǎng)絡(luò)U-Net整體呈“U”形，通過跳躍連接的方式將特征圖進(jìn)行維度拼接，能夠保留更多的位置和特征信息，在小樣本數(shù)據(jù)集上分割性能優(yōu)于其他網(wǎng)絡(luò)結(jié)構(gòu)，且適合處理小尺寸物體的語義分割任務(wù)[17]。為此，本文在U-Net網(wǎng)絡(luò)模型基礎(chǔ)上搭建一個(gè)能共同學(xué)習(xí)目標(biāo)的區(qū)域語義和邊緣特征的作物苗期植株分割網(wǎng)絡(luò)，網(wǎng)絡(luò)整體結(jié)構(gòu)如圖3所示，主要包括主干網(wǎng)絡(luò)、邊緣感知模塊和特征融合模塊3部分，其中，主干網(wǎng)絡(luò)主要用于提取作物植株區(qū)域的語義分割特征；邊緣感知模塊(EAM)通過引入側(cè)面輸出，并采用圖像的邊緣標(biāo)簽對(duì)其進(jìn)行深度監(jiān)督，以提取作物植株的邊緣特征；特征融合模塊(FFM)主要用于融合植株區(qū)域的語義分割特征和邊緣特征，提高網(wǎng)絡(luò)檢測(cè)精度。

2.2 主干網(wǎng)絡(luò)構(gòu)建

U-Net采用了編-解碼結(jié)構(gòu)，編碼器主要用于提取圖像特征，經(jīng)過4次池化，獲取的特征尺寸逐漸縮小為輸入圖像尺寸的1/16。但原始U-Net網(wǎng)絡(luò)的參數(shù)較多，直接添加其他模塊易造成網(wǎng)絡(luò)參數(shù)量過大，網(wǎng)絡(luò)訓(xùn)練困難[18]，運(yùn)行時(shí)間長(zhǎng)，為實(shí)現(xiàn)田間作物苗期植株特征提取的低延遲，本文將深度可分離卷積(Depthwise separable convolution)[19]與U-Net網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合。

如圖4所示，深度可分離卷積將標(biāo)準(zhǔn)卷積操作分解為逐深度卷積和逐點(diǎn)1×1卷積，通過逐深度卷積對(duì)每一個(gè)輸入通道進(jìn)行單個(gè)卷積核的卷積運(yùn)算，以保持輸入特征圖與輸出特征圖的通道數(shù)一致，然后用1×1逐點(diǎn)卷積組合不同深度卷積的輸出，實(shí)現(xiàn)通道數(shù)改變。深度可分離卷積與標(biāo)準(zhǔn)卷積的計(jì)算量比例公式定義為

(1)

式中Dk——深度可分離卷積的卷積核尺寸

M——輸入特征通道數(shù)

O——輸出特征通道數(shù)

相比于標(biāo)準(zhǔn)卷積層將所有卷積核都與每一個(gè)輸入特征通道進(jìn)行計(jì)算，深度可分離卷積可有效地減少計(jì)算量和模型訓(xùn)練參數(shù)。使用計(jì)算量小的深度可分離卷積層代替編碼器的標(biāo)準(zhǔn)卷積層，可實(shí)現(xiàn)U-Net的輕量化[20]。引入深度可分離卷積主干網(wǎng)絡(luò)的編碼器結(jié)構(gòu)如表2中Stage1～Stage5所示。

解碼器部分的結(jié)構(gòu)與原始U-Net相同，由表2中4個(gè)階段(Stage6～Stage9)組成，每個(gè)階段包含1層上采樣層、特征融合層和2層3×3的卷積，其中特征融合層分別融合上采樣后的特征層和編碼器中具有相應(yīng)尺寸的特征層。為防止過擬合和抑制梯度消失，解碼器中各激活層(Rectified linear unit，ReLU)[21]前引入批歸一化層(Batch normalization，BN)[22]，最后輸出尺寸為416像素×416像素×32通道的語義分割特征，記作S1。

2.3 邊緣感知模塊

針對(duì)區(qū)域語義分割網(wǎng)絡(luò)易導(dǎo)致分割后植株邊緣粗糙及邊緣信息丟失的問題，本研究基于HED的深度監(jiān)督策略構(gòu)造邊緣感知模塊(EAM)，在語義分割的基礎(chǔ)上，聯(lián)合邊緣分割任務(wù)，并利用邊緣標(biāo)簽同區(qū)域語義標(biāo)簽共同監(jiān)督網(wǎng)絡(luò)優(yōu)化。但2種不同的標(biāo)簽監(jiān)督同時(shí)作用到網(wǎng)絡(luò)中，會(huì)引起監(jiān)督?jīng)_突，即邊緣標(biāo)簽的監(jiān)督引導(dǎo)主干網(wǎng)絡(luò)通過捕獲圖像區(qū)域間的不連續(xù)性來定位精細(xì)的邊緣，而植株的語義分割標(biāo)簽對(duì)網(wǎng)絡(luò)的監(jiān)督將會(huì)引導(dǎo)網(wǎng)絡(luò)通過識(shí)別目標(biāo)類別的外觀變化獲取抽象的高級(jí)語義信息，2種不同的引導(dǎo)信息將導(dǎo)致網(wǎng)絡(luò)提取有用特征時(shí)發(fā)生沖突。

為弱化監(jiān)督?jīng)_突，LIU等[23]提出通過構(gòu)建卷積模塊延長(zhǎng)每一階段的輔助監(jiān)督到邊緣分割網(wǎng)絡(luò)的反向傳播距離，可緩沖2種不同梯度信號(hào)對(duì)邊緣分割網(wǎng)絡(luò)的監(jiān)督?jīng)_突。但由本文的主干網(wǎng)絡(luò)結(jié)構(gòu)可知，U-Net的編碼器主要用于特征提取，解碼器用于特征融合和恢復(fù)圖像尺寸，對(duì)于目標(biāo)特征的提取，編碼器占主導(dǎo)地位[9]。若將邊緣感知模塊直接構(gòu)建在編碼器部分，邊緣監(jiān)督會(huì)干擾編碼器提取語義特征。為此，本研究在主干網(wǎng)絡(luò)的解碼器部分構(gòu)建邊緣感知模塊，利用解碼器作為緩沖部分，減弱邊緣監(jiān)督對(duì)編碼器特征提取的沖突。邊緣感知模塊(EAM)如圖3所示，EAM包含5個(gè)邊緣特征提取分支，每個(gè)分支由一個(gè)殘差卷積塊(Residual convolution，RC)[24]、上采樣層和1×1卷積層構(gòu)成，其中RC結(jié)構(gòu)如圖5所示。EAM對(duì)主干網(wǎng)絡(luò)解碼器的每個(gè)階段均引出側(cè)層輸出，通過每個(gè)邊緣特征提取分支獲取側(cè)層邊緣特征，并利用邊緣標(biāo)簽對(duì)側(cè)層邊緣特征進(jìn)行監(jiān)督，且每個(gè)分支的卷積層延長(zhǎng)了邊緣監(jiān)督到解碼器的梯度信號(hào)反向傳播路徑，起到緩解邊緣監(jiān)督對(duì)解碼器網(wǎng)絡(luò)優(yōu)化的沖突作用。由反向傳播機(jī)制可知，每個(gè)分支的輸出層參數(shù)通過權(quán)值誤差傳播路徑的反向傳播來更新，每一階段的側(cè)層深度監(jiān)督使得每一級(jí)的側(cè)邊網(wǎng)絡(luò)層分別在不同的尺度上提取邊緣特征。因此，多層的深度監(jiān)督將獲取不同尺度的邊緣特征，將每個(gè)分支提取的側(cè)層邊緣特征經(jīng)過融合層堆疊融合，經(jīng)過1×1卷積恢復(fù)通道數(shù)獲得邊緣感知輸出特征，記作E1，同時(shí)采用邊緣標(biāo)簽進(jìn)行深度監(jiān)督，經(jīng)過Sigmoid層輸出尺寸為416像素×416像素×2通道的邊緣預(yù)測(cè)圖。

表2 主干網(wǎng)絡(luò)卷積層結(jié)構(gòu)Tab.2 Convolutional layer structure of backbone network

2.4 特征融合模塊

邊緣感知模塊可提取豐富的邊緣特征，如只在訓(xùn)練過程中依靠邊緣感知模塊來修正主干網(wǎng)絡(luò)提取的植株區(qū)域語義特征，會(huì)遺失邊緣感知模塊提取的邊緣特征信息。為充分利用邊緣感知模塊提取的邊緣特征，進(jìn)一步獲取邊緣信息完整的植株區(qū)域分割特征，提高分割效果，本文構(gòu)建空間特征金字塔結(jié)構(gòu)(ASPP)的特征融合模塊(FFM)，融合主干網(wǎng)絡(luò)輸出的植株語義區(qū)域特征和邊緣感知模塊輸出的邊緣特征，其結(jié)構(gòu)見圖3。

在ASPP中使用擴(kuò)張率為1、6、12和18的空洞卷積和平均池化操作，空洞卷積根據(jù)擴(kuò)張率對(duì)卷積核的大小進(jìn)行空洞填充擴(kuò)張，增大卷積感受野的同時(shí)不引入額外的參數(shù)。例如，擴(kuò)張率為2的3×3卷積可以達(dá)到與5×5卷積相同的感受野。不同擴(kuò)張率的空洞卷積操作可以獲取不同分辨率下的特征，可實(shí)現(xiàn)在多個(gè)尺度上捕獲目標(biāo)語義信息和上下文的語義信息，記獲取包含上下文的多尺度特征為F1。為彌補(bǔ)空洞卷積中丟失的語義信息，將獲取的多尺度特征與S1、E1進(jìn)行堆疊融合，并通過2層3×3的卷積操作細(xì)化特征，使用1×1卷積恢復(fù)特征通道數(shù)，獲取的特征尺寸為416像素×416像素×2通道，經(jīng)過Sigmoid函數(shù)輸出分割預(yù)測(cè)圖P，其融合過程表達(dá)式為

P=σ(Conv(S1⊕E1)⊕F1)

(2)

其中

F1=ASPP(S1)

式中 ASPP——空間空洞卷積函數(shù)

⊕——特征按通道堆疊

Conv(·)——卷積運(yùn)算函數(shù)

σ(·)——Sigmoid函數(shù)

2.5 多任務(wù)訓(xùn)練損失

本文訓(xùn)練過程中采用聯(lián)合損失函數(shù)完成網(wǎng)絡(luò)參數(shù)優(yōu)化，損失函數(shù)定義為特征融合模塊(FFM)損失與邊緣感知模塊(EAM)損失的聯(lián)合損失，表達(dá)式為

lLoss=lseg+ledg

(3)

式中l(wèi)seg——FFM預(yù)測(cè)結(jié)果的損失值

ledg——EAM預(yù)測(cè)結(jié)果的損失值

lLoss——聯(lián)合損失函數(shù)的損失值

lseg采用二分類交叉熵?fù)p失函數(shù)(Binary cross entropy，BCE)和MIOU損失函數(shù)的混合損失函數(shù)進(jìn)行計(jì)算，定義為

lseg=lbce+lmiou

(4)

式中l(wèi)bce——二分類交叉熵?fù)p失函數(shù)的損失值

lmiou——MIOU損失函數(shù)的損失值

二分類交叉熵?fù)p失函數(shù)lbce是二分類分割中應(yīng)用最廣泛的損失，計(jì)算式為

(5)

式中N——總樣本個(gè)數(shù)

yi,j——語義分割標(biāo)簽圖(i，j)處的像素值

(i,j)——圖像位置坐標(biāo)

其中(i,j)∈(W,H)，W、H分別是圖像的寬度、高度；i,j∈(0,1)，yi,j∈{0,1}，語義分割標(biāo)簽圖中背景像素值為0，作物像素值為1。

MIOU損失可以衡量2個(gè)集合的相似度，已有研究[25]證明，當(dāng)分割前景與背景相差較大時(shí)，MIOU的損失函數(shù)可取得較好的效果。而作物苗期植株圖像中，背景所占區(qū)域較大，前景植株所占區(qū)域較少，導(dǎo)致前景像素與背景像素的占比失衡，無法獲取良好的分割結(jié)果。因此，采用MIOU的損失函數(shù)可有效改善背景與前景植株所占像素不平衡帶來的訓(xùn)練困難。MIOU的損失函數(shù)定義為

(6)

邊緣感知模塊的損失函數(shù)定義為EAM的5個(gè)側(cè)層輸出和最終EAM輸出的平均值。

(7)

式中K——輸出層總數(shù)

l(k)——第k層側(cè)層輸出的損失值

由邊緣感知模塊結(jié)構(gòu)知K=6，包括5個(gè)側(cè)層輸出和1個(gè)邊緣感知輸出的融合層輸出。

由于邊緣感知模塊源于HED邊緣檢測(cè)網(wǎng)絡(luò)，可采用HED網(wǎng)絡(luò)中加權(quán)交叉熵函數(shù)定義l(k)。但植株圖像中邊緣像素占比較小，加權(quán)交叉熵?fù)p失函數(shù)未考慮到邊緣像素的鄰域信息。文獻(xiàn)[26]表明結(jié)構(gòu)相似性損失SSIM(Structural similarity，SSIM)可賦予邊緣更高的權(quán)重，在訓(xùn)練初始時(shí)會(huì)使得沿著邊緣的損失值最大，以有助于網(wǎng)絡(luò)訓(xùn)練時(shí)更多地集中于邊緣部分的優(yōu)化。因此，本文在構(gòu)建邊緣感知模塊損失函數(shù)時(shí)引入結(jié)構(gòu)相似性損失SSIM，采用7×7滑動(dòng)窗口從邊緣預(yù)測(cè)圖和邊緣標(biāo)簽中選取對(duì)應(yīng)圖像塊，記作={r:r=1,2,…,M2}和x={xr:r=1,2,…,M2}，則結(jié)構(gòu)相似性損失函數(shù)定義為

(8)

μx、x——x、的平均值

σx、σ——x、的標(biāo)準(zhǔn)偏差

σx——x與的協(xié)方差

第k層側(cè)層輸出的損失值計(jì)算式為

(9)

其中

(10)

(11)

β——邊緣標(biāo)簽圖中邊緣像素與非邊緣像素的比值

Y-——邊緣標(biāo)簽圖的邊緣像素集合

Y+——邊緣標(biāo)簽圖中的非邊緣像素集合

aj——邊緣預(yù)測(cè)圖在像素j處的像素值

bj——邊緣標(biāo)簽圖在像素j處的像素值

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)設(shè)備選用Intel(R)-Xeon(R) CPU E5-2699 v3，2.30 GHz，GPU選用NVIDIA Quadro P2000，顯存5 GB。軟件環(huán)境為Windows 64位操作系統(tǒng)，使用Python作為編程語言，使用Tensorflow作為深度學(xué)習(xí)框架。

網(wǎng)絡(luò)訓(xùn)練中采用分批次(batch)訓(xùn)練方法，將訓(xùn)練集和驗(yàn)證集分成多個(gè)批次訓(xùn)練，所有訓(xùn)練集圖像在網(wǎng)絡(luò)模型中完成遍歷計(jì)算即為一次迭代(epoch)。網(wǎng)絡(luò)模型初始化采用加載預(yù)訓(xùn)練的權(quán)重初始化主干網(wǎng)絡(luò)。初始學(xué)習(xí)率為0.001，采用Adam算法優(yōu)化，計(jì)算每個(gè)權(quán)重參數(shù)的自適應(yīng)學(xué)習(xí)率。

3.2 評(píng)價(jià)指標(biāo)

本文采用的評(píng)價(jià)標(biāo)準(zhǔn)主要包括像素準(zhǔn)確率(Pixel accuracy，PA)、平均交并比(Mean intersection over union，MIOU)、精準(zhǔn)率(Precision，P)和F1值(F1)。其中，PA定義為預(yù)測(cè)類別正確的像素?cái)?shù)占總像素?cái)?shù)的比例，MIOU為預(yù)測(cè)的結(jié)果和真實(shí)值的交集和并集之比，P表示為預(yù)測(cè)分割目標(biāo)類別正確的像素準(zhǔn)確率，F(xiàn)1值(F1)為綜合考慮召回率和精準(zhǔn)率的平衡指標(biāo)，同時(shí)兼顧分割的精準(zhǔn)程度和完整性，且召回率可以反映真實(shí)標(biāo)簽為分割目標(biāo)的像素被正確分割的比例，衡量分割區(qū)域的完整性。

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1不同分割模型性能對(duì)比分析

基于測(cè)試集樣本數(shù)據(jù)分別對(duì)本文網(wǎng)絡(luò)與U-Net、SegNet、PSPNet、DeepLabV3進(jìn)行性能測(cè)試，表3為5種網(wǎng)絡(luò)分割性能參數(shù)對(duì)比結(jié)果。由表3可知，本文設(shè)計(jì)的植株分割網(wǎng)絡(luò)分割性能最優(yōu)，對(duì)數(shù)據(jù)集1，其各項(xiàng)指標(biāo)較U-Net、SegNet、PSPNet、DeepLabV3均有提高，其中，MIOU較U-Net提高了0.019；對(duì)數(shù)據(jù)集2，本文網(wǎng)絡(luò)在MIOU評(píng)價(jià)指標(biāo)上達(dá)到0.932，F(xiàn)1值為0.978，相較于目前最為先進(jìn)的DeepLabV3網(wǎng)絡(luò)模型，分別提高了0.041、0.042；對(duì)數(shù)據(jù)集3，圖像中目標(biāo)植株較多且細(xì)小，圖像的細(xì)節(jié)信息更復(fù)雜，本文網(wǎng)絡(luò)較U-Net網(wǎng)絡(luò)，MIOU提高了0.07，PA提高了0.123?？梢?，本文網(wǎng)絡(luò)中邊緣感知模塊和特征融合模塊的設(shè)計(jì)，能夠促使網(wǎng)絡(luò)在訓(xùn)練過程中學(xué)習(xí)到更多的細(xì)節(jié)信息，獲取較好的植株分割性能。此外，本文基于深度可分離卷積對(duì)主干網(wǎng)絡(luò)進(jìn)行了輕量化設(shè)計(jì)，本文網(wǎng)絡(luò)參數(shù)共9.6×106個(gè)，而原始U-Net的網(wǎng)絡(luò)參數(shù)為2.42×107個(gè)，且對(duì)單幀圖像的平均檢測(cè)速度比本文網(wǎng)絡(luò)低32%，表明本文網(wǎng)絡(luò)具有參數(shù)規(guī)模小、實(shí)時(shí)性高的特點(diǎn)，適合應(yīng)用于硬件系統(tǒng)資源有限的智能農(nóng)業(yè)設(shè)備。

表3 不同模型作物植株分割比較Tab.3 Performance comparison of different segmentation models

圖6為不同網(wǎng)絡(luò)模型的分割效果，前5幅測(cè)試圖來源于數(shù)據(jù)集1、2、3，后2幅玉米苗期圖不同于訓(xùn)練集，用于驗(yàn)證網(wǎng)絡(luò)的泛化性。由圖6可知，U-Net網(wǎng)絡(luò)雖可分割出較全的植株區(qū)域，但易將背景像素錯(cuò)誤分類為植株像素，不利于后續(xù)的植株定位、生長(zhǎng)檢測(cè)等。SegNet存在嚴(yán)重的邊緣信息缺失，且對(duì)于細(xì)小區(qū)域的像素如植株莖部位難以準(zhǔn)確分割，尤其是對(duì)包含細(xì)節(jié)信息較多的數(shù)據(jù)集3的分割效果較差，無法分割出完整植株。DeepLabV3和PSPNet的分割結(jié)果存在明顯的邊緣粗糙和邊緣信息缺失問題。而本文網(wǎng)絡(luò)在3個(gè)數(shù)據(jù)集及玉米苗期圖像都可正確地分割出植株，且植株邊緣信息能較好地保留，表明網(wǎng)絡(luò)中邊緣標(biāo)簽監(jiān)督能在網(wǎng)絡(luò)訓(xùn)練過程中增加植株邊緣的約束條件，具有更好的高層語義和低層邊緣特征提取能力，避免背景誤分割為植株。

3.3.2EAM與FFM對(duì)網(wǎng)絡(luò)分割性能的影響

為了驗(yàn)證本文設(shè)計(jì)的植株分割網(wǎng)絡(luò)中EAM、FFM的有效性，基于測(cè)試集樣本數(shù)據(jù)分別對(duì)主干網(wǎng)絡(luò)、主干網(wǎng)絡(luò)+EAM及主干網(wǎng)絡(luò)+EAM+FFM 3種結(jié)構(gòu)進(jìn)行性能測(cè)試，表4為3種結(jié)構(gòu)性能參數(shù)對(duì)比結(jié)果。由表4可知，主干網(wǎng)絡(luò)+EAM和主干網(wǎng)絡(luò)+EAM+FFM在3個(gè)數(shù)據(jù)集上各項(xiàng)評(píng)價(jià)指標(biāo)均優(yōu)于主干網(wǎng)絡(luò)，其中主干網(wǎng)絡(luò)+EAM+FFM結(jié)構(gòu)在3個(gè)數(shù)據(jù)集上獲得的MIOU相對(duì)于主干網(wǎng)絡(luò)分別提升了0.024、0.029、0.047。表明將邊緣檢測(cè)任務(wù)與語義分割任務(wù)進(jìn)行聯(lián)合訓(xùn)練，邊緣感知模塊對(duì)語義分割網(wǎng)絡(luò)產(chǎn)生正向的效果，能夠增加分割網(wǎng)絡(luò)對(duì)邊緣信息的感知，有效改善語義分割的結(jié)果。

為了更直觀展示FFM模塊對(duì)邊緣信息與區(qū)域語義信息的融合作用，圖7給出了主干網(wǎng)絡(luò)+EAM和主干網(wǎng)絡(luò)+EAM+FFM的分割效果圖，其中，圖7e為邊緣疊加圖，右下角為圖中標(biāo)記框的放大顯示，圖中綠色、藍(lán)色、紅色分別代表標(biāo)簽邊緣、主干網(wǎng)絡(luò)+EAM分割結(jié)果邊緣及主干網(wǎng)絡(luò)+EAM+FFM分割結(jié)果邊緣。對(duì)比邊緣線可見，紅色邊緣線比藍(lán)色線更加逼近綠色邊緣線，結(jié)合表4中的數(shù)據(jù)，主干網(wǎng)絡(luò)+EAM+FFM的分割性能較主干網(wǎng)絡(luò)+EAM有進(jìn)一步提升，表明特征融合模塊FFM可充分利用邊緣感知模塊提取的邊緣特征信息來彌補(bǔ)主干網(wǎng)絡(luò)提取的特征中遺失的細(xì)節(jié)邊緣信息，獲取更完整的邊緣信息，從而得到具有精細(xì)邊緣的分割結(jié)果，提高分割精度。

表4 不同結(jié)構(gòu)對(duì)測(cè)試圖像的分割性能比較Tab.4 Performance comparison of different modules on testing images

3.3.3損失函數(shù)對(duì)網(wǎng)絡(luò)分割性能的影響

網(wǎng)絡(luò)訓(xùn)練過程中，損失函數(shù)通過對(duì)預(yù)測(cè)結(jié)果和標(biāo)簽數(shù)據(jù)產(chǎn)生的誤差反向傳播指導(dǎo)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)。為驗(yàn)證本文設(shè)計(jì)的聯(lián)合損失函數(shù)的有效性，對(duì)網(wǎng)絡(luò)的損失函數(shù)進(jìn)行相關(guān)的消融實(shí)驗(yàn)。聯(lián)合損失函數(shù)分別定義為

lLoss1=lbce+lhed

(12)

lLoss2=lbce+lhed+lssim

(13)

lLoss3=lbce+lmiou+lhed+lssim

(14)

其中，lLoss3為本文設(shè)計(jì)的聯(lián)合損失函數(shù)。以3.2節(jié)中提及的評(píng)價(jià)指標(biāo)，對(duì)比本文設(shè)計(jì)的分割網(wǎng)絡(luò)在3種損失函數(shù)下各數(shù)據(jù)集的分割性能如表5所示。由表5可見，在3個(gè)數(shù)據(jù)集上，lLoss2的MIOU比lLoss1高0.007～0.014，證實(shí)將SSIM損失函數(shù)項(xiàng)引入邊緣感知模塊，邊緣感知模塊可獲取更豐富的邊緣特征，引導(dǎo)主干網(wǎng)絡(luò)關(guān)注植株的邊緣信息，提高網(wǎng)絡(luò)整體的分割效果；進(jìn)一步引入MIOU損失函數(shù)后，在數(shù)據(jù)集1上，F(xiàn)1值、P、PA雖因人工標(biāo)注誤差存在而無提升，但MIOU提升0.004，且對(duì)于數(shù)據(jù)集2、3，在各評(píng)價(jià)指標(biāo)上均有提升，最高提升0.021，表明在SSIM、MIOU損失函數(shù)項(xiàng)的共同作用下lLoss3能有效提升網(wǎng)絡(luò)分割性能。

表5 不同Loss函數(shù)對(duì)測(cè)試圖像的分割性能比較Tab.5 Performance comparison of different Loss functions on testing images

3.3.4不同算法的邊緣檢測(cè)性能對(duì)比

為衡量本文構(gòu)建的網(wǎng)絡(luò)模型在提取苗期植株邊緣上的性能，將本文構(gòu)建的網(wǎng)絡(luò)模型獲取的邊緣結(jié)果與HED邊緣檢測(cè)模型和Canny算子獲取的邊緣結(jié)果進(jìn)行對(duì)比，其中，量化評(píng)價(jià)指標(biāo)為F1值、P和平均絕對(duì)誤差(Mean absolute error，MAE)。MAE表示邊緣預(yù)測(cè)圖與邊緣標(biāo)簽圖之間的絕對(duì)像素誤差，定義式為

(15)

式中EMAE——絕對(duì)像素誤差

S(i,j)——邊緣預(yù)測(cè)圖在像素坐標(biāo)(i，j)處的像素值

G(i,j)——邊緣標(biāo)簽圖在像素坐標(biāo)(i，j)處的像素值

圖8為本文網(wǎng)絡(luò)及HED和Canny算子在測(cè)試集及玉米苗期植株的邊緣分割結(jié)果?？梢?，對(duì)于僅有邊緣檢測(cè)任務(wù)的HED網(wǎng)絡(luò)，由于缺少區(qū)域語義信息的補(bǔ)充，檢測(cè)的植株邊緣斷裂，造成邊緣信息缺失。Canny算子基于淺層特征區(qū)分植株邊緣和非植株邊緣，易將非植株邊緣誤檢為植株邊緣，且邊緣細(xì)化效果差。而本文網(wǎng)絡(luò)對(duì)3個(gè)測(cè)試集均可獲取準(zhǔn)確的植株邊緣，且邊緣細(xì)化效果較好，如表6所示，本文網(wǎng)絡(luò)對(duì)3個(gè)測(cè)試集的邊緣檢測(cè)精準(zhǔn)率均在0.9以上，且MAE低于HED和Canny算子，表明邊緣檢測(cè)任務(wù)與語義分割任務(wù)的聯(lián)合訓(xùn)練，能夠有效提高作物苗期植株邊緣細(xì)化效果，彌補(bǔ)區(qū)域語義分割中的邊緣缺失問題。此外，本文網(wǎng)絡(luò)對(duì)未經(jīng)訓(xùn)練的玉米苗期植株也可獲取完整的邊緣，具有良好的泛化性。

4 結(jié)論

(1)以U-Net構(gòu)建主干網(wǎng)絡(luò)，通過側(cè)邊深度監(jiān)督策略構(gòu)建具有緩沖單元的邊緣感知模塊，緩沖兩種監(jiān)督?jīng)_突，并增強(qiáng)網(wǎng)絡(luò)特征提取過程中對(duì)植株邊緣的感知能力；基于空間特征金字塔結(jié)構(gòu)構(gòu)建特征融合模塊，充分融合區(qū)域語義特征和邊緣特征，融合后的特征圖中具有更強(qiáng)的植株區(qū)域語義信息和淺層細(xì)節(jié)信息，有效提高了作物植株分割精度和邊緣細(xì)化效果。

表6 不同算法的邊緣分割性能比較Tab.6 Performance comparison of different methods on edge segmentation

(2)將邊緣感知模塊損失函數(shù)和特征融合模塊損失函數(shù)聯(lián)合，構(gòu)建聯(lián)合損失函數(shù)，用于整體網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)優(yōu)化，進(jìn)一步提高網(wǎng)絡(luò)分割精度。與當(dāng)前主流的分割模型U-Net、SegNet、PSPNet、DeepLabV3對(duì)比，對(duì)不同數(shù)據(jù)集的作物植株的語義分割像素準(zhǔn)確率高達(dá)0.962，平均交并比達(dá)到0.932，具有良好的植株分割效果和泛化能力。在后續(xù)的研究中將對(duì)緩沖邊緣感知模塊對(duì)主干網(wǎng)絡(luò)的監(jiān)督?jīng)_突做進(jìn)一步研究，以及研究網(wǎng)絡(luò)的輕量化，在保證網(wǎng)絡(luò)模型分割精度基礎(chǔ)上提高其效率。