王書志，喬虹，馮全*，張建華

(1.西北民族大學(xué)電氣工程學(xué)院，甘肅 蘭州 730030；2.甘肅農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，甘肅 蘭州 730070；3.中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京 100081)

病蟲害是農(nóng)作物減產(chǎn)的主要因素之一[1]。開發(fā)快速、準(zhǔn)確的病蟲害檢測技術(shù)，及早識(shí)別病蟲害類型，是減少損失的重要手段。葉片病害區(qū)域的分割是作物病害檢測、診斷與發(fā)病程度評(píng)價(jià)的關(guān)鍵。常見的分割方法包括基于區(qū)域、基于邊緣和基于各種優(yōu)化的分割算法[2–4]，但這些分割算法無法在不同天氣和照明條件下穩(wěn)定地分割不同病害對(duì)象，適應(yīng)性較差。近年來，以深度學(xué)習(xí)為代表的新方法在開放圖像數(shù)據(jù)集的圖像識(shí)別、目標(biāo)檢測和圖像分割等視覺任務(wù)中精度和可靠度已大幅提高。

目前作物病害圖像分割大多采用全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)[5]及改進(jìn)算法，在訓(xùn)練數(shù)據(jù)充分條件下，分割效果遠(yuǎn)超傳統(tǒng)分割算法[6]，但當(dāng)模型在與訓(xùn)練集樣本分布差異大的數(shù)據(jù)上性能顯著下降，實(shí)用性降低。為了克服這一缺點(diǎn)，通常采用結(jié)合顯著性目標(biāo)檢測(salient object detection，SOD)的分割策略對(duì)葉片病害區(qū)域進(jìn)行分割。筆者采用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建SOD 網(wǎng)絡(luò)[7–11]來提取全局特征和多種分辨率的局部特征并進(jìn)行融合，提高顯著性目標(biāo)檢測的精度；在計(jì)算圖像顯著性圖后，采用自適應(yīng)閾值法對(duì)顯著性目標(biāo)(病斑)進(jìn)行分割，對(duì)自然條件下拍攝的葡萄葉片病害進(jìn)行了病害顯著性檢測和分割。

1 葡萄葉部病害圖像的采集

葡萄葉部病害數(shù)據(jù)集包括 A 集和 B 集。2018年7 月到9 月葡萄病害高發(fā)季節(jié)，于甘肅農(nóng)業(yè)大學(xué)葡萄園，用佳能公司 EOS1200D 相機(jī)(鏡頭 EF 75–300 mm Ⅲ)，拍攝葡萄葉斑病和由于衰老而出現(xiàn)枯死的葉片圖像，組成A 集，共1500 幅圖像，原始尺寸均為2448×3264 像素，部分圖像拍攝時(shí)沒有刻意將鏡頭聚焦在葉片上，而是包括較多背景，模擬了監(jiān)測攝像頭在非人工控制下拍攝的效果。B 集葡萄病害圖像主要從網(wǎng)絡(luò)搜集，這些圖像病斑明顯，背景簡單，照明均勻，包括葡萄白粉病、黑痘病、灰霉病、霜霉病、炭疽病和褐斑病等病葉圖像，共122 張。B 集中的圖像用來測試網(wǎng)絡(luò)對(duì)未知病害圖像顯著性檢測和分割的效果，評(píng)價(jià)算法的泛化性能。

2 基于顯著性的病害區(qū)域分割方法

2.1 SOD 網(wǎng)絡(luò)結(jié)構(gòu)

采用圖1 所示的SOD 網(wǎng)絡(luò)架構(gòu)，包含5 列和4行，每列都適用于特定輸入比例的特征提取。模型輸入352×352 像素圖像，輸出176×176 像素顯著圖，再用雙線性插值調(diào)整回352×352 像素。圖中每個(gè)方框中的第1 行是模塊名稱，其他行表示其主要組成。

圖1 顯著性檢測網(wǎng)絡(luò)的結(jié)構(gòu)Fig.1 Achitechture salient object detection networks

1) 全局特征。圖1 的第1 行包含CONV–1 到CONV–5 的 5 個(gè)卷積塊，它們由 VGG–16[11]組成。這些卷積塊包含步幅2 的最大池化層，可將它們的特征圖{X1，X2，…，X5}進(jìn)行 2 倍下采樣，得到 5個(gè)不同尺度下的特征，即每個(gè)特征圖的尺寸分別為176×176、88×88、…、11×11。CONV–5 模塊用于抽取全局特征XG，該模塊中通過3 個(gè)VGG 卷積層來計(jì)算全局特征XG，其中前2 個(gè)卷積層的內(nèi)核大小為5×5，最后1 個(gè)為3×3，3 個(gè)卷積層特征通道數(shù)均為128。

2) 多尺度局部特征。模塊CONV–6 到CONV–10連接到由 VGG–16 組成的 CONV–1 到 CONV–5 處理塊，這些卷積層的目標(biāo)是學(xué)習(xí)多尺度(5 種)局部特征圖{X1，X2，…，X5}，每個(gè)卷積層具有3×3 的內(nèi)核大小和128 個(gè)通道。

3) 對(duì)比度特征。顯著特征在整個(gè)前景中是均勻的，但同時(shí)在前景和背景區(qū)域之間是不同的。為了得到這種對(duì)比度信息，添加了與每個(gè)尺度的局部特征Xi相關(guān)聯(lián)的對(duì)比度特征XCi，由第3 行的Contrast模塊完成，該模塊由平均池化層組成。通過從其局部平均值中減去Xi來計(jì)算每個(gè)對(duì)比度特征，平均池化層的內(nèi)核大小為3×3。

2.2 病害區(qū)域分割

3 顯著性檢測與分割

3.1 試驗(yàn)設(shè)計(jì)和評(píng)價(jià)指標(biāo)

采用數(shù)據(jù)集A 進(jìn)行訓(xùn)練和測試，檢測顯著性。選擇(DCL)[12]、RSDNet[13]、Multi–Context (MC)[14]3 種基于深度學(xué)習(xí)的SOD算法與本研究算法進(jìn)行對(duì)比研究。在病斑分割方面，則選用與 FCN 算法進(jìn)行對(duì)比，在A 集和B 集分別試驗(yàn)，B 集用于測試算法的泛化性能。

對(duì)于A 集，隨機(jī)選擇80%的圖像(1200 幅)用于訓(xùn)練，剩余的20%(300幅)用于測試，訓(xùn)練圖像的尺寸調(diào)整至352×352 像素。為了考察畫面復(fù)雜度對(duì)顯著性檢測結(jié)果的影響，將測試圖像分成了簡單圖像和復(fù)雜圖像2 組，分別有730 幅和740 幅。簡單圖像(圖2–a)基本只有1 張葉片，背景相對(duì)簡單；復(fù)雜圖像(圖2–b)有2 張以上較完整葉片，背景雜亂或有明顯的陰影。A 集中網(wǎng)絡(luò)訓(xùn)練時(shí)不區(qū)分簡單或復(fù)雜圖像，只在測試時(shí)作區(qū)分。試驗(yàn)前，將A 集的圖像先后分3 次隨機(jī)選出3 組測試和訓(xùn)練圖像，3 組測試圖像中簡單和復(fù)雜圖像的數(shù)量均固定為150 張。用3 組訓(xùn)練樣本分別訓(xùn)練出3 個(gè)檢測模型，用這3個(gè)模型對(duì)3 組測試樣本進(jìn)行評(píng)估，用3 組評(píng)價(jià)指標(biāo)的平均值作為衡量各算法性能的依據(jù)。

顯著性檢測算法性能的評(píng)價(jià)采用maxFβ和均值絕對(duì)誤差(MAE)作為衡量檢測性能指標(biāo)[10]，其中max Fβ越接近 1 越好，MAE 越小越好。

分割性能則采用馬修斯相關(guān)系數(shù)(MCC)[15]作評(píng)價(jià)指標(biāo)，MCC 取 1 時(shí)，表示預(yù)測與真實(shí)值完全一致，取0 表示預(yù)測結(jié)果等同隨機(jī)預(yù)測。

3.2 試驗(yàn)環(huán)境

計(jì)算機(jī)系統(tǒng) CPU 為 E5–2620V3@2.4GHz，內(nèi)存為64GB，GPU 為NVIDIA Tesla K40，操作系統(tǒng)為ubuntu 16.04。SOD 網(wǎng)絡(luò)的開發(fā)語言為python，深度學(xué)習(xí)框架采用 Tensoflow。模塊 CONV–1 至CONV–5 采用預(yù)訓(xùn)練的 VGG–16 初始化。其他權(quán)重系數(shù)用正態(tài)分布隨機(jī)初始化，優(yōu)化方法采用 Adam算法，初始學(xué)習(xí)率設(shè)為 10–6，β1=0.9，β2=0.999。分割試驗(yàn)中的對(duì)比算法 FCN 的訓(xùn)練和測試環(huán)境為matlab2018b，操作系統(tǒng)為Win10。FCN 訓(xùn)練中網(wǎng)絡(luò)參數(shù)均設(shè)置為：初始學(xué)習(xí)率為 0.001，迭代次數(shù)為100，最小批量為8。

圖2 A 集葡萄葉片病害樣例的顯著性檢測結(jié)果Fig.2 Salience map examples in set A produced by proposed model

3.3 顯著性目標(biāo)檢測結(jié)果

所建立算法的病害顯著性圖檢測結(jié)果如圖2 所示。從簡單圖像顯著性圖(圖 2–c)可以看出，SOD所檢測出的顯著性區(qū)域(圖中高亮部分)與肉眼觀察到的病斑區(qū)域準(zhǔn)確重合，印證所建立算法的有效性及對(duì)不同光照的適應(yīng)性。從復(fù)雜圖像顯著性圖(圖2–d)檢測結(jié)果來看，算法對(duì)雜亂背景有較強(qiáng)的抑制效果，能較準(zhǔn)確檢測圖像中葉片的病害區(qū)域。說明SOD 對(duì)不同光照和復(fù)雜背景具有良好的適應(yīng)性。

本研究所建立的算法與其他幾種對(duì)比算法的量化統(tǒng)計(jì)結(jié)果列于表 1。可以看出，4 種算法在簡單測試圖像上maxFβ較接近； MAE 則相差較大，本研究算法均取得了最優(yōu)結(jié)果。

表1 幾種顯著性檢測算法在A 集上的對(duì)比Table 1 Experimental results of the proposed salience detection model compared with other models on set A

在復(fù)雜圖像上，從maxFβ指標(biāo)看，RSDNet 結(jié)果最好，本研究算法次之，但前者僅比后者高0.13%；而從MAE 指標(biāo)看，本研究所建立的算法結(jié)果最佳。與簡單圖像測試結(jié)果相比，4 種算法的評(píng)價(jià)指標(biāo)均下降，MC、DCL、RSDNet 和本研究算法在復(fù)雜圖像上的max Fβ分別比簡單圖像下降了30.4%、18.6%、16.5%和16.8%，MAE 則分別上升90.1%、77.2%、70.6%和71.7%，這說明圖像畫面的復(fù)雜程度對(duì)于算法的檢測結(jié)果有較大的影響。從 maxFβ的下降幅度與MAE 的上升幅度看，RSDNet 的變化最小，魯棒性最好，本研究算法的次之，但兩者接近。

從兩類測試圖像的指標(biāo)平均值看，本研究算法均處于領(lǐng)先，DCL 次之，其次是RSDNet，MC 則最差，說明本研究算法綜合性能最佳。

從單張圖像測試的平均耗時(shí)看，本研究算法僅用0.14 s，說明基本可以實(shí)時(shí)進(jìn)行顯著性目標(biāo)檢測，只有DCL 算法的5.5%，與對(duì)比算法相比有明顯的優(yōu)勢(shì)。

3.4 分割試驗(yàn)結(jié)果

采用自適應(yīng)閾值法分割，即對(duì)顯著性圖取閾值，大于某閾值T 的像素被賦予前景標(biāo)簽，小于則賦予背景標(biāo)簽。試驗(yàn)發(fā)現(xiàn)，參數(shù)k 值取4 左右時(shí)有較好的分割結(jié)果。由于顯著性包含目標(biāo)區(qū)域與周圍的對(duì)比關(guān)系，從圖 2 可以看出，部分葉尖和葉脈可能會(huì)被賦予較高的顯著性，取閾值后這些部分也會(huì)被標(biāo)識(shí)為前景(病害)，從而降低分割精度。鑒于這些區(qū)域面積通常很小，采用了圖像處理技術(shù)中經(jīng)典的形態(tài)學(xué)中的開運(yùn)算來消除這些微小區(qū)域。圖 3 給出了葡萄葉部病害圖像對(duì)應(yīng)的分割結(jié)果，從圖 3 中可看出，本研究算法和FCN 算法均能較好地分割出病害區(qū)域。

圖3 2 種分割方法在A 集上的分割結(jié)果Fig.3 Segmental examples of proposed segmentation method and FCN on set A

在A 集和B 集的測試圖像上對(duì)2 種算法分割效果進(jìn)行測試，結(jié)果表明，本研究算法在A 集和B 集的 MCC 分別為 0.625 和 0.338，而 FCN 的 MCC 分別為 0.689 和 0.072。由于分割模型是用 A 集訓(xùn)練的，測試樣本和訓(xùn)練樣本均由同一相機(jī)在同一場景拍攝，2 種算法在A 集的測試樣本上的MCC 值均較高，本研究算法分割方法的MCC 值比FCN 算法低0.064。從圖3 可以看出，相比FCN，本研究算法會(huì)稍多分割出一些“虛假”的病害區(qū)域，它們是原圖中劇烈變化的區(qū)域引起的，其中部分非病的突變區(qū)域面積較大，形態(tài)學(xué)處理沒能將其濾除，這符合顯著性檢測算法對(duì)突變部分敏感的特點(diǎn)。在照明均勻和背景簡單的場合，這個(gè)特點(diǎn)有助于找到葉片上的病斑，但A 集圖像中存在大量陰影和雜亂背景，導(dǎo)致了本研究算法產(chǎn)生更多的假陽性區(qū)域，故而本研究算法的MCC 略低于FCN 算法的。

B集完全獨(dú)立于A集，用來測試分割模型的泛化性能，但B 集圖像與A 集圖像的病斑特點(diǎn)相差甚遠(yuǎn)。本研究算法基本可將病斑區(qū)域賦予較高的顯著性，分割結(jié)果也大體能將病斑區(qū)域分割出來，如圖4所示，F(xiàn)CN 幾乎不能正確分割出這些圖像中的病斑區(qū)域，除了第6幅圖像能準(zhǔn)確分割外，其余圖像分割效果都很差，對(duì)第 1 幅圖像，F(xiàn)CN 完全分割不出任何病斑區(qū)域。

FCN 在B 集的MCC 值急劇下降，僅有0.072，接近隨機(jī)分割的；本研究算法的 MCC 雖然出現(xiàn)了下降，但其值仍然達(dá)到0.338，是FCN 的4.69 倍，說明本研究方法的泛化能力強(qiáng)于FCN 的，這可能得益于顯著性檢測中加入了像素與周圍平均灰度的對(duì)比，這在A 集分割試驗(yàn)中雖然增加了假陽性，但在“未見過”的 B 集病害圖像上，這一特點(diǎn)卻能提高前景的召回率，使得MCC 下降比FCN 算法小得多。

4 小結(jié)

常規(guī)卷積神經(jīng)網(wǎng)絡(luò)分割模型分割葉片病害圖像時(shí)不具備處理病斑的先驗(yàn)知識(shí)，在跨域圖像上分割效果較差。筆者提出了基于顯著性目標(biāo)檢測的有監(jiān)督分割方法，從分割結(jié)果看，若訓(xùn)練集與測試集圖像來自同一分布，本研究算法分割效果接近經(jīng)典FCN 算法，但泛化性方面遠(yuǎn)好于FCN，這對(duì)于實(shí)際應(yīng)用有重要意義：畢竟現(xiàn)實(shí)中采集訓(xùn)練樣本，不可能覆蓋各種情形，具有良好泛化性能的算法在實(shí)際中更能適應(yīng)多種場合，因此，本分割方法在精度與泛化性能方面具有良好的平衡性。