金倫 錢萊

摘要 對(duì)青菜病害區(qū)域進(jìn)行識(shí)別并將其與正常作物區(qū)分隔能夠起到保護(hù)青菜的作用，及時(shí)對(duì)相關(guān)災(zāi)害區(qū)域進(jìn)行處理，能夠防止災(zāi)害的進(jìn)一步蔓延。提出了一種基于深度學(xué)習(xí)的青菜災(zāi)害區(qū)域圖像語義分割的方法，通過fine-tune FCN以像素級(jí)精度分割出圖像中作物災(zāi)害區(qū)進(jìn)行識(shí)別，并借助地面安置的圖像定位標(biāo)記判斷出災(zāi)害在地面上的準(zhǔn)確位置。由于目前暫無無人機(jī)拍攝的公開青菜病害圖像數(shù)據(jù)集，通過專業(yè)無人機(jī)采集的方式自建青菜病害區(qū)域圖像數(shù)據(jù)集以滿足檢測(cè)需要。結(jié)果表明，在自建數(shù)據(jù)集下fine-tune FCN的mIoU為53.2%，對(duì)4種病害類型與健康情況的識(shí)別像素精度PA為85.2%，定位精確率為96.8%，能基本滿足病害區(qū)域檢測(cè)定位需求。同時(shí)，對(duì)比了文章中提出的網(wǎng)絡(luò)架構(gòu)與SDS，RCNN與FCN在性能上的區(qū)別，驗(yàn)證了該網(wǎng)絡(luò)在病害區(qū)域的細(xì)粒度檢測(cè)上擁有更好的魯棒性。

關(guān)鍵詞 青菜;圖像語義分割; 深度學(xué)習(xí); 病害; 定位

中圖分類號(hào) S126 ?文獻(xiàn)標(biāo)識(shí)碼 A

文章編號(hào) 0517-6611（2020）18-0235-04

Abstract Identifying Brassica chinensis disease areas and separating them from normal plant areas can play a role in protecting B.chinensis， and timely processing of related disaster areas can prevent further spread of the disaster. We proposed a method for semantic segmentation of B. chinensis disaster area images based on deep learning. The finetune FCN was used to segment the plant disaster area in the image with pixellevel accuracy for identification， and it was determined by the image positioning marks placed on the ground. As there was currently no public B. chinensis image data set taken by drones， a professional drone was used to collect selfbuilt B. chinensis image data set to meet the detection needs. The results showed that in the selfbuilt data set， the mIoU of finetune FCN was 53.2%， the pixel accuracy PA for identifying four types of diseases and health conditions was 85.2%， and the positioning accuracy was 96.8%， which could basically meet the detection and positioning of disease areas demand. Meanwhile， we compared the performance of the network architecture that we proposed with SDS， RCNN and FCN， and verified that it had better robustness in finegrained detection of diseased areas.

Key words Brassica chinensis;Image semantic segmentation;Deep learning;Disease;Localization

青菜作為一種營(yíng)養(yǎng)豐富的農(nóng)作物，能夠提供多種人類生命活動(dòng)所需的維生素與礦物質(zhì)，在農(nóng)業(yè)的發(fā)展過程中起到了重要的作用。作為一種草本植物，青菜在生產(chǎn)過程中容易受到不同種類病蟲害的影響[1]。當(dāng)前研究的青菜病害識(shí)別方法主要是對(duì)植株本身進(jìn)行識(shí)別，從而進(jìn)行植株病害的判斷，在實(shí)際的農(nóng)業(yè)生產(chǎn)過程中，用于識(shí)別病害的攝像頭難以大量架設(shè)在農(nóng)田中，且固定架設(shè)在植物生長(zhǎng)區(qū)域的光學(xué)鏡片容易受到昆蟲以及雨雪天氣等情況影響，導(dǎo)致破損或形變。

圖像語義分割是指根據(jù)一定的相似性準(zhǔn)則將圖像劃分成不同區(qū)域的過程，是計(jì)算機(jī)視覺、圖像處理等領(lǐng)域的基礎(chǔ)性問題之一[2]。近年來，深度學(xué)習(xí)方法大大推動(dòng)了計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，其中研究人員提出的FCN[3]在VOC2011數(shù)據(jù)上取得了90.3%的像素精度。筆者提出了一種基于FCN的對(duì)青菜種植區(qū)域航拍圖像進(jìn)行語義分割，從而檢測(cè)出病變區(qū)域的方法，并在原網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行fine-tune，改善網(wǎng)絡(luò)效果;借助無人機(jī)航拍獲取青菜種植區(qū)域的俯視圖并進(jìn)行語義分割，判斷出病變區(qū)域的類別及其在圖像中的相對(duì)位置;最后使用OCR[4]對(duì)病變區(qū)域圖像進(jìn)行掃描，通過對(duì)地面各個(gè)固定位置事先安置好的不同字符標(biāo)記進(jìn)行識(shí)別并判斷災(zāi)害區(qū)域所在位置的具體定位，判斷出災(zāi)害區(qū)在農(nóng)田中的區(qū)域范圍。

1 研究方法

1.1 圖像獲取

由于目前暫無通過旋翼無人機(jī)航拍獲取的公開青菜病害圖像數(shù)據(jù)集，該研究采用了自建數(shù)據(jù)集進(jìn)行學(xué)習(xí)的方式[5]。通過專業(yè)四旋翼無人機(jī)在浙江金華東陽地區(qū)黃田畈農(nóng)田進(jìn)行相關(guān)的作物圖像采集[6]，如圖1A所示;并在地面放置了字符標(biāo)記，如圖1B所示。圖像采集工作均通過四旋翼無人機(jī)在距離作物2 ～3 m的高度進(jìn)行，通過保證地面圖像清晰度以更好地實(shí)現(xiàn)病害的識(shí)別與定位。最終在航拍圖片中篩選出600幅作為訓(xùn)練與測(cè)試的基本數(shù)據(jù)，其中包含了昆蟲啃食、軟腐病霜霉病和病毒病[7-10]的圖像分別為412、237、234和103張，分割后像素RGB值分別為（255，192，203）、（255，0，255）、（75，0，130）和（255，215，0）。圖像分辨率為1 920×1 080，篩選準(zhǔn)則為圖像中陰影區(qū)域較少[11]且圖像中存在較明顯的病害區(qū)域。為了擴(kuò)充數(shù)據(jù)集，采用旋轉(zhuǎn)翻轉(zhuǎn)等方式將數(shù)據(jù)集圖像泛化為3 660張，同時(shí)為了避免字符標(biāo)記對(duì)病害識(shí)別訓(xùn)練的影響，訓(xùn)練集中圖像均為無字符標(biāo)記農(nóng)田圖像。

1.2 圖像語義分割

1.2.1 圖像預(yù)處理。為了使病變區(qū)域的色彩變化更加明顯、色彩區(qū)域之間存在更加明顯的梯度變化，圖像語義分割前按照?qǐng)D2通過直方圖均衡化對(duì)圖像進(jìn)行處理，提高圖像對(duì)比度并增強(qiáng)了圖像細(xì)節(jié)，使得不同區(qū)域之間的色彩分割更加明顯[12]。

從圖2可以看出，在直方圖均衡化處理過后，圖像的對(duì)比度有所提升，病變區(qū)域與正常青菜區(qū)域間的色彩變化更明顯。

1.2.2 構(gòu)建網(wǎng)絡(luò)。

該研究使用了FCN作為圖像語義分割的基本網(wǎng)絡(luò)結(jié)構(gòu)，并在原網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行fine-tune使之更好地適應(yīng)該數(shù)據(jù)集。修改后的網(wǎng)絡(luò)通過將每個(gè)預(yù)測(cè)模塊輸出緯度中的最后一維調(diào)整為7，分別對(duì)應(yīng)著普通路面背景、泥土背景、綠色作物區(qū)以及4種不同的青菜病害分割區(qū)。FCN實(shí)現(xiàn)了對(duì)作物區(qū)域像素級(jí)的分類，不同于傳統(tǒng)的檢測(cè)模型，不需要使用Bounding-Box[13]來進(jìn)行一個(gè)矩形區(qū)域的分割，對(duì)于無規(guī)則形狀的病害區(qū)域具有更好的檢測(cè)效果。

網(wǎng)絡(luò)采用全卷積層加池化層的方式，將CNN中的全連接層替換成卷積層。網(wǎng)絡(luò)的前5層保留CNN的結(jié)構(gòu)，其中第7層采用了大小為（4 096，1，1）的卷積，為了使得在學(xué)習(xí)過程中能夠提取更多的細(xì)節(jié)特征，在第2組卷積池化網(wǎng)絡(luò)后又添加了2層卷積層，網(wǎng)絡(luò)在最后1層使用了大小為（7，1，1）的卷積，分別對(duì)應(yīng)著背景和作物區(qū)的6種識(shí)別結(jié)果，網(wǎng)絡(luò)最終通過反卷積組合輸出1張已經(jīng)完成標(biāo)記的圖，其中fine-tune FCN的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

同時(shí)，單層的輸出結(jié)果會(huì)導(dǎo)致冗余過少和結(jié)果太過粗糙，為了優(yōu)化語義分割結(jié)果，在網(wǎng)絡(luò)結(jié)構(gòu)中設(shè)計(jì)了Skip Architecture[14-15]，對(duì)不同池化層的結(jié)果上采樣，最終優(yōu)化輸出，分別得到fine-tune FCN-32s與fine-tune FCN-16s為中間結(jié)果。圖4分別給出了Ground truth與通過不同池化層向上反卷積后疊加最終得到的fine-tune FCN-8s、fine-tune FCN-16s、fine-tune FCN-32s的效果，最終輸出效果為fine-tune FCN-8s顯示效果。

1.2.3 損失函數(shù)與訓(xùn)練。在損失函數(shù)的設(shè)計(jì)上，采用MSE作為網(wǎng)絡(luò)訓(xùn)練用的損失函數(shù)，每個(gè)像素點(diǎn)通過softmax輸出維度為7的結(jié)果，將1張圖片上的所有像素點(diǎn)分類誤差的平方累加，求得最終損失函數(shù)為

loss（W*）=Nc=1Mr=17i=1（softmax（predictc，r，i）-GrandTruthc，r，i）2（1）

在訓(xùn)練過程中，采用SGD[16]為優(yōu)化器進(jìn)行損失函數(shù)的下降，設(shè)置訓(xùn)練過程中的Batch Size為20，同時(shí)對(duì)比了FCN-32s第一輪迭代期間，初始學(xué)習(xí)率分別為10-5，10-6下的損失函數(shù)下降效果，結(jié)果如圖5。

最終選擇了10-5為訓(xùn)練的初始學(xué)習(xí)率，并采用了5-2的衰減率，以指數(shù)衰減的方式提高損失函數(shù)收斂精度，同時(shí)將泛化后的數(shù)據(jù)集進(jìn)行劃分，以7∶3的比例劃分訓(xùn)練集和測(cè)試集，其中訓(xùn)練集圖像為2 563張，測(cè)試集中為1 097張。

在參數(shù)初始化的過程中，選擇了直接遷移FCN作者訓(xùn)練的前5層參數(shù)以提取圖像特征，并對(duì)其他層進(jìn)行了歸零初始化。在訓(xùn)練過程中發(fā)現(xiàn)，隨機(jī)初始化并不能取得很好的收斂效果，同時(shí)在分類網(wǎng)絡(luò)部分訓(xùn)練中采用了0.5的dropout以防止過擬合。

1.3 病害區(qū)域定位 為了確定病變區(qū)域的位置，首先需要確定標(biāo)記所在位置，如果直接使用Adaboost來進(jìn)行目標(biāo)檢測(cè)從而來確定目標(biāo)的相對(duì)位置，則需要提高無人機(jī)高度，以保證地面定位目標(biāo)在無人機(jī)視場(chǎng)角范圍內(nèi)，通過多個(gè)地面定位目標(biāo)來判斷當(dāng)前病變區(qū)域所在位置。這種做法不但在地面定位目標(biāo)安裝的時(shí)候會(huì)有很高的精度要求，同時(shí)也拉高了無人機(jī)攝像頭的拍攝高度，對(duì)作物區(qū)域進(jìn)行視覺檢測(cè)的時(shí)候會(huì)因?yàn)榫嚯x過遠(yuǎn)導(dǎo)致過多的圖像細(xì)節(jié)遺漏。

為此，采取了一種基于OCR的病變區(qū)域定位方式。該研究使用的專業(yè)無人機(jī)航拍攝像頭視場(chǎng)角為長(zhǎng)邊120°，為了適應(yīng)更加普遍的情況，設(shè)該攝像頭的視場(chǎng)角為θ，無人機(jī)距離地面高度為H±δ，為了使病變區(qū)域在單個(gè)目標(biāo)標(biāo)記范圍內(nèi)且目標(biāo)標(biāo)記區(qū)域不重合，在地面安置2個(gè)標(biāo)記的時(shí)候，需要使得2個(gè)標(biāo)記的距離D略大于目標(biāo)方形區(qū)域范圍（圖6），以實(shí)現(xiàn)在同一時(shí)刻場(chǎng)景中只存在1個(gè)定位目標(biāo)。設(shè)在地面上標(biāo)記的第i個(gè)定位目標(biāo)為ai，屬于標(biāo)記集合A，當(dāng)攝像頭范圍內(nèi)出現(xiàn)被OCR識(shí)別后屬于集合A的光學(xué)字符，且該區(qū)域圖像經(jīng)語義分割后病害像素點(diǎn)個(gè)數(shù)大于0后，判定該標(biāo)記對(duì)應(yīng)的位置區(qū)間為病害區(qū)域。關(guān)系如下：

2 結(jié)果與分析

2.1 網(wǎng)絡(luò)效果驗(yàn)證

為了對(duì)比調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)后的fine-tune FCN的效果，更好地評(píng)價(jià)算法的魯棒性，同時(shí)對(duì)比了FCN、SDS、R-CNN與fine-tune FCN在自建數(shù)據(jù)集下的分割效果。為了保證對(duì)比結(jié)果的有效性，采用了PASCAL VOC計(jì)算機(jī)視覺競(jìng)賽數(shù)據(jù)集下4種進(jìn)行語義分割和場(chǎng)景解析評(píng)估的常用指標(biāo)來進(jìn)行模型的評(píng)價(jià)，分別為像素精度（PA）、均像素精度（MA）、均交并比（MIoU）和頻權(quán)交并比（FWIoU）[17]，試驗(yàn)結(jié)果表1所示。

2.2 定位結(jié)果準(zhǔn)確度驗(yàn)證

該研究的定位方式屬于區(qū)域定位，以命中率為定位結(jié)果準(zhǔn)確度的評(píng)價(jià)指標(biāo)，以通過圖像語義分割與OCR字符判斷計(jì)算得到的病害所在標(biāo)記區(qū)域是否為該病害真實(shí)所在標(biāo)記區(qū)域，從而獲取相應(yīng)評(píng)價(jià)關(guān)系（表2）。

由于在實(shí)際生產(chǎn)中，僅憑借判斷預(yù)測(cè)出的病害標(biāo)記區(qū)域是否與真實(shí)標(biāo)記區(qū)域一致，難以對(duì)治理進(jìn)行協(xié)助，無法完全作為一個(gè)病害預(yù)測(cè)系統(tǒng)的評(píng)價(jià)標(biāo)準(zhǔn)，因此采用定位準(zhǔn)確率（Accuracy）和定位精確率（Precision）作為命中率的評(píng)價(jià)標(biāo)準(zhǔn)，并同時(shí)對(duì)比了FCN、SDS和R-CNN在相同工作下的效果，結(jié)果如表3所示。

3 結(jié)論

該研究提出了一種基于深度學(xué)習(xí)進(jìn)行青菜病害區(qū)域圖像語義分割與定位的方法，能夠通過fine-tune FCN對(duì)青菜農(nóng)田圖像進(jìn)行圖像語義分割，將病害區(qū)域從圖像中分離出來，通過識(shí)別地面固定距離安放的標(biāo)記來進(jìn)行區(qū)域識(shí)別，能夠?qū)崿F(xiàn)對(duì)病害區(qū)域的定位。同時(shí)，為了提高FCN在病害區(qū)域識(shí)別過程中的精確度，對(duì)FCN網(wǎng)絡(luò)進(jìn)行了fine-tune，在第3層池化層前加入了2層3×3×256的卷積層，并將最后1層卷積核修改為1×1×7，從而更好地進(jìn)行了抽象特征的提取。算法最終在通過專業(yè)無人機(jī)采集的自建數(shù)據(jù)集上進(jìn)行驗(yàn)證，并與SDS、FCN、R-CNN進(jìn)行對(duì)比，在自建數(shù)據(jù)集下fine-tune FCN的mIoU為53.2%，對(duì)4種病害類型與健康情況的識(shí)別像素精度PA為85.2%，最終成功定位正確率為96.8%，因此具有更好效果。綜上所述，fine-tune FCN在青菜病害區(qū)域圖像語義分割上有較好的性能，結(jié)合地面標(biāo)記識(shí)別能夠有效實(shí)現(xiàn)青菜病害區(qū)域的識(shí)別與定位，協(xié)助農(nóng)業(yè)生產(chǎn)以保證青菜的正常生長(zhǎng)。

參考文獻(xiàn)

[1] 郭萍.小青菜病蟲害防治[J].北京農(nóng)業(yè)，2012（6）：104.

[2] 姜楓， 顧慶， 郝慧珍， 等.基于內(nèi)容的圖像分割方法綜述[J].軟件學(xué)報(bào)，2017，28（1）：160-183.

[3] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2014，39（4）：640-651.

[4] CHAUDHURI B B，PAL U.A complete printed Bangla OCR system[J].Pattern recognition，1998，31（5）：531-549.

[5] 秦豐， 劉東霞， 孫炳達(dá)，等.基于深度學(xué)習(xí)和支持向量機(jī)的 4 種苜蓿葉部病害圖像識(shí)別[J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2017，22（7）：123-133.

[6] SUN M X，YANG W C，HIGASHIYAMA T.Special issue on plant reproduction research in Asia[J].Plant reproduction，2018，31（1）：1-2.

[7] 郝變青，馬利平，朱九生，等.山西、河北蔬菜生產(chǎn)質(zhì)量安全調(diào)查[J].山西農(nóng)業(yè)科學(xué)，2013，41（10）：1116-1118.

[8] 史嬋， 陳薇蘭， 王靜，等.三份重要水稻資源的稻瘟病抗性鑒定及不同評(píng)價(jià)指標(biāo)間的相關(guān)性分析[J].植物保護(hù)學(xué)報(bào)，2014，41（4）：390-395.

[9] 宋凱， 孫曉艷， 紀(jì)建偉.基于支持向量機(jī)的玉米葉部病害識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2007，23（1）：155-157.

[10] 田世平， 范青.控制果蔬采后病害的生物學(xué)技術(shù)[J].植物學(xué)通報(bào)，2000，17（3）：211-217.

[11] 張軍國(guó)， 韓歡慶， 胡春鶴， 等.基于無人機(jī)多光譜圖像的云南松蟲害區(qū)域識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49（5）：249-255.

[12] 王彥翔， 張艷， 楊成婭，等.基于深度學(xué)習(xí)的農(nóng)作物病害圖像識(shí)別技術(shù)進(jìn)展[J].浙江農(nóng)業(yè)學(xué)報(bào)，2019，31（4）：669-676.

[13] RUSSELL B C，TORRALBA A，MURPHY K P，et al.LabelMe：A database and webbased tool for image annotation[J].International journal of computer vision，2008，77（1/2/3）：157-173.

[14] HARIHARAN B，ARBELEZ P，GIRSHICK R，et al.Simultaneous detection and segmentation[J].Lecture notes in computerence，2014，8695：297-312.

[15] LECUN Y，BENGIO Y.Convolutional networks for images， speech， and time series[M]//ARBIB M A.The handbook of brain theory and neural networks.Cambridge：MIT Press，1995：255-258.

[16] BOTTOU L.Largescale machine learning with stochastic gradient descent[C]//LECHEVALLIER Y，SAPORTA G.Proceedings of COMPSTAT'2010.Heidelberg：PhysicaVerlag HD，2010：177-186.

[17] GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014IEEE conference on computer vision and pattern recognition.Ohio，USA：IEEE，2014：580-587.