劉文定 田洪寶 謝將劍 趙恩庭 張軍國(guó)

(1.北京林業(yè)大學(xué)工學(xué)院, 北京 100083; 2.林業(yè)裝備與自動(dòng)化國(guó)家林業(yè)和草原局重點(diǎn)實(shí)驗(yàn)室， 北京 100083)

0 引言

蟲(chóng)害是林業(yè)的主要災(zāi)害之一，嚴(yán)重危害著林業(yè)生態(tài)環(huán)境[1]。據(jù)有關(guān)統(tǒng)計(jì)，2006年至2011年，我國(guó)林業(yè)有害生物造成的年均損失總計(jì)1 101億元[2]?？茖W(xué)防治蟲(chóng)害對(duì)于生態(tài)系統(tǒng)意義重大，而林業(yè)信息監(jiān)測(cè)[3]可為林業(yè)蟲(chóng)害防治提供重要的數(shù)據(jù)支撐，使蟲(chóng)害防治方案更加合理、有效。在林業(yè)信息監(jiān)測(cè)中，無(wú)人機(jī)監(jiān)測(cè)高效準(zhǔn)確，得到廣泛應(yīng)用[4-5]。

通過(guò)無(wú)人機(jī)搭載高清攝像機(jī)，可以及時(shí)獲取林區(qū)蟲(chóng)害圖像。針對(duì)無(wú)人機(jī)獲取的圖像，如何精準(zhǔn)區(qū)分健康林區(qū)和蟲(chóng)害區(qū)域，是林業(yè)信息監(jiān)測(cè)的研究重點(diǎn)。圖像分割是蟲(chóng)害區(qū)域識(shí)別的主要方法。常用的圖像分割算法有聚類(lèi)算法、復(fù)合梯度分水嶺算法和基于圖論的分割方法。李冠林等[6]利用K-means硬聚類(lèi)算法進(jìn)行了葡萄病害的分割，分割病斑區(qū)域較為準(zhǔn)確。江怡等[7]采用分水嶺變換對(duì)遙感圖像進(jìn)行分割，有效抑制了過(guò)分割現(xiàn)象。趙瑤池等[8]采用了基于紋理差異度引導(dǎo)的DRLSE蟲(chóng)害圖像分割方法，得到較為精確的病變區(qū)域輪廓。張軍國(guó)等[9]提出基于復(fù)合梯度分水嶺算法的蟲(chóng)害圖像分割方法，并降低了平均相對(duì)誤差率。上述傳統(tǒng)分割方法泛化能力差，需要人工設(shè)計(jì)特征，為了適應(yīng)數(shù)據(jù)的變化需要經(jīng)驗(yàn)和時(shí)間調(diào)整。提高模型分割林區(qū)蟲(chóng)害圖像的泛化能力、實(shí)現(xiàn)快速準(zhǔn)確識(shí)別非常重要。

近年來(lái)，深度學(xué)習(xí)技術(shù)得到快速發(fā)展，圖像分類(lèi)、目標(biāo)檢測(cè)、圖像語(yǔ)義分割都涌現(xiàn)出了一大批模型[10-14]，這些模型都取得了非常優(yōu)異的效果。LONG等[15]提出全卷積神經(jīng)網(wǎng)絡(luò),將卷積神經(jīng)網(wǎng)絡(luò)的全連接層用卷積層替換，開(kāi)辟了一條全新的圖像語(yǔ)義分割方向。孫鈺等[16]將全卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于大棚及地膜農(nóng)田分割，并對(duì)全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，提高了識(shí)別精度。這些方法對(duì)于規(guī)則的物體分割準(zhǔn)確，但對(duì)于邊界復(fù)雜的林區(qū)蟲(chóng)害區(qū)域識(shí)別效果不盡理想。

本文以八旋翼無(wú)人機(jī)航拍的遼寧省建平縣林區(qū)油松林蟲(chóng)害圖像為研究對(duì)象，針對(duì)標(biāo)注樣本匱乏問(wèn)題，通過(guò)遷移預(yù)訓(xùn)練模型以降低樣本需求，提升模型收斂性?？紤]到油松林蟲(chóng)害區(qū)域復(fù)雜、邊界不規(guī)則的特點(diǎn)，通過(guò)跳躍結(jié)構(gòu)融合多層特征，提升全卷積神經(jīng)網(wǎng)絡(luò)識(shí)別精度。經(jīng)過(guò)模型訓(xùn)練和優(yōu)化，實(shí)現(xiàn)油松林航拍蟲(chóng)害區(qū)域快速、精確識(shí)別。

1 蟲(chóng)害數(shù)據(jù)采集與標(biāo)注

1.1 無(wú)人機(jī)圖像采集平臺(tái)

圖像采集平臺(tái)采用自主研制的八旋翼無(wú)人機(jī)，并搭載了單反相機(jī)，如圖1所示。八旋翼無(wú)人機(jī)飛行時(shí)間15～20 min，抗風(fēng)等級(jí)4～5級(jí)，飛行高度可達(dá)500 m，圖像傳輸距離800 m，控制距離1 000 m，松下GH3型單反相機(jī)。

圖1 八旋翼無(wú)人機(jī)實(shí)物圖Fig.1 Physical map of eight-rotor drone

1.2 圖像采集

蟲(chóng)害圖像數(shù)據(jù)來(lái)自于八旋翼無(wú)人機(jī)航拍的遼寧省建平縣朱碌科鎮(zhèn)和張家營(yíng)子鎮(zhèn)的油松林蟲(chóng)害圖像。在陰天和多云環(huán)境下進(jìn)行圖像采集，2016年8月完成采集。航拍對(duì)象為受蟲(chóng)害侵蝕的油松林，選取20塊典型區(qū)域作為采集樣地，每塊采集樣地面積為30 m×30 m,航拍高度為10～50 m,單幅航拍圖像尺寸為4 608像素×2 592像素。共采集蟲(chóng)害航拍圖像450幅，選取油松林有效圖像167幅。

1.3 圖像標(biāo)注

針對(duì)采集的167幅4 608像素×2 592像素蟲(chóng)害圖像，每幅圖像無(wú)重疊裁剪為8幅1 000像素×1 000像素圖像，共生成1 336幅，剔除部分無(wú)蟲(chóng)害圖像，共得到800幅1 000像素×1 000像素圖像。選取其中600幅作為訓(xùn)練集，100幅作為驗(yàn)證集，剩余100幅作為測(cè)試集。無(wú)人機(jī)航拍的蟲(chóng)害圖像分辨率高、細(xì)節(jié)清晰，以蟲(chóng)害區(qū)域人工目視標(biāo)注為主，以檢驗(yàn)修正為輔的方式進(jìn)行標(biāo)注。首先對(duì)蟲(chóng)害的內(nèi)部區(qū)域批量標(biāo)注，然后對(duì)蟲(chóng)害的邊界區(qū)域逐像素標(biāo)注，最后將圖像中剩余部分標(biāo)注為健康區(qū)域。將健康區(qū)域的灰度設(shè)置為0，蟲(chóng)害侵蝕區(qū)域的灰度設(shè)置為1，多類(lèi)別標(biāo)注可以通過(guò)增加灰度類(lèi)別實(shí)現(xiàn)。在完成人工精確標(biāo)注后，將標(biāo)注圖的蟲(chóng)害區(qū)域映射到對(duì)應(yīng)的原圖區(qū)域，檢測(cè)標(biāo)注精度是否理想，并對(duì)不完善區(qū)域進(jìn)行修正，如圖2所示。

圖2 航拍原始圖像及人工精確標(biāo)注圖像Fig.2 Original image of aerial photography and artificially labeled image

2 蟲(chóng)害區(qū)域識(shí)別方法

2.1 模型構(gòu)建

以VGG16[17]為基礎(chǔ)網(wǎng)絡(luò)構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)，將VGG16模型全連接層替換為卷積層；采用遷移學(xué)習(xí)預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)，降低全卷積神經(jīng)網(wǎng)絡(luò)樣本需求量，減少過(guò)擬合，提升收斂速度；通過(guò)跳躍結(jié)構(gòu)融合不同層特征，提升蟲(chóng)害區(qū)域識(shí)別精度。卷積化實(shí)現(xiàn)端到端學(xué)習(xí)，遷移學(xué)習(xí)提升模型收斂速度，跳躍結(jié)構(gòu)優(yōu)化識(shí)別精度，三者相輔相成。

卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像特征具有很強(qiáng)的提取能力，較淺的層具有比較小的感受野，能夠獲取局部的信息，而較深的層具有比較大的感受野，能夠獲取更多的信息。卷積神經(jīng)網(wǎng)絡(luò)是良好的特征提取器，但是卷積神經(jīng)網(wǎng)絡(luò)最后幾層一般為全連接層，能夠較好地得到圖像類(lèi)別，但是也因此丟失了圖像的細(xì)節(jié)，最后很難得到每個(gè)像素對(duì)應(yīng)的類(lèi)別。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是采用周?chē)南袼貕K進(jìn)行預(yù)測(cè)得到像素級(jí)的預(yù)測(cè)，但是這種方式存儲(chǔ)開(kāi)銷(xiāo)大，計(jì)算效率非常低。將全連接層用卷積層進(jìn)行替換，用上采樣就可以恢復(fù)到原圖的尺寸，然后用softmax分類(lèi)器逐像素分類(lèi)得到每個(gè)像素對(duì)應(yīng)的類(lèi)別，實(shí)現(xiàn)語(yǔ)義分割，得到蟲(chóng)害區(qū)域識(shí)別結(jié)果。如圖3所示，將VGG16模型最后的全連接層用卷積層替換，并上采樣得到最終識(shí)別結(jié)果，圖中H為圖像高度，W為圖像寬度。

圖3 蟲(chóng)害區(qū)域識(shí)別實(shí)現(xiàn)過(guò)程Fig.3 Implementation process of pest area identification

2.2 模型遷移

由于采集的蟲(chóng)害圖像樣本有限，精確標(biāo)注的樣本更為珍貴，本文采用遷移學(xué)習(xí)降低樣本需求，提升模型收斂性。遷移學(xué)習(xí)[18-19]是運(yùn)用已有的知識(shí)，對(duì)不同但是相關(guān)的領(lǐng)域求解的方法。遷移學(xué)習(xí)針對(duì)不同的數(shù)據(jù)量有不同的訓(xùn)練方式，針對(duì)于小數(shù)據(jù)量，一般去掉softmax層，定義新的softmax層，并開(kāi)放全連接層，凍結(jié)所有卷積層的參數(shù)，用新的樣本訓(xùn)練全連接層網(wǎng)絡(luò)參數(shù)；針對(duì)中等數(shù)據(jù)量的樣本，一般需要逐步開(kāi)放全連接層之前的卷積層，數(shù)據(jù)量越多，開(kāi)放的層數(shù)越多；數(shù)據(jù)量較大時(shí)，可以將原始的網(wǎng)絡(luò)參數(shù)作為初始參數(shù)進(jìn)行訓(xùn)練，使模型更快收斂。

本文數(shù)據(jù)樣本較少，用ImageNet數(shù)據(jù)集[20]訓(xùn)練VGG16網(wǎng)絡(luò)，訓(xùn)練完成后始終凍結(jié)卷積層參數(shù)，用ADE20K數(shù)據(jù)集[21]預(yù)訓(xùn)練全卷積網(wǎng)絡(luò)反卷積層參數(shù)，并將此網(wǎng)絡(luò)參數(shù)作為蟲(chóng)害圖像訓(xùn)練的初始值。

2.3 模型優(yōu)化

卷積神經(jīng)網(wǎng)絡(luò)中淺層的卷積層能獲得紋理等低級(jí)的語(yǔ)義信息，深層可以獲得高級(jí)語(yǔ)義信息，通過(guò)融合不同的層可以獲得多種特征信息，有效提升識(shí)別性能。蟲(chóng)害圖像不規(guī)則，邊界復(fù)雜，病害區(qū)域和健康區(qū)域交織在一起，多次池化使得特征圖像分辨率降低，直接32倍上采樣會(huì)使得蟲(chóng)害邊緣區(qū)域的識(shí)別效果不理想，而不同卷積層可以獲得不同層次的特征，通過(guò)融合高層和低層特征能夠有效提升識(shí)別精度。

針對(duì)林業(yè)蟲(chóng)害圖像特點(diǎn)，為了能夠獲得更多的細(xì)節(jié)和紋理特征，得到較好的識(shí)別效果，本文采用跳躍結(jié)構(gòu)，通過(guò)不同組合融合各層的特征可以形成5種全卷積網(wǎng)絡(luò)，即FCN-32s、FCN-16s、FCN-8s、FCN-4s、FCN-2s。以FCN-16s為例，融合時(shí)需要保持特征圖大小一致，首先將卷積層8輸出的結(jié)果進(jìn)行2倍上采樣，和池化層4進(jìn)行融合，經(jīng)過(guò)2倍上采樣以后，最終得到和原圖尺寸大小相同的特征圖，然后用softmax分類(lèi)器，逐像素得到每個(gè)像素對(duì)應(yīng)的類(lèi)別。如圖4所示為本文的5種全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖4 全卷積神經(jīng)網(wǎng)絡(luò)跳躍結(jié)構(gòu)示意圖Fig.4 Schematic of jump structure of full convolutional network

3 蟲(chóng)害區(qū)域識(shí)別試驗(yàn)

3.1 識(shí)別試驗(yàn)

試驗(yàn)在Ubuntu16.04系統(tǒng)下進(jìn)行，硬件平臺(tái)采用雙路1080TiGPU加速，基于Tensorflow1.8框架，Python版本為3.6。

為了得到林業(yè)蟲(chóng)害圖像較好識(shí)別效果的模型，進(jìn)行了5種全卷積神經(jīng)網(wǎng)絡(luò)的蟲(chóng)害區(qū)域識(shí)別對(duì)比試驗(yàn),測(cè)試的對(duì)象為20塊采集樣地蟲(chóng)害圖像。該試驗(yàn)在相同數(shù)據(jù)集、相同參數(shù)下進(jìn)行訓(xùn)練，僅改變模型結(jié)構(gòu)，其中，學(xué)習(xí)率設(shè)置為0.000 1，損失函數(shù)為交叉熵?fù)p失函數(shù)，模型訓(xùn)練采用Adam優(yōu)化器，5種模型各訓(xùn)練10 001次，批尺寸為2，每隔500次保存一次網(wǎng)絡(luò)參數(shù)。在準(zhǔn)備好數(shù)據(jù)集和確定好超參數(shù)以后，分別訓(xùn)練5種全卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型，每個(gè)模型選取驗(yàn)證集損失值最小的權(quán)重，作為該模型最終的網(wǎng)絡(luò)參數(shù)，然后分別測(cè)試，得到5種模型的蟲(chóng)害區(qū)域識(shí)別結(jié)果。

3.2 識(shí)別結(jié)果

如圖5所示為蟲(chóng)害圖像原圖、人工標(biāo)注圖和K-means、脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse coupled neural network, PCNN)、復(fù)合梯度分水嶺算法(Composite gradient watershed algorithm,CGWA)、FCN-32s、FCN-16s、FCN-8s、FCN-4s、FCN-2s等8種方法的蟲(chóng)害圖像分割結(jié)果圖。圖5a、5b、5c為不同蟲(chóng)害采集樣地內(nèi)的蟲(chóng)害分割結(jié)果。分割結(jié)果和人工標(biāo)注越接近，說(shuō)明蟲(chóng)害區(qū)域識(shí)別效果越好。

圖5 蟲(chóng)害區(qū)域識(shí)別結(jié)果對(duì)比Fig.5 Comparison maps of identification result of pest area

4 蟲(chóng)害區(qū)域識(shí)別結(jié)果評(píng)價(jià)

4.1 識(shí)別精度

4.1.1識(shí)別精度評(píng)價(jià)指標(biāo)

為了合理評(píng)估蟲(chóng)害區(qū)域識(shí)別精度，本文采用像素準(zhǔn)確率、類(lèi)別平均準(zhǔn)確率、平均交并比、頻率加權(quán)平均交并比4個(gè)指標(biāo)對(duì)模型性能進(jìn)行評(píng)價(jià)，4個(gè)指標(biāo)數(shù)值越大說(shuō)明識(shí)別效果越好。像素準(zhǔn)確率RPA(Pixel accuracy, PA)是最簡(jiǎn)單的評(píng)價(jià)指標(biāo)，代表正確分類(lèi)的像素?cái)?shù)量占總像素的比例，假設(shè)有k+1個(gè)類(lèi)別，具體公式為

(1)

式中pij——類(lèi)別i的像素預(yù)測(cè)為類(lèi)別j的數(shù)量

pii——預(yù)測(cè)正確像素?cái)?shù)量

平均準(zhǔn)確率RMPA(Mean pixel accuracy, MPA)對(duì)像素準(zhǔn)確率做了簡(jiǎn)單提升，首先計(jì)算每個(gè)類(lèi)內(nèi)被正確預(yù)測(cè)的像素?cái)?shù)比例，然后對(duì)所有類(lèi)別取平均值，具體公式為

(2)

平均交并比RMIoU(Mean intersection over union,MIoU)能夠反映蟲(chóng)害區(qū)域識(shí)別的準(zhǔn)確性和完整性，是最常用的評(píng)價(jià)指標(biāo)，其計(jì)算兩個(gè)集合的交集和并集之比，并求所有類(lèi)別平均值。平均交并比的公式為

(3)

式中pji——類(lèi)別j的像素預(yù)測(cè)為類(lèi)別i的數(shù)量

頻率加權(quán)交并比RFWIoU(Frequency weighted intersection over union,FWIoU)根據(jù)每個(gè)類(lèi)別出現(xiàn)的頻率設(shè)置權(quán)值，其公式為

(4)

4.1.2識(shí)別精度比較

選取20個(gè)試驗(yàn)樣地各5幅圖像作為測(cè)試樣本，試驗(yàn)結(jié)果取100幅圖像測(cè)試結(jié)果的平均值。表1為各算法識(shí)別精度對(duì)比結(jié)果，從表中可以看出，F(xiàn)CN相比于復(fù)合梯度分水嶺、脈沖耦合神經(jīng)網(wǎng)絡(luò)[22]和K-means算法，識(shí)別精度提升較大，其中FCN-2s的像素準(zhǔn)確率達(dá)到97.86%，比CGWA、PCNN、K-means算法分別高出6.04、20.73、44.93個(gè)百分點(diǎn)，平均交并比達(dá)到79.49%，比CGWA、PCNN、K-means算法分別高出18.86、35.67、50.19個(gè)百分點(diǎn)。分析5種FCN 算法，可以看出融合的層數(shù)越多，得到的語(yǔ)義信息越豐富，識(shí)別結(jié)果的像素準(zhǔn)確率越高。從平均交并比可以看出，F(xiàn)CN-2s的識(shí)別精度在5種全卷積神經(jīng)網(wǎng)絡(luò)中最好，這是由于林業(yè)圖像邊界復(fù)雜，蟲(chóng)害區(qū)域不規(guī)則，需要融合低級(jí)語(yǔ)義特征提升識(shí)別精度。

表1 各算法識(shí)別精度比較Tab.1 Comparison of recognition accuracy of each algorithm %

4.2 識(shí)別速度

算法的運(yùn)行速度也是算法的重要性能，本文測(cè)試了20幅圖像，所有圖像的平均運(yùn)行時(shí)間如表2所示。

表2 各算法單幅圖像運(yùn)行時(shí)間Tab.2 Single image running time of each algorithm s

由表2可以看出，本文算法的運(yùn)行速度明顯快于另外3種算法，本文5種算法中FCN-32s的識(shí)別速度最快，隨著融合的層數(shù)增多，計(jì)算量增大，計(jì)算速度逐漸降低，考慮本地端蟲(chóng)害區(qū)域識(shí)別對(duì)算法實(shí)時(shí)性沒(méi)有很高要求，F(xiàn)CN-2s識(shí)別速度已經(jīng)能夠滿足需求，其運(yùn)行時(shí)間為4.31 s, 比CGWA、PCNN、K-means算法分別降低11.39、19.70、47.54 s。

5 結(jié)束語(yǔ)

針對(duì)無(wú)人機(jī)航拍采集的林區(qū)蟲(chóng)害圖像存在的問(wèn)題，提出了一種基于全卷積神經(jīng)網(wǎng)絡(luò)的蟲(chóng)害區(qū)域識(shí)別方法，并考慮蟲(chóng)害圖像數(shù)據(jù)集特點(diǎn)，引入遷移學(xué)習(xí)、跳躍結(jié)構(gòu)等方法，提升了全卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別精度。本文算法的識(shí)別精度比復(fù)合梯度分水嶺算法、脈沖耦合神經(jīng)網(wǎng)絡(luò)、K-means都有大幅提升，其中FCN-2s識(shí)別精度最高，其像素準(zhǔn)確率達(dá)到97.86%，比復(fù)合梯度分水嶺算法、脈沖耦合神經(jīng)網(wǎng)絡(luò)、K-means分別高出6.04、20.73、44.93個(gè)百分點(diǎn)， FCN-2s的單幅圖像分割運(yùn)行時(shí)間為4.31 s，分別降低11.39、19.70、47.54 s。