李健寧，路 陽（通訊作者），陶賢鵬，林立媛，孫 桐

（1黑龍江八一農(nóng)墾大學(xué)信息與電氣工程學(xué)院 黑龍江 大慶 163319）

（2雞西市公安局 黑龍江 雞西 158100）

（3東北石油大學(xué)黑龍江省網(wǎng)絡(luò)化與智能控制重點(diǎn)實(shí)驗(yàn)室 黑龍江 大慶 163318）

1 引言

基于圖像的水稻病害識(shí)別是當(dāng)前植物保護(hù)領(lǐng)域的一個(gè)研究熱點(diǎn)[1]。從水稻病害特征來看，單個(gè)樣本可能同時(shí)出現(xiàn)多種病癥，不同病癥可能具有相似的癥狀。而且由于獲取圖像時(shí)圖像背景的干擾及光照強(qiáng)度的變化，使得獲取清晰的病害特征明顯的樣本圖像變得復(fù)雜和困難，在實(shí)際應(yīng)用中面臨各種各樣的挑戰(zhàn)[2]。本研究中，尋找一種新的方法生成水稻病害圖像樣本，解決訓(xùn)練樣本不足問題，增加樣本多樣性。

Goodfellow等[3]人受博弈論中的零和博弈啟發(fā)于2014年提出生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks,GAN）模型，其圖像生成效果好。目前，GAN已成功應(yīng)用于動(dòng)畫頭像生成、圖像還原與修復(fù)、超分辨率圖像生成[4]等領(lǐng)域。GAN主要由生成器和鑒別器兩部分構(gòu)成，通過不斷地對(duì)抗訓(xùn)練，生成器生成真實(shí)的樣本數(shù)據(jù)，鑒別器是區(qū)分真實(shí)的樣本和生成的樣本，從而達(dá)到最佳生成效果。

由于WGAN在真實(shí)的圖像生成過程中依舊存在著訓(xùn)練困難、收斂速度慢的問題，相比較傳統(tǒng)GAN效果提升不是很明顯。于是，Ishaan Gulrajani等[5]人提出了帶梯度懲罰的Wasserstein生成對(duì)抗網(wǎng)絡(luò)（WGAN-GP），能使WGAN的訓(xùn)練變得更加穩(wěn)定，并且取得更高質(zhì)量的生成效果。

本文研究基于生成對(duì)抗網(wǎng)絡(luò)理論的水稻病害圖像數(shù)據(jù)集增強(qiáng)[6]的關(guān)鍵技術(shù)，研究目標(biāo)是應(yīng)用WGAN-GP對(duì)水稻病害樣本集進(jìn)行數(shù)據(jù)增強(qiáng)，具體研究過程包括WGAN-GP模型構(gòu)建及算法驗(yàn)證及性能分析等。

2 基于WGAN-GP的圖像生成

2.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)由生成模型（Generative Model，G）和判別模型（Discriminative Model，D）組成。生成模型負(fù)責(zé)將接收到的噪聲z輸出生成樣本，模型在訓(xùn)練過程中通過捕捉真實(shí)圖像中的概率分布來生成接近真實(shí)的樣本。判別模型負(fù)責(zé)估計(jì)接收的樣本是真實(shí)樣本還是生成樣本的概率。在兩個(gè)模型相互博弈過程中，生成模型生成的樣本盡可能地欺騙判別模型，判別模型盡可能避免這種欺騙。最終，生成模型和判別模型會(huì)處于一種納什平衡[7]。生成對(duì)抗網(wǎng)絡(luò)的目標(biāo)函數(shù)如公式（1）所示。

pz表示噪聲輸入的概論分布，pg表示生成樣本x的概論分布，pr表示真實(shí)圖像的概論分布。為了確保判別模型能準(zhǔn)確鑒別真實(shí)圖像，需要最大化當(dāng)判別器接收生成樣本，最大化會(huì)接近0。訓(xùn)練生成模型是為了讓判別模型給出高概率的數(shù)值，因此需要最小化

2.2 WGAN-GP網(wǎng)絡(luò)原理

經(jīng)過近年來研究，原GAN存在難以實(shí)現(xiàn)納什均衡、梯度消失、模式崩塌以及缺少適合的模型評(píng)估方法。這些問題在WGAN（Wasserstein Generative Adversarial Networks）中得到改進(jìn)，采用Wasserstein距離[5]作為網(wǎng)絡(luò)的距離衡量方式代替JS散度或KL散度衡量方式。Wasserstein距離計(jì)算如公式（2）所示：

盡管WGAN的訓(xùn)練相比原GAN的訓(xùn)練穩(wěn)定性進(jìn)一步增強(qiáng)，WGAN在訓(xùn)練時(shí)采用權(quán)重修剪（weight clipping）方式將模型內(nèi)的參數(shù)限制在一定的范圍內(nèi)，由此來達(dá)到滿足Lipschitz限制條件，但往往在最優(yōu)策略下，參數(shù)通常會(huì)趨向不合理的極端情況。這不僅僅會(huì)影響模型的訓(xùn)練速度，當(dāng)修剪范圍逼近于極限時(shí)，還會(huì)導(dǎo)致梯度爆炸的情況發(fā)生。而WGAN-GP提出了另一種截?cái)嘈藜舻牟呗浴狦radient Penalty，能有效避免上述問題，并且能提高模型訓(xùn)練的穩(wěn)定性。WGAN-GP的損失函數(shù)如公式（3）所示：WGAN-GP網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

圖1 WGAN-GP網(wǎng)絡(luò)結(jié)構(gòu)

2.3 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)[8]被用于WGAN-GP模型對(duì)數(shù)據(jù)集增強(qiáng)后的驗(yàn)證。CNN廣泛應(yīng)用于圖像分類的應(yīng)用領(lǐng)域，CNN模型由5層卷積層、3層全連接層、softmax輸出層構(gòu)成，層與層之間使用最大池化層分開，所有隱層的激活單元都采用ReLU函數(shù)。卷積層提取輸入的圖像特征，通過最大池化層降低輸入圖像的維數(shù)，全連接的層放置在模型輸出附近，最終通過softmax輸出層進(jìn)行數(shù)值預(yù)測(cè)。CNN模型見圖2。

圖2 CNN模型示意圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文中，水稻病害圖像是從黑龍江省齊齊哈爾市梅里斯達(dá)斡爾族自治區(qū)哈拉海農(nóng)場(chǎng)水稻種植區(qū)的真實(shí)農(nóng)田采集而來。使用具有16.0百萬像素的佳能PowerShot SX530HS數(shù)碼相機(jī)，具有12.0百萬像素相機(jī)的小米6手機(jī)來捕獲這些水稻病害圖像，病害類型包括水稻稻瘟病、水稻褐斑病和水稻白葉枯病。該數(shù)據(jù)集是在不同天氣條件下捕獲，分別在水稻生長(zhǎng)的前期、中期以及晚期3個(gè)時(shí)間段采集水稻病害圖像，并對(duì)采集的圖像進(jìn)行人工標(biāo)注。共采集3種水稻病害總計(jì)5872幅圖像作為研究對(duì)象。每幅圖像采用jpg格式存儲(chǔ)，尺寸裁剪至64×64像素。采集的原始水稻病害圖像見圖3。

圖3 水稻病害圖像

傳統(tǒng)的圖像增強(qiáng)是將收集到的圖片進(jìn)行水平翻轉(zhuǎn)、高斯模糊、添加噪點(diǎn)，以實(shí)現(xiàn)圖像數(shù)據(jù)集的擴(kuò)充增強(qiáng)。見圖4。

圖4 水平翻轉(zhuǎn)、高斯模糊、添加噪點(diǎn)處理圖像

3.2 實(shí)驗(yàn)方法

本文實(shí)驗(yàn)環(huán)境為ubuntu 18.04系統(tǒng)，CPU型號(hào)為Intel Core(TM)i7-7 820HK，內(nèi)存為32 GB。深度學(xué)習(xí)框架采用pytorch1.6+cuda10.1，NVIDIA 1 080加速運(yùn)算。模型采用mini-batch 訓(xùn)練，WGAN-GP網(wǎng)絡(luò)模型的batchsize設(shè)置為128。使用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.0 002，迭代12 000輪。

定義好WGAN-GP網(wǎng)絡(luò)后，從收集到的水稻病害數(shù)據(jù)集中隨機(jī)劃分70%的樣本用來訓(xùn)練WGAN-GP生成對(duì)抗網(wǎng)絡(luò)。通過WGAN-GP生成的水稻病害圖像見圖5。

圖5 WGAN-GP生成的樣本圖像

將生成器生成的樣本以及傳統(tǒng)圖像增強(qiáng)與剩余的30%樣本分別擴(kuò)充并混合達(dá)到1萬個(gè)樣本數(shù)量，然后用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行模型驗(yàn)證測(cè)試。水稻病病害識(shí)別結(jié)果見表1。

表1 水稻病害識(shí)別結(jié)果 單位：%

從表中可以看出，使用VGG16網(wǎng)絡(luò)模型進(jìn)行測(cè)試，只用原始數(shù)據(jù)集進(jìn)行訓(xùn)練的模型平均識(shí)別準(zhǔn)確率為80.2%，使用傳統(tǒng)圖像增強(qiáng)技術(shù)對(duì)水稻病害圖像數(shù)據(jù)進(jìn)行擴(kuò)充后的平均準(zhǔn)確率達(dá)到91.2%，用WGAN-GP對(duì)水稻病害圖像數(shù)據(jù)進(jìn)行擴(kuò)充后的平均準(zhǔn)確率達(dá)到96.4%，且相比只用未擴(kuò)充的原始圖像數(shù)據(jù)集的模型平均識(shí)別準(zhǔn)確率提高了16.2%，比采用傳統(tǒng)圖像增強(qiáng)的方法平均識(shí)別準(zhǔn)確率提高了5.2%。

4 結(jié)論

本文在水稻病害數(shù)據(jù)集有限的情況下，采用WGAN-GP模型對(duì)水稻病害圖像小樣本數(shù)據(jù)集進(jìn)行擴(kuò)充。通過VGG16網(wǎng)絡(luò)模型下的驗(yàn)證，平均識(shí)別準(zhǔn)確率達(dá)到96.4%，結(jié)果表明使用文中設(shè)計(jì)的WGAN-GP模型生成的水稻病害圖像數(shù)據(jù)集能顯著提升水稻病害識(shí)別的準(zhǔn)確率。