摘要：收集咖啡和柑橘病蟲害樣本圖片，利用TensorFlow深度學(xué)習(xí)框架，在原始SRGAN（Super-resolution generative adversarial networks）的超分辨率重建網(wǎng)絡(luò)里加入了注意力模塊，對重建圖像視覺質(zhì)量和峰值信噪比（PSNR）、結(jié)構(gòu)化相似性（SSIM）指標進行分析。結(jié)果表明，設(shè)計的模型和原始SRGAN模型對比之后峰值信噪比提高了2.23，結(jié)構(gòu)相似性提高了7%。在細節(jié)紋理方面可以獲得更好的視覺效果，重建后的圖像識別準確率提高了約4.42個百分點。因此，設(shè)計的模型可以對小樣本性質(zhì)的植物病蟲害樣本進行擴充。

關(guān)鍵詞：超分辨率重建；注意力機制；病蟲害；峰值信噪比（PSNR）；結(jié)構(gòu)化相似性（SSIM）

中圖分類號：TP391.41；S432 文獻標識碼：A

文章編號：0439-8114（2024）09-0204-06

DOI：10.14088/j.cnki.issn0439-8114.2024.09.034 開放科學(xué)（資源服務(wù)）標識碼（OSID）：

Super-resolution reconstruction of GAN pest and disease images fused with attention mechanisms

FEI Jia-jie，YANG Yi， ZENG Yan-lin，LIN Yao，HE Yi-ting， LI Qiang，ZHANG Sheng-di

（School of Big Data，Yunnan Agricultural University， Kunming 650500，China）

Abstract： The sample pictures of coffee and citrus pests and diseases were collected， and an attention module was added to the super-resolution reconstruction network of the original SRGAN by using TensorFlow deep learning framework. The visual quality， peak signal-to-noise ratio and structured similarity index of the reconstructed image were analyzed. The results showed that the peak signal-to-noise ratio of the designed model was improved by 2.23， and the structural similarity was enhanced by 7%， after comparing with the original SRGAN mode. Better visuals could be obtained in terms of detail texture， and the accuracy of the reconstructed image classification was improved by about 4.42 percentage points. Therefore， the model designed could be used for the expansion of samples of plant pests and diseases with small sample properties.

Key words： super-resolution reconstruction； attention mechanism； pests and diseases； peak signal-to-noise ratio （PSNR）； structural similarity（SSIM）

圖像超分辨率重建（Images super-resolution reconstruction，ISRR）是指將低分辨率模糊圖像優(yōu)化為具有豐富細節(jié)的高分辨率圖像的過程［1］?，F(xiàn)如今，深度學(xué)習(xí)的算法在圖像超分辨率領(lǐng)域的研究越來越多，相對于傳統(tǒng)超分辨算法在性能上有了較大的提升。本研究的目的是為了通過建立融合注意力機制的SRGAN病蟲害圖像超分辨率重建模型，實現(xiàn)病蟲害樣本擴充，使之產(chǎn)生大量可供深度學(xué)習(xí)模型訓(xùn)練使用的農(nóng)作物樣本數(shù)據(jù)。在病蟲害圖像小樣本擴充上面，有明顯的效果和應(yīng)用價值。

圖像的超分辨率研究在很多年前就已經(jīng)開始，2015年Dong等［2］提出SRCNN（Super-resolution convolutional neural network），SRCNN訓(xùn)練了全卷積神經(jīng)網(wǎng)絡(luò)，并提升了圖像超分辨率的重建指標。2016年，Dong等［3］又提出了FSRCNN（Fast super-resolution convolutional neural network）模型，該模型加入了反卷積層，將重建效果進一步提升。Shi等［4］通過在網(wǎng)絡(luò)末端添加輸出特征圖的通道從而把圖像進行放大。Kim等［5］在重建圖像中將卷積核縮小，能夠有效地提升圖像重建的效果。同年，Kim等［6］提出了新的網(wǎng)絡(luò)模型DRCN（Deeply-recursive convolutional network），減少神經(jīng)網(wǎng)絡(luò)的參數(shù)量。2014年，Goodfellow等［7］首次提出生成對抗網(wǎng)絡(luò)（Generative adversarial networks，GAN），通過對抗訓(xùn)練來評估生成模型。2017年Ledig等［8］提出了SRGAN能將一個低分辨率模糊圖像優(yōu)化為具有豐富細節(jié)的高分辨率圖像。但是，這些算法的參數(shù)量會比較大，需要大量的資源來計算和提取網(wǎng)絡(luò)特征，并且難以達到理想的效果。其次，進行超分辨率恢復(fù)后的圖像無法保留圖像的某些底層信息，比如圖像太平滑，不包含詳細的紋理信息，圖像不夠逼真等。

因此本研究旨在開發(fā)一種融合注意力機制的生成對抗網(wǎng)絡(luò)超分辨率重建算法。近年來，越來越多的人將注意力機制［9］用到圖像超分辨率領(lǐng)域，Zhang等［10］在超分辨率重建模型中加入深度殘差通道注意力網(wǎng)絡(luò)RCAN。2018年，Liu等［11］提出了將注意力生成網(wǎng)絡(luò)作為特征選擇器來恢復(fù)圖像的高頻細節(jié)、增強高頻特征和抑制平滑區(qū)域中的噪聲。本研究在SRGAN的基礎(chǔ)上，引入了注意力機制，實現(xiàn)了圖像質(zhì)量更高的超分辨率結(jié)果，同時也實現(xiàn)了病蟲害小樣本的生成。本研究探索出一種適用于病蟲害小樣本生成的圖像的方法，為病蟲害小樣本擴充的研究提供一些新思路。

1 相關(guān)技術(shù)介紹

1.1 生成對抗網(wǎng)絡(luò)訓(xùn)練

生成對抗網(wǎng)絡(luò)由兩部分組成，一是生成網(wǎng)絡(luò)，它的作用就是經(jīng)過訓(xùn)練之后生成與數(shù)據(jù)集中的真實數(shù)據(jù)相似的數(shù)據(jù)，二是判別網(wǎng)絡(luò)，判別網(wǎng)絡(luò)是為了判別真實數(shù)據(jù)和生成數(shù)據(jù)的差異性［12］。在經(jīng)過多輪的訓(xùn)練之后，樣本已達到了納什平衡，判別網(wǎng)絡(luò)已經(jīng)無法精確判斷出樣本是真是假，即判別器會輸出50%的正確率和50%的錯誤率。生成對抗網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。圖中G表示生成器，D表示判別器。生成對抗網(wǎng)絡(luò)的訓(xùn)練過程是首先需要固定G，然后再訓(xùn)練D。固定G即僅用到G的前饋過程得到輸出，而不進行其反向傳播過程，然后需要固定D去訓(xùn)練G。將隨機噪聲z輸入G，得到偽造數(shù)據(jù)G（z）。再將G（z）作為輸入送進D，得到D給出的概率數(shù)值D（G（z））。

在這一過程中，判別概率和真實標簽之間會產(chǎn)生誤差，為了減小誤差，生成對抗網(wǎng)絡(luò)中通常會采用交叉熵代價函數(shù)作為損失函數(shù)，如式（1）。

[C=-1nn[y ln a+（1-y）ln （1-a）]] （1）

式中，C為輸入數(shù)據(jù)；n表示所有數(shù)據(jù)的數(shù)量；y表示C的期望輸出；[a]表示數(shù)據(jù)的實際輸出。當(dāng)期望輸出y與實際輸出[a]越接近，代價函數(shù)越接近0。

在生成對抗網(wǎng)絡(luò)中，整體的價值函數(shù)V（D，G）定義如式（2）。

[minDmaxGV（D，G）=Ex～Pdata（x）[log D（x）]+Bz-pz（z）log （1-D（G（z）））] （2）

同樣的，該函數(shù)中的G、D分別代表生成器和判別器。[Pdata（x）]表示x的數(shù)據(jù)分布，E（·）表示需要計算的期望，[z-pz（z）]是輸入的噪聲分布，這里采用標準正態(tài)分布[pz（z）=n（0，1）]?？梢钥闯?，函數(shù)V（D，G）與神經(jīng)網(wǎng)絡(luò)中的交叉嫡代價函數(shù)C形式上是一樣的。

1.2 樣本擴充

1.2.1 傳統(tǒng)樣本擴充 卷積神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域有著優(yōu)異的表現(xiàn)，但要有大規(guī)模數(shù)據(jù)集支撐的測試才能得到相對較好的訓(xùn)練結(jié)果。雖然現(xiàn)在可公開使用的數(shù)據(jù)集越來越多，但針對某些領(lǐng)域，仍然無法在有限的時間和成本內(nèi)獲取足夠的帶標簽訓(xùn)練樣本。小樣本數(shù)據(jù)集規(guī)模無法支持深層次的網(wǎng)絡(luò)模型進行訓(xùn)練。傳統(tǒng)圖像識別領(lǐng)域和深度學(xué)習(xí)都存在著樣本不均衡、樣本多樣性不足、樣本質(zhì)量差等問題。尤其是在深度學(xué)習(xí)領(lǐng)域，樣本匱乏和數(shù)據(jù)不均衡導(dǎo)致無法得到最佳的識別效果?；谶@種現(xiàn)狀，樣本擴充的提出便提供了一種解決思路，傳統(tǒng)的樣本擴充方法有物理擴充方法［13］、變分自編碼器擴充方法［14］、bootstrap擴充方法［15］、網(wǎng)絡(luò)爬蟲［16］等。

1.2.2 生成對抗94f09c6322f9587e5c94adffafeb99b0網(wǎng)絡(luò)擴充 與傳統(tǒng)學(xué)習(xí)方法不同，生成對抗是一種生成學(xué)習(xí)的算法［17］，它在數(shù)據(jù)生成能力方面具有很大優(yōu)勢，使其在數(shù)據(jù)生成中得到廣泛的研究和應(yīng)用。在深度學(xué)習(xí)中，小樣本問題制約了其自身的發(fā)展，擴充小樣本數(shù)據(jù)能夠提高分類準確率。

在生成對抗網(wǎng)絡(luò)訓(xùn)練時，向生成器里輸入噪聲圖像，通過訓(xùn)練噪聲圖像后生成網(wǎng)絡(luò)生成一個圖像。理論上來說，在這種連續(xù)不斷的對抗訓(xùn)練過程中，這些生成的圖像，可以無限接近于真實圖像的數(shù)據(jù)分布，這些真實的圖像數(shù)據(jù)可以達到擴充數(shù)據(jù)集的目的。

1.3 注意力機制

早在1980年，Treisman等［18］就提出了一種模擬人腦注意力的機制，經(jīng)過多年的發(fā)展和演化變成了現(xiàn)在深度學(xué)習(xí)領(lǐng)域注意力機制。注意力機制的優(yōu)點是可以直接建立輸入與輸出之間的關(guān)系，增加并行化的能力，增強計算機或模型的運算能力。注意力機制還克服了比如計算效率低下、系統(tǒng)性能與輸入長度負相關(guān)、輸入順序不合理以及系統(tǒng)不能精確提取特征等一些傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的局限。

本研究采用的注意力模塊CBAM（Convolutional block attention module）是2018年Woo等［19］提出來的，它巧妙地將通道注意力和空間注意力結(jié)合了起來。CBAM是一種輕量型注意力模塊，它沿著空間維度和通道維度來推斷注意力圖，將注意力圖與輸入特征圖相乘以便于優(yōu)化特征。CBAM模塊示意圖如圖2所示。

2 基于SRGAN的病蟲害圖像超分辨率重建

2.1 數(shù)據(jù)集

由于目前的病蟲害樣本數(shù)據(jù)集較少，對于生成對抗網(wǎng)絡(luò)模型有局限性，針對自然場景下單幅圖像的超分辨率重建問題，為客觀全面地評估模型重建的能力，本研究使用了DIV2K和Set14兩種公開數(shù)據(jù)集，其中DIV2K作為訓(xùn)練集，Set14作為測試集。在經(jīng)過使用公開數(shù)據(jù)集將模型訓(xùn)練得足夠穩(wěn)定后，再使用數(shù)碼相機從云南長木咖啡種植基地和云南省褚氏農(nóng)業(yè)種植基地拍照得到咖啡多種病害和柑橘多種病害樣本，并從數(shù)據(jù)集中按照設(shè)定好的比例取出一部分作為測試集，不再做任何改變，其他的作為訓(xùn)練集。圖3是數(shù)據(jù)集中部分圖像。

2.2 圖像超分辨率生成對抗網(wǎng)絡(luò)模型

SRGAN為了提高超分辨率圖像的真實感和視覺感受將自然圖像放大了4倍，并且在損失函數(shù)部分結(jié)合了感知損失和對抗損失。SRGAN生成的圖像自然逼真，細節(jié)豐富，視覺質(zhì)量好。

2.2.1 生成網(wǎng)絡(luò) 生成器中由多個殘差塊組成，每個殘差塊由兩個卷積層、兩個批歸一化層，激活函數(shù)ReLU和最后的注意力模塊組成。在卷積核獲取輸入圖像時，可以利用注意力模塊提取全局特征信息，同時利用超分辨率圖像特征提取和修改的能力，可以獲得多種不同尺寸的圖像特征信息，改進的SRGAN生成網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖4所示。

2.2.2 判別網(wǎng)絡(luò) 判別器由多個卷積層組合而成，使用多個卷積層是為了添加網(wǎng)絡(luò)層數(shù)從而將提取更多的特征個數(shù)。判別器使用LeakyReLU作為網(wǎng)絡(luò)的激活函數(shù)，同時使用全連接預(yù)測該圖像為SR圖像還是真實HR圖像，輸出層使用sigmoid激活函數(shù)來計算概率。SRGAN判別網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

2.3 損失函數(shù)

SRGAN 采用的是對抗損失[lSRG]和內(nèi)容損失[lSRVGG]；其中內(nèi)容損失和對抗損失的加權(quán)和為式（3）。

[lSR=lSRVGG+10-3lSRG] （3）

內(nèi)容損失：本研究使用了19層VGG網(wǎng)絡(luò)的ReLU激活函數(shù)來計算VGG loss， 它是生成網(wǎng)絡(luò)生成的圖像和真實的高分辨率圖像傳到VGG19網(wǎng)絡(luò)中的一部分提取特征，再根據(jù)提取出來的特征計算均方根誤差。內(nèi)容損失的損失函數(shù)如式（4）所示，式中的i和j分別指第i層最大池化前的第j個卷積層。[lSRVGG]？是一個指標，表示 VGG 模型在超分辨率重建任務(wù)上的性能。[1Wi，jHi，j]表示對整個圖像進行平均，？？[x=1Wy=1H（？）]分別是對圖像寬度和高度方向上像素點的求和操作，[（？（IHR）x，y-？（GθG（ILR））x，y）2]是計算每個像素點之間的差異。

[lSRVGG=1Wi，jHi，jx=1Wy=1H（？（IHR）x，y-？（GθG（ILR））x，y）2] （4）

對抗損失：對抗損失采用的是生成對抗網(wǎng)絡(luò)的常用對抗損失函數(shù)，采用該對抗損失函數(shù)是為了讓判別器判別錯誤。對抗損失如式（5）所示。[lSRG]？是一個指標，表示生成器G 在超分辨率重建任務(wù)上的損失。[n=1N（？）]分別是對N個樣本進行求和操作，（-l[ogDθD] [（GθG（ILR））]）是計算生成器G的輸出與判別器D 輸出之間的關(guān)系。因此，對于每一個輸入的低分辨率圖像[ILR]，生成器G 需要生成對應(yīng)的超分辨率圖像[GθG（ILR）]。然后，將這個生成的超分辨率圖像作為輸入傳遞給判別器D，判斷其是否為真實的高分辨率圖像。最后，計算判別器D的輸出概率值，并將其取負數(shù)并取對數(shù)，得到最終的損失值。通過最小化這個損失函數(shù)，可以優(yōu)化生成器G的參數(shù)，使得它能夠更好地生成高質(zhì)量的超分辨率圖像。

[lSRG=n=1N（-log DθD（GθG（ILR）））] （5）

3 結(jié)果與分析

由于人類的視覺觀察無法客觀地對試驗結(jié)果進行分析，所以本研究從兩個方面對試驗結(jié)果進行客觀分析，一是圖像重建的視覺質(zhì)量分析，二是圖像質(zhì)量評價指標分析。

3.1 重建圖像視覺質(zhì)量分析

經(jīng)過與訓(xùn)練后得出的超分辨率圖像進行對比，可以看出重建以后的圖像細節(jié)更加完整，邊緣輪廓尖銳、清晰，圖像的視覺效果也較好。從整體重建效果來看，如圖6所示，SRGAN恢復(fù)了一些病蟲害葉片的輪廓，使得病蟲害圖片的分辨率變得更高，一些圖像的紋路和清晰度也有所提升，整體在視覺效果上保真度更高。

3.2 圖像質(zhì)量評價指標分析

普通人通過人眼主觀評價標準并不準確，因此本研究使用全參考的圖像質(zhì)量評價指標PSNR和SSIM［20］對圖像超分辨率重建結(jié)果進行客觀評價。其中PSNR只關(guān)心像素之間的差異，在真實場景中具有較好的效果，應(yīng)用也最為廣泛。SSIM分別對圖像的亮度、對比度進行比較，更加符合視覺感知，SSIM的取值范圍為［0，1］，且取值越大越好。表1和表2是選取Set14數(shù)據(jù)集中的baboon、monarch和pepper數(shù)據(jù)與植物病蟲害數(shù)據(jù)集重建結(jié)果展現(xiàn)的兩個客觀評價指標。

3.3 擴充樣本分類識別分析

本研究設(shè)計的模型對樣本數(shù)較少的病蟲害數(shù)據(jù)集進行擴充，以期達到理想的效果并能應(yīng)用于實際。為了進一步驗證本研究的模型對病蟲害樣本進行擴充后是否能提高深度學(xué)習(xí)網(wǎng)絡(luò)模型圖像識別的準確率，進行試驗及對比后結(jié)果如表3所示，整個病蟲害樣本的識別準確率都有了明顯的提升，準確率最高的可達97.28%，最低也達88.48%。相比較原始SRGAN，本研究模型的識別準確率平均提升了4.42個百分點。

4 小結(jié)

本研究在原始的SRGAN上融入了CBAM注意力機制模塊，注意力模塊通過增強高頻細節(jié)特征以及高頻細節(jié)的位置，從而將重建的效果進一步提升。在生成器網(wǎng)絡(luò)中，使用了殘差密集塊基本結(jié)構(gòu)單元。試驗結(jié)果表明，從視覺效果來看，植物病蟲害圖像重建后能夠獲得更多自然和逼真的紋理。本研究設(shè)計的模型確實具有較好的超分辨率重建效果，根據(jù)PSNR和SSIM結(jié)果來看，峰值信噪比平均提高了2.23，結(jié)構(gòu)相似性平均提高了7%。本研究的模型在咖啡和柑橘病蟲害圖像上重建的效果也較好，在擴充樣本后的病蟲害樣本識別準確率最高的可達97.28%，最高的提高了5.6個百分點。

參考文獻：

［1］ 康士偉，孫水發(fā)，陳曉軍，等.單幀圖像超分辨率重建的深度神經(jīng)網(wǎng)絡(luò)綜述［J］.信息通信，2019（3）：24-27.

［2］ DONG C， LOY C C， HE K， et al. Image super-resolution using deep convolutional networks［J］. IEEE transactions on pattern analysis and machine intelligence， 2015， 38（2）： 295-307.

［3］ DONG C， LOY C C， TANG X O. Accelerating the super-resolution convolutional neural network［A］. European conference on computer vision［C］. Springer， Cham， 2016.391-407.

［4］ SHI W， CABALLERO J， HUSZáR F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network［A］. Proceedings of the IEEE conference on computer vision and pattern recognition［C］. 2016.1874-1883.

［5］ KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks［A］. Proceedings of the IEEE conference on computer vision and pattern recognition［C］. 2016.1646-1654.

［6］ KIM J，LEE J K，LEE K M. Deeply-recursive convolutional network for image super-resolution［A］.Proceedings of the IEEE conference on computer vision and pattern recognition［C］. 2016.1637-1645.

［7］ GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［A］. Proceedings of the 27th international conference on neural information processing systems［C］. 2014.2672-2680.

［8］ LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network［A］. Proceedings of the IEEE conference on computer vision and pattern recognition［C］. 2017. 4681-4690.

［9］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［A］. Proceedings of the 31st international conference on neural information processing systems［C］， 2017.6000-6010.

［10］ ZHANG Y L， LI K P， LI K， et al. Image super-resolution using very deep residual channel attention networks［A］.Proceedings of the European conference on computer vision （ECCV）［C］. 2018.286-301.

［11］ LIU Y， WANG Y C， LI N， et al. An attention-based approach for single image super resolution［A］. 2018 24Th international conference on pattern recognition （ICPR）［C］. IEEE， 2018. 2777-2784.

［12］ 梁俊杰，韋艦晶，蔣正鋒.生成對抗網(wǎng)絡(luò)GAN綜述［J］.計算機科學(xué)與探索，2020，14（1）：1-17.

［13］ 秦鐵鑫.基于數(shù)據(jù)擴充的小樣本學(xué)習(xí)算法研究［D］.南京：南京大學(xué)，2021.

［14］ 王俊杰，焦 柯，彭子祥，等.基于變分自編碼器潛變量語義提煉的樣本生成方法［J］.計算機系統(tǒng)應(yīng)用，2022，31（3）：255-261.

［15］ 李會鵬，賀 國，明廷鋒.Bootstrap方法在機電設(shè)備振動狀態(tài)閾值設(shè)定中的應(yīng)用［J］.艦船科學(xué)技術(shù)，2012，34（5）：70-73，77.

［16］ 楊天樂，錢寅森，武 威，等.基于Python爬蟲和特征匹配的水稻病害圖像智能采集［J］.河南農(nóng)業(yè)科學(xué)，2020，49（12）：159-163.

［17］ 俞 彬.基于生成對抗網(wǎng)絡(luò)的圖像類別不平衡問題數(shù)據(jù)擴充方法［D］.廣州：華南理工大學(xué)，2018.

［18］ TREISMAN A M， GELADE G. A feature-integration theory of attention［J］. Cognitive psychology， 1980， 12（1）： 97-136.

［19］ WOO S， PARK J， LEE J Y， et al. Cbam： Convolutional block attention module［A］. Proceedings of the European conference on computer vision （ECCV）［C］. 2018. 3-19.

［20］ 佟雨兵，張其善，祁云平.基于PSNR與SSIM聯(lián)合的圖像質(zhì)量評價模型［J］.中國圖象圖形學(xué)報，2006（12）：1758-1763.

收稿日期：2023-02-13

基金項目：云南省重大科技專項（A3032021043002）

作者簡介：費加杰（1995-），男，貴州六盤水人，在讀碩士研究生，研究方向為圖形圖像處理，（電話）18184899528（電子信箱）354099126@qq.com；通信作者，楊 毅（1966-），男，云南昆明人，碩士生導(dǎo)師，主要從事深度學(xué)習(xí)、植物病蟲害防治、圖形圖像處理方面研究，（電話）13888222963（電子信箱）1617213828@qq.com。

費加杰，楊 毅，曾晏林，等. 融合注意力機制的GAN病蟲害圖像超分辨率重建［J］. 湖北農(nóng)業(yè)科學(xué)，2024，63（9）：204-209．