何朝霞，朱嶸濤，徐俊英

(1. 長(zhǎng)江大學(xué)文理學(xué)院,湖北荊州,434023; 2. 長(zhǎng)江大學(xué)農(nóng)學(xué)院,湖北荊州,434023)

0 引言

隨著科學(xué)技術(shù)的發(fā)展和進(jìn)步,智慧農(nóng)業(yè)與精準(zhǔn)農(nóng)業(yè)已成為現(xiàn)代農(nóng)業(yè)的發(fā)展方向。雜草一直是影響農(nóng)作物產(chǎn)量的主要因素之一,目前防治雜草的主要方式包括人工、化學(xué)、生物、機(jī)械除草等。隨著國(guó)家對(duì)“三農(nóng)”問(wèn)題的重視,在當(dāng)前信息時(shí)代下,農(nóng)業(yè)生產(chǎn)中開(kāi)始利用一些邊緣設(shè)備(例如微型計(jì)算機(jī)、無(wú)人機(jī)主機(jī)等)和信息技術(shù)(物聯(lián)網(wǎng)、數(shù)字圖像處理技術(shù)等)。例如:通過(guò)攝像頭實(shí)時(shí)采集田間圖像數(shù)據(jù),利用圖像識(shí)別技術(shù)識(shí)別并定位雜草,再通過(guò)控制系統(tǒng)實(shí)行精準(zhǔn)的除草劑噴灑[1]。這不僅降低了雜草對(duì)農(nóng)業(yè)生產(chǎn)的危害和保障了農(nóng)業(yè)生產(chǎn)的安全,同時(shí)可以提升農(nóng)業(yè)生產(chǎn)的產(chǎn)量和質(zhì)量,也能有效提升除草劑的利用率,保障糧食安全和減少環(huán)境污染。所以利用圖像識(shí)別技術(shù)除草,在我國(guó)智慧農(nóng)業(yè)發(fā)展過(guò)程中具有重要的意義。

當(dāng)前通過(guò)攝像頭采集田間圖像往往無(wú)法獲得理想的高清視頻及圖像,要保證雜草識(shí)別的準(zhǔn)確性,對(duì)采集的雜草圖像進(jìn)行超分辨率生成是必不可少的。圖像超分辨生成是指低分辨率圖像在經(jīng)過(guò)轉(zhuǎn)化后,形成高分辨圖像的過(guò)程。超分辨率生成算法的研究始于20世紀(jì)60年代,最原始的圖像超分辨率生成算法利用圖像像素與鄰近像素點(diǎn)間的關(guān)系和連續(xù)性進(jìn)行的,典型代表就是插值法。例如最近鄰插值法、雙線性插值法和雙三次插值法等,它們的共同問(wèn)題都是忽略了整張圖像的語(yǔ)義含義, 且生成的圖像比較模糊,造成部分圖像細(xì)節(jié)損失,圖像的銳化效果差[2]。

深度學(xué)習(xí)相關(guān)的論文在近年來(lái)呈井噴式出現(xiàn),成為了人工智能研究方向的熱點(diǎn)。Dong等[3]第一次將深度學(xué)習(xí)運(yùn)用到圖像超分辨率生成的應(yīng)用領(lǐng)域中,使用了三次插值算法將低分辨率圖像擴(kuò)大到目標(biāo)圖像尺寸,然后將圖像送到一種三層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)中。Shi等[4]在CVPR大會(huì)上提出的利用亞像素卷積來(lái)加快圖像生成。Kim等[5]提出了殘差學(xué)習(xí)思想的神經(jīng)網(wǎng)絡(luò),同時(shí)也提出了深度遞歸卷積神經(jīng)網(wǎng)絡(luò)等。Luo等[6]提出了FSRCNN(Fast Super-Resolution CNN)方法,采用了反卷積層、修改特征系數(shù)以及通過(guò)共享的參數(shù)映射來(lái)加速和優(yōu)化模型。上述方法都是利用了深度神經(jīng)網(wǎng)絡(luò)在特征提取方式上的優(yōu)勢(shì),更好地學(xué)習(xí)高分辨率圖像和低分辨率圖像之間的特征映射關(guān)系[7]。

生成對(duì)抗網(wǎng)絡(luò)GAN由Goodfellow等[8]最早提出,標(biāo)志著無(wú)監(jiān)督學(xué)習(xí)的又一項(xiàng)重大進(jìn)展。它顛覆了過(guò)去深度學(xué)習(xí)僅僅用于判別器的傳統(tǒng),將深度學(xué)習(xí)理論同時(shí)應(yīng)用到了生成器和判決器中。生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成,其中一個(gè)神經(jīng)網(wǎng)絡(luò)用作判別器,另一個(gè)神經(jīng)網(wǎng)絡(luò)用作生成器,生成器用來(lái)模擬樣本數(shù)據(jù)信息的分布,而判別器用來(lái)確定真?zhèn)?在對(duì)抗的生成和訓(xùn)練過(guò)程中實(shí)現(xiàn)二者的均衡[9]。生成對(duì)抗網(wǎng)絡(luò)近幾年提出了一些模型,2014年Mirza等[10]提出的條件生成對(duì)抗網(wǎng)絡(luò)系統(tǒng),2015年Radford等[11]提出的深度卷積生成對(duì)抗網(wǎng)絡(luò)系統(tǒng);隨著研究的深入,2017年Ledig等[12]提出了SRGAN模型,并首次將對(duì)抗生成網(wǎng)絡(luò)應(yīng)用到了圖像超分辨率重建任務(wù)中,同時(shí)展示了很好的性能。

近幾年,基于SRGAN模型,學(xué)者們提出了許多改進(jìn)模型[13-14]。針對(duì)目前模型超分辨率方法生成精度等性能方面的不足以及應(yīng)用范圍的限制等,本文以作物/雜草田地圖像數(shù)據(jù)集為基礎(chǔ),探討和構(gòu)建了一種基于SRGAN的生成對(duì)抗網(wǎng)絡(luò)模型,該模型的損失函數(shù)中引入卷積神經(jīng)網(wǎng)絡(luò)的邊緣檢測(cè)損失,以期能夠保持圖像更多的細(xì)節(jié)。

1 數(shù)據(jù)集簡(jiǎn)介

本文以作物/雜草田地圖像數(shù)據(jù)集為基礎(chǔ)訓(xùn)練數(shù)據(jù),該數(shù)據(jù)集包括田野、植被分割和作物/雜草植物類型,圖像尺寸均為200像素×113像素。生成對(duì)抗網(wǎng)絡(luò)中需要高分辨率數(shù)據(jù)和低分辨率數(shù)據(jù)。傳統(tǒng)方法是將原清晰圖像進(jìn)行降采樣得到低分辨率圖像,這個(gè)過(guò)程中,圖像會(huì)損失掉許多有用信息,從而使得圖像超分辨率重建的效果并不理想。本文的方法是將數(shù)據(jù)集的原始圖像作為低分辨率圖像,將原始圖像利用AI系統(tǒng)無(wú)損放大四倍,同時(shí)進(jìn)行清晰度增強(qiáng),作為訓(xùn)練中使用的高分辨率圖像,最終構(gòu)成50對(duì)高分辨率與低分辨率所對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集。同時(shí),為增強(qiáng)訓(xùn)練網(wǎng)絡(luò)的泛化能力,完成對(duì)訓(xùn)練數(shù)據(jù)的隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)的增強(qiáng)操作。

如圖1所示,一對(duì)模糊—清晰圖像中,模糊圖像(低分辨率圖像)的大小為200像素×113像素,清晰圖像(高分辨率圖像)的大小為800像素×452像素,而數(shù)據(jù)集中清晰—低分辨率圖像對(duì)的PSNR值為23.156,SSIM值為0.746,最后以文中所設(shè)計(jì)的數(shù)據(jù)集以及作物/雜草田地圖像數(shù)據(jù)集作為測(cè)試集來(lái)證明本文所提出方案的有效性。

(a) 低分辨率圖像

(b) 高分辨率圖像圖1 模糊—清晰圖像對(duì)Fig. 1 A pair of fuzzy-clear image

2 網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建,是輸入一張模糊圖像到網(wǎng)絡(luò)中,通過(guò)訓(xùn)練好的網(wǎng)絡(luò)得到相對(duì)應(yīng)的清晰圖像,生成對(duì)抗網(wǎng)絡(luò)示意圖如圖2所示。本文的生成對(duì)抗模型主要從SRGAN模型出發(fā),SRGAN模型主要由生成網(wǎng)絡(luò)(圖3)和判別網(wǎng)絡(luò)(圖4)所構(gòu)成,其中生成網(wǎng)絡(luò)將模糊圖像作為輸入,輸出清晰圖像,判別網(wǎng)絡(luò)將輸出的清晰圖像和原始清晰圖像作為輸入,輸出判斷結(jié)果真或假,整個(gè)過(guò)程中生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)彼此對(duì)抗,當(dāng)判別網(wǎng)絡(luò)無(wú)法區(qū)分輸出清晰圖像和原清晰圖像時(shí),SRGAN 完成重建超分辨率圖像的工作任務(wù)[15]。本文所提出的方法是在該模型的基礎(chǔ)上,在損失函數(shù)設(shè)計(jì)上,通過(guò)邊緣檢測(cè)形成物體的輪廓形狀界限和自然紋理特征,在訓(xùn)練中指導(dǎo)圖像的正確生成,并控制非自然紋理細(xì)節(jié)的產(chǎn)生。網(wǎng)絡(luò)模型如圖5所示,其中LR表示輸入的低分辨率圖像,SR為生成的高分辨率圖像,ELR為低分辨率圖像的邊緣檢測(cè)圖像,ESR為輸出的高分辨率圖像邊緣檢測(cè)圖像。

圖2 生成對(duì)抗網(wǎng)絡(luò)示意圖Fig. 2 Generative adversarial network

圖3 SRGAN網(wǎng)絡(luò)模型的生成器Fig. 3 Generator of SRGAN network model

圖4 SRGAN網(wǎng)絡(luò)模型的判決器Fig. 4 Determinator of SRGAN network model

圖5 本文的生成對(duì)抗模型Fig. 5 Generative adversarial network in this paper

圖5的網(wǎng)絡(luò)模型結(jié)構(gòu)中,生成器和判決器仍采用SRGAN的結(jié)構(gòu)。這里,生成器模型的主體是一連串大小相同的殘差塊相連,并使用兩個(gè)卷積層,一共可以生成64個(gè)通道的特征映射,卷積層后的批量標(biāo)準(zhǔn)化層(BN)和PRe LU作為激活函數(shù)。判決器模型的設(shè)計(jì)以VGG網(wǎng)絡(luò)為核心,包含8個(gè)卷積層,特征通道數(shù)從64開(kāi)始,后面每層都進(jìn)行了加倍,最多到512個(gè)通道,隨著通道數(shù)的增加,使得特征數(shù)量也進(jìn)行了加倍。根據(jù)Radford等總結(jié)的架構(gòu)指南,利用了Leaky Re LU (α=0.1)激活同時(shí)防止整個(gè)網(wǎng)絡(luò)模型的最大池化。

為了保持圖像更多的細(xì)節(jié),利用邊緣檢測(cè)損失進(jìn)行評(píng)估得出,利用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行邊緣檢測(cè)時(shí)損失最小,所以本文邊緣檢測(cè)用到的是卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行邊緣檢測(cè)。該模型中,輸入通道數(shù)是3,輸出通道數(shù)是1,卷積核大小為3×3。

為了評(píng)價(jià)判決器的訓(xùn)練是否能夠最大化正確判決實(shí)際數(shù)據(jù)和生成器的生成數(shù)據(jù)的真假,以及生成器是否能夠增加判別器得出正確答案的概率。因此,本文方法的V(D,G)函數(shù)[16]

Ez-Pz(z)(log(1-D(G(z))))+

λ1Ex-PEdata(x)(logD(x))+

λ2Ez-PEz(z)(log(1-D[G(z)]))

(1)

式中:D——判決器;

G——生成器;

x——輸入的高分辨率圖像HR;

z——輸入的低分辨率圖像LR;

E——數(shù)學(xué)期望;

Pdata——輸入HR圖像數(shù)據(jù)分布;

Pz(z)——生成器生成數(shù)據(jù)分布;

PEdata——輸入HR邊緣數(shù)據(jù)分布;

PEz(z)——生成器生成HR邊緣數(shù)據(jù)分布;

λ1、λ2——調(diào)節(jié)系數(shù)。

2.2 損失函數(shù)

為了使提出的超分辨率重建網(wǎng)絡(luò)訓(xùn)練效果達(dá)到最佳,本文在傳統(tǒng)的損失函數(shù)的基礎(chǔ)上,增加了一種新的損失函數(shù)——邊緣損失函數(shù)來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)。最終的損失函數(shù)包括對(duì)抗損失、內(nèi)容損失和邊緣損失三部分。

1) 對(duì)抗損失函數(shù)。對(duì)抗損失函數(shù)[17]是基于所有訓(xùn)練樣本上判決器DθD(GθD(ILR))的概率。

LGAN=∑-logDθD(GθD(ILR))

(2)

式中:GθD(ILR)——重建圖像的特征;

ILR——輸入的低分辨率圖像;

LGAN——對(duì)抗損失函數(shù)。

2) 內(nèi)容損失函數(shù)。內(nèi)容損失函數(shù)[18]是計(jì)算生成圖像和實(shí)際圖像之間的差異,它衡量的是生成特征圖和實(shí)際特征圖之間的歐式距離。

(3)

式中:LX——內(nèi)容損失函數(shù);

W、H——描述VGG網(wǎng)絡(luò)中各個(gè)特征圖的維度;

Φi,j——在VGG網(wǎng)絡(luò)中的第i個(gè)最大池化層之前通過(guò)第j個(gè)卷積(激活之后)獲取的特征映射;

IHR——輸入的高分辨率圖像。

3) 邊緣損失函數(shù)計(jì)算如式(4)所示。

S(GθD(ILR))x,y]2

(4)

式中:L邊緣——邊緣損失函數(shù);

k——放大倍數(shù);

S——邊緣數(shù)據(jù)提取函數(shù);

S(IHR)——輸入高清圖像的邊緣數(shù)據(jù)提取值。

4) 最終損失計(jì)算如式(5)所示。

L=LX+γ1LGAN+γ2L邊緣

(5)

式中:γ1、γ2——0～1的常數(shù)。

本網(wǎng)絡(luò)中γ1取值為0.000 1,γ2的取值為0.000 3。圖6為損失函數(shù)隨迭代次數(shù)變化的曲線,其中原損失函數(shù)中僅包含對(duì)對(duì)抗損失和內(nèi)容損失,優(yōu)化后損失函數(shù)是指在原函數(shù)的基礎(chǔ)上引入邊緣損失。從圖6可以看出,隨著迭代次數(shù)的增加,損失函數(shù)越來(lái)越小,當(dāng)?shù)螖?shù)超過(guò)10 000次,優(yōu)化后的損失函數(shù)明顯優(yōu)于原損失函數(shù),當(dāng)?shù)螖?shù)達(dá)到50 000時(shí),優(yōu)化后的損失函數(shù)已基本接近0,并且性能比較穩(wěn)定。

圖6 損失函數(shù)曲線Fig. 6 Curves of Loss function

3 試驗(yàn)結(jié)果

3.1 試驗(yàn)過(guò)程及參數(shù)

本文試驗(yàn)的硬件平臺(tái)為Intel(R) Core(TM) i5-10210U CPU 、NVIDIA 1050Ti GPU,軟件平臺(tái)為PyCharm 2021。訓(xùn)練集為制作的50對(duì)清晰—模糊圖像,測(cè)試集為作物/雜草田地圖像數(shù)據(jù)集。本文首先利用OPENCV,實(shí)現(xiàn)了低分辨率圖像的四倍放大以及雙三次插值,然后再去訓(xùn)練SRGAN,通過(guò)試驗(yàn)表明訓(xùn)練時(shí)SRGAN的迭代次數(shù)為50 000,學(xué)習(xí)率為0.000 1時(shí)效果較好。最后再來(lái)訓(xùn)練本文所提出的方法及和SRGAN模型相關(guān)的當(dāng)下比較熱門(mén)的網(wǎng)絡(luò)框架。

3.2 試驗(yàn)測(cè)試結(jié)果分析

首先,對(duì)比雙三次插值和經(jīng)典SRGAN模型下超分辨率重建的實(shí)驗(yàn)結(jié)果,如圖7所示。對(duì)比圖7不同測(cè)試圖像的超分辨圖像生成結(jié)果,前兩組圖像的植物種類單一但是細(xì)節(jié)比較豐富,從視覺(jué)效果上看,本文方法的清晰度,尤其是在植物的莖、葉片的輪廓和谷穗等等區(qū)域明顯優(yōu)于其余兩種方法;后兩組圖像選取的植物種類單一且細(xì)節(jié)較簡(jiǎn)單的圖像,在植物的輪廓部分本文方法的細(xì)節(jié)更加清晰;當(dāng)輸入一張隨機(jī)低分辨率田間圖像,本文方法的結(jié)果明顯優(yōu)于其它方法,很好地還原了圖片的細(xì)節(jié),得到了更加清晰的圖片。分析其原因,本文的數(shù)據(jù)集制作方法中增強(qiáng)了對(duì)訓(xùn)練數(shù)據(jù)的隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)的操作,同時(shí)在損失函數(shù)中增加了圖像邊緣檢測(cè)的損失,從而保留了訓(xùn)練圖像中更多的細(xì)節(jié)部分,同時(shí)也降低了特征匹配錯(cuò)誤而造成的不良后果,因此本文方法效果顯著高于其它方法,同時(shí)顯示出了較強(qiáng)的網(wǎng)絡(luò)泛化能力。

(a) 雙三次插值

(b) SRGAN

(c) 本文方法圖7 三種超分辨率重建的圖像對(duì)比Fig. 7 Image comparison of three super-resolution reconstructions model

由于圖7前兩組圖像的細(xì)節(jié)過(guò)于豐富,檢測(cè)出來(lái)的邊緣信息就也相對(duì)豐富,不便于觀察。選取圖7后兩組田間雜草圖像,分別利用傳統(tǒng)SRGAN模型和本文模型訓(xùn)練出高清圖,然后利用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行邊緣檢測(cè),其結(jié)果如圖8所示。圖8的第一組圖像原圖比較模糊,在SRGAN模型下生成的圖像仍幾乎沒(méi)有檢測(cè)出植物圖像的邊緣信息,本文方法則檢測(cè)出來(lái)了植物的部分邊緣信息;圖8的第二組圖像本文模型所訓(xùn)練出來(lái)的圖像細(xì)節(jié)也明顯優(yōu)于SRGAN模型,尤其是在細(xì)節(jié)比較豐富的地方,能夠提取的邊緣要素更加的多?？梢缘贸?本文方法在邊緣檢測(cè)后保留了圖像中更多的細(xì)節(jié)信息,這為田間雜草圖像的識(shí)別分類等提供了一個(gè)很好的研究基礎(chǔ)。

(a) 原圖

(b) SRGAN

(c) 本文方法圖8 超分辨率重建的圖像邊緣檢測(cè)結(jié)果Fig. 8 Image edge detection results of super-resolution reconstructions

將前面用到的4張測(cè)試圖分別命名為測(cè)試圖1、測(cè)試圖2、測(cè)試圖3和測(cè)試圖4。將上述4組測(cè)試圖像分別利用AI識(shí)圖進(jìn)行田間雜草識(shí)別分類,其識(shí)別分類的結(jié)果如表1所示。其中的score越高說(shuō)明識(shí)別為該植物的概率越高。

從表1可以看出:本文方法所獲得的高清圖的雜草識(shí)別score最高;當(dāng)植物圖像清晰度越高識(shí)別score越高,當(dāng)植物種類單一且細(xì)節(jié)豐富時(shí)識(shí)別的分?jǐn)?shù)更高;本文方法更加有利于提高識(shí)別的準(zhǔn)確性,為智能化除草提供了有力的基礎(chǔ)和保障。

表1 雜草識(shí)別結(jié)果對(duì)比Tab. 1 Comparison of weed identification results

3.3 定量評(píng)價(jià)指標(biāo)分析

本文采用了峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)、超分辨率圖像生成的平均時(shí)間三個(gè)指標(biāo),進(jìn)一步來(lái)衡量本文提出的超分辨率方案的有效性。

PSNR[19]的計(jì)算如式(6)所示。

(6)

(7)

式中:n——255;

MSE——圖像I和圖像J的均方誤差;

M×N——圖像尺寸;

I(i,j)——圖像I;

J(i,j)——圖像J。

客觀來(lái)說(shuō),PSNR值越高,圖像重建質(zhì)量越高。

SSIM[20]的計(jì)算如式(8)所示。

(8)

其中,c1=(k1×255)2,c2=(k2×255)2,k1=0.01,k2=0.03。

式中:μ——均值;

σ——方差;

μI——圖像I的均值;

μJ——圖像J的均值;

σIJ——圖像I和圖像J的協(xié)方差;

σI——圖像I的方差;

σJ——圖像J的方差。

式(8)通過(guò)向量間余弦距離的計(jì)算來(lái)表征兩張圖片I、J的相似度。SSIM值的范圍為0～1,當(dāng)兩張圖像相似度越高,SSIM值越大。

選取當(dāng)下比較熱門(mén)的網(wǎng)絡(luò)框架進(jìn)行練,訓(xùn)練集的低分辨率圖像為作物/雜草田地圖像數(shù)據(jù)集。在同一訓(xùn)練數(shù)據(jù)集上,分別利用雙三次插值、SRGAN、ESRGAN[13]、深度殘差的GAN模型[14]和本文方法進(jìn)行超分辨率重建,計(jì)算其PSNR和SSIM指標(biāo)以及超分辨率圖像生成的平均時(shí)間,結(jié)果如表2所示。

表2 在作物/雜草田地圖像數(shù)據(jù)集上測(cè)試結(jié)果對(duì)比Tab. 2 Comparison of test results on crop/weed field image dataset

對(duì)比表2測(cè)試結(jié)果,對(duì)于PSNR評(píng)價(jià)指標(biāo)而言,本文方法的PSNR較雙三次插值、SRGAN、ESRGAN、深度殘差的GAN模型分別高8.242 dB、5.521 dB、3.079 dB、2.339 dB,說(shuō)明本文方法不僅能滿足人眼的視覺(jué)高質(zhì)量要求,也能生成符合模型且MSE要求最小化的圖像;對(duì)于SSIM指標(biāo)而言,本文方法數(shù)值較雙三次插值、SRGAN、ESRGAN、深度殘差的GAN模型分別高0.143、0.089、0.051、0.018,這說(shuō)明本文方法較好地考慮了圖像在整體結(jié)構(gòu)上的相似性;對(duì)于生成超分辨率圖像平均時(shí)間而言,雖然時(shí)間上比雙三次插值耗時(shí)長(zhǎng),但是生成的效果佳,另外幾種生成對(duì)抗網(wǎng)絡(luò)模型超分辨率圖像生成的平均時(shí)間上相差不是很大,說(shuō)明在運(yùn)算規(guī)模上總體比較接近。綜上所述,進(jìn)一步證明了本文所提出方法的有效性和優(yōu)越性。

最后,將作物/雜草田地圖像數(shù)據(jù)集中的50組圖像的原圖、各種方法的超分辨生成圖像在AI識(shí)圖中進(jìn)行作物、雜草識(shí)別,識(shí)別的準(zhǔn)確率如表3所示。

表3 作物、雜草識(shí)別準(zhǔn)確率對(duì)比Tab. 3 Comparison of identification accuracy of crops and weeds

本文方法產(chǎn)生的超分辨率圖像的在AI識(shí)圖中的識(shí)別準(zhǔn)確率較原圖、雙三次插值、SRGAN、ESRGAN、深度殘差的GAN模型分別高18.8%、10.6%、3.5%、3.9%、2.7%?？梢钥闯?本文方法所生成的超分辨率圖像,大大改善了原圖的識(shí)別準(zhǔn)確率,也優(yōu)于其他幾種方法。

4 結(jié)論

1) 根據(jù)SRGAN模型,提出一種新的生成對(duì)抗網(wǎng)絡(luò)模型,該模型為了更好更多地獲取田間雜草圖像的細(xì)節(jié)部分,同時(shí)提高超分辨率圖像生成效果,在損失函數(shù)中,增加基于卷積神經(jīng)網(wǎng)絡(luò)的邊緣檢測(cè)損失,有效地克服傳統(tǒng)方法中細(xì)節(jié)損失的問(wèn)題,同時(shí)增強(qiáng)圖像超分辨率的重建效果。

2) 首先,選取五組田間雜草圖像進(jìn)行對(duì)比實(shí)驗(yàn),通過(guò)生成超分辨率圖像的視覺(jué)效果以及將原圖、SRGAN模型和本文模型生成的超分辨率圖像利用AI識(shí)圖進(jìn)行田間雜草識(shí)別分類,本文方法在邊緣檢測(cè)后保留了圖像中更多的細(xì)節(jié)信息,本文方法獲得的高清圖雜草識(shí)別score最高,當(dāng)植物種類單一且細(xì)節(jié)豐富時(shí)識(shí)別的score更高。

3) 進(jìn)一步,將作物/雜草田地圖像數(shù)據(jù)集作為測(cè)試集,開(kāi)展一系列試驗(yàn),本文方法的超分辨率生成圖像較雙三次插值、SRGAN、ESRGAN和深度殘差的GAN模型的PSNR分別高8.242 dB、5.521 dB、3.079 dB、2.339 dB,SSIM分別高0.143、0.089、0.051、0.018,在AI識(shí)圖中的識(shí)別準(zhǔn)確率分別高10.6%、3.5%、3.9%、2.7%。

4) 后續(xù)還有很多地方需要研究完善,在本文研究的基礎(chǔ)上,還可從以下幾方面進(jìn)一步展開(kāi)研究工作。進(jìn)一步擴(kuò)充作物/雜草田地圖像數(shù)據(jù)集;模型訓(xùn)練優(yōu)化。本文在模型訓(xùn)練時(shí),由于硬件GPU內(nèi)存偏小,為了避免內(nèi)存爆滿而終止訓(xùn)練,將輸入圖片的尺寸設(shè)置得較小,重建圖像為原圖的4倍,雖然提升了模型的訓(xùn)練速度,但影響了模型的產(chǎn)生精準(zhǔn)率,后續(xù)可以嘗試改進(jìn)模型的結(jié)構(gòu),使其可以更高效。雖然本文設(shè)計(jì)了輕量化的田間雜草超分辨率重建模型,但并未在田地進(jìn)行實(shí)操識(shí)并應(yīng)用到識(shí)別系統(tǒng)中,同時(shí)更高精度的識(shí)別系統(tǒng)還有待進(jìn)一步研究。