亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種改進(jìn)殘差網(wǎng)絡(luò)的農(nóng)田識(shí)別算法

        2023-05-29 10:19:52邵霆嘯孟海濤趙博文
        軟件導(dǎo)刊 2023年5期
        關(guān)鍵詞:殘差農(nóng)田注意力

        邵霆嘯,孟海濤,趙博文

        (1.鹽城工學(xué)院 機(jī)械工程學(xué)院;2.鹽城工學(xué)院 信息工程學(xué)院,江蘇 鹽城 224002)

        0 引言

        為實(shí)現(xiàn)對(duì)農(nóng)田的有效識(shí)別[1],需要采用圖像分割方法。根據(jù)是否引入深度神經(jīng)網(wǎng)絡(luò),可分為傳統(tǒng)圖像分割方法以及基于深度學(xué)習(xí)的圖像分割方法。傳統(tǒng)圖像分割方法主要包括基于閾值的圖像分割方法[2]、基于邊緣的圖像分割方法[3]、基于區(qū)域的圖像分割方法[4]、基于聚類的圖像分割方法[5]、基于圖論的分割方法[6]等;基于深度學(xué)習(xí)的圖像分割方法包括語義分割、全連接網(wǎng)絡(luò)等[7]。在傳統(tǒng)圖像分割領(lǐng)域,唐晶磊等[8]利用基于模糊聚類的圖像分割方法對(duì)農(nóng)田對(duì)象(主要針對(duì)植物類型和土壤類型)進(jìn)行識(shí)別,識(shí)別率可分別達(dá)到92.5%和95.6%,但是無法確定識(shí)別的對(duì)象是否處于農(nóng)田之中;陳伊哲等[9]采用基于邊緣和基于區(qū)域的兩種圖像分割方法對(duì)農(nóng)田圖像進(jìn)行實(shí)驗(yàn)處理,結(jié)果表明,采用微分算子的圖像分割算法可以有效地對(duì)農(nóng)田邊界進(jìn)行識(shí)別,但存在放大噪聲的干擾。在基于深度學(xué)習(xí)的圖像分割領(lǐng)域,楊亞男等[10]將全連接網(wǎng)絡(luò)FCN-8s 模型與DenseCRF 模型相結(jié)合應(yīng)用于梯田識(shí)別,實(shí)驗(yàn)結(jié)果表明,該方法對(duì)于山脊區(qū)梯田、密集區(qū)梯田以及不規(guī)則形狀梯田的識(shí)別率為86.85%,識(shí)別精度有待提高。

        針對(duì)上述存在的識(shí)別區(qū)域不明顯及識(shí)別精度不高等問題,本文提出一種改進(jìn)的ResNet 農(nóng)田識(shí)別方法,提升了模型識(shí)別精度,實(shí)現(xiàn)了對(duì)農(nóng)田的高效識(shí)別。

        1 本文網(wǎng)絡(luò)結(jié)構(gòu)

        1.1 基礎(chǔ)網(wǎng)絡(luò)選取

        卷積神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于圖像分類、目標(biāo)檢測等領(lǐng)域。He 等[11]在2015 年提出殘差網(wǎng)絡(luò)的概念,殘差網(wǎng)絡(luò)是由一系列殘差塊構(gòu)成的。殘差塊結(jié)構(gòu)[12]如圖1所示。

        殘差塊的核心思想是“shortcut connection”[13],即為捷徑連接的方式。ResNet 殘差塊經(jīng)過跨層連接操作[14]之后,假設(shè)H(x)是神經(jīng)網(wǎng)絡(luò)的輸出,則變成了對(duì)F(x)=H(x)-x殘差函數(shù)的學(xué)習(xí)與優(yōu)化,從而有效避免了梯度爆炸或梯度消失現(xiàn)象,且在反向傳播過程中會(huì)一直保持一個(gè)較大的值,以方便優(yōu)化,可達(dá)到更好的分類識(shí)別效果。

        Fig.1 Residual block structure圖1 殘差塊結(jié)構(gòu)

        在ResNet 系列中,ResNet18 擁有較少的參數(shù)。考慮到模型的性能,本文選取ResNet18[15]作為基礎(chǔ)網(wǎng)絡(luò)模型。ResNet18模型結(jié)構(gòu)如圖2所示。

        Fig.2 ResNet18 model structure圖2 ResNet18模型結(jié)構(gòu)

        1.2 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

        1.2.1 注意力機(jī)制

        本文為模型引入通道注意力機(jī)制[16],該注意力機(jī)制可調(diào)整每個(gè)通道的權(quán)重,幫助模型捕獲到對(duì)識(shí)別任務(wù)更有幫助的語義信息,增強(qiáng)有用信息,降低噪聲等干擾元素的權(quán)重,減弱其對(duì)模型識(shí)別的負(fù)面影響,增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的表達(dá)能力,最終達(dá)到提高模型識(shí)別性能的目的。通道注意力機(jī)制單元結(jié)構(gòu)如圖3所示。

        Fig.3 Channel attention mechanism unit structure圖3 通道注意力機(jī)制單元結(jié)構(gòu)

        如圖3 所示,輸入一個(gè)特征層X,其通道數(shù)為C1,經(jīng)過注意力機(jī)制后得到一個(gè)通道數(shù)為C2的特征層U,其中只有特征圖之間的權(quán)重比發(fā)生了變化,激勵(lì)了有用的特征通道。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同,需要通過以下3 個(gè)操作[17]重新標(biāo)定前面得到的特征,步驟如下:

        (1)第一步為擠壓(Fsq)操作,通過全局平均池化算法(Global Avg Pooling)將W × H × C2的輸入轉(zhuǎn)化為1 × 1 × C2的輸出。

        (2)第二步為激勵(lì)(Feq)操作,即在上一步得到的全局信息中插入一個(gè)全連接層接上ReLu 激活函數(shù),以及一個(gè)全連接層接上Sigmoid 函數(shù)。這兩個(gè)全連接層的作用就是對(duì)各個(gè)通道的特征圖信息進(jìn)行融合,最后進(jìn)入到Sigmoid函數(shù),將輸出映射到0~1 之間,給每個(gè)通道分別生成不同的權(quán)值。

        (3)第三步為縮放(Fscale)操作,將第二步中得到的權(quán)值與原特征層U 相乘,最后得到新的帶有注意力機(jī)制的特征層X1。

        1.2.2 Silu激活函數(shù)

        本文提出一種新的激活函數(shù)Silu(Sigmoid Weighted Liner Unit)代替基礎(chǔ)網(wǎng)絡(luò)模型中的Relu 激活函數(shù)。Silu 及其一階導(dǎo)數(shù)的計(jì)算公式如下:

        如圖4 所示(彩圖掃OSID 碼可見,下同),當(dāng)輸入值大于0 時(shí),Silu 與Relu 激活函數(shù)大致相等。如圖5 所示,與Relu 激活函數(shù)不同的地方在于,Silu 激活函數(shù)并不是單調(diào)增加的,而是具有平滑、非單調(diào)的特性,具有更強(qiáng)的穩(wěn)定性,可以提高整個(gè)網(wǎng)絡(luò)的性能。與Relu 相比,對(duì)Silu 激活函數(shù)求導(dǎo)后,導(dǎo)數(shù)為0 的全局最小值在權(quán)重上可起到“軟調(diào)節(jié)”的作用,可以抑制大權(quán)值的更新[18],從而有效避免梯度爆炸或梯度消失現(xiàn)象。

        Fig.4 Relu and Silu activation function圖4 Relu與Silu激活函數(shù)

        Fig.5 Relu and Silu first -order guide圖5 Relu與Silu一階導(dǎo)數(shù)

        1.3 改進(jìn)的殘差網(wǎng)絡(luò)

        圖6 顯示了原始?xì)埐顗K細(xì)節(jié)和改進(jìn)殘差塊細(xì)節(jié),其中Conv1d 表示卷積層,BN 表示加速網(wǎng)絡(luò)收斂速度的批處理歸一化,“+”是求和運(yùn)算。

        Fig.6 Primitive residual block and improved residual block details圖6 原始?xì)埐顗K與改進(jìn)殘差塊細(xì)節(jié)

        圖6(a)顯示了原始?xì)埐顗K細(xì)節(jié),圖6(b)顯示了本文改進(jìn)之后的殘差塊細(xì)節(jié)。改進(jìn)主要包含兩方面:一是加入注意力機(jī)制;二是將殘差網(wǎng)絡(luò)中的Relu 激活函數(shù)替換為Silu激活函數(shù)。

        1.4 模型整體架構(gòu)

        本文所改進(jìn)的深度學(xué)習(xí)網(wǎng)絡(luò)模型以ResNet18 為基礎(chǔ),引入通道注意力機(jī)制,并且將原網(wǎng)絡(luò)模型中的Relu 激活函數(shù)替換為Silu激活函數(shù)。改進(jìn)模型整體架構(gòu)如圖7所示。

        1.5 標(biāo)簽平滑

        本文采用標(biāo)簽平滑的交叉熵函數(shù)[19],其曲線平滑,易于求導(dǎo)且梯度穩(wěn)定,使網(wǎng)絡(luò)具有更好的泛化性,避免了對(duì)正確標(biāo)簽的過度相信,能有效提高圖像分類識(shí)別的準(zhǔn)確性。具體公式如下:

        其中,h表示具體任務(wù)中的分類數(shù),y表示h類別組成的h維矩陣,ε表示平滑因子,y′表示標(biāo)簽平滑后的h類別組成的h維矩陣。

        1.6 學(xué)習(xí)率余弦退火衰減

        要優(yōu)化深度學(xué)習(xí)模型的收斂效果,可以使用梯度下降算法,根據(jù)epoch 的不斷變化來調(diào)整學(xué)習(xí)率,從而達(dá)到優(yōu)化損失函數(shù)的目的。Hutter 等提出帶熱重啟的隨機(jī)梯度下降算 法(Stochastic GradientDescent with warm Restarts,SGDR)[20],以一種周期性調(diào)整學(xué)習(xí)率的方法,周期性地增大學(xué)習(xí)率,以達(dá)到學(xué)習(xí)率跳躍式增加,實(shí)現(xiàn)由局部最優(yōu)解到達(dá)全局最優(yōu)解的目的。本文使用PyTorch 框架下的余弦退火衰減算法[21],使學(xué)習(xí)率根據(jù)余弦函數(shù)的特點(diǎn)進(jìn)行周期性變化。本文設(shè)置的初始最小學(xué)習(xí)率為0.005,當(dāng)總epoch為50時(shí),學(xué)習(xí)率變化曲線如圖8所示。

        Fig.7 Overall architecture of the proposed model圖7 改進(jìn)模型整體架構(gòu)

        Fig.8 Learning rate changing curve圖8 學(xué)習(xí)率變化曲線

        2 實(shí)驗(yàn)平臺(tái)及數(shù)據(jù)集

        2.1 實(shí)驗(yàn)平臺(tái)

        本實(shí)驗(yàn)以PyTorch 深度學(xué)習(xí)框架為平臺(tái),計(jì)算機(jī)操作系統(tǒng)為Windows 10,CPU 為AMD Ryzen 51500X@3.50GHz×4CPUs,GPU 為NVIDIA 2080Ti,CUDA 版本為10.1,Python版本為3.7,PyTorch 版本為1.7.0。

        2.2 數(shù)據(jù)集

        圖像數(shù)據(jù)集源于武漢大學(xué)和華中科技大學(xué)公開的數(shù)據(jù)集AID[22],分為農(nóng)田、建筑、裸地、草地、荒漠5 個(gè)類別(每類2 400 幅)共12 000 幅圖像。每類選取1 920 幅圖像作為訓(xùn)練集,剩余480幅作為測試集。

        2.3 評(píng)價(jià)指標(biāo)

        取每個(gè)類別的識(shí)別準(zhǔn)確率(Accuracy)作為評(píng)價(jià)指標(biāo),通過計(jì)算每個(gè)類別的識(shí)別正確數(shù)量占該類別總數(shù)量的比率,得到每類圖片的識(shí)別準(zhǔn)確率,可表示為:

        3 實(shí)驗(yàn)與結(jié)果分析

        在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中,參數(shù)設(shè)置會(huì)直接影響算法的最終檢測效果。本文通過將ResNet18、AlexNet、VGG16 進(jìn)行對(duì)比,以證明ResNet18 網(wǎng)絡(luò)的優(yōu)越性。因此,采用ResNet18 作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行圖像的分類識(shí)別。然后對(duì)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行改進(jìn),分別使用不同的網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)訓(xùn)練策略,共完成5 組實(shí)驗(yàn)。第一組添加了注意力機(jī)制(ResNet18+Se),第二組采用Silu 激活函數(shù)(ResNet18+Silu),第三組采用標(biāo)簽平滑的訓(xùn)練方式(ResNet18+Lsr),第四組采用余弦退火學(xué)習(xí)率衰減算法(ResNet18+Cos),第五組將前四組的方法進(jìn)行綜合使用(ResNet18+Se+Silu+Lsr+Cos),batchsize 為16,共50 個(gè)epoch。訓(xùn)練的損失值曲線如圖9 所示,不同算法的準(zhǔn)確率曲線如圖10 所示,實(shí)驗(yàn)結(jié)果如表1所示。

        Fig.9 Loss curve圖9 損失值曲線

        Fig.10 Accuracy curve圖10 準(zhǔn)確率曲線

        Table 1 Experiment result表1 實(shí)驗(yàn)結(jié)果

        從表1 中可以發(fā)現(xiàn),AlexNet 算法的準(zhǔn)確率為94.33%,VGG16 算法的準(zhǔn)確率為93.88%,ResNet18 算法的準(zhǔn)確率為95.12%,證明了ResNet18 算法優(yōu)于AlexNet 和VGG16。因此,本文選取ResNet18 作為基礎(chǔ)網(wǎng)絡(luò)主干進(jìn)行改進(jìn)。在網(wǎng)絡(luò)結(jié)構(gòu)方面,加入注意力機(jī)制后,ResNet18+Se 算法的準(zhǔn)確率為96.01%,上升了0.89%;結(jié)合Silu 激活函數(shù),ResNet18+Silu 算法的準(zhǔn)確率為96.61%,上升了1.49%,表明更換了激活函數(shù)后,圖像分類識(shí)別的準(zhǔn)確率有明顯提升。在網(wǎng)絡(luò)訓(xùn)練策略方面,結(jié)合標(biāo)簽平滑,ResNet18+Lsr算法的準(zhǔn)確率為96.43%;結(jié)合余弦退火衰減學(xué)習(xí)率,ResNet18+Cos 算法的準(zhǔn)確率為98.27%。本文將以上算法進(jìn)行綜合,得到ResNet18+Se+Silu+Lsr+Cos 算法的準(zhǔn)確率為98.92%,上升了3.8%,證明了改進(jìn)算法的優(yōu)越性。

        4 結(jié)語

        本文基于ResNet18 網(wǎng)絡(luò),提出一種改進(jìn)殘差網(wǎng)絡(luò)的圖像分類及農(nóng)田識(shí)別算法。在網(wǎng)絡(luò)結(jié)構(gòu)方面加入通道注意力機(jī)制,并且采用Silu 激活函數(shù),提升了準(zhǔn)確率;在網(wǎng)絡(luò)訓(xùn)練策略方面,加入標(biāo)簽平滑和余弦退火算法,使模型的收斂效果得到增強(qiáng)。實(shí)驗(yàn)結(jié)果表明,在圖像分類及農(nóng)田識(shí)別任務(wù)中,該模型的準(zhǔn)確率達(dá)到98.92%,相比原殘差網(wǎng)絡(luò)(ResNet18)的準(zhǔn)確率提升了3.8%,能夠很好地完成任務(wù),有效地為農(nóng)機(jī)自動(dòng)化作業(yè)提供環(huán)境數(shù)據(jù)。

        猜你喜歡
        殘差農(nóng)田注意力
        基于雙向GRU與殘差擬合的車輛跟馳建模
        讓注意力“飛”回來
        達(dá)爾頓老伯的農(nóng)田
        基于殘差學(xué)習(xí)的自適應(yīng)無人機(jī)目標(biāo)跟蹤算法
        基于遞歸殘差網(wǎng)絡(luò)的圖像超分辨率重建
        “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
        農(nóng)田創(chuàng)意秀
        A Beautiful Way Of Looking At Things
        農(nóng)田搞養(yǎng)殖需辦哪些證
        農(nóng)田制作所
        亚洲自拍偷拍一区二区三区| 亚洲色在线视频| 亚洲中文欧美日韩在线| 操国产丝袜露脸在线播放| 伊人情人色综合网站| 狠狠色噜噜狠狠狠狠7777米奇| 免费在线亚洲视频| 天堂а√在线最新版中文| 欧美久久中文字幕| 大陆少妇一区二区三区| 国产精品人人做人人爽| 国产剧情av麻豆香蕉精品| 免费人成视频欧美| 谷原希美中文字幕在线| 成人免费直播| 国产呦系列呦交| 亚洲国产精品自拍一区| 精品国产亚洲av成人一区| 亚洲国产一区二区,毛片| 中文字幕无码中文字幕有码| 少妇装睡让我滑了进去| 精品人妻丰满久久久a| 亚洲无人区乱码中文字幕动画| 国产国语亲子伦亲子| 厨房玩丰满人妻hd完整版视频| 日韩偷拍视频一区二区三区| 亚洲国产av一区二区四季| 亚洲欧美国产国产综合一区| 日韩精品综合一本久道在线视频| 亚洲自拍偷拍一区二区三区| 亚洲精品成人网站在线播放| 精精国产xxxx视频在线| av在线免费播放网站| 亚洲av久播在线一区二区| 国产98在线 | 日韩| 91福利国产在线观一区二区| 日韩精品人妻视频一区二区三区| 又粗又黄又猛又爽大片app| 国产精品一区二区暴白浆| 一区二区在线亚洲av蜜桃| 日本女同性恋一区二区三区网站|