亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Boosting的深度學(xué)習(xí)圖像分類算法設(shè)計(jì)

        2021-12-18 06:49:48王志強(qiáng)王先傳
        系統(tǒng)仿真技術(shù) 2021年2期
        關(guān)鍵詞:網(wǎng)絡(luò)結(jié)構(gòu)殘差準(zhǔn)確率

        王志強(qiáng),王先傳

        (1.阜陽(yáng)工業(yè)經(jīng)濟(jì)學(xué)校,安徽阜陽(yáng) 236015;2.阜陽(yáng)師范大學(xué),安徽阜陽(yáng) 236041)

        目前深度學(xué)習(xí)應(yīng)用較為廣泛[1-2],其是對(duì)人類大腦中的神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬,從而實(shí)現(xiàn)對(duì)于輸入數(shù)據(jù)(圖像、文本等)的處理。因此,隨著深度學(xué)習(xí)的不斷發(fā)展以及所需處理的數(shù)據(jù)量的增大,可以看出在進(jìn)行圖像分類及目標(biāo)識(shí)別的應(yīng)用中,深度學(xué)習(xí)的應(yīng)用至關(guān)重要,非線性網(wǎng)絡(luò)變得更加有利,可以從輸入數(shù)據(jù)中得到更多有利信息[3-4]。針對(duì)這個(gè)情況提出ResNet網(wǎng)絡(luò),在網(wǎng)絡(luò)結(jié)構(gòu)中引入快捷方式使輸入同時(shí)引入至輸出,最終學(xué)習(xí)輸出與輸入之間的差值,構(gòu)成殘差結(jié)構(gòu),使得每一次僅用學(xué)習(xí)殘差的部分,成功解決退化問題,使ResNet網(wǎng)絡(luò)的應(yīng)用比較廣泛。

        1 ResNet網(wǎng)絡(luò)結(jié)構(gòu)及Boosting工作機(jī)制

        1.1 ResNet網(wǎng)絡(luò)結(jié)構(gòu)

        ResNet網(wǎng)絡(luò)[5-6]是在之前的VGG網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上添加快捷方式,這樣每次學(xué)習(xí)的便僅僅是殘差的部分。即每個(gè)ResNet網(wǎng)絡(luò)都由許多殘差塊堆積而成,其中每一個(gè)殘差塊都由一個(gè)神經(jīng)網(wǎng)絡(luò)模型和一個(gè)快捷方式構(gòu)成。一個(gè)殘差塊的結(jié)構(gòu)如圖1所示。

        圖1 殘差塊的結(jié)構(gòu)示意圖Fig.1 Structure diagram of residual block

        第t層殘差塊的輸出為

        其中,x為網(wǎng)絡(luò)的輸入,ft(·)代表第t層的卷積層,gt(x)代表t-1層的最終輸出。

        1.2 Boosting工作機(jī)制

        Boosting的工作流程大致為:對(duì)初始提供的數(shù)據(jù)集進(jìn)行訓(xùn)練,得到一個(gè)學(xué)習(xí)器。根據(jù)學(xué)習(xí)器的結(jié)果表現(xiàn),相應(yīng)地對(duì)數(shù)據(jù)進(jìn)行處理,即對(duì)于做錯(cuò)的數(shù)據(jù),改變它相應(yīng)的權(quán)重,使得其在后續(xù)的訓(xùn)練中得到更多的關(guān)注。Boosting的工作機(jī)制如圖2所示。

        圖2 Boosting的工作機(jī)制Fig.2 Working mechanism of Boosting

        2 基于Boosting的圖像分類算法設(shè)計(jì)與實(shí)現(xiàn)

        2.1 設(shè)計(jì)算法的優(yōu)點(diǎn)

        在ResNet網(wǎng)絡(luò)每一層的輸出處引入一個(gè)線性的全連接層,將得到的結(jié)果通過全連接層引出來[7],此時(shí)相當(dāng)于將提取好的特征拿出來,在后續(xù)的網(wǎng)絡(luò)中便不再對(duì)已經(jīng)分類好的數(shù)據(jù)進(jìn)行處理。即在每一層中將分類效果很好的類別先提取出來,隨后將剩下的再次進(jìn)行訓(xùn)練測(cè)試,直到達(dá)到較好的結(jié)果,這樣的好處在于使得訓(xùn)練的時(shí)間變短、結(jié)構(gòu)簡(jiǎn)單,在后續(xù)的網(wǎng)絡(luò)中所要訓(xùn)練提取的特征變少,準(zhǔn)確率得到提升。

        2.2 網(wǎng)絡(luò)構(gòu)建的設(shè)計(jì)

        已知的ResNet網(wǎng)絡(luò)共有5種結(jié)構(gòu),分別為ResNet18、ResNet34、ResNet50、ResNet101、ResNet152。其都有自己的網(wǎng)絡(luò)構(gòu)架,大體上都是統(tǒng)一的,只是在具體的層中有所不同。

        利用Boosting的思想可以對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),具體構(gòu)建方法為[8]:在conv_1、conv_2、conv_3、conv_4四個(gè)層的輸出處分別引入一個(gè)線性的全連接層,利用Python中的nn.linear()函數(shù)實(shí)現(xiàn),得到4個(gè)全連接層結(jié)果為y1、y2、y3、y4。在引入四個(gè)全連接層時(shí),需要利用a.reshape()函數(shù)先對(duì)結(jié)果進(jìn)行處理,改變所得結(jié)果的矩陣形狀,使之與全連接層的參數(shù)保持匹配,隨后得到全連接層的結(jié)果,如圖3所示。

        圖3 基于Boosting的圖像分類算法設(shè)計(jì)結(jié)構(gòu)圖Fig.3 Design structure chart of image classification algorithm based on Boosting

        2.3 網(wǎng)絡(luò)構(gòu)建的設(shè)計(jì)測(cè)試

        2.3.1 Loss的訓(xùn)練方法及變化

        網(wǎng)絡(luò)的Loss即在定義了損失函數(shù)Criterion之后,計(jì)算網(wǎng)絡(luò)輸出與真實(shí)標(biāo)簽之間的誤差,從而得到損失值Loss。在研究中希望Loss越小越好,故在得到Loss后,需要進(jìn)行反向傳播,改變相應(yīng)的參數(shù),使得網(wǎng)絡(luò)的Loss不斷減小,直到達(dá)到標(biāo)準(zhǔn)或是完成所有的訓(xùn)練次數(shù)。本文使用pytorch完成實(shí)驗(yàn)驗(yàn)證,則通過Loss.backward()函數(shù)完成誤差的反向傳播,pytorch的內(nèi)在機(jī)制可以實(shí)現(xiàn)自動(dòng)求導(dǎo)得到每個(gè)參數(shù)的梯度。故在實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的重新構(gòu)建后,對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),根據(jù)Loss需要作出相應(yīng)的改變。

        2.3.2 預(yù)測(cè)值的變化

        在設(shè)計(jì)分類網(wǎng)絡(luò)訓(xùn)練及測(cè)試過程中,預(yù)測(cè)值不再采用原來的網(wǎng)絡(luò)輸出Outputs的最大值,而是應(yīng)用Boosting的思想,需要采用網(wǎng)絡(luò)的最終輸出Outputs以及每一個(gè)引出的全連接層的輸出y1,y2,y3,y4的和,并通過torch.max()函數(shù)得到Outputs+y1+y2+y3+y4的最大值,以此作為網(wǎng)絡(luò)的預(yù)測(cè)值。

        3 網(wǎng)絡(luò)構(gòu)建的設(shè)計(jì)實(shí)現(xiàn)

        3.1 Cifar類數(shù)據(jù)集

        Cifar10數(shù)據(jù)集[9-10]包含10大類,共有60000張彩色圖像。在Cifar數(shù)據(jù)集的官網(wǎng)上,提供3種形式的數(shù)據(jù)集,一種供python程序使用,一種供Matlab程序使用,還有一種供C程序使用。本文采用的是python程序,則選擇python版本的數(shù)據(jù)集,下載解壓后得到的數(shù)據(jù)集存在5個(gè)批次的訓(xùn)練數(shù)據(jù)集和1個(gè)批次的測(cè)試數(shù)據(jù)集。每一個(gè)批次都是用python中的cpickle庫(kù)打包好的形式,此時(shí)每個(gè)批處理文件都包含一個(gè)字典。在進(jìn)行程序運(yùn)行時(shí),可直接進(jìn)行調(diào)用。

        與Cifar10相比,Cifar100數(shù)據(jù)集中的圖像共分為100類。每一類包含600張圖像,其中500張作為訓(xùn)練圖像,100張作為測(cè)試圖像。故Cifar100共有50000張訓(xùn)練圖像,10000張測(cè)試圖像,與Cifar10相同,只是圖像的種類變多了。

        Cifar100數(shù)據(jù)集首先被分為20個(gè)超類,即比較籠統(tǒng)的分類,隨后每個(gè)超類下精細(xì)地分為5個(gè)小類。這樣數(shù)據(jù)集中所有圖像都具有一個(gè)“粗糙的”標(biāo)簽和一個(gè)“精細(xì)的”標(biāo)簽。

        3.2 數(shù)據(jù)集為Cifar10、網(wǎng)絡(luò)為ResNet-Boosting的輸出

        對(duì)基礎(chǔ)網(wǎng)絡(luò)的改進(jìn)方式為[11-12]:在每一個(gè)層的輸出處引入一個(gè)線性的全連接層,每一個(gè)鏈接層的結(jié)果都可以看做與一個(gè)弱分類器對(duì)應(yīng),最終將所有的弱分類器進(jìn)行結(jié)合,得到最終的輸出。

        實(shí)驗(yàn)結(jié)果如圖4,每訓(xùn)練一個(gè)epoch便進(jìn)行一次測(cè)試,得到實(shí)時(shí)準(zhǔn)確率。

        圖4 Cifar10-ResNet-Boosting的最終輸出結(jié)果Fig.4 The final output of Cifar10-ResNet-Boosting

        將所有準(zhǔn)確率用折線圖表示,結(jié)果如圖5所示。

        圖5 Cifar10-ResNet-Boosting網(wǎng)絡(luò)的準(zhǔn)確率Fig.5 The accuracy of Cifar10-ResNet-Boosting network

        由圖5可以清楚地看出,隨著遍歷數(shù)據(jù)集次數(shù)的增加,準(zhǔn)確率先上升,隨后不再明顯上升,而是在90%的附近波動(dòng),如表1所示。

        表1 Cifar10數(shù)據(jù)集下的結(jié)果對(duì)比Tab.1 Comparison of results in Cifar10 data set

        由此看出,設(shè)計(jì)的網(wǎng)絡(luò)對(duì)分類準(zhǔn)確率的提升沒有較大的作用,故提出出現(xiàn)這種現(xiàn)象的原因是否由于進(jìn)行實(shí)驗(yàn)的數(shù)據(jù)集太小,僅僅擁有10類,如若改變數(shù)據(jù)集,增大數(shù)據(jù)的類別,是否對(duì)準(zhǔn)確率有所提升,則進(jìn)行下一組對(duì)比實(shí)驗(yàn)進(jìn)行論證。

        3.3 Cifar100-對(duì)應(yīng)ResNet網(wǎng)絡(luò)及ResNet-Boosting網(wǎng)絡(luò)的訓(xùn)練及測(cè)試

        在進(jìn)行了上述的對(duì)比實(shí)驗(yàn)后,可以看出設(shè)計(jì)的網(wǎng)絡(luò)對(duì)于圖片分類的準(zhǔn)確率沒有較大的提升,與原來的網(wǎng)絡(luò)沒有較大的差異,則提出設(shè)置如下:改變數(shù)據(jù)集,再次進(jìn)行對(duì)比實(shí)驗(yàn),觀察是否對(duì)準(zhǔn)確率有所提升。

        部分參數(shù)設(shè)置如下:

        (1)Epoch=135,即程序?qū)?duì)輸入的數(shù)據(jù)遍歷135次。

        (2)Batch_Size=125,即每次輸入125張圖片。由于Cifar100數(shù)據(jù)集有50000張訓(xùn)練圖片,故遍歷一次輸入,輸出400次Loss及Acc。但相對(duì)于Cifar10而言,其數(shù)據(jù)類別增多。

        (3)LR=0.001,減小學(xué)習(xí)率,有助于觀察更加細(xì)微的變化。數(shù)據(jù)集仍為Cifar100,網(wǎng)絡(luò)仍為ResNet網(wǎng)絡(luò),未做任何改變。同樣的每訓(xùn)練一個(gè)Epoch便進(jìn)行一次測(cè)試,得到實(shí)時(shí)準(zhǔn)確率。

        則最終結(jié)果如圖6所示,在進(jìn)行了135次訓(xùn)練及測(cè)試后,最后一次網(wǎng)絡(luò)的分類準(zhǔn)確率為67%。

        圖6 Cifar100-ResNet網(wǎng)絡(luò)的最終輸出結(jié)果Fig.6 The final output of Cifar100-ResNet network

        將所有實(shí)驗(yàn)結(jié)果通過折線圖表示,結(jié)果如圖7所示。

        由圖7可知,隨著遍歷數(shù)據(jù)集次數(shù)的增加,準(zhǔn)確率先上升在某一處便不再明顯上升,最終準(zhǔn)確率的值在66%附近波動(dòng)。

        圖7 Cifar100-ResNet網(wǎng)絡(luò)的準(zhǔn)確率Fig.7 The accuracy of Cifar100-ResNet network

        實(shí)驗(yàn)結(jié)果如表2所示,通過設(shè)計(jì)的網(wǎng)絡(luò)對(duì)Cifar100數(shù)據(jù)集訓(xùn)練及測(cè)試的結(jié)果,總共遍歷數(shù)據(jù)集135次,準(zhǔn)確率先上升,最后在70%附近波動(dòng)。

        表2 Cifar100數(shù)據(jù)集下的結(jié)果對(duì)比Tab.2 Comparison of results in Cifar100 data set

        均采用數(shù)據(jù)集Cifar100,同樣遍歷數(shù)據(jù)集135次,學(xué)習(xí)率均為0.001,Batch_Size=125,在相同的參數(shù)情況下,僅僅是網(wǎng)絡(luò)的不同,進(jìn)行實(shí)驗(yàn)驗(yàn)證,以此探尋所設(shè)計(jì)的網(wǎng)絡(luò)對(duì)準(zhǔn)確率的提升是否有效果。

        經(jīng)過實(shí)驗(yàn)論證可以看出,在ResNet網(wǎng)絡(luò)下,最終的準(zhǔn)確率平衡在66%左右,而設(shè)計(jì)的網(wǎng)絡(luò)準(zhǔn)確率最終穩(wěn)定在70%左右,Loss均逐漸減小。由此可以看出設(shè)計(jì)的網(wǎng)絡(luò)對(duì)準(zhǔn)確率的提升是有效果的,盡管提升不是很多。

        由此印證了3.2小節(jié)的對(duì)比實(shí)驗(yàn)可能由于數(shù)據(jù)集類別過少,導(dǎo)致準(zhǔn)確率沒有任何提升效果,在更大的數(shù)據(jù)上分類準(zhǔn)確率有了提升,雖然提升不是非常明顯。

        4 總 結(jié)

        通過理論設(shè)想及實(shí)驗(yàn)證明可知,對(duì)ResNet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改變,在每一層的輸出處引入一個(gè)線性的全連接層,將每一個(gè)全連接層的結(jié)果看做對(duì)應(yīng)于一個(gè)弱分類器,在訓(xùn)練網(wǎng)絡(luò)的過程中,分別計(jì)算其與標(biāo)簽之間的Loss,最終的Loss是將得到的Loss進(jìn)行相加。并且每訓(xùn)練一個(gè)Epoth便測(cè)試一下準(zhǔn)確率。實(shí)驗(yàn)中設(shè)置的Epoth為135,可以看到通過不斷的訓(xùn)練和測(cè)試,最終的準(zhǔn)確率在不斷上升。與此同時(shí)存在的不足是:在每一層的輸出引入一個(gè)線性的全連接層,最后利用Boosting的思想時(shí),僅僅是將所有結(jié)果進(jìn)行簡(jiǎn)單的求和,考慮不是很全面,應(yīng)該考慮更多的可能來實(shí)現(xiàn)基于Boosting的思想對(duì)ResNet網(wǎng)絡(luò)結(jié)構(gòu)的改變,得到更好的對(duì)ResNet網(wǎng)絡(luò)訓(xùn)練的方法。同時(shí)在Cifar10的數(shù)據(jù)集上準(zhǔn)確率基本上沒有較大的變化,但在Cifar100數(shù)據(jù)集上有所提升,應(yīng)該再對(duì)更多類別的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),觀察是否會(huì)有更加明顯的提升。

        猜你喜歡
        網(wǎng)絡(luò)結(jié)構(gòu)殘差準(zhǔn)確率
        基于雙向GRU與殘差擬合的車輛跟馳建模
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
        2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
        基于殘差學(xué)習(xí)的自適應(yīng)無(wú)人機(jī)目標(biāo)跟蹤算法
        基于遞歸殘差網(wǎng)絡(luò)的圖像超分辨率重建
        高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
        基于互信息的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)
        知識(shí)網(wǎng)絡(luò)結(jié)構(gòu)維對(duì)于創(chuàng)新績(jī)效的作用機(jī)制——遠(yuǎn)程創(chuàng)新搜尋的中介作用
        滬港通下A+ H股票網(wǎng)絡(luò)結(jié)構(gòu)演化的實(shí)證分析
        国产午夜在线观看视频| 国产乱人伦av在线a| 国产精品11p| 极品美女尤物嫩模啪啪| av在线天堂国产一区| 亚洲av无码无限在线观看| 亚州少妇无套内射激情视频| 北岛玲中文字幕人妻系列| 97久久综合精品国产丝袜长腿| 无码人妻丰满熟妇区免费| 亚洲男人的天堂在线aⅴ视频| 欧美日韩亚洲成色二本道三区| 男女羞羞的视频免费网站| 蜜桃一区二区在线视频| 精品久久久无码中字| 日本亚洲欧美高清专区| 中文字幕日本韩国精品免费观看| 男女交射视频免费观看网站| 真人做爰片免费观看播放| 在线欧美精品二区三区| 国产在线看不卡一区二区| 精品精品久久宅男的天堂| 女女同女同一区二区三区| 朝鲜女人大白屁股ass孕交| 国产免费又色又爽又黄软件| 丝袜 亚洲 另类 欧美| 东京热加勒比久久精品| 国产网红主播无码精品| aaa毛片视频免费观看| 亚洲无av高清一区不卡| 男人吃奶摸下挵进去啪啪软件| 免费无码毛片一区二区三区a片| 天天射色综合| 人妖在线一区二区三区| 天天爽天天爽夜夜爽毛片 | 国产高清自产拍av在线| 无码a级毛片免费视频内谢5j| 免费无码又爽又刺激网站| 热re99久久精品国产66热6| 男奸女永久免费视频网站| 性色做爰片在线观看ww|