廖明霜 羅遠(yuǎn)遠(yuǎn)

(塔里木大學(xué)信息工程學(xué)院，新疆 阿拉爾 843300)

引言

鮮花在生活中很常見(jiàn)[1]，中華民族對(duì)鮮花的喜愛(ài)淵源流長(zhǎng)，鮮花承載著中華的文化禮儀，有人喜歡浪漫的玫瑰，有人喜歡誓言滿滿的紫羅蘭，有人喜歡百合的財(cái)富與富貴[2]，還有很多鮮花[3]，大多數(shù)人很難區(qū)分，需要通過(guò)經(jīng)驗(yàn)人介紹或者上網(wǎng)搜尋對(duì)比才能得到答案。隨著深度學(xué)習(xí)的發(fā)展[4-6]，人工神經(jīng)網(wǎng)絡(luò)是近些年研究的前沿課題，同時(shí)在生物功能的啟發(fā)下，模擬神經(jīng)網(wǎng)絡(luò)，采用大量的神經(jīng)元組成，在人臉識(shí)別領(lǐng)域、缺陷檢測(cè)領(lǐng)域得到了較好的應(yīng)用[7]，人工神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的適應(yīng)性和學(xué)習(xí)性、非線性的魯棒能力、糾偏能力。通過(guò)深度學(xué)習(xí)方法自動(dòng)識(shí)別花卉圖像信息是一種行之有效的方法。

1 國(guó)內(nèi)外研究現(xiàn)狀

國(guó)內(nèi)外開(kāi)展了很多關(guān)于花的識(shí)別研究，其方法大多數(shù)是基于顏色特征、超聲波、人工經(jīng)驗(yàn)識(shí)別。劉浩洲等[8]提出了一種基于K-means聚類算法的獼猴桃花朵識(shí)別方法，利用K-means聚類分割得到包含花蕊在內(nèi)的4個(gè)類別圖像，并利用CNN網(wǎng)絡(luò)實(shí)現(xiàn)了獼猴桃花朵的檢測(cè)，檢測(cè)成功率為92.5%。Shi L等[9]設(shè)計(jì)了一種基于深度學(xué)習(xí)的花卉自動(dòng)識(shí)別系統(tǒng)，將花卉圖像上傳到算法系統(tǒng)進(jìn)行訓(xùn)練并識(shí)別，識(shí)別準(zhǔn)確率達(dá)100%；尚鈺瑩等基于YOLOv5s深度學(xué)習(xí)，將自然場(chǎng)景蘋果花朵檢測(cè)中的應(yīng)用223發(fā)送至FLOWERS32數(shù)據(jù)集上預(yù)先訓(xùn)練好的CNN系統(tǒng)進(jìn)行識(shí)別，在測(cè)試集上的準(zhǔn)確率為95.00%。楊雅靜等[10]使用BP網(wǎng)絡(luò)神經(jīng)對(duì)花朵進(jìn)行多品種的識(shí)別，采用了relu激活函數(shù)，準(zhǔn)確率為85%。苗芃等[11]提出針對(duì)植物圖像無(wú)法大規(guī)模的收集，數(shù)據(jù)量偏少的情況下，使用遷移學(xué)習(xí)的方法，不僅降低了訓(xùn)練的規(guī)模，而且提升了識(shí)別精度。崔明等[12]在草莓花朵識(shí)別算法研究中，利用形態(tài)學(xué)方法和連通管區(qū)域特征方式分析提取花朵區(qū)域特征。張怡等[13]使用ResNet對(duì)植物綠茶進(jìn)行特征提取，從識(shí)別模型的預(yù)測(cè)能力、收斂速度、模型大小和識(shí)別均衡性等角度探索了不同網(wǎng)絡(luò)深度和不同優(yōu)化算法的建模效果，為茶葉種類識(shí)別提供了一種快捷而高效的新方法。周俊博等[14]使用BP網(wǎng)絡(luò)神經(jīng)方法，設(shè)計(jì)了3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了鳶尾花的分類，加入了L1正則化損失防止過(guò)擬合的現(xiàn)象，最終得到的效果接近100%，實(shí)驗(yàn)表明，使用BP網(wǎng)絡(luò)能夠有效提高植物分類，對(duì)植物分類研究具有重要的意義。

本文采用深度學(xué)習(xí)的方法，在經(jīng)典的ResNet模型上進(jìn)行改進(jìn)，對(duì)圖像進(jìn)行增強(qiáng)，也是對(duì)圖像進(jìn)行擴(kuò)充數(shù)量，提升模型在復(fù)雜場(chǎng)景下具有較高的泛化能力；對(duì)原始ResNet模型做改進(jìn)，主要方法是將大卷積核替換成小卷積核，增加卷積次數(shù)，緩和由大卷積核跨度大而帶來(lái)的特征提取信息丟失；將1×1卷積核替代經(jīng)典的池化層，因?yàn)槌鼗瘜釉谝欢▍^(qū)域內(nèi)會(huì)丟失信息。通過(guò)訓(xùn)練花卉數(shù)據(jù)模型能夠?qū)W到不同的花卉特征信息，進(jìn)而識(shí)別花朵。

本文從網(wǎng)絡(luò)上下載了牛津大學(xué)的102類別的花卉數(shù)據(jù)，在新疆阿拉爾本地采集2類花朵；根據(jù)花朵的性質(zhì)類別，進(jìn)行分類做標(biāo)簽和分類，并做數(shù)據(jù)增強(qiáng)，增加了圖片數(shù)量，在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)ResNet花卉識(shí)別模型。得到花朵識(shí)別在836張圖片中的測(cè)試結(jié)果，并給出了各個(gè)步驟的分析原因。

2 基于ResNet的圖像分類方法

結(jié)合花卉的基本情況，為了滿足人們對(duì)圖像識(shí)別出花朵種類需求，本文主要在ResNet模型上做改進(jìn)實(shí)驗(yàn)，采用減少參數(shù)量并且提升特征的方法，保證花卉識(shí)別正常的運(yùn)行，提升人們對(duì)花朵的認(rèn)知。

2.1 卷積神經(jīng)網(wǎng)絡(luò)的基本組成

卷積網(wǎng)絡(luò)(convolutional neural network，CNN)是一種局部連接、權(quán)值共享的前饋式多層神經(jīng)網(wǎng)絡(luò)，是為識(shí)別二維形狀而特殊設(shè)計(jì)的一種多層感知器，具有對(duì)平移、比例縮放、傾斜或其他形式的變形不變性的特點(diǎn)，然而深度學(xué)習(xí)的最初框架來(lái)源于BP神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)知識(shí)的沉淀，學(xué)者門研發(fā)出基本的深度學(xué)習(xí)架構(gòu)：輸入層、卷積層、池化層、全鏈接層、輸出層。最重要的是在卷積層不斷提取特征的過(guò)程，從而得到對(duì)某個(gè)事件的預(yù)測(cè)。卷積也叫作特征提取層，就是把卷積核中n×n個(gè)元素和原特征圖進(jìn)行相乘然后再做加法，得到新值，在此過(guò)程中，不斷將重要的信息提取出來(lái)，將不重要的信息弱化。全連接層可以包含多個(gè)全連接層，實(shí)際上就是普通神經(jīng)網(wǎng)絡(luò)層的隱藏層部分，全連接層的每個(gè)神經(jīng)節(jié)點(diǎn)都和前一層的每個(gè)神經(jīng)節(jié)點(diǎn)連接，同一層的神經(jīng)節(jié)點(diǎn)沒(méi)有連接，每一層的神經(jīng)節(jié)點(diǎn)通過(guò)連接線上的權(quán)值進(jìn)行前向傳播加權(quán)和計(jì)算得到下一層神經(jīng)節(jié)點(diǎn)的輸入。通過(guò)不斷的迭代，并且利用損失函數(shù)反向傳播更新學(xué)習(xí)，以控制神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到本文所期望的特征。

2.2 ResNet的殘差模塊

ResNet的基本組成是由卷積層、池化層、歸一化層組成一個(gè)單元模塊，淺層的網(wǎng)絡(luò)難以對(duì)復(fù)雜背景的花卉進(jìn)行特征提取以及建立映射關(guān)系，深度殘差網(wǎng)絡(luò)ResNet模型在傳統(tǒng)的深度學(xué)習(xí)基礎(chǔ)上引入了殘差模塊，通過(guò)多個(gè)網(wǎng)絡(luò)的輸入輸出，對(duì)一個(gè)單元模塊進(jìn)行跳躍拼接，在特征提取的同時(shí)疊加上一步的信息，該方法很大程度上緩解了因網(wǎng)絡(luò)深度的增加而出現(xiàn)的梯度消失、網(wǎng)格退化等問(wèn)題，加深了對(duì)目標(biāo)信息的完整，其深層次的原因是融合了上一層的卷積網(wǎng)絡(luò)，這樣達(dá)到的效果在一定程度上不會(huì)比原來(lái)的差。

2.3 ResNet的殘差優(yōu)化

在深度學(xué)習(xí)中，大的卷積核雖然能一步提取小卷積核，提取到更復(fù)雜的信息，但是存在計(jì)算量過(guò)大的問(wèn)題，導(dǎo)致運(yùn)算時(shí)間過(guò)長(zhǎng)，不適合移動(dòng)端的花卉識(shí)別研究。本文采用小卷積核替換大卷積核，如圖1所示，為了盡量減少卷積核過(guò)小帶來(lái)的特征提取下降問(wèn)題，選擇將原始的7×7卷積核換成5×5卷積核，將原始的5×5卷積核替換成3×3卷積核，平衡模型參數(shù)和特征提取。以輸入256維的數(shù)為例，在使用過(guò)程中所需參數(shù)量為1179648；如果使用改進(jìn)后的殘差結(jié)構(gòu)進(jìn)行特征提取，所需參數(shù)量?jī)H為69632。由數(shù)據(jù)對(duì)比結(jié)果可知，本文改進(jìn)的殘差塊結(jié)構(gòu)特征提取過(guò)程所需的參數(shù)量相比原有殘差結(jié)構(gòu)降低94%。改進(jìn)后的殘差塊結(jié)構(gòu)計(jì)算量顯著降低，有利于模型訓(xùn)練速度的提高、模型大小的壓縮和泛化性能的提高。

圖1 網(wǎng)絡(luò)修改前VS網(wǎng)絡(luò)修改后

雖然多次的小卷積核在一定程度上減小了感受野，對(duì)小目標(biāo)的特征能力較少，但是殘差網(wǎng)絡(luò)的復(fù)用特征方式，在一定程度上減少了感受野變小的影響。對(duì)于常見(jiàn)的花朵一般是常規(guī)物體，所以小目標(biāo)提取不是本次的研究點(diǎn)。

2.4 卷積核替換池化層

1×1卷積和池化的本質(zhì)是壓縮特征，在池化的過(guò)程中是不斷地在丟失非重要的信息，然而池化所保留的特征，不一定是本文想要的特征值，因此需要使用1×1卷積在達(dá)到此效果的同時(shí)，又保留一些次重要的特征，從而達(dá)到充分提取特征的效果。如圖2的池化過(guò)程從(1，0，2，1)這個(gè)小區(qū)域中值保留一個(gè)最大值特征2，其余的特征直接被丟棄掉，顯然不符合這個(gè)特征提取的有效性。在圖2的1×1卷積核的通道卷積過(guò)程中通過(guò)卷積不斷地訓(xùn)練和反向傳播迭代，不斷優(yōu)化原始的卷積核的特征提取，這樣得到的效果不容易盲目的丟失，更符合特征提取的有效性。

圖2 池化過(guò)程VS通道卷積過(guò)程

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)預(yù)處理

本文數(shù)據(jù)主要來(lái)源于牛津大學(xué)的102種花卉種類部分圖像，如圖3所示。另外2種數(shù)據(jù)來(lái)源于新疆阿拉爾地區(qū)改良的花朵。采用的設(shè)備是OPPO PEQM00型號(hào)，攝像頭為2420萬(wàn)像素，在晴天、陰天下進(jìn)行采集，后增圖像共1620張。對(duì)花卉圖像進(jìn)行預(yù)處理操作，按照7∶2∶1的比例分為訓(xùn)練集、測(cè)試集、驗(yàn)證集，通過(guò)驗(yàn)證集來(lái)了解在每次迭代的過(guò)程中，訓(xùn)練效果趨勢(shì)。在測(cè)試集中，加載訓(xùn)練集的模型給每張圖片做出結(jié)果判斷，最終得到模型的準(zhǔn)確度。

圖3 花卉種類示意圖

3.2 數(shù)據(jù)增廣

通過(guò)水平翻轉(zhuǎn)、旋轉(zhuǎn)90°、隨機(jī)剪裁，亮度增加、亮度減少、高斯噪點(diǎn)、椒鹽噪點(diǎn)等7種方式對(duì)所有樣本進(jìn)行數(shù)據(jù)預(yù)處理，見(jiàn)圖4。最后將所有圖像調(diào)整尺寸為224像素×n像素并統(tǒng)一將原圖裁剪為224像素×224像素。

圖4 數(shù)據(jù)增廣的方式圖

3.3 實(shí)驗(yàn)參數(shù)

本實(shí)驗(yàn)為了達(dá)到最優(yōu)的實(shí)驗(yàn)效果，在訓(xùn)練過(guò)程中取最優(yōu)的實(shí)驗(yàn)參數(shù)，基本參數(shù)：輸入模型的批量尺寸為16，迭代次數(shù)epoch=50，學(xué)習(xí)率配置設(shè)置為30、60、90 3個(gè)階段，優(yōu)化器采用隨機(jī)梯度下降SGD(Stochastic Gradient Descent),優(yōu)化器的權(quán)重設(shè)置為0.00001，在最優(yōu)的動(dòng)量基礎(chǔ)上選取尺度0.05、0.005、0.0005 3種學(xué)習(xí)率。在訓(xùn)練過(guò)程中將隨機(jī)殺死神經(jīng)元的方法設(shè)置為0.1，抑制神經(jīng)元過(guò)擬合。工作線程設(shè)置為2，在訓(xùn)練進(jìn)行每迭代1次驗(yàn)證1次，驗(yàn)證的指標(biāo)為“accuracy”，為防止打標(biāo)簽錯(cuò)誤和學(xué)習(xí)太過(guò)呆板，設(shè)置平滑標(biāo)簽為0.2。

3.4 實(shí)驗(yàn)環(huán)境配置

訓(xùn)練的硬件平臺(tái)：linux操作系統(tǒng)，cpu為Intel(R)Xeon(R)CPU E5-2678 v3@2.50GHz，配備的固態(tài)硬盤為512GB和8TB機(jī)械硬盤，GPU為GeForce RTX 2080 Ti，python版本為3.7，深度學(xué)習(xí)框架為Pytorch1.11、CUDA11.6。python庫(kù)使用Anaconda3進(jìn)行管理。

3.5 訓(xùn)練曲線分析

改進(jìn)的ResNet模型在Stage1、Stage2、Stage3、Stage4將大模型替換成5×5卷積或者3×3卷積的方式，并在池化層替換成1×1卷積達(dá)到相同的特征傳遞，見(jiàn)圖5。在數(shù)據(jù)預(yù)處階段加入水平翻轉(zhuǎn)、旋轉(zhuǎn)90°、隨機(jī)剪裁、亮度增加、亮度減少、高斯噪點(diǎn)、椒鹽噪點(diǎn)等數(shù)據(jù)增強(qiáng)手段。與原始的ResNet模型相比，本文提出的方法有效提升了識(shí)別效率。主要是因?yàn)閿?shù)據(jù)增強(qiáng)的方式能夠使模型具有泛化性，在復(fù)雜背景下也能夠識(shí)別得較好。在小卷積核方面，雖然大卷積核能夠一次提取到想要的特征圖大小，但是本文使用的小卷積核經(jīng)過(guò)多次的提取特征也能達(dá)到想要的特征大小，在此階段中由于小卷積核迭代次數(shù)加深，對(duì)一些弱相關(guān)的特征進(jìn)行了保留，這大大加強(qiáng)了特征描述，從而進(jìn)一步提升網(wǎng)絡(luò)分類精度。

圖5 訓(xùn)練的精度圖

3.6 測(cè)試結(jié)果

為了驗(yàn)證本文方法的有效性，本實(shí)驗(yàn)在836張圖像上進(jìn)行測(cè)試結(jié)果，見(jiàn)表1，并使用accuracy_top1、accuracy_top5、recall 3個(gè)評(píng)價(jià)指標(biāo)。從表1可以看出，與原始ResNet方法對(duì)比，分別提升了7.58%、7.26%、5.51%。改進(jìn)后的ResNet對(duì)照片的識(shí)別率會(huì)更高。

表1 測(cè)試結(jié)果圖

4 結(jié)論

針對(duì)花卉識(shí)別檢測(cè)精度低、人工記憶模糊等情況，本文提出一種基于深度學(xué)習(xí)小卷積核花卉識(shí)別算法研究，提升ResNet基礎(chǔ)網(wǎng)絡(luò)模型識(shí)別精度。并對(duì)圖像進(jìn)行數(shù)據(jù)增廣、提升泛化能力，實(shí)驗(yàn)有效提升了花卉分類的精度。主要結(jié)論如下。

利用數(shù)據(jù)增廣的方法和對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，如隨機(jī)剪裁、隨機(jī)噪點(diǎn)、隨機(jī)翻轉(zhuǎn)等，同時(shí)增加了數(shù)據(jù)集的數(shù)量，在一定程度上增加了模型的泛化能力，提升了模型的訓(xùn)練精度。通過(guò)比對(duì)圖發(fā)現(xiàn),僅利用數(shù)據(jù)增廣，識(shí)別精度就分別提升了6.36%、6.16%、3.6%。

將原始7×7的卷積核使用小卷積核5×5卷積核替代，將原始的5×5卷積核使用3×3的卷積核替代，并在池化的過(guò)程中，使用1×1卷積核來(lái)替代。這些手段主要目的是提升特征提取的能力，緩解特征在提取過(guò)程中丟失或者將不重要的噪點(diǎn)信息轉(zhuǎn)換成主要特征的錯(cuò)誤傾向。在測(cè)試集上，小特征在數(shù)據(jù)增廣的基礎(chǔ)上，識(shí)別精度分別提升了1.22%、1.1%、1.91%。

本文提出的方法基于數(shù)據(jù)增廣和小卷積核對(duì)原始的殘差網(wǎng)絡(luò)進(jìn)行修改，有效提升了花朵的識(shí)別精度，接下來(lái)會(huì)進(jìn)一步研究和探討深度學(xué)習(xí)網(wǎng)絡(luò)模型的輕量化方向，以期模型能夠更好地在移動(dòng)端使用。同時(shí)，小卷積核造成的網(wǎng)絡(luò)過(guò)深在一定程度上對(duì)小目標(biāo)的特征提取不友好，接下來(lái)會(huì)繼續(xù)做增強(qiáng)小目標(biāo)提取能力的工作，提升其網(wǎng)絡(luò)使用價(jià)值。