摘要：快速、準(zhǔn)確地識(shí)別農(nóng)作物品種對(duì)我國糧食安全和農(nóng)業(yè)發(fā)展具有重要意義。為實(shí)現(xiàn)玉米種子的快速鑒別與保護(hù)，本研究提出一種基于MobileNetV2和卷積注意力機(jī)制的玉米籽粒品種識(shí)別算法。首先購得市面上9個(gè)常規(guī)玉米品種的籽粒，使用佳能80D型相機(jī)對(duì)其胚面和胚乳面進(jìn)行圖像采集，構(gòu)建了包含3 408張圖像的玉米籽粒識(shí)別數(shù)據(jù)集，按照7：2：1劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，并對(duì)訓(xùn)練集圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理；然后設(shè)計(jì)注意力模塊ISPAM（improved Sparial AtLenLion Module），即在卷積注意力模塊（CBAM）基礎(chǔ)上，提出一種新的通道注意力模塊ICAM對(duì)CBAM的通道注意力機(jī)制進(jìn)行改進(jìn)，同時(shí)引入空間金字塔池化（sPP）模塊替換CBAM空間注意力模塊中的平均池化模塊和最大池化模塊，構(gòu)建了玉米籽粒品種識(shí)別模型MobileNetV2_ISPAM。將MobileNetV2_ISPAM與添加其他注意力模塊的模型對(duì)比，結(jié)果表明，MobileNeIV2_ISPAM在測(cè)試集上的準(zhǔn)確率為99.11％，均明顯高于MobilebletV2以及添加SE（Squeeze.and-Excitalion）、CBAM注意力機(jī)制的模型。梯度加權(quán)類激活映射網(wǎng)絡(luò)可視化表明，MobileNeLV2_ISPAM更關(guān)注玉米籽粒圖像中的顯著特征，從而提高了模型的準(zhǔn)確率。此外，該模型的參數(shù)量?jī)H為7.15 M，適合移動(dòng)端的便攜化部署。本研究在保證模型輕量高效的前提下，提升其抵抗過擬合能力和分類性能，為以后基于深度學(xué)習(xí)的移動(dòng)端玉米籽粒圖像識(shí)別模型研究提供了思路。

關(guān)鍵詞：MobileNeLV2；LSPAM注意力機(jī)制；深度學(xué)習(xí)；玉米籽粒；品種識(shí)別

中圖分類號(hào)：S126 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：1001-4942（2024）12-0139-08

玉米是一種廣泛種植的糧食作物，也是一種工業(yè)生產(chǎn)中重要的原材料。隨著玉米育種技術(shù)的發(fā)展，品種數(shù)量迅速增加，而大量假冒偽劣種子的出現(xiàn)導(dǎo)致了種子市場(chǎng)的混亂。傳統(tǒng)的種子階段品種鑒別主要依靠專家肉眼識(shí)別和分子生物學(xué)分析等方法，然而由于玉米種子的形態(tài)特征在視覺上具有相似性，僅憑肉眼難以準(zhǔn)確識(shí)別，而采用分子生物學(xué)分析不僅對(duì)樣品具有破壞性，且耗時(shí)費(fèi)力。因此，研發(fā)一種實(shí)時(shí)、高效、無損的玉米籽粒品種識(shí)別方法尤為必要。

近年來，國內(nèi)外學(xué)者針對(duì)玉米籽粒品種識(shí)別問題，在人工神經(jīng)網(wǎng)絡(luò)技術(shù)、高光譜圖像技術(shù)、機(jī)器視覺技術(shù)和計(jì)算機(jī)視覺技術(shù)等方面開展了相關(guān)研究。但這些傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要依賴人的經(jīng)驗(yàn)知識(shí)設(shè)計(jì)特征提取方法，建立的識(shí)別模型泛化能力不足，魯棒性較弱。

隨著大數(shù)據(jù)技術(shù)的發(fā)展以及計(jì)算機(jī)算力的大幅提升，深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)中得到了應(yīng)用。與傳統(tǒng)的機(jī)器學(xué)習(xí)相比，深度學(xué)習(xí)能更有效地提取圖像中的特征，識(shí)別效率遠(yuǎn)高于傳統(tǒng)的機(jī)器學(xué)習(xí)方法。不同于VGG16等網(wǎng)絡(luò)模型的龐大參數(shù)，越來越深層的輕量化神經(jīng)網(wǎng)絡(luò)被研究和關(guān)注，如DenseNet、NASNet、MobileNetV2、SqueezeNet、Xception，能更方便地部署在移動(dòng)端。MobileNetV2以高效的模型結(jié)構(gòu)設(shè)計(jì)、較小的模型尺寸和計(jì)算量等優(yōu)點(diǎn)使其適合在資源受限的環(huán)境下部署，同時(shí)能夠保持較高的識(shí)別準(zhǔn)確率和性能表現(xiàn)，在農(nóng)作物病蟲害識(shí)別、種子分類等方面應(yīng)用較多。Moyazzoma等使用MobileNetV2網(wǎng)絡(luò)分類農(nóng)作物疾病，最終得到90.38qo的分類準(zhǔn)確率；馮曉等使用MobileNetV2構(gòu)建玉米籽粒圖像識(shí)別模型，結(jié)果表明用籽粒雙面特征建模的識(shí)別準(zhǔn)確率為99.83％，優(yōu)于用單面特征建模及識(shí)別：Elfatimi等提出的MobileNet模型在豆葉病害訓(xùn)練數(shù)據(jù)集上的分類平均準(zhǔn)確率超過97％，而使用MobileNetV2模型可以在獲得相同分類準(zhǔn)確率的同時(shí)損失值更低、訓(xùn)練時(shí)間更短：Hamid等使用MobileNetV2對(duì)14種不同類別的種子進(jìn)行分類，訓(xùn)練集和測(cè)試集的準(zhǔn)確率分別為98％和95％。

隨著深度學(xué)習(xí)的發(fā)展，注意力機(jī)制因可以嵌入到任何一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中增強(qiáng)模型的學(xué)習(xí)能力，也得到了快速發(fā)展，SE（Squeeze-and-Excitation）、CBAM（Convolutional Block AttentionModule）等注意力機(jī)制層出不窮。孫孟研等基于SE模塊構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)玉米籽粒圖像進(jìn)行識(shí)別，驗(yàn)證了注意力模塊對(duì)準(zhǔn)確率的提升以及對(duì)圖像識(shí)別的有效性。張文景等基于ResNet18，在改進(jìn)輕量級(jí)CBAM的基礎(chǔ)上對(duì)5種蘋果葉部病害圖像進(jìn)行識(shí)別，相對(duì)于改進(jìn)前的模型，準(zhǔn)確率提升了0.32％。耿磊等通過融合通道注意力和空間注意力機(jī)制對(duì)蘋果形狀和果面顏色紋理特征進(jìn)行提取，改進(jìn)后的模型對(duì)7個(gè)蘋果品種的總體識(shí)別準(zhǔn)確率高達(dá)96.78％。

本研究在基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法的基礎(chǔ)上，為解決CBAM中通道注意力與空間注意力串行連接時(shí)相互干擾的問題，提出一種新的注意力模塊ISPAM（Improved Spatial Pyramid Attention Module），并將其引入MobileNetV2網(wǎng)絡(luò)中，構(gòu)建玉米籽粒品種識(shí)別模型MobileNetV2_IS-PAM，以期為玉米籽粒品種的自動(dòng)化無損識(shí)別提供技術(shù)支撐，并為基于深度學(xué)習(xí)的移動(dòng)端農(nóng)作物圖像識(shí)別提供思路和方法。

1材料與方法

1.1數(shù)據(jù)采集及數(shù)據(jù)集構(gòu)建

本研究所用9個(gè)玉米品種為登海605、科諾、鐵研、小金黃、京粘、金玉118、鄭單958、立源、云玉，種子均從市場(chǎng)上購得。將各品種玉米籽粒擺放在黑色植絨布上，在實(shí)驗(yàn)室自然光照條件下使用佳能80D型相機(jī)對(duì)其胚面和胚乳面進(jìn)行拍攝，所得圖像如圖1所示。

對(duì)拍攝所得圖像進(jìn)行預(yù)處理，主要步驟包括對(duì)含有多個(gè)玉米籽粒的圖像進(jìn)行二值化處理，再利用輪廓檢測(cè)算法提取單個(gè)玉米籽粒的輪廓，最終利用Python OpenCV畫框切割算法提取單粒玉米圖像，構(gòu)建了包含3 480張玉米籽粒雙面圖像的數(shù)據(jù)集，然后按7：2：1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。圖像處理過程如圖2所示，數(shù)據(jù)集具體信息見表1。

由于訓(xùn)練集的數(shù)據(jù)量有限，為提高識(shí)別的準(zhǔn)確性和魯棒性，本實(shí)驗(yàn)采用旋轉(zhuǎn)、水平位置平移、上下位置平移、錯(cuò)切變換、水平翻轉(zhuǎn)等操作對(duì)訓(xùn)練集圖像進(jìn)行擴(kuò)增，將擴(kuò)增后的圖像與原始圖像一起應(yīng)用于訓(xùn)練。

1.2模型建構(gòu)方法與框架

1.2.1MobileNetV2網(wǎng)絡(luò) MobileNetV2是一種輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)，旨在用較少參數(shù)量實(shí)現(xiàn)更高的效率，適用于移動(dòng)設(shè)備和嵌入式系統(tǒng)等資源受限的場(chǎng)景。

在基于圖像識(shí)別技術(shù)的玉米籽粒品種識(shí)別問題中，為了追求高的準(zhǔn)確率，大部分卷積神經(jīng)網(wǎng)絡(luò)模型存在參數(shù)眾多、體積龐大等缺點(diǎn)，這些模型對(duì)計(jì)算機(jī)內(nèi)存和資源的要求較高，且耗時(shí)較長(zhǎng)，難以應(yīng)用于移動(dòng)端。MobileNetV2的設(shè)計(jì)目標(biāo)就是在保持高準(zhǔn)確率的同時(shí)減少模型的計(jì)算量和參數(shù)量。它提供了一個(gè)輕量級(jí)的解決方案，采用一系列的設(shè)計(jì)技術(shù)包括深度可分離卷積、線性瓶頸結(jié)構(gòu)、倒殘差連接等，使其在各種計(jì)算資源有限的設(shè)備上表現(xiàn)出色，適用于圖像識(shí)別、目標(biāo)檢測(cè)等計(jì)算機(jī)視覺任務(wù)。該模塊在推理過程中不實(shí)現(xiàn)大的張量，減少了需要嵌入式硬件設(shè)計(jì)對(duì)主存儲(chǔ)器訪問的需求，特別適用移動(dòng)設(shè)備搭載。MobileNetV2的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

1.2.2ISPAM注意力整體架構(gòu)設(shè)計(jì) 卷積注意力模塊（CBAM）是一種輕量且流行的注意力機(jī)制模塊，可利用通道和空間兩個(gè)維度信息生成權(quán)重，以實(shí)現(xiàn)對(duì)原特征的重標(biāo)定操作。這種機(jī)制可以提高特征表示的準(zhǔn)確性和區(qū)分度，從而提高模型的性能。但值得注意的是，無論是先啟用通道注意力后啟用空間注意力，還是先啟用空間注意力后啟用通道注意力，后者的權(quán)值都是根據(jù)前者的特征圖產(chǎn)生的，這使得后面的注意力特征輸入在一定程度上受到前面的注意力機(jī)制的影響，影響了模型的穩(wěn)定性。因此，我們經(jīng)過多次實(shí)驗(yàn)反復(fù)驗(yàn)證，發(fā)現(xiàn)將通道注意力模塊與空間注意力模塊并行是一個(gè)更為優(yōu)越的選擇，這樣使得兩種注意力模塊都能直接學(xué)習(xí)原始輸入的特征圖，無需關(guān)注空間注意力和通道注意力的先后順序?；诖?，本研究通過對(duì)CBAM的通道注意力模塊和空間注意力模塊進(jìn)行改進(jìn)，提出了一種新的注意力機(jī)制ISPAM。

首先，本研究對(duì)CBAM的通道注意力機(jī)制進(jìn)行改進(jìn)，提出一種新的通道注意力模塊ICAM（Improved Channel Attention Module），以更好地提取不同品種玉米籽粒圖像的形狀輪廓和顏色紋理特征。在ICAM中，首先對(duì)每個(gè)通道的特征圖進(jìn)行池化操作，經(jīng)過線性變換和激活函數(shù)得到特征向量：然后將得到的特征送入相鄰覆蓋為K的兩個(gè)全連接層進(jìn)行接下來的特征提取，可以避免完全連接層提取特征的無用信息對(duì)網(wǎng)絡(luò)學(xué)習(xí)造成干擾，提高模型的識(shí)別速度和效率：最后將經(jīng)計(jì)算得到的權(quán)重用于加權(quán)特征圖中的通道。與原有通道注意力相比，ICAM避免了降維操作對(duì)通道注意力預(yù)測(cè)的負(fù)面影響，并增強(qiáng)了通道間的信息交互，從而提高了特征表示的準(zhǔn)確性和區(qū)分度，進(jìn)而提高模型性能。ICAM的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

其次，引入空間金字塔池化（Spatial Pyramid Pooling，sPP）對(duì)CBAM的空間注意力機(jī)制進(jìn)行改進(jìn)，以增強(qiáng)或抑制特征在不同空間位置的信息。CBAM的空間注意力模塊僅使用固定大小的平均池化和最大池化對(duì)特征進(jìn)行簡(jiǎn)單提取，對(duì)于信息的獲取難免不足；而SPP不僅能有效避免對(duì)圖像區(qū)域進(jìn)行裁剪、縮放操作導(dǎo)致的圖像失真等問題，而且能解決神經(jīng)網(wǎng)絡(luò)對(duì)圖像相關(guān)特征重復(fù)提取的問題，在加快網(wǎng)絡(luò)收斂速度的同時(shí)節(jié)省計(jì)算成本。因此，本研究用sPP模塊代替CBAM空間注意力模塊原有的固定大小卷積核和固定步長(zhǎng)的平均池化和最大池化。改進(jìn)后的空間注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

1.2.3MobileNetV2_ISPAM網(wǎng)絡(luò)模型 MobileNetV2是近些年提出的輕量化模型中性能十分優(yōu)越的一種模型，在保證一定性能的情況下參數(shù)量大為減少，能夠在移動(dòng)設(shè)備上良好運(yùn)行。因此，本研究在MobileNetV2網(wǎng)絡(luò)中加入ISPAM模塊，建立了一個(gè)新的深度學(xué)習(xí)模型MobileNetV2_IS-PAM，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。注意力機(jī)制的加入可以增強(qiáng)網(wǎng)絡(luò)提取感興趣區(qū)域的能力，提高關(guān)聯(lián)度高的通道數(shù)據(jù)特征權(quán)重，從而獲取最優(yōu)的識(shí)別能力，提高網(wǎng)絡(luò)的識(shí)別精度。

1.3實(shí)驗(yàn)超參數(shù)設(shè)置

本研究基于Tensorflow平臺(tái)，采用Keras深度學(xué)習(xí)框架，使用Jupyter搭建模型。具體參數(shù)配置如表2所示。

1.4模型性能評(píng)價(jià)

本研究選用準(zhǔn)確率（A）、精確率（P）、召回率（R）、F1分?jǐn)?shù)（F1）作為模型性能評(píng)價(jià)指標(biāo)，計(jì)算公式如下：

2結(jié)果與分析

2.1嵌入不同注意力模塊的模型性能對(duì)比

為驗(yàn)證改進(jìn)的ISPAM模塊的有效性，選用當(dāng)下主流的兩種注意力機(jī)制SE和CBAM，分別嵌入到MobileNetV2網(wǎng)絡(luò)中進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如圖7所示。可見，在MobileNetV2中加入不同的注意力機(jī)制均使訓(xùn)練準(zhǔn)確率得到了明顯提升。添加SE和CBAM的效果相近，只是添加CBAM的模型收斂速度更快。而添加ISPAM模塊的提升效果最為明顯，約在第20輪就能達(dá)到90％以上的準(zhǔn)確率，不僅收斂速度快，而且準(zhǔn)確率更高。證明本研究提出的改進(jìn)ISPAM模塊有效。MobileNetV2_ISPAM網(wǎng)絡(luò)訓(xùn)練過程的訓(xùn)練集和驗(yàn)證集損失曲線如圖8所示，也證明了模型訓(xùn)練的有效性。

2.2不同注意力網(wǎng)絡(luò)結(jié)構(gòu)的對(duì)比實(shí)驗(yàn)

在注意力機(jī)制中，通道注意力模塊主要關(guān)注“是什么”，即提取什么樣的特征問題：空間注意力模塊關(guān)注的是特征“在哪里”，即對(duì)重要特征進(jìn)行準(zhǔn)確的定位。但原始輸入特征既存在通道特征，也存在空間特征，因此通道注意力和空間注意力模塊存在發(fā)揮作用的先后問題。為找到最適用于玉米籽粒圖像識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)，本研究將3種不同的注意力網(wǎng)絡(luò)結(jié)構(gòu)分別加入MobileNetV2網(wǎng)絡(luò)中，構(gòu)建了先通道注意力后空間注意力的網(wǎng)絡(luò)模型MobileNetV2_CS、先空間注意力后通道注意力的網(wǎng)絡(luò)模型MobileNetV2_SC以及本研究提出的兩種注意力模塊都直接學(xué)習(xí)原始輸入特征圖的并行結(jié)構(gòu)網(wǎng)絡(luò)模型MobileNetV2_ISPAM，并對(duì)3種模型的的性能進(jìn)行對(duì)比分析。如圖9所示，不添加注意力模塊的MobileNetV2準(zhǔn)確率在80％左右，MobileNetV2_SC的準(zhǔn)確率只有70％左右，MobileNetV2_CS的準(zhǔn)確率高于兩者，但明顯低于MobileNetV2_ISPAM（準(zhǔn)確率高達(dá)99％），表明本研究提出的通道注意力與空間注意力并行結(jié)構(gòu)是切實(shí)可行的。

2.3MobileNet_ISPAM模型對(duì)玉米籽粒品種識(shí)別的效果分析

使用測(cè)試數(shù)據(jù)集對(duì)MobileNetV2_ISPAM模型的識(shí)別效果進(jìn)行評(píng)估。由圖10的混淆矩陣可以看出，MobileNetV2_ISPAM模型在對(duì)9類玉米籽粒品種進(jìn)行識(shí)別時(shí)共產(chǎn)生了3個(gè)錯(cuò)誤。在鐵研品種識(shí)別上產(chǎn)生了2個(gè)錯(cuò)誤，分別被錯(cuò)誤地識(shí)別成登海605和科諾，這可能是因?yàn)槠贩N之間籽粒顏色相近，特征差異極小且細(xì)微。在云玉品種識(shí)別上產(chǎn)生了1個(gè)識(shí)別錯(cuò)誤，被錯(cuò)誤地識(shí)別成了鐵研，這是因?yàn)閮善贩N間的區(qū)別主要在于籽粒表面紋路，而輪廓極其相似。在京粘、金玉118、立源、小金黃和鄭單958這5個(gè)品種上全部識(shí)別正確。表明在玉米籽粒識(shí)別過程中，MobileNetV2 _ISPAM能夠通過對(duì)玉米籽粒圖像的各種特征（如形狀、顏色或紋理，尺度）賦予不同的注意程度，提高對(duì)不同品種籽粒的檢測(cè)和分類準(zhǔn)確性。

MobileNetV2_ISPAM在測(cè)試數(shù)據(jù)集上的定量評(píng)估結(jié)果如表3所示?？梢?，本研究所提出的MobileNetV2_ISPAM模型對(duì)9個(gè)玉米籽粒品種的識(shí)別取得了很好的效果，準(zhǔn)確率高于99％，精確率高于94％，召回率高于96％，F(xiàn)l分?jǐn)?shù)高于95％，其中小金黃、京粘、金玉118、鄭單958、立源的準(zhǔn)確率、精準(zhǔn)率、召回率、F1分?jǐn)?shù)均為100％。

2.4梯度加權(quán)類激活映射可視化分析

Grad_CAME（Gradient-weighted Class Activation Mapping）是一種通過對(duì)預(yù)測(cè)“重要”的輸入?yún)^(qū)域進(jìn)行可視化來增加卷積神經(jīng)網(wǎng)絡(luò)模型透明度從而生成視覺解釋的方法，在該方法中CAM使用最后一層學(xué)習(xí)到的權(quán)重，計(jì)算最終特征圖的線性組合，利用類別特定的梯度信息來定位重要的區(qū)域。其可視化結(jié)果用注意力熱圖呈現(xiàn)，其中，梯度大的位置是呈現(xiàn)強(qiáng)烈激活的區(qū)域，意味著該區(qū)域代表的特征對(duì)分類結(jié)果影響大，通常用紅色表示：梯度較小的區(qū)域則呈現(xiàn)弱激活，通常用藍(lán)色表示。

圖11為隨機(jī)選取的5個(gè)玉米品種的注意力熱圖展示?？梢钥闯?，在識(shí)別各品種玉米籽粒時(shí)，Grad-CAM通過突出顯示籽粒紋理的細(xì)粒度細(xì)節(jié)來定位玉米，在MobileNetV2中加入ISPAM模塊后，模型能夠關(guān)注到玉米籽粒圖像的更多區(qū)域，并可以確定出圖像的關(guān)鍵區(qū)域，提高對(duì)關(guān)鍵區(qū)域的信息表達(dá)，從而提高玉米籽粒品種的識(shí)別效果。

3結(jié)論

本研究旨在提高玉米籽粒品種識(shí)別的準(zhǔn)確率并降低模型的復(fù)雜度，以便在移動(dòng)端實(shí)現(xiàn)高效的玉米籽粒圖像識(shí)別。為實(shí)現(xiàn)這一目標(biāo)，本研究通過對(duì)CBAM的通道注意力的改進(jìn)及引入SPP改進(jìn)空間注意力，設(shè)計(jì)了新的注意力模塊ISPAM，將其加入MobileNetV2網(wǎng)絡(luò)，提出了輕量化的玉米籽粒品種識(shí)別模型MobileNetV2_ISPAM。實(shí)驗(yàn)結(jié)果表明，MobileNetV2_ISPAM模型的準(zhǔn)確率明顯提高，對(duì)9個(gè)玉米品種的識(shí)別準(zhǔn)確率均超過99％，其中小金黃、京粘、金玉118、鄭單958、立源的準(zhǔn)確率、精準(zhǔn)率、召回率、F1分?jǐn)?shù)均為100％。

盡管本研究提出模型在自制數(shù)據(jù)集上實(shí)現(xiàn)了對(duì)玉米籽粒品種的輕量化高效識(shí)別，但模型的泛化能力和魯棒性仍需要進(jìn)一步提升，以應(yīng)對(duì)更多未知情況下的識(shí)別挑戰(zhàn)。為此，下一步我們將進(jìn)一步擴(kuò)充數(shù)據(jù)集，優(yōu)化模型的訓(xùn)練策略，探索更多的數(shù)據(jù)增強(qiáng)方法，并考慮引入更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)或注意力機(jī)制以進(jìn)一步提高模型性能，從而為移動(dòng)端玉米籽粒品種的實(shí)時(shí)識(shí)別提供技術(shù)支持。