徐艷蕾，王 琦，翟鈺婷，高志遠(yuǎn)，邢 路，叢 雪，周 陽

基于MICS-CoTNet的黑木耳品質(zhì)分類方法

徐艷蕾，王 琦，翟鈺婷，高志遠(yuǎn)，邢 路，叢 雪，周 陽※

（吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長春 130118）

針對傳統(tǒng)黑木耳品質(zhì)分類效率低，識別準(zhǔn)確率不佳等問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)和Transformer相結(jié)合的黑木耳圖像品質(zhì)分類方法。該研究以CoTNet模型為基礎(chǔ)網(wǎng)絡(luò)，設(shè)計了MICS-CoTNet黑木耳品質(zhì)分類網(wǎng)絡(luò)模型。首先，重新規(guī)劃CoTNet模型主干特征提取模塊的迭代次數(shù)，降低模型的計算冗余；其次，提出坐標(biāo)歸一化注意力機制以增強黑木耳圖像局部關(guān)鍵特征權(quán)重，抑制主體特征干擾；最后，引入MobileNetV2模型中特征提取模塊Inverted Block，并優(yōu)化CoTNet模型核心模塊CoT block，增強模型對黑木耳數(shù)據(jù)的特征提取能力。將MICS-CoTNet模型與EfficientNetV2、NfNet等12種模型進行對比，結(jié)果表明，綜合模型準(zhǔn)確性和輕量性等方面，MICS-CoTNet模型表現(xiàn)最佳。其中，MICS-CoTNet模型在干黑木耳數(shù)據(jù)中識別準(zhǔn)確率可達(dá)98.45%，相較標(biāo)準(zhǔn)CoTNet提升5.22個百分點；在鮮黑木耳數(shù)據(jù)中識別準(zhǔn)確率可達(dá)98.89%，相較標(biāo)準(zhǔn)CoTNet提升2.60個百分點。MICS-CoTNet模型占用內(nèi)存為30.98M，相對于原CoTNet模型減少96.57M。將MICS-CoTNet模型部署到Jetson TX2 NX中，實時推理速度為18幀/s。該研究提出的MICS-CoTNet黑木耳品質(zhì)分類模型識別準(zhǔn)確率高，運算速度快，為黑木耳實時品質(zhì)分級的實際應(yīng)用提供了理論基礎(chǔ)及技術(shù)支持。

計算機視覺；深度學(xué)習(xí)；品質(zhì)分級；注意力機制；特征提取

0 引 言

黑木耳是一種富產(chǎn)于中國的食用菌，因其含有豐富多樣的生物活性成分和人體所需微量元素，被世界公認(rèn)為極佳的營養(yǎng)補品[1-3]。由于不同品質(zhì)的黑木耳產(chǎn)品營養(yǎng)成分含量不同，因此需要對其進行有效分類。而現(xiàn)階段人們對不同品質(zhì)黑木耳的辨別方法還沒有普遍掌握，依靠傳統(tǒng)人工分類方法耗時費力，效益低。此外，不同品質(zhì)黑木耳的劃分在大小、形態(tài)、顏色等方面均有制約條件，用不同大小網(wǎng)格的機器難以高效篩選出品質(zhì)優(yōu)良的黑木耳。針對上述問題，迫切需要一種高效的黑木耳品質(zhì)鑒別方式。

近年來，有許多研究應(yīng)用數(shù)字圖像處理和電子鼻傳感器技術(shù)方法，針對農(nóng)產(chǎn)品品質(zhì)鑒定做出嘗試[4-8]。LU等[9]以龍井茶的香氣為特征，使用電子鼻和數(shù)據(jù)分析算法對龍井茶品質(zhì)進行識別，并建立起龍井茶品質(zhì)識別系統(tǒng)，為龍井茶標(biāo)準(zhǔn)化市場提供有效參考方法。孫麗萍等[10]使用紅外光譜技術(shù)和支持向量機（support vector machines，SVM）對黑木耳進行品質(zhì)分級，最佳識別精度達(dá)到85.7%。DING等[11]基于機器學(xué)習(xí)和光譜技術(shù)相結(jié)合的方法對茶葉進行質(zhì)量評估，并采用粒子群優(yōu)化和綜合學(xué)習(xí)粒子群優(yōu)化（comprehensive learning particle swarm optimization，CLPSO）算法對SVM算法優(yōu)化，最終提出的CLPSO-SVM算法達(dá)到99.17%的正確識別率。然而，上述研究采用的光譜儀器和傳感器技術(shù)對于黑木耳品質(zhì)分級任務(wù)而言設(shè)備成本高，取樣條件苛刻，不利于實際應(yīng)用。

與傳統(tǒng)的圖像處理和機器學(xué)習(xí)技術(shù)不同，深度學(xué)習(xí)憑借著卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）模型強大的特征提取能力，使得計算機視覺在農(nóng)產(chǎn)品品質(zhì)識別研究方向上應(yīng)用前景廣闊，并取得豐富的科研成果[12-16]。ERBAS等[17]基于深度學(xué)習(xí)方法對榛子品質(zhì)劃分，以AlexNet網(wǎng)絡(luò)對5類不同品質(zhì)的榛子進行特征提取，準(zhǔn)確率高達(dá)98%。SUN等[18]針對蘋果的小樣本數(shù)據(jù)集的特點提出改進的ResNet50網(wǎng)絡(luò)，通過使用全局平均池化和Swish激活函數(shù)對標(biāo)準(zhǔn)ResNet50網(wǎng)絡(luò)進行優(yōu)化，有效減少訓(xùn)練時間的前提下，獲得較高的識別精度。NI等[19]針對經(jīng)典Resent-18網(wǎng)絡(luò)做出改良，將具有通道維度權(quán)重信息的（squeeze-and-excitation networks，SE）注意力模塊載入網(wǎng)絡(luò)中，并對原網(wǎng)絡(luò)的分類器模塊做出改善。提出的方法高效完成胡蘿卜外觀質(zhì)量檢測任務(wù)，識別準(zhǔn)確率高達(dá)98.36%，為胡蘿卜高精度分類提出可行性方案。此外，LI等[20]提出一種ResNet101與線性判別分析相結(jié)合的方法，草莓識別準(zhǔn)確率達(dá)到96.55%。目前應(yīng)用深度學(xué)習(xí)方法對黑木耳品質(zhì)分級開展的相關(guān)研究較少，上述研究采用的深度學(xué)習(xí)方法識別準(zhǔn)確率表現(xiàn)良好，為黑木耳品質(zhì)分級研究提供了技術(shù)支持。但黑木耳主體顏色特征為黑色，各品質(zhì)等級的黑木耳特征變化細(xì)微，增加了CNN特征提取和識別的難度。

Transformer最早應(yīng)用于自然語言處理方向，在數(shù)據(jù)容量充足的條件下，Transformer網(wǎng)絡(luò)能夠在全局感受野下搜尋相關(guān)特征信息，其識別準(zhǔn)確性已經(jīng)超越CNN網(wǎng)絡(luò)[21-22]。但是，Transformer網(wǎng)絡(luò)歸納偏置能力不及CNN網(wǎng)絡(luò)，致使Transformer網(wǎng)絡(luò)在數(shù)據(jù)容量有限條件下識別準(zhǔn)確性能欠佳。此外，Transformer網(wǎng)絡(luò)模型占用內(nèi)存和參數(shù)量相對于CNN模型有著高額的負(fù)載，對于試驗設(shè)備性能要求較高，不利于黑木耳品質(zhì)分級實際應(yīng)用。

為助力黑木耳實現(xiàn)智能采摘和智能品質(zhì)分級的一體化，本文以黑木耳為研究對象，提出一種基于CNN和Transformer網(wǎng)絡(luò)相結(jié)合的黑木耳品質(zhì)分級方案，實現(xiàn)對干黑木耳和鮮黑木耳的高精度品質(zhì)分級。首先，通過在黑木耳生產(chǎn)基地采集的黑木耳圖像自建試驗數(shù)據(jù)集。其次，根據(jù)黑木耳主體特征干擾過強的數(shù)據(jù)特點對基線模型CoTNet[23]加以優(yōu)化，設(shè)計出黑木耳品質(zhì)分級模型MICS-CoTNet。最終將MICS-CoTNet模型部署在可移動設(shè)備Jetson TX2 NX中，用于實時品質(zhì)分級。

1 材料與方法

1.1 數(shù)據(jù)采集

本研究的試驗數(shù)據(jù)采集自吉林省延邊朝鮮族自治州敦化市牡丹崗村，采集時間為2022年7月至8月。試驗數(shù)據(jù)的獲取設(shè)備為Vivox60智能手機，采用距黑木耳5～10 cm高度垂直拍攝，共采集圖像3 338張。圖像原始的分辨率為3 120×3 120像素，保存為jpg格式。根據(jù)國標(biāo)GB/T6192-2019中黑木耳品質(zhì)標(biāo)準(zhǔn)，本文將黑木耳干制品圖像數(shù)據(jù)分為4個不同的類別，包括干黑木耳一等品、干黑木耳二等品、干黑木耳三等品、霉?fàn)€黑木耳。此外將干黑木耳一等品、干黑木耳二等品、干黑木耳三等品放在清水中浸泡10 min左右，待其濕潤后獲取鮮黑木耳一等品、鮮黑木耳二等品和鮮黑木耳三等品的數(shù)據(jù)樣本。由于鮮黑木耳與干黑木耳在實際應(yīng)用中易于區(qū)分，因此本研究對干黑木耳數(shù)據(jù)和鮮黑木耳數(shù)據(jù)分別建模。黑木耳各品質(zhì)數(shù)據(jù)樣本如圖1所示。

注：鮮黑木耳一等品、鮮黑木耳二等品、鮮黑木耳三等品為干黑木耳一等品、干黑木耳二等品、干黑木耳三等品放在清水中浸泡10 min所得數(shù)據(jù)樣本。

僅按照國標(biāo)GB/T6192-2019文件標(biāo)準(zhǔn)對數(shù)據(jù)劃分會存在部分?jǐn)?shù)據(jù)樣本難以界定具體品質(zhì)的情況，導(dǎo)致數(shù)據(jù)辨別誤差大，影響模型訓(xùn)練精度。為進一步保證黑木耳數(shù)據(jù)的準(zhǔn)確性與可靠性，本研究邀請到吉林農(nóng)業(yè)大學(xué)食品工程學(xué)院相關(guān)專家對黑木耳數(shù)據(jù)進行品質(zhì)鑒定，并將鑒別完成的數(shù)據(jù)存放到相應(yīng)的文件夾中，作為研究的自建數(shù)據(jù)集。此外，將干黑木耳中的一等品、二等品、三等品和霉?fàn)€耳共4類，以阿拉伯?dāng)?shù)字0、1、2、3進行數(shù)據(jù)標(biāo)記。并且將鮮黑木耳中的一等品、二等品、三等品以4、5、6進行數(shù)據(jù)標(biāo)記。將所得2 264張干黑木耳和1 074張鮮黑木耳RGB圖像均按照8:2的比例進行隨機劃分。其中，干黑木耳數(shù)據(jù)訓(xùn)練集包含1 808張圖像，驗證集包含456張圖像。鮮黑木耳數(shù)據(jù)訓(xùn)練集包含872張圖像，驗證集包含202張圖像。數(shù)據(jù)的詳細(xì)信息如表1所示。

表1 黑木耳圖像數(shù)據(jù)集說明

1.2 數(shù)據(jù)預(yù)處理

在黑木耳品質(zhì)分級的試驗任務(wù)中，為避免因數(shù)據(jù)量不足而造成訓(xùn)練模型過擬合的問題，現(xiàn)針對實地拍攝的黑木耳數(shù)據(jù)采用隨機旋轉(zhuǎn)、隨機翻轉(zhuǎn)、高斯噪聲3種數(shù)據(jù)增強方法進行數(shù)據(jù)擴充。隨機旋轉(zhuǎn)將對原始黑木耳圖像進行0°～360°隨機調(diào)整；隨機翻轉(zhuǎn)將對原始黑木耳圖像沿水平和垂直方向隨機變換；為控制高斯噪聲對黑木耳圖像的干擾強度，將高斯分布均值設(shè)置為0.2、標(biāo)準(zhǔn)差設(shè)置為0.3。通過數(shù)據(jù)增強方法對實地采集的黑木耳數(shù)據(jù)擴充至原始數(shù)據(jù)的4倍，2 264張原始干黑木耳圖像擴充到9 056張，1 074張原始鮮黑木耳圖像擴充到4 296張（表1）。通過數(shù)據(jù)增強方式可以豐富樣本特征的多樣性，改善模型的泛化能力，并使得模型在訓(xùn)練過程中提高對各品質(zhì)黑木耳數(shù)據(jù)有效信息的敏感度。

2 MICS-CoTNet網(wǎng)絡(luò)模型

MICS-CoTNet模型結(jié)構(gòu)圖如圖2所示。首先，模型輸入層將分辨率為224×224的黑木耳圖像轉(zhuǎn)化為R、G、B三通道的像素矩陣。其次，經(jīng)注意力模塊CNAM、淺層特征提取模塊Inverted Block和深層特征提取模塊MCoT Block學(xué)習(xí)黑木耳圖像中有效像素信息。最后將提取到的黑木耳數(shù)據(jù)關(guān)鍵特征信息輸入到全連接層。通過全連接層將所得的特征像素矩陣轉(zhuǎn)換為特征向量，經(jīng)映射輸出實現(xiàn)黑木耳數(shù)據(jù)品質(zhì)分類的全過程。表2為CoTNet和MICS-CoTNet具體結(jié)構(gòu)數(shù)據(jù)對比。

注：Stage為MICS-CoTNet模型層次名稱；IB為淺層特征提取模塊Inverted Block；MB為深層特提取模塊MCoT Block; s為步長；7×7conv表示卷積核尺寸為7的卷積；1×1conv表示卷積核尺寸為1的卷積；Gelu為Gelu激活函數(shù)；BN為批歸一化層；3Max p表示池化核尺寸為3的最大池化；DSC為深度可分離卷積。

表2 CoTNet和MICS-CoTNet具體結(jié)構(gòu)對比

注：Avgpool為平均池化層；Fc為全連接層。

Note: Avgpool is the average pooling layer; Fc is full connection layer.

2.1 優(yōu)化CoTNet

CoTNet是在ResNet50[24]模型的基礎(chǔ)上，以CoT block替代殘差結(jié)構(gòu)中的3×3的卷積。為避免CoTNet模型網(wǎng)絡(luò)層數(shù)過深導(dǎo)致對黑木耳圖像特征感知力趨于飽和，本文將CoTNet模型中主干提取特征層Block堆疊的次數(shù)由3、4、6、3調(diào)整至2、2、3、1，以降低模型參數(shù)容量，減少對黑木耳圖像特征的過度學(xué)習(xí)。此外，將激活函數(shù)統(tǒng)一為Gelu。Gelu相較于Relu激活函數(shù)加入了隨機正則的方式，以保證模型高效非線性輸出并提升模型魯棒性。

CoT block為CoTNet模型核心特征提取模塊。該模塊首先從輸入特征中獲取到3種特征向量，分別是數(shù)據(jù)的查詢值（），關(guān)鍵字（）和變量值（）。通過使用分組卷積以捕捉局部特征的有效表達(dá)。然后與拼接并進行連續(xù)的1×1卷積運算，用來豐富局部視野內(nèi)的細(xì)節(jié)信息。最后與進行相似度的運算，捕捉全局信息同時加強模型動態(tài)學(xué)習(xí)能力，詳細(xì)結(jié)構(gòu)如圖3a所示。雖然在CoT block中使用3×3的分組卷積可以強化靜態(tài)特征信息的學(xué)習(xí)，但是該方式會造成信息傳遞不流通，制約模型在黑木耳品質(zhì)分級任務(wù)中的性能。此外，本文采集的黑木耳數(shù)據(jù)細(xì)節(jié)特征豐富，使用固定大小的卷積核對黑木耳數(shù)據(jù)的關(guān)鍵信息特征進行捕捉時會伴隨著無用特征的摻雜。為解決上述問題，本文提出一種多尺度深度可分離卷積（multiscale depth separable convolution，MDSC）模塊，以優(yōu)化CoT block模塊的局部信息提取效果，改進的CoT block模塊結(jié)構(gòu)見圖3b。MDSC的結(jié)構(gòu)如圖3c所示，其核心卷積模塊是卷積核尺寸分別為3、5和7的深度可分離卷積（depthwise separable convolution，DSC）。使用卷積核尺寸為5的DSC分別與尺寸為3和7的DSC進行權(quán)值融合，用于增加局部信息量，強化局部特征學(xué)習(xí)。再使用維度融合方法將不同卷積所得的特征信息融合，促進信息流通的同時獲取不同感受野的圖像特征，進而提升CoTNet模型的識別性能。

此外，標(biāo)準(zhǔn)CoTNet雖然在中引入分組卷積對局部特征信息進行捕捉，但在CoT block自注意力機制下，聚焦的是全局感受野條件下的局部信息。CoTNet模型整體仍缺乏局部信息的感知能力，對黑木耳局部關(guān)鍵特征無法高效提取，同時受數(shù)據(jù)容量的限制造成過擬合。針對如上問題，本文對CoTNet網(wǎng)絡(luò)做出改進，去除CoTNet中原有的Stage1和Stage2中的Block，引入MobileNetV2[25]網(wǎng)絡(luò)中的Inverted Block至CoTNet網(wǎng)絡(luò)的Stage1和Stage2，深化CoTNet網(wǎng)絡(luò)對黑木耳圖像局部特征信息的感知能力。此外，Inverted Block采用一種維度大小反復(fù)轉(zhuǎn)換的方式，可以避免維度壓縮帶來的特征損失，并且DSC作為其核心卷積模塊會顯著降低CoTNet網(wǎng)絡(luò)的計算負(fù)載。

注：V為輸入特征向量的變量值；Q為輸入特征向量的查詢值；K為輸入特征向量的關(guān)鍵字；3GC表示卷積核尺寸為3的分組卷積；1conv表示卷積核尺寸為1的卷積；3DSC、5DSC、7DSC分別表示卷積核尺寸為3、5、7的深度可分離卷積；cat表示Concat運算方式。

2.2 CNAM注意力機制

在黑木耳品質(zhì)分級的過程中存在特征冗余的干擾，致使網(wǎng)絡(luò)對局部關(guān)鍵像素權(quán)重的關(guān)注度不理想，抑制著網(wǎng)絡(luò)對黑木耳品質(zhì)的精準(zhǔn)判斷。

注意力機制采用對權(quán)重信息再分配的方式，來增強關(guān)鍵權(quán)值信息的表達(dá)，以降低上述負(fù)面影響。坐標(biāo)注意力（coordinate attention，CA）[26]機制雖然具有通道信息和位置信息的同時注入，但是由于該注意力模塊會對獲取的特征降維衰減，影響模塊的識別精度。圖4a為CA結(jié)構(gòu)，CA模塊通過conv1對輸入的特征圖維度進行壓縮，以h_conv2和w_conv2恢復(fù)特征圖維度，同時獲取特征圖的水平分量和垂直分量。上述過程使用conv1對特征圖維度壓縮雖然會有效保留模塊的計算量，但也會造成黑木耳圖像部分有效特征信息缺失，制約著注意力模塊的高性能表現(xiàn)。此外，歸一化注意力（normalization-based attention module，NAM）[27]機制雖然一定程度上降低了模塊計算冗余，但是由于其缺乏黑木耳關(guān)鍵權(quán)值的有效位置信息，使得其在黑木耳品質(zhì)分類任務(wù)中達(dá)不到理想效果。

本文在CA和NAM的基礎(chǔ)上，提出坐標(biāo)歸一化注意力（coordinate normalized attention module, CNAM）。CNAM首先在水平和垂直方向上使用全局平均池化的方法，將輸入的××特征圖像分別下采樣至××1和×1×維度，獲取輸入特征圖的空間位置信息。其次，融合不同維度信息，將信息輸入至NAM中。NAM以歸一化層（batch normalization, BN）中的縮放因子衡量通道維度和空間維度權(quán)值信息的重要性，抑制無關(guān)權(quán)值信息。同時保證輸入輸出維度一致，防止黑木耳關(guān)鍵像素特征在信息傳遞中丟失，有效降低CA中conv1卷積操作帶來的計算量。最后，將所得特征分量拆分與升維，并以激活函數(shù)將所得特征圖非線性變換，促使水平分量與垂直分量共同與輸入模塊的原始特征相乘。CNAM詳細(xì)結(jié)構(gòu)如圖4b所示。

注：avg表示自適應(yīng)池化；BN_R表示批歸一化層和Relu激活函數(shù)；h_conv是指沿垂直方向卷積運算；w_conv是指沿水平方向卷積運算；γ是通道維度的縮放因子，下標(biāo)數(shù)字代表不同通道維度；λ是空間維度的縮放因子，下標(biāo)數(shù)字代表不同空間維度；H是特征圖的高度；W是特征圖的寬度；C是特征圖的通道數(shù)。

2.3 CoTNet模型4種優(yōu)化變體

根據(jù)上文（2.1和2.2節(jié)）所提優(yōu)化方案，本文設(shè)計出基于CoTNet模型的S-CoTNet、CS-CoTNet、ICS-CoTNet和MICS-CoTNet 4種優(yōu)化變體模型。

1）S-CoTNet模型：基于CoTNet模型，優(yōu)化模型結(jié)構(gòu)。將CoTNet模型中主干特征提取模塊的堆疊層數(shù)由16層調(diào)整至8層，并將網(wǎng)絡(luò)中的激活函數(shù)由Relu替換為Gelu，降低CoTNet模型中無關(guān)特征層的權(quán)重信息干擾，優(yōu)化模型計算效率，將所得模型命名為S-CoTNet。

2）CS-CoTNet模型：以NAM模塊優(yōu)化CA模塊中復(fù)雜卷積的運算負(fù)載，得到改進注意力模塊（CNAM）。將CNAM模塊載入S-CoTNet模型，強化S-CoTNet模型的特征學(xué)習(xí)能力，并將模型命名為CS-CoTNet。

3）ICS-CoTNet模型：去除CS-CoTNet模型中前4層主干特征提取模塊，將MobileNetV2網(wǎng)絡(luò)中輕量型卷積模塊Inverted Block引入CS-CoTNet模型，以降低CS-CoTNet模型較淺特征層存在的計算冗余，提升CS-CoTNet模型對細(xì)節(jié)像素信息的辨識度，并將模型命名為ICS-CoTNet。

4）MICS-CoTNet模型：基于ICS-CoTNet模型，將自注意力機制模塊（CoT block）中的分組卷積更換為MDSC模塊，從而優(yōu)化ICS-CoTNet模型特征信息的傳遞效率，得到最終的MICS-CoTNet模型。

2.4 模型評價指標(biāo)

為客觀分析MICS-CoTNet模型的有效性，本文以模型占用內(nèi)存、參數(shù)量、畫面每秒傳輸幀數(shù)（frame per second，F(xiàn)PS）、浮點計算量（floating points of operations，F(xiàn)LOPs，記為）、準(zhǔn)確率Accarucy、精確率Precision、召回率Recall、F1值等性能參數(shù)為指標(biāo)進行評價。模型占用內(nèi)存、參數(shù)量、FPS、FLOPs評價指標(biāo)可以有效衡量模型輕量性能。FPS是評價模型計算速度的指標(biāo)，數(shù)值越高，模型檢測速度越快。FLOPs是衡量模型復(fù)雜度的指標(biāo)，值越低，說明模型所消耗的計算量越小，模型越輕量。的計算方法如式（1）所示。

=(2K2?1)+(2?1)（1）

式中為卷積層輸入通道數(shù)，為卷積層輸出通道數(shù)，為卷積核大小，、為卷積層輸出特征圖的高度和寬度，、為全連接層中的輸入和輸出數(shù)。

本研究采用準(zhǔn)確率、精確率、召回率、F1值參數(shù)對黑木耳品質(zhì)分級準(zhǔn)確性能進行評價。準(zhǔn)確率表明黑木耳被正確識別的總體狀況。F1值權(quán)衡召回率和精確率2個模型指標(biāo)，能夠綜合評估模型準(zhǔn)確性能。召回率和精確率則是對F1值的細(xì)致說明，分別反映出在預(yù)測和實際樣本中黑木耳被準(zhǔn)確識別的情況。

3 試驗與結(jié)果分析

3.1 試驗環(huán)境

圖5為試驗中所使用的服務(wù)器設(shè)備和模型部署設(shè)備。訓(xùn)練模型的服務(wù)器設(shè)備操作系統(tǒng)為Windows10，軟件環(huán)境配置為Python3.8+Pytorch1.9.0。硬件設(shè)備采用的CPU型號為Intel i7-7820X，主頻3.60 Ghz；GPU為兩張TitanXp，顯存12.0 G，CUDA版本11.0。模型部署設(shè)備Jetson TX2 NX使用操作系統(tǒng)為Ubuntu18.04，軟件環(huán)境配置為Python3.8+Pytorch1.8.0。硬件設(shè)備采用的CPU型號為ARM Cortex-A57；GPU型號為Pascal，4 GB內(nèi)存。

圖5 試驗設(shè)備

3.2 模型訓(xùn)練與模型部署

將輸入模型的圖像分辨率統(tǒng)一調(diào)整為224×224，選擇Ranger作為訓(xùn)練模型的優(yōu)化器。設(shè)置初始學(xué)習(xí)率為0.001，同時模型每訓(xùn)練10輪，學(xué)習(xí)率衰退0.1倍。為平衡硬件設(shè)備的內(nèi)存空間和模型的優(yōu)化效果，通過相關(guān)試驗表明模型訓(xùn)練迭代次數(shù)和批處理大小分別設(shè)置為50和48時，模型性能表現(xiàn)為最佳。由于實地采集的黑木耳數(shù)據(jù)獲取條件存在局限，不同品質(zhì)的樣本數(shù)量分布不均衡，使得不同類別存在著不同的識別難度，模型訓(xùn)練存在過擬合問題。針對上述情況，采用Focal loss作為訓(xùn)練模型的損失函數(shù)，使模型在訓(xùn)練過程中對難識別樣本著重分配權(quán)重，易識別樣本減少權(quán)重分配，達(dá)到優(yōu)化模型訓(xùn)練效果。

此外，本文將最佳模型訓(xùn)練權(quán)重以pth文件類型保存。為驗證模型在黑木耳品質(zhì)分級實際應(yīng)用中的可行性，本研究將MICS-CoTNet模型訓(xùn)練的權(quán)重文件移植到模型部署設(shè)備Jetson TX2 NX中，并與其他模型進行對比試驗。通過FPS值評價多模型在Jetson TX2 NX設(shè)備中圖像識別速度，以驗證本文提出的方法在黑木耳品質(zhì)分級實際應(yīng)用中的實時性和可行性。

3.3 優(yōu)化器選擇

本文對MICS-CoTNet模型使用6種不同的優(yōu)化器進行試驗，并對其性能表現(xiàn)加以評估。采用的優(yōu)化器包括SGD（stochastic gradient descent）、Adam（adaptive moment estimation）、RAdam（adamrectified adam）、AdamW（adam weight decay optimizer）、RMSprop（root mean square propagation）和Ranger。MICS-CoTNet模型在不同優(yōu)化器條件下模型識別準(zhǔn)確率和損失曲線見圖6。在模型訓(xùn)練的前20個輪次，SGD、Adam、RAdam、AdamW和RMSprop等5種優(yōu)化器都存在不同程度的損失，其中RMSprop優(yōu)化器波動程度最高，在干黑木耳數(shù)據(jù)中損失在0.02～2.4之間，鮮黑木耳數(shù)據(jù)中損失在0.02～1.6之間；而Ranger優(yōu)化器在干黑木耳和鮮黑木耳數(shù)據(jù)中損失均在0.01～0.2之間。使用Ranger優(yōu)化器在干黑木耳和鮮黑木耳數(shù)據(jù)中識別準(zhǔn)確率曲線變化最為平滑，始終保持在0.8～1.0區(qū)間，且曲線擬合速率更快，初始識別準(zhǔn)確率在80%以上。說明Ranger優(yōu)化器能夠讓模型加速收斂，提升模型識別準(zhǔn)確性。因此，本文選用Ranger優(yōu)化器訓(xùn)練模型。

3.4 消融試驗

為驗證本文所提方法在黑木耳品質(zhì)分級任務(wù)中的性能，本試驗以MICS-CoTNet模型與標(biāo)準(zhǔn)CoTNet以及其余3個變體模型（S-CoTNet、CS-CoTNet、ICS-CoTNet）進行性能對比分析。本研究分別從準(zhǔn)確率、精確率、召回率、F1值、模型占用內(nèi)存、浮點計算量和模型參數(shù)量7個方面綜合評估模型改進前后的性能效果，比較結(jié)果見表3。S-CoTNet相較于CoTNet模型參數(shù)量有效減少，并且準(zhǔn)確性能得到提升。說明適當(dāng)減少網(wǎng)絡(luò)的深度可以改善黑木耳數(shù)據(jù)淺層特征的提取效果。S-CoTNet模型分別加入CA和NAM注意力的準(zhǔn)確性能表現(xiàn)均低于加入CNAM注意力模塊的CS-CoTNet模型，證明CNAM注意力模塊性能較CA和NAM注意力模塊表現(xiàn)更佳。ICS-CoTNet模型相較于CS-CoTNet模型在準(zhǔn)確性能各評判指標(biāo)上都有著明顯的改善，并且計算量明顯降低，說明卷積模塊相對Transformer模塊對黑木耳數(shù)據(jù)的局部特征信息有較好的感知能力。雖然MICS-CoTNet模型相較于ICS-CoTNet模型多占用1.27M的內(nèi)存資源，但在識別準(zhǔn)確性能方面優(yōu)勢明顯。在干黑木耳數(shù)據(jù)中，MICS-CoTNet模型識別準(zhǔn)確率達(dá)到98.45%，F(xiàn)1值達(dá)到98.20%。此外，在鮮黑木耳數(shù)據(jù)中，識別準(zhǔn)確率達(dá)到98.89%，F(xiàn)1值達(dá)到98.75%。MICS-CoTNet模型的準(zhǔn)確性能表現(xiàn)最佳，證明了本研究提出模型的有效性。

圖6 不同優(yōu)化器條件下MICS-CoTNet性能

表3 MICS-CoTNet模型設(shè)計性能對比結(jié)果

為進一步分析模型訓(xùn)練的擬合狀態(tài)，本研究繪制了干黑木耳與鮮黑木耳的識別準(zhǔn)確率和損失曲線，見圖7。從曲線整體變化分析，這5個模型經(jīng)過20個訓(xùn)練輪次之后都漸漸趨于收斂，波動幅度變小。S-CoTNet在前20個訓(xùn)練輪次之前波動損失程度較深，而加入CNAM注意力模塊之后波動程度明顯改善，說明CNAM注意力模塊的加入使網(wǎng)絡(luò)產(chǎn)生的特征映射更具判別能力，并讓其在黑木耳品質(zhì)分級任務(wù)上有著更佳的像素推理效果。MICS-CoTNet模型的識別準(zhǔn)確率和損失曲線波動幅度最小，收斂速率最快，沒有出現(xiàn)過擬合和欠擬合狀態(tài)。

圖7 CoTNet及4種變體模型性能對比

3.5 多模型對比分析

將本文提出的MICS-CoTNet應(yīng)用于黑木耳品質(zhì)分級任務(wù)，并與在圖像識別任務(wù)中表現(xiàn)優(yōu)秀的12種深度學(xué)習(xí)網(wǎng)絡(luò)[28-38]對比分析。為確保多模型對比試驗在黑木耳品質(zhì)分類任務(wù)上公平進行，本研究將模型的訓(xùn)練參數(shù)保持一致，各模型F1值見表4。

綜合表4中所有模型F1值可知，干黑木耳三等品、霉?fàn)€耳和鮮黑木耳二等品中F1值在46.13%～98.11%。說明模型識別過程中，上述3種品質(zhì)黑木耳的部分?jǐn)?shù)據(jù)存在局部特征表現(xiàn)不明顯的情況，模型未準(zhǔn)確捕捉到部分樣本中的分類關(guān)鍵特征信息，僅抓取到主體特征信息因而造成分類混淆。從各模型分類表現(xiàn)來看，作為Transformer網(wǎng)絡(luò)系列的ViT base和Swin base模型在干黑木耳數(shù)據(jù)集中的F1值分別為71.72%和60.13%，鮮黑木耳數(shù)據(jù)集中為88.68%和80.08%?？梢妴我籘ransformer網(wǎng)絡(luò)在黑木耳品質(zhì)分級任務(wù)上受數(shù)據(jù)容量條件的制約，抑制著其特征提取的表現(xiàn)張力，未能達(dá)到理想的識別效果。本試驗中的CoTNet、BotNet和MobileViT s模型是CNN與Transformer相結(jié)合的網(wǎng)絡(luò)，F(xiàn)1值在干黑木耳數(shù)據(jù)中均達(dá)到84%以上，鮮黑木耳數(shù)據(jù)中均達(dá)到94%以上。證明了CNN網(wǎng)絡(luò)和Transformer網(wǎng)絡(luò)相結(jié)合的可行性，但是仍不能滿足黑木耳品質(zhì)高精度分類的需求。本文提出的MICS-CoTNet模型在干黑木耳一等品、干黑木耳二等品、干黑木耳三等品、霉?fàn)€耳、鮮黑木耳一等品和鮮黑木耳二等品中的F1值均達(dá)到最佳，分別為99.68%、98.87%、96.93%、97.34%、99.71%和98.11%。說明本文提出的融合CNN和Transformer的MICS-CoTNet模型在黑木耳品質(zhì)分級任務(wù)中準(zhǔn)確性能優(yōu)異，可以實現(xiàn)黑木耳品質(zhì)高精度分級。

表4 多模型在不同品質(zhì)黑木耳的F1值

表5為MICS-CoTNet和多模型綜合性能評析結(jié)果。代表輕量性能的MobileNetV3 l、GhostNet和MobileViT s等模型雖然在FLOPs、模型占用內(nèi)存、參數(shù)量和FPS等指標(biāo)性能表現(xiàn)優(yōu)異，但是其識別誤差率較高。本文提出的MICS-CoTNet模型在干黑木耳數(shù)據(jù)中的準(zhǔn)確率、精確率、召回率和F1值分別為98.45%、98.30%、98.15%和98.20%，鮮黑木耳數(shù)據(jù)中分別為98.89%、98.84%、98.68%和98.75%。并且MICS-CoTNet模型浮點計算量為1.49 G，模型占用內(nèi)存為30.98 M，參數(shù)量為6.04 M。說明MICS-CoTNet模型在各項準(zhǔn)確性能的指標(biāo)均達(dá)到最優(yōu)，且在模型的輕量性能上同樣具備優(yōu)勢。此外，MICS-CoTNet模型在服務(wù)器和Jetson TX2 NX中的FPS值分別為81、18幀/s，說明本文方法具備穩(wěn)健的像素推理能力，可為不同品質(zhì)黑木耳實時分揀提供重要保障。MICS-CoTNet模型與標(biāo)準(zhǔn)CoTNet模型相比較，占用內(nèi)存減少96.57 M，且準(zhǔn)確性能得到大幅提升。其中干黑木耳識別結(jié)果中，與標(biāo)準(zhǔn)CoTNet模型相比，MICS-CoTNet模型在準(zhǔn)確率、精確率、召回率和F1值4個指標(biāo)上分別提升5.22、5.21、6.88、5.22個百分點；鮮黑木耳識別結(jié)果中分別提升2.60、2.75、2.52、2.63個百分點。綜上所述，本文提出的方法準(zhǔn)確性能高，占用內(nèi)存少，能夠滿足實際生產(chǎn)中的黑木耳品質(zhì)分級的要求。

表5 多模型黑木耳品質(zhì)識別結(jié)果

3.6 MICS-CoTNet模型可視化試驗結(jié)果

本研究采用混淆矩陣方法實現(xiàn)了模型識別的可視化結(jié)果（圖8）。在4類不同品質(zhì)的干黑木耳數(shù)據(jù)中，MICS-CoTNet模型識別結(jié)果分別高于CoTNet模型0.09、0.04、0.08和0.01。此外，在3類鮮黑木耳數(shù)據(jù)中，MICS-CoTNet模型識別結(jié)果分別高于CoTNet模型0.01、0.04和0.02。說明MICS-CoTNet模型能夠更高效地抓取不同品質(zhì)類型黑木耳圖像之間存在的細(xì)微特征差別。綜上分析，MICS-CoTNet方法識別誤差小，適合實際生產(chǎn)中的黑木耳品質(zhì)分級任務(wù)。

為直觀表現(xiàn)MICS-CoTNet模型提取的有效信息，本文應(yīng)用Grad-Cam方法，實現(xiàn)了圖9所示的可視化結(jié)果。Grad-Cam使用不同色顏色表示對圖像特征的敏感程度，其中紅色與黃色聚焦的區(qū)域表示模型在識別過程中重點關(guān)注的位置，顏色越深表示該區(qū)域特征越關(guān)鍵。根據(jù)圖9的可視化結(jié)果來看，對于干黑木耳一等品、干黑木耳二等品、鮮黑木耳一等品和鮮黑木耳二等品，本文提出的方法可以排除耳郭正面主體特征的干擾，并高效捕捉耳郭背面豐富的顏色及紋理特征；對于干黑木耳三等品和鮮黑木耳三等品模型則更加側(cè)重于耳郭表面顏色為棕黃色區(qū)域的特征信息；對于霉?fàn)€耳，模型著重提取黑木耳潰爛區(qū)域的特征。

綜上所述，本文提出的方法更加關(guān)注于各類品質(zhì)黑木耳的細(xì)微差別，并能夠正確捕捉各類黑木耳數(shù)據(jù)的關(guān)鍵特征，證明了本研究方法的有效性。

4 結(jié) 論

為提升黑木耳的品質(zhì)識別精度與實時分揀效率，本文基于CNN模型和Transformer模型，提出了一種MICS-CoTNet黑木耳品質(zhì)識別模型，對干黑木耳和鮮黑木耳進行品質(zhì)分級識別。主要結(jié)論如下：

1）通過調(diào)整模型主干特征層的堆疊次數(shù)、改進注意力機制、引入輕量卷積模塊、優(yōu)化模型核心模塊4種策略對基線模型CoTNet進行改進，降低模型內(nèi)存消耗96.57M，大幅提升模型識別準(zhǔn)確率，在干黑木耳與鮮黑木耳數(shù)據(jù)中分別提升了5.22和2.60個百分點。證明本研究的改進方法能夠穩(wěn)健提升模型對黑木耳像素信息的特征感知力。

2）MICS-CoTNet模型在干黑木耳數(shù)據(jù)中F1值為98.20%，在鮮黑木耳數(shù)據(jù)中F1值為98.75%，遠(yuǎn)高于ViT base模型在干黑木耳和鮮黑木耳數(shù)據(jù)中的F1值（71.72%和88.68%）。說明MICS-CoTNet模型相較于單一Transformer模型線性擬合能力更強。

3）MICS-CoTNet模型實際內(nèi)存消耗30.98 M，在可移動設(shè)備端的實時推理速度達(dá)到18幀/s。證明本研究提出的CNN和Transformer融合模型具備穩(wěn)健的運算效率，能夠滿足黑木耳品質(zhì)分級的實際應(yīng)用。

本文提出的MICS-CoTNet黑木耳品質(zhì)識別模型準(zhǔn)確率高、內(nèi)存消耗小，能夠?qū)崿F(xiàn)對黑木耳品質(zhì)分級的實際生產(chǎn)應(yīng)用。后續(xù)將對MICS-CoTNet模型進行進一步優(yōu)化，并在可移動設(shè)備上進行黑木耳品質(zhì)分級試驗，并對其他農(nóng)產(chǎn)品品質(zhì)分級進行試驗，測試本模型的泛化能力。

[1] PAK S J, CHEN F, MA L, et al. Functional perspective of black fungi (Auricularia auricula): Major bioactive components, health benefits and potential mechanisms[J]. Trends in Food Science & Technology, 2021, 114: 245-261.

[2] 孫海蛟，王術(shù)娥，王玉明，等. 黑木耳的營業(yè)價值及深加工[J]. 食品安全導(dǎo)刊，2022，(17)：110-112. SUN Haijiao, WANG Shue, WANG Yuming, et al. Business value and deep processing of black fungus[J]. Food Safety Guide, 2022, (17): 110-112. (in Chinese with English abstract)

[3] KANG M A, JEON Y K, NAM M J. Auricularia auricula increases an apoptosis in human hepatocellular carcinoma cells via a regulation of the peroxiredoxin1[J]. Journal of Food Biochemistry, 2020, 44(10): e13373.

[4] THAKUR P S, TIWARI B, KUMAR A, et al. Deep transfer learning based photonics sensor for assessment of seed-quality[J]. Computers and Electronics in Agriculture, 2022, 196: 106891.

[5] LI L, HU D Y, TANG T Y, et al. Nondestructive testing of the quality of different grades of creamy strawberries based on Laida algorithm[J]. Journal of Food Processing and Preservation, 2022, 46(11): e17008.

[6] 王新龍，李翔. 基于分類特征提取和深度學(xué)習(xí)的牛肉品質(zhì)識別[J]. 食品與機械，2022，38(7)：91-98. WANG Xinlong, LI Xiang. Beef quality recognition based on classification feature extraction and deep learning[J]. Food and Machinery, 2022, 38(7): 91-98. (in Chinese with English abstract)

[7] KHORRAMIFAR A, KARAMI H, WILSON A D, et al. Grape cultivar identification and classification by machine olfaction analysis of leaf volatiles[J]. Chemosensors, 2022, 10(4): 125.

[8] CHEN Z, HE L, YE Y, et al. Automatic sorting of fresh tea leaves using vision-based recognition method[J]. Journal of Food Process Engineering, 2020, 43(9): e13474.

[9] LU X, WANG J, LU G, et al. Quality level identification of West Lake Longjing green tea using electronic nose[J]. Sensors and Actuators B: Chemical, 2019, 301: 127056.

[10] 孫麗萍，張希萌，何睿，等. 基于SVM的近紅外黑木耳多糖含量分類[J]. 電子科技，2019，32(8)：16-21. SUN Liping, ZHANG Ximeng, HE Rui, et al. SVM-based classification of polysaccharide content in the near-infrared black fungus [J]. Electronic Science and Technology, 2019, 32(8): 16-21. (in Chinese with English abstract)

[11] DING Y, YAN Y, LI J, et al. Classification of tea quality levels using near-Infrared spectroscopy based on CLPSO-SVM[J]. Foods, 2022, 11(11): 1658.

[12] 朱德利，文瑞，熊俊逸，等. 融合坐標(biāo)注意力機制的輕量級玉米花絲檢測[J]. 農(nóng)業(yè)工程學(xué)報，2023，39(3)：145-153. ZHU Deli, WEN Rui, XIONG Junyi, et al. Lightweight corn silk detection network incorporating with coordinate attention mechanism[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(3): 145-153. (in Chinese with English abstract)

[13] 蘇旭，黃驍力，王春，等. 基于深度學(xué)習(xí)與融合地形特征的黃土陷穴面向?qū)ο筇崛》椒╗J]. 農(nóng)業(yè)工程學(xué)報，2022，38(10)：102-110. SU Xu, HUANG Xiaoli, WANG Chun, et al. Object-oriented extraction method for loess sinkholes based on deep learning and integrated terrain features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(10): 102-110. (in Chinese with English abstract)

[14] SHE C, SUN C, GU Z, et al. A tutorial on ultrareliable and low-latency communications in 6G: Integrating domain knowledge into deep learning[J]. Proceedings of the IEEE, 2021, 109(3): 204-246.

[15] MINAEE S, KALCHBRENNER N, CAMBRIA E, et al. Deep learning--based text classification: A comprehensive review[J]. ACM Computing Surveys (CSUR), 2021, 54(3): 1-40.

[16] 滕光輝，冀橫溢，莊晏榕，等. 深度學(xué)習(xí)在豬只飼養(yǎng)過程的應(yīng)用研究進展[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(14)：235-249. TENG Guanghui, JI Hengyi, ZHUANG Yanrong, et al. Research progress of deep learning in the process of pig feeding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(14): 235-249. (in Chinese with English abstract)

[17] ERBAS N, CINARER G, KILIC K. Classification of hazelnuts according to their quality using deep learning algorithms[J]. Czech Journal of Food Sciences, 2022, 40(3): 240-248.

[18] SUN L, LIANG K, SONG Y, et al. An improved CNN-Based apple appearance quality classification method with small samples[J]. IEEE Access, 2021, 9: 68054-68065.

[19] NI J, LIU B, LI J, et al. Detection of carrot quality using DCGAN and deep network with squeeze-and-excitation[J]. Food Analytical Methods, 2022, 15(5): 1432-1444.

[20] LI X, CAI C, ZHENG H, et al. Recognizing strawberry appearance quality using different combinations of deep feature and classifiers[J]. Journal of Food Process Engineering, 2022, 45(3): e13982.

[21] ZHAO M, CAO G, HUANG X, et al. Hybrid Transformer-CNN for real image denoising[J]. IEEE Signal Processing Letters, 2022, 29: 1252-1256.

[22] WANG T, LAN J, HAN Z, et al. O-Net: A novel framework with deep fusion of CNN and transformer for simultaneous segmentation and classification[J]. Frontiers in Neuroscience, 2022, 16: 876065.

[23] LI Y, YAO T, PAN Y, et al. Contextual transformer networks for visual recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 1489-1500.

[24] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.

[25] SANDLER M, HOWARD A, ZHU M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, US: IEEE, 2018: 4510-4520.

[26] HOU Q, ZHOU D, FENG J. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, US: IEEE, 2021: 13713-13722.

[27] LIU Y, SHAO Z, TENG Y, et al. NAM: Normalization-based attention module[EB/OL]. (2021-11-24)[2022-12-15]. https://arxiv.org/abs/2111.12419.

[28] TAN M, LE Q. EfficientNetv2: Smaller models and faster training[C]// International Conference on Machine Learning (ICML). Online: IMLS, 2021: 10096-10106.

[29] SRINIVAS A, LIN T Y, PARMAR N, et al. Bottleneck transformers for visual recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, US: IEEE, 2021: 16519-16529.

[30] ZHANG H, WU C, ZHANG Z, et al. ResNeSt: Split-attention networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 2736-2746.

[31] HUANG G, LIU Z, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, US: IEEE, 2017: 4700-4708.

[32] LIU Z, MAO H, WU C Y, et al. A ConvNet for the 2020s[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, US: IEEE, 2022: 11976-11986.

[33] BROCK A, DE S, SMITH S L, et al. High-performance large-scale image recognition without normalization[C]// International Conference on Machine Learning.New York, US: PMLR, 2021: 1059-1071.

[34] HAN K, WANG Y, TIAN Q, et al. GhostNet: More features from cheap operations[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, US: IEEE, 2020: 1580-1589.

[35] HOWARD A, SANDLER M, CHU G, et al. Searching for mobilenetv3[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, Korea: IEEE, 2019: 1314-1324.

[36] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16x16 words: Transformers for image recognition at scale[EB/OL]. (2020-10-22)[2021-06-03]. https://arxiv.org/abs/2010.11929.

[37] LIU Z, LIN Y, CAO Y, et al. Swin Transformer: Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal, Canada: IEEE, 2021: 10012-10022.

[38] MEHTA S, RASTEGARI M. MobileViT: Light-weight, general-purpose, and mobile-friendly vision transformer [EB/OL]. (2021-10-05)[2022-03-04]. https://arxiv.org/abs/ 2110.02178.

Method for the classification of black fungus quality using MICS-CoTNet

XU Yanlei, WANG Qi, ZHAI Yuting, GAO Zhiyuan, XING Lu, CONG Xue, ZHOU Yang※

(,,130118,)

Black fungus has been ever-increasing in the market at present, due to its high nutritional value and remarkable economic benefits. However, the manual grading of black fungus quality cannot fully meet the large-scale production in recent years. In addition, the mesh machine filter can be only confined to the size of black fungus as the classification feature. A huge challenge has been posed on the classification accuracy of different quality black fungus on the market. In this study, a MICS-CoTNet network model was proposed to realize the quality grading for the various quality dried and fresh fungus using deep learning. The experimental data was collected from the black fungus cultivation base in Dunhua, Jilin Province, China. Firstly, the number of stacks was fine-tuned for the backbone feature layers of the CoTNet model. The activation function was then unified as the Gelu to reduce the computational redundancy in the model. The computational effectiveness of the model was optimized to improve the overall robustness of the model. Secondly, an improved attention module (known as CNAM) was proposed. In particular, the computational load of complex convolution in the coordinate attention (CA) was optimized by the normalized attention module (NAM), in order to avoid the feature loss from dimensional compression operations in the CA attention module. Thirdly, a backbone feature extraction module in the MobileNetV2 model (the Inverted Block) was introduced into the MICS-CoTNet model, in order to improve the recognition of detailed pixel information of black fungus images. Finally, a multi-scale convolutional module (MDSC) was proposed to optimize the local information extraction of CoT block, the core module of the MICS-CoTNet model. Specifically, the grouped convolution in the CoT block module was replaced by the multi-scale convolution module, which significantly improved the efficiency of model feature information transmission and learning capability. Six optimizers were selected to test the accuracy of the model recognition: SGD, Adam, RAdam, Adamw, RMSprop, and Ranger. The experiment demonstrated that the Ranger optimizer was used as the training model, where the convergence speed of the training model was faster and the accuracy of the model was better. The MICS-CoTNet model was verified to compare with 12 models, including CoTNet, EfficientNetV2, BotNet, ResNeSt, DenseNet, ConvNeXt, NfNet, GhostNet, MobileNetV3, ViT, Swin Transformer, and MobileViT. The MICS-CoTNet model was achieved the best performance in four evaluation indexes. The identification accuracy was 98.45%, the precision was 98.30%, the recall was 98.15%, and the F1 accuracy value was 98.20% in the dried black fungus. By contrast, the identification accuracy was 98.89%, the precision was 98.84%, the recall was 98.68%, and the F1 value was 98.75% in the fresh black fungus. In addition, the parameter capacity of the MICS-CoTNet model was reduced by 96.57 M, compared with the CoTNet model. The MICS-CoTNet model was deployed in the removable device Jetson TX2 NX, in order to achieve the real-time grading of various quality black fungus at an inference speed of (18 Frame/s).

computer vision; deep learning; quality grading; attention mechanism; feature extraction

10.11975/j.issn.1002-6819.202212112

TP391.4

A

1002-6819(2023)-05-0146-10

徐艷蕾，王琦，翟鈺婷，等. 基于MICS-CoTNet的黑木耳品質(zhì)分類方法[J]. 農(nóng)業(yè)工程學(xué)報，2023，39(5)：146-155.doi：10.11975/j.issn.1002-6819.202212112 http://www.tcsae.org

XU Yanlei, WANG Qi, ZHAI Yuting, et al. Method for the classification of black fungus quality using MICS-CoTNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(5): 146-155. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202212112 http://www.tcsae.org

2022-12-15

2023-01-27

吉林省科技發(fā)展計劃重點研發(fā)項目（20230202035NC）；長春市科技局重點科技攻關(guān)項目（21ZGN28）

徐艷蕾，博士，教授，博士生導(dǎo)師，研究方向為農(nóng)業(yè)信息化。Email：yanleixu@jlau.edu.cn

周陽，博士，講師，碩士生導(dǎo)師，研究方向為農(nóng)業(yè)信息化。Email：zhouyang@jlau.edu.cn