劉 雪，沈長盈，呂學(xué)澤，董萌萍，包乾輝，張圓之

基于改進(jìn)MobileNetV3-Large的雞蛋新鮮度識(shí)別模型

劉 雪1，沈長盈1，呂學(xué)澤2,3，董萌萍1，包乾輝1，張圓之1

（1. 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083；2. 中國農(nóng)業(yè)大學(xué)動(dòng)物醫(yī)學(xué)院，北京 100193；3. 北京市畜牧總站，北京 100101）

雞蛋在運(yùn)輸貯存過程中一直伴隨著品質(zhì)的不斷衰減，如何快速、準(zhǔn)確地識(shí)別雞蛋新鮮度是業(yè)界和學(xué)者們共同關(guān)注的話題。針對(duì)雞蛋內(nèi)部氣室和蛋黃等新鮮度特征差異不顯著的問題，該研究提出一種基于改進(jìn)MobileNetV3-Large的輕量級(jí)雞蛋新鮮度識(shí)別模型。首先在深度可分離卷積中引入動(dòng)態(tài)卷積（Dynamic Convolution, DC）模塊，改進(jìn)后的深度可分離動(dòng)態(tài)卷積模塊能夠?yàn)椴煌碾u蛋圖像動(dòng)態(tài)生成卷積核參數(shù)，提高模型特征提取能力；其次在注意力模塊中引入坐標(biāo)注意力（Coordinate Attention, CA）模塊，增強(qiáng)模型對(duì)位置信息的感知能力；最后采用3 276張雞蛋圖像訓(xùn)練并測試改進(jìn)的MobileNetV3-DA模型。試驗(yàn)結(jié)果表明，MobileNetV3-DA模型在測試集上的準(zhǔn)確率為97.26%，分別比ResNet18、VGG19和ShuffleNetV2模型高5.19、0.84和5.91個(gè)百分點(diǎn)；模型參數(shù)量和計(jì)算量分別比MobileNetV3-Large減少1.03和78.64 M；在實(shí)際應(yīng)用中，MobileNetV3-DA模型精確率、召回率和加權(quán)分?jǐn)?shù)的平均值分別為95.95%、95.48%和97.82%，達(dá)到了理想的識(shí)別效果。改進(jìn)的MobileNetV3-DA模型為雞蛋供應(yīng)鏈各環(huán)節(jié)進(jìn)行雞蛋新鮮度快速、準(zhǔn)確識(shí)別提供了算法支持。

農(nóng)產(chǎn)品；品質(zhì)控制；雞蛋新鮮度；MobileNetV3-DA；動(dòng)態(tài)卷積；坐標(biāo)注意力

0 引 言

雞蛋營養(yǎng)價(jià)值豐富，含有人體必需的優(yōu)質(zhì)蛋白質(zhì)，而且價(jià)格低廉，是人類膳食優(yōu)質(zhì)蛋白質(zhì)的重要來源[1]。然而在運(yùn)輸貯存過程中，一直伴隨著雞蛋品質(zhì)的不斷衰減。雞蛋新鮮度的下降不僅會(huì)導(dǎo)致口感、品質(zhì)和營養(yǎng)的損失，影響雞蛋價(jià)值[2-3]，而且雞蛋質(zhì)變產(chǎn)生的微生物污染容易引起食源性疾病爆發(fā)[4]，甚至危及消費(fèi)者的生命健康[5]。因此，如何快速、準(zhǔn)確、低成本地進(jìn)行雞蛋新鮮度識(shí)別一直是業(yè)界和學(xué)術(shù)界共同關(guān)注的問題。

近年來，隨著計(jì)算機(jī)和信息技術(shù)的迅速發(fā)展，國內(nèi)外學(xué)者成功地將計(jì)算機(jī)視覺技術(shù)應(yīng)用于芒果[6]、菠菜[7]和豬肉[8-9]等農(nóng)產(chǎn)品新鮮度識(shí)別中。其中，傳統(tǒng)圖像處理法一般是在人工提取樣本圖像中的顏色、形態(tài)和紋理特征的基礎(chǔ)上[10-11]，構(gòu)建基于特征參數(shù)與新鮮度指標(biāo)相關(guān)聯(lián)的識(shí)別模型。黃辰等[12]通過獲取蘋果圖像中的果徑、缺陷面積、色澤等特征參數(shù)，采用粒子群優(yōu)化的支持向量機(jī)實(shí)現(xiàn)了蘋果的在線分級(jí)；Shi等[13]以羅非魚為研究對(duì)象，選擇瞳孔和鰓為感興趣區(qū)域，建立了顏色空間與理化指標(biāo)的聯(lián)系，實(shí)現(xiàn)了羅非魚新鮮度識(shí)別。基于雞蛋新鮮度衰減過程中氣室[14]和蛋黃[15]等區(qū)域呈現(xiàn)的不同形態(tài)和顏色信息，Qin等[16]提取了雞蛋圖像中的氣室面積比，建立回歸模型驗(yàn)證了氣室面積比與雞蛋新鮮度呈顯著負(fù)相關(guān)；Yao等[17]選取了雞蛋圖像中的蛋黃形態(tài)特征比為特征參數(shù)，發(fā)現(xiàn)新鮮雞蛋的平均蛋黃特征比值約為35%，散黃蛋的平均蛋黃特征比值大于60%，實(shí)現(xiàn)了雞蛋新鮮度識(shí)別；梁丹等[18]根據(jù)雞蛋圖像中氣室和蛋黃等形態(tài)呈現(xiàn)的顏色差異，建立了顏色特征分量與新鮮度的聯(lián)系。傳統(tǒng)圖像處理法能夠?qū)崿F(xiàn)較好的農(nóng)產(chǎn)品新鮮度識(shí)別效果，具有低成本、高準(zhǔn)確率、快速檢測的優(yōu)點(diǎn)，然而由于需要人工提取圖像目標(biāo)特征，所以模型的表達(dá)能力、泛化能力和效率仍然需要進(jìn)一步加強(qiáng)。

深度學(xué)習(xí)技術(shù)的發(fā)展為農(nóng)產(chǎn)品新鮮度識(shí)別研究提供了新思路。目前，深度學(xué)習(xí)技術(shù)已被應(yīng)用于番茄[19]、豬肉[20]和蝦[21]等農(nóng)產(chǎn)品新鮮度識(shí)別。李振波等[22]提出改進(jìn)VGG19的鯧魚新鮮度識(shí)別方法，識(shí)別準(zhǔn)確率高達(dá)99.79%，驗(yàn)證了鯧魚腹部特征是新鮮度識(shí)別最有效的信息；Jiang等[23]在GoogLeNet中引入注意力模塊增強(qiáng)模型對(duì)雞蛋圖像中氣室和蛋黃區(qū)域的關(guān)注，雞蛋新鮮度識(shí)別準(zhǔn)確率達(dá)到94.05%。上述深度學(xué)習(xí)方法在新鮮度識(shí)別中具有更高的效率，但仍存在模型復(fù)雜度高，識(shí)別速度慢等問題。隨著深度學(xué)習(xí)技術(shù)的進(jìn)一步發(fā)展，速度更快、參數(shù)量更少的輕量級(jí)模型不斷出現(xiàn)。其中，MobileNet系列模型[24-26]能夠快速準(zhǔn)確地識(shí)別不同類別的差異，具有速度快、靈活性高的特點(diǎn)，目前已被廣泛應(yīng)用于病蟲害識(shí)別[27]、果實(shí)識(shí)別[28]等領(lǐng)域，但在農(nóng)產(chǎn)品新鮮度檢測中的應(yīng)用較少。因此，為實(shí)現(xiàn)雞蛋新鮮度快速檢測，本研究將輕量級(jí)模型MobileNetV3-Large應(yīng)用于雞蛋新鮮度識(shí)別。

由于雞蛋新鮮度的衰減是一個(gè)持續(xù)漸進(jìn)過程，期間雞蛋內(nèi)部氣室和蛋黃的形態(tài)特征變化并不顯著。為了提高對(duì)雞蛋內(nèi)部形態(tài)微小變化特征檢測水平，本研究構(gòu)建了基于MobileNetV3-Large的MobileNetV3-DA雞蛋新鮮度識(shí)別模型。首先在深度可分離卷積中引入基于圖像內(nèi)容自適應(yīng)生成卷積核的動(dòng)態(tài)卷積（Dynamic Convolution, DC）模塊[29]，改進(jìn)后的深度可分離動(dòng)態(tài)卷積模塊通過動(dòng)態(tài)調(diào)整卷積核參數(shù)，能夠提高模型的特征提取能力；其次在注意力模塊中引入坐標(biāo)注意力（Coordinate Attention, CA）模塊[30]，增強(qiáng)模型對(duì)位置信息的感知能力，提高模型的特征表達(dá)能力；最后通過試驗(yàn)驗(yàn)證構(gòu)建的MobileNetV3-DA雞蛋新鮮度識(shí)別模型的效果。

1 材料與方法

1.1 圖像采集與預(yù)處理

試驗(yàn)樣本為北京市某蛋雞養(yǎng)殖場提供的當(dāng)日產(chǎn)京白939雞蛋。雞蛋在采集后2 h內(nèi)被送至實(shí)驗(yàn)室。去除無污斑、無裂紋以及質(zhì)量過大或過小的雞蛋，選取單枚質(zhì)量在45～65 g之間的新鮮雞蛋300枚為試驗(yàn)樣本。將雞蛋編號(hào)后平均分為6組，儲(chǔ)存在溫度20 ℃、相對(duì)濕度75%的恒溫培養(yǎng)箱中。

試驗(yàn)過程中，首先每天采集全部雞蛋的圖像，按照分組編號(hào)將采集的圖像存于計(jì)算機(jī)中；然后每天從各組中分別選取2枚雞蛋測定哈夫單位（Haugh Unit, HU）值，并據(jù)此確定雞蛋圖像對(duì)應(yīng)的新鮮度等級(jí)。試驗(yàn)每天連續(xù)進(jìn)行，直到HU值下降到55以下，按照商務(wù)部《鮮雞蛋、鮮鴨蛋分級(jí)》（SB/T 10638-2011）[31]，新鮮度過低不可食用，結(jié)束試驗(yàn)。

a. 原圖b. 亮度增強(qiáng)c. 亮度減弱d. 旋轉(zhuǎn) a. Original figureb. Brightness enhancementc. Brightness attenuationd. Random rotation

1.2 雞蛋新鮮度確定

HU是雞蛋新鮮度的重要表征指標(biāo)[31]。HU值越高，雞蛋越新鮮。HU值的計(jì)算公式如（1）所示。

式中為濃蛋白層高度，mm；為雞蛋質(zhì)量，g。HU值測定方法為[32]：首先利用電子秤獲取雞蛋質(zhì)量；隨后將雞蛋破殼放置于白色平底板上，用蛋白高度測定儀測量蛋黃邊緣與濃蛋白邊緣中點(diǎn)的濃蛋白高度（避開系帶），測量呈正三角形的3個(gè)點(diǎn)，取平均值得到濃蛋白高度；最后按照公式（1）計(jì)算HU值。

本研究依據(jù)《鮮雞蛋、鮮鴨蛋分級(jí)》（SB/T 10638-2011）標(biāo)準(zhǔn)確定雞蛋的新鮮度，即HU≥72為AA級(jí)雞蛋；60≤HU<72為A級(jí)雞蛋；55≤HU<60為B級(jí)雞蛋。據(jù)此標(biāo)準(zhǔn)，本次試驗(yàn)共持續(xù)了16 d，樣本的HU值從最初的90以上下降到55以下。具體變化情況如下：試驗(yàn)第1天樣本初始HU值均為90以上，到第4天雞蛋的HU值均高于72，雞蛋新鮮度為AA級(jí)；第5天開始，雞蛋的HU值從72開始不斷下降，到第10天雞蛋的HU值仍高于60，雞蛋新鮮度為A級(jí)；第11～15天雞蛋的HU值降至60以下，但仍高于55，雞蛋新鮮度為B級(jí)；試驗(yàn)開展的第16天，雞蛋的HU值降到55以下，試驗(yàn)結(jié)束。

1.3 雞蛋圖像數(shù)據(jù)集構(gòu)建

依據(jù)SB/T 10638-2011和測得的樣本HU值，本次試驗(yàn)獲取的3 276張雞蛋圖像中，包含AA級(jí)雞蛋圖像1 064張、A級(jí)雞蛋圖像1 102張和B級(jí)雞蛋圖像1 110張。按照7:2:1的比例將3 276張雞蛋圖像劃分為訓(xùn)練集、驗(yàn)證集和測試集：其中，訓(xùn)練集共2 289張雞蛋圖像，分別包含AA級(jí)、A級(jí)和B級(jí)雞蛋圖像774張、770張和775張；驗(yàn)證集共658張雞蛋圖像，分別包含AA級(jí)、A級(jí)和B級(jí)雞蛋圖像213張、222張和223張；測試集共329張雞蛋圖像，分別包含AA級(jí)、A級(jí)和B級(jí)雞蛋圖像107張、110張和112張。雞蛋圖像數(shù)據(jù)集分布情況如表1所示。

表1 雞蛋圖像數(shù)據(jù)集分布情況

2 雞蛋新鮮度識(shí)別MobileNetV3-DA模型構(gòu)建

2.1 MobileNetV3-DA模型整體結(jié)構(gòu)

本研究采集的雞蛋圖像來自雞蛋16 d儲(chǔ)存過程中，記錄了雞蛋新鮮度從AA級(jí)到B級(jí)持續(xù)衰減變化。然而，由于雞蛋新鮮度相近的圖像中雞蛋氣室和蛋黃形態(tài)的變化和相對(duì)位置的移動(dòng)非常微小，即使是采用MobileNetV3-Large模型提取雞蛋新鮮度特征的難度也很大。為有效提取并高效定位雞蛋圖像特征微小差異，提高模型的識(shí)別精度和速度，本研究對(duì)MobileNetV3-Large模型瓶頸結(jié)構(gòu)中的深度可分離卷積模塊和注意力模塊進(jìn)行了改進(jìn)。

首先，為了準(zhǔn)確提取雞蛋圖像中的微小特征差異，在深度可分離卷積中引入動(dòng)態(tài)卷積模塊，改進(jìn)后的深度可分離動(dòng)態(tài)卷積模塊能夠根據(jù)不同的輸入圖像動(dòng)態(tài)調(diào)整模型的卷積核參數(shù)，加強(qiáng)不同新鮮度圖像深層特征的提取，實(shí)現(xiàn)相鄰新鮮度雞蛋圖像的識(shí)別；其次，為了準(zhǔn)確定位雞蛋圖像中的感興趣區(qū)域，將注意力模塊中的通道注意力擠壓-激勵(lì)（Sequeeze-and-Excitation, SE）模塊替換為坐標(biāo)注意力模塊，增強(qiáng)模型對(duì)位置信息的感知能力，提升模型的識(shí)別效果。改進(jìn)后的MobileNetV3-DA模型整體結(jié)構(gòu)如圖2所示。

注：Conv為卷積操作；Pool為池化操作；1×1、3×3和5×5為卷積核的尺寸；Bottleneck-D為引入動(dòng)態(tài)卷積的瓶頸結(jié)構(gòu)；Bottleneck-DA為引入動(dòng)態(tài)卷積和坐標(biāo)注意力模塊的瓶頸結(jié)構(gòu)；DSP-D為深度可分離動(dòng)態(tài)卷積模塊；DW為深度卷積；PW-D為引入動(dòng)態(tài)卷積（K=4）后的逐點(diǎn)卷積；CA為坐標(biāo)注意力模塊。

2.1.1 深度可分離動(dòng)態(tài)卷積模塊

MobileNetV3-Large的核心是通過深度可分離卷積來降低模型的參數(shù)以達(dá)到輕量化的目的，但也在一定程度上使目標(biāo)特征丟失，導(dǎo)致模型精度下降。為提高模型對(duì)雞蛋圖像中微小差異特征的提取能力，本研究在深度可分離卷積的逐點(diǎn)卷積（Pointwise Convolution, PW）中引入動(dòng)態(tài)卷積，如圖2中的深度可分離動(dòng)態(tài)卷積模塊。

動(dòng)態(tài)卷積模塊通過注意力模塊以非線性的方式疊加卷積核，使模型能夠充分且合理地利用卷積核提取圖像特征，具體表達(dá)式如（2）所示。

注：Avg Pool為平均池化層；FC為全連接層；ReLU和Softmax為激活函數(shù)；Conv為卷積操作；π為權(quán)重系數(shù)；BatchNorm為批量歸一化。

Note: Avg Pool represents the average pooling layer; FC represents the full connection layer; ReLU, and Softmax are the activation functions;Convrepresents convolution;πrepresents the attention weight; BatchNorm represents the batch normalization.

圖3 動(dòng)態(tài)卷積模塊結(jié)構(gòu)

Fig.3 The structure of dynamic convolution module

2.1.2 坐標(biāo)注意力模塊

MobileNetV3-Large在瓶頸結(jié)構(gòu)中加入了SE模塊提高了模型性能，但SE模塊僅考慮了建立模型內(nèi)部特征圖中通道信息之間的依賴關(guān)系[33]，而忽略了視覺空間中極為重要的位置信息，導(dǎo)致模型只能捕獲局部的特征信息，存在感興趣區(qū)域分散、表現(xiàn)能力有限等問題。

為準(zhǔn)確獲取雞蛋圖像中的相對(duì)位置信息，本研究在第1～3層和第7～10層瓶頸結(jié)構(gòu)的注意力模塊中引入坐標(biāo)注意力模塊。坐標(biāo)注意力模塊能夠通過在像素坐標(biāo)系上的有效定位，使模型能集中對(duì)感興趣區(qū)域的注意力，獲取兼顧雞蛋圖像中通道和位置的信息，減少對(duì)干擾信息的關(guān)注，從而提升模型的特征表達(dá)能力。坐標(biāo)注意力模塊的基本結(jié)構(gòu)如圖4所示。

注：X/Y Avg Pool為X/Y方向平均池化；Concat代表拼接；BatchNorm代表批量歸一化；Swish和Sigmoid代表非線性激活函數(shù)；C為通道數(shù)；H為特征圖的高度；W為特征圖的寬度；r為縮減系數(shù)。

對(duì)于給定的特征圖的通道數(shù)為，高度為，寬度為。坐標(biāo)注意力模塊先將輸入在高度和寬度2個(gè)空間方向上進(jìn)行平均池化，獲得高度和寬度2個(gè)方向上的特征圖，將2個(gè)方向上的特征圖進(jìn)行空間維數(shù)拼接，并使用1×1卷積變換將維度變?yōu)樵瓉淼?，再?jīng)過批量歸一化和Swish激活操作得到包含2個(gè)方向信息的中間特征圖，如式（3）所示。

2.2 試驗(yàn)環(huán)境及參數(shù)設(shè)置

為了測試構(gòu)建的MobileNetV3-DA雞蛋新鮮度識(shí)別模型的效果，用獲取的3 276張雞蛋圖像對(duì)模型進(jìn)行訓(xùn)練并測試。試驗(yàn)使用的深度學(xué)習(xí)框架為Pytorch 1.10.0版本，編程語言為Python，環(huán)境設(shè)置為Python 3.8版本，集成開發(fā)環(huán)境為Pycharm，程序運(yùn)行電腦配置為Intel? Core i5-1135G7 CPU@2.40 GHz，運(yùn)行內(nèi)存為32 GB，操作系統(tǒng)為64位Windows 10。

試驗(yàn)批處理大小（Batch Size）統(tǒng)一設(shè)置為16，模型共訓(xùn)練200個(gè)Epoch。為了模型能夠更好地收斂，試驗(yàn)采用了分類交叉熵為損失函數(shù)，利用隨機(jī)梯度下降法（Stochastic Gradient Descent, SGD）訓(xùn)練模型，3個(gè)訓(xùn)練參數(shù)學(xué)習(xí)率、權(quán)重衰減和動(dòng)量分別設(shè)置為0.001、0.000 01和0.9，并設(shè)置學(xué)習(xí)率衰減策略，每經(jīng)過20個(gè)Epoch，學(xué)習(xí)率衰減為原來的80%。

2.3 評(píng)價(jià)指標(biāo)

為了全面評(píng)價(jià)MobileNetV3-DA模型的性能，本試驗(yàn)選取精確率（Precision）、召回率（Recall）、加權(quán)分?jǐn)?shù)（1-score）和準(zhǔn)確率（Accuracy）等4個(gè)指標(biāo)綜合評(píng)估模型的識(shí)別效果。計(jì)算公式分別為

式中TP、FP、FN和TN分別為混淆矩陣中分類模型對(duì)不同新鮮度雞蛋的分類情況統(tǒng)計(jì)。其中，TP（True Positive）代表真實(shí)值為正樣本且識(shí)別也為正樣本的數(shù)量，F(xiàn)P（False Positive）代表真實(shí)值為負(fù)樣本但識(shí)別為正樣本的數(shù)量，F(xiàn)N（False Negative）代表真實(shí)值為正樣本但識(shí)別為負(fù)樣本的數(shù)量，TN（True Negative）代表真實(shí)值為負(fù)樣本且識(shí)別也為負(fù)樣本的數(shù)量。進(jìn)行新鮮度識(shí)別時(shí)，把要識(shí)別樣本的實(shí)際類別數(shù)視為正樣本數(shù)，其他所有類別數(shù)之和為負(fù)樣本數(shù)。

3 結(jié)果與分析

3.1 MobileNetV3-DA模型性能分析

MobileNetV3-DA模型在訓(xùn)練集上的準(zhǔn)確率和損失值的變化曲線如圖5所示。模型在訓(xùn)練過程中，前75輪的準(zhǔn)確率上升與損失值下降速度較快，訓(xùn)練75輪之后的速度逐漸變慢，在訓(xùn)練達(dá)到200輪時(shí)，模型的準(zhǔn)確率和損失值曲線趨近于平緩，表明MobileNetV3-DA模型已經(jīng)達(dá)到飽和狀態(tài)，識(shí)別準(zhǔn)確率也達(dá)到最高值。訓(xùn)練過程中MobileNetV3-DA模型準(zhǔn)確率和損失值曲線的變化趨勢基本一致，說明模型整體收斂趨勢較好，未出現(xiàn)過擬合現(xiàn)象，驗(yàn)證了MobileNetV3-DA模型的有效性和可學(xué)習(xí)性。

圖5 MobileNetV3-DA 模型在訓(xùn)練集上的準(zhǔn)確率和損失值曲線

為進(jìn)一步驗(yàn)證MobileNetV3-DA模型的性能，分別統(tǒng)計(jì)MobileNetV3-DA模型在測試集中對(duì)3個(gè)新鮮度級(jí)別圖像的分類結(jié)果，如表2所示。從整體上看，MobileNetV3-DA模型在測試集上的識(shí)別精確率、召回率和加權(quán)分?jǐn)?shù)的平均值分別為97.28%、97.27%和98.64%，均達(dá)到97%以上。其中，MobileNetV3-DA模型對(duì)B級(jí)新鮮度的識(shí)別效果最好，模型的精確率、召回率和加權(quán)分?jǐn)?shù)分別為99.11%、99.11%和99.54%，雖然對(duì)AA級(jí)新鮮度的識(shí)別精確率和對(duì)A級(jí)新鮮度的召回率相對(duì)較低，但各類新鮮度的識(shí)別精確率、召回率和加權(quán)分?jǐn)?shù)均達(dá)到93%以上，實(shí)現(xiàn)了較好的識(shí)別效果。試驗(yàn)結(jié)果表明，改進(jìn)后的MobileNetV3-DA模型能夠高效定位并提取雞蛋圖像中的微小特征差異。

表2 雞蛋新鮮度分類結(jié)果

3.2 卷積方式對(duì)模型性能的影響

為了驗(yàn)證引入動(dòng)態(tài)卷積的深度可分離動(dòng)態(tài)卷積模塊對(duì)MobileNetV3-Large模型性能的影響，本研究分別將未引入動(dòng)態(tài)卷積的MobileNetV3-Large模型和引入動(dòng)態(tài)卷積的MobileNetV3-DC模型在測試集上進(jìn)行對(duì)比試驗(yàn)，試驗(yàn)結(jié)果如表3所示。

表3 卷積方式性能對(duì)比

從表3可知，MobileNetV3-DC模型的識(shí)別結(jié)果優(yōu)于MobileNetV3-Large模型的識(shí)別結(jié)果。MobileNetV3-DC模型的整體識(shí)別準(zhǔn)確率達(dá)到95.44%，比MobileNetV3-Large模型的準(zhǔn)確率提升了2.73個(gè)百分點(diǎn)；MobileNetV3-DC模型在各類新鮮度中的準(zhǔn)確率、召回率和加權(quán)分?jǐn)?shù)均有所提升，其中在AA級(jí)新鮮度中的召回率提升了4.67個(gè)百分點(diǎn)，加權(quán)分?jǐn)?shù)提升了3.86個(gè)百分點(diǎn)，在A級(jí)新鮮度中的精確率提升了5.72個(gè)百分點(diǎn)；MobileNetV3-DC模型的參數(shù)量為5.67 M，僅比MobileNetV3-Large模型增加了0.19 M。試驗(yàn)結(jié)果表明，在深度可分離卷積中引入動(dòng)態(tài)卷積后的MobileNetV3-DC模型能夠根據(jù)不同的輸入圖像動(dòng)態(tài)生成模型的卷積核參數(shù)以提取雞蛋圖像中的微小差異特征，在增加少量的模型參數(shù)的前提下提升新鮮度識(shí)別效果。

3.3 注意力機(jī)制對(duì)模型性能的影響

為了進(jìn)一步驗(yàn)證在注意力模塊引入坐標(biāo)注意力模塊的競爭優(yōu)勢，在相同的試驗(yàn)條件下，將MobileNetV3-Large模型中的注意力SE模塊替換成有效通道注意力（Efficient Channel Attention, ECA）模塊[34]和卷積塊狀注意力（Convolutional Block Attention Module, CBAM）模塊[35]這2種經(jīng)典注意力機(jī)制進(jìn)行對(duì)比試驗(yàn)。

圖6為各模型在測試集上識(shí)別結(jié)果的混淆矩陣?？傮w上看，MobileNetV3-Large、MobileNetV3-ECA、MobileNetV3-CBAM和MobileNetV3-CA模型的識(shí)別準(zhǔn)確率分別為92.71%、93.31%、93.92%和94.83%，相比其他3類模型，MobileNetV3-CA模型能夠更精準(zhǔn)地定位并識(shí)別雞蛋新鮮度特征，有效提高模型精度。圖6中的細(xì)節(jié)顯示，ECA模塊、CBAM模塊和CA模塊的引入都能在一定程度上緩解MobileNetV3-Large模型存在的錯(cuò)分和漏分等問題，使模型更適用于雞蛋新鮮度識(shí)別。其中，引入ECA模塊雖然提高了AA級(jí)新鮮度圖像的識(shí)別效果，但同時(shí)也增加了識(shí)別A級(jí)新鮮度圖像的錯(cuò)分率；引入CBAM模塊雖然提高了A級(jí)和B級(jí)新鮮度圖像的識(shí)別效果，但并沒有提高AA級(jí)新鮮度圖像的識(shí)別效果；引入CA模塊能夠較好地平衡各類新鮮度的識(shí)別效果，實(shí)現(xiàn)雞蛋新鮮度的準(zhǔn)確識(shí)別。因此，相比與其他注意力機(jī)制，在注意力模塊引入坐標(biāo)注意力模塊對(duì)MobileNetV3-Large模型識(shí)別性能的提升效果更好，驗(yàn)證了坐標(biāo)注意力模塊的競爭優(yōu)勢。

注：主對(duì)角線上的數(shù)字代表預(yù)測正確的樣本量，其余位置為預(yù)測錯(cuò)誤的樣本量。

3.4 模型試驗(yàn)結(jié)果對(duì)比

為了綜合評(píng)估MobileNetV3-DA模型的性能，以模型在訓(xùn)練集損失值、驗(yàn)證集準(zhǔn)確率、測試集準(zhǔn)確率以及模型參數(shù)量和計(jì)算量為評(píng)估指標(biāo)，將MobileNetV3-DA與ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large等常見分類模型進(jìn)行對(duì)比分析。

模型在訓(xùn)練集上的損失值和驗(yàn)證集上的準(zhǔn)確率變化如圖7所示?？梢钥闯?，經(jīng)過200個(gè)Epoch 后，各個(gè)模型的損失值和準(zhǔn)確率趨于穩(wěn)定，這表明模型已經(jīng)得到了充分的訓(xùn)練。其中，ResNet18模型利用殘差結(jié)構(gòu)構(gòu)建了更深層次的神經(jīng)網(wǎng)絡(luò)，具有較強(qiáng)的特征提取能力，在試驗(yàn)中表現(xiàn)出了較好的識(shí)別性能，但模型訓(xùn)練時(shí)間長，耗費(fèi)的內(nèi)存和計(jì)算資源較大；VGG19模型在驗(yàn)證集上的準(zhǔn)確率略高于MobileNetV3-DA模型的準(zhǔn)確率，但因其模型參數(shù)量和計(jì)算量過大，導(dǎo)致模型收斂速度較慢；ShuffleNetV2模型采用分組卷積的思想降低了模型參數(shù)量和計(jì)算量，但在特征差異不顯著的雞蛋圖像數(shù)據(jù)集中的識(shí)別效果稍顯遜色，而且收斂過程起伏較大，導(dǎo)致模型穩(wěn)定性差；MobileNetV3-Large模型雖然采用了深度可分離卷積約束了網(wǎng)絡(luò)的深度和寬度，但在雞蛋新鮮度識(shí)別任務(wù)中仍然取得了優(yōu)異的成績，訓(xùn)練效果接近ResNet18，優(yōu)于ShuffleNetV2。與其他模型相比，MobileNetV3-DA模型在訓(xùn)練過程中表現(xiàn)出了更平穩(wěn)的收斂過程，損失值和準(zhǔn)確率較早穩(wěn)定在最低值和最高值附近，實(shí)現(xiàn)了較好的識(shí)別效果。

圖7 模型試驗(yàn)結(jié)果對(duì)比

各個(gè)模型在測試集上的識(shí)別準(zhǔn)確率以及參數(shù)量和計(jì)算量對(duì)比結(jié)果如表4所示。從表4可以看出，MobileNetV3-DA模型的識(shí)別準(zhǔn)確率高達(dá)97.26%，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large分別高出5.19、0.84、5.91和4.55個(gè)百分點(diǎn)；MobileNetV3-DA模型的參數(shù)量為4.45 M，比ResNet18、VGG19和MobileNetV3-Large分別減少7.24 M、139.22 M和1.03 M；MobileNetV3-DA模型的計(jì)算量為149.07 M，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large分別減少1 670 M、40 073.65 M、1.53 M和78.64 M。其中，雖然VGG19模型在驗(yàn)證集上的識(shí)別準(zhǔn)確率略高于MobileNetV3-DA模型，但在測試集上的準(zhǔn)確率比MobileNetV3-DA模型低0.84個(gè)百分點(diǎn)，說明MobileNetV3-DA模型在雞蛋圖像數(shù)據(jù)集上的泛化能力更好，魯棒性更強(qiáng)?？傮w來說，MobileNetV3-DA模型在保證模型檢測性能的同時(shí)，提高了雞蛋新鮮度的識(shí)別效率，較好地平衡了模型的復(fù)雜度和識(shí)別效果。

表4 模型的準(zhǔn)確率、參數(shù)量和計(jì)算量對(duì)比

3.5 實(shí)際應(yīng)用性能測試

為了進(jìn)一步驗(yàn)證訓(xùn)練后的MobileNetV3-DA模型的實(shí)際應(yīng)用效果，本研究隨機(jī)采購了300枚市場流通雞蛋，并進(jìn)行了模型的應(yīng)用研究。300枚雞蛋包括在物美超市購買的德青源雞蛋、堆草堆雞蛋以及京東平臺(tái)購買的正大雞蛋各100枚。首先采集了每個(gè)雞蛋的圖像，然后測量每個(gè)雞蛋的HU值，最后根據(jù)SB/T 10638-2011確定每張圖像對(duì)應(yīng)的雞蛋新鮮度等級(jí)。采集的300張雞蛋新鮮度圖像中，AA級(jí)新鮮度的雞蛋圖像102張，A級(jí)94張，B級(jí)104張。MobileNetV3-DA模型在實(shí)際應(yīng)用的試驗(yàn)結(jié)果如表5所示。

從應(yīng)用結(jié)果來看，MobileNetV3-DA模型在實(shí)際應(yīng)用中的識(shí)別精確率、召回率和加權(quán)分?jǐn)?shù)的平均值分別為95.95%、95.48%和97.82%，達(dá)到了較好的新鮮度識(shí)別效果。其中，MobileNetV3-DA模型對(duì)B級(jí)雞蛋圖像的識(shí)別效果更好，這可能是因?yàn)锽級(jí)雞蛋圖像中的氣室和蛋黃區(qū)域特征更加顯著，辨識(shí)度較高。實(shí)際應(yīng)用結(jié)果表明，由于動(dòng)態(tài)卷積和坐標(biāo)注意力模塊的有效結(jié)合，MobileNetV3-DA模型能夠準(zhǔn)確提取并且定位特征信息，具有較強(qiáng)的泛化能力和魯棒性。

表5 實(shí)際應(yīng)用試驗(yàn)結(jié)果

4 結(jié) 論

針對(duì)雞蛋新鮮度變化過程中氣室和蛋黃等新鮮度特征差異不顯著的問題，本研究對(duì)MobileNetV3-Large模型進(jìn)行了改進(jìn)，構(gòu)建了MobileNetV3-DA雞蛋新鮮度識(shí)別模型。在MobileNetV3-Large中引入動(dòng)態(tài)卷積模塊，通過動(dòng)態(tài)生成卷積核參數(shù)，有效提高了模型特征提取能力；引入坐標(biāo)注意力模塊，增強(qiáng)了模型對(duì)位置信息的感知能力，提升了模型的信息表達(dá)能力。結(jié)果表明：

1）MobileNetV3-DA模型能夠準(zhǔn)確識(shí)別雞蛋新鮮度。MobileNetV3-DA在測試集上的識(shí)別準(zhǔn)確率為97.26%，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large等常見分類模型分別高出5.19、0.84、5.91和4.55個(gè)百分點(diǎn)。

2）MobileNetV3-DA模型滿足了快速識(shí)別雞蛋新鮮度的要求。MobileNetV3-DA的模型參數(shù)量為4.45 M，計(jì)算量為149.07 M，分別比MobileNetV3-Large減少了1.03 M和78.64 M，較好地平衡了模型的復(fù)雜度和識(shí)別效果。

3）MobileNetV3-DA模型在實(shí)際應(yīng)用中表現(xiàn)出了較好的識(shí)別效果。訓(xùn)練后的MobileNetV3-DA模型在實(shí)際應(yīng)用中的識(shí)別精確率、召回率和加權(quán)分?jǐn)?shù)的平均值分別為95.95%、95.48%和97.82%，驗(yàn)證了模型具有較強(qiáng)的泛化能力和魯棒性。

模型測試和應(yīng)用結(jié)果表明，本研究構(gòu)建的MobileNetV3-DA模型能夠快速、準(zhǔn)確地識(shí)別雞蛋新鮮度。下一步將考慮將模型部署到移動(dòng)終端，實(shí)現(xiàn)在流通和銷售環(huán)節(jié)雞蛋新鮮度的快捷智能識(shí)別。

[1] Lesnierowski G, Stangierski J. What’s new in chicken egg research and technology for human health promotion? - A review[J]. Trends in Food Science & Technology, 2018, 71: 46-51.

[2] Renzone G, Novi G, Scaloni A, et al. Monitoring aging of hen egg by integrated quantitative peptidomic procedures[J]. Food Research International, 2021, 140: 110010.

[3] Nematinia E, Abdanan Mehdizadeh S. Assessment of egg freshness by prediction of Haugh unit and albumen pH using an artificial neural network[J]. Journal of Food Measurement and Characterization, 2018, 12(3): 1449-1459.

[4] Mukhopadhyay S, Ukuku D O. The role of emerging technologies to ensure the microbial safety of fresh produce, milk and eggs[J]. Current Opinion in Food Science, 2018, 19: 145-154.

[5] Fearnley L. Fake eggs: From counter-qualification to popular certification in China’s food safety crisis[J]. BioSocieties, 2022, 17(2): 253-275.

[6] Gururaj N, Vinod V, Vijayakumar K. Deep grading of mangoes using Convolutional Neural Network and Computer Vision[J]. Multimedia Tools and Applications, 2022, 81: 1-26.

[7] Zhu S, Feng L, Zhang C, et al. Identifying freshness of spinach leaves stored at different temperatures using hyperspectral imaging[J]. Foods, 2019, 8(9): 356.

[8] Mehendran Y, Kartheeswaran T, Kodikara N D. Banana freshness identification using image processing techniques[C]// 2022 7th International Conference on Business and Industrial Research (ICBIR). IEEE, 2022: 347-352.

[9] Taheri-Garavand A, Fatahi S, Omid M, et al. Meat quality evaluation based on computer vision technique: A review[J]. Meat Science, 2019, 156: 183-195.

[10] Bhargava A, Bansal A. Fruits and vegetables quality evaluation using computer vision: A review[J]. Journal of King Saud University-Computer and Information Sciences, 2021, 33(3): 243-257.

[11] El-Mesery H S, Mao H, Abomohra A E F. Applications of non-destructive technologies for agricultural and food products quality inspection[J]. Sensors, 2019, 19(4): 846.

[12] 黃辰，費(fèi)繼友. 基于圖像特征融合的蘋果在線分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[13] Shi C, Qian J, Han S, et al. Developing a machine vision system for simultaneous prediction of freshness indicators based on tilapia (Oreochromis niloticus) pupil and gill color during storage at 4℃[J]. Food Chemistry, 2018, 243: 134-140.

[14] 智秀娟，邢英豪，仝其根，等. 雞蛋新鮮度檢測指標(biāo)評(píng)價(jià)與預(yù)測模型構(gòu)建[J]. 中國食品學(xué)報(bào)，2017，17(11)：262-268.

Zhi Xiujuan, Xing Yinghao, Tong Qigen, et al. Model construction of prediction and evaluation in egg freshness index[J]. Journal of Chinese Institute of Food Science and Technology, 2017, 17(11): 262-268. (in Chinese with English abstract)

[15] Malfatti L H, Zampar A, Galv?o A C, et al. Evaluating and predicting egg quality indicators through principal component analysis and artificial neural networks[J]. LWT, 2021, 148: 111720.

[16] Qin H, Wang W, Chu X, et al. Research on the nondestructive detection of egg freshness based on image processing[C]// 2018 ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers, 2018: 1-8.

[17] Yao K, Sun J, Chen C, et al. Non-destructive detection of egg qualities based on hyperspectral imaging[J]. Journal of Food Engineering, 2022, 325: 111024.

[18] 梁丹，李平，梁冬泰，等. 基于機(jī)器視覺的雞蛋內(nèi)外品質(zhì)一體化檢測與分級(jí)系統(tǒng)[J]. 中國食品學(xué)報(bào)，2020，20(11)：247-254.

Liang Dan, Li Ping, Liang Dongtai, et al. Integrated inspecting and grading system of the egg quality based on machine vision[J]. Journal of Chinese Institute of Food Science and Technology, 2020, 20(11): 247-254. (in Chinese with English abstract)

[19] Kazi A, Panda S P. Determining the freshness of fruits in the food industry by image classification using transfer learning[J]. Multimedia Tools and Applications, 2022, 81(6): 7611-7624.

[20] Wang C, Lü C, Li R, et al. Design and Implementation of Pork Freshness Grading Based on Deep Learning[C]// 2021 2nd International Conference on Artificial Intelligence and Computer Engineering (ICAICE). IEEE, 2021: 216-220.

[21] Yu X, Tang L, Wu X, et al. Nondestructive freshness discriminating of shrimp using visible/near-infrared hyperspectral imaging technique and deep learning algorithm[J]. Food Analytical Methods, 2018, 11(3): 768-780.

[22] 李振波，李萌，趙遠(yuǎn)洋，等. 基于改進(jìn)VGG-19卷積神經(jīng)網(wǎng)絡(luò)的冰鮮鯧魚新鮮度評(píng)估方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(22)：286-294.

Li Zhenbo, Li Meng, Zhao Yuanyang, et al. Iced pomfret freshness evaluation method based on improved VGG-19 convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 286-294. (in Chinese with English abstract)

[23] Jiang M, Mo L, Wu P. Study on egg freshness detection based on inception and attention[C]// International Conference on Simulation Tools and Techniques. Springer, Cham, 2021: 613-626.

[24] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv, 2017, 1704: 04861.

[25] Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4510-4520.

[26] Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]// Proceedings of the IEEE/ CVF International Conference on Computer Vision. 2019: 1314-1324.

[27] 孫俊，朱偉棟，羅元秋，等. 基于改進(jìn)MobileNet-V2的田間農(nóng)作物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(22)：161-169.

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)

[28] 張伏，陳自均，鮑若飛，等. 基于改進(jìn)型YOLOv4-LITE輕量級(jí)神經(jīng)網(wǎng)絡(luò)的密集圣女果識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(16)：270-278.

Zhang Fu, Chen Zijun, Bao Ruofei, et al. Recognition of dense cherry tomatoes based on improved YOLOv4-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 270-278. (in Chinese with English abstract)

[29] Chen Y, Dai X, Liu M, et al. Dynamic convolution: Attention over convolution kernels[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11030-11039.

[30] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 13713-13722.

[31] 中華人民共和國商務(wù)部. SB/T 10638-2011 鮮雞蛋、鮮鴨蛋分級(jí)[S]. 北京：中國標(biāo)準(zhǔn)出版社，2011.

[32] 中華人民共和國農(nóng)業(yè)農(nóng)村部. NY/T 823-2020 家禽生產(chǎn)性能名詞術(shù)語和度量計(jì)算方法[S]. 北京：中國農(nóng)業(yè)出版社，2020.

[33] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 7132-7141.

[34] Wang Q, Wu B, Zhu P, et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks[C]// Conference on Computer Vision and Pattern Recognition (CVPR). 2020: 11531-11539.

[35] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.

Recognizing egg freshness using an improved MobileNetV3-Large

Liu Xue1, Shen Changying1, Lyu Xueze2,3, Dong Mengping1, Bao Qianhui1, Zhang Yuanzhi1

(1.,,100083,;2.,,100193,;3.,100101,)

Eggs, a highly nutritious food, can provide the human body with essential nutrients, such as protein, fat, minerals, and vitamins. However, fresh eggs are easily deteriorating products during production, processing, sales and distribution, resulting in nutritional and economic losses to the industry, and potential health and safety hazards to the consumers. Therefore, it is of great significance to study a fast, low-cost, and reliable egg freshness recognition. In this study, an improved MobileNetV3-DA recognition model was proposed to rapidly and accurately extract the characteristics of air chambers and yolks in egg images. The egg freshness was predicted to incorporate dynamic convolution (DC) and coordinate attention (CA). Some images of eggs with different freshness were collected to simulate the domestic eggs storage scenery. The data augmentation was utilized to increase the diversity of images, in order to prevent the overfitting of the model. The backbone was selected as the MobileNetV3-Large model with fewer parameters and stronger feature extraction. As such, the improved MobileNetV3-DA model was constructed for the more effective recognition of egg freshness. Firstly, a DC module was introduced into the depthwise separable convolution of the MobileNetV3-Large model, in order to extract the small difference features in the egg images. The improved module of depth separable dynamic convolution was dynamically generating convolutional kernel parameters for the different egg images, particularly for the accurate identification of freshness. Secondly, the CA module was introduced in the attention module to enhance the perception of overall information, with emphasis on the relative position information in the egg images. Accordingly, the region of interest (ROI) was effectively positioned to concentrate on the air chamber and yolk area in the pixel coordinate system. After that, the weight of important features increased further to strengthen the freshness features, and suppressed the influence of interfering information. Finally, the improved MobileNetV3-DA model was trained and tested using 3 276 images of three levels of egg freshness. The results showed that the recognition accuracy of the improved MobilenetV3-DA model reached 97.26%, which was 4.55 percentage points higher than that of MobileNetV3-Large. The Precision, Recall, and F1-score of MobileNetV3-DA all reached more than 93% on the various freshness images. Therefore, the MobileNetV3-Large model with the DC and CA module can be widely expected to improve the recognition accuracy and the generalization of the model. In addition, the number of parameters and the computation of the MobileNetV3-DA model were 4.45 and 149.07 MFLOPs, respectively, which were 1.03 M and 78.64 M lower than those before the improvement. A more stable convergence and fewer parameters were achieved in the improved model than before. The accuracies in the test were 5.19, 0.84 and 5.91 percentage points higher than those of ResNet18, VGG19, and ShuffleNetV2 models. Furthermore, the recognition accuracy of the trained MobileNetV3-DA model reached 95.67 % in the practical application. the average values of precision, recall and F1-score of MobileNetV3-DA model were 95.95%, 95.48% and 97.82%, respectively. The findings can provide basic support for the efficient recognition of egg freshness using lightweight models. The improved model can be expected to serve as the practical usage on portable terminals for timely freshness recognition along egg industry chains.

agricultural products; quality control; eggs freshness; MobileNetV3-DA; dynamic convolution; coordinate attention

10.11975/j.issn.1002-6819.2022.17.021

TP391.41; TS253.7

A

1002-6819(2022)-17-0196-09

劉雪，沈長盈，呂學(xué)澤，等. 基于改進(jìn)MobileNetV3-Large的雞蛋新鮮度識(shí)別模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(17)：196-204.doi：10.11975/j.issn.1002-6819.2022.17.021 http://www.tcsae.org

Liu Xue, Shen Changying, Lyu Xueze, et al. Recognizing egg freshness using an improved MobileNetV3-Large[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 196-204. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.021 http://www.tcsae.org

2022-08-03

2022-08-29

現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系北京市創(chuàng)新團(tuán)隊(duì)建設(shè)項(xiàng)目（BAIC11-2022）

劉雪，博士，副教授，研究方向?yàn)檗r(nóng)業(yè)信息智能采集與建模。Email：liusnow@cau.edu.cn