何東宇，朱榮光,2，范彬彬，王世昌，崔曉敏，姚雪東

倒置殘差網絡結合注意力機制的摻假羊肉分類檢測系統構建

何東宇1，朱榮光1,2※，范彬彬1，王世昌1，崔曉敏1，姚雪東1

（1. 石河子大學機械電氣工程學院，石河子 832003；2. 農業(yè)農村部西北農業(yè)裝備重點實驗室，石河子 832003）

針對羊肉精和染色劑作用下的豬肉摻假羊肉分類檢測問題，該研究提出并建立了一種檢測速度較快、精度較高的注意力機制結合倒置殘差網絡模型，同時基于智能手機開發(fā)了對應的快速、準確檢測應用軟件。首先，對羊肉、不同部位豬肉、不同摻假比例下的豬肉摻假羊肉的原始手機圖像，使用數據增強方式進行數據擴充；其次，用倒置殘差結構替換殘差網絡框架中的原有殘差結構，以減少網絡參數量并加快模型收斂速度，同時，引入注意力機制（Convolutional Block Attention Module，CBAM），利用空間和通道特征對特征權重再分配，以強化摻假羊肉和羊肉之間的特征差異；然后，利用提出的注意力機制結合倒置殘差網絡（CBAM-Invert-ResNet）對樣本進行訓練并確定模型參數；最后，將訓練好的網絡模型移植到智能手機，以實現摻假羊肉的移動端檢測。研究結果表明：與ResNet50和CBAM-ResNet50相比，Invert-ResNet50、CBAM-Invert-ResNet50模型的參數量分別減少了58.25%和61.64%，模型大小分別減小了58.43%和61.59%；針對背脊、前腿、后腿和混合部位數據集，CBAM-Invert-ResNet50模型驗證集的分類準確率分別為95.19%、94.29%、95.81%、92.96%；把建立的網絡模型部署到移動端后，每張圖片的檢測時間約為 0.3 s。該研究可實現對羊肉精和染色劑作用下的不同部位豬肉摻假羊肉的移動端快速、準確分類檢測，可為維護市場秩序和保護食品安全提供技術支持。

圖像處理；深度學習；羊肉摻假；注意力機制；倒置殘差；智能手機；羊肉精；染色劑

0 引 言

羊肉是中國肉類市場的重要組成部分，含有較低的膽固醇和豐富的蛋白質，營養(yǎng)價值高且味道鮮美[1-2]。近年來，羊肉價格不斷上漲，遠遠高于豬肉等肉類價格，市場上部分不法商販為獲取更大經濟利益將豬肉摻入羊肉制成摻假羊肉。同時，為了使摻假羊肉從視覺和嗅覺上更接近羊肉，進一步達到“以假亂真”的效果，不法商販在摻假羊肉中加入羊肉精和染色劑。羊肉精和染色劑作用下的摻假羊肉不僅嚴重侵害了消費者的經濟利益、破壞市場秩序，而且會對消費者的健康造成威脅，進而引發(fā)食品安全問題。因此，需要開發(fā)一種快速、準確檢測技術，對羊肉精和染色劑作用下的摻假羊肉進行檢測。

現用于肉類摻假或食品摻假的無損檢測手段主要有光譜技術[3-4]、電子鼻和電子舌技術[5]等，這些技術所需儀器昂貴，需要的預處理手段復雜，難以滿足快速、準確檢測的要求。隨著智能手機的普遍應用及其性能的提升，一些研究者逐漸將其應用于肉類品質的檢測[6]。孟令峰等[7]和張垚鑫等[8]分別使用智能手機結合機器學習方法和深度學習方法對不同部位羊肉進行分類檢測，并開發(fā)出相應的手機應用軟件。Song等[9]使用智能手機結合偏最小二乘回歸模型檢測牛肉摻假，Seddaoui等[10]使用智能手機結合免疫分析法檢測不同肉類中的摻假豬肉。上述研究表明，智能手機能夠實現對不同部位肉類的分類檢測和單一部位肉類的摻假檢測，但使用智能手機對不同部位肉類摻假研究較少。此外，利用智能手機對羊肉精和染色劑作用下的摻假羊肉檢測還未見報道。

卷積神經網絡在圖像處理方面具有快速，準確的優(yōu)勢[11-14]，現已應用于玉米[15]、哈密瓜[16]、蘋果[17]等農產品檢測中。人們?yōu)榱俗非蟾鼜姷木W絡性能，不斷加深卷積神經網絡模型層數。然而，隨著網絡層數的加深，模型開始出現梯度消失和網絡退化等問題。而He等[18]提出的ResNet模型使用殘差結構有效解決了該問題，ResNet網絡模型在圖像分類[19-20]、目標檢測[21]等很多任務中取得了不錯的效果。但是，ResNet網絡仍存在網絡參數過多，收斂速度慢，不利于移植到移動端等問題。有研究表明，MobileNet[22-23]中的倒置殘差結構，可通過減少高維空間計算量，降低內存需求，來提高模型收斂速度，降低模型參數，實現模型結構的輕量化。許帥等[24]在YOLOv5中引入倒置殘差結構進行手勢識別，模型大小比改進前減小了33 MB。在羊肉精和染色劑等添加劑的作用下，摻假羊肉和羊肉特征差異較小[25]，現有的ResNet模型難以針對摻假羊肉實現高精度分類。有研究表明，注意力機制（Convolutional Block Attention Module，CBAM）[26-27]能利用圖像的空間、通道特征，對特征權重再分配，強化圖像的特征差異，有效提高模型精度。韓旭等[28]在DenseNet網絡基礎上引入注意力機制對番茄葉片缺素圖像分類，平均準確率比改進前提升了3.04個百分點；林森等[29]基于注意力機制與改進YOLOv5對水下珍品進行檢測，平均準確率比改進前提升了4.62個百分點。

因此，為實現基于移動端的羊肉精和染色劑作用下不同部位豬肉摻假羊肉的快速、準確分類檢測，本研究通過在ResNet模型的基礎上引入注意力機制和倒置殘差結構，提出一種輕量級的注意力機制結合倒置殘差網絡（CBAM-Invert-ResNet），通過試驗確定模型參數，并將訓練好的模型移植到移動端開發(fā)出了一款手機應用軟件。本研究提出一種在深度學習網絡框架中引入注意力機制和倒置殘差的方法，該方法可為其他深度學習網絡改進提供參考。

1 材料與方法

1.1 圖像采集與預處理

1.1.1 試驗材料

本試驗以新鮮的羊后腿肉和不同部位的豬肉（背脊、前腿、后腿）以及羊肉精膏、紅曲紅為研究對象。試驗所用的羊肉精膏采購于青島香海盛食品配料有限公司，紅曲紅染色劑購于廣東科隆生物科技有限公司，肉類材料采購于新疆石河子市友好超市，且均符合檢疫標準。肉品用保溫箱運至實驗室后去除明顯的筋膜及組織，并絞碎成3～5mm的肉糜顆粒，用保鮮膜標記密封后，置于-5 ℃的冰箱中保存，以備后續(xù)使用。

樣品制備過程如下：首先根據羊肉精和紅曲紅染色劑的食品安全規(guī)范，將羊肉精按3 g/kg溶于蒸餾水制成質量濃度為0.05 g/mL的羊肉精溶劑；將紅曲紅染色劑以0.5 g/kg溶于蒸餾水制成濃度為0.001 g/mL的紅曲紅溶劑，將兩種溶劑以1∶1的比例混合并振蕩攪拌10 min，使其顏色混合均勻；然后將混合溶劑摻入到不同部位的豬肉糜中浸泡20 min，待溶劑充分浸入豬肉糜后，去除其表面殘余液體；最后將混有羊肉精和染色劑的各部位豬肉糜按不同比例（10%、20%、30%、40%）摻入羊肉糜中制成摻假羊肉樣品。制備不同部位、不同比例豬肉摻假羊肉樣品各8個（8×4×3=96個），制備不同部位豬肉樣品各10個，共30個，制備羊肉樣品30個，總計156 個樣品。測定156個樣品RGB值，并進行歸一化，（紅）、（綠）、（藍）均值范圍分別為：0.352 0～0.407 1、0.130 7～0.213 4、0.088 1～0.171 3。每個樣品質量約30 g、直徑為6 cm的圓形或近圓形的餅狀肉樣。隨后將制備好的樣品連同培養(yǎng)皿放置在-5 ℃的冰箱中保存以待檢測。

1.1.2 數據采集

試驗所采用的手機型號為華為P40，相機型號為ANA-AN00，采集圖片時，攝像頭的感光度為500，光圈值為f/1.9，曝光時間為1/100，焦距7 mm，色溫參數為4 500 K，圖像分辨率為（6 144×8 192）像素，圖像采集高度18 cm。

試驗在溫度為（26±1）℃，相對濕度為30±5%的環(huán)境下進行。將樣品置于暗箱中，暗箱頂部置有恒定光源，手機用三腳架固定，調整手機采集高度以及攝像頭參數后，進行圖像采集，每個樣本采集1張圖片，共計156張圖片。采集過程示意圖如圖1所示。

圖1 手機圖像數據采集系統示意圖

1.1.3 數據預處理

將數據按摻假部位劃分為三個數據集：摻豬背脊的摻假羊肉數據集、摻豬前腿的摻假羊肉數據集和摻豬后腿的摻假羊肉數據集，每個數據集包含三個類別：羊肉、摻單一部位豬肉的摻假羊肉、單一部位豬肉。此外，將上述三個數據集混合作為混合部位數據集，并用于進一步驗證所開發(fā)模型的泛化性和穩(wěn)定性，該混合部位數據集包含三個類別：羊肉、摻混合部位豬肉的摻假羊肉、單一部位豬肉。將采集的數據使用霍夫圓形檢測法分割，去除樣品背景。深度學習的模型訓練依賴大量數據，在少量數據上通常表現不好，故采用旋轉、偏移、鏡像等方法擴充數據量。其數據劃分方法如下：首先從數據集中取出1/3數據作為獨立驗證集并進行數據擴充，擴充后的獨立驗證集有2 600張圖片；然后將剩下的2/3數據集進行數據擴充后，按3∶1劃分為訓練集和測試集。劃分后的數據集中，訓練集3 900張圖片，測試集1 300張圖片。擴充后的訓練集原圖尺寸較大，若使用原圖訓練模型耗時較長，為降低卷積神經網絡運算量與運算時間，將擴充后的數據壓縮為（224×224）像素。

1.2 基于CBAM-Invert-ResNet網絡的摻假羊肉分類模型構建

1.2.1 ResNet網絡

隨著卷積神經網絡層數的加深，網絡性能會逐漸增強，然而在不斷加深網絡層數后，會出現梯度消失和網絡退化等問題，模型性能并不會提高，反而導致網絡收斂更慢，準確率也隨之降低。針對上訴問題，He等[18]提出ResNet殘差網絡，使用恒等映射（Identity Mapping，IM），將原始所需要學習的函數()轉換成()，解決梯度消失和網絡退化問題，以免在提取特征過程中丟失信息。然而，ResNet網絡在進行分類和預測時仍存在準確率不高、網絡參數量過多和不便移植到移動等問題。

1.2.2 倒置殘差網絡

隨著網絡層數增加，網絡的參數量也隨之增加，使得網絡訓練效率逐漸降低。針對此問題，本研究借鑒MobileNet網絡中的倒置殘差結構，代替ResNet網絡中的殘差結構以獲得更高效的輕量化網絡。該結構能顯著降低網絡參數量，以便將網絡模型部署到移動端。倒置殘差結構如圖2所示。

注：圖中的Conv(1×1)為卷積核大小為1×1的卷積，k為卷積核數量，S為步長；BN為批歸一化，h-swish為激活函數；表示兩個通道特征圖上數的相加；F(x)為倒置殘差塊算子。

倒置殘差結構將壓縮后的低維特征作為輸入，先使用1×1卷積實現升維，再通過3×3的單通道卷積提取特征，最后使用1×1卷積實現降維。圖2中，倒置殘差結構a和b中的虛線部分為輸入的下采樣函數，b為下采樣添加卷積的倒置殘差結構。

該函數利用高度優(yōu)化的矩陣乘法和卷積算子獲得更高的效率。與傳統殘差結構相比，倒置殘差結構交換了降維和升維的順序，并將標準卷積換為深度卷積，這種呈兩頭小、中間大的梭形結構，顯著降低了內存需求，實現了內存的高效管理，從而能加快模型收斂速度[30]。

1.2.3 注意力機制

ResNet網絡在提取特征時，對有效特征和無效特征賦予相同的權重，模型在無效特征上浪費過多計算量，因此，ResNet網絡在進行分類時準確率不夠高。針對此問題，本研究引入CBAM（Convolutional Block Attention Module）注意力模塊對特征進行優(yōu)化。CBAM注意力機制分為空間注意力和通道注意力兩部分。CBAM的結構如圖3所示。

特征圖輸入后，先進入通道注意力模塊，基于特征圖的寬、高進行全局最大池化和全局平均池化，經過共享感知機得到通道的注意力權重，然后通過Sigmoid激活函數獲得歸一化注意力權重，最后通過乘法逐通道加權到原始輸入特征圖上，完成通道注意力對原始特征的重新標定。計算如下所示

為了獲得在空間維度的注意力特征，經通道注意力模塊輸出的特征圖同樣基于特征圖的寬度和高度進行全局最大池化和全局平均池化，將特征維度由×轉變成1×1，接著經過卷積核為7×7的卷積和Sigmoid激活函數后降低特征圖的維度，最后將經過Sigmoid激活函數標準化處理后的特征圖與通道注意力輸出的特征圖進行合并，從而在空間和通道兩個維度上完成對特征圖的重標定。計算如下所示

在空間注意力模塊中，全局平均池化和全局最大池化獲得了空間注意力特征后，通過兩個卷積建立了空間特征間的相關性，同時保持了輸入輸出維度的不變。通過卷積核為7×7的卷積操作，極大地減少了參數和計算量，有利于建立高維度的空間特征相關性。經過CBAM后，新的特征圖將得到通道和空間維度上的注意力權重，提高了各個特征在通道和空間上的聯系，更有利于提取目標的有效特征。

注：圖中的MaxPool表示池化核大小為1×1的全局最大池化，AvgPool表示池化核大小為1×1的全局平均池化；Sigmoid為激活函數；表示兩個通道特征圖上數的相加；表示特征映射；表示兩個通道特征圖上數的相乘。

1.2.4 CBAM-Invert-ResNet網絡整體框架

本研究提出的CBAM-Invert-ResNet網絡是對ResNet網絡進行以下2個方面進行改進而獲得的。首先，針對ResNet網絡對羊肉精和染色劑作用下的摻假羊肉分類結果不理想的問題，引入注意力機制，提高特征在通道和空間上的聯系，更有利于區(qū)分羊肉與摻假羊肉之間的特征。然后，針對模型網絡參數過大、不便移植到移動端等問題，將傳統殘差網絡結構替換為倒置殘差結構，降低計算成本，加快模型收斂速度，使模型更加輕量化，有利于移植到移動端。

本研究提出的CBAM-Invert-ResNet網絡主要由以下7個部分組成：卷積層、池化層、歸一化層、倒置殘差結構、CBAM結構、全連接層、Softmax分類層。以ResNet50為例，將ResNet50網絡中的殘差結構替換為倒置殘差結構，并在每一個倒置殘差結構后面加上CBAM模塊，CBAM-Invert-ResNet50與ResNet50結構對比如表1所示。

1.3 評價指標

在建立分類模型時，將樣品劃分為三類標簽：羊肉樣品、摻假羊肉樣品和豬肉樣品，通過計算模型的準確率評估模型效果，計算公式如（4）所示

其中TP代表真陽性（摻假樣品中被正確分為摻假樣品的數量），FN代表假陰性（摻假樣品中被誤分為未摻假樣品的數量），TN代表真陰性（未摻假樣品中被正確分為未摻假樣品的數量），FP代表假陽性（未摻假樣品中被誤分為摻假樣品的數量）。

1.4 試驗環(huán)境

試驗環(huán)境：硬件包括Intel?CoreTM i7-10750HCPU @ 2.60 GHz 處理器，16 GB內存和NVIDIA GeForce RTX 2060顯卡等，軟件包括操作系統Windows 10（64 位）、編程語言 Python3.8、深度學習框架 TensorFlow 2.3.0、通用計算架構CUDA10.1.243 和GPU加速庫 CUDNN 7.4.1。手機APP 開發(fā)及軟件測試的環(huán)境：硬件為內存 256 GB的華為手機（P40，華為技術有限公司，中國），軟件包括 HarmonyOS 2.0.0 操作系統和Android Studio 安卓應用軟件開發(fā)環(huán)境。

表1 CBAM-Invert-ResNet50和ResNet50網絡模型結構比較

注：圖中Dwise(3×3)為卷積核大小為3×3的深度卷積，CBAM為注意力模塊；在CBAM-Invert-ResNet50中，Conv3_1、Conv4_1、Conv5_1為下采樣添加卷積的倒置殘差結構，且Dwise(3×3)的步長為2，其余為下采樣不添加卷積的倒置殘差結構，且步長為1；3-d fc表示3個神經元的全連接層，Softmax為激活函數。

Note: The Dwise (3×3) in the figure indicates the depthwise convolution with kernel size of 3×3,CBAM is the Convolutional Block Attention Module; In the CBAM-Invert-ReNet50, the structure of Conv3_1, Conv4_1and Conv5_1 is inverted residual structure of down-sampling with convolution, and the stride of them is 2, the rest of structure is inverted residual structure of down-sampling without convolution, and the stride of them is 1; The 3-d fc represents the fully-connected layers with 3 neurons, Softmax is the softmax activation function.

2 結果與分析

2.1 倒置殘差結構對網絡模型復雜度的影響

利用倒置殘差結構替換ResNet50網絡中的傳統殘差結構后，模型先在高維空間提取特征，再壓縮至低維空間，倒置殘差網絡在高維空間所用的卷積核數量遠少于傳統殘差網絡。為驗證倒置殘差結構對模型復雜度的影響，本文通過模型大小、參數量來衡量模型的輕量化程度。所設計的CBAM-Invert-ResNet50模型與ResNet50、Invert-ResNet50和CBAM-ResNet50模型的對比如表2所示。

與ResNet50相比，Invert-ResNet50網絡模型的參數量由2.359×107降至9.85×106，參數量減少了58.25%；Invert-ResNet50網絡模型的大小由44.89 MB縮小至18.66 MB，模型大小減小了58.43%。與CBAM-ResNet50相比，CBAM-Invert-ResNet50網絡模型的參數量由2.612×107降至1.002×107，參數量減少了61.64%；CBAM-Invert-ResNet50網絡模型的大小由49.75 MB縮小至19.11 MB，模型大小減小了61.59%。

結果表明，與ResNet50和CBAM-ResNet50網絡相比，Invert-ResNet50和CBAM-Invert-ResNet50網絡參數量明顯減少，倒置殘差結構能顯著地減小模型網絡參數量，壓縮模型體積，實現模型結構的輕量化，這有利于將模型移植到手機移動端，為后續(xù)開發(fā)手機移動端應用軟件提供基礎。

表2 CBAM-Invert-ResNet50與ResNet50、Invert-ResNet50、CBAM-ResNet50模型大小和參數量對比

2.2 倒置殘差結構對模型收斂速度的影響

為了進一步驗證倒置殘差結構對模型收斂速度的影響，分別將本模型與MobileNetV3、ResNet50、Invert-ResNet50和CBAM-ResNet50模型的訓練過程進行對比。在訓練模型時，采用SGD優(yōu)化器，學習率設置為0.001，試驗過程中的批次樣本數為16，最大迭代次數為100次。背脊數據集、前腿數據集、后腿數據集以及混合部位數據集下MobileNetV3、ResNet50、Invert-ResNet50、CBAM-ResNet50、CBAM-Invert-ResNet50網絡模型的訓練集分類準確率隨迭代次數的變化如圖4所示。

在背脊數據集中，Invert-ResNet50收斂速度最快，其次是CBAM-Invert-ResNet50；在前腿數據集中，Invert-ResNet50收斂速度最快，其次是CBAM-Invert- ResNet50，在第65次后，5種模型收斂速度趨于一致；在后腿數據集中，Invert-ResNet50收斂速度最快，CBAM-Invert-ResNet50模型和CBAM-ResNet50模型收斂速度基本一致，ResNet50和MobileNetV3明顯慢于前三者；在混合部位數據集中，Invert-ResNet50和CBAM-Invert-ResNet50模型收斂速度明顯快于其余三種模型。結果表明，與ResNet50網絡模型和MobileNetV3網絡模型相比，Invert-ResNet50、CBAM-Invert-ResNet50網絡模型收斂速度最快。采用倒置殘差結構的CBAM-Invert-ResNet50網絡利用高度優(yōu)化的矩陣乘法和卷積算子獲得了更高的計算效率。CBAM-Invert-ResNet50網絡顯著降低了內存需求，實現了內存的高效管理，顯著加快了模型訓練時的收斂速度。

a. 背脊數據集a. Loin datasetb. 前腿數據集b. Fore shank datasetc. 后腿數據集c. Hind shank datasetd. 混合部位數據集d. Mix parts dataset

2.3 注意力機制對數據特征的影響

為了驗證注意力機制對羊肉、不同部位豬肉和不同部位豬肉摻假羊肉特征提取的影響，將各類別具有代表性的樣品原始圖像輸入ResNet50、Invert-ResNet50和CBAM-Invert- ResNet50網絡模型中，對比經過3種網絡模型提取特征后的最后一層輸出特征圖。特征圖對比如圖5所示，其中，第一行為樣品原始輸入圖像；第二行圖像是輸入圖像經過ResNet50網絡模型后的輸出特征；第三行圖像是輸入圖像經過Invert-ResNet50網絡模型后的輸出特征；第四行圖像是輸入圖像經過CBAM-Invert-ResNet50網絡模型后的輸出特征。在樣品原始輸入圖像中，圖a為羊肉圖像，圖b、c、d為不同部位豬肉摻假羊肉圖像，圖e、f、g為豬肉圖像，由圖可知，羊肉圖像與摻假羊肉圖像差異較小，肉眼難以區(qū)分，豬肉圖像與其余兩者差異較大。經過ResNet50和Invert-ResNet50網絡模型處理后，羊肉、摻假羊肉和豬肉三類的輸出特征可視化結果差異較小。經過CBAM-Invert- ResNet50網絡模型處理后，羊肉和摻假羊肉和豬肉的輸出特征可視化結果在顏色上具有明顯差異，原因是注意力機制可以增大感受野，創(chuàng)建不同通道間的依賴關系，對更重要的特征進行權重分配，強化不同部位豬肉摻假羊肉之間的特征差異。因此，注意力機制能用于羊肉、不同部位豬肉和摻假羊肉的分類。

2.4 模型準確率對比

為了驗證本網絡模型對背脊數據集、前腿數據集、后腿數據集以及混合部位數據集分類檢測的有效性，本文選用MobileNetV3、ResNet50、Invert-ResNet50、CBAM-ResNet50四個模型與本模型進行準確率對比，5個網絡模型對4個數據集的驗證集分類準確率對比如表3所示。

由表3可知，與ResNet50和Invert-ResNet50網絡模型相比，加入CBAM注意力機制后，CBAM-ResNet50與CBAM-Invert-ResNet50網絡模型對背脊數據集、前腿數據集、后腿數據集和混合部位數據集的分類準確率均有較大的提升。在四個數據集中，CBAM-ResNet50網絡模型比ResNet50網絡模型的分類準確率分別提高了5.09、2.18、14.17和1.92個百分點；CBAM-Invert-ResNet50網絡模型比Invert-ResNet50網絡模型的分類準確率分別提高了6.08、2.62、14.70和4.23個百分點。此外，與目前流行的移動端模型MobileNetV3相比，CBAM-Invert-ResNet50對四個數據集的分類準確率分別提高了12.44、9.6、13.73和4.87個百分點。

注：b、c、d的摻假比例均為20%。

表3 四個數據集下不同模型驗證集準確率對比

其中，CBAM-ResNet50、CBAM-Invert-ResNet50對前腿數據集和混合部位數據集的分類準確率較低，其原因在于，CBAM提取的圖像特征中，前腿摻假羊肉的核心特征與羊肉較為相似，圖5中，CBAM-Invert-ResNet50對羊肉和前腿摻假羊肉的特征可視化結果中，兩者核心特征在顏色上較為一致，所以CBAM-ResNet50和CBAM-Invert- ResNet50對前腿數據集的分類準確率較低；混合部位數據集是背脊、前腿和后腿數據集的混合，該數據集包含了前三個數據集的特征，數據集復雜，模型對數據集的分類難度更大，所以準確率有一定程度降低。

CBAM注意力機制能強化不同部位豬肉摻假羊肉之間的特征差異，進而提高分類準確率。引入CBAM注意力機制后，結果表明，與ResNet50和Invert-ResNet50網絡模型相比，CBAM-ResNet50和CBAM-Invert-ResNet50網絡模型對背脊數據集、前腿數據集、后腿數據集以及混合部位數據集的分類準確率均有較大提升，CBAM-Invert-ResNet50網絡模型整體性能均優(yōu)于ResNet50和MobileNetV3網絡模型。

2.5 模型性能評價

混淆矩陣常用來可視化地評估模型的性能優(yōu)劣。圖6給出了四個數據集下三種網絡模型對羊肉、摻假羊肉和豬肉三種類別檢測準確率的分類混淆矩陣。由圖7可知，在背脊數據集中，本模型對羊肉的識別準確率為90.65%，與ResNet50相比，提高了16.42個百分點，對摻假羊肉的識別準確率為95%，與MobileNetV3相比，提高了42.58個百分點；在前腿數據集中，本模型對羊肉的識別準確率為79.97%，與ResNet50和MobileNetV3相比，分別提高了1.32和25.09個百分點；在后腿數據集中，本模型對摻假羊肉的識別準確率為100%，與ResNet50和MobileNetV3相比，分別提高了42.33和36.83個百分點；在混合部位數據集中，本模型對摻假羊肉的識別準確率為97.93%，與ResNet50和MobileNetV3相比，分別提高了8.34和24.08個百分點。以上結果表明，在背脊數據集、前腿數據集、后腿數據集以及混合部位數據集中，與ResNet50、MobileNetV3相比，本模型對羊肉和摻假羊肉的識別率明顯提升。

2.6 網絡模型的移動端部署

為實現基于智能手機的羊肉精和染色劑作用下不同部位豬肉摻假羊肉的快速、準確分類檢測，本研究采用TensorFlow Lite框架將訓練好的CBAM-Invert-ResNet50網絡模型部署到Android設備中，開發(fā)出一款移動端摻假羊肉檢測系統如圖7所示。

注：M，羊肉；MP，摻假羊肉；P，豬肉。

圖7 移動端摻假羊肉檢測系統流程圖及檢測示例

首先，將訓練好的CBAM-Invert-ResNet50網絡模型保存為.tflite格式，然后，在Android Studio開發(fā)環(huán)境中開發(fā)摻假羊肉檢測移動端系統，該系統主要包括前端界面和后端處理。前端界面主要由.xml文件進行布局，通過添加文本和按鈕組件實現羊肉圖片和檢測結果的顯示。后端處理通過編寫Java語言實現，包括圖像獲取、圖像處理和模型判別功能。輸入一張圖像，獲取的圖像被自動裁剪為224像素×224像素，系統獲取圖像后會調用模型對圖像進行分類，檢測其是否摻假，并輸出其類別以及相應的可信度，檢測一張圖片耗時約為0.3 s。

3 結 論

1）為實現基于移動端的羊肉精和染色劑作用下不同部位豬肉摻假羊肉的快速分類檢測，本研究用倒置殘差結構替換ResNet網絡框架中的原有殘差結構，進行更高層語義特征學習，使模型更加輕量化。與ResNet50和CBAM-ResNet50相比，Invert-ResNet50和CBAM-Invert-ResNet50的參數量分別減少了58.25%和61.64%，模型大小分別減小了58.43%和61.59%。在相同試驗條件下，采用倒置殘差結構可顯著加快模型訓練時的收斂速度。

2）使用注意力機制可以強化不同肉類特征差異，提高模型精度，CBAM-Invert-ResNet50模型對羊肉精和染色劑作用下背脊、前腿、后腿數據集和混合部位數據集分類準確率分別為95.19%、94.29%、95.81%、92.97%，與Invert-ResNet50相比，分別提高了6.08、2.62、14.70和4.23個百分點；與MobileNetV3網絡模型相比，分別提高了12.44、9.60、13.73、4.87個百分點

3）基于智能手機開發(fā)的羊肉精和染色劑作用下豬肉摻假羊肉的移動端檢測，檢測耗時約為0.3 s，滿足對摻假羊肉快速、準確檢測的要求。

[1] 王彩霞，王松磊，賀曉光，等. 高光譜圖譜融合檢測羊肉中飽和脂肪酸含量[J]. 光譜學與光譜分析，2020，40(2)：595-601.

Wang Caixia, Wang Songlei, He Xiaoguang, et al. Detection of saturated fatty acid content in mutton by using the fusion of hyperspectral spectrum and image information[J]. Spectroscopy and Spectral Analysis, 2020, 40(2): 595-601. (in Chinese with English abstract)

[2] 甘春艷，李軍，金海. 2021年我國肉羊產業(yè)發(fā)展概況、未來發(fā)展趨勢及建議[J]. 中國畜牧雜志，2022，58(3)：258-263.

Gan Chunyan, Li Jun, Jin Hai. Development situation, future development trend and suggestions of mutton sheep industry in China in 2021[J]. Chinese Journal of Animal Husbandry, 2022, 58(3): 258-263. (in Chinese with English abstract)

[3] Vieira L S, Assis C, Queiroz M E L R de, et al. Building robust models for identification of adulteration in olive oil using FT-NIR, PLS-DA and variable selection[J]. Food Chemistry, 2021, 345: 128866.

[4] 白宗秀，朱榮光，王世昌，等. 高光譜圖像結合特征變量篩選定量檢測羊肉中狐貍肉摻假[J]. 農業(yè)工程學報，2021，37(17)：276-284.

Bai Zongxiu, Zhu Rongguang, Wang Shichang, et al. Quantitative detection of fox meat adulteration in mutton by hyper spectral imaging combined with characteristic variables screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 276-284. (in Chinese with English abstract)

[5] Wang Q, Li L, Ding W, et al. Adulterant identi?cation in mutton by electronic nose and gas chromatography-mass spectrometer, [J]. Food Control, 2019, 98: 431-438.

[6] 趙鑫龍，彭彥昆，李永玉，等. 基于深度學習的牛肉大理石花紋等級手機評價系統[J]. 農業(yè)工程學報，2020，36(13)：250-256.

Zhao Xinlong, Peng Yankun, Li Yongyu, et al. Mobile phone evaluation system for grading beef marbling based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 250-256. (in Chinese with English abstract)

[7] 孟令峰，朱榮光，白宗秀，等. 基于手機圖像的不同貯藏時間下冷卻羊肉的部位判別_孟令峰[J]. 食品科學，2020，41(23)：21-26.

Meng Lingfeng, Zhu Rongguang, Bai Zongxiu, et al. Discrimination of chilled lamb from different carcass parts at different storage times based on mobile phone images[J]. Food Science, 2020, 41(23): 21-26. (in Chinese with English abstract)

[8] 張垚鑫，朱榮光，孟令峰，等. 改進ResNet18網絡模型的羊肉部位分類與移動端應用[J]. 農業(yè)工程學報，2021，37(18)：331-338.

Zhang Yaoxin, Zhu Rongguang, Meng Lingfeng, et al. Classification of mutton location on the animal using improved ResNet18 network model and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 331-338. (in Chinese with English abstract)

[9] Song W, Yun Y H, Wang H, et al. Smartphone detection of minced beef adulteration[J]. Microchemical Journal, 2021, 164: 106088.

[10] Seddaoui N, Amine A. Smartphone-based competitive immunoassay for quantitative on-site[J]. Talanta, 2021, 230: 122346.

[11] Li D, Wang R J, Xie C J, et al. A recognition method for rice plant diseases and pests video detection based on deep convolutional neural network[J]. Sensors, 2020, 20(3): 578.

[12] He Y. Brown rice planthopper (Nilaparvata lugens Stal) detection based on deep learning[J]. Precision Agriculture, 2020, 21(6): 1385-1402.

[13] Cecotti H, Rivera A, Farhadloo M, et al, Grape detection with convolutional neural networks[J]. Expert Systems with Applications, 2020, 159: 113588

[14] 李云霞，馬浚誠，劉紅杰，等. 基于RGB圖像與深度學習的冬小麥田間長勢參數估算系統[J]. 農業(yè)工程學報，2021，37(24)：189-198.

Li Yunxia, Ma Juncheng, Liu Hongjie, et al. Field growth parameter estimation system of winter wheat using RGB digital images and deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 189-198. (in Chinese with English abstract)

[15] 孫紅，喬金博，李松，等. 基于深度學習的玉米拔節(jié)期冠層識別[J]. 農業(yè)工程學報，2021，37(21)：53-61.

Sun Hong, Qiao Jinbo, Li Song, et al. Recognition of the maize canopy at the jointing stage based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 53-61. (in Chinese with English abstract)

[16] 李小占，馬本學，喻國威，等. 基于深度學習與圖像處理的哈密瓜表面缺陷檢測[J]. 農業(yè)工程學報，2021，37(1)：223-232.

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of Hami melon using deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract)

[17] 高芳芳，武振超，索睿，等. 基于深度學習與目標跟蹤的蘋果檢測與視頻計數方法[J]. 農業(yè)工程學報，2021，37(21)：217-224.

Gao Fangfang, Wu Zhenchao, Suo Rui, et al. Apple detection and counting using real-time video based on deep learning and object tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 217-224. (in Chinese with English abstract)

[18] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016.

[19] 徐建鵬，王杰，徐祥，等. 基于RAdam卷積神經網絡的水稻生育期圖像識別[J]. 農業(yè)工程學報，2021，37(8)：143-150.

Xu Jianpeng, Wang Jie, Xu Xiang, et al. Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(8): 143-150. (in Chinese with English abstract)

[20] 萬鵬，趙竣威，朱明，等. 基于改進Res Net50模型的大宗淡水魚種類識別方法[J]. 農業(yè)工程學報，2021，37(12)：159-168.

Wan Peng, Zhao Junwei, Zhu Ming, et al. Freshwater fish species identification method based on improved Res Net50 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(12): 159-168. (in Chinese with English abstract)

[21] Mukti I Z, Dipayan B. Transfer learning based plant diseases detection using ResNet50[C]. 2019 4th International Conference on Electrical Information and Communication Technology (EICT), Khulna, Bangladesh 2019.

[22] Howard A, Sandler M, Chu G, et al. Searching for MobileNetV3[C]. International Conference on Computer Vision (ICCV), Seoul, Korea ,2019.

[23] Sandler M, Howard A, Zhu M L, et al. MobileNetV2: Inverted Residuals and Linear Bottlenecks[C]. 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, USA, 2018.

[24] 許帥，姜俊厚，高偉，等. 適用于移動設備的輕量化手勢識別算法[J]. 青島大學學報（自然科學版），2022，35(2)：51-56.

Xu Shuai, Jiang Junhou, Gao Wei, et al. Lightweight gesture recognition algorithm for mobile devices[J]. Journal of Qingdao University (Natural Science Edition), 2022, 35(2): 51-56. (in Chinese with English abstract)

[25] Fan B B, Zhu R G, He D Y et al. Evaluation of mutton adulteration under the effect of mutton flavour essence using hyperspectral imaging combined with machine learning and sparrow search algorithm[J]. Foods, 2022, 11: 2278.

[26] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional Block Attention Module[C]. Computer Vision - ECCV 2018, Springer, 2018: 3-19.

[27] Zhu X Y, Zhang X W, Sun Z, et al. Identification of oil tea (era) cultivars using EfficientNet-B4 CNN Model with attention mechanism[J]. Forests, 2022, 13(1): 1.

[28] 韓旭，趙春江，吳華瑞，等. 基于注意力機制及多尺度特征融合的番茄葉片缺素圖像分類方法[J]. 農業(yè)工程學報，2021，37(17)：177-188.

Han Xu, Zhao Chunjiang, Wu Huarui, et al. Image classification method for tomato leaf deficient nutrient elements based on attention mechanism and multi-scale feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 177-188. (in Chinese with English abstract)

[29] 林森，劉美怡，陶志勇. 采用注意力機制與改進YOLOv5的水下珍品檢測[J]. 農業(yè)工程學報，2021，37(18)：307-314.

Lin Sen, Liu Meiyi, Tao Zhiyong, et al. Detection of underwater treasures using attention mechanism and improved YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 307-314. (in Chinese with English abstract)

[30] Li Y Y, Zhang D, Lee D J. IIRNet: A lightweight deep neural network using intensely inverted residuals for image recognition[J]. Image and Vision Computing, 2019, 92: 103819.

Construction of the detection system for mutton adulteration classification based on inverted residual network and convolutional block attention module

He Dongyu1, Zhu Rongguang1,2※, Fan Binbin1, Wang Shichang1, Cui Xiaomin1,Yao Xuedong1

(1.,,832003,; 2.,,832003,)

Accurate and real-time detection of meat adulteration has been an ever-increasing high demand in the food industry in recent years. However, the presence of mutton flavor essence and dye can make the detection more difficult than before. In this study, a residual network (ResNet) model was proposed to classify the mutton adulteration using Convolutional Block Attention Module (CBAM) combined with the inverted residual (Invert). Meanwhile, an application software was also developed to realize the rapid and accurate classification using smart phones. Firstly, the original images were collected from the mutton, three parts pork, and adulterated mutton using a mobile phone. Hough circle detection was then used to remove the background of the images. Data augmentation (such as rotation, offset, and mirroring) was used to expand the sample images. 6800 images were acquired, two-thirds of which were used as the training and testing dataset. Furthermore, the training dataset was three times larger than the testing one. The rest was then used as the independent validation dataset. Secondly, the original residual structure of the ResNet framework was replaced by the Invert structure, in order to reduce the number of network parameters for the high convergence speed. At the same time, the CBAM was introduced into the Invert structure. As such, the feature difference was strengthened to redistribute the feature weights in the spatial and channel. The convolution neural network (CBAM-Invert-ResNet) was then developed using the sample data. Furthermore, the MobileNet and resnet50 were also developed using the same data to compare the convergence speed and accuracy of the model. Finally, the CBAM-Invert-ResNet network model was transplanted to mobile phones by the TensorFlow Lite framework and AndroidStudio development environment. The mobile terminal classification was realized in real time. The results showed that the CBAM greatly enhanced the feature difference among categories, whereas, the Invert significantly reduced the parameters and size of the network, indicating the accelerated convergence speed. The parameters of Invert-ResNet50 model are 9.85×106, and the model size is 18.66 MB, which were reduced by 58.25% and 58.43% compared with the ResNet50 model. Specifically, the parameters of the CBAM-Invert-ResNet50 model were 1.002×107with a model size of 19.11MB, which were reduced by 61.64% and 61.59% compared with the CBAM-ResNet50 model, respectively, compared with the ResNet50 model. The convergence speed of the CBAM-Invert-ResNet50 model was much faster than that of the ResNet50 one. There were also many more outstanding differences in color during feature visualization of the mutton, adulterated mutton, and pork using the CBAM-Invert-ResNet50 model. The classification accuracies of the CBAM-Invert-ResNet50 model for the pork adulteration with the loin, hind shank, fore shank and mix parts datasets were 95.19 %, 94.29 %, 95.81 %, and 92.96% in validation dataset, which were improved by 6.08、2.62、14.70 and 4.23 percentage points compared with the Invert-ResNet50 model, respectively, compared with the ResNet50 model. Furthermore, the classification accuracies of the CBAM-Invert-ResNet50 model were improved by 12.44, 9.6, 13.73, and 4.87 percentage points, respectively, compared with the MobileNet. Moreover, the application software with the CBAM-Invert-ResNet50 model was developed to quickly and accurately classified mutton, pork, and mutton adulterationwith the different ratios of porkingredients. The detection time of each image was about 0.3 s in the mobile terminal. The rapid and accurate classification was realized for the mutton adulteration with the pork under the effect of mutton flavor essence and dye. The finding can provide technical support to maintain the market order in food safety.

image processing; deep learning; mutton adulteration; attention mechanism; inverted residual; mobile terminal; mutton flavor essence; dyeing agents

10.11975/j.issn.1002-6819.2022.20.030

TP391.41; TS251.53

A

1002-6819(2022)-20-0266-10

何東宇，朱榮光，范彬彬，等. 倒置殘差網絡結合注意力機制的摻假羊肉分類檢測系統構建[J]. 農業(yè)工程學報，2022，38(20)：266-275.doi：10.11975/j.issn.1002-6819.2022.20.030 http://www.tcsae.org

He Dongyu, Zhu Rongguang, Fan Binbin, et al. Construction of the detection system for mutton adulteration classification based on inverted residual network and convolutional block attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 266-275. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.20.030 http://www.tcsae.org

2022-07-15

2022-09-18

國家自然科學基金地區(qū)科學基金項目（31860465）；兵團中青年科技創(chuàng)新領軍人才計劃項目（2020CB016）

何東宇，研究方向為圖像處理，機器學習。Email：hedy_1221@163.com

朱榮光，博士，教授，博士生導師，研究方向為農畜產品無損檢測與裝備研發(fā)。Email：rgzh_jd@163.com