張垚鑫，朱榮光，孟令峰，馬 蓉，王世昌，白宗秀，崔曉敏

改進(jìn)ResNet18網(wǎng)絡(luò)模型的羊肉部位分類與移動端應(yīng)用

張垚鑫1,2，朱榮光1,2※，孟令峰1，馬 蓉1，王世昌1，白宗秀1，崔曉敏1

（1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，石河子 832003；2. 農(nóng)業(yè)農(nóng)村部西北農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，石河子 832003）

針對傳統(tǒng)圖像分類模型泛化性不強(qiáng)、準(zhǔn)確率不高以及耗時等問題，該研究構(gòu)建了一種用于識別不同部位羊肉的改進(jìn)ResNet18網(wǎng)絡(luò)模型，并基于智能手機(jī)開發(fā)了一款可快速識別不同部位羊肉的應(yīng)用軟件。首先，使用數(shù)據(jù)增強(qiáng)方式對采集到的羊背脊、羊前腿和羊后腿肉的原始手機(jī)圖像進(jìn)行數(shù)據(jù)擴(kuò)充；其次，在ResNet18網(wǎng)絡(luò)結(jié)構(gòu)中引入附加角裕度損失函數(shù)（ArcFace）作為特征優(yōu)化層參與訓(xùn)練，通過優(yōu)化類別的特征以增強(qiáng)不同部位羊肉之間的類內(nèi)緊度和類間差異，同時將ResNet18網(wǎng)絡(luò)殘差結(jié)構(gòu)中的傳統(tǒng)卷積用深度可分離卷積替換以減少網(wǎng)絡(luò)參數(shù)量，提高網(wǎng)絡(luò)運(yùn)行速度；再次，探究了不同優(yōu)化器、學(xué)習(xí)率和權(quán)重衰減系數(shù)對網(wǎng)絡(luò)收斂速度和準(zhǔn)確率的影響并確定模型參數(shù)；最后，將該網(wǎng)絡(luò)模型移植到安卓（Android）手機(jī)以實(shí)現(xiàn)不同部位羊肉的移動端檢測。研究結(jié)果表明，改進(jìn)ResNet18網(wǎng)絡(luò)模型測試集的準(zhǔn)確率高達(dá)97.92%，相比ResNet18網(wǎng)絡(luò)模型提高了5.92個百分點(diǎn)；把改進(jìn)ResNet18網(wǎng)絡(luò)模型部署到移動端后，每張圖片的檢測時間約為0.3 s。該研究利用改進(jìn)ResNet18網(wǎng)絡(luò)模型結(jié)合智能手機(jī)圖像實(shí)現(xiàn)了不同部位羊肉的移動端快速準(zhǔn)確分類，為促進(jìn)羊肉的智能化檢測及羊肉市場按質(zhì)論價提供了技術(shù)支持。

圖像處理；圖像識別；模型；羊肉；ResNet18；移動端；羊肉部位分類

0 引 言

羊肉的肉質(zhì)鮮嫩，營養(yǎng)價值高，且其中含有豐富的維生素、鈣、磷、鐵等，深受人們喜愛[1]。不同部位羊肉的品質(zhì)[2-3]以及脂肪酸、蛋白質(zhì)等營養(yǎng)成分含量[4-5]各不相同，且不同部位羊肉的顏色、失水率、風(fēng)味、嫩度和加工適宜性等也會隨儲藏時間改變[6]。隨著人們生活水平的不斷提高，對肉制品真實(shí)性的要求也越來越高，然而不同部位的羊肉經(jīng)常被混淆出售，該行為破壞了市場“按質(zhì)論價”的原則。因此，尋求一種快速、準(zhǔn)確鑒別不同部位羊肉的方法對維護(hù)肉制品行業(yè)的市場秩序具有重要意義。

目前，用于肉制品檢測的技術(shù)主要有近紅外光譜、高光譜成像以及傳感器（電子鼻、電子舌）檢測等[7]。Sanz等[8]將高光譜成像技術(shù)與機(jī)器學(xué)習(xí)算法相結(jié)合，對羔羊的背長肌、腰大肌、半膜肌進(jìn)行分類，準(zhǔn)確率為96.67%。Kamruzzaman等[9]采用高光譜成像技術(shù)結(jié)合主成分分析算法對夏洛萊羊的半腱肌、背闊肌和腰大肌進(jìn)行了分類，準(zhǔn)確率高達(dá)100%。但上述方法因成本高和操作復(fù)雜等缺點(diǎn)難以應(yīng)用推廣。隨著手機(jī)運(yùn)算速度的提高，基于移動端的肉制品檢測研究逐漸增多[10-12]。趙鑫龍等[10]基于智能手機(jī)開發(fā)了一種用于牛肉大理石花紋檢測的軟件，檢測準(zhǔn)確率為95.56%，且單張檢測時間低于0.5 s。然而，有關(guān)不同部位羊肉分類判別應(yīng)用軟件的研究仍然較少，孟令峰等[11]利用反向傳播神經(jīng)網(wǎng)絡(luò)對基于手機(jī)圖片的不同部位羊肉進(jìn)行分類，并開發(fā)了相應(yīng)的手機(jī)應(yīng)用軟件，但其準(zhǔn)確率為90.94%，方法精度有限。

近年來，各種卷積神經(jīng)網(wǎng)絡(luò)模型不斷涌現(xiàn)，其網(wǎng)絡(luò)層次越來越深，結(jié)構(gòu)越來越復(fù)雜，精度越來越高[13-16]。目前，深度學(xué)習(xí)已逐步應(yīng)用于農(nóng)畜產(chǎn)品新鮮度[17]、成熟度[18]、品質(zhì)檢測[19-20]和摻假檢測[21-23]等相關(guān)研究。當(dāng)深度學(xué)習(xí)的網(wǎng)絡(luò)深度達(dá)到一定界限時，在其訓(xùn)練過程中會出現(xiàn)梯度消失的現(xiàn)象，導(dǎo)致網(wǎng)絡(luò)難以收斂。ResNet網(wǎng)絡(luò)[24]通過引入殘差結(jié)構(gòu)解決該問題，現(xiàn)已應(yīng)用于茶葉[25]、柑橘[26]等其他食品分類中，但仍存在參數(shù)過多、運(yùn)算成本高等問題。因此，一些網(wǎng)絡(luò)為了提高運(yùn)行速度，將訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行壓縮或?qū)⒕W(wǎng)絡(luò)結(jié)構(gòu)輕量化[27]。有研究表明，MobileNet網(wǎng)絡(luò)[28]中的深度可分離卷積能在不影響準(zhǔn)確率的前提下降低計算量，提高運(yùn)行速度。由于羊背脊、羊后腿、羊前腿等不同部位的羊肉顏色和紋理特征較為相似，導(dǎo)致不同部位羊肉類別之間的區(qū)分精度不高，且不同的貯藏時間會影響不同羊肉部位的外觀形態(tài)進(jìn)而對部位的區(qū)分產(chǎn)生影響。因此，為增強(qiáng)不同部位羊肉之間差異的判別效果，提高網(wǎng)絡(luò)模型的分類精度，本研究借鑒人臉識別中的附加角裕度損失函數(shù)（ArcFace）[29]，并將其作為不同部位羊肉分類網(wǎng)絡(luò)模型的特征優(yōu)化層參與訓(xùn)練，通過最大化分類界限區(qū)分不同部位羊肉之間的細(xì)微特征。

本研究為實(shí)現(xiàn)基于手機(jī)圖像的不同部位羊肉分類判別，引入附加角裕度損失函數(shù)（ArcFace）作為ResNet18網(wǎng)絡(luò)的特征優(yōu)化層以增強(qiáng)不同部位羊肉特征之間的可分性，并借鑒MobileNet輕量化網(wǎng)絡(luò)，將ResNet18網(wǎng)絡(luò)殘差結(jié)構(gòu)中的傳統(tǒng)卷積替換為深度可分離卷積以減少網(wǎng)絡(luò)參數(shù)量，進(jìn)而比較不同優(yōu)化器、學(xué)習(xí)率和權(quán)重衰減系數(shù)對網(wǎng)絡(luò)收斂速度和準(zhǔn)確率的影響，然后建立基于改進(jìn)ResNet18網(wǎng)絡(luò)的不同部位羊肉識別模型，最后將改進(jìn)ResNet18網(wǎng)絡(luò)模型移植到Android終端。本研究提出在深度學(xué)習(xí)模型中引入Arcface以及深度可分離卷積的方法可為其他深度網(wǎng)絡(luò)改進(jìn)提供參考。另外，本研究開發(fā)的不同部位羊肉分類手機(jī)應(yīng)用軟件（APP）將深度學(xué)習(xí)方法應(yīng)用于手機(jī)終端，具有很好的實(shí)用性和便攜性。

1 材料與方法

1.1 圖像采集與預(yù)處理

1.1.1 羊肉樣本圖像采集

本研究試驗(yàn)樣本采購于石河子市中心農(nóng)貿(mào)市場，樣本分別取自6只小尾寒羊（6～8月齡），在進(jìn)行約30 h的排酸后送至石河子大學(xué)農(nóng)畜產(chǎn)品實(shí)驗(yàn)室進(jìn)行樣本制備。試驗(yàn)制備的羊背脊、羊前腿和羊后腿肉樣本的長、寬、高約為40 mm、30 mm、10 mm，將其真空包裝后置于4 ℃冰箱內(nèi)冷藏。為避免外界自然光照對試驗(yàn)產(chǎn)生影響，使采集環(huán)境更加穩(wěn)定，整個試驗(yàn)過程均在封閉環(huán)境下進(jìn)行，并對光源進(jìn)行補(bǔ)償。圖像采集前，將試驗(yàn)樣本從冰箱中取出，待其恢復(fù)至室溫后使用手機(jī)（華為P10，華為技術(shù)有限公司，中國）進(jìn)行圖像采集，分別于每天的10:00和22:00進(jìn)行2次圖像采集，連續(xù)采集12 d。拍攝過程中，手機(jī)攝像頭位于羊肉樣本正上方12 cm的位置。試驗(yàn)剔除提前腐敗的異常樣本后，得到羊背脊、羊前腿和羊后腿樣本各14 個，共計1 008張圖像，圖像格式為.jpg，圖像分辨率為2 976×3 968像素。

1.1.2 圖像數(shù)據(jù)預(yù)處理

本研究為提高網(wǎng)絡(luò)模型的適應(yīng)性與泛化性，對獲得的羊肉圖片采用隨機(jī)旋轉(zhuǎn)、水平和垂直翻轉(zhuǎn)、調(diào)節(jié)亮度飽和度對比度、添加高斯模糊和椒鹽噪聲等方式進(jìn)行數(shù)據(jù)集擴(kuò)充[30]。擴(kuò)充后的數(shù)據(jù)集數(shù)量為原來的9倍，共10 080張圖片，不同擴(kuò)充方式下的羊肉圖片示例如圖1所示。本試驗(yàn)所采用的數(shù)據(jù)集包括羊前腿、羊后腿和羊背脊3類不同部位羊肉，為保證樣本量均衡，從每類樣本中隨機(jī)選取2 000張共計6 000張不同部位羊肉的手機(jī)圖片，按照4∶1的比例劃分為訓(xùn)練集（4 800張）和測試集（1 200張）。

1.2 基于改進(jìn)ResNet18網(wǎng)絡(luò)的不同部位羊肉分類模型構(gòu)建

1.2.1 ResNet18網(wǎng)絡(luò)

激活函數(shù)隨卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷加深而逐漸增多，從而將輸入數(shù)據(jù)映射到更加離散的高維空間，造成網(wǎng)絡(luò)較難收斂。針對上述問題，He等[24]提出ResNet網(wǎng)絡(luò)，其由卷積層、池化層、歸一化層、殘差結(jié)構(gòu)和全連接層等結(jié)構(gòu)組成。ResNet18網(wǎng)絡(luò)通過引入殘差結(jié)構(gòu)可解決由于網(wǎng)絡(luò)層數(shù)較多而出現(xiàn)的退化問題，以免在提取特征過程中丟失信息。然而，ResNet18網(wǎng)絡(luò)在進(jìn)行多分類時仍存在類別邊界不清晰、網(wǎng)絡(luò)參數(shù)量過多和不便移植到手機(jī)端等問題。

1.2.2 附加角裕度損失函數(shù)（ArcFace）

ResNet18網(wǎng)絡(luò)采用Softmaxloss損失函數(shù)實(shí)現(xiàn)多分類時，先將神經(jīng)網(wǎng)絡(luò)的輸出數(shù)值轉(zhuǎn)化為每個類的相對概率，然后再映射到（0,1）區(qū)間內(nèi)，最終選取概率值最大的類別作為預(yù)測結(jié)果。傳統(tǒng)的Softmaxloss損失函數(shù)（1）如式（1）所示

1.2.3 深度可分離卷積

隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)的參數(shù)量也隨之增加，使得網(wǎng)絡(luò)訓(xùn)練效率逐漸降低。針對此問題，本研究借鑒MobileNet網(wǎng)絡(luò)中的深度可分離卷積，將其代替ResNet18網(wǎng)絡(luò)中的傳統(tǒng)卷積以獲得更高效的輕量化網(wǎng)絡(luò)，使網(wǎng)絡(luò)在幾乎不影響準(zhǔn)確率的前提下大大降低計算量，以便將改進(jìn)ResNet18網(wǎng)絡(luò)模型部署到移動端。

1.2.4 改進(jìn)ResNet18網(wǎng)絡(luò)模型構(gòu)建

本研究提出的改進(jìn)ResNet18網(wǎng)絡(luò)是通過對ResNet18網(wǎng)絡(luò)進(jìn)行以下2個方面改進(jìn)而獲得。一方面，對ResNet18網(wǎng)絡(luò)的殘差結(jié)構(gòu)進(jìn)行改進(jìn)，將其中的傳統(tǒng)卷積替換為深度可分離卷積。深層卷積對輸入層的每個通道分別進(jìn)行卷積操作，然后利用逐點(diǎn)卷積提取不同通道在相同空間位置上的特征信息。相比傳統(tǒng)卷積，深度可分離卷積可在不影響分類精度的前提下降低網(wǎng)絡(luò)參數(shù)量，提高網(wǎng)絡(luò)效率。另一方面，為區(qū)分不同部位羊肉特征之間的細(xì)微差異，引入附加角裕度損失函數(shù)（ArcFace）[29]作為改進(jìn)ResNet18網(wǎng)絡(luò)的特征優(yōu)化層參與訓(xùn)練，在角度空間增加角度間隔以加強(qiáng)類內(nèi)緊度和類間差異，最大化不同部位羊肉的分類界限。本研究提出的改進(jìn)ResNet18網(wǎng)絡(luò)主要由以下7部分組成：卷積層、池化層、歸一化層、殘差結(jié)構(gòu)（3個）、全連接層、Softmax分類層和特征優(yōu)化層，其結(jié)構(gòu)示意圖如圖2所示，其中，殘差結(jié)構(gòu)由卷積核大小為3×3步長為2的卷積、卷積核大小為3×3步長為1的深度卷積和卷積核大小為1×1步長為1的逐點(diǎn)卷積構(gòu)成。整個改進(jìn)ResNet18網(wǎng)絡(luò)的損失函數(shù)由Softmax分類層的Softmaxloss損失函數(shù)1與特征優(yōu)化層的附加角裕度損失函數(shù)（ArcFace）3兩部分之和組成，進(jìn)行網(wǎng)絡(luò)訓(xùn)練時，通過最小化損失函數(shù)以實(shí)現(xiàn)羊背脊、羊前腿和羊后腿之間的精準(zhǔn)分類與識別。

1.2.5 試驗(yàn)環(huán)境

羊肉部位分類模型訓(xùn)練的試驗(yàn)環(huán)境：硬件包括Intel? CoreTMi7-6700KCPU @ 3.40 GHz處理器，40 GB內(nèi)存和NVIDIA GeForce RTX 2080 Ti 顯卡（11 GB 顯存）等，軟件包括操作系統(tǒng)Windows 10（64位）、編程語言Python 3.6.5、深度學(xué)習(xí)框架Pytorch1.1.0、通用計算架構(gòu)CUDA 10.0和GPU加速庫CUDNN 7.4.1。手機(jī)APP開發(fā)及軟件測試的環(huán)境：硬件為內(nèi)存64 GB的華為手機(jī)（P10，華為技術(shù)有限公司，中國），軟件包括Android8.0操作系統(tǒng)和Android Studio安卓應(yīng)用軟件開發(fā)環(huán)境。

1.2.6 評價指標(biāo)

本研究采用準(zhǔn)確率（Accuracy，%）來評價所有不同部位羊肉分類模型的性能，并通過混淆矩陣分析三種部位羊肉的錯分情況。準(zhǔn)確率為分類正確的樣本數(shù)占樣本總數(shù)的比例，其計算如式（5）所示

式中TP、FP、FN、TN分別為混淆矩陣中分類模型對不同部位羊肉的分類情況統(tǒng)計。其中TP為正類判定為正類的樣本個數(shù)，F(xiàn)P為負(fù)類判定為正類的樣本個數(shù)，F(xiàn)N為正類判定為負(fù)類的樣本個數(shù)，TN為負(fù)類判定為負(fù)類的樣本個數(shù)。進(jìn)行分類任務(wù)時，把要預(yù)測樣本的實(shí)際類別數(shù)視為正樣本數(shù)，其他所有類別之和為負(fù)樣本數(shù)。

圖2 改進(jìn)ResNet18網(wǎng)絡(luò)模型的結(jié)構(gòu)示意圖

Fig.2 Structure diagram of improved ResNet18 network model

2 結(jié)果與分析

2.1 附加角裕度損失函數(shù)（ArcFace）對特征分布的影響分析

為探究附加角裕度損失函數(shù)（ArcFace）對不同部位羊肉特征分布的影響，本研究將ResNet18網(wǎng)絡(luò)和ResNet18_ArcFace網(wǎng)絡(luò)提取的兩個特征進(jìn)行可視化，其特征分布圖如圖3所示。相比ResNet18網(wǎng)絡(luò)，ResNet_ArcFace網(wǎng)絡(luò)在增強(qiáng)類內(nèi)緊度的同時還增加了類間差異，使得同一部位羊肉特征的相似度增強(qiáng)，不同部位羊肉之間特征差異性增大，進(jìn)而提高了網(wǎng)絡(luò)模型的魯棒性。

為進(jìn)一步量化不同網(wǎng)絡(luò)所提取的特征對羊肉部位的類內(nèi)緊度和類間差異的影響，本研究從不同部位特征總的方差和中心距（中心之間的距離之和）兩個指標(biāo)對其進(jìn)行對比分析。ResNet18網(wǎng)絡(luò)和ResNet18_ArcFace網(wǎng)絡(luò)訓(xùn)練集和測試集的方差和中心距如表1所示。其中，ResNet18_ArcFace網(wǎng)絡(luò)訓(xùn)練集和測試集的方差分別為7.27和12.49，比ResNet18網(wǎng)絡(luò)分別減少了7.30和2.47。ResNet18_ArcFace網(wǎng)絡(luò)訓(xùn)練集和測試集的中心距分別為49.53和42.57，比ResNet18網(wǎng)絡(luò)分別增大了24.02和15.63。結(jié)果表明，ResNet18網(wǎng)絡(luò)引入ArcFace可提高不同部位羊肉之間的可區(qū)分性。

表1 ResNet18網(wǎng)絡(luò)、ResNet18_ArcFace網(wǎng)絡(luò)特征分布的對比分析

2.2 深度可分離卷積對網(wǎng)絡(luò)模型參數(shù)量的影響分析

利用深度可分離卷積替換ResNet18網(wǎng)絡(luò)殘差結(jié)構(gòu)中的傳統(tǒng)卷積后，卷積分為深度卷積和逐點(diǎn)卷積2個部分。因此，網(wǎng)絡(luò)中殘差結(jié)構(gòu)的參數(shù)量由原來3.13×106降至0.36×106，整體網(wǎng)絡(luò)的參數(shù)量由原來的11.69×106降至7.68×106。結(jié)果表明，與ResNet18網(wǎng)絡(luò)相比，引入深度可分離卷積的改進(jìn)ResNet18網(wǎng)絡(luò)可減少參數(shù)量。

2.3 模型參數(shù)對改進(jìn)ResNet18網(wǎng)絡(luò)模型的影響分析

為研究訓(xùn)練過程中的模型參數(shù)對改進(jìn)ResNet18網(wǎng)絡(luò)模型的影響，本研究分別選用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器和自適應(yīng)矩估計優(yōu)化器（Adaptive moment estimation，Adam）兩種優(yōu)化器，并分別設(shè)置學(xué)習(xí)率為0.01和0.001，權(quán)重衰減系數(shù)為0和0.000 5對模型進(jìn)行訓(xùn)練，并對比分析不同參數(shù)對模型準(zhǔn)確率的影響。測試集的準(zhǔn)確率隨參數(shù)的變化趨勢如圖4所示。由圖4可知，Adam比SGD優(yōu)化器收斂速度更快，但網(wǎng)絡(luò)模型準(zhǔn)確率波動較大。模型參數(shù)對改進(jìn)ResNet18網(wǎng)絡(luò)模型影響的具體情況如表2所示，當(dāng)采用學(xué)習(xí)率為0.01，權(quán)重衰減系數(shù)為0.000 5的SGD優(yōu)化器時，測試集的準(zhǔn)確率為97.92%，且準(zhǔn)確率曲線趨勢更加平穩(wěn)。

表2 改進(jìn)ResNet18網(wǎng)絡(luò)模型在不同參數(shù)下準(zhǔn)確率的對比分析

注：Adam優(yōu)化算法中加入權(quán)重衰減系數(shù)無效。

Note: It is invalid for adding weight decay coefficient in Adam optimization algorithm.

2.4 改進(jìn)ResNet18網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型的對比分析

本研究中所有網(wǎng)絡(luò)模型均使用遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練，凍結(jié)網(wǎng)絡(luò)中除全連接層之外的所有網(wǎng)絡(luò)層，只對最后一層進(jìn)行訓(xùn)練。訓(xùn)練模型時采用SGD優(yōu)化器，學(xué)習(xí)率設(shè)置為0.01，權(quán)重衰減系數(shù)設(shè)置為0.000 5。試驗(yàn)過程中的批次樣本數(shù)為32，最大輪數(shù)為100輪。

ResNet18、改進(jìn)ResNet18和MobileNet網(wǎng)絡(luò)模型的準(zhǔn)確率隨訓(xùn)練輪數(shù)的變化如圖5所示。由圖5可知，ResNet18網(wǎng)絡(luò)模型經(jīng)過21輪訓(xùn)練準(zhǔn)確率達(dá)到90.25%，最終穩(wěn)定在92.00%；改進(jìn)ResNet18網(wǎng)絡(luò)模型經(jīng)過6輪訓(xùn)練準(zhǔn)確率達(dá)到95.25%，最終穩(wěn)定在97.92%；MobileNet網(wǎng)絡(luò)模型經(jīng)過17輪訓(xùn)練準(zhǔn)確率達(dá)到78.34%，最終穩(wěn)定在84.58%。與ResNet18網(wǎng)絡(luò)模型和MobileNet網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型收斂速度更快，且準(zhǔn)確率分別提升了5.92和13.34個百分點(diǎn)。

ResNet18、改進(jìn)ResNet18和MobileNet網(wǎng)絡(luò)模型對不同部位羊肉的分類結(jié)果對比情況如表3所示。由表3可知，使用改進(jìn)ResNet18網(wǎng)絡(luò)模型對羊背脊、羊后腿和羊前腿的分類準(zhǔn)確率分別為97.00%、98.00%和98.75%。與ResNet18網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型對羊背脊、羊后腿和羊前腿的分類準(zhǔn)確率分別提高了5.75、5.50和6.50個百分點(diǎn)；與MobileNet網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型對羊背脊、羊后腿和羊前腿的分類準(zhǔn)確率分別提高了13.50、10.75和15.75個百分點(diǎn)。結(jié)果表明，與ResNet18網(wǎng)絡(luò)模型和MobileNet網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型對不同部位羊肉的分類準(zhǔn)確率均有較大提升。

表3 ResNet18、改進(jìn)ResNet18和MobileNet網(wǎng)絡(luò)模型分類結(jié)果對比

改進(jìn)ResNet18網(wǎng)絡(luò)模型的混淆矩陣如表4所示。由表4可知，使用改進(jìn)ResNet18網(wǎng)絡(luò)模型對1 200個不同部位羊肉數(shù)據(jù)集進(jìn)行測試，僅25個不同部位的羊肉圖像分類錯誤，分類效果良好。另外，本研究通過進(jìn)一步分析不同部位羊肉數(shù)據(jù)集的錯分情況可知，不同部位羊肉的顏色和紋理特征是其分類過程中的重要依據(jù)，當(dāng)樣本與背景顏色區(qū)分度不大和樣本紋理不清晰（模糊或有噪聲）時，則容易發(fā)生誤分。誤分樣本大多為亮度較大、飽和度較低、添加了椒鹽噪聲和模糊的圖片，其較為復(fù)雜的背景影響了樣本的準(zhǔn)確識別。

表4 改進(jìn)ResNet18網(wǎng)絡(luò)模型的混淆矩陣

2.5 不同部位羊肉分類手機(jī)APP實(shí)現(xiàn)

為了實(shí)現(xiàn)不同部位羊肉精準(zhǔn)分類在移動端的快速檢測，本研究采用Pytorch Mobile框架將訓(xùn)練好的改進(jìn)ResNet18網(wǎng)絡(luò)模型部署到Android設(shè)備中。首先，將訓(xùn)練好的改進(jìn)ResNet18網(wǎng)絡(luò)模型轉(zhuǎn)換成TorchScript模型，并保存為相應(yīng)的.pt格式。然后，在Android Studio軟件環(huán)境中開發(fā)羊肉部位分類手機(jī)應(yīng)用APP，APP主要包括前端界面和后端處理。前端界面主要由.xml文件進(jìn)行布局，通過添加文本和按鈕組件實(shí)現(xiàn)羊肉圖片和檢測結(jié)果的顯示。后端處理通過編寫Java語言實(shí)現(xiàn)，包括圖像獲取、圖像處理和模型判別功能。在運(yùn)用APP對不同部位羊肉進(jìn)行識別時，首先，使用圖像獲取功能采集圖像，然后，利用圖像處理功能將獲取圖像的大小壓縮至224×224像素并存儲，最后，調(diào)用.pt格式的TorchScript模型對壓縮后的圖片進(jìn)行識別。利用測試集1 200張圖片對羊肉部位分類手機(jī)APP進(jìn)行測試，得出每張圖片的檢測時間約為0.3 s。

3 結(jié) 論

1）本研究在ResNet18網(wǎng)絡(luò)的基礎(chǔ)上引入附加角裕度損失函數(shù)（ArcFace），并將殘差結(jié)構(gòu)中的傳統(tǒng)卷積替換為深度可分離卷積，構(gòu)建了改進(jìn)ResNet18網(wǎng)絡(luò)模型用于不同部位羊肉的分類。該網(wǎng)絡(luò)模型不僅提高了不同部位羊肉之間的可區(qū)分性，而且減少了網(wǎng)絡(luò)的參數(shù)量。

2）改進(jìn)ResNet18網(wǎng)絡(luò)模型對不同部位羊肉分類的準(zhǔn)確率高達(dá)97.92%。與ResNet18網(wǎng)絡(luò)模型和MobileNet網(wǎng)絡(luò)模型相比，改進(jìn)ResNet18網(wǎng)絡(luò)模型的分類準(zhǔn)確率分別提升了5.92個百分點(diǎn)和13.34個百分點(diǎn)。

3）將本研究提出的改進(jìn)ResNet18模型轉(zhuǎn)化為TorchScript模型移植到移動端后，所開發(fā)的羊肉檢測應(yīng)用軟件能夠?qū)崿F(xiàn)對不同部位羊肉快速準(zhǔn)確分類，每張圖像的檢測時間約為0.3 s。

總體而言，本研究提出的改進(jìn)ResNet18網(wǎng)絡(luò)模型采用了大量背景較為復(fù)雜的數(shù)據(jù)進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)不同部位羊肉的快速準(zhǔn)確分類，但所開發(fā)的手機(jī)APP較為簡單。后續(xù)研究中，將會考慮羊肉品種、產(chǎn)地以及儲藏時間對模型的影響。另外，本研究提出的改進(jìn)ResNet18網(wǎng)絡(luò)模型可為實(shí)現(xiàn)其他類別差異細(xì)微的樣本快速準(zhǔn)確分類提供參考。

[1] 王彩霞，王松磊，賀曉光，等. 高光譜圖譜融合檢測羊肉中飽和脂肪酸含量[J]. 光譜學(xué)與光譜分析，2020，40(2)：595-601.

Wang Caixia, Wang Songlei, He Xiaoguang, et al. Detection of saturated fatty acid content in mutton by using the fusion of hyperspectral spectrum and image information[J]. Spectroscopy and Spectral Analysis, 2020, 40(2): 595-601. (in Chinese with English abstract)

[2] Junkuszew A, Nazar P, Milerski M, et al. Chemical composition and fatty acid content in lamb and adult sheep meat[J]. Archives Animal Breeding, 2020, 63(2): 261-268.

[3] 李貞子，楊具田，宋巧，等. 不同性別及部位的蘭州大尾羊肉食用品質(zhì)[J]. 食品工業(yè)科技，2014，35(17)：354-357，361.

Li Zhenzi, Yang Jutian, Song Qiao, et al. Edible quality of Lanzhou fat-tailed sheep in different gender and anatomical regions[J]. Science and Technology of Food Industry, 2014, 35(17): 354-357, 361. (in Chinese with English abstract)

[4] 陳學(xué)敏，朱國茵，羅海玲，等. 基于指紋圖譜的歐拉羊肉揮發(fā)性風(fēng)味物質(zhì)定量分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2020，51(5)：349-355.

Chen Xuemin, Zhu Guoyin, Luo Hailing, et al. Quantitative analysis of Oula lamb meat volatile compounds based on fingerprint[J]. Journal of Agricultural Machinery, 2020, 51(5): 349-355. (in Chinese with English abstract)

[5] 王亞娜，王曉香，王振華，等. 大足黑山羊宰后成熟過程中揮發(fā)性風(fēng)味物質(zhì)的變化[J]. 食品科學(xué)，2015，36(22)：107-112.

Wang Yana, Wang Xiaoxiang, Wang Zhenhua, et al. Changes in volatile flavor components in Dazu black goat meat during postmortem aging[J]. Food Science, 2015, 36(22): 107-112. (in Chinese with English abstract)

[6] 劉文營，王守偉. 羊肉生產(chǎn)及加工工藝對肉及肉制品品質(zhì)的影響研究進(jìn)展[J]. 食品科學(xué)，2020，41(1)：304-311.

Liu Wenying, Wang Shouwei. Recent progress in understanding the effect of mutton production and processing technologies on the quality of meat and meat products[J]. Food Science, 2020, 41(1): 304-311. (in Chinese with English abstract)

[7] Dumalisile P, Manley M, Hoffman L, et al. Discriminating muscle type of selected game species using Near Infrared (NIR) spectroscopy[J/OL]. Food Control, 2020, 110, [2019-11-01], https: //doi. org/10. 1016/j. foodcont. 2019. 106981.

[8] Sanz J A, Fernandes A M, Barrenechea E, et al. Lamb muscle discrimination using hyperspectral imaging: Comparison of various machine learning algorithms[J]. Journal of Food Engineering, 2016, 63(2): 92-100.

[9] Kamruzzaman M, Elmasry G, Sun D, et al. Application of NIR hyperspectral imaging for discrimination of lamb muscles[J]. Journal of Food Engineering, 2011, 104(3): 332-340.

[10] 趙鑫龍，彭彥昆，李永玉，等. 基于深度學(xué)習(xí)的牛肉大理石花紋等級手機(jī)評價系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(13)：250-256.

Zhao Xinlong, Peng Yankun, Li Yongyu, et al. Mobile phone evaluation system for grading beef marbling based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 250-256. (in Chinese with English abstract)

[11] 孟令峰，朱榮光，白宗秀，等. 基于手機(jī)圖像的不同貯藏時間下冷卻羊肉的部位判別研究[J]. 食品科學(xué)，2020，41(23)：21-26.

Meng Lingfeng, Zhu Rongguang, Bai Zongxiu, et al. Discrimination of chilled lamb in different parts under different storage time based on mobile phone images[J]. Food Science, 2020, 41(23): 21-26. (in Chinese with English abstract)

[12] Adi K, Pujiyanto S, Nurhayati O D, et al. Beef quality identification using thresholding method and decision tree classification based on android smartphone[J/OL]. Journal of Food Quality, 2017, 2017, [2017-09-05], https: //doi. org/10. 1155/2017/1674718.

[13] Zhao A, Balakrishnan G, Durand F, et al. Data augmentation using learned transformations for one-shot medical image segmentation[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach: IEEE, 2019.

[14] Brossard M, Bonnabel S. Learning wheel odometry and IMU Errors for localization[C]// 2019 International Conference on Robotics and Automation (ICRA), Montreal: IEEE, 2019.

[15] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2017, 60(6): 84-90.

[16] 陳娟，陳良勇，王生生，等. 基于改進(jìn)殘差網(wǎng)絡(luò)的園林害蟲圖像識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2019，50(5)：194-202.

Chen Juan, Chen Liangyong, Wang Shengsheng, et al. Pest recognition based on improved residual network[J]. Transactions of the Chinese Society for Agriculture Machinery, 2019, 50(5): 194-202. (in Chinese with English abstract)

[17] 焦俊，王文周，侯金波，等. 基于改進(jìn)殘差網(wǎng)絡(luò)的黑毛豬肉新鮮度識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2019，50(8)：364-371.

Jiao Jun, Wang Wenzhou, Hou Jinbo, et al. Freshness identification of Iberico pork based on improved residual network[J]. Transactions of the Chinese Society for Agriculture Machinery, 2019, 50(8): 364-371. (in Chinese with English abstract)

[18] 向陽，林潔雯，李亞軍，等. 芒果雙面成熟度在線檢測分級系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(10)：259-266.

Xiang Yang, Lin Jiewen, Li Yajun, et al. Mango double-sided maturity online detection and classification system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(10): 259-266. (in Chinese with English abstract)

[19] 趙志衡，宋歡，朱江波，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的花生籽粒完整性識別算法及應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(21)：195-201.

Zhao Zhiheng, Song Huan, Zhu Jiangbo, et al. Identification algorithm and application of peanut kernel integrity based on convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 195-201. (in Chinese with English abstract)

[20] 張思雨，張秋菊，李可. 采用機(jī)器視覺與自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)檢測花生仁品質(zhì)[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(4)：269-277.

Zhang Siyu, Zhang Qiuju, Li Ke. Detection of peanut kernel quality based on machine vision and adaptive convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269-277. (in Chinese with English abstract)

[21] Han F K, Huang X Y, Aheto J H, et al. Detection of beef adulterated with pork using a low-cost electronic nose based on colorimetric sensors[J/OL]. Foods, 2020, 9(2), [2020-02-10], https: //www. researchgate. net/publication/339311410_Detection_of_Beef_Adulterated_with_Pork_Using_a_Low-CostElectronic_Nose_Based_on_Colorimetric_Sensors.

[22] Zhou L, Zhang C, Liu F, et al. Application of deep learning in food: A review[J]. Comprehensive Reviews in Food Science and Food Safety, 2019, 18(6): 1793-1811.

[23] Yang J, Xu J F, Wu X L, et al. Deep learning for vibrational spectral analysis: Recent progress and a practical guide[J]. Analytica Chimica Acta, 2019, 1081: 6-17.

[24] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CPVR), Las Vegas: IEEE, 2016.

[25] 林麗惠，羅志明，王軍政，等. 融合整體與局部信息的武夷巖茶葉片分類方法[J]. 智能系統(tǒng)學(xué)報，2020，15(5)：919-924.

Lin Lihui, Luo Zhiming, Wang Junzheng, et al. Classification of Wuyi rock tealeaves by integrating global and local information[J]. CAAI Transactions on Intelligent Systems, 2020, 15(5): 919-924. (in Chinese with English abstract)

[26] 李善軍，胡定一，高淑敏，等. 基于改進(jìn)SSD的柑橘實(shí)時分類檢測[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(24)：307-313.

Li Shanjun, Hu Dingyi, Gao Shumin, et al. Real-time classification and detection of citrus based on improved single short multibox detecter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(24): 307-313. (in Chinese with English abstract)

[27] Cheng Y, Wang D, Zhou P, et al. A survey of model compression and acceleration for deep neural networks[J/OL]. Signal Processing, [2020-04-14], https: //arxiv. org/abs/1710. 09282.

[28] Howard A G, Zhu M L, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[J/OL]. Computer Vision and Pattern Recognition, [2017-04-17], https: //arxiv. org/abs/1704. 04861.

[29] Deng J K, Guo J, Xue N N, et al. ArcFace: Additive angular margin loss for deep face recognition[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CPVR), Long Beach: IEEE, 2019.

[30] 趙立新，侯發(fā)東，呂正超，等. 基于遷移學(xué)習(xí)的棉花葉部病蟲害圖像識別[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lyu Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

Classification of mutton location on the animal using improved ResNet18 network model and mobile application

Zhang Yaoxin1,2, Zhu Rongguang1,2※, Meng Lingfeng1, Ma Rong1, Wang Shichang1, Bai Zongxiu1, Cui Xiaomin1

(1.,,832003,;2,,832003,)

Accurate and timely detection of meat parts has gradually been highly demanding in meat consumption. However, the traditional image classification cannot clearly distinguish the similar color and texture characteristics for different mutton parts under different storage time, particularly with the low generalization and time-consuming. In this study, an improved ResNet18 network model was proposed to classify the different mutton parts, while, the corresponding mobile application software was developed using the optimal model. Firstly, 1 008 mutton images of loin, hind shank, and fore shank under different storage times (0-12 d) were collected, and then 9 types of data-augmentation were used to expand the dataset. After that, 6 000 images were randomly selected from the augmented dataset for modeling, where 80% of the images were used as the training dataset, and the remainder was used as the test dataset. Secondly, Additive Angular Margin Loss (ArcFace) and the depthwise separable convolution were introduced into the ResNet18 network for the improved one. Thirdly, the improved ResNet18 network wastrained with the augmented images of different mutton parts. Meanwhile, an evaluation was made to determine the effect of different parameters on the convergence speed and accuracy of improved ResNet18. Optimizers of stochastic gradient descent (SGD) and adaptive moment estimation (Adam), the learning rate of 0.01 and 0.001, weight decay coefficient of 0 and 0.000 5 were adopted for experimental comparison. The optimal classification model was then determined for different mutton parts. Finally, a mobile application software was developed to transplant the TorchScript model that transformed from the improved ResNet18. The results showed that the ArcFace greatly improved the distinguishability of different mutton parts, while the depthwise separable convolution significantly reduced the parameters of the network. Furthermore, the improved ResNet18 network using SGD optimizer presented a higher accuracy and more stable performance than that using the Adam in the test phase. When the learning rate was set to 0.01, the weight decay coefficient was set to 0.000 5, and the SGD optimizer was used to train the improved ResNet18 network, only 25 images of different parts of lamb were classified incorrectly in the 1 200 test sets, where the classification accuracy of the model was 97.92%, while the average classification accuracies of the loin, hind shank, and fore shank were 97.00%, 98.00%, and 98.75%, respectively. Compared with the original, the classification accuracy of the improved ResNet18 was improved by 5.92 percentage points, while the classification accuracies of loin, hind shank, and fore shank were improved by 5.75, 5.50, and 6.50 percentage points, respectively. Compared with the MobileNet model, the classification accuracy of improved ResNet18 was improved by 13.34 percentage points, while the classification accuracies of loin, hind shank, and fore shank were improved by 13.50, 10.75, and 15.75 percentage points, respectively. Moreover, the software using the improved ResNet18 quickly and accurately classified different mutton parts, where the average detection time of each image was about 0.3 s. The finding can provide the technical and theoretical support to improve the level of intelligent detection of meat products for the fair competition of the meat market.

image processing; image recognition; models; mutton; ResNet18; mobile terminal; classification of mutton parts

張垚鑫，朱榮光，孟令峰，等. 改進(jìn)ResNet18網(wǎng)絡(luò)模型的羊肉部位分類與移動端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(18)：331-338.doi：10.11975/j.issn.1002-6819.2021.18.038 http://www.tcsae.org

Zhang Yaoxin, Zhu Rongguang, Meng Lingfeng, et al. Classification of mutton location on the animal using improved ResNet18 network model and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 331-338. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.038 http://www.tcsae.org

2020-10-03

2021-07-22

國家自然科學(xué)基金地區(qū)科學(xué)基金項(xiàng)目（31860465）；兵團(tuán)中青年科技創(chuàng)新領(lǐng)軍人才計劃項(xiàng)目（2020CB016）；石河子大學(xué)青年創(chuàng)新人才培育計劃項(xiàng)目（CXRC201707）

張垚鑫，博士生，研究方向?yàn)閳D像處理，機(jī)器學(xué)習(xí)。Email：yxzl_ysh@163.com

朱榮光，博士，教授，博士生導(dǎo)師，研究方向?yàn)檗r(nóng)畜產(chǎn)品無損檢測與裝備研發(fā)。Email：rgzh_jd@163.com

10.11975/j.issn.1002-6819.2021.18.038

TS251.7

A

1002-6819(2021)-18-0331-08