焦 俊 王文周 侯金波 孫 裴 何嶼彤 辜麗川

(1.安徽農(nóng)業(yè)大學(xué)信息與計(jì)算機(jī)學(xué)院， 合肥 230036； 2.安徽泓森物聯(lián)網(wǎng)有限公司， 亳州 236800； 3.安徽農(nóng)業(yè)大學(xué)動(dòng)物科技學(xué)院， 合肥 230036)

0 引言

豬肉在存放過(guò)程中，由于酶的作用、微生物污染或宰殺前患病等原因，造成豬肉自溶、腐敗分解等變化，導(dǎo)致豬肉新鮮度下降。豬肉成分的分解必然使其營(yíng)養(yǎng)價(jià)值降低，而且參與腐敗的微生物和毒素，以及腐敗后產(chǎn)生的有毒分解物，可能引起食用者中毒或誘發(fā)疾病。豬肉質(zhì)變是一個(gè)漸進(jìn)過(guò)程，受諸多因素的影響。因此快速識(shí)別豬肉品質(zhì)和安全性有助于維護(hù)消費(fèi)者的健康和切身利益。

豬肉品質(zhì)的評(píng)價(jià)指標(biāo)有顏色、質(zhì)地、pH值、嫩度、新鮮度等，新鮮度反映微生物、理化和生化特性，是評(píng)價(jià)豬肉品質(zhì)和安全性的重要指標(biāo)。豬肉的主要成分(蛋白質(zhì)、脂肪和碳水化合物)被酶和細(xì)菌分解，產(chǎn)生氣味；豬肉中的蛋白質(zhì)將逐漸分解為氫、硫化物、氨、乙基硫醇等，產(chǎn)生包括組胺、酪胺、腐胺和色胺有毒小分子；脂肪分解成醛類化合物和醛酸；碳水化合物分解為醇類、酮類、醛類、烴類和羧酸類酸性氣體。在貯藏過(guò)程中，這些物質(zhì)和其他堿性氮化合物一起將影響豬肉的顏色、紋理和形狀特征[1-3]。

理化分析揮發(fā)性鹽基氮(Total volatile basic nitrogen,TVB-N)和微生物種群是豬肉新鮮度檢測(cè)的常規(guī)方法，但是該方法有損、低效和耗時(shí)。近紅外(Near-infrared ,NIR)光譜具有快速、簡(jiǎn)單檢測(cè)肉品性狀的能力，將其與計(jì)算機(jī)視覺(jué)(Computer vision,CV)結(jié)合評(píng)估豬肉新鮮度，已經(jīng)取得了較好的效果[4-5]。高光譜結(jié)合成像技術(shù)也在食品品質(zhì)檢測(cè)中得到了應(yīng)用，文獻(xiàn)[6-7]利用高光譜圖像(Hyperspectral imaging, HSI)技術(shù)檢測(cè)豬肉中細(xì)菌總數(shù)(Total viable count，TVC)，效果良好；文獻(xiàn)[8-9]用HSI評(píng)估肴肉的新鮮度，也獲得了較好的檢測(cè)結(jié)果。多光譜成像(Multispectral imaging, MSI)同樣是新型的檢測(cè)技術(shù)，該方法將圖像和光譜結(jié)合起來(lái)，獲得檢測(cè)對(duì)象的空間信息和光譜信息[10-15]，以實(shí)現(xiàn)對(duì)豬肉新鮮度高精度的無(wú)損檢測(cè)。文獻(xiàn)[16]將MSI與線性算法相結(jié)合，檢測(cè)有氧包裝牛肉在不同貯藏溫度下的品質(zhì)狀況，結(jié)果表明，其對(duì)牛肉腐爛等級(jí)有較好的分類效果。MSI與線性偏最小二乘回歸(Partial least squares regression, PLSR)相結(jié)合，檢測(cè)熟豬肉香腸中需氧平板數(shù)(APC)的快速無(wú)損檢測(cè)技術(shù)，表現(xiàn)出良好的檢測(cè)能力[17]。

近紅外、高光譜和多光譜檢測(cè)設(shè)備價(jià)格高昂，這些設(shè)備只能作為一種實(shí)驗(yàn)室研究設(shè)備。為了滿足消費(fèi)者的需要，研究低成本豬肉新鮮度檢測(cè)方法尤為重要。

隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，開(kāi)發(fā)基于深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的豬肉新鮮度識(shí)別系統(tǒng)成為可能。遷移學(xué)習(xí)運(yùn)用在大樣本數(shù)據(jù)集上訓(xùn)練好的模型，再提取小樣本特征，為小樣本檢測(cè)對(duì)象的識(shí)別提供了途徑[18-25]。

黑毛豬是淮豬的一個(gè)品系，是生長(zhǎng)于淮北平原的地方優(yōu)良品種，由于現(xiàn)有淮豬肉新鮮度圖像樣本數(shù)量較少，因此對(duì)其新鮮度的識(shí)別較為困難。

針對(duì)小樣本黑毛豬肉新鮮度識(shí)別問(wèn)題，本文提出一種改進(jìn)殘差網(wǎng)絡(luò)的黑毛豬肉新鮮度識(shí)別模型,以獸醫(yī)病理生物學(xué)與疫病防控安徽省重點(diǎn)實(shí)驗(yàn)室多年積累的各類豬肉新鮮度圖像為樣本數(shù)據(jù)集(Pork freshness image as data set, PfidSet)，并完成分類標(biāo)注。運(yùn)用殘差網(wǎng)絡(luò)(Residual networks, ResNet)ResNet-50在該數(shù)據(jù)集上進(jìn)行識(shí)別訓(xùn)練，構(gòu)建殘差網(wǎng)絡(luò)ResNet-50的參數(shù)模型，然后運(yùn)用遷移學(xué)習(xí)和模型微調(diào)將訓(xùn)練好的ResNet-50模型遷移到黑毛豬肉圖像數(shù)據(jù)集(Iberico pork image data set,IpidSet)中微調(diào)，在黑毛豬肉圖像樣本較少的情況下，實(shí)現(xiàn)黑毛豬肉新鮮度的準(zhǔn)確識(shí)別。

1 試驗(yàn)數(shù)據(jù)

1.1 樣本制備

黑毛豬肉新鮮度分級(jí)的主要依據(jù)是微生物菌群總量、大腸菌群和pH值。大腸菌群的計(jì)數(shù)方法根據(jù)GB/T 4789.32—2002《食品大腸菌群快速檢驗(yàn)標(biāo)準(zhǔn)》；微生物菌落總數(shù)計(jì)數(shù)根據(jù)GB 47892—2010《食品微生物菌落總數(shù)測(cè)定標(biāo)準(zhǔn)》；pH值根據(jù)GB 5009.237—2016《食品測(cè)定標(biāo)準(zhǔn)》。因此，黑毛豬肉圖像樣本的設(shè)計(jì)思路是：采用正常宰殺、未經(jīng)冷凍處理的黑毛豬后腿部位肌肉和脂肪組織，拍攝保存為新鮮的豬肉樣本圖像。把新鮮豬肉樣本分為A、B、C共3組。其中A組樣本由14塊肉組成，每?jī)蓧K放進(jìn)一個(gè)密封袋，共7份；B組樣本由12塊肉組成，每?jī)蓧K肉放進(jìn)一個(gè)密封袋，共6份；C組樣本由10塊肉組成，每?jī)蓧K放進(jìn)一個(gè)密封袋，共5份。

將3組樣本放進(jìn)-20℃環(huán)境保存，1 d后,拿出標(biāo)簽為A的全部樣本放進(jìn)4℃環(huán)境繼續(xù)保存1 d，再取A組樣本中的第1份豬肉樣本編號(hào)，分別統(tǒng)計(jì)其微生物菌群總量和大腸菌群，檢測(cè)pH值。

然后，從-20℃冷凍的環(huán)境中取出保存2 d的B組肉樣本放在4℃環(huán)境保存1 d后，再取出A組樣本中的第2份樣本和B組樣本中的第1份樣本分別編號(hào)并統(tǒng)計(jì)其微生物菌群總量和大腸菌群，檢測(cè)pH值。

最后，把C組樣本全部從保存3 d的-20℃環(huán)境中取出，放進(jìn)4℃環(huán)境保存1 d，再取出A組樣本中的第3份、B組樣本中的第2份和C組樣本中的第1份樣本，分別編號(hào)并統(tǒng)計(jì)其微生物菌群總量和大腸菌群，檢測(cè)pH值。

以后每天取出A、B、C組各一份豬肉樣本，統(tǒng)計(jì)微生物總數(shù)和檢測(cè)pH值，全部樣本檢測(cè)需要7 d。不同新鮮度豬肉樣本制備流程圖如圖1所示。

圖1 制備不同新鮮度豬肉樣本流程圖Fig.1 Procedures for preparing pork samples with different freshness

1.2 新鮮度分類標(biāo)準(zhǔn)

依據(jù)國(guó)家規(guī)定，把被檢測(cè)豬肉的pH值在5.6～6.2之間、稀釋度為1/10 000的條件下，微生物菌體濃度在2.46～16.2 CFU/mL之間、大腸菌菌體濃度在3.48～5.97 CFU/mL之間規(guī)定為新鮮肉；pH值在6.2～6.7之間、稀釋度為1/10 000的條件下微生物菌體濃度在16.8～ 370.43 CFU/mL之間、大腸菌菌體濃度在9.24～ 93 CFU/mL之間規(guī)定為次鮮肉；pH值大于6.7、稀釋度為1/10 000的條件下微生物菌體濃度在410～3 070 CFU/mL之間、大腸菌菌體濃度在240～1 100 CFU/mL之間規(guī)定為腐敗肉。

圖2 豬肉樣本Fig.2 Pictures for pork freshness samples

把次鮮肉微生物菌體濃度在16.2～28.4 CFU/mL之間、大腸菌菌體濃度在5.97～9.2 CFU/mL之間且pH值在6.1～6.3之間規(guī)定為次鮮肉一級(jí)；微生物菌體濃度在28.4～142 CFU/mL之間、大腸菌菌體濃度在9.2～28 CFU/mL之間且pH值在6.2～6.5之間規(guī)定為次鮮肉二級(jí)；微生物菌體濃度在142～370 CFU/mL之間、大腸菌菌體濃度在28～93 CFU/mL之間且pH值在6.4～ 6.7之間規(guī)定為次鮮肉三級(jí)。

把腐敗肉微生物菌體濃度在370～1 040 CFU/mL之間、大腸菌菌體濃度在93～240 CFU/mL之間且pH值在6.7～6.8之間規(guī)定為腐敗肉一級(jí)；微生物菌體濃度在1 040～1 420 CFU/mL之間、大腸菌菌體濃度在240～290 CFU/mL之間且pH值在6.8～7.0之間規(guī)定為腐敗肉二級(jí)；微生物菌體濃度1 420～3 020 CFU/mL之間、大腸菌菌體濃度在290～1 100 UFC/mL且pH值大于7.0規(guī)定為腐敗肉三級(jí)。

1.3 樣本圖像獲取與增廣

在每次檢測(cè)黑毛豬肉樣本微生物菌體濃度、大腸菌菌體濃度和pH值前，采用高清晰攝像頭拍攝被檢測(cè)樣本，拍攝時(shí)選擇單一背景顏色、光線明亮適中，攝像頭背光，拍攝的圖片以JPG或PNG格式保存。待試驗(yàn)完成后，根據(jù)微生物菌體濃度、大腸菌菌體濃度和pH值，對(duì)照1.2節(jié)的分類標(biāo)準(zhǔn)，把A、B、C組豬肉樣本圖像分別標(biāo)記，歸到7個(gè)類別的相應(yīng)類別中。最終把所有7類圖像以等級(jí)名稱命名放在samples文件夾中。7類樣本圖像如圖2所示。

利用邊緣的最小外接矩，裁剪樣本為224像素×224像素，使之縮小，樣本裁剪前后如圖3所示，每個(gè)樣本約11 kB。對(duì)樣本分別運(yùn)用仿射變換、透視變換和旋轉(zhuǎn)進(jìn)行增廣處理，其中初始圖像7 823幅、增廣圖像15 604幅。

圖3 樣本裁剪Fig.3 Cutting samples

2 試驗(yàn)方法

2.1 深度殘差神經(jīng)網(wǎng)絡(luò)

深度殘差神經(jīng)網(wǎng)絡(luò)(ResNet)是由殘差學(xué)習(xí)模塊重復(fù)堆積而形成的一個(gè)完整網(wǎng)絡(luò)[26]，由于其引入殘差模塊，解決模型在訓(xùn)練時(shí)的梯度彌散問(wèn)題，增強(qiáng)了模型的特征學(xué)習(xí)能力，以及模型的識(shí)別性能。殘差模塊如圖4所示。

圖4 殘差模塊Fig.4 Residual module

設(shè)x為輸入，經(jīng)過(guò)卷積層W1、W2運(yùn)算后輸出為F(x,W1,W2)，激活函數(shù)為ReLu，因此，殘差模塊單元的最終輸出y可表示為

y=F(x,W1,W2)+Wsx

(1)

式中W1、W2——卷積神經(jīng)網(wǎng)絡(luò)1、2層所要學(xué)習(xí)的權(quán)重參數(shù)

Ws——將變量x從輸入殘差模塊維度變換到輸出維度的方陣

x跨層后與F(x,W1,W2)融合，成為下個(gè)殘差模塊的輸入。

當(dāng)Ws的模為1表示殘差模塊的輸入與輸出維度相同；當(dāng)Ws的模不為1表示殘差模塊的輸入與輸出維度不相同，需要通過(guò)Ws將殘差模塊的輸入與輸出維度變換到相同的維度。當(dāng)y-x=0，表示為恒等映射；當(dāng)y-x≠0，表明殘差網(wǎng)絡(luò)只需要學(xué)習(xí)輸入輸出的差別部分。深度殘差神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，深層的誤差通過(guò)捷徑傳播到淺層，減輕梯度彌散現(xiàn)象。ResNet-50被本文選為圖像的特征提取器，來(lái)學(xué)習(xí)圖像的抽象特征。

2.2 遷移學(xué)習(xí)

在監(jiān)督學(xué)習(xí)方式下，需要大量數(shù)據(jù)訓(xùn)練殘差網(wǎng)絡(luò)模型，然而，目前帶標(biāo)簽的黑毛豬肉新鮮度圖像數(shù)據(jù)較少，難以滿足訓(xùn)練深度網(wǎng)絡(luò)模型的需求。

為了改善黑毛豬肉新鮮度圖像識(shí)別精度和ResNet-50模型的泛化能力，采用基于中層表達(dá)的遷移學(xué)習(xí)方法，將遷移學(xué)習(xí)和深度學(xué)習(xí)結(jié)合，先利用PfidSet對(duì)ResNet-50網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，使其具有抽取圖像特征的能力，并將訓(xùn)練好的網(wǎng)絡(luò)參數(shù)作為網(wǎng)絡(luò)模型的初始參數(shù)；然后，改進(jìn)ResNet-50網(wǎng)絡(luò)，利用7類黑毛豬肉圖像對(duì)改進(jìn)的ResNet-50進(jìn)行微調(diào)，實(shí)現(xiàn)黑毛豬肉新鮮度圖像自動(dòng)識(shí)別。

2.3 ResNet-50模型的改進(jìn)

為了使PfidSet訓(xùn)練后的ResNet-50模型更具有泛化能力，采用一個(gè)3層的自適應(yīng)網(wǎng)絡(luò)取代ResNet-50模型的全連接層和分類層，再運(yùn)用LReLu-Softplus作為網(wǎng)絡(luò)的激活函數(shù)。

ReLu非線性映射函數(shù)為

(2)

圖5a為其示意圖。當(dāng)輸入x≤0時(shí)，ReLu輸出0，該單元處于未激活狀態(tài)。

LReLu線性整流單元的表達(dá)式為

(3)

取α=0.01，圖5b為其示意圖，當(dāng)輸入x<0時(shí)，輸出負(fù)值，神經(jīng)元仍處于激活狀態(tài)，避免了神經(jīng)元的壞死。

Softplus激活函數(shù)為

f(x)=ln(ex+1)

(4)

從圖5c可見(jiàn)，函數(shù)變化平緩，其值與ReLu接近，具有較高的模型識(shí)別性能和較好的泛化性，并且其規(guī)避了ReLu函數(shù)強(qiáng)制性稀疏的缺點(diǎn)。但是Softplus函數(shù)存在一個(gè)與ReLu—樣的問(wèn)題，即輸出偏移現(xiàn)象，這會(huì)影響網(wǎng)絡(luò)的收斂性。

雖然LReLu函數(shù)解決ReLu函數(shù)會(huì)導(dǎo)致神經(jīng)元死亡的問(wèn)題，但函數(shù)光滑度不高。Softplus函數(shù)具有優(yōu)良的光滑特性，可是該函數(shù)的輸出偏移會(huì)影響網(wǎng)絡(luò)的收斂性?？紤]到LReLu和Softplus函數(shù)的特點(diǎn)，結(jié)合這2個(gè)函數(shù)特點(diǎn)，本文設(shè)計(jì)一種改進(jìn)的激活函數(shù)，即LReLu-Softplus函數(shù)，公式為

(5)

圖5 激活函數(shù)Fig.5 Activation functions

其中α是個(gè)常數(shù)，接近于0，初始值設(shè)為0.25，圖5d為其示意圖。

本文提出的改進(jìn)殘差網(wǎng)絡(luò)的黑毛豬肉新鮮度識(shí)別模型是基于遷移學(xué)習(xí)和LReLu-Softplus激活函數(shù)的殘差網(wǎng)絡(luò)模型，即Proposed(LReLu- Softplus)，其結(jié)構(gòu)如圖6所示，其中，M1、M2、M3、M4分別為ResNet-50所示模型中的4個(gè)殘差塊，自適應(yīng)網(wǎng)絡(luò)

N1層的神經(jīng)元有1 000個(gè)；N2層有256個(gè)神經(jīng)元；有7個(gè)神經(jīng)元在N3層，每層神經(jīng)元的激活函數(shù)采用LReLu-Softplus，在深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，加入dropout(“丟棄”)機(jī)制，以一定的概率“暫時(shí)丟棄”一些神經(jīng)元，減少神經(jīng)元之間的依賴性，提高模型的泛化能力,取dropout為0.8。

圖6 基于中層表達(dá)的遷移學(xué)習(xí)Fig.6 Transfer learning based on middle-level expressions

3 試驗(yàn)結(jié)果及分析

試驗(yàn)軟硬件環(huán)境主要配置：主板為華碩Z170，CPU為Intel Core i7-6700k，硬盤(pán)為三星SSD 950 PRO256GB+希捷ST2000 2.0TB，顯卡為GeForce GTX1080，內(nèi)存為金士頓DDR46 4GB，操作系統(tǒng)為Windows 10企業(yè)版，Caffe系統(tǒng)是Windows 10版，模型訓(xùn)練參數(shù)見(jiàn)表1。

訓(xùn)練與測(cè)試用的黑毛豬肉新鮮度圖像數(shù)據(jù)共有23 427幅，其中初始圖像7 823幅，擴(kuò)展圖像15 604幅，如表2所示。

按照4∶1的比例隨機(jī)分配訓(xùn)練集和測(cè)試集，按照9∶1的比例分配訓(xùn)練集與驗(yàn)證集。利用可以度量真實(shí)樣本分布與預(yù)測(cè)樣本分布差異的交叉熵代價(jià)函數(shù)，監(jiān)督本文提出的Proposed (LReLu-Softplus)模型訓(xùn)練，圖7為訓(xùn)練時(shí)的模型損失率和模型準(zhǔn)確率變化曲線，可以發(fā)現(xiàn)經(jīng)過(guò)800代遍歷，訓(xùn)練和驗(yàn)證集上的模型損失率均趨向零。也可以發(fā)現(xiàn)經(jīng)過(guò)800代遍歷后，訓(xùn)練集的識(shí)別準(zhǔn)確率趨向于99.7%，驗(yàn)證集的準(zhǔn)確率最高達(dá)到95%。可見(jiàn)，本文設(shè)計(jì)的基于改進(jìn)殘差網(wǎng)絡(luò)和遷移學(xué)習(xí)的豬肉新鮮度識(shí)別模型具有較好的肉品圖像識(shí)別性能。

表1 模型訓(xùn)練參數(shù)Tab.1 Parameters for model training

表2 初始圖像和擴(kuò)展圖像數(shù)量Tab.2 Total number for initial and extended images 幅

本文利用混淆矩陣來(lái)定量評(píng)估豬肉各類新鮮度之間的混淆程度，矩陣的行和列分別代表真實(shí)和預(yù)測(cè)情況，矩陣中任意一個(gè)元素xij代表將第i種類別預(yù)測(cè)為第j種類別的圖像數(shù)占該類別圖像總數(shù)的百分比。對(duì)角線元素值分別表示各種黑毛豬肉新鮮度識(shí)別的準(zhǔn)確率，其他位置為錯(cuò)分率。表3為混淆矩陣，分析表3可知，新鮮肉的識(shí)別效果最好，具有99%的準(zhǔn)確率，次鮮肉三級(jí)和腐敗肉一級(jí)的識(shí)別準(zhǔn)確率最差，為91%；各類黑毛豬肉新鮮度的總體識(shí)別準(zhǔn)確率為94.5%，可見(jiàn)，本文設(shè)計(jì)的Proposed(LReLu-Softplus)模型對(duì)黑毛豬肉新鮮度的識(shí)別具有較高準(zhǔn)確率。

圖7 模型損失率和識(shí)別準(zhǔn)確率變化曲線Fig.7 Changing curves for model loss and recognition accuracy rate

表3 混淆矩陣Tab.3 Confusion matrix %

同時(shí),將Proposed(LReLu-Softplus)模型,與僅使用PfidSet數(shù)據(jù)集訓(xùn)練的ResNet-50 (PfidSet)模型、僅使用IpidSet數(shù)據(jù)集訓(xùn)練的ResNet-50 (IpidSet)模型和基于遷移理論與ReLu激活函數(shù)的改進(jìn)ResNet-50模型，即Proposed(ReLu)進(jìn)行比較，表4是比較結(jié)果。表4中模型的識(shí)別準(zhǔn)確率均是在測(cè)試集上獲得，分析表4可得，ResNet-50(IpidSet)的識(shí)別準(zhǔn)確率最差，這是由于IpidSet的樣本數(shù)量較少；綜合表3和表4可知，僅使用PfidSet數(shù)據(jù)集訓(xùn)練模型會(huì)出現(xiàn)過(guò)擬合現(xiàn)象。本文提出的Proposed(LReLu- Softplus)模型是利用PfidSet數(shù)據(jù)集預(yù)訓(xùn)練模型，然后遷移到IpidSet數(shù)據(jù)集上微調(diào)模型，優(yōu)于僅使用PfidSet或IpidSet訓(xùn)練的模型。此外，本文通過(guò)對(duì)ResNet-50模型的改進(jìn)，減少了模型的運(yùn)算量和訓(xùn)練時(shí)間，而且模型識(shí)別準(zhǔn)確性能相對(duì)于未改進(jìn)的ResNet-50模型也有較好的提高。網(wǎng)絡(luò)中利用LReLu-Softplus激活函數(shù)對(duì)模型的效率影響，較利用ReLu激活函數(shù)明顯，模型的識(shí)別準(zhǔn)確率也有所提高。

表4 模型性能比較Tab.4 Comparison for models performance

4 結(jié)束語(yǔ)

為了解決小樣本黑毛豬肉新鮮度識(shí)別問(wèn)題，使用PfidSet源數(shù)據(jù)制作了包含7類各品種的豬肉新鮮度圖像數(shù)據(jù)集，構(gòu)建基于中層表達(dá)的遷移學(xué)習(xí)模型，利用一個(gè)3層的自適應(yīng)網(wǎng)絡(luò)取代ResNet-50模型的全連接層和識(shí)別層，并使用7類黑毛豬肉圖像數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，實(shí)現(xiàn)對(duì)7類新鮮豬肉圖像的有效識(shí)別。試驗(yàn)結(jié)果表明，Proposed(LReLu- Softplus)模型適合黑毛豬肉新鮮度識(shí)別，各類新鮮度豬肉總體識(shí)別準(zhǔn)確率為94.5%。