王博,楊洪遙,陸逢貴,陳子?xùn)|,曹振霞,劉登勇,3*
1(渤海大學(xué) 食品科學(xué)與工程學(xué)院,生鮮農(nóng)產(chǎn)品貯藏加工及安全控制技術(shù)國家地方聯(lián)合工程研究中心,遼寧 錦州,121013) 2(哈爾濱商業(yè)大學(xué) 職業(yè)技術(shù)教育學(xué)院,黑龍江 哈爾濱,150028) 3(江蘇省肉類生產(chǎn)與加工質(zhì)量安全控制協(xié)同創(chuàng)新中心,江蘇 南京,210095)
熏雞作為一種典型的傳統(tǒng)特色煙熏肉制品,具有色澤誘人、熏香濃郁、美味適口等特點,深受消費者喜愛[1-2]。顏色、風味等是評價煙熏肉制品的重要指標,其中顏色是影響消費者購買的最重要因素,對于消費者而言,購買時,顏色更為直觀,并且在非接觸狀態(tài)下,顏色是消費者評判產(chǎn)品質(zhì)量的重要依據(jù),同時也是色、香、味、形中最先導(dǎo)的感官要素[3-5]。目前國內(nèi)關(guān)于煙熏肉制品的研究主要集中在風味物質(zhì)[6-7]和安全性評價等方面[2],對其顏色的識別研究鮮少涉及。煙熏肉制品一般使用果木作為熏材,與此相比,糖熏作為中國北方一種常用的煙熏方式,在肉制品中已有相關(guān)應(yīng)用,如溝幫子熏雞[7]。糖熏能賦予產(chǎn)品與木熏相似的煙熏色澤和氣味,更為重要的是糖熏產(chǎn)品苯并芘含量更低、上色所需時間更短[8],但也因此導(dǎo)致了糖熏的顏色控制較為困難,不利于產(chǎn)品顏色的標準化控制,而對于糖熏顏色識別的研究幾乎未見報道。因此,研究糖熏肉制品的顏色識別方法對于精準控制其顏色,實現(xiàn)標準化生產(chǎn)具有現(xiàn)實意義。
目前關(guān)于煙熏肉制品顏色的識別方法大致可以分為兩類:常見的感官評價法在一定程度上可以有效識別樣品的色差,但會受到樣品相似度及評價員狀態(tài)等因素的影響,存在主觀性較強、重復(fù)性不高等問題,從而影響實驗結(jié)果的準確性[3];借助精密儀器進行測定不具備成本效益,且可能存在效率不高或者污染樣品等問題。而機器視覺技術(shù),只需利用圖像傳感器獲取樣本的圖像,再將圖像轉(zhuǎn)換成數(shù)字信息,并利用計算機模擬人的判別準則去識別圖像,從而做出優(yōu)于人眼的客觀評定[9-11]。隨著機器視覺技術(shù)的不斷發(fā)展,其圖像分析能力和識別技術(shù)被越來越多地應(yīng)用于食品領(lǐng)域的科學(xué)研究[12],其中支持向量機(support vector machine,SVM)模型[13-15]和多層卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)模型[16-18]的應(yīng)用較為廣泛,且有效地解決了食品圖像微觀差異的識別問題。近年來,隨著算法進一步的提升和模型的優(yōu)化,采用精簡CNN網(wǎng)絡(luò)結(jié)構(gòu)的范式(Inception[19]、ResNet[20]和Xception[21-22])來提高機器視覺模型運行效率的方法成為主流趨勢,其中Google在2017年提出的Xception-CNN[23]模型,相對于Inception、ResNet等方法來說在體積大小和計算效率等方面有著較大幅度的優(yōu)化。
本研究以糖熏技術(shù)獲取的熏雞腿為實驗樣本,基于機器視覺技術(shù)構(gòu)建Xception-CNN模型,同時應(yīng)用ResNet-50、Inception和傳統(tǒng)CNN 3種網(wǎng)絡(luò)模型識別熏雞腿顏色,對熏雞腿的顏色進行客觀、準確、快速的識別,并以準確率為主,輔以測試時間對比分析4種模型的識別效果,驗證基于機器視覺技術(shù)識別熏雞腿顏色的可行性,為精確指導(dǎo)工藝參數(shù)優(yōu)化,標準化生產(chǎn)及開發(fā)顏色快速識別技術(shù)提供指導(dǎo)依據(jù)。
原料:雞腿原料,遼寧溝幫子熏雞集團,雞品種為海蘭褐蛋雞,日齡為(450±50) d,屠宰前12 h禁食供水,雞腿質(zhì)量為(160±10) g,屠宰后冷卻30 min排酸,冷凍貯藏;白砂糖,南京甘汁園糖業(yè)有限公司。
儀器:YXDT1/1型糖熏爐,河北曉進機械制造股份有限公司與渤海大學(xué)聯(lián)合研制;CR-400型色彩色差計,日本Konica Minolta公司;EOS-M5型照相機,日本佳能公司;Y7000P-拯救者筆記本電腦,中國聯(lián)想公司;VGA2USB型圖像采集卡,加拿大艾普飛公司;LED迷你小型攝影棚,深圳市胖牛科技有限公司。
1.2.1 熏雞腿制備及圖像采集
以溝幫子經(jīng)典糖熏工藝得到不同顏色的熏雞腿樣品,通過控制熏制時間獲取熏雞腿在糖熏過程中可能出現(xiàn)的所有顏色,并使其分布均勻(根據(jù)預(yù)實驗得出,本文糖熏工藝下熏制16 min,熏雞腿已是不能接受的焦黑色,為此熏制時間控制為0~16 min)。
工藝流程:凍雞腿→解凍→焯水→鹵煮→燜制→煙熏→冷卻→采集圖像。
具體流程:凍雞腿272個,室溫下流水解凍后焯水去除泡沫;設(shè)置煮鍋加熱最終溫度為97 ℃,加熱沸騰后加入料包煮制形成鹵湯;將焯水后的雞腿放入鹵湯中煮制2 h;關(guān)閉煮鍋電源繼續(xù)燜制2 h;設(shè)置糖盤溫度為330 ℃和熏箱溫度100 ℃,待實際溫度達到設(shè)定值并穩(wěn)定后,在272個雞腿中隨機選取16個雞腿,設(shè)定煙熏時間為16 min,添加白砂糖開始熏制,得到熏制16 min的熏雞腿樣品;室溫下冷卻后去除表面的水漬和油漬,采集整雞腿圖像(每只雞腿采集4張圖像,每水平翻轉(zhuǎn)90°采集一張圖像),測定L*a*b*值以驗證本文所用的糖熏工藝是否具有良好的穩(wěn)定性。相同熏制條件下的熏雞腿樣本的色差值差異性越小,工藝越穩(wěn)定;0~16 min熏制時間下的熏雞腿樣本間的顏色梯度越明顯,工藝越穩(wěn)定。每只雞腿測定3組,水平放置雞腿的前部、中部及后部3個位置,測其L*a*b*值,測定前以標注白板校正,最終結(jié)果取平均值[24],得到熏制16 min的熏雞腿圖像和L*a*b*值。按上述方法,改變熏制時間,分別得到煙熏0、1、2、3…16 min的熏雞腿圖像和L*a*b*值。
1.2.2 圖像采集裝置設(shè)計
為避免外界條件對實驗結(jié)果的影響,減少實驗誤差,熏雞腿圖像樣本均采集于自行設(shè)計的圖像采集裝置(圖1)。由圖1可知,該圖像采集裝置主要由攝影棚(含光源和啞光的白色樣品板)、相機、圖像采集卡及電腦組成,其中光源、相機及樣品板固定在一個黑色的箱體內(nèi)[25-26]。具體采集過程如下:將裝置放置于水平工作平臺,調(diào)整相機鏡頭與樣品表面的距離,開啟設(shè)備,采集圖像,采集后的圖像經(jīng)由圖像采集卡傳入電腦,數(shù)據(jù)通過基于Python平臺編寫的圖像處理程序進行分析。
圖1 圖像采集裝置示意圖Fig.1 Schematic diagram of image acquisition device
1.2.3 構(gòu)建圖像識別模型
本研究基于Xception-CNN模型處理熏雞腿圖像,其檢索和分類方法和具體過程如圖2所示,各層卷積的計算如公式(1)所示:
OutputSize=(ImageSize-KernelSize)/Stride+1
(1)
式中:OutputSize表示輸出圖像大小;ImageSize表示輸入圖像大?。籏ernelSize表示卷積核的大?。籗tride表示卷積核的步長,默認為1。
圖2 基于Xception-CNN模型的圖像數(shù)據(jù)處理方法Fig.2 Image data processing method based on Xception-CNN model
模型最后的神經(jīng)元輸出經(jīng)過激活函數(shù)SoftMax回歸得出總和為1的概率打分,概率分數(shù)最大的節(jié)點就是測試的結(jié)果,神經(jīng)元節(jié)點0代表的是熏制0 min產(chǎn)生的樣品顏色概率;神經(jīng)元節(jié)點1代表的是熏制1 min產(chǎn)生的樣品顏色概率,以此類推。比如節(jié)點4的輸出為0.70,則選取節(jié)點4作為最終結(jié)果,即該圖的分類結(jié)果為熏制4 min產(chǎn)生的熏雞腿顏色[27]。用于評判該神經(jīng)網(wǎng)絡(luò)測試序列與標簽序列之間的距離則被稱為損失函數(shù)(loss function,Loss),基礎(chǔ)損失函數(shù)有2種,分別是用于解決分類任務(wù)的交叉熵損失函數(shù)和用于解決回歸任務(wù)的均方誤差損失函數(shù)(mean squared error,MSE)。MSE計算如公式(2)所示:
(2)
式中:n,一個Batch中的樣本數(shù)量;y,期望輸出;y′,實際輸出。
1.2.4 圖像預(yù)處理
在圖像采集過程中可能會由于雞腿本身的不規(guī)則性、顏色色差等問題,導(dǎo)致部分圖像質(zhì)量較差、樣本不均衡,進而影響圖像的識別分類效果。為盡可能避免上述問題,在Xception-CNN模型分析前,首先對熏雞腿圖像進行預(yù)處理。采用4種增強處理方式:隨機對比度調(diào)整、隨機亮度調(diào)整、隨機旋轉(zhuǎn)調(diào)整和隨機縮放調(diào)整[28-29]。
1.2.5 參數(shù)設(shè)置
在利用數(shù)據(jù)對模型進行訓(xùn)練之前,需要對Xception-CNN模型設(shè)置超參數(shù),Batch_size(批尺寸)為128,初始學(xué)習率設(shè)為0.000 1,使用自適應(yīng)梯度優(yōu)化函數(shù)作為該模型的優(yōu)化方法,在訓(xùn)練集訓(xùn)練得到Loss值的變化趨勢。
1.2.6 模型評估指標
評估機器視覺模型識別效果的指標主要包括測試集的準確率、誤差率及所需時間等,本研究目的是對熏雞腿顏色進行準確快速的識別,因此選取測試集的識別準確率和測試所需時間作為評估Xception-CNN、ResNet-50、Inception和傳統(tǒng)CNN4種網(wǎng)絡(luò)模型識別效果的主要指標。
本研究統(tǒng)計分析均在Python 3.5平臺上完成,使用Python擴展模塊配合計算和繪圖“Pylab”,“Numpy”、“Matplotlib”(數(shù)據(jù)統(tǒng)計模塊)和“Keras”、“TensorFlow”、“OpenCV”。采用Origin 8.6和SPSS 19.0軟件對數(shù)據(jù)進行統(tǒng)計處理。
共采集樣品照片1 088張,分辨率均為384×384,在此基礎(chǔ)上,采用前文提及的4種圖像預(yù)處理方法,最終得到4 352張圖像,定義為數(shù)據(jù)集Smoked Chicken,按8∶2隨機分配為訓(xùn)練集和測試集,其中3 482張作為訓(xùn)練集用于構(gòu)建和優(yōu)化實驗?zāi)P?,剩余?70張作為測試集用于測試模型的準確性。為美化出圖效果,樣品圖像輸出調(diào)整為圓形。
在雞腿的熏制過程中,影響熏雞腿顏色變化的因素主要包括煙熏時間、煙熏溫度以及熏材量等,不同工藝下,同一顏色可能出現(xiàn)在不同時間節(jié)點,本研究主要討論的是本課題組的熏制工藝下的顏色變化規(guī)律。在本研究中,主要通過控制煙熏時間來控制顏色變化。如圖3所示,隨著熏制時間的增加,熏雞腿表面的亮度值急劇下降,紅度值急劇增加后逐漸趨于平緩,黃度值急劇增加后逐漸減少,最后趨于平緩。這是由于隨著煙熏的進行,雞腿表面逐漸由淡黃色→紅棕色→棕黑色所導(dǎo)致。在煙熏0~16 min的過程中,相同時間節(jié)點的熏雞腿顏色波動范圍的誤差值分別是L*值1.70~3.59,a*值0.61~2.17,b*值0.89~4.21。產(chǎn)生這種情況的原因主要是箱溫變化,盡管在實驗初期已設(shè)定箱溫,但隨著放入樣品和熏材的開箱操作,箱溫不可避免地在一定范圍內(nèi)波動。熏雞腿的顏色變化都在可控范圍,相同熏制條件下的樣品顏色差異較小,不同熏制時間下樣品的顏色呈現(xiàn)明顯的梯度變化,說明工藝成熟,具有良好的穩(wěn)定性。
圖3 L*、a*、b*值變化圖Fig.3 Change chart of L*, a* and b* values 注:同一趨勢線上不同字母表示存在顯著性差異(P<0.05)
為更好地展示圖像預(yù)處理的效果,將預(yù)處理后的熏雞腿圖像放大后截取局部圖代替雞腿圖像作為展示圖。熏雞腿局部圖像經(jīng)過隨機對比度、亮度、旋轉(zhuǎn)和縮放調(diào)整等方法預(yù)處理后,結(jié)果如圖4所示。由圖4可知,在不改變熏雞腿圖像本身屬性的前提下,隨機對比度與隨機亮度調(diào)整使得熏雞腿圖像在亮度上呈現(xiàn)出較大差異,有利于獲得大量圖像細節(jié)信息;圖像經(jīng)過隨機旋轉(zhuǎn)和隨機縮放調(diào)整后,改變了圖像的原有位置、方向和量級,從而生成一幅新的圖像,進而增加了樣本的數(shù)量,有利于提升測試結(jié)果的準確率。
1-原圖;2-隨機對比調(diào)整;3-隨機亮度;4-隨機旋轉(zhuǎn); 5-隨機圖像縮放調(diào)整圖4 熏雞腿圖像預(yù)處理結(jié)果Fig.4 Image pretreatment results of smoked chicken thighs
損失函數(shù)是衡量模型在收斂過程中的重要因素,一般情況下,訓(xùn)練過程中的Loss值越小模型的準確率可能就越高,研究意義也就越大[30]。因此保證模型準確率最有效的方式就是在其他算法參數(shù)不變的情況下,追求較低的Loss值?;?.2.5設(shè)定的超參數(shù)對訓(xùn)練集樣本進行訓(xùn)練,模型在迭代訓(xùn)練過程中的Loss值變化如圖5-a所示,模型在迭代訓(xùn)練過程中的準確率變化如圖5-b所示,其準確率是指當前批次數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)的準確率。由圖5可知,該模型訓(xùn)練軌跡的收斂性良好,可以收斂到全局最優(yōu)解,即模型隨著迭代次數(shù)的增加,其準確率逐漸變高,最終趨于平緩。在初始狀態(tài)下,Loss值為5.48,準確率4.2%;在迭代次數(shù)為1 500時,Loss值和準確率變化趨勢趨于平緩,此時,Loss值達到0.86,測試集的準確率達到了92%,模型識別效果較好;當?shù)螖?shù)>1 500時,對準確率影響較小,不需要繼續(xù)迭代,且繼續(xù)迭代會浪費大量的時間和資源,因此將迭代次數(shù)定為1 500次。
圖5 Xception-CNN模型Loss值與準確率的變化Fig.5 Loss value and accuracy of Xception-CNN model
將Xception-CNN模型與ResNet-50、Inception和傳統(tǒng)CNN模型進行性能對比研究,包括識別準確率和測試所需時間對比情況。不同時間點的顏色識別準確率比較結(jié)果如圖6所示,Xception-CNN模型的顏色識別準確率僅在9和12 min低于90%,其他時間節(jié)點的顏色識別準確率均在90%以上,與模型ResNet-50相比,其顏色識別準確率僅在1、2、9和16 min 表現(xiàn)稍差,其他13個時間節(jié)點均表現(xiàn)優(yōu)異;與模型Inception相比,其顏色識別準確率僅在1和9 min表現(xiàn)稍差,在其他15個時間節(jié)點均表現(xiàn)優(yōu)異;與模型傳統(tǒng)CNN相比,其顏色識別準確率在所有時間點均表現(xiàn)優(yōu)異。這說明該模型具有良好的穩(wěn)定性和準確性,能夠精準識別雞腿在熏制過程中產(chǎn)生的所有顏色。此外結(jié)合使用線性方法描述的Xception-CNN模型對顏色識別準確率變化的大致趨勢進行分析,結(jié)果表明在3、7、8和13 min前后熏制會導(dǎo)致樣品顏色產(chǎn)生劇烈變化,但隨著熏制時間的延長,糖熏雞腿的顏色梯度變化效果會顯著降低;且一直處于過深的狀態(tài),意味著需要進一步擴大樣本量以增加模型識別的準確率。
圖6 不同時間點的模型識別準確率Fig.6 Comparison of model recognition accuracy at different time points
模型的識別準確率主要由模型本身的性能、樣品差異性及測試條件等因素決定,在其他因素基本恒定的情況下,樣品之間的差異性是影響模型識別準確率的主要原因。因0~3 min和13~16 min產(chǎn)生的顏色不屬于正常熏雞應(yīng)有的顏色,故分析時不作考慮,同時,結(jié)合L*值、a*值和b*值結(jié)果發(fā)現(xiàn),煙熏過程中,L*值的變化最為顯著,因此為簡化分析過程,以糖熏4~12 min的L*值結(jié)合Xception-CNN模型的顏色識別準確率分析,采用LSD結(jié)合Duncan分析。由表1可知,糖熏4和5 min(相鄰時間點間)產(chǎn)生的L*值不顯著,說明兩者之間的差異較小,在模型識別時會導(dǎo)致較大誤差,影響最終的識別準確率,糖熏7 min與相鄰時間點之間(6 min和8 min)的差異均顯著,說明熏制7 min產(chǎn)生的顏色與相鄰時間點之間的差異較大,識別準確率較高。對比圖6發(fā)現(xiàn),Xception-CNN模型在4、5、7 min 3個時間點的識別準確率與之相符,說明樣品之間的差異性會影響到模型的識別準確率。
表1 不同熏制時間下樣品的L*值Table 1 L* value of samples under different smoking time
4種模型的平均識別準確率分別為:92%(Xception-CNN),91%(ResNet-50)、89%(Inception),87%(傳統(tǒng)CNN)??傮w來說,Xception-CNN模型略優(yōu)于ResNet-50模型,明顯優(yōu)于Inception模型和傳統(tǒng)CNN模型。模型測試所需時間是檢測模型識別效果的另一個重要指標,模型和硬件平臺等都會影響到運算的速度,因此應(yīng)結(jié)合不同的需求選擇合適的模型。4種模型的測試所需時間分別是1.36 s(Xception-CNN),0.81 s(ResNet-50),0.98 s(Inception),2.48 s(CNN)。本文選取的Xception-CNN模型因復(fù)雜性較高,測試時間比ResNet-50模型和Inception模型多0.55和0.78 s,該差距會因為平臺的運算性能提升而進一步縮小,但同傳統(tǒng)CNN模型相比縮短了1.12 s,僅需要1.36 s即可完成識別。綜上所述,Xception-CNN模型,尺寸更小,測試所需時間少,單點識別準確率及平均識別準確率均高于Inception模型、ResNet-50模型和傳統(tǒng)CNN模型,較為輕便,更適用于熏雞腿圖像的顏色識別。
本文將機器視覺技術(shù)引入到熏雞腿圖像的顏色識別領(lǐng)域中,構(gòu)建了Xception-CNN模型,并將此方法應(yīng)用到圖像識別任務(wù)中,在自建的Smoked Chicken圖像集進行實驗。結(jié)果表明:在Xception-CNN、Inception、ResNet-50和傳統(tǒng)CNN 4種模型中,Xception-CNN模型對熏雞腿圖像的顏色識別平均準確率最高,達到92%;測試時間僅需1.36 s,平均用時比ResNet-50模型和Inception模型多0.55 s和0.78 s,但比傳統(tǒng)CNN模型縮短了1.12 s。Xception-CNN模型相較于其他3個模型,在總體性能上得到了改善,對不同顏色的熏雞腿圖像具有識別準確率高、耗時較短等優(yōu)點,能夠?qū)崿F(xiàn)對雞腿熏制過程中產(chǎn)生的所有顏色的快速準確識別,說明基于機器視覺技術(shù)的熏雞腿顏色識別研究是可行的。本研究可精確指導(dǎo)工藝參數(shù)優(yōu)化,為標準化生產(chǎn)及開發(fā)顏色快速識別技術(shù)提供指導(dǎo)依據(jù)。在實際生產(chǎn)中,由于相關(guān)影響因素可能無法保證顏色控制恒定,實際生產(chǎn)應(yīng)用中該模型需要盡可能控制生產(chǎn)環(huán)境、工藝的穩(wěn)定,進一步擴大樣本量,即增加測試集的樣本量,使計算機視覺能在合理范圍內(nèi)對可能出現(xiàn)的顏色誤差進行精準識別。