王 博，胡曉妍, ，于芳珠，劉登勇,2,

（1.渤海大學食品科學與工程學院， 生鮮農(nóng)產(chǎn)品貯藏加工及安全控制技術國家地方聯(lián)合工程研究中心， 遼寧錦州 121013；2.江蘇省肉類生產(chǎn)與加工質量安全控制協(xié)同創(chuàng)新中心， 江蘇南京 210095）

烤羊肉是我國傳統(tǒng)風味肉制品，顏色棕黃，色澤油亮，肉香濃郁，深受消費者喜愛[1]。隨著人們食品安全意識的提高和市場需求量增大，傳統(tǒng)加工方式已不能滿足人們的需要，工業(yè)化加工逐漸代替?zhèn)鹘y(tǒng)加工方式，并正在向標準、營養(yǎng)、健康、智能的方向發(fā)展[2]，然而目前在工業(yè)化生產(chǎn)中能夠對產(chǎn)品質量進行及時、快速評價的標準化方法仍存在不足。烤羊肉作為傳統(tǒng)肉制品，色、香、味、形獨具特色[3]，消費者往往通過這些特點來評價產(chǎn)品質量。其中顏色是消費者感官評價最直觀的指標也是反映食品質量的重要因素,不僅能表征食品的新鮮度，還是食品成熟度的重要指示因子，在食品加工及儲藏過程中也可以通過顏色變化及時發(fā)現(xiàn)食品品質的改變，烤羊肉加工過程中顏色是用來判斷成熟度的重要依據(jù)[4-7]。因此建立一種能夠識別烤羊肉顏色的標準方法對于精準控制其顏色，實現(xiàn)標準化生產(chǎn)具有很好的現(xiàn)實意義。比色卡是一種可進行顏色對照識別，在一定范圍內(nèi)統(tǒng)一顏色標準的工具，目前在食品領域應用較少，制作烤羊肉比色卡檢測顏色只需通過簡單對比，操作方便準確率高[8-9]。

比色卡制作要采集大量樣本的顏色信息，傳統(tǒng)顏色識別方法主要為儀器測定和感官評價，儀器測定結果準確，但對樣品具有破壞性且成本較高；感官評價簡單方便，但容易受外界因素影響且存在一定個人主觀性[10-11]。機器視覺是利用機器代替人眼，模擬人類視覺功能的一項技術，通過圖像采集、信號轉換、數(shù)據(jù)處理分析等最終實現(xiàn)對物體的識別，可應用于多種領域[12-13]。在肉類食品中的應用如：監(jiān)測碎肉在連續(xù)油炸過程中凝集增加的變化[14]、評估肉類食品的質量參數(shù)[15]、在線預測識別豬肉的顏色和大理石花紋[16]以及禽類產(chǎn)品尺寸、質量、體積的測定和分級分類[17]等，方法智能新穎且具有識別速度快、準確率高、不具破壞性等特點[18]。因此利用機器視覺技術對烤羊肉圖像進行采集和處理，減少誤差提高比色卡準確率[19]。

本研究以烤羊肉為實驗目標，基于機器視覺技術制作烤羊肉顏色比色卡，實現(xiàn)對烤羊肉顏色的實時檢測，在生產(chǎn)過程中能夠及時控制產(chǎn)品質量，研究為烤羊肉質量評價管理提供了基礎依據(jù)。

1 材料與方法

1.1 材料與儀器

羊外脊 錫林郭勒盟羊羊牧業(yè)股份有限公司提供，羊品種為內(nèi)蒙古錫林郭勒盟蘇尼特羊（月齡6月，均重30 kg）。

NB-HM3810電烤箱 廈門建松電器有限公司；CR-400色彩色差計 日本柯尼卡美能達公司；LED迷你小型攝影棚 紹興上虞風景戶外用品有限公司；VGA2USB圖像采集卡 加拿大艾普飛公司；EOS-R6照相機 日本佳能公司；HP ZHAN 66 R5-4500筆記本電腦 中國惠普有限公司。

1.2 實驗方法

1.2.1 樣品制備 購買排酸成熟24 h后的新鮮羊肉于4 ℃條件下運回實驗室-18 ℃下冷凍保存。實驗前將冷凍的羊肉放置室溫解凍1 h，去除筋膜和多余脂肪，制備規(guī)格均為長×寬×厚20 mm×20 mm×10 mm的肉樣，利于羊肉烤制過程中成熟度一致。待肉完全解凍，表面溫度升至室溫后置于烤盤，放入上下溫度220 ℃電烤箱中。通過控制烤制時間獲得羊肉在烤制過程中的所有顏色變化，經(jīng)預實驗得出，本實驗所用電烤箱在羊肉烤制25 min時，表面已經(jīng)出現(xiàn)焦糊，因此選取烤制時間范圍為0～25 min。每min烤制15塊羊肉共390塊，得到試驗樣品。

1.2.2 比色卡制作方法 為確定烤制過程中所有顏色的變化，選擇0～25 min共26個時間點的烤羊肉樣本進行圖像采集，并對采集圖像進行預處理來提高質量，讀取預處理后的圖像信息，利用算法將圖像信息轉化為計算機可識別的顏色參數(shù)繼而建立比色卡。

1.2.2.1 圖像采集 圖像采集均由圖1所示自主設計的圖像采集裝置獲取，該裝置主要由照相機、圖像儲存卡、燈板、攝影棚、背景板及計算機組成。其中燈板、背景板及相機固定在攝影棚內(nèi)。將相機在采集效果最佳的高度固定，采集的圖像通過圖像儲存卡傳輸?shù)诫娔X，從而獲取烤羊肉樣品圖像。

圖1 圖像采集裝置示意圖Fig.1 Schematic diagram of image acquisition device

1.2.2.2 圖像預處理 由于圖像采集裝置在進行烤羊肉圖像采集時會受到外界因素干擾，影響圖像真實特征信息的提取，進而影響顏色識別效果，因此需要對采集的圖像進行預處理。圖像預處理可以在不實質性增加圖像數(shù)量的情況下使圖像增廣，讓有限的圖像產(chǎn)生一些相似又不完全相同的樣本。常用的圖像預處理方法有以下幾種：圖像濾波、幾何變換、圖像增強、圖像復原等[20]。本研究采用以下四種預處理方式：隨機對比度調(diào)整、隨機亮度調(diào)整、隨機旋轉調(diào)整、隨機縮放調(diào)整[21]。

1.2.2.3 構建圖像識別模型 利用Xception-CNN模型處理獲取烤羊肉圖像，處理流程如圖2所示。模型的最后一層為全連接層，負責整個神經(jīng)網(wǎng)絡的輸出，通過Softmax激活函數(shù)得到最終的輸出。損失函數(shù)（Loss function，簡稱 Loss）用來評價模型的預測值和真實值不同的程度，解決回歸任務的基礎函數(shù)為均方誤差損失函數(shù)（MSE）。

圖2 基于 Xception-CNN 模型的圖像數(shù)據(jù)處理方法Fig.2 Image data processing method based on Xception-CNN model

MSE 表示如式（1）所示：

其中，n表示一個Batch中的樣本數(shù)量；y表示期望輸出；y′表示實際輸出。

1.2.2.4 制作比色卡 機器視覺技術采集樣品圖像，將樣品圖像信息轉化為計算機可以識別的參數(shù)，再利用算法處理圖像信息進而制作比色卡。常規(guī)算法處理的數(shù)據(jù)，會出現(xiàn)計算機難以將數(shù)據(jù)換算為可識別的顏色參數(shù)的情況，本研究采用均值算法、K-Means算法和K-Means+圖像降噪三種算法，能夠解決這一問題對圖像進行有效處理，處理后能較好地呈現(xiàn)出樣品顏色信息[22]。

利用均值算法[23]制作比色卡：通過計算全局的RGB均值得到該圖像的主色調(diào)，將圖像劃分為若干個小塊，用大小為32×32的滑塊遍歷每塊圖像，計算每個色塊的RGB值，得到32×32區(qū)域的像素塊均值，最后由局部的RGB均值逐漸變?yōu)槿值腞GB均值，即為該烤羊肉圖像的顏色數(shù)值，將數(shù)值轉換為對應顏色，再將對應的顏色按照烤制時間排序，即可得到均質算法制作的比色卡。該算法原理簡單，實現(xiàn)起來比較容易，聚類的效果比較好，在可解釋性方面較強，再調(diào)整參數(shù)時只需調(diào)整簇的個數(shù)即可。

利用K-Means算法[24]制作比色卡：將26組圖像經(jīng)過像素塊遍歷得到的顏色信息作為數(shù)據(jù)集，在各個數(shù)據(jù)集中生成質心，共形成26個時間段的質心。選取在烤羊肉圖像的顏色參數(shù)范圍內(nèi)的26個與顏色參數(shù)相同維度的質心，分別計算每一個顏色數(shù)據(jù)到26個質心的距離（歐氏距離），使每個數(shù)據(jù)分組于距離最近的質心。更新質心的位置重新計算，經(jīng)過不斷重復計算直到質心位置不發(fā)生變化或只發(fā)生微小的變化，提取質心周圍類簇群所對應的RGB信息值并做均值處理，可以得到這26個時間段的RGB信息，根據(jù)烤制時間進行排列即可得到K-Means算法制作的比色卡。該算法在處理大的數(shù)據(jù)集時是相對可擴展的，并且具有較高的效率。

利用K-Means算法+圖像降噪處理[25]制作比色卡：由于羊肉會存在一些難以剝離的肌內(nèi)脂肪，使烤羊肉表面顏色識別產(chǎn)生誤差，使得部分圖像不能完全代表烤羊肉實際的顏色，這些質量較差的圖像即為聚類中的噪聲數(shù)據(jù)和異常數(shù)據(jù)，影響分類準確率。因此在K-Means算法的基礎上提出通過自動替換，將噪聲數(shù)據(jù)和異常數(shù)據(jù)替換為周邊的正常數(shù)據(jù)。該方法能夠有效的去除異常數(shù)據(jù)，有利于提高比色卡的準確度。

1.2.3 比色卡識別準確率驗證 由于比色卡均通過算法制作，驗證比色卡準確率時若單獨采用算法驗證可能會出現(xiàn)泛化性差的問題[26]，若單獨采用感官驗證可能存在主觀性影響實驗結果，所以本研究采用K-medoids算法結合感官實驗驗證三種比色卡的準確率。K-medoids算法區(qū)別于制作比色卡的三種算法，使驗證方法統(tǒng)一，利于驗證結果準確。

1.2.3.1 算法驗證 利用K-medoids算法[27]驗證比色卡準確率，將測試集樣本圖片劃分若干個區(qū)域，用大小為5×5的滑塊對每個區(qū)域的RGB值進行均值處理，從中隨機選26個點作為初始的類簇群區(qū)域中心點，其余點按與這26個點的最小距離分配到對應最近的類簇群，以此類推，比較每個樣本到類簇群中心點的距離，將樣本劃分到最近的類別中，在新組成的類別中重新計算中心點，直到26個中心點不再變化為止，最終得到26個類簇群的RGB值，將26個類簇群的RGB值與三種算法識別的RGB值進行對比，以此進行比色卡識別準確率驗證。

1.2.3.2 感官實驗 制備0～25 min的烤羊肉樣品，根據(jù)GB/T 16291.1-2012[28]培訓和篩選出15名感官評定員，其中男生6名，女生9 名，平均年齡為24周歲，身體健康、無色盲、能有效辨別色差。

喜好度評價：根據(jù)以上方法選定感官評價員結合A.N[29]方法加以修改，經(jīng)過預實驗結果可知，烤制10 min后的羊肉中心溫度達到75 ℃，為可食用的狀態(tài)[30]。因此評價樣品為11～25 min的烤羊肉樣品，并根據(jù)九點感官評價法（表1）對烤羊肉的顏色進行打分[31]，以評分作為實驗結果。

表1 九點感官評價法數(shù)字標度表Table 1 Nine-point sensory evaluation method digital scale

準確率檢驗：26個樣品背面標記烤制時間，將順序打亂后隨機放置；感官評定員參照三種算法制作的比色卡為26個樣品評定烤制時間，每種比色卡評定完成后間隔10 min，根據(jù)感官實驗數(shù)據(jù)對比真實數(shù)據(jù)得到3種比色卡的感官實驗準確率，重復3次，以準確率平均值作為實驗結果。規(guī)則同上，感官評定員未用比色卡直接對樣品進行烤制時間的評定，結果與利用比色卡評定烤制時間的準確率進行對比，以此判斷比色卡的應用效果。

1.3 數(shù)據(jù)處理

本研究統(tǒng)計分析的實驗環(huán)境為Python 3.7，主要使用了Python的第三方擴展模塊“Pylab”和“Matplotlib”繪制圖像、使用“Numpy”進行高維度矩陣計算、使用和“Keras”、“Tensorflow”開源深度學習框架搭建模型。使用“Scikit-learn”開源的機器學習模塊對模型進行評估和分析，采用Origin 9.0和IBM SPSS Statistics 26.0軟件對數(shù)據(jù)進行統(tǒng)計處理。

2 結果與分析

2.1 圖像采集結果

每塊烤羊肉采集 4 張圖像，共采集烤羊肉樣品圖像1560張，均為384×384格式，采用1.2.2.2方法進行圖像預處理后，共獲得6240張圖像，定義為數(shù)據(jù)集Roast Mutton，將其按8：2隨機分配為訓練集與測試集，訓練集中包含4992張圖片用于構建和優(yōu)化試驗模型，測試集為剩余的1248張圖片，用于測試模型的準確性，樣品圖像以圓形輸出。

2.2 圖像預處理結果

烤羊肉的局部圖像經(jīng)過隨機亮度調(diào)整、隨機圖像縮放調(diào)整、隨機對比調(diào)整和隨機旋轉調(diào)整等方法進行預處理后，結果如圖3所示。從圖中可以看出，在不改變圖像原本屬性的前提下，隨機對比度與隨機亮度的調(diào)整使烤羊肉圖像亮度產(chǎn)生差異，改善圖像質量，并且可以增強局部細節(jié)；經(jīng)過隨機旋轉和隨機縮放調(diào)整后，改變了圖像的原有位置、方向和量級，相當于一幅新的圖像，進而衍生出了更多有利于提升測試結果的準確率的訓練樣本。將預處理后的烤羊肉圖像部分代替原圖作為展示圖，能更好地展現(xiàn)圖像預處理的效果。

圖3 烤羊肉圖像預處理結果Fig.3 Image pretreatment results of roast mutton

2.3 模型識別

損失函數(shù)對Xception-CNN模型訓練集樣本訓練結果表明，Xception-CNN模型在訓練過程中隨迭代次數(shù)增加，Loss值逐漸下降，訓練軌跡收斂性良好。一般情況下，訓練過程中的Loss值越小表明模型的準確率越高，總體性能越好[32]。所以Xception-CNN對不同顏色的烤羊肉圖像具有較高識別準確率，可以用于處理獲取烤羊肉圖像。

2.4 比色卡建立

2.4.1 均值算法制作的比色卡 均值算法制作比色卡的主要過程如圖4（A）所示，首先使用大小為32×32的滑塊遍歷烤羊肉原圖，得到32×32區(qū)域的RGB均值像素塊，再將區(qū)域RGB均值像素塊大小逐漸增加至64×64→94×94，最后由局部的RGB均值逐漸變?yōu)槿值腞GB均值。在遍歷所有圖像得到烤制時間0～25 min共26個時間段的樣品圖像顏色后，將各個烤制時間段的圖像顏色按烤制時間依次排列，得到的即為均值算法制作的比色卡，結果如圖5（A）所示。

2.4.2 K-Means算法制作的比色卡 K-Means算法制作比色卡的具體過程如圖4（B）所示，在每塊烤羊肉樣品圖像上獲取10個如“原圖”所示的5×5像素塊后，每個像素塊利用大小為2×2、長為1的小滑塊進行遍歷，遍歷結束后每個5×5像素塊可以得到16個包含4個RGB信息的2×2小滑塊，將每個小滑塊進行RGB均值提取。經(jīng)處理后根據(jù)烤制時間進行排列即可得到K-Means算法制作的比色卡，結果如圖5（B）所示。

圖4 三種算法制作比色卡的過程Fig.4 Process of constructing colorimetric cards with the three algorithms

圖5 三種算法制作的比色卡Fig.5 Colorimetric cards constructed by the three algorithms

2.4.3 K-Means算法+圖像降噪處理制作的比色卡本研究通過4種方式對圖像進行預處理，但由于噪聲數(shù)據(jù)和異常數(shù)據(jù)會使數(shù)據(jù)邊界偏移，影響聚類效果。因此，研究利用圖像降噪處理方法對烤羊肉圖像做進一步處理[33]。通過機器學習，將K-Means同類簇中心點覆蓋到RGB值過低和過高的部分并自動替換成顏色正常的部位。如圖4（C）所示，192×192區(qū)域由于表面不平整導致RGB值差別較大，則將該部分RGB值替換為類簇中心點值以去除異常數(shù)據(jù)。K-Mean算法+圖像降噪處理比色卡制作過程同K-Means算法，結果如圖5（C）所示。

2.4.4 比色卡識別準確率驗證結果 利用上述均值算法、K-Means算法、K-Means算法+圖像降噪對數(shù)據(jù)集進行處理，生成的比色卡RGB值依次如圖6A～圖6C所示。

由圖6A～圖6C可知在0～25 min的26個時間點內(nèi)，均值算法的RGB值與K-Means算法的RGB值始末狀態(tài)區(qū)間波動較小，呈相對平穩(wěn)的梯度變化；而K-Means算法+圖像降噪處理后的RGB值波動較大，R值在13 min后迅速減小，尤其是在16 min后呈現(xiàn)明顯下降的趨勢，原因是圖像降噪處理去除大量的噪聲信息。根據(jù)三種比色卡的RGB值和對應的烤制時間做多元線性回歸分析，結果如表2所示。由表可知K-Means算法建立的方程擬合效果好（R2=0.962），均值算法和K-Means+圖像降噪處理的方程擬合效果一般（R2=0.790，R2=0.714），K-Means算法能夠更好地反映烤制時間和對應圖像顏色信息之間的關系。

表2 三種比色卡的RGB值信息與烤制時間的多元回歸模型Table 2 Multiple regression model of RGB value information and roasting time of 3 colorimetric cards

圖6 三種比色卡RGB顏色信息和K-均值算法產(chǎn)生的比色卡感官識別結果Fig.6 RGB value information of the three colorimetric cards and sensory recognition results of colorimetric cards produced by the K- means algorithm

2.4.4.1 算法驗證結果 樣本數(shù)據(jù)分層取樣建立驗證集并獲得對應的三種驗證比色卡，并使用Kmedoids算法處理得到驗證集比色卡的RGB值；然后將三種比色卡的RGB值與其值對比，從而對三種比色卡的準確率進行檢驗。K-medoids算法驗證結果如表3所示。由表可知，比色卡的算法識別準確率分別為均值算法85.60%、K-Means算法95.70%以及K-Means算法+圖像降噪處理93.40%。

表3 算法驗證與感官驗證的比色卡平均識別準確率結果Table 3 Algorithm verification and sensory verification colourimetric card average recognition accuracy results

2.4.4.2 感官驗證結果 烤羊肉的感官喜好度評分結果如圖7所示。由圖可知，烤羊肉的顏色喜好度評分呈現(xiàn)先上升后下降的趨勢，從11 min開始評分逐漸升高，因為羊肉在此階段隨烤制時間延長顏色逐漸由淺棕色變?yōu)辄S棕色，14 min時評分最高，顏色喜愛度最高；羊肉烤制15 min后顏色喜好度評分開始下降，烤制25 min時評分最低，因為在15～20 min階段羊肉顏色進一步加深，20 min后逐漸出現(xiàn)焦糊現(xiàn)象，所以20 min后的評分普遍較低。

圖7 烤羊肉顏色喜好度評分Fig.7 Roast mutton color preference score

驗證比色卡識別準確率結果 感官實驗驗證結果如表3所示，比色卡的感官識別準確率分別為均值算法67.32%、K-Means算法73.71%和K-Means算法+圖像降噪處理68.74%。結合圖8，三種比色卡的感官識別準確率在14和15 min不理想，原因是烤制14和15 min的羊肉處于成熟階段，呈棕黃色差別并不明顯，因此感官評定員對此時間段的顏色難以區(qū)分。為此，本研究將烤制14和15 min的感官數(shù)據(jù)去除后重新計算準確率，結果顯示，平均識別準確率均提高，均值算法制作的比色卡感官識別準確率為71.25%、K-Means算法為78.86%、K-Means算法+圖像降噪處理為72.30%。感官驗證試驗的準確率順序與算法驗證的準確率順序相符合（K-Means算法＞K-Means算法+圖像降噪處理＞均值算法），結果表明K-Means算法的識別效果準確率最高。

圖8 感官實驗驗證烤制時間的識別準確率Fig.8 Sensory experiments verify the accuracy of roasting time recognition

將未用比色卡進行烤制時間驗證的準確率與利用三種比色卡對照識別烤制時間的準確率結果進行對比。如圖8所示，未用比色卡識別烤制時間的準確率，在9～24 min時低于均值算法比色卡；在1～25 min時低于K-Means算法比色卡；在8～25 min時低于K-Means+圖像降噪處理算法比色卡，結果表明烤制后期羊肉表面顏色變化迅速，根據(jù)樣品顏色直接判定羊肉烤制時間存在的誤差增大，導致準確率下降，比色卡能夠較好地呈現(xiàn)出樣品的顏色信息以及抗外界干擾，借助比色卡能夠在一定程度上提高對羊肉烤制時間的識別準確率。

3 結論

本文采用機器視覺技術建立烤羊肉顏色識別比色卡，對烤羊肉的顏色進行快速識別，并對識別準確性進行了驗證。結果表明：三種比色卡都能夠呈現(xiàn)出良好的顏色梯度變化，反映羊肉烤制過程中的顏色變化，其中K-Means算法比色卡經(jīng)K-medoids算法驗證準確率為95.70%，感官驗證準確率為73.71%，效果在三種比色卡中最好，與烤制時間的相關性也最強，所以K-Means算法制作的比色卡感官屬性更好。綜合來看，制作烤羊肉比色卡可以將羊肉烤制過程中所有可能出現(xiàn)的顏色直觀的呈現(xiàn)出來，表明基于機器視覺技術制作比色卡具有良好的可行性。顏色能夠反應產(chǎn)品信息，在加工過程中可通過比色卡對烤羊肉成熟度進行對比判斷，也可以將比色卡作為消費者對烤羊肉顏色喜愛度的評價標準，便于商家調(diào)查分析各類消費群體對產(chǎn)品的成熟度等不同需求，及時對產(chǎn)品進行調(diào)整；在生產(chǎn)生活中，比色卡可作為質量評價依據(jù)，對烤羊肉及時進行監(jiān)測、控制烤制時間，使產(chǎn)品擁有良好的感官特性，方便商家以及消費者在生產(chǎn)、消費過程中進行質量檢查，為產(chǎn)品顏色識別和感官評定提供參考依據(jù)。研究發(fā)現(xiàn)比色卡可在一定程度上反映出烤羊肉的成熟度，烤羊肉的成熟度是導致其顏色變化的重要因素，因此可基于本研究方法，針對比色卡與烤羊肉成熟度之間的關系等方面展開進一步系統(tǒng)研究。