肖洪兵，郭培源，王 瑜

（1 北京工商大學人工智能學院 北京 100048 2 北京工商大學 食品安全大數(shù)據技術北京市重點實驗室 北京 100048）

傳統(tǒng)臘肉制品因獨特的熏制風味而深受消費者喜愛。臘肉雖美味可口，但由于我國臘肉健康營養(yǎng)體系不健全，尤其是原料肉的來源、生產條件和安全控制技術等方面存在問題，因此導致近幾年臘肉的品質與安全問題日趨突出。例如，過氧化值和酸價過高，亞硝酸鹽殘留，揮發(fā)性鹽基氮（TVBN）含量過高，氧化程度TBA 嚴重，菌落總數(shù)超標，蛋白質和脂肪水解及氧化等品質問題。這些品質指標的低下會導致人體動脈粥樣硬化，組織缺氧，甚至中毒、致癌等諸多問題，威脅著消費者的健康[1]。當臘肉因微生物污染而變質或因自身酶分解作用而發(fā)酵時，其內在物理結構、成分組成信息以及外在特征信息會發(fā)生改變。過氧化值、酸價是目前臘肉國家標準評價臘肉香腸安全的主要理化指標。傳統(tǒng)的常規(guī)微生物腐敗檢測方法都具有一定的破壞性，且耗時，難以滿足工業(yè)需求，目前還沒有一種技術可以快速、無損、準確地檢出臘肉細菌性腐敗導致的品質下降；而采用高光譜成像技術有望攻克這一難題，進而實現(xiàn)肉類中的營養(yǎng)品質檢測和健康風險評估[2]。高光譜圖像包含豐富的光譜和空間（圖像）信息，利用這些信息是獲得準確分類結果的前提[3]。高光譜圖像分類的難點在于與傳統(tǒng)的圖像特征提取方法相比，高光譜成像數(shù)據具有高維、難獲取和空間變異性等特點。隨著機器學習的發(fā)展，許多方法被應用到高光譜圖像數(shù)據處理中。支持向量機（SVM）[4]在小樣本、非線性和高維特征的數(shù)據應用方面取得一定進展。深度學習作為機器學習的一個分支，可實現(xiàn)性能優(yōu)良的圖像特征提取，特別是卷積神經網絡（CNN），作為一個成功的視覺任務模型，在人臉識別、目標探測和跟蹤等領域取得前所未有的成就，可以通過網絡實現(xiàn)圖像的深度特征提取[5]。然而，高光譜深度學習在食品領域的研究僅停留在對光譜或圖像的研究上，尚未真正實現(xiàn)“光譜與圖像集成”。

近幾年國內外文獻報道了一些新的研究方法。文獻[6]通過高光譜技術，分析了生鮮肉中肌內水分含量分布，以及持水性與肉的品質和風味的關系，研究了脂肪及脂肪酸組成直接影響肉的嫩度和多汁性。Barbin 等[7]應用近紅外900～1 700 nm區(qū)域的高光譜成像系統(tǒng)，獲取豬肉表面的光譜信息，經多元散射校正處理后，建立了豬肉顏色參數(shù)、pH 值、滴水損失預測模型。Chao 等[8]將高光譜技術應用于豬肉等級劃分，結合主成分分析法對特征波長進行建模分析，最后得到的分級準確率達96%。文獻[9]利用高光譜900～1 700 nm 波段，根據雞蛋中n-3 多不飽和脂肪酸含量，對雞蛋進行分級及含量預測，對兩種DHA 含量雞蛋的判別正確率達100%。Elmasry 等[10]利用高光譜，對禽類產品雞皮膚腫瘤和胴體表面污染物進行無損檢測。

國內外研究表明，雖然一些技術在鮮肉、果蔬等無損檢測技術方面取得進展，但是臘肉等的品質檢測與風險評估的理論與方法還存在許多問題。本文以臘肉的高光譜成像為研究對象，利用CNN 結合SVM 的算法，優(yōu)勢互補，實現(xiàn)深度提取特征與傳統(tǒng)機器學習提取特征的巧妙結合[11-12]，基于臘肉的高光譜圖像信息（或空間信息）與光譜信息，開展融合高光譜的圖、譜特征信息的臘肉營養(yǎng)健康風險研究。

1 研究方法

本試驗采用德國GaiaSorter 高光譜分選儀系統(tǒng)，該系統(tǒng)主要包括高光譜成像儀，CCD 相機、光源、暗箱、計算機等。其技術參數(shù)為：光譜掃描范圍350～1000 nm，光譜分辨率1.8 nm，采樣間隔0.9 nm，測定速度為每個樣品小于0.5 min，快速準確，不需要任何化學試劑及特殊的樣品準備，可檢測生肉及熟肉產品。試驗前，將臘肉的每個樣品平均分為2 份，1 份用作生化值的測定，另1 份用作高光譜數(shù)據的掃描。將分割好的臘肉放置于水平移動平臺上，在采集光譜時，需要保持周圍環(huán)境的穩(wěn)定性，用鎢燈去照射樣品。通過水平臺的自動移動，完成光譜的采集。

以國家生化檢測標準的組分含量特征信息為基準，利用高光譜的圖、譜識別技術，研究臘肉的內在結構與外在特征信息，對其進行營養(yǎng)品質檢測及健康風險評估。通過提取同一臘肉檢測對象不同品質指標呈現(xiàn)的不同光譜分布特征，對所測臘肉的關鍵營養(yǎng)品質進行預測；并通過高光譜圖像不同波段具有的圖像特征信息建立優(yōu)化檢驗模型，對臘肉的健康風險進行評估；最后以國家生化檢測標準含量特征信息值為參考，在人工智能多數(shù)據融合的基礎上，快速確定被測臘肉的健康風險等級，為消費者提供安全營養(yǎng)的食用臘肉保障。

本文提出的方法主要分兩個部分，結構框架如圖1所示，分別提取空間（圖像）信息和光譜信息。高光譜圖像信息利用卷積神經網絡（CNN）自動提取空間相關深度特征[13-15]；光譜信息經過預處理和主成分分析法（PCA）得到光譜特征；然后將光譜特征與空間深度特征整合，輸入SVM 進行訓練預測，得到分類結果。既通過PCA 等提取的特征增強了圖像的判別信息，減小了冗余信息；同時，又利用CNN 網絡挖掘內部復雜結構特征的長處，加快模型訓練的收斂速度，并降低對訓練數(shù)據的需求，提高了模型性能[16-17]。因而，本分類方法能夠充分挖掘出樣本特征的泛化能力、可靠性，有效解決小樣本問題帶來的弊端，并利于正確分類。

圖1 系統(tǒng)組成Fig.1 System composition

2 結果與分析

2.1 臘肉的光譜特征

圖2是60 個臘肉樣本的平均光譜數(shù)據圖。可以看出不同臘肉樣品的光譜圖變化趨勢大致相近，然而吸光度存在一定差異，這種差異是由于臘肉內部的物質成分或品質（如過氧化值、酸價、菌落信息）引起的。試驗結果表明利用高光譜研究臘肉的營養(yǎng)品質是可行的。

圖2 臘肉樣品平均光譜圖Fig.2 Spectrum of mean bacon samples

2.2 SVM 臘肉品質檢測二分類模型

針對待檢測的未知臘肉樣本，從高光譜數(shù)據的光譜維和圖像維綜合判斷臘肉的品質，在光譜維中采集臘肉的酸價和過氧化值指標，在圖像維參考圖像顏色特征值和微生物菌落信息，通過模型預測仿真以及測定，最終將每項指標輸入到SVM 支持向量機分類預測模型中，通過檢驗，結果精度要求不足的情況下，可進行參數(shù)調優(yōu)。將高光譜技術采集到的酸價、過氧化值、菌落信息等數(shù)據作為特征量輸入SVM 支持向量機進行預測分類，可建立初步的臘肉食品營養(yǎng)品質識別模型，對臘肉品質進行快速識別。分類預測模型結構如圖3所示。通過生化試驗得到臘肉主要檢測指標的標準值，包括脂肪降解指標酸價和過氧化值、圖像顏色值、微生物菌落總數(shù)；利用高光譜檢測技術測量臘肉的酸價、過氧化值，通過主成分分析算法進行波段選取，建立定量分析模型，經過預處理和波段選擇后，模型的酸價、過氧化值的預測均方根誤差大大減小，所用波段維度大大降低，不僅減少了計算所用的時間，同時也提高了檢測精度；利用上述生化試驗與光譜分析得到的數(shù)值作為網絡輸入，將臘肉的品質評價標準在國標的基礎之上分為可食用與不可食用兩類。

圖3 二分類預測模型結構圖Fig.3 Structure diagram of two-classification prediction model

2.3 CNN 特征提取

CNN 網絡可以根據任務類型，適當快速地自學習，針對任務類型的固有特征，而不是人工提取、篩選的一些特征對任務進行研究。而且，CNN 可以提取圖像的多層次、多尺度特征，不同層提取到了不同的特征，例如：像素特征、邊緣直線特征、直線特征的線性組合、復雜的輪廓特征、深度特征，對于特定的任務、特定的類型學習特定的特征，對于模型的泛化能力有顯著的提升。同時，CNN 學習的特征更容易可視化和理解。卷積網絡學習到的特征不需要人為干預，使得網絡學習到的特征更能代表樣本的特征。臘肉的CNN 網絡可視化特征如圖4所示。

從圖4可以看出，CNN 網絡在提取特征的過程中，上層的特征比下層的特征抽象，由于抽象的特征是通過網絡的任務類型學習到的，因此，CNN 在圖像特征提取領域要比其它傳統(tǒng)特征提取網絡的表現(xiàn)更好。

圖4 特征可視化圖Fig.4 Features visualization

2.4 多分類器設計

分類器設計的好壞，將直接影響最終的分類結果。為了實現(xiàn)更精細的臘肉食用風險分級，需要在SVM 二分類模型的基礎上實現(xiàn)多分類。多分類器設計是健康風險評估的最后一個環(huán)節(jié)，也是至關重要的環(huán)節(jié)。本項目采用了三維CNN-SVM 模型，該模型的設計基于如下幾點考慮：

1） 混合模型通過結合CNN 和SVM 的優(yōu)點來彌補其各自的缺點，因此該模型結果優(yōu)于任何一種單一分類器。

2） CNN 的學習方法基于經驗風險最小化，即通過訓練使分類錯誤最小化。當通過反向傳播算法找到第一個分類超平面時，無論是局部還是全局最小值，訓練過程都會停止，算法不會繼續(xù)優(yōu)化分類超平面，容易陷于局部最小值，因此泛化能力低于SVM。

3） SVM 基于結構風險最小化原則，即將訓練集數(shù)據泛化誤差最小化，通過求解二次規(guī)劃問題，使不同類別樣本之間的邊緣最大，得到的分割超平面是全局最優(yōu)解，能夠有效避免陷入局部最優(yōu)解。替換CNN 的輸出層后，由于SVM 的泛化能力很高，分類準確率得到了進一步提高。卷積神經網絡對輸入圖像進行卷積和下采樣計算，可自動提取出具有很高代表性的圖像特征。且由于CNN 在特征圖上采用權重共享技術，在一定程度上，當輸入圖像有少許形狀失真時，這些特征是不變的。CNN 方法避免大量的人工參與，能夠提取出比傳統(tǒng)方法更顯著的特征，這正是CNN 與SVM 結合的獨特優(yōu)勢所在。

4） 試驗對比發(fā)現(xiàn)，三維卷積神經網絡的分類性能遠遠優(yōu)于二維卷積神經網絡，說明在用二維卷積神經網絡提取特征時，會削弱圖片數(shù)據中的關鍵特征，丟失大量可供學習、訓練的有用信息。而三維卷積神經網絡比二維神經網絡在深度上多出了一維，將連續(xù)波段的圖像堆疊起來，在形成的立方體內進行卷積等一系列特征提取操作，更有利于抓取圖片在第三維度上的相關信息。就高光譜圖像而言，本身就具備三維圖像的特性，在圖像的基礎上增加了光譜的波段維度，因而3D-CNN在三維立體圖像的分類識別上有很強的優(yōu)越性，極大的提高了識別準確率。

CNN-SVM 的多分類器方案如圖5所示。臘肉經過預處理后，將傳統(tǒng)機器學習算法所提取的光譜有效特征與經過深度學習模型（3D-CNN）提取的圖像特征通過SVM 融合，最終輸出四分類結果。

圖5 CNN-SVM 多分類器Fig.5 CNN-SVM multiple classifier

2.5 融合圖譜特征的營養(yǎng)品質與健康風險綜合評估模型

按照上述步驟，將高光譜的光譜模型檢測結果與圖像特征提取模型的輸出結果，通過多數(shù)據融合算法，建立一個綜合的臘肉品質的檢測和評估模型。接下來，通過量化的方法，實現(xiàn)對臘肉品質的快速檢測和評價。

2.5.1 風險模型分級過程 根據消費者的實際需要和人們對美好生活的新要求，在前面兩分類的基礎上，建議將臘肉的營養(yǎng)品質和健康風險評估等級設為四級，為此網絡的輸出單元數(shù)目為4，即輸出的結果為四級健康風險分類：安全營養(yǎng)、安全不營養(yǎng)、不安全、危險。

在實驗室試驗過程中，依據國標和食品營養(yǎng)安全需求，按照樣本的實際情況，根據生化試驗結果，對臘肉品質參照表1所示的各項指標，可進行相應等級的簡單劃分。例如：國標規(guī)定中臘肉過氧化值含量應≤0.5 g/100 g，超過此值時即為超標。

表1 依據生化指標的臘肉品質等級劃分Table 1 Classification of bacon quality according to biochemical indexes

為了進一步量化和精細劃分，科學的風險分級確定和計算需經過3 個環(huán)節(jié)：確定風險權重系數(shù)→計算風險值→風險分級。這一確定的分級結果可用于驗證臘肉健康風險分級評價模型的結果是否正確。其中，風險值（Risk）的計算方法如式（1）所示。

式中，Risk——風險值；i——風險因素，i=0，1，…，n；pi——各風險因素發(fā)生的概率，pi=0 或1；Ri——各風險的權重系數(shù)。

為此，建議臘肉營養(yǎng)品質與健康風險分級如表2所示。

表2 臘肉營養(yǎng)品質與健康風險分級表Table 2 Bacon nutritional quality and health risk rating scale

2.5.2 模型結構的確定及驗證 將反映臘肉品質內在特征的光譜特征信息與反映臘肉品質外在特征的圖像信息作為深度學習融合算法的輸入，能實現(xiàn)融合圖譜特征的健康風險綜合評估模型。具體步驟如下：

1） 利用三維CNN 算法建立了基于高光譜圖像信息的臘肉營養(yǎng)品質檢測和風險評估模型。通過256 個波段的高光譜圖像作為CNN 模型的輸入，經過特征提取層提取了關鍵的圖像信息，并在輸出層得到了預期的分類結果。如圖6所示。將臘肉的高光譜數(shù)據中全部高光譜圖像作為數(shù)據源，即每個樣本有256 幅高光譜圖像，每一幅圖像寬和高都是66，則網絡輸入的尺寸為256×66×66×1，即尺寸為66×66、深度為1、維數(shù)為256 的三維數(shù)據。將臘肉的品質分為4 類，所以網絡的輸出單元同樣有4 個。模型的特征提取層一共有3 個三維卷積層和三維池化層的組合。首先確定池化層，選擇最大池化，核尺寸均為2×2×2，步長均為2，相當于將特征圖壓縮為原來的1/8；在池化層參數(shù)固定的前提下，將卷積步長設置為1 并不使用0 填充時，根據網絡輸入的數(shù)據尺寸，3 個卷積層的核尺寸為：9×3×3，9×5×5，9×5×5，各層核數(shù)量根據經驗設置；最后，特征提取層的輸出結果為270 張尺寸為25×5×5 的特征圖。

圖6 臘肉營養(yǎng)品質CNN 網絡結構圖Fig.6 CNN structure diagram of bacon nutritional quality

由于從圖像特征提取層得到的圖像特征，其特征值的數(shù)量會很大，往往遠大于光譜特征值的數(shù)量，因此在本層首先要對圖像特征進行壓縮。在壓縮過程中，考慮到光譜數(shù)據所包含的有效信息遠大于圖像數(shù)據，圖像特征值的個數(shù)應小于光譜特征值的個數(shù)；然后，將光譜特征和壓縮后的圖像特征融合起來，組成聯(lián)合的高光譜特征，作為特征融合層的輸出接入到全連接層，最后由輸出層可得出結果。

2） 通過CNN-SVM 結構實現(xiàn)多數(shù)據融合的評估。具體地，本項目所構建的混合CNN-SVM 模型使用SVM 分類器代替CNN 模型的輸出層。一般來講，CNN 結構中最后一層是輸出單元，輸出對樣本數(shù)據分類的邊界概率，這個概率是根據前一隱藏層的輸出與網絡權重和偏置項的線性組合來計算的，邊界概率最大的那一類即為樣本的最終類別。這里使用SVM 替換CNN 的輸出層，將CNN全連接層的輸出作為提取出的深度圖像特征，連同傳統(tǒng)機器學習提取的特征，構成特征矩陣輸入SVM 進行分類，按照庫的4 種類型，輸出反映臘肉品質的四分類結果。

基于建立好的CNN-SVM 模型，隨機從樣本中抽取40 組已知等級的臘肉數(shù)據，每個等級抽取10 個樣本，輸入SVM 模型中進行分類預測，預測結果如圖7所示。

圖7中很清晰的看出模型把樣本分成4 類，結果顯示，出現(xiàn)3 個誤差點，總體預測準確度為92.5%。試驗結果表明，利用高光譜圖像技術，以及SVM 多數(shù)據融合技術，對臘肉的品質進行分級預測是可行的，且正確率有一定保證，能夠完成對臘肉品質的分類識別。下一步可以根據需要，實現(xiàn)更精細的分級結果。

圖7 CNN-SVM 模型對臘肉的分類Fig.7 Classification of bacon by CNN-SVM

上述試驗結果表明，設計的CNN-SVM 模型，綜合使用臘肉的光譜和圖像數(shù)據，臘肉的內在品質信息和外在特征信息得到充分利用，將圖像深度提取特征與光譜提取特征巧妙結合，有效地提高了模型的精度，設計出了準確可靠的臘肉營養(yǎng)健康風險的四分類器，實現(xiàn)了對臘肉的安全營養(yǎng)品質評估。

3 結論

本研究以高光譜成像技術和深度學習為基礎，著眼于臘肉光譜特征和圖像特征的獲取與識別，將臘肉的內在成分及外在特征信息作為檢測與評估參數(shù)，采用CNN-SVM 模型，把深度提取特征與傳統(tǒng)機器學習提取特征有機結合，實現(xiàn)了多信息數(shù)據融合的臘肉營養(yǎng)品質檢測與健康風險評估方法。本研究揭示了臘肉品質的高光譜成像獲取的光譜特征信息變化規(guī)律及圖像特征信息變化規(guī)律，在實現(xiàn)臘肉營養(yǎng)品質檢測及健康風險評估的基礎上，可建立臘肉類食品的安全營養(yǎng)品質評價標準，以科學指導人們健康飲食，具有重要的社會價值和經濟價值。