陳國喜，周松斌，陳 頎，劉憶森，趙路路，韓 威

1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，云南 昆明 650500 2.廣東省科學(xué)院智能制造研究所，廣東 廣州 510070

引 言

摻假奶粉不僅降低了乳制品的營養(yǎng)質(zhì)量，而且給消費(fèi)者帶來了重大的健康風(fēng)險(xiǎn)[1-2]。在三聚氰胺之后，又涌現(xiàn)出例如皮革水解蛋白(HLP)等一些新類型的乳制品摻假物，令檢測的難度加大，對乳制品摻假檢測手段研究需求日益迫切。近紅外光譜(NIR)是一種具有實(shí)時(shí)響應(yīng)、檢測簡單、儀器成本相對低廉、無損檢測和環(huán)境友好分析等優(yōu)點(diǎn)的分析技術(shù)[3]，在乳制品摻假檢測領(lǐng)域具有良好的應(yīng)用前景。

為了實(shí)現(xiàn)高精度、高魯棒性的乳制品摻假識(shí)別與定量分析，不少研究者探索了各類模型近紅外建模方法在乳制品摻假識(shí)別中的應(yīng)用。例如龐佳烽等采用線性判別分析方法和非相關(guān)線性判別分析方法，成功地實(shí)現(xiàn)了含三聚氰胺摻偽奶粉的鑒別[4]，有研究使用偏最小二乘法對摻入牛奶的羊奶進(jìn)行鑒別和定量，測定其脂肪和蛋白質(zhì)含量[5]。近年來，深度神經(jīng)網(wǎng)絡(luò)在近紅外光譜、拉曼光譜、熒光光譜等的光譜數(shù)據(jù)處理中的應(yīng)用受到研究者的廣泛關(guān)注。然而，近紅外光譜數(shù)據(jù)存在譜信息的冗余與共線性，且大量有標(biāo)簽的樣本制備和收集較為困難[6]。因此，深度神經(jīng)網(wǎng)絡(luò)在近紅外光譜建模中的過擬合問題，一直是該研究面臨的一大挑戰(zhàn)。針對近紅外光譜的信息冗余與共線性問題，曾有研究者提出了各種類型的有效波段選擇方法，例如Shan等針對咖啡水溶液中綠原酸濃度測試開發(fā)了基于GA和SPA方法選擇有效波長的校準(zhǔn)模型，并取得了更好的性能[7], Vaddi等提出使用最優(yōu)相鄰重建(ONR)方法選擇的高光譜數(shù)據(jù)的非相關(guān)頻帶可以在目標(biāo)分類任務(wù)上有更好的表現(xiàn)[8]。近幾年，也有研究提出了基于了神經(jīng)網(wǎng)絡(luò)的特征波段選擇方法[9-10]，但往往涉及到特征的重排列與多次重復(fù)訓(xùn)練，計(jì)算效率有待提升。

本工作提出了一種基于波段注意力的近紅外光譜建模方法(wavelength attention-convolutional neural networks，WA-CNN)，應(yīng)用于奶粉的皮革水解蛋白摻假定量分析。本方法采用卷積層結(jié)構(gòu)自訓(xùn)練波段重要性權(quán)值，并以乘法加權(quán)方式進(jìn)行波段激活，從而實(shí)現(xiàn)基于注意力的定量分析。研究中還采用了三種經(jīng)典回歸方法(PLS，SVM和CNN)進(jìn)行比較。將PLS模型得到的回歸系數(shù)用于概率波長選擇[11]，并與提出的WA-CNN模型得到的權(quán)重進(jìn)行了比較。

1 實(shí)驗(yàn)部分

1.1 儀器及材料

1.1.1 樣品制備

實(shí)驗(yàn)中共測試了100個(gè)HLP摻假的嬰兒配方奶粉樣本。HLP濃度按照0.5%梯度配置了摻假比例0%～20%的樣品。為保證模型具有更好的泛化能力，嬰兒配方奶粉樣品包含三個(gè)品牌的嬰兒配方奶粉: 惠氏、美智臣和貝因美，及三種品牌奶粉的隨機(jī)比例混合。HLP粉購自三家生產(chǎn)商(北京開泰; 德國嘉吉; 無錫AccoBio)，摻假物為三個(gè)生產(chǎn)商HLP的隨機(jī)比例混合粉體。將HLP摻入嬰兒配方奶粉，并充分?jǐn)嚢杈鶆颍纬蓳郊贅悠贰?/p>

1.1.2 近紅外光譜

采集通過手持近紅外分析儀(DLP NIRscan Nano: Texas Instruments, Dallas, TX, USA)獲得樣品的近紅外光譜數(shù)據(jù)。分析儀光譜范圍為900～1 700 nm(11 000～5 880 cm-1)，掃描分辨率為2.8 nm。每個(gè)樣品重復(fù)16次掃描并取平均值。

1.2 預(yù)處理

為了提高定標(biāo)精度，刪除了光譜起始和末端波段，以避免為這些區(qū)域存在較為明顯的儀器噪聲。使用1 000～1 600 nm(波段數(shù)量為180個(gè))的光譜進(jìn)行分析。對所有的近紅外光譜數(shù)據(jù)進(jìn)行一階Savitzky-Golay導(dǎo)數(shù)預(yù)處理[12](平滑點(diǎn)為9，多項(xiàng)式階數(shù)為2)，以達(dá)到基線校正和平滑的目的。

1.3 WA-CNN網(wǎng)絡(luò)結(jié)構(gòu)

研究中提出了一種基于波段注意機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)(WA-CNN)的近紅外光譜分析算法，該算法通過自訓(xùn)練注意力方式對各波段特征進(jìn)行加權(quán)，從而使有效波段貢獻(xiàn)度更高，實(shí)現(xiàn)減低冗余、抑制過擬合、提升算法精度的目的。WA-CNN分為兩部分：注意力模塊和回歸模塊。注意力模塊中包含兩個(gè)一維卷積層，整個(gè)模塊不改變輸入輸出的特征大小，可以很方便地嵌入到回歸模型中。

WA-CNN模型具體結(jié)構(gòu)與數(shù)據(jù)流程如下：

(1)原始光譜特征輸入注意力模塊，經(jīng)過兩層卷積操作和非線性激勵(lì)，注意力模塊輸出波段權(quán)值

wA=sigmoid[φ(Fo)]

(1)

式(1)中，F(xiàn)o為原始光譜特征，φ(x)為注意力模塊中的卷積操作，wA為輸出的波段權(quán)值。

(2)波段權(quán)值與原始光譜以乘法形式進(jìn)行加權(quán)，在此過程中，有效波段將被激活，對與后續(xù)回歸計(jì)算的貢獻(xiàn)量更大。加權(quán)處理流程可表示為式(2)

FA=Fo×wA

(2)

(3)加權(quán)后的光譜特征作為回歸模塊的輸入，回歸模塊采用典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，最終的預(yù)測輸出為

(3)

式(3)中，P為歸一化的預(yù)測輸出，wj和b為回歸模塊輸出層的權(quán)值與偏置。

最終構(gòu)建整個(gè)模型前，對WA-CNN網(wǎng)絡(luò)結(jié)構(gòu)采用訓(xùn)練集內(nèi)部交叉驗(yàn)證方法進(jìn)行優(yōu)化。其中，回歸模塊卷積層數(shù)在1～5范圍內(nèi)進(jìn)行優(yōu)化，卷積層濾波器數(shù)量在(8, 16, 32, 64)范圍內(nèi)進(jìn)行優(yōu)化。最終得到優(yōu)化的卷積層數(shù)和每個(gè)卷積層的濾波器數(shù)量分別為3和16。并且在研究中發(fā)現(xiàn)，加入池化層會(huì)降低模型精度，因此回歸網(wǎng)絡(luò)結(jié)構(gòu)中并未加入任何池化層。優(yōu)化后模型的結(jié)構(gòu)參數(shù)如圖1。網(wǎng)絡(luò)的學(xué)習(xí)率和迭代次數(shù)分別為0.000 1和2 000。

圖1 WA-CNN網(wǎng)絡(luò)結(jié)構(gòu)

1.4 對比方法

1.4.1 偏最小二乘回歸

偏最小二乘法(partial least squares，PLS)回歸是一種經(jīng)典的化學(xué)計(jì)量學(xué)線性回歸分析方法[13]。在PLS模型建立之前，采用訓(xùn)練集內(nèi)10折交叉驗(yàn)證方法優(yōu)化主成分?jǐn)?shù)，優(yōu)化范圍為5～25。

1.4.2 支持向量機(jī)回歸

支持向量回歸(support vector regression, SVR)是一種常用的非線性回歸分析方法[14]。本工作選用徑向基函數(shù)(radial basis function, RBF)作為核函數(shù)，使用網(wǎng)格搜索(grid search, GS)算法及訓(xùn)練集內(nèi)的5-折交叉驗(yàn)證方法，優(yōu)化SVR的懲罰參數(shù)C與核函數(shù)的參數(shù)γ。

1.4.3 一維卷積網(wǎng)絡(luò)

常規(guī)的一維卷積神經(jīng)網(wǎng)絡(luò)(CNN)也用于模型比較。為了和所提出算法進(jìn)行合理、公正的比較，CNN的網(wǎng)絡(luò)超參數(shù)，包括卷積層數(shù)量、卷積層厚度、卷積核尺寸、非線性激勵(lì)函數(shù)等，均與WA-CNN中的回歸模塊保持一致。

1.5 評價(jià)標(biāo)準(zhǔn)

定量分析模型主要采用訓(xùn)練集均方根誤差(RMSEC)、測試集均方根誤差(RMSEP)、測試集的決定系數(shù)(coefficient of determination，R2)以及相對分析誤差(RPD)進(jìn)行評價(jià)。其中，RPD的計(jì)算公式為

RPD=SD/RMSEP

(4)

式(4)中，SD是測試集樣本標(biāo)簽的標(biāo)準(zhǔn)差。

訓(xùn)練集與驗(yàn)證集的比例為60%(60個(gè)樣本)和40%(40個(gè)樣本)。為了準(zhǔn)確評價(jià)模型的性能，進(jìn)行10次隨機(jī)取樣與建模，用10次訓(xùn)練與測試得到的測試集均方根誤差(RMSEP)、決定系數(shù)R2和相對分析誤差(RPD)的平均值和標(biāo)準(zhǔn)差評價(jià)各定量分析模型的預(yù)測能力。

為確保所提方法及所有對比方法都得到充分優(yōu)化，采用在訓(xùn)練集內(nèi)部交叉驗(yàn)證的形式，優(yōu)化各模型的超參數(shù)。在本研究中，所有基于CNN的方法都在開源平臺(tái)TensorFlow上進(jìn)行，PLS和SVR模型采用sklearn機(jī)器學(xué)習(xí)庫實(shí)現(xiàn)。

2 結(jié)果與討論

2.1 不同含量HLP光譜響應(yīng)特性

圖2為五個(gè)不同HLP含量樣本的原始光譜曲線及預(yù)處理后光譜曲線。由圖2(a,b)可見，不同HLP含量樣本紅外光譜反射率整體趨勢相似，經(jīng)過一階導(dǎo)數(shù)處理后差異仍不明顯。在近紅外光譜范圍內(nèi)，蛋白質(zhì)的氨基酸中含有的含氫基團(tuán)(比如C—H, N—H, O—H)會(huì)形成較為明顯的吸收峰。圖2(a,b)中在1 150～1 200 nm間有一個(gè)吸收峰，主要由C—H鍵的二級倍頻產(chǎn)生，在1 400～1 540 nm間有一個(gè)較強(qiáng)的吸收峰，分析認(rèn)為由游離的N—H和O—H基團(tuán)產(chǎn)生的一級倍頻以及C—H基團(tuán)的組合頻。

采用經(jīng)典流形學(xué)習(xí)方法T分布隨機(jī)鄰域嵌入(tSNE)對預(yù)處理后的近紅外光譜數(shù)據(jù)進(jìn)行降維可視化分析[15](見圖3)，評價(jià)其定量分析的潛力。從圖3可見，摻假含量與主成分之間難以觀察到明顯的變化規(guī)律，顯示出在嬰兒配方奶粉中進(jìn)行皮革水解蛋白摻假定量分析具有一定的難度。其主要原因是皮革水解蛋白為復(fù)雜混合物，其近紅外光譜特性較為復(fù)雜，且皮革水解蛋白主要成分為動(dòng)物性水解蛋白，與奶粉中的蛋白質(zhì)有一定的相似性。

圖2 不同HLP濃度樣本的近紅外光譜吸收圖

圖3 tSNE分析可視化效果圖

2.2 波段注意力

為了直觀的觀察到波段注意力模塊的波段選擇效果，將波段注意力模塊得到的波段權(quán)值繪制曲線展示于圖4(a)。PLS建模得到的每個(gè)波段的相關(guān)系數(shù)絕對值同樣可用于表征波段的重要性，因此繪制相關(guān)系數(shù)曲線于圖4(b)中用于對比。由圖4(a)可見，波段注意力權(quán)值曲線具有非常明顯的峰值，表明各個(gè)波段在摻假奶粉定量分析任務(wù)中重要性有明顯區(qū)別。權(quán)值曲線突出的波長集中在三個(gè)區(qū)域: 1 090～1 120, 1 280～1 320和1 400～1 550 nm。對比PLS模型得到的相關(guān)系數(shù)曲線，其相關(guān)性高的區(qū)域與波段注意力方法基本吻合，但是相關(guān)系數(shù)曲線更加平緩，相關(guān)系數(shù)區(qū)分度不顯著。

2.3 模型建立與優(yōu)化

保持注意力卷積層數(shù)量為2，對注意力模塊中每層卷積的激活函數(shù)尋優(yōu)。采用Relu、PRelu、tanh等典型激活函數(shù)的組合，在其他參數(shù)不變的情況下，改變注意力模塊中兩個(gè)卷積層的激活函數(shù)，分別采用驗(yàn)證集測試網(wǎng)絡(luò)性能，結(jié)果如表1所示。最終兩個(gè)注意力卷積層的激活函數(shù)為Prelu和Relu時(shí)，取得最佳的驗(yàn)證集預(yù)測效果。

圖4 (a)波段注意力權(quán)值曲線；(b)PLS相關(guān)系數(shù)曲線

表1 注意力模塊中不同激活函數(shù)組合得到的交叉驗(yàn)證結(jié)果

在優(yōu)化后的模型超參數(shù)基礎(chǔ)上，對WA-CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練及最終的模型表現(xiàn)評估。為了展示加入波段注意力模塊對于模型訓(xùn)練過程的影響，將CNN和WA-CNN在訓(xùn)練過程中訓(xùn)練集和測試集損失函數(shù)變化圖及決定系數(shù)變化圖列于圖5。由圖5(a)可見，對比CNN，無論訓(xùn)練集還是測試集，圖5(b)中CNN和WA-CNN在訓(xùn)練過程中測試集上R2變化也反映了此規(guī)律。WA-CNN的損失函數(shù)早期變化更加陡峭，更快進(jìn)入平臺(tái)期，說明網(wǎng)絡(luò)收斂速度更快。并且可觀察到WA-CNN網(wǎng)絡(luò)的訓(xùn)練集與測試集損失函數(shù)差距更小，有效緩解了過擬合。

圖5 CNN和WA-CNN訓(xùn)練過程中的損失函數(shù)和決定系數(shù)曲線

圖6 不同大小訓(xùn)練集下的模型預(yù)測結(jié)果

2.4 訓(xùn)練集樣本大小對模型的影響

為了驗(yàn)證訓(xùn)練集樣本數(shù)量對于各模型表現(xiàn)的影響，改變訓(xùn)練集比例(20%～80%)，并在每種比例下隨機(jī)取樣10次，觀察WA-CNN及對比方法的模型表現(xiàn)[見圖6(a—d)]。總體來說，在小樣本情況下，由于過擬合問題，CNN的表現(xiàn)差于PLS和SVR，而WA-CNN在各個(gè)不同的訓(xùn)練集比例下都取得優(yōu)于其他三種對比方法的結(jié)果，尤其是在訓(xùn)練樣本非常小的情況下，WA-CNN相比于對比方法的預(yù)測精度提升更加明顯，驗(yàn)證了本工作所提算法在小樣本情況下的優(yōu)越性。WA-CNN訓(xùn)練基于卷積層的波段權(quán)值，以乘法加權(quán)形式激活有效波段，從而有效緩解近紅外光譜建模中波段信息冗余問題，從而能夠在小樣本建模情況下取得更好的表現(xiàn)。

2.5 回歸結(jié)果與方法對比

將本方法及對比方法對皮革水解蛋白摻假含量預(yù)測結(jié)果總結(jié)于表2。由表中數(shù)據(jù)對比可見，相比于PLS，SVR和CNN方法，WA-CNN在RMSEP，R2和RPD指標(biāo)上均取得最優(yōu)結(jié)果，尤其對比常規(guī)CNN有較大的提升。WA-CNN模型在RMSEP上較PLS，SVR和常規(guī)CNN分別提高了18.5%，9.5%，29.4%，體現(xiàn)了該方法的優(yōu)越性。

表2 采用WA-CNN和對比方法得到的HLP奶粉摻假定量分析結(jié)果

分別取四種方法十次隨機(jī)取樣中預(yù)測精度最接近平均值的一次結(jié)果繪制回歸散點(diǎn)圖于圖7。從圖中可以看出，CNN回歸發(fā)生了較為明顯的過擬合，而WA-CNN則未產(chǎn)生明顯的過擬合現(xiàn)象，在所有對比方法中取得了最好的回歸預(yù)測效果。

圖7 不同模型得到的回歸散點(diǎn)圖

3 結(jié) 論

提出了一種基于注意機(jī)制的近紅外數(shù)據(jù)定量分析方法WA-CNN，并在嬰兒配方奶粉皮革蛋白摻假數(shù)據(jù)集上對其進(jìn)行了驗(yàn)證。在該算法中，將基于卷積運(yùn)算的注意力模塊學(xué)習(xí)到的權(quán)值作為自訓(xùn)練注意掩模進(jìn)行波段激活，進(jìn)而實(shí)現(xiàn)進(jìn)一步的回歸建模。預(yù)測結(jié)果表明，與PLS，SVR和CNN等傳統(tǒng)建模方法相比，對于嬰兒配方奶粉皮革蛋白摻假數(shù)據(jù)集，WA-CNN具有更好的回歸預(yù)測能力，最終獲得了RMSEP=1.32±0.12，R2=0.96±0.01，RPD=4.92±0.41的模型預(yù)測結(jié)果。所述近紅外定量分析方法在乳制品摻假等基于近紅外光譜的食品安全檢測領(lǐng)域具有廣泛的應(yīng)用前景。