張 萌，趙忠蓋

江南大學自動化研究所輕工過程先進控制教育部重點實驗室，江蘇 無錫 214122

引 言

近紅外光的本質(zhì)是一種電磁波，一般定義780～2 526 nm區(qū)間內(nèi)的波段為近紅外光譜區(qū)，近紅外光譜主要是由有機物質(zhì)吸收光后分子振動從基態(tài)向高能級躍遷時產(chǎn)生的，反映了含氫集團X—H(X主要為C，N和O等)基頻振動的倍頻和合頻信息[1]。而應(yīng)用近紅外光譜分析技術(shù)的關(guān)鍵就在于如何建立準確有效的模型[2]。

在近紅外光譜分析中，目前常用的模型建立方法有多元線性回歸法[3](multiple linear regression，MLR)、 主成分回歸[4](principle component regression，PCA)、 偏最小二乘法(partial least squares，PLS)[5]、 人工神經(jīng)網(wǎng)絡(luò)[6](artificial neural networks, ANN)和支持向量機法(support vector machine，SVM)[7]。PLS是目前近紅外光譜分析中應(yīng)用最廣泛的建模方法之一，它從自變量矩陣和因變量矩陣中提取主成分，有效降維，并消除自變量間可能存在的復共線性關(guān)系[5]。但PLS無法準確擬合非線性關(guān)系。人工神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用廣泛的非線性建模方法，其中反向傳播(BP)算法是目前使用最多的神經(jīng)網(wǎng)絡(luò)算法之一[6]，但BP網(wǎng)絡(luò)算法易陷入局部最優(yōu)，收斂速度慢。支持向量機是一種基于統(tǒng)計學理論的機器學習方法，它有較好的泛化能力并且能避免模型陷入局部最優(yōu)[7]，現(xiàn)在也越來越多的應(yīng)用在近紅外光譜分析建模。但SVM沒有準確的選用標準，而且無法從給定的輸入空間中選擇有效特征用于建模。

深度信念網(wǎng)絡(luò)是一種具有多個隱藏層的多層感知器，它可以學習深層結(jié)構(gòu)實現(xiàn)復雜函數(shù)的逼近，從大量輸入數(shù)據(jù)中學習有效的特征表示[8]。應(yīng)用深度信念網(wǎng)絡(luò)(deep belief network，DBN)建模的優(yōu)點是：(1)深度網(wǎng)絡(luò)具有復雜的多層結(jié)構(gòu)，具有很好的表示能量，對于大數(shù)據(jù)的處理尤其有效；(2)DBN通過逐層預(yù)訓練初始優(yōu)化網(wǎng)絡(luò)參數(shù)，可以避免由于隨機初始化參數(shù)而導致模型陷入局部最優(yōu)；(3)DBN可以從輸入空間中自動學習有效的特征表示。Shang等[9]在2014年就應(yīng)用DBN網(wǎng)絡(luò)對原油蒸餾裝置建立軟測量傳感器模型；王宇紅等[10]將DBN與極限學習機(ELM)結(jié)合建立軟測量模型；Wang等[11]應(yīng)用DBN對拉薩地區(qū)的太陽輻射進行估算。

考慮到近紅外光譜內(nèi)部波長之間的相關(guān)性，以及其與目標值之間的非線性關(guān)系，提出利用深度信念網(wǎng)絡(luò)對近紅外光譜建模。該方法不需要關(guān)于光譜數(shù)據(jù)的先驗知識就可以實現(xiàn)對光譜自身的特征提取，且只要設(shè)置頂層隱層節(jié)點數(shù)小于輸入光譜的維度，在實現(xiàn)光譜數(shù)據(jù)特征提取的同時也實現(xiàn)了降維。將其應(yīng)用在近紅外光譜數(shù)據(jù)中，通過驗證相關(guān)系數(shù)R2、 均方誤差MSE指標，對比說明DBN模型和DBN-PLS模型預(yù)測的結(jié)果優(yōu)于BP方法建模。

1 實驗部分

1.1 數(shù)據(jù)與處理

選用兩個數(shù)據(jù)集驗證本方法。第一個數(shù)據(jù)集為從Tecator Infratec食品和飼料分析儀上收集的豬碎肉近紅外透射光譜。波長范圍為850～1 050 nm，分辨率為2 cm-1。共包含172個校驗集光譜，43個驗證集光譜。第二個數(shù)據(jù)集為布魯克MATRIX-F型傅里葉近紅外光譜儀(OPUS分析軟件包，德國Bruker公司)采集的檸檬酸發(fā)酵液近紅外光譜，分辨率為16 cm-1，波長范圍為3 996～11 988 nm。采用Kennard-Stone法對260個樣品按2∶1劃分校驗集和驗證集，得到174個校驗集光譜和86個驗證集光譜。Kennard-Stone法的原理是根據(jù)變量之間的歐式距離，在樣品光譜的特征空間里選擇距離最大的樣品作為校驗集樣品[17]。

為去除來自高頻隨機噪聲、 基線漂移、 光散射等影響，需對光譜進行預(yù)處理。平滑是光譜信號處理中改善信噪比最常用的方法[6]。采用了Savitzky-Golay卷積平滑法對光譜預(yù)處理，經(jīng)過預(yù)處理的近紅外光譜如圖1。

圖1 預(yù)處理后的光譜圖(a)：豬肉；(b)：檸檬酸發(fā)酵液Fig.1 Preprocessed near infrared spectra(a)：Pork; (b)：Citric acid fermentation liquid

1.2 方法

1.2.1 基于深度信念網(wǎng)絡(luò)的建模

DBN是深度學習的生成模型之一，由多層受限玻爾茲曼機(restricted Boltzmenn machines，RBM)堆疊而成[12]，結(jié)構(gòu)如圖2所示?；贒BN的近紅外光譜建模首先輸入光譜數(shù)據(jù)，對RBM進行逐層預(yù)訓練，完成對光譜數(shù)據(jù)進行特征提取和降維，得到RBM的初始權(quán)值；然后，利用目標理化值對初始權(quán)值進行反向微調(diào)，得到最終優(yōu)化權(quán)值；最后，添加回歸層，即可完成近紅外光譜的預(yù)測建模。該算法的流程圖如圖3。

圖2 (a)RBM結(jié)構(gòu)圖；(b)DBN結(jié)構(gòu)圖Fig.2 (a) Diagram of RBM structure; (b) diagram of DBN structure

圖3 DBN預(yù)測模型算法流程圖Fig.3 Flow chart of DBN prediction model algorithm

光譜吸光度X與目標理化值Y的配對組合表示為{(X1，Y1)，(X2，Y2)，…，(Xn，Yn)}。將光譜吸光度X作為第一層RBM的輸入層。根據(jù)圖2(a)所示，RBM結(jié)構(gòu)包含一個可視層(v)和一個隱含層(h)[13]，可視層用于表示輸入光譜數(shù)據(jù)信息，隱含層表示對輸入光譜的學習能力。對于給定的狀態(tài)(v，h)，RBM作為一個系統(tǒng)所具備的能量定義為

(1)

式(1)中，θ為模型參數(shù)。

可視層和隱含層的聯(lián)合概率為

(2)

P(v，h)對v的邊緣分布為

(3)

可以計算出第j個隱層單元和第i個可視層單元的條件概率分布分別為

(4)

(5)

訓練一個RBM即調(diào)整參數(shù)θ，使其更好地擬合給定的訓練樣本[13]。最大化以下似然函數(shù)

(6)

(7)

其中，ε表示學習率。

(8)

1.2.2 改進的深度信念網(wǎng)絡(luò)建模

在深度學習的過程中，無監(jiān)督過程可以提取輸入樣本的隱變量，監(jiān)督過程通過BP算法對整個網(wǎng)絡(luò)進行參數(shù)微調(diào)。然而基于梯度的優(yōu)化算法也會陷入局部最優(yōu)，將DBN與PLS結(jié)合可以避免由于梯度下降算法帶來的問題。DBN最后一層隱含層是對原始輸入樣本的若干次學習后得到的深層特征，這一特征之間不存在相關(guān)性，符合PLS模型對自變量的要求。因此，考慮將PLS運用到DBN的訓練過程中，對DBN進行改進，提高模型的預(yù)測效果。

DBN-PLS模型結(jié)構(gòu)圖如圖4。運用DBN-PLS對近紅外光譜建模的具體步驟如下：

圖4 DBN-PLS模型結(jié)構(gòu)圖Fig.4 Diagram of DBN-PLS model

(1)對近紅外光譜數(shù)據(jù)進行預(yù)處理；

(2)構(gòu)建近紅外光譜的DBN模型，完成近紅外光譜的特征提取和降維；

(3)將提取的有效特征輸入PLS模型, 建立DBN-PLS預(yù)測模型；

(4)將驗證集數(shù)據(jù)輸入到DBN-PLS模型中，進行驗證。

1.3 模型評價

為驗證模型預(yù)測的準確性，本文選用決定系數(shù)(R2)和均方誤差(MSE)兩個評價指標對模型進行評價。R2表示真實值和預(yù)測值的相關(guān)程度。MSE可以評價數(shù)據(jù)的變化程度，MSE的值越小說明預(yù)測模型有越好的精確度[16]。

(9)

(10)

2 結(jié)果與討論

2.1 參數(shù)選擇

模型參數(shù)選擇是影響DBN模型特征提取能力以及模型預(yù)測精度的重要因素。本文影響結(jié)果的參數(shù)主要有RBM層數(shù)、 迭代次數(shù)(iteration)和學習率(learining rate)。隨著模型層數(shù)的增加，層間連接權(quán)值增加，訓練難度也會增加，設(shè)置了2層RBM結(jié)構(gòu)。圖5為不同迭代次數(shù)下整個網(wǎng)絡(luò)的訓練損失，迭代次數(shù)過小模型易欠擬合，迭代次數(shù)過大模型易過擬合。圖6給出了在不同學習率和不同迭代次數(shù)下的R2大小。由圖5和圖6可以看出，兩個數(shù)據(jù)集在迭代次數(shù)大約為200時，模型的訓練損失趨于0，數(shù)據(jù)集1在學習率ε=0.001時，模型的精度最高，R2為0.990 7，MSE為0.910 0；數(shù)據(jù)集2在學習率ε=0.000 1時，模型精度最高。表1例舉了iteration為200的時候，豬肉含水量的近紅外光譜預(yù)測模型在不同學習率下的R2和MSE大小。

圖5 迭代次數(shù)對模型的影響Fig.5 The impact of iteration number on the model

圖6 不同學習率下迭代次數(shù)對模型的影響(a)：豬肉；(b)：檸檬酸發(fā)酵液Fig.6 The influence of iteration times on the model under different learning rates(a)：Pork near infrared spectrum;(b)：Citric acid fermentation liquid near infrared spectrum

表1 學習率選擇表Table 1 Learning rate selection table

2.2 結(jié)果比較

對于豬碎肉近紅外光譜數(shù)據(jù)集，我們對比了三種預(yù)測模型，結(jié)果如表2?？梢钥闯?，用BP方法對近紅外光譜建模的R2為0.902 6，而用DBN模型和DBN-PLS模型建模后的R2分別為0.990 7和0.964 4，預(yù)測精度都優(yōu)于BP模型。圖7分別給出了豬肉含水量的BP模型、 DBN模型和DBN-PLS模型。圖7(a)為BP模型預(yù)測值與實際值的對比，圖7(b)為用DBN模型建模的預(yù)測值和實際值對比，圖7(c)為用DBN-PLS模型建模的對比圖。可以看出，DBN模型和DBN-PLS模型的預(yù)測效果都優(yōu)于BP模型。

表2 豬肉近紅外光譜預(yù)測模型評價指標Table 2 Evaluation index of model for pork near infrared spectrum

圖7 豬肉近紅外光譜模型對比結(jié)果(a)：BP模型；(b)：DBN模型；(c)：DBN-PLS模型Fig.7 Comparison results of model for pork near infrared spectrum(a)：BP model; (b)：DBN model; (c)：DBN-PLS model

對于第二個檸檬酸發(fā)酵液近紅外光譜數(shù)據(jù)集，我們分別應(yīng)用了PLS模型和DBN-PLS模型對其建立校正模型，并計算了其評價指標，結(jié)果如表3所示，并在圖8給出了其模型預(yù)測值和實際值的對比圖。圖8(a)為PLS模型建模效果，圖8(b)為利用DBN對光譜數(shù)據(jù)進行特征提取和降維后的建模效果?？梢悦黠@看出，利用DBN-PLS對檸檬酸發(fā)酵液近紅外光譜數(shù)據(jù)集的建模效果明顯優(yōu)于PLS模型的建模效果。

表3 檸檬酸發(fā)酵液近紅外光譜模型評價指標Table 3 Evaluation index of model for citric acid fermentation broth near infrared spectrum

圖8 檸檬酸發(fā)酵液近紅外光譜建模對比(a)：PLS模型; (b)：DBN-PLS模型Fig.8 Comparison of PLS and DBN-PLS models for near infrared spectra of citric acid fermentation broth(a)：PLS model; (b)：DBN-PLS model

3 結(jié) 論

DBN網(wǎng)絡(luò)可以實現(xiàn)復雜函數(shù)的逼近，且由于其結(jié)構(gòu)特性，可以自動實現(xiàn)對輸入數(shù)據(jù)的特征提取，得到輸入數(shù)據(jù)中更深刻的特征信息，運用DBN模型分析預(yù)測可以解決其他建模方法初始參數(shù)難確定的問題。利用近紅外光譜數(shù)據(jù)和DBN網(wǎng)絡(luò)建立了DBN和DBN-PLS近紅外光譜預(yù)測模型，通過將其與BP預(yù)測模型對比，驗證了DBN模型和DBN-PLS模型的可行性，并且DBN模型和DBN-PLS模型預(yù)測精度優(yōu)于BP模型。