鞠 薇，魯昌華，張玉鈞，陳曉靜，蔣薇薇

1.安徽大學(xué)互聯(lián)網(wǎng)學(xué)院，安徽 合肥 230039 2.合肥工業(yè)大學(xué)計算機與信息學(xué)院，安徽 合肥 230009 3.中國科學(xué)院合肥物質(zhì)科學(xué)研究院，安徽 合肥 230031

引 言

有機化合物中組分的種類及含量信息是決定其性質(zhì)的關(guān)鍵因素。有機物分子在中紅外波段具有發(fā)射和吸收紅外輻射的能力，不同種類及含量的有機物分子的紅外光譜呈現(xiàn)出位置及幅度不同的紅外吸收峰。

紅外光譜技術(shù)發(fā)展至今，已形成較為完善的理論體系，能夠通過精密光譜測量儀器獲取高分辨率以及寬波段的有機物紅外光譜，如何利用高效分析算法快速精確地計算出光譜中包含的有機物信息是紅外光譜技術(shù)領(lǐng)域現(xiàn)階段的研究重點。紅外光譜定量回歸方法通過對大量紅外光譜樣本進行篩選及優(yōu)化，提取光譜數(shù)據(jù)中的有用信息并利用該信息解析未知光譜中包含的有機物組分。常用的光譜定量回歸算法為化學(xué)計量學(xué)方法中的經(jīng)典最小二乘(classical least squares, CLS)、多元線性回歸(multiple linear regression, MLR)、偏最小二乘(partial least squares, PLS)等。隨著近年來機器學(xué)習(xí)技術(shù)的迅猛發(fā)展，研究人員嘗試利用支持向量機(support vector machine, SVM)[1]，隨機森林(random forest, RF)[2]，決策樹(decision tree, DT)[3]，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)[4]等算法對紅外光譜數(shù)據(jù)進行分類以及定量回歸，與化學(xué)計量學(xué)相比，機器學(xué)習(xí)算法在處理非線性數(shù)據(jù)上表現(xiàn)出明顯的優(yōu)越性。

機器學(xué)習(xí)中不同算法在預(yù)測準確性、穩(wěn)定性以及時間效率上分別有著不同的優(yōu)異表現(xiàn)，集成學(xué)習(xí)(ensemble learning)通過融合各類機器學(xué)習(xí)算法的優(yōu)點，獲取更為優(yōu)異的泛化性能。盧偉[5]等利用Stacking集成學(xué)習(xí)模型結(jié)合高光譜技術(shù)對黑枸杞品質(zhì)進行快速無損分級。Yu[6]等將集成學(xué)習(xí)理論與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合用于判斷蒸汽管道紅外光譜的高溫區(qū)域，與其他圖像分類算法相比，該方法具有更高的準確率且滿足實際工程需要。與深度學(xué)習(xí)相比，集成學(xué)習(xí)的優(yōu)點在于它具有對計算資源軟硬件配置要求較低，且不受限于待測數(shù)據(jù)集樣本數(shù)量等特點；自動化的大型集成策略可以通過添加正則項有效的對抗過擬合，且不需要太多的調(diào)參和特征選擇。

高分辨率紅外光譜可以精確反映出有機物分子的細微含量變化，但高分辨率也使得光譜數(shù)據(jù)量劇增，光譜中不僅包含目標組分信息，還存在干擾組分以及冗余變量信息。特征波長選取算法[7]通過篩選信息量最為豐富的波長組合，利用特征波長組合進行定量回歸建模能夠減少計算量、增加模型預(yù)測能力以及抗干擾能力。常用的紅外光譜特征波長選取方法包括間隔偏最小二乘(interval PLS, iPLS)，組合間隔偏最小二乘(synergy interval PLS, SiPLS)，連續(xù)投影算法(successive projections algorithm, SPA)，競爭性自適應(yīng)重加權(quán)算法(competitive adaptive reweighted sampling, CARS)等。

首先利用多種機器學(xué)習(xí)算法構(gòu)建兩層Stacking集成學(xué)習(xí)模型，對光譜數(shù)據(jù)集中的有機物含量進行定量分析。實驗結(jié)果表明集成學(xué)習(xí)模型能夠應(yīng)用于有機物紅外光譜定量分析，且預(yù)測精度高于傳統(tǒng)光譜定量分析工具PLS模型。在此基礎(chǔ)上，提出了一種特征波長選取結(jié)合集成學(xué)習(xí)建模的紅外光譜定量回歸方法，該方法通過特征波長選取方法對紅外光譜進行特征降維預(yù)處理，之后利用集成學(xué)習(xí)模型對預(yù)處理后的紅外光譜數(shù)據(jù)集進行回歸分析，討論特征波長選取對于集成學(xué)習(xí)模型的回歸精度及效率的影響，為紅外光譜定量回歸分析提供創(chuàng)新思路和方法參考。

1 實驗部分

1.1 樣本數(shù)據(jù)

數(shù)據(jù)來自美國西南研究所提供的柴油紅外光譜，該公開數(shù)據(jù)集旨在為紅外光譜定量回歸模型的研究提供數(shù)據(jù)支持。

柴油數(shù)據(jù)集中包含784條未經(jīng)處理的柴油紅外光譜以及所對應(yīng)的七個屬性值(沸點、十六烷含量、密度、閃點、冰點、總芳香烴含量和黏性)，部分光譜的某些屬性值缺失。實驗開始前需要將屬性值缺失的光譜樣本剔除。光譜的波長區(qū)間為750～1 550 nm，波長間隔為2 nm，每條光譜包含401個波長。本文選取柴油的十六烷含量和總芳香烴含量作為有機物定量回歸模型屬性參數(shù)，剔除缺失值后十六烷值所對應(yīng)的有效光譜樣本為381條，總芳香烴值所對應(yīng)的有效光譜樣本為395條。柴油紅外吸光度光譜如圖1所示。

圖1 柴油原始吸光度光譜

1.2 數(shù)據(jù)預(yù)處理

在進行特征波長選取以及定量回歸建模之前，首先利用Kennard-Stone算法以4∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集和預(yù)測集。Kennard-Stone算法通過計算樣本間的歐氏距離，找到擁有最遠及最近距離的待選樣本放入訓(xùn)練集，該算法能夠保證訓(xùn)練集中的樣本按照空間距離分布均勻，從而增加樣本間的差異性和代表性，提高回歸模型的穩(wěn)定性。

1.3 特征波長選取算法

特征波長選取算法能夠從大量波長變量中提取出與目標參數(shù)密切相關(guān)的波長，從而優(yōu)化光譜數(shù)據(jù)集，最終以盡可能少的波長變量來表征盡可能多的目標參數(shù)信息。與全光譜建模相比，利用特征波長進行建模能夠有效簡化模型復(fù)雜度，降低計算資源消耗，同時增加模型預(yù)測精度與抗干擾能力。

組合偏最小二乘算法(SiPLS)[8]是以PLS建模為基礎(chǔ)的特征波段選取方法，該方法將全光譜波段劃分為若干等寬的子區(qū)間，從中選取2～4個子區(qū)間進行組合，比較所有子區(qū)間組合PLS建模的預(yù)測結(jié)果，最終選取交叉驗證均方根誤差(RMSECV)最小的子區(qū)間組合作為特征波段。SiPLS改善了iPLS單一區(qū)間建模造成的特征信息丟失問題，同時考慮不同波段之間的相互聯(lián)系以及組合建模對于定量回歸模型的影響。

連續(xù)投影算法(SPA)[9]是Bregman等于1965年提出的一種循環(huán)波長選取方法，該算法通過分析波長向量的投影大小，將投影向量最大的波長作為特征波長。每次循環(huán)選取過程中將投影向量最大的單個波長加入特征波長組合中，新選入的波長與前一個選入波長之間相關(guān)度最低，重復(fù)投影循環(huán)步驟，直到選取一定數(shù)目的特征波長組合。SPA算法與其他特征波長選取算法相比，其最大優(yōu)點是能夠消除波長變量之間的共線性影響，提高建模速度和模型的穩(wěn)定性。

1.4 Stacking集成學(xué)習(xí)模型

集成學(xué)習(xí)通過組合多個基學(xué)習(xí)器來獲得一個穩(wěn)定且在各方面表現(xiàn)都較好的強學(xué)習(xí)器。每個基學(xué)習(xí)器為解決同一個問題，分別運用各自的機器學(xué)習(xí)算法對訓(xùn)練數(shù)據(jù)集進行處理，之后根據(jù)融合策略將多種不同的機器學(xué)習(xí)算法進行融合以獲得預(yù)測能力更好的強學(xué)習(xí)器。集成學(xué)習(xí)能夠結(jié)合眾多機器學(xué)習(xí)算法的優(yōu)點，彌補某些算法在例如運行時間效率、準確率上的缺點，并且可以通過不同的融合策略，改進預(yù)測模型的泛化能力，在有限數(shù)據(jù)條件下提高預(yù)測能力。

集成學(xué)習(xí)的融合策略是將基學(xué)習(xí)器結(jié)合在一起的方法，例如使用投票法來求解分類問題中輸出最多的類，使用平均法求解回歸問題的預(yù)測值。除了投票法和平均法之外，集成學(xué)習(xí)中常用的融合策略還包括Stacking和Blending。Stacking模型是一種已被實踐證明能夠有效提高模型預(yù)測精度的集成學(xué)習(xí)融合策略，其利用多個基學(xué)習(xí)器對原始數(shù)據(jù)進行訓(xùn)練，將得到的訓(xùn)練集預(yù)測結(jié)果和測試集預(yù)測結(jié)果分別作為下一層學(xué)習(xí)器的輸入訓(xùn)練集和測試集，最終訓(xùn)練得到預(yù)測性能更優(yōu)良的強學(xué)習(xí)器。強學(xué)習(xí)器又稱元學(xué)習(xí)器(meta-learner)，其作用是對基學(xué)習(xí)器的預(yù)測結(jié)果進行整理融合并為基學(xué)習(xí)器分配相應(yīng)的權(quán)重，最終提高模型預(yù)測精度。Stacking模型通?？紤]異構(gòu)弱學(xué)習(xí)器，即使用不同類型的機器學(xué)習(xí)算法訓(xùn)練基學(xué)習(xí)器。對比Stacking策略中基學(xué)習(xí)器采用的K折交叉驗證方法進行數(shù)據(jù)訓(xùn)練，Blending策略只使用一部分數(shù)據(jù)集作為留出集(Hold Out)進行驗證，其實現(xiàn)更為簡單，但是模型穩(wěn)健性相比于Stacking策略要差。

利用兩層Stacking集成學(xué)習(xí)模型對柴油紅外光譜進行有機物含量定量回歸預(yù)測，其具體實現(xiàn)流程如圖2所示：

圖2 柴油光譜Stacking集成學(xué)習(xí)流程圖

(1)將柴油光譜數(shù)據(jù)集按照KS算法劃分為訓(xùn)練集和測試集。Stacking模型利用K折交叉驗證原理對訓(xùn)練集進行訓(xùn)練。圖2(a)為基學(xué)習(xí)器的訓(xùn)練過程，將訓(xùn)練集劃分為K-1個子訓(xùn)練集及一個子測試集，在子訓(xùn)練集上利用基學(xué)習(xí)器的機器學(xué)習(xí)算法訓(xùn)練獲得預(yù)測模型，并利用該模型獲取子測試集的預(yù)測結(jié)果。K交叉驗證共訓(xùn)練K個子訓(xùn)練集，獲得K個預(yù)測模型及子測試集預(yù)測結(jié)果，將子測試集預(yù)測結(jié)果拼接成為基學(xué)習(xí)器1的新訓(xùn)練集。同時使用每個子訓(xùn)練集的預(yù)測模型對測試集進行預(yù)測，共獲得K個測試集預(yù)測結(jié)果，將K個結(jié)果取平均值，構(gòu)成基學(xué)習(xí)器1的新測試集。圖中以五折交叉驗證為例。

(2)分別使用不同機器學(xué)習(xí)算法構(gòu)成基學(xué)習(xí)器，對柴油光譜數(shù)據(jù)進行訓(xùn)練，獲得不同基學(xué)習(xí)器的訓(xùn)練結(jié)果，將n個基學(xué)習(xí)器訓(xùn)練得到的新訓(xùn)練集組合生成元學(xué)習(xí)器的訓(xùn)練集，基學(xué)習(xí)器預(yù)測得到的新測試集組合生成元學(xué)習(xí)器的測試集，輸入元學(xué)習(xí)器后獲取最終集成學(xué)習(xí)預(yù)測結(jié)果。圖2(b)顯示了元學(xué)習(xí)器的訓(xùn)練過程。

1.5 基學(xué)習(xí)器模型

決策樹(DT)是一種樹形結(jié)構(gòu)的機器學(xué)習(xí)算法，樹的每個內(nèi)部節(jié)點表示對某一個屬性值的判斷，根據(jù)判斷結(jié)果對樣本進行劃分并分配到下一層子節(jié)點，循環(huán)進行屬性值判斷及樣本劃分，每個終端葉子節(jié)點代表一種分類結(jié)果。由定義可知，屬性值的判斷是構(gòu)建決策樹的關(guān)鍵因素，常用的屬性值判斷方法包括ID3，C4.5和CART，三種方法分別使用增熵、信息熵益率和GINI指數(shù)作為屬性值的判斷依據(jù)。

極端隨機樹(extremely randomized trees，ERT)是由隨機森林算法發(fā)展而來的。隨機森林是以決策樹為基本單元的集成學(xué)習(xí)算法，由Breiman等于2001年提出。隨機森林采用Bagging策略對訓(xùn)練集進行隨機有放回抽樣，抽樣得到的數(shù)據(jù)集作為決策樹的輸入，最后通過平均各個決策樹預(yù)測結(jié)果的方式獲得隨機森林模型的回歸預(yù)測值。

2006年，Geurts等[10]在隨機森林的基礎(chǔ)上提出了極端隨機樹模型，極端隨機樹改進了隨機森林Bagging策略獲得訓(xùn)練集時重復(fù)采樣可能造成的訓(xùn)練集樣本重復(fù)問題，在極端隨機樹中，每棵決策樹的訓(xùn)練都是基于整個數(shù)據(jù)集得到的，這樣可以保證所有樣本都能被學(xué)習(xí)，樣本利用率提高可以減少模型的整體預(yù)測偏差。極端隨機樹的另一個改進表現(xiàn)在節(jié)點的劃分上，對比隨機森林的最佳屬性值分裂原則，極端隨機樹隨機選取特征屬性值進行節(jié)點分裂，從而將該特征屬性下訓(xùn)練樣本隨機分配到不同分支上，利用該節(jié)點分裂方法遍歷節(jié)點內(nèi)所有特征屬性，選取GINI值最小的特征作為最優(yōu)劃分屬性。

支持向量機(SVM)是由Cortes和Vapnik于1995年提出的一種二分類模型，其基本思想是尋找一個最大間隔超平面對樣本進行分割，尋找過程可以轉(zhuǎn)換為求解凸二次規(guī)劃的問題，SVM模型也就是求解凸二次規(guī)劃的最優(yōu)化算法。對于非線性分類問題，SVM通過引入核函數(shù)(如多核聚類算法[11])和軟間隔最大化將樣本從原始空間非線性映射到高維空間，使樣本在該高維空間線性可分，從而將原始空間的非線性分類問題轉(zhuǎn)化為高維特征空間的線性SVM問題。因此SVM能夠在解決小樣本、非線性及高維模式識別等問題中表現(xiàn)出明顯的優(yōu)勢。

1.6 模型評價指標

集成學(xué)習(xí)通過在訓(xùn)練集進行學(xué)習(xí)獲取紅外光譜定量回歸模型，之后利用評價指標檢驗?zāi)Ｐ偷念A(yù)測能力，本工作使用相關(guān)系數(shù)(correlation coefficient,r)，預(yù)測集均方根誤差(root mean square error of prediction, RMSEP)和相對分析誤差(relative percent deviation, RPD)指標對回歸模型進行評價，各個指標的計算公式分別為

(1)

(2)

(3)

2 結(jié)果與討論

2.1 基于Stacking集成學(xué)習(xí)的紅外光譜定量回歸模型

采用兩層Stacking集成學(xué)習(xí)對柴油紅外光譜進行定量回歸建模，第一層使用四個基學(xué)習(xí)器[11]，分別是ERT、LinearSVM、RBFSVM和polySVM?；鶎W(xué)習(xí)器的訓(xùn)練結(jié)果通過LinearSVM元學(xué)習(xí)器進行數(shù)據(jù)融合獲取最終預(yù)測結(jié)果。為比較Stacking集成學(xué)習(xí)模型的預(yù)測效果，分別建立PLS定量回歸模型、ERT模型、LinearSVM模型、RBFSVM模型和polySVM模型作為對比模型，比較不同模型對測試集數(shù)據(jù)的預(yù)測結(jié)果，柴油十六烷和總芳香烴含量的模型預(yù)測結(jié)果列于表1中，模型預(yù)測值與測量值之間相關(guān)關(guān)系如圖3和圖4所示。

表1 柴油有機物含量模型預(yù)測結(jié)果

由表1和圖3、圖4可知：柴油光譜十六烷含量的預(yù)測結(jié)果中，ERT模型預(yù)測結(jié)果最優(yōu)，r為0.848，RMSEP為1.603，RDP為2.627；Stacking模型次之，r為0.796，RMSEP為2.001，RDP為2.514；PLS模型的預(yù)測結(jié)果，r為0.573，RMSEP為2.940，RDP為1.314。柴油光譜總芳香烴含量的預(yù)測結(jié)果中，集成學(xué)習(xí)Stacking模型預(yù)測結(jié)果最優(yōu)，r達到0.991，RMSEP為0.526，RDP達到9.243；LinearSVM模型稍次之，r為0.989，RMSEP為0.543，RDP為8.476；PLS模型的預(yù)測結(jié)果中，r為0.936，RMSEP為0.797，RDP為5.209。

圖3 柴油十六烷含量預(yù)測值與測量值之間相關(guān)關(guān)系

圖4 柴油總芳香烴含量預(yù)測值與測量值之間相關(guān)關(guān)系

結(jié)果表明，集成學(xué)習(xí)模型與傳統(tǒng)光譜定量回歸模型PLS相比，能夠提高柴油光譜的定量回歸精度。其中，柴油總芳香烴含量的PLS模型預(yù)測精度較高，集成學(xué)習(xí)Stacking模型較PLS模型的預(yù)測精度有少量提高，測試集相關(guān)系數(shù)r由0.936提高至0.991；而柴油十六烷的PLS模型預(yù)測精度較低，ERT模型有效提高了定量回歸預(yù)測精度，其測試集相關(guān)系數(shù)r由PLS模型的0.573提升至0.848，模型預(yù)測能力有了較大提高。

2.2 特征波長選取結(jié)合Stacking集成學(xué)習(xí)的紅外光譜定量回歸模型

特征波長選取是一種有效的數(shù)據(jù)降維方法，通過搜尋光譜數(shù)據(jù)集的最優(yōu)特征波長，利用少量特征波長進行建模，以達到減少運算量、提高模型預(yù)測精度的目的。分別采用SiPLS和SPA特征波長選取方法優(yōu)選柴油紅外光譜的十六烷及總芳香烴的特征波長，建立集成學(xué)習(xí)定量回歸模型。

SiPLS方法中，將全光譜劃分為相等的10個子區(qū)間，任意三個子區(qū)間進行組合建模，共120種區(qū)間組合方式，選取RMSECV最小的子區(qū)間組合作為特征波長。柴油紅外光譜的兩種屬性特征波長選取結(jié)果如圖5所示。

圖5 柴油光譜SiPLS特征波長選取結(jié)果

采用SPA特征波長選取方法對柴油光譜十六烷組分和總芳香烴組分進行特征波長選取，分別獲取11個和34個特征波長，波長選取結(jié)果如圖6所示。

圖6 柴油光譜SPA特征波長選取結(jié)果

對柴油兩種有機物含量進行特征波長選取后，將篩選后的光譜數(shù)據(jù)作為輸入數(shù)據(jù)集，分別建立PLS定量回歸模型以及集成學(xué)習(xí)定量回歸模型，各訓(xùn)練模型的測試集預(yù)測結(jié)果列于表2中。

對比表1與表2可以發(fā)現(xiàn)：SPA特征波長選取后的PLS模型預(yù)測結(jié)果明顯優(yōu)于全光譜PLS建模，其中，柴油十六烷的SPA-PLS模型的r為0.823，RMSEP為1.862，RDP為2.536；總芳香烴的SPA-PLS模型的r為0.982，RMSEP為0.769，RDP為6.963。然而SPA特征波長選取處理后集成學(xué)習(xí)各基學(xué)習(xí)器及融合模型的預(yù)測結(jié)果均差于全光譜建模。SiPLS特征波長選取后的各類定量回歸模型預(yù)測結(jié)果均優(yōu)于全光譜建模，其中柴油十六烷含量的SiPLS-ERT模型的預(yù)測結(jié)果最優(yōu)，r為0.893，RMSEP為1.013，RDP為3.051；總芳香烴含量的SiPLS-Stacking模型的預(yù)測結(jié)果最優(yōu)，r為0.998，RMSEP為0.354，RDP為11.475。

表2 特征波長選取后柴油有機物含量模型預(yù)測結(jié)果

結(jié)果表明，SiPLS特征波長選取方法能夠有效提高集成學(xué)習(xí)定量回歸模型的預(yù)測精度，SPA方法由于選取的特征波長數(shù)量較少，十六烷共選取11個特征波長，總芳香烴共選取34個特征波長，集成學(xué)習(xí)模型在利用少量特征波長數(shù)據(jù)進行訓(xùn)練建模時容易產(chǎn)生欠擬合現(xiàn)象，無法獲得理想的預(yù)測效果。圖7、圖8為柴油光譜SiPLS特征波長選取后的定量回歸模型對測試集進行預(yù)測的相關(guān)系數(shù)散點圖。

圖7 SiPLS波長選取后柴油十六烷含量測試集預(yù)測結(jié)果

圖8 SiPLS波長選取后柴油總芳香烴含量測試集預(yù)測結(jié)果

同時對比了SiPLS特征波長選取應(yīng)用于集成學(xué)習(xí)定量回歸模型的平均建模速度，全光譜共401個波長，SiPLS共120個特征波長，特征波長數(shù)量為全光譜的30%，結(jié)果紀錄于表3中。

表3 SiPLS特征波長與全光譜建模的時間對比

由表3可以看到，經(jīng)過特征波長選取后集成學(xué)習(xí)建模速度提升明顯，特別是預(yù)測效果最好的ERT模型和Stacking模型，建模速度提升率都超過50%。因此，使用特征波長選取方法結(jié)合集成學(xué)習(xí)建模，不僅能夠有效提高紅外光譜定量回歸分析的預(yù)測精度，而且可以大幅提升數(shù)據(jù)分析效率。

3 結(jié) 論

研究了集成學(xué)習(xí)結(jié)合特征波長選取方法在有機物紅外光譜定量分析中的應(yīng)用。首先利用ERT、LinearSVM、RBFSVM、polySVM基學(xué)習(xí)器構(gòu)成Stacking兩層融合模型，對比了Stacking模型與PLS模型對柴油光譜的兩種有機物含量的預(yù)測結(jié)果，結(jié)果表明集成學(xué)習(xí)模型能夠應(yīng)用于紅外光譜定量分析中且預(yù)測精度較傳統(tǒng)方法有所提高。進一步比較特征波長選取方法作為光譜預(yù)處理對集成學(xué)習(xí)定量回歸模型的影響，結(jié)果表明SiPLS特征波長選取方法能夠有效提高集成學(xué)習(xí)模型的預(yù)測精度以及建模效率?，F(xiàn)階段集成學(xué)習(xí)領(lǐng)域的研究向著動態(tài)自動構(gòu)建集成框架以及保持基學(xué)習(xí)器的準確性和多樣性方向發(fā)展[13]，在下一步的工作中，將嘗試利用不同種類特征波長選取方法以及動態(tài)集成學(xué)習(xí)框架，以實測有機物紅外光譜及高光譜圖像為實驗對象，研究集成學(xué)習(xí)在有機物光譜的定量回歸分析中的普遍適用性以及最優(yōu)泛化模型。