李永琪，洪士軍，黃 雯，張立國，葛 炯*，欒紹嶸，倪力軍*

(1.華東理工大學(xué) 化學(xué)與分子工程學(xué)院,上海 200237;2.上海煙草集團(tuán)有限責(zé)任公司 技術(shù)中心理化實(shí)驗(yàn)室，上海 200082)

近紅外光譜(NIRs)技術(shù)作為一種快速、無損的綠色檢測技術(shù)，在各行各業(yè)的定量與定性分析中得到了廣泛應(yīng)用[1]。該技術(shù)以一些具有代表性的定標(biāo)樣品的定量指標(biāo)或定性指標(biāo)為因變量，其近紅外光譜信息為自變量，通過多元統(tǒng)計(jì)方法建立相關(guān)指標(biāo)的近紅外光譜定量模型或樣品的定性模型，根據(jù)模型實(shí)現(xiàn)對未知樣品的定量或定性分析[2]。建立一個良好的近紅外光譜模型需要積累大量樣品的光譜和待測性質(zhì)數(shù)據(jù)，并優(yōu)化模型中的相關(guān)參數(shù)，模型建立和維護(hù)的工作量較大。通常希望在一臺機(jī)器上建立的光譜模型(該機(jī)器通常稱為主機(jī))能夠轉(zhuǎn)移到其他儀器上(簡稱為從機(jī))繼續(xù)使用[3]，簡稱為模型傳遞或模型共享[4-6]。但由于主、從機(jī)光譜在不同區(qū)域存在或大或小的差異，通常光譜模型傳遞到從機(jī)后誤差會增大，因而出現(xiàn)了各種降低模型對從機(jī)樣品預(yù)測誤差的模型傳遞方法[7]。分段直接校正(Piecewise direct standardization，PDS)方法是最經(jīng)典常用的模型傳遞方法，該方法以主、從機(jī)均測試的轉(zhuǎn)移集樣品為基礎(chǔ)，通過對從機(jī)光譜分段校正后再應(yīng)用主機(jī)模型預(yù)測從機(jī)樣品[8]。

近紅外光譜定量模型通常采用偏最小二乘(Partial least squares，PLS)方法建立樣品光譜信息與待測物質(zhì)信息間的數(shù)學(xué)模型[9]。PLS模型建立過程中需要確定潛變量的個數(shù)(nLVs)，一般采用留一交叉驗(yàn)證或四折(三折)交叉驗(yàn)證的方法確定nLVs[10]或是選取內(nèi)部檢驗(yàn)集樣品預(yù)測誤差最小時(shí)對應(yīng)的潛變量個數(shù)作為最佳值。本課題組研究發(fā)現(xiàn)，采用這種原則確定的近紅外光譜PLS模型通常能夠?qū)闻_儀器給出不錯的結(jié)果，但這樣選取的nLVs往往個數(shù)偏多，會引入噪聲和無效信息，導(dǎo)致模型傳遞時(shí)預(yù)測誤差顯著增大，使得模型不能在從機(jī)直接應(yīng)用。本文以網(wǎng)上公開發(fā)布的玉米數(shù)據(jù)及煙草企業(yè)多臺近紅外儀器所測煙葉樣品數(shù)據(jù)為例，探究nLVs的選取對主、從機(jī)模型誤差的影響，為建立穩(wěn)健、可共享的近紅外光譜模型提供依據(jù)和支持。

1 實(shí)驗(yàn)與方法

1.1 樣品與數(shù)據(jù)集

玉米樣品數(shù)據(jù)集來自http://www.eigenvector.com/data/Corn/corn.mat。包含M5、MP5、MP6 3臺近紅外儀上測得的80 個玉米樣品的近紅外光譜及這些樣品中主要營養(yǎng)成分的含量數(shù)據(jù)。玉米樣品中水分的質(zhì)量分?jǐn)?shù)在9.38%～10.99%之間，均值為10.23%；蛋白質(zhì)的質(zhì)量分?jǐn)?shù)在7.65%～9.71%之間，均值為8.67%;脂肪的質(zhì)量分?jǐn)?shù)在3.09%～3.83%之間，均值為3.50%；淀粉的質(zhì)量分?jǐn)?shù)在62.84%～66.47%之間，均值為64.69%。煙葉樣品有2套數(shù)據(jù)集，Set A由 78個煙葉樣本分別在主機(jī)M(Master)、4臺從機(jī)S1、S2、S3和S4上測得的近紅外光譜組成，5臺近紅外儀均為AntarisⅡ近紅外儀器(賽默飛世爾科技有限公司)，生產(chǎn)年份不盡相同；Set B則由1 070個在主機(jī)M上測得的煙葉樣本光譜組成。Set A、Set B中各煙葉樣品的總植物堿采用YC/T 160-2002[11]測定，其含量在0.55%～6.30%之間。

1.2 模型建立與評價(jià)

根據(jù)課題組前期研究結(jié)果，采用標(biāo)準(zhǔn)正態(tài)變換(SNV)結(jié)合一階導(dǎo)數(shù)進(jìn)行31點(diǎn)平滑對樣品的近紅外光譜進(jìn)行預(yù)處理可消除因散射和背景漂移引起的光譜誤差，基于該預(yù)處理光譜所建模型與其他預(yù)處理光譜(多元散射校正、一階導(dǎo)數(shù)、原始光譜等)模型的效果相當(dāng)[12-13]。由于該法不需要使用其他樣品的光譜信息，故本文采用SNV+一階導(dǎo)數(shù)光譜建立玉米中主要營養(yǎng)成分及煙葉總植物堿的近紅外光譜定量模型。采用蒙特卡洛采樣(Monte-Carlo Sampling，MCS)方法剔除異常點(diǎn)[14]。采用綜合考慮光譜與待測性質(zhì)信息來篩選代表性樣品的SPXY(Sample set partitioning based on jointx-ydistance)方法[15]挑選主機(jī)建模樣本，剩余樣品作為內(nèi)部驗(yàn)證集。一般情況下采用建模集均方根殘差(RMSEC)來評價(jià)模型的擬合性能，驗(yàn)證集的均方根殘差(RMSEP)來評價(jià)模型的預(yù)測性能[2]。考慮到RMSEP相當(dāng)于絕對誤差，難以根據(jù)該指標(biāo)判斷模型誤差的相對大小，本文增加檢驗(yàn)集或從機(jī)樣本模型預(yù)測值與實(shí)測值相對誤差的絕對值均值(簡稱為平均相對誤差，MRE)來評估模型對主、從機(jī)樣本的預(yù)測性能。另外，為與國標(biāo)[16-18]要求的評估指標(biāo)相對應(yīng)，本文還采用驗(yàn)證樣品組分的近紅外模型值扣除系統(tǒng)偏差后與其標(biāo)準(zhǔn)值(實(shí)測值)之間的校準(zhǔn)標(biāo)準(zhǔn)差(SEP)來評估主機(jī)模型調(diào)整后的準(zhǔn)確度。相關(guān)評價(jià)指標(biāo)的計(jì)算公式如下：

(1)

(2)

(3)

(4)

式(1)～(4)中yi,actual為第i個樣品的實(shí)測值，yi,predicted為第i個樣品的模型預(yù)測值，m為檢驗(yàn)集樣品數(shù)目。biasm是系統(tǒng)偏差，即檢驗(yàn)集樣品i的近紅外測定值與標(biāo)準(zhǔn)值(實(shí)測值)之差的均值。如果不考慮系統(tǒng)偏差校正，式(3)的SEP即為式(1)的RMSEP。

PLS回歸分析時(shí)前n個潛變量(主因子)的方差之和占所有潛變量方差之和的百分比η稱為累積貢獻(xiàn)率，其計(jì)算公式如下：

(5)

式(5)中λi為第i個潛變量的方差，p為所有方差不為零的潛變量個數(shù)，p≤min{樣本數(shù),波長個數(shù)}。

對于從機(jī)，采用RMSEP、MRE評價(jià)模型轉(zhuǎn)移后的準(zhǔn)確度，采用重現(xiàn)性指標(biāo)SR評價(jià)從機(jī)近紅外測定結(jié)果與主機(jī)近紅外測定結(jié)果的一致性。國標(biāo)[16]定義玉米水分、蛋白質(zhì)近紅外模型測定結(jié)果再現(xiàn)性指標(biāo)SR的計(jì)算公式如下：

(6)

(7)

式(6)與(7)中的yi,slave與yi,master分別表示樣品i的從機(jī)近紅外測定值和主機(jī)近紅外測定值；biast為驗(yàn)證樣品i的從機(jī)近紅外測定值與主機(jī)近紅外測定值之差的均值，m為檢驗(yàn)集(預(yù)測集)樣本個數(shù)。

對于玉米中的脂肪與淀粉，國標(biāo)要求在不同實(shí)驗(yàn)室，由不同操作人員使用同一型號不同設(shè)備，按相同測試方法，對相同的玉米樣品的兩個脂肪獨(dú)立實(shí)驗(yàn)結(jié)果之間的絕對差值應(yīng)不大于0.3%[17]，對相同的玉米樣品的兩個淀粉獨(dú)立實(shí)驗(yàn)結(jié)果之間差值應(yīng)不大于其算術(shù)平均值的15%[18]。參照國標(biāo)的上述描述，本文定義玉米中脂肪、淀粉的再現(xiàn)性評價(jià)指標(biāo)SRo與SRs如下：

(8)

(9)

式(9)中的yi,m為樣品i的主機(jī)近紅外測定值yi,master與從機(jī)近紅外測定值yi,slave的均值。表1列出了國標(biāo)規(guī)定的玉米中4種主要成分近紅外模型相關(guān)評價(jià)指標(biāo)的范圍(上限)。

本文所有算法在MATLAB平臺完成。

表1 糧油近紅外分析儀性能基本要求中玉米主要成分的近紅外模型評價(jià)標(biāo)準(zhǔn)[16-18]Table 1 Near infrared model evaluation standards for the main components of corn based on the basic performance requirements of near infrared analyzers for determining grain and oil contents[16-18]

2 結(jié)果與討論

2.1 玉米中主要成分的PLS-NIRs模型對主機(jī)樣品的預(yù)測誤差隨nLVs的變化

3臺儀器上測定的玉米樣品的平均光譜如圖1所示，由該圖可看出M5與MP5、MP6的原始平均光譜有明顯差異，經(jīng)SNV+一階導(dǎo)數(shù)預(yù)處理后3臺儀器上樣品的平均光譜差異減小，但在某些波峰、波谷區(qū)域仍有肉眼可見的差異，MP6與MP5的平均光譜很相近。故選取M5作為主機(jī)，MP5、MP6兩臺光譜儀為從機(jī)。MCS方法未發(fā)現(xiàn)異常樣本。根據(jù)SPXY方法從M5測試的80個玉米樣品中選取前60個樣品作為校正集，剩余20個樣品作為內(nèi)部檢驗(yàn)集。

圖2 玉米中4種成分含量的PLS-NIRs模型對主機(jī)檢驗(yàn) 集樣品的平均相對誤差(MRE)隨nLVs的變化Fig.2 The average relative error(MRE) of the PLS-NIRs model for the content of the four components in corn of the samples of the host test set varies with nLVs

圖2為主機(jī)M5檢驗(yàn)集樣品各主要成分的平均相對誤差隨nLVs的變化。由該圖可知，nLVs=1時(shí)，各成分的MRE已經(jīng)小于3%，淀粉的MRE在nLVs=1時(shí)甚至低于1%。蛋白質(zhì)、水分、脂肪含量的MRE均呈現(xiàn)在nLVs<10范圍逐步降低到一個相對低點(diǎn)后有所升高，nLVs>10后又逐步降低的趨勢。一般選取預(yù)測誤差第一次達(dá)到相對最小時(shí)對應(yīng)的nLVs作為最佳潛變量個數(shù)。根據(jù)該原則，脂肪和淀粉模型可選nLVs = 6；蛋白質(zhì)和水分模型可選nLVs = 4。

采用留一交叉驗(yàn)證、四折交叉驗(yàn)證確定的玉米各營養(yǎng)成分的PLS模型中nLVs一般在5～10之間。以水分含量的PLS-NIRs模型為例，模型的前5個潛變量(LV)對應(yīng)的方差分別為：0.999 39、0.000 44、0.000 08、0.000 05、0.000 01。第一個潛變量的方差非常之大，占據(jù)了所有潛變量方差之和的99.9%以上。玉米中另外3個成分脂肪、蛋白質(zhì)及淀粉含量PLS-NIRs模型的第一個潛變量對應(yīng)的累積貢獻(xiàn)率也大于99.9%。因此，如果根據(jù)前nLVs個潛變量累積貢獻(xiàn)率大于99.9%選取潛變量個數(shù)，玉米樣品近紅外光譜模型的nLVs=1，該值大大小于常規(guī)方法確定的潛變量個數(shù)。

2.2 潛變量個數(shù)對玉米中主要成分PLS-NIRs模型及模型轉(zhuǎn)移結(jié)果的影響

表2～4給出了不同潛變量個數(shù)下所建立的主機(jī)模型對主機(jī)樣品和從機(jī)樣品中水分、脂肪和淀粉含量的預(yù)測結(jié)果，以及經(jīng)過PDS校正后模型對從機(jī)樣品的預(yù)測結(jié)果。根據(jù)文獻(xiàn)建議值及經(jīng)驗(yàn)，本文選擇PDS校正方法中轉(zhuǎn)移因子數(shù)為2，轉(zhuǎn)移集數(shù)目為12個，窗口寬度為5，容忍度為0.01[19]。

蛋白質(zhì)預(yù)測結(jié)果與表1相似，限于篇幅，該結(jié)果省略。表2～4中斜體數(shù)據(jù)表明對應(yīng)的指標(biāo)滿足表1的要求。由這3個表可知，不同潛變量個數(shù)所建模型中，nLVs=1時(shí)所建立的PLS-NIRs模型直接轉(zhuǎn)移到從機(jī)后，對從機(jī)樣品各成分含量的預(yù)測誤差RMSEP及MRE最小，且模型預(yù)測從機(jī)樣品的誤差與主機(jī)樣品預(yù)測誤差相差不多。模型對主機(jī)驗(yàn)證集樣品的SEP以及從機(jī)的再現(xiàn)性評價(jià)指標(biāo)均滿足表1所列的國標(biāo)要求。PDS校正對nLVs=1下所建模型的傳遞效果的改進(jìn)很有限，且PDS校正后模型對從機(jī)樣品脂肪、淀粉含量的預(yù)測誤差高于模型直接傳遞的預(yù)測誤差(見表3、表4中*標(biāo)注的數(shù)據(jù))。說明模型直接傳遞誤差不大時(shí)，沒必要采用PDS方法進(jìn)行模型傳遞。

由留一交叉驗(yàn)證和四折交叉驗(yàn)證選取的nLVs均大于4，在此原則下建立的玉米各營養(yǎng)成分PLS-NIRs模型對主機(jī)樣品的預(yù)測誤差RMSEP、MRE隨nLVs的增大而不同程度地降低，但各模型對從機(jī)樣品的RMSEP及MRE顯著增大，是主機(jī)樣品對應(yīng)誤差指標(biāo)的幾倍到十幾倍，其誤差水平超出許可范圍。經(jīng)PDS校正從機(jī)光譜后，模型對從機(jī)樣品的預(yù)測誤差降低到與主機(jī)相當(dāng)?shù)乃?。nLVs>1時(shí)建立的玉米營養(yǎng)成分的PLS-NIRs模型給出的主、從機(jī)預(yù)測值的重現(xiàn)性較nLVs=1時(shí)所建模型的重現(xiàn)性高一個量級，nLVs>4時(shí)所建模型對從機(jī)樣品中各成分含量的預(yù)測值大多不滿足表1所列的重現(xiàn)性指標(biāo)要求。說明從第二個潛變量開始，儀器間光譜信息的一致性變差，導(dǎo)致nLVs>1時(shí)各模型主、從機(jī)間近紅外測試值的重現(xiàn)性變差。雖然nLVs增大可改進(jìn)模型對主機(jī)樣品的預(yù)測準(zhǔn)確度，但會導(dǎo)致模型傳遞誤差變大，使得模型無法直接轉(zhuǎn)移到從機(jī)。

表2 玉米水分PLS-NIRs模型直接傳遞及PDS校正后的傳遞結(jié)果Table 2 Direct transfer results and transfer results after PDS correction of the PLS-NIRs model for predicting moisture content in corn

表3 玉米脂肪PLS-NIRs模型直接傳遞及PDS校正后的傳遞結(jié)果Table 3 Direct transfer results and transfer results after PDS correction of the PLS-NIRs model for predicting oil content in corn

(續(xù)表3)

表4 玉米淀粉PLS-NIRs模型直接傳遞及PDS校正后的模型傳遞結(jié)果Table 4 Direct transfer results and transfer results after PDS correction of the PLS-NIRs model for predicting starch content in corn

2.3 潛變量個數(shù)對煙葉總植物堿PLS-NIRs模型及模型轉(zhuǎn)移結(jié)果的影響

以煙葉數(shù)據(jù)集中Set B作為建模集，Set A中主機(jī)的78個樣品光譜為外部驗(yàn)證集，建立煙葉總植物堿的PLS-NIRs模型。通過MCS方法發(fā)現(xiàn)兩個異常點(diǎn)，最終取Set B中的1 068個樣本建立模型。根據(jù)累積貢獻(xiàn)率大于99.9%選取的nLVs=13，四折和留一交叉驗(yàn)證選取的nLVs分別為16和19。表5給出了分別取13、16、19個潛變量時(shí)得到的煙葉總植物堿的PLS-NIRs模型結(jié)果，以及經(jīng)過PDS校正后模型對從機(jī)樣品的預(yù)測結(jié)果。表中斜體數(shù)據(jù)表明對應(yīng)的指標(biāo)滿足小于6%的企業(yè)內(nèi)控要求。取nLVs=13所建立的煙葉總植物堿PLS-NIRs模型直接轉(zhuǎn)移到從機(jī)后，對S1從機(jī)的MRE小于6%，但對其他3臺從機(jī)樣品的MRE均大于6%；經(jīng)PDS校正后，nLVs=13下所建模型對4臺從機(jī)的預(yù)測誤差均小于6%。而潛變量個數(shù)大于13時(shí)所建立的煙葉總植物堿的PLS-NIRs模型對主機(jī)樣品的預(yù)測誤改進(jìn)很有限，且模型直接轉(zhuǎn)移到從機(jī)后，除nLVs=16模型對S1樣品的MRE小于6%外，對其他從機(jī)樣品的MRE均大于6%，即使經(jīng)過PDS校正也不能保證這些模型對所有從機(jī)樣品的MRE滿足企業(yè)的內(nèi)控要求。

2.4 討論與分析

玉米樣品中主要成分的PLS-NIRs模型潛變量個數(shù)取1時(shí)，模型傳遞誤差最小且4個成分的PLS-NIRs模型對主、從機(jī)樣品預(yù)測值的重現(xiàn)性均滿足國標(biāo)要求。由于第一潛變量的方差已經(jīng)占據(jù)所有潛變量方差總和的99.9%以上，說明第一潛變量之后的潛變量所包含的有效信息加起來不足0.1%，引入這些有效信息很少的潛變量，易導(dǎo)致模型過擬合：即對建模樣品或主機(jī)樣品模型的誤差很小(小于潛變量個數(shù)為1的模型誤差)，但對從機(jī)樣品的誤差過大。

表5 煙葉總植物堿PLS-NIRs模型直接傳遞及PDS校正后的傳遞結(jié)果Table 5 Direct transfer results and transfer results after PDS correction of the PLS-NIRs model for predicting total alkaloid contents in tobacco leaves

圖3 玉米水分PLS-NIRs模型的第一載荷軸與M5、 MP5差譜絕對值的標(biāo)準(zhǔn)方差譜(SDDSI1)Fig.3 The first loading of PLS-NIRs model for predicting corn moisture and the standard deviance spectrum of absolute difference spectra between M5 and MP5

圖3給出了玉米中水分PLS-NIRs模型的第一載荷軸及M5、MP5樣品光譜的差譜絕對值的標(biāo)準(zhǔn)方差光譜(簡稱SDDSI1)。由圖3可看出，第一載荷軸的峰值位于SDDSI1很小或較小的區(qū)域，而SDDSI1的峰值所對應(yīng)第一載荷取值均在0附近，說明第一潛變量中對模型貢獻(xiàn)大的波長點(diǎn)有效避開了儀器間光譜差異波動大的區(qū)域，因此當(dāng)玉米PLS模型的潛變量個數(shù)nLVs取1時(shí)，對從機(jī)樣品的預(yù)測誤差與主機(jī)相當(dāng)。其次，該模型摒棄了方差小于0.1%、有效信息含量很低的潛變量，大大提高了模型的穩(wěn)健性，使得模型傳遞到從機(jī)后誤差無明顯變化。

3 結(jié) 論

PLS-NIRs模型中潛變量個數(shù)nLVs的選取對模型的穩(wěn)健性、傳遞性能有重要影響。nLVs夠用即可，過高的nLVs容易造成過擬合，影響模型的穩(wěn)健性，使得模型轉(zhuǎn)移時(shí)誤差過大。根據(jù)累積貢獻(xiàn)率大于99.9%選取nLVs建立的PLS-NIRs模型穩(wěn)健性最好，易于獲得好的模型傳遞結(jié)果。而根據(jù)留一交叉驗(yàn)證及四折交叉驗(yàn)證或單臺(主機(jī))儀器驗(yàn)證集預(yù)測誤差最小等原則選取的nLVs個數(shù)均高于根據(jù)累積貢獻(xiàn)率大于99.9%選取的nLVs，易導(dǎo)致模型過擬合。

建議根據(jù)累計(jì)貢獻(xiàn)率大于99.9%或接近99.9%時(shí)對應(yīng)的nLVs建立近紅外光譜模型，雖然對于主機(jī)而言，模型誤差比根據(jù)留一交叉驗(yàn)證或四折交叉驗(yàn)證選取nLVs建立的模型誤差稍高，但模型傳遞誤差小，易于實(shí)現(xiàn)模型共享，獲得好的模型傳遞效果。本結(jié)論對玉米、煙葉之外的其他類型樣品是否成立有待進(jìn)一步驗(yàn)證。