唐 杰, 羅彥波, 李翔宇, 陳云璨, 王 鵬, 盧 天, 紀(jì)曉波, 龐永強(qiáng)*, 朱立軍*

1. 煙葉資源科學(xué)利用重慶市重點(diǎn)實(shí)驗(yàn)室, 重慶 400060

2. 國家煙草質(zhì)量監(jiān)督檢驗(yàn)中心, 河南 鄭州 450001

3. 上海數(shù)之微信息科技有限公司, 上海 200444

4. 上海大學(xué)化學(xué)系, 上海 200444

引 言

近紅外光譜(near-infrared spectroscopy, NIRS)是近年來發(fā)展較為快速的分析方法之一, 用于研究物質(zhì)在近紅外波段的吸收和散射特性, 可以做到快速、 無損、 綠色的檢測。 近紅外光譜可以記錄到樣品中的分子化學(xué)鍵的振動(dòng)信息, 如C—H、 O—H、 N—H等, 可涵蓋絕大部分有機(jī)組成與結(jié)構(gòu)信息, 十分適合用于有機(jī)樣品的無損檢測[1]。

近年來已出現(xiàn)不少應(yīng)用在植物上的近紅外技術(shù)相關(guān)的工作, 研究內(nèi)容主要涉及到植物中重要化學(xué)成分的回歸預(yù)測問題, 比如預(yù)測總植物堿、 總氮、 還原糖等的含量, 同時(shí)也涵蓋了分類問題, 譬如預(yù)測植物屬地、 植物部位等。 由于近紅外光譜的高維度特點(diǎn), 上千維度的光譜數(shù)據(jù)難以直接應(yīng)用到機(jī)器學(xué)習(xí)模型中, 通常需要先大幅減少數(shù)據(jù)的維度, 而針對(duì)高維光譜數(shù)據(jù)的處理方法較為有限, 因此絕大部分植物近紅外工作思路都是先求導(dǎo)平滑、 再降維、 最后基于降維主成分來構(gòu)建機(jī)器學(xué)習(xí)模型。 其中求導(dǎo)與平滑步驟一般采用二階求導(dǎo)與Savitzky-Golay平滑, 降維方法通常是偏最小二乘法(partial linear square, PLS)或主成分分析(principle component analysis, PCA), 機(jī)器學(xué)習(xí)算法則以選用PLS回歸、 支持向量機(jī)(support vector machine, SVM)居多。 蔣宏霖等[2]采用PLS方法降維了500多個(gè)不同地區(qū)、 不同等級(jí)的煙葉樣本的近紅外光譜數(shù)據(jù), 并用全部降維主成分構(gòu)建PLS回歸模型來預(yù)測還原糖等煙葉中的5個(gè)化學(xué)成分含量, 其測試集的平均相對(duì)誤差(mean relative error, MRE)為2.76%～4.35%。 Liu等[3]利用PLS降維成分構(gòu)建了SVM模型, 用于預(yù)測同種煙葉的部位, 其測試集準(zhǔn)確率為81.67%。 羅瓊等[4]用PLS回歸模型預(yù)測煙葉的淀粉的含量; Omar等[5]用SVM預(yù)測煙葉的公司品牌。 為提升模型的預(yù)測能力, 李明等[6]用組合區(qū)間偏最小二乘法確定了三段最優(yōu)光譜區(qū)間, 使得模型的變量數(shù)降低了2/3, 且預(yù)測集的均方誤差(mean squared error, MSE)從1.188降低到0.963。 蔡峰等[7]用遺傳算法(genetic algorithm, GA)篩選PCA主成分個(gè)數(shù), 使得SVM模型的測試集相關(guān)系數(shù)從0.90提升至0.95。

由于PCA與PLS等常規(guī)降維方法的局限性, 仍然較難獲取到信息豐度較高的光譜數(shù)據(jù), 模型預(yù)測能力也難以進(jìn)一步提升。 比如, 文獻(xiàn)[8]模型對(duì)還原糖、 總氮、 總植物堿的測試集平均相對(duì)誤差MRE為3%～5%, 模型能力仍然還有較大的提升空間。 為探索新的建模思路, 有研究采用二維的卷積神經(jīng)網(wǎng)絡(luò)(2-dimensional convolutional neural network, 2DCNN)預(yù)測煙葉的屬地, 測試集的分類準(zhǔn)確率達(dá)到95%。 2DCNN的訓(xùn)練成本較大, 當(dāng)近紅外光譜含有1609個(gè)數(shù)據(jù)點(diǎn)且訓(xùn)練樣本數(shù)量有400個(gè)時(shí), 模型訓(xùn)練時(shí)間需要6.85個(gè)小時(shí)。 Jiang等[9]嘗試用循環(huán)神經(jīng)網(wǎng)絡(luò)(residual neural network, RNN)來預(yù)測4個(gè)歸屬地, 但測試集準(zhǔn)確率僅比SVM高出7%。 Kesu等[10]探索了2DCNN對(duì)化學(xué)成分含量的建模結(jié)果, 測試集的相關(guān)系數(shù)也達(dá)到0.85～0.95。 從模型復(fù)雜度來看, 2DCNN與RNN屬于容量較大的模型, 即網(wǎng)絡(luò)結(jié)構(gòu)中的待優(yōu)化參數(shù)較多, 需要大量的訓(xùn)練樣本及較大的計(jì)算成本進(jìn)行訓(xùn)練, 因此這兩類模型也難有出眾的表現(xiàn)。 從近紅外光譜是高維向量這一數(shù)據(jù)特點(diǎn)來考慮, 一維卷積神經(jīng)網(wǎng)絡(luò)(1-dimensional, convolutional neural network, 1DCNN)可能更加貼合輸入數(shù)據(jù)的形式。 相比于2DCNN和RNN, 1DCNN模型本身復(fù)雜度較低, 對(duì)樣本需求量不高, 因而計(jì)算成本較低, 且無需對(duì)數(shù)據(jù)作二維矩陣變換。 相比于傳統(tǒng)的降維建模過程, 1DCNN無需對(duì)光譜降維處理, 也不需要對(duì)光譜區(qū)域進(jìn)行優(yōu)化或選擇, 而是在模型訓(xùn)練過程中調(diào)整光譜數(shù)據(jù)點(diǎn)對(duì)應(yīng)的權(quán)重系數(shù), 從而調(diào)整每個(gè)光譜數(shù)據(jù)點(diǎn)的貢獻(xiàn)度。

本研究收集了來源于全國各地的452個(gè)同種茄科植物樣本, 以該茄科植物的近紅外光譜為輸入數(shù)據(jù), 以茄科植物的化學(xué)成分為目標(biāo)值, 分別構(gòu)建1DCNN回歸模型。 針對(duì)不同1DCNN模型, 分別討論了模型重要參數(shù)對(duì)建模結(jié)果的影響情況, 為1DCNN后續(xù)研究提供建模思路上的指導(dǎo)。 經(jīng)參數(shù)優(yōu)化后, 1DCNN模型測試集的MRE為0.8%～2.3%, MSE為0.001～0.238, 相關(guān)系數(shù)為0.93～0.97, 均優(yōu)于文獻(xiàn)的模型結(jié)果。 因此認(rèn)為1DCNN在處理近紅外光譜數(shù)據(jù)(甚至其他類似的高維向量數(shù)據(jù))上具有十分大的潛力, 希望能為類似的光譜工作提供新的思路方向和數(shù)據(jù)處理手段。

1 實(shí)驗(yàn)部分

1.1 材料與儀器

樣本： 茄科植物樣本收集于各地復(fù)烤廠典型樣品, 共計(jì)452個(gè), 分別采集其近紅外光譜。

儀器： Antaris Ⅱ近紅外光譜儀(美國Thermo公司); FD115 電熱鼓風(fēng)干燥箱(德國BINDER公司); 3100粉碎磨(瑞典PERTEN公司); XSR204型電子天平(感量0.000 1 g,瑞士MettlerToledo公司); DK20消化器(意大利VELP公司); SKALAR SAN++連續(xù)流動(dòng)分析儀(荷蘭SKALAR公司)。

1.2 方法

1.2.1 樣品處理與化學(xué)指標(biāo)檢測

所有茄科植物樣品均采用YC/T 31—1996方法制成粉末, 并過0.250 mm(60目)分樣篩, 混勻后裝入密封袋。 采用YC/T 159—2019方法測定樣品中還原糖的含量; 采用YC/T 161—2002方法測定樣品中總氮的含量; 采用YC/T 468—2021方法測定樣品總植物堿含量。

1.2.2 近紅外光譜采集

將粉末樣品置于樣品杯中, 在近紅外光譜儀上進(jìn)行漫反射采集, 掃描范圍為4 000～10 000 cm-1, 分辨率為8 cm-1, 掃描次數(shù)為64。

1.3 數(shù)據(jù)分析

數(shù)據(jù)處理過程如圖1所示, 在匯總452個(gè)茄科植物樣本的近紅外光譜數(shù)據(jù)后, 為了消除不同樣本之間的噪聲信息, 先對(duì)452條近紅外光譜作了二階求導(dǎo)以及Savitzky-Golay平滑處理。 按4∶1的比例隨機(jī)劃分訓(xùn)練集與測試集, 分別得到362個(gè)訓(xùn)練樣本與90個(gè)測試樣本。 訓(xùn)練樣本用于訓(xùn)練1DCNN模型, 測試樣本用于訓(xùn)練好的模型評(píng)估。 不同的化學(xué)成分目標(biāo)值, 如還原糖、 總氮、 總植物堿, 采用不同模型分別進(jìn)行訓(xùn)練。

圖1 數(shù)據(jù)處理過程

采用1DCNN構(gòu)建回歸模型, 基準(zhǔn)模型的結(jié)構(gòu)如圖2所示, 包含輸入層、 一維卷積層、 池化層與全連接層。 其中, 中間卷積層通道數(shù)、 卷積層數(shù)、 池化層數(shù)、 末端卷積層通道數(shù)都將作為模型參數(shù)進(jìn)行優(yōu)化調(diào)整與討論。 1DCNN的結(jié)構(gòu)說明：

圖2 1DCNN結(jié)構(gòu)示意圖

(1)以單個(gè)樣本為例, 其通道數(shù)為1, 構(gòu)成(1, 1 500)維度的張量, 輸入到1DCNN中;

(2)樣本經(jīng)過n/2(n∈[2, 4, 6, 8])層的一維卷積層, 樣本通道數(shù)從1卷積至d(d∈[12, 24, 48, 64, 128]), 樣本維度從(1, 1 500)卷積至(d, 1 500);

(3)樣本經(jīng)過m(m∈[0, 1])層的池化層, 樣本維度從(d, 1 500)卷積至(d, 1 500/(m+1));

(4)樣本經(jīng)過剩下的n/2(n∈[2, 4, 6, 8])層的一維卷積層, 最后一層的一維卷積層的輸出通道數(shù)設(shè)定為l(l∈[1, 2, 3, 5, 7, 10]), 樣本維度從(d, 1 500/(m+1))卷積至(l, 1 500/(m+1));

(5)將(l, 1 500/(m+1))維度的樣本展開平鋪, 得到長度為l×1 500/(m+1)的向量;

(6)輸入到3層的全連接層中, 先后轉(zhuǎn)換為長度為1 024與512的向量, 最后得到標(biāo)量作為輸出值;

(7)上述卷積層均配有ReLu激活函數(shù), 前2個(gè)全連接層均配有ReLu激活函數(shù)與Dropout函數(shù)。

2 結(jié)果與討論

以還原糖為例說明構(gòu)建1DCNN模型的過程。 首先考慮對(duì)模型影響較大的中間卷積層通道數(shù)以及最大池化層數(shù)。 如表1所示為不同中間卷積層通道數(shù)對(duì)1DCNN建模結(jié)果的影響, 此時(shí)控制卷積層數(shù)為6, 最大池化層數(shù)為1, 末端卷積層通道數(shù)為1, 訓(xùn)練輪數(shù)為1 000。 模型性能指標(biāo)采用訓(xùn)練損失(Loss)、 訓(xùn)練集MSE、 訓(xùn)練集決定系數(shù)(R2)、 測試Loss、 測試集MSE、 測試集R2。

表1 不同中間卷積層通道數(shù)對(duì)1DCNN模型結(jié)果(還原糖)的影響情況

中間卷積層通道數(shù)直接影響著1DCNN的容量大小, 當(dāng)通道數(shù)從12增加至64時(shí), 模型的訓(xùn)練Loss與測試Loss整體處于降低的趨勢, 測試集的MSE與R2分別處于降低與增大的趨勢。 而通道數(shù)從64增至128時(shí), 此時(shí)由于網(wǎng)絡(luò)容量太大, 訓(xùn)練與測試結(jié)果均有所下降, 此時(shí)模型擬合效果變差。 因此中間卷積層通道數(shù)應(yīng)控制在64個(gè)。 如表2所示, 當(dāng)最大池化層數(shù)為0時(shí), 1DCNN基于不同中間卷積層通道數(shù)的建模結(jié)果。 模型的誤差整體大于最大池化層數(shù)為1時(shí)的建模結(jié)果, 說明添加最大池化層有助于減少噪音信息, 并減少模型誤差, 增強(qiáng)模型的穩(wěn)定性。 綜合表1與表2的結(jié)果, 可以確定1DCNN的中間層卷積通道數(shù)與最大池化層數(shù)分別為64與1。

表2 不同中間卷積層通道數(shù)對(duì)1DCNN模型結(jié)果(還原糖)的影響情況

考慮了不同卷積層數(shù)對(duì)建模的影響(表3), 此時(shí)控制中間卷積層通道數(shù)為64, 最大池化層為1, 末端卷積層通道數(shù)為1。 當(dāng)卷積層數(shù)從2分別提升至6和8時(shí), 明顯看到模型的訓(xùn)練Loss在不斷減少, 而測試Loss先降低后增加。 當(dāng)卷積層數(shù)為2時(shí), 模型處于欠擬合狀態(tài), 而卷積層為8時(shí), 模型處于過擬合狀態(tài), 因此選擇卷積層為6比較合適。 卷積層數(shù)為4時(shí), 模型可能陷入了局部優(yōu)點(diǎn), 難以收斂, 不作考慮。

表3 不同卷積層數(shù)對(duì)1DCNN模型結(jié)果(還原糖)的影響情況

進(jìn)一步考慮末端卷積層通道數(shù)對(duì)建模的影響情況(表4), 此時(shí)控制中間卷積層通道數(shù)為64, 最大池化層為1, 卷積層數(shù)為6。 當(dāng)末端卷積層通道數(shù)從1提升至20時(shí), 訓(xùn)練Loss呈現(xiàn)波動(dòng)式的變化, 訓(xùn)練集MSE主要呈現(xiàn)先下降后上升的趨勢, 而測試Loss、 測試集MSE主要呈現(xiàn)下降趨勢。 綜合考慮訓(xùn)練集與測試集, 末端卷積層通道數(shù)選擇15較為合適, 此時(shí)訓(xùn)練集MSE比通道數(shù)為1的情況降低了0.027, 測試集MSE降低了0.063。

表4 不同末端卷積層通道數(shù)對(duì)1DCNN模型結(jié)果(還原糖)的影響情況

根據(jù)表1—表4的模型參數(shù)對(duì)比, 確定中間卷積層通道數(shù)為64, 最大池化層為1, 卷積層數(shù)為6, 末端卷積層通道數(shù)為15。 如圖3(a)所示為1DCNN還原糖模型的訓(xùn)練過程, 訓(xùn)練輪數(shù)為1 000輪, 962輪時(shí)模型達(dá)到最佳。 1 000輪訓(xùn)練時(shí)長約為156.45 s, 遠(yuǎn)少于以前工作中的6.85 h。 圖3(a)中的訓(xùn)練Loss與測試Loss隨著訓(xùn)練輪數(shù)增大而下降, 且200輪之后就處于較小的波動(dòng)狀態(tài), 說明模型訓(xùn)練較為穩(wěn)定。 圖3(b)是1DCNN模型繼續(xù)訓(xùn)練至2 000輪的情況, 訓(xùn)練Loss略有下降, 但測試Loss基本不變, 說明1DCNN再繼續(xù)訓(xùn)練可能會(huì)陷入過擬合狀態(tài)。 因此從圖3中可得出結(jié)論, 1DCNN模型在1 000輪以內(nèi)基本已收斂, 且在約200輪已達(dá)到較高的準(zhǔn)度。

圖3 1DCNN(還原糖)模型的訓(xùn)練結(jié)果

采用圖3(a)中收斂的1DCNN還原糖模型, 其詳細(xì)性能評(píng)價(jià)指標(biāo)如表5所示。 測試集的RMSE為0.487, 低于文獻(xiàn)[8, 12-13]的1.06、 0.83與0.92, 與文獻(xiàn)[14]的0.443持平。 測試集MRE為1.7%, 低于文獻(xiàn)[3, 9]的3.05%與3.37%。 其他性能評(píng)價(jià)指標(biāo)決定系數(shù)(R2)為0.915、 MSE為0.238、 MAE為0.379、 相關(guān)系數(shù)CORR為0.957, 也均處于較好的水準(zhǔn)。

表5 1DCNN的評(píng)價(jià)指標(biāo)結(jié)果

采用類似的方法同樣可確定總氮與總植物堿的模型參數(shù), 其中間卷積層通道數(shù)、 最大池化層、 卷積層數(shù)、 末端卷積層通道數(shù)分別為128、 1、 4、 5與32、 1、 4、 5。 模型的性能指標(biāo)見表5, 測試集RMSE分別為0.024與0.067, 測試集MRE為0.8%與2.3%, 低于文獻(xiàn)中誤差。

結(jié)合三個(gè)模型的訓(xùn)練結(jié)果, 1DCNN的中間卷積層通道數(shù)可設(shè)為64或128, 最大池化層應(yīng)該選擇開啟, 卷積測層數(shù)可設(shè)為4/6層, 末端卷積通道數(shù)選擇5～15較為合適, 訓(xùn)練輪數(shù)的上限可設(shè)定為1 000。

分別提取三個(gè)模型的一維卷積特征向量, 該向量是原始輸入光譜數(shù)據(jù)經(jīng)由多個(gè)卷積與池化操作后得到, 可以視為是原始輸入近紅外光譜的轉(zhuǎn)換后數(shù)據(jù)。 向量中元素值的大小對(duì)應(yīng)著該波數(shù)位置的數(shù)據(jù)點(diǎn)對(duì)模型的貢獻(xiàn)度大小。 向量結(jié)果如圖3(a)所示, 藍(lán)色、 橙色、 綠色分別對(duì)應(yīng)還原糖、 總氮、 總植物堿的轉(zhuǎn)換后的近紅外光譜數(shù)據(jù)。 圖中可看出, 光譜響應(yīng)值較大的譜圖區(qū)域分別為5 100～5 800、 6 750～7 500、 8 650～9 100 cm-1, 與求導(dǎo)平滑的近紅外光譜圖[圖4(b)]中波動(dòng)較大的譜圖區(qū)域較為一致。 說明在1DCNN模型中, 傳統(tǒng)上認(rèn)為信號(hào)較強(qiáng)的譜圖區(qū)域?qū)δＰ拓暙I(xiàn)度也較大。 但值得注意的是, 圖3(b)中較為平緩的譜圖區(qū)域, 如5 800～6 750、 7 500～8 650、 9 100～10 000 cm-1等, 在傳統(tǒng)機(jī)器學(xué)習(xí)中可能會(huì)被作為噪聲或者冗余特征去除, 但這些區(qū)域在1DCNN網(wǎng)絡(luò)中的仍然存在著較大的建模貢獻(xiàn)度, 說明這些平時(shí)被視為信息豐度較小的區(qū)域仍然隱藏有對(duì)建模有用的信息, 而這些信息較難以常規(guī)機(jī)器學(xué)習(xí)手段挖掘得到。

圖4 (a)經(jīng)1DCNN轉(zhuǎn)換后的近紅外光譜; (b)求導(dǎo)平滑后的近紅外光譜

3 結(jié) 論

基于452個(gè)同種茄科植物的近紅外光譜, 以該植物的還原糖、 總氮、 總植物堿為目標(biāo)值, 分別構(gòu)建了三個(gè)1DCNN回歸模型。 經(jīng)過三個(gè)模型的訓(xùn)練過程, 1DCNN的中間卷積層通道數(shù)可設(shè)為64或128, 最大池化層可設(shè)為1, 卷積測層數(shù)可設(shè)為4或6層, 末端卷積通道數(shù)可設(shè)為5～15層, 訓(xùn)練輪數(shù)上限可小于1 000, 可為后續(xù)基于近紅外光譜的1DCNN研究提供模型的案例參考。 三個(gè)1DCNN回歸模型的測試集的RMSE為0.024～0.487, MRE為0.8～1.7%, 均小于歷史文獻(xiàn)的誤差范圍, 驗(yàn)證了1DCNN在近紅外光譜建模可行性。 進(jìn)一步提取了1DCNN中的卷積特征向量, 結(jié)果表明信號(hào)較弱的譜圖區(qū)域?qū)＝Y(jié)果仍然有較大的貢獻(xiàn)度。 相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法, 1DCNN模型不僅可充分利用全部的近紅外光譜數(shù)據(jù), 還具備較好的預(yù)測能力, 可以作為近紅外光譜領(lǐng)域內(nèi)新的數(shù)據(jù)處理手段。