吳 爽 李國(guó)建 介鄧飛
(福建農(nóng)林大學(xué)機(jī)電工程學(xué)院,福建 福州 350002)
目前,人們對(duì)水果內(nèi)部品質(zhì)的要求隨經(jīng)濟(jì)水平的不斷提高變得越來(lái)越嚴(yán)格[1],而傳統(tǒng)的水果品質(zhì)檢測(cè)方法往往屬于有損檢測(cè),已無(wú)法滿足對(duì)水果內(nèi)部品質(zhì)無(wú)損檢測(cè)、實(shí)時(shí)分級(jí)的發(fā)展需求。水果內(nèi)部品質(zhì)檢測(cè)過(guò)程中,常用可溶性固形物(soluble solid content,SSC)表示其糖度[2-3]。近紅外光譜無(wú)損檢測(cè)技術(shù)無(wú)需使用化學(xué)試劑,具有操作簡(jiǎn)單、快速無(wú)損在線實(shí)時(shí)檢測(cè)的特點(diǎn),已被廣泛應(yīng)用于水果糖度等內(nèi)部品質(zhì)檢測(cè)[4-7]。韓東海等[8]利用Kubota K-BA100R近紅外光譜儀以漫透射光譜檢測(cè)方式分別獲取了西瓜頂部和赤道部位的光譜信息,結(jié)合偏最小二乘法(PLS)及主成分回歸法(PCR)建立了關(guān)于含糖量的預(yù)測(cè)模型,該模型在預(yù)測(cè)集頂部和赤道部位采集信息的相關(guān)系數(shù)分別為0.952,0.929,預(yù)測(cè)集均方根誤差(RMSEP)分別為0.666,0.732 °Brix。何洪巨等[9]選取639.3 nm處的光譜反射率與其糖度構(gòu)建了一次線性模型,其決定系數(shù)達(dá)0.951,相對(duì)均方根誤差為6.78%。Zhang等[10]采用可見(jiàn)/近紅外光譜技術(shù)構(gòu)建了適用于厚皮甜瓜的快速、高魯棒性波段優(yōu)選模型,該模型預(yù)測(cè)集相關(guān)系數(shù)為0.914 3,RMSEP為 0.835 9 °Brix。錢曼等[11]分別采用連續(xù)投影算法(SPA)和競(jìng)爭(zhēng)性自適應(yīng)重加權(quán)算法(CARS)篩出西瓜SSC近紅外光譜變量特征波長(zhǎng),利用PLS得到最佳建模結(jié)果為瓜頂處光譜信息,預(yù)測(cè)集R2為0.905,RMSEP為0.629 °Brix。
傳統(tǒng)的光譜建模分析方法往往采用線性建模方法或機(jī)器學(xué)習(xí)中的核算法將部分非線性問(wèn)題轉(zhuǎn)化為線性問(wèn)題。實(shí)際上,水果果實(shí)的結(jié)構(gòu)特性和果皮對(duì)光的反射和散射是非常復(fù)雜的,對(duì)自變量間非線性關(guān)系的深度探討可能有助于進(jìn)一步提高模型的預(yù)測(cè)準(zhǔn)確率。近年來(lái)快速發(fā)展的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)[12-13]也普遍應(yīng)用于可見(jiàn)/近紅外光譜建模分析。Zhou等[14]針對(duì)生菜葉片的可見(jiàn)/近紅外高光譜圖像,使用了支撐向量回歸(SVR)結(jié)合小波變換—堆棧自編碼機(jī)(WT-SAE)建模訓(xùn)練,其預(yù)測(cè)集的最高決定系數(shù)達(dá)0.959 0,RMSEP為0.055 87 mg/kg。Yu等[15]采用堆棧自編碼機(jī)(SAE)處理梨的可見(jiàn)/近紅外反射高光譜圖像(380~1 030 nm),并結(jié)合全連接神經(jīng)網(wǎng)絡(luò)(FNN)實(shí)現(xiàn)了SSC含量的預(yù)測(cè),其預(yù)測(cè)集的果實(shí)SSC含量決定系數(shù)為0.921,相較于PLSR提高了0.089,相較于LS-SVM提高了0.114。
目前,光譜建模研究往往使用線性模型或基于深度學(xué)習(xí)模型的簡(jiǎn)單應(yīng)用,但近年來(lái)深度學(xué)習(xí)在圖像領(lǐng)域的研究中,通過(guò)改變模型結(jié)構(gòu)、變換卷積順序使模型變得更快速、更準(zhǔn)確,但在一維光譜建模研究中應(yīng)用相對(duì)較少,往往停留在簡(jiǎn)單的卷積模型應(yīng)用上,并未對(duì)先進(jìn)的圖像處理模型結(jié)構(gòu)進(jìn)行學(xué)習(xí)。因此,為推測(cè)圖像處理深度學(xué)習(xí)模塊是否同樣適用于一維卷積神經(jīng)網(wǎng)絡(luò),試驗(yàn)擬選取不同時(shí)期、不同糖度的大批量西瓜作為模型建模對(duì)象,分別采用K最近鄰法回歸、隨機(jī)森林回歸以及兩種不同深度卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)西瓜糖度構(gòu)建預(yù)測(cè)模型,其中針對(duì)深度卷積神經(jīng)網(wǎng)絡(luò),選取同樣計(jì)算復(fù)雜度下的常規(guī)卷積神經(jīng)網(wǎng)絡(luò)CNN與帶有殘差塊結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)Res-CNN進(jìn)行探討,旨在為西瓜糖度無(wú)損快速檢測(cè)裝置的開(kāi)發(fā)以及提升深度學(xué)習(xí)結(jié)構(gòu)一維化的模型性能提供依據(jù)。
選取6~7月不同成熟期西瓜(購(gòu)買于杭州余杭地區(qū),品種為“麒麟瓜”)共510個(gè)樣本,并于當(dāng)日送回實(shí)驗(yàn)室,去除形狀不規(guī)則樣品后剩余500個(gè)樣本,并對(duì)樣本進(jìn)行編號(hào),22 ℃實(shí)驗(yàn)室環(huán)境下放置24 h,分別采集西瓜樣品的漫透射光譜和測(cè)定可溶性固形物含量。
光譜采集裝置(圖1)由微型光譜儀、筆記本電腦、光纖、光源等組成。檢測(cè)器采用美國(guó)海洋光學(xué)公司的USB400商用微型光譜儀,光譜分辨率為 1 cm-1,采樣范圍為 220~1 020 nm,數(shù)據(jù)點(diǎn)為 1 044。對(duì)西瓜樣品瓜臍位置采用漫透射方式采集光譜,樣本相對(duì)檢測(cè)器和光源的角度為120°。光源采用8盞150 W鹵鎢燈,總功率1.2 kW,積分時(shí)長(zhǎng)200 ms,采用SpectraSuite(Ocean Optics Inc, USA)軟件進(jìn)行光譜采集。
1. 透鏡 2. 托盤 3. 光源 4. 西瓜 5. 光照箱 6. 計(jì)算機(jī) 7. 微型光譜儀 8. 光纖
使用數(shù)字式糖度計(jì)(PR-101型,日本ATAGO公司)進(jìn)行測(cè)定,儀器精度為0.1 °Brix,測(cè)量范圍為0~45 °Brix。去除西瓜樣本非可食部分,將可食部分切碎后榨汁,濾紙過(guò)濾得西瓜樣本汁液,測(cè)定汁液可溶性固形物含量。
西瓜校正集與預(yù)測(cè)集樣本分布及對(duì)應(yīng)糖度值見(jiàn)表1,校正集與預(yù)測(cè)集比例為7∶3。針對(duì)K最近鄰法回歸和隨機(jī)森林回歸,對(duì)原始數(shù)據(jù)中680~920 nm范圍的采用PCA算法降維,采取不同主元素?cái)?shù)量保留最佳建模結(jié)果。對(duì)于神經(jīng)網(wǎng)絡(luò)選取原始數(shù)據(jù)中680~920 nm范圍的采用式(1) 進(jìn)行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化處理。
表1 校正集/預(yù)測(cè)集樣本分布Table 1 Sample allocation in calibration-set/ prediction-set
(1)
式中:
x*——標(biāo)準(zhǔn)化后的數(shù)值;
x——輸入光譜;
u——自變量x的平均值;
σ——自變量x的方差。
1.4.1 CNN模型的構(gòu)建 常規(guī)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2所示,該模型由3個(gè)卷積層、3個(gè)批歸一化層、2個(gè)全連接層及1個(gè)池化層組成,共含有533 217個(gè)訓(xùn)練參數(shù)。
圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Figure 2 Architecture of convolution neural network
1.4.2 Res-CNN模型的構(gòu)建 Res-CNN模型結(jié)構(gòu)示意圖如圖3所示,該模型由4個(gè)卷積核、5個(gè)批歸一化層、2個(gè)全連接層及1個(gè)池化層組成。Resnet等[17-18]提出bottleneck會(huì)導(dǎo)致經(jīng)Res-block的特征數(shù)急劇上升,因此試驗(yàn)使用的Res-block為輕量級(jí)開(kāi)發(fā)網(wǎng)絡(luò)的Inverted Residual[19],其結(jié)構(gòu)包含1×1卷積、1×3卷積以及shortcut連接。殘差結(jié)構(gòu)在神經(jīng)網(wǎng)絡(luò)中的使用可以提高模型的學(xué)習(xí)效率,減緩模型因深度或迭代輪次造成的網(wǎng)絡(luò)退化,1×1卷積核則可以改變通道數(shù)量并加強(qiáng)通道間信息的交互,該模型共含有545 505個(gè)訓(xùn)練參數(shù)。
圖3 含有殘差塊的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Figure 3 Architecture of convolution neural network added Residual-block
1.4.3 KNN回歸 KNN[20-21]是一種既可以用于分類又可以用于回歸的算法。對(duì)于給定測(cè)試樣本,基于距離度量找出校正集中與選定測(cè)試樣本最靠近的K個(gè)訓(xùn)練樣本,試驗(yàn)所選近鄰評(píng)價(jià)標(biāo)準(zhǔn)為歐式距離[式(2)],K值為10,然后基于這K個(gè)“鄰居”的信息來(lái)進(jìn)行預(yù)測(cè)。在回歸任務(wù)中可使用平均法,將K個(gè)樣本的實(shí)值輸出標(biāo)記的平均值作為預(yù)測(cè)結(jié)果。由于KNN的KD樹(shù)展開(kāi)方法為對(duì)每個(gè)輸入變量求方差做節(jié)點(diǎn)展開(kāi)并不斷遞歸,因此使用PCA降維減小計(jì)算量。
d(x,y)=
(2)
1.4.4 隨機(jī)森林回歸 隨機(jī)森林[24]為集成學(xué)習(xí)中的一個(gè)算法,其思想為使用多個(gè)弱學(xué)習(xí)器對(duì)樣本學(xué)習(xí)后共同預(yù)測(cè)結(jié)果。隨機(jī)森林算法不僅可以用于分類,還可以用于回歸。使用弱學(xué)習(xí)器為分類與回歸樹(shù)(CART),該算法以方差作為評(píng)價(jià)指標(biāo),假設(shè)輸入樣本含有m個(gè)特征,將樣本通過(guò)某一特征的特定數(shù)值劃分為方差較為小的兩個(gè)含有(m-1)個(gè)特征的子集,并使用同樣的方法對(duì)兩個(gè)子集進(jìn)行迭代,每次將一個(gè)子集劃分為兩個(gè)方差最小的子集,以此通過(guò)劃分子類空間的方式將數(shù)據(jù)劃分到預(yù)測(cè)更準(zhǔn)的葉節(jié)點(diǎn)中,最后輸出的回歸值為葉節(jié)點(diǎn)平均值。
由表2可知,KNN在PCA降維數(shù)為8時(shí)效果最好,此時(shí)8個(gè)主成分貢獻(xiàn)率高達(dá)99%。KNN回歸使用了保留超過(guò)99%信息的主元素進(jìn)行建模,但無(wú)論是在相關(guān)系數(shù)、RMSEC以及RMSEP的表現(xiàn)上都差強(qiáng)人意,校正集中Rc為0.697 7,RMSEC為0.965 0 °Brix,該算法在校正集中難以實(shí)現(xiàn)較好的收斂效果,可能由于輸入數(shù)據(jù)維度不足導(dǎo)致無(wú)法實(shí)現(xiàn)有效回歸,但由于KNN法是一種依賴距離選取鄰居的算法,過(guò)多的維度會(huì)導(dǎo)致維度災(zāi)難同樣不利于模型訓(xùn)練。隨機(jī)森林模型出現(xiàn)了較大的過(guò)擬合現(xiàn)象,校正集中Rc為0.962 5, RMSEC為0.629 3 °Brix,但預(yù)測(cè)集中Rp=0.676 5且RMSEP接近1.000 0 °Brix,可能是隨機(jī)森林回歸算法中的CART弱學(xué)習(xí)器在bagging過(guò)程中每次選取不同訓(xùn)練樣本導(dǎo)致模型的誤差期望難以收斂,并且未進(jìn)行剪枝操作導(dǎo)致模型出現(xiàn)過(guò)擬合現(xiàn)象。CNN模型與Res-CNN模型在校正集中的相關(guān)系數(shù)均>0.8,分別為0.813 2,0.875 0,校正集和預(yù)測(cè)集中的相關(guān)系數(shù)比較接近,CNN差值為0.042 7,Res-CNN差值為0.018 2,均方根誤差也比較穩(wěn)定,其差值分別為0.008,0.564 °Brix,其中Res-CNN的表現(xiàn)均優(yōu)于CNN,兩個(gè)模型的計(jì)算量近乎相等,說(shuō)明通過(guò)改變模型結(jié)構(gòu),Res-block在一定程度上提高了模型性能。
表2 不同模型采集光譜建模預(yù)測(cè)結(jié)果Table 2 Prediction result of different model
試驗(yàn)主要利用可見(jiàn)/近紅外光譜結(jié)合K最近鄰法回歸、隨機(jī)森林回歸以及卷積神經(jīng)網(wǎng)絡(luò)與含有殘差塊的卷積神經(jīng)網(wǎng)絡(luò)兩類深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)對(duì)西瓜可溶性固形物含量進(jìn)行定量分析,并建立模型。其中含有殘差塊的卷積神經(jīng)網(wǎng)絡(luò)的校正集均方根誤差為0.654 0 °Brix,預(yù)測(cè)集均方根誤差為0.710 4 °Brix,其相關(guān)系數(shù)分別為0.875 0,0.893 2。后續(xù)將進(jìn)一步深入研究圖像深度學(xué)習(xí)結(jié)構(gòu)一維化,并不斷優(yōu)化其光譜建模算法。