王首程 于雪瑩 高繼勇 王志強

(山東理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院，山東 淄博 255049)

陳釀可以使食醋形成獨特的風(fēng)味，在陳釀過程中食醋的功能成分也會隨之發(fā)生變化[1]。由于不同釀造年限陳醋的價格有較大差異，偽造年限的事件時有發(fā)生。目前已有的陳醋年限檢測方法主要有感官分析法[2]、熒光光譜法[3]、高效液相色譜法[1]和近紅外透射光譜分析法[4]等。但感官分析法存在主觀性強、易受干擾和穩(wěn)定性差等缺點；熒光光譜法、高效液相色譜法、近紅外透射光譜分析法等分析方法存在設(shè)備體積大、價格昂貴、檢測過程復(fù)雜等問題，不適合現(xiàn)場快速測量。

電子鼻和電子舌是通過模仿生物的嗅覺和味覺研制的仿生檢測系統(tǒng)，利用不同傳感器間的交叉響應(yīng)現(xiàn)象結(jié)合模式識別技術(shù)實現(xiàn)對樣本品質(zhì)及成分的分析，具有操作簡單、檢測高效、客觀性強等優(yōu)點，目前電子舌和電子鼻已被廣泛應(yīng)用于環(huán)境監(jiān)測[5]、食品檢測[6]和藥物鑒別[7]等多個領(lǐng)域。陳醋的化學(xué)成分復(fù)雜，其品質(zhì)特征都能在嗅覺和味覺上體現(xiàn)，但單獨使用電子舌或者電子鼻難以獲得完整的樣本品質(zhì)狀態(tài)信息，導(dǎo)致無法獲得滿意的檢測效果[8]。對電子舌和電子鼻的信號進行信息融合可以有效解決這一問題[9]。

信息融合的關(guān)鍵在于有效提取不同傳感器信號的特征。Hilbert變換、快速傅里葉變換、小波分析均可用于信號特征提取。但這些方法主要基于人工設(shè)計，效率低，無法全面提取有效特征[10]。深度學(xué)習(xí)方法通過引入多個卷積層和池化層，自動地抽取數(shù)據(jù)的特征并完成分類或回歸，從而實現(xiàn)端到端的模式識別。傳統(tǒng)深度模型隨著網(wǎng)絡(luò)深度的加深，容易出現(xiàn)梯度消失和爆炸現(xiàn)象[11]。密集卷積網(wǎng)絡(luò)(Dense Convolutional Network，DenseNet)是近年來提出的一種新型深度學(xué)習(xí)模型。該網(wǎng)絡(luò)通過跨層連接、特征重用的方法，直接將特征圖在通道的維度上連接起來，在保證最大程度信息傳輸率的前提下，實現(xiàn)了網(wǎng)絡(luò)中各卷積層之間的特征傳遞，具有緩解梯度消失、抑制過擬合、減少參數(shù)量、增強特征傳遞的優(yōu)點。目前DenseNet已經(jīng)被廣泛用于醫(yī)學(xué)診斷[12]、音頻檢測[13]等領(lǐng)域。但當(dāng)前尚未有研究將DenseNet應(yīng)用于人工智能感官的模式識別過程。

研究擬提出基于電子舌、電子鼻結(jié)合DenseNet-ELM模型對陳醋釀造年限進行檢測的方法，分別設(shè)計不同結(jié)構(gòu)的DenseNet提取電子舌和電子鼻信號深層特征，并對特征進行融合，最后采用極限學(xué)習(xí)機(Extreme Learning Machine，ELM)對融合特征向量進行分類識別，以期為便捷、準(zhǔn)確地檢測不同釀造年限的陳醋提供新方法。

1 材料與儀器

1.1 試驗材料

試驗材料為產(chǎn)自山西太原的某品牌老陳醋，執(zhí)行標(biāo)準(zhǔn)為GB/T 19777—2013。從本地超市購買2021年所產(chǎn)的一年新醋、兩年陳釀、三年陳釀、五年陳釀、六年陳釀、八年陳釀、十年陳釀共7種不同年限的陳醋。每個釀造年限的陳醋取200個樣本，每個樣本10 mL，按照V陳醋∶V蒸餾水=1∶20的比例對樣本進行稀釋，每個陳醋溶液取100 mL，在(20±3) ℃環(huán)境下使用電子舌、電子鼻采集樣本數(shù)據(jù)[14]。每種年限的陳醋采集電子舌和電子鼻的樣本數(shù)據(jù)各200個，取其中150個樣本數(shù)據(jù)按照7∶3的比例劃分為訓(xùn)練集與驗證集，剩余50個樣本數(shù)據(jù)作為測試集。

1.2 電子舌與電子鼻系統(tǒng)

電子舌與電子鼻系統(tǒng)由實驗室自行研制[15]，其結(jié)構(gòu)如圖1所示。電子舌系統(tǒng)(Electronic tongue，ET)由傳感器陣列、信號調(diào)理電路和數(shù)據(jù)采集裝置組成。其中傳感器陣列由三電極系統(tǒng)組成，包括8個工作電極(鉑、金、鈦、鈀、銀、鎢、鎳和玻碳)、1個銀/氯化銀(AgCl)電極作參比電極和1個鉑輔助電極。其工作原理為：由軟件控制數(shù)據(jù)采集卡產(chǎn)生激勵信號，該信號通過信號調(diào)理模塊調(diào)理后施加至傳感器陣列，在激勵信號的激發(fā)下，樣本溶液在多個工作電極表面發(fā)生電化學(xué)反應(yīng)產(chǎn)生微弱電流信號，該響應(yīng)經(jīng)I/V轉(zhuǎn)換、放大和濾波后，送至數(shù)據(jù)采集卡進行數(shù)據(jù)采集，然后送至上位機進行處理。

圖1 電子舌與電子鼻系統(tǒng)結(jié)構(gòu)Figure 1 Electronic tongue and electronic nose system structure

電子鼻系統(tǒng)(Electronic nose，EN)由檢測腔及氣路、傳感器陣列、信號調(diào)理電路和數(shù)據(jù)采集裝置組成，傳感器陣列采用6種金屬氧化物半導(dǎo)體傳感器，其型號分別為TGS2600、TGS2602、TGS2603、TGS2610、TGS2611、TGS2620。該系統(tǒng)工作原理為：通過采樣泵將待測樣品氣體導(dǎo)入檢測腔中，待測樣本氣體與傳感器的敏感材料接觸并發(fā)生氧化還原反應(yīng)，從而導(dǎo)致氣敏傳感器的導(dǎo)電率發(fā)生變化，待測氣體的化學(xué)信息轉(zhuǎn)化成電信號。該電信號經(jīng)信號調(diào)理電路進行放大、濾波后，送至數(shù)據(jù)采集卡進行數(shù)據(jù)采集，然后送上位機進行模式識別處理。

2 模式識別與信息融合方法

2.1 密集卷積網(wǎng)絡(luò)

DenseNet通過建立網(wǎng)絡(luò)中所有層之間的密集連接，可實現(xiàn)特征的高效復(fù)用，有利于對維度大、噪聲多的復(fù)雜信號進行特征提取。DenseNet由交替串聯(lián)的稠密塊和過渡層共同組成，結(jié)構(gòu)如圖2所示。

圖2 DenseNet結(jié)構(gòu)圖Figure 2 DenseNet structure

稠密塊是DenseNet的核心結(jié)構(gòu)，其結(jié)構(gòu)如圖3所示。稠密塊包含多個由批歸一化層(Batch Normalization，BN)、修正線性單元(Rectified Linear Unit，ReLu)、1×1卷積層和1×3卷積層構(gòu)成的密集層。其中BN層可實現(xiàn)對每一層輸入的標(biāo)準(zhǔn)化處理，使輸入的均值趨近于0，標(biāo)準(zhǔn)差趨近于1，從而降低樣本間的差異；ReLu為網(wǎng)絡(luò)的激活函數(shù)，可將神經(jīng)元的輸入映射到輸出端，使模型具有非線性表達能力；1×3卷積層可提取信號中的有效特征；由于稠密塊中后層的輸入是該層之前所有層的輸出，會造成后層通道數(shù)較大，采用1×1的卷積層可減少特征圖的數(shù)量并融合各個通道的特征，從而降低特征的維度。

圖3 稠密塊結(jié)構(gòu)圖Figure 3 Dense block structure

稠密塊中每一層密集層與前面所有層建立連接，L層的網(wǎng)絡(luò)中包括L(L+1)/2層連接，這種跨層連接方式增強了特征的傳遞，使得網(wǎng)絡(luò)在參數(shù)和計算成本相對較少的情況下表現(xiàn)出更優(yōu)的分類性能。每一層密集層輸出的計算公式如式(1)所示。

xl=Hl([x0,x1,x2,…,xl-1])，

(1)

式中：

xl——第l層密集層輸出的特征；

[x0,x1,x2,…,xl-1]——第l層到第l-1層輸出特征的拼接；

H(·)——非線性變換函數(shù)的組合運算，包括卷積、BN和ReLU等操作。

過渡層由BN層、ReLU、1×1的卷積層、1×2的池化層以及Dropout層構(gòu)成。其結(jié)構(gòu)如圖4所示。采用BN層對輸入作標(biāo)準(zhǔn)化處理；1×1的卷積層可壓縮特征的通道數(shù)；1×2的池化層用于降低特征的維度；加入Dropout層可減少因網(wǎng)絡(luò)層數(shù)增加產(chǎn)生的計算量[16]。

圖4 過渡層結(jié)構(gòu)圖Figure 4 Transition layer structure

2.2 極限學(xué)習(xí)機

ELM是由Huang等[17]提出的一種單隱層前饋型神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)的機器學(xué)習(xí)算法相比，ELM通過求解方程組的方法得到輸出層的權(quán)重，其輸入層和隱含層之間的隱藏節(jié)點和連接權(quán)值可以隨機產(chǎn)生，不需要在訓(xùn)練過程中進行調(diào)整，具有訓(xùn)練速度快、泛化性能強的優(yōu)點。

含有L個神經(jīng)節(jié)點的單隱層神經(jīng)網(wǎng)絡(luò)可表示為：

(2)

式中：

yj——單隱層網(wǎng)絡(luò)的輸出值(j=1,…,N)；

xi——輸入向量；

g(·)——激活函數(shù)；

w——輸入權(quán)重；

b——隱含層節(jié)點的閾值；

βi——輸出權(quán)重。

ELM的學(xué)習(xí)目標(biāo)就是網(wǎng)絡(luò)的實際輸出值能夠無限接近期望輸出值。

2.3 特征信息融合

電子舌和電子鼻特征融合結(jié)合DenseNet-ELM模型的過程如圖5所示。

圖5 模型工作過程Figure 5 Model working process

(1) 使用電子舌和電子鼻系統(tǒng)對陳醋樣本逐一進行檢測，分別采集電子舌和電子鼻的響應(yīng)信號，并對信號進行預(yù)處理。

(2) 針對電子舌和電子鼻的信號，構(gòu)建不同結(jié)構(gòu)的ET-DenseNet和EN-DenseNet，分析模型在訓(xùn)練集和驗證集上準(zhǔn)確率的變化，得到性能最佳的兩個網(wǎng)絡(luò)結(jié)構(gòu)。

(3) 使用電子舌和電子鼻響應(yīng)信號的訓(xùn)練集和驗證集分別訓(xùn)練ET-DenseNet和EN-DenseNet，然后將訓(xùn)練好的模型用于提取電子舌和電子鼻信號的特征，分別得到二者的特征向量。

(4) 將ET-DenseNet和EN-DenseNet提取到的特征圖進行展平操作，把多維特征轉(zhuǎn)化為一維特征向量。然后將二者的一維特征向量進行拼接，得到融合特征向量，其原理如式(3)所示。融合操作，其功能是將一維電子鼻特征向量拼接在一維電子舌特征向量之后，構(gòu)成融合特征向量。

F=C(ft,fn),

(3)

式中：

F——融合的特征向量；

ft——電子舌信號的特征向量；

fn——電子鼻信號的特征向量；

C(·)——融合操作。

(5) 采用ELM對融合的特征向量進行分類識別，先對其隱含層神經(jīng)元個數(shù)進行優(yōu)化，再采用訓(xùn)練集和驗證集對優(yōu)化的模型進行訓(xùn)練，并使用測試集的準(zhǔn)確率、召回率等指標(biāo)評價模型的性能。

3 結(jié)果與分析

3.1 電子舌與電子鼻響應(yīng)信號

電子舌和電子鼻系統(tǒng)的響應(yīng)信號如圖6所示。圖6(a)中，在電子舌不同電極的催化作用下，樣本溶液在電極表面發(fā)生電化學(xué)反應(yīng)，在大幅方波脈沖的激勵作用下每個電極的信號呈現(xiàn)出不同的波形。針對每個樣本，電子舌可以采集8 000個數(shù)據(jù)點(1 000×8個電極)；從圖6(b)可以看出，電子鼻傳感器內(nèi)部化學(xué)物質(zhì)與樣本氣體接觸，發(fā)生氧化還原反應(yīng)，造成傳感器的電導(dǎo)率發(fā)生變化，其兩端的電壓快速上升，達到各自的峰值后逐漸趨于平緩，針對每個樣本，電子鼻可以采集到6 000個數(shù)據(jù)點(1 000×6個氣敏傳感器)。

圖6 電子舌和電子鼻響應(yīng)信號Figure 6 The electronic tongue and nose respond to the signal

3.2 數(shù)據(jù)預(yù)處理

針對電子舌和電子鼻的響應(yīng)信號中含有大量噪聲并且數(shù)值變化幅度較大的問題，采用式(4)對響應(yīng)信號進行去均值和方差歸一化處理。

(4)

式中：

xi——信號中的第i個響應(yīng)值；

μ——信號中所有樣本數(shù)據(jù)的均值；

σ——信號中所有樣本數(shù)據(jù)的標(biāo)準(zhǔn)差；

3.3 DenseNet模型

3.3.1 ET-DenseNet 電子舌信號噪聲多、數(shù)據(jù)量大，所以需要設(shè)置多個卷積層和池化層以提取其特征。DenseNet中稠密塊的個數(shù)以及稠密塊中密集層的層數(shù)直接影響DenseNet的性能，較多的卷積操作將導(dǎo)致模型的過擬合，較少的卷積操作則會產(chǎn)生特征提取不充分的問題。為了選擇性能最優(yōu)的模型結(jié)構(gòu)，設(shè)計稠密塊×密集層結(jié)構(gòu)分別為2×2、2×3、2×4、3×2的模型，分析其訓(xùn)練過程中驗證集準(zhǔn)確率的變化。為了減小過擬合，避免偶然事件的發(fā)生，采用五折交叉驗證方法分析測試集準(zhǔn)確率。如圖7所示，當(dāng)稠密塊×密集層結(jié)構(gòu)為2×4時，驗證集準(zhǔn)確率相比于其他模型增長得更快，率先達到峰值并穩(wěn)定，而且測試集準(zhǔn)確率明顯高于其他模型，且模型更加穩(wěn)定。2×2、2×3兩種模型由于層數(shù)較少，存在特征提取不充分的問題，結(jié)構(gòu)為3×2的模型由于過擬合導(dǎo)致性能下降。

圖7 不同結(jié)構(gòu)的ET-DenseNet模型的驗證集準(zhǔn)確率和測試集準(zhǔn)確率Figure 7 Validation set and test set accuracy of different structures of ET-DenseNet

ET-DenseNet結(jié)構(gòu)如圖8所示，較大的卷積核可初步降低數(shù)據(jù)維度；然后設(shè)置2個稠密塊，每個稠密塊中設(shè)置4層密集層；兩個稠密塊之間設(shè)置一層過渡層降低特征維度，并設(shè)置BN層對特征作歸一化處理，采用全局均值池化降低特征維度。

圖8 ET-DenseNet結(jié)構(gòu)Figure 8 ET-DenseNet structure

DenseNet的增長率是指每一層網(wǎng)絡(luò)輸出的特征圖在維度上的貢獻量，直接關(guān)系到特征圖的數(shù)量，同時，訓(xùn)練周期、學(xué)習(xí)率、批次尺寸等超參數(shù)對模型分類準(zhǔn)確率的影響較大。分別對訓(xùn)練周期、學(xué)習(xí)率、批次尺寸進行尋優(yōu)，不同參數(shù)組合在測試集的準(zhǔn)確率如圖9所示，增長率為10、訓(xùn)練周期為70、學(xué)習(xí)率為0.001、批次尺寸50時，測試集的準(zhǔn)確率最高且波動較小。

圖9 不同超參數(shù)的ET-DenseNet測試集準(zhǔn)確率Figure 9 Test set accuracy of different hyperparameters of ET-DenseNet

3.3.2 EN-DenseNet 相比于電子舌信號，電子鼻信號數(shù)據(jù)量相對較少，采用較少的卷積層和池化層就可以提取到電子鼻信號的特征信息。為了選擇性能最優(yōu)的EN-DenseNet，設(shè)計稠密塊×密集層結(jié)構(gòu)分別為1×2、1×3、1×4、2×2的模型，分析其訓(xùn)練過程中驗證集準(zhǔn)確率的變化，并采用五折交叉驗證方法分析測試集準(zhǔn)確率。如圖10 所示，當(dāng)稠密塊×密集層結(jié)構(gòu)為1×3的模型在訓(xùn)練的過程中，驗證集準(zhǔn)確率明顯增長得更快，而且迅速收斂并穩(wěn)定在峰值，測試集準(zhǔn)確率明顯高于其他模型，并且波動較小。

圖10 不同結(jié)構(gòu)的ET-DenseNet模型的驗證集準(zhǔn)確率和測試集準(zhǔn)確率Figure 10 Validation set and test set accuracy of different structures of ET-DenseNet

EN-DenseNet結(jié)構(gòu)如圖11所示，設(shè)置1×16的卷積核初步降低數(shù)據(jù)維度；然后設(shè)置1個稠密塊，其中設(shè)置3層密集層，使用級聯(lián)的方法實現(xiàn)特征復(fù)用，并設(shè)置BN層對特征作歸一化處理，采用全局均值池化降低特征維度。

圖11 EN-DenseNet的結(jié)構(gòu)Figure 11 EN-DenseNet structure

采用與ET-DenseNet相同的方法對該網(wǎng)絡(luò)的增長率、訓(xùn)練周期、學(xué)習(xí)率和批次尺寸進行優(yōu)化。如圖12所示，增長率為6、訓(xùn)練周期為60、學(xué)習(xí)率為0.000 5、批次尺寸為35時，測試集的準(zhǔn)確率最高，并且波動也較小。

圖12 不同超參數(shù)的ET-DenseNet測試集準(zhǔn)確率Figure 12 Test set accuracy of different hyperparameters of ET-DenseNet

3.4 ELM模型

將ET-DenseNet和EN-DenseNet提取的特征進行融合，采用ELM對特征向量進行分類。ELM模型的輸入層和隱含層之間的連接權(quán)值和閾值可以隨機生成，所以只需要優(yōu)化隱含層神經(jīng)元個數(shù)。設(shè)置ELM隱層神經(jīng)元個數(shù)的范圍為[2,100]，步長為2。其不同結(jié)構(gòu)的ELM模型在驗證集和測試集的分類準(zhǔn)確率如圖13所示，當(dāng)隱藏層節(jié)點數(shù)為74時，分類效果最佳。

圖13 不同隱含層神經(jīng)元個數(shù)的ELM在驗證集和測試集上的準(zhǔn)確率Figure 13 The accuracy of ELM in verification set and test set with different numbers of hidden layer neurons

3.5 可視化分析

為了驗證模型的特征提取效果，采用t分布隨機近鄰嵌入算法(Stochastic neighbor embedding，t-SNE)[18]對ET-DenseNet、EN-DenseNet提取到的特征以及融合的特征向量進行可視化分析，并建立混淆矩陣驗證其分類性能，結(jié)果如圖14所示。由圖14可以看出，電子舌和電子鼻的每類樣本特征數(shù)據(jù)點類間的差距較小，數(shù)據(jù)點基本能夠匯聚成簇，但是有部分的錯分點，ET-DenseNet和EN-DenseNet的分類準(zhǔn)確率分別為95.2%，93.4%。可以看出電子舌特征可視化的效果優(yōu)于電子鼻的效果，這是由于電子舌的響應(yīng)信號比電子鼻的響應(yīng)信號含有更多能反映不同釀造年限陳醋樣本之間差異性的信息。由圖14(c)和圖14(f)可以看出，電子舌和電子鼻融合特征的每類樣本特征的數(shù)據(jù)點完全匯聚成簇，且類與類之間分隔較大，具有明顯的類間差距。DenseNet-ELM的混淆矩陣分類準(zhǔn)確率達到99.14%，分類準(zhǔn)確率較ET-DenseNet和EN-DenseNet有明顯的提升。

圖14 特征可視化和混淆矩陣Figure 14 Feature visualization and obfuscation matrices

3.6 模型性能對比分析

目前，已有研究使用離散小波變換(Discrete wavelet transform，DWT)提取電子鼻[19]和電子舌[20]信號的特征，使用支持向量機(Support Vector Machine，SVM)和CNN作為分類識別方法[21]。將以上模型進行優(yōu)化后用于電子舌和電子鼻對陳醋年限的檢測，優(yōu)化后DWT的小波基函數(shù)為sym6、分解層數(shù)為7，SVM模型的懲罰因子C=2-5、核參數(shù)λ=25以及CNN網(wǎng)絡(luò)結(jié)構(gòu)為5個卷積層和4個池化層、學(xué)習(xí)率為0.005、批次尺寸為45、訓(xùn)練周期為50，并使用以上模型與文中所提方法進行對比。

為了進一步評價不同模型的性能，分別采用查準(zhǔn)率、召回率、F1-Socre參數(shù)為評價標(biāo)準(zhǔn)對模型進行評價分析，其公式為：

(5)

(6)

(7)

式中：

P——查準(zhǔn)率；

R——召回率；

F1——F1-Socre參數(shù)；

TP——正確分類的正樣本數(shù)量；

FP——真實的負(fù)樣本數(shù)量；

FN——虛假的負(fù)樣本數(shù)量。

分別使用優(yōu)化后的DWT-SVM、DWT-ELM、CNN作為對比模型，用于電子舌信號、電子鼻信號的分類。將以上各個模型與文中所建模型進行對比，各模型在測試集的分類結(jié)果如表1所示。

由表1可以看出，DenseNet-ELM模型的查準(zhǔn)率、召回率和準(zhǔn)確率分別達到0.99，0.98，0.99，性能明顯高于其他對比模型。不同的特征提取方法對電子舌和電子鼻信號的特征提取能力存在較大差別。與DWT、CNN相比，由于DenseNet對特征的高效復(fù)用，具有更高的特征提取能力，其分類準(zhǔn)確率提高3%～30%。單獨使用電子舌或者電子鼻進行檢測的準(zhǔn)確率最高可達到95.2%，將電子舌和電子鼻信號的特征進行融合后，結(jié)合DenseNet-ELM模型，檢測準(zhǔn)確率達到99.1%。與其他檢測方法相比，采用可見/近紅外光譜透射技術(shù)結(jié)合主成分分析和神經(jīng)網(wǎng)絡(luò)鑒別陳醋品種[4]準(zhǔn)確率為92.1%，同步熒光結(jié)合偏最小二乘法對老陳醋摻假檢測[22]的偏差為3%～5%，采用近紅外光譜結(jié)合主成分分析和判別分析鑒別陳醋的品牌[23]準(zhǔn)確率為96.3%，證明文中方法性能優(yōu)于以上方法。

4 結(jié)論

研究提出一種基于電子舌和電子鼻結(jié)合密集卷積網(wǎng)絡(luò)—極限學(xué)習(xí)機模型對不同釀造年限陳醋進行檢測的方法。分別設(shè)計了電子舌系統(tǒng)—密集卷積網(wǎng)絡(luò)和電子鼻系統(tǒng)—密集卷積網(wǎng)絡(luò)模型提取電子舌和電子鼻的信號特征，然后采用特征融合方法，將電子舌和電子鼻信號特征向量進行融合，使用極限學(xué)習(xí)機對融合特征向量進行分類識別。試驗結(jié)果表明，該方法解決了單一檢測設(shè)備難以獲得完整的樣本信息的問題，采用密集卷積網(wǎng)絡(luò)緩解了深度學(xué)習(xí)模型由于深度增加導(dǎo)致的模型退化、泛化能力弱等問題，可對7種不同釀造年限的陳醋進行有效分類。研究的特征融合階段將電子舌和電子鼻的特征向量直接進行拼接，不能體現(xiàn)出兩者之間的重要程度，后續(xù)將研究采用自適應(yīng)的特征融合方法，通過學(xué)習(xí)的方式自動獲取到兩種不同特征的重要程度，實現(xiàn)更高效的融合。