郝惠敏,梁永國(guó),武海彬,卜明龍,黃家海*
1. 太原理工大學(xué),新型傳感器與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,山西 太原 030024 2. 太原理工大學(xué)機(jī)械與運(yùn)載工程學(xué)院,山西 太原 030024
當(dāng)被測(cè)物選擇性吸收特定波長(zhǎng)紅外線而引起分子振動(dòng)能級(jí)和轉(zhuǎn)動(dòng)能級(jí)躍遷時(shí),可以根據(jù)分子對(duì)特定波長(zhǎng)紅外光的電磁輻射、吸光度、散射等情況,通過(guò)分析被測(cè)物的吸收紅外光譜得出被測(cè)物的種類(lèi)和濃度等信息。盡管化學(xué)計(jì)量學(xué)和機(jī)器學(xué)習(xí)的發(fā)展為紅外光譜分析提供了行之有效的方法和工具,但是,如何進(jìn)一步提高微弱變化、嚴(yán)重交叉敏感及高度重疊光譜的分析準(zhǔn)確度仍然是科研工作者們不斷追求的目標(biāo)。
作為機(jī)器學(xué)習(xí)最重要的一個(gè)分支,深度學(xué)習(xí)由于其對(duì)細(xì)節(jié)特征更高的識(shí)別精度而成為近年來(lái)的研究熱點(diǎn)。自1980年福島邦彥提出基于人工神經(jīng)網(wǎng)絡(luò)框架的新認(rèn)知機(jī)后,標(biāo)準(zhǔn)反向傳播算法[1]、有監(jiān)督的反向傳播算法[2]等先后被引入人工神經(jīng)網(wǎng)絡(luò),使之逐漸成為計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等諸多領(lǐng)域的先進(jìn)識(shí)別算法。2006年,加拿大多倫多大學(xué)的Geoffrey Hinton教授解析了多隱層人工神經(jīng)網(wǎng)絡(luò)優(yōu)異的特征學(xué)習(xí)能力,并通過(guò)無(wú)監(jiān)督學(xué)習(xí)的逐層預(yù)訓(xùn)練有效克服了深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度[3],使得人工神經(jīng)網(wǎng)絡(luò)再一次引起了人們的關(guān)注。2015年,Geoffrey Hinton教授提出了接近人腦的深度學(xué)習(xí)框架[4],采用與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似但方法不同的訓(xùn)練逐層提取數(shù)據(jù)特征,最終實(shí)現(xiàn)了對(duì)數(shù)據(jù)的精確辨識(shí)。此后,深度學(xué)習(xí)被視為實(shí)現(xiàn)人工智能的重要手段,并在AlphaGo[5-6]、疾病診斷[7]、手寫(xiě)字符識(shí)別[8]等領(lǐng)域發(fā)揮了重要作用。然而,當(dāng)前深度學(xué)習(xí)方法的應(yīng)用對(duì)象大多為圖像數(shù)據(jù),在光譜領(lǐng)域,識(shí)別對(duì)象集中在核磁共振圖像光譜[9-10]上,對(duì)紅外和近紅外光譜分析的應(yīng)用還十分有限,僅限于對(duì)光譜進(jìn)行特征提取[11-12]。
為進(jìn)一步提高紅外/近紅外光譜的分析準(zhǔn)確度,提出一種SDP結(jié)合深度學(xué)習(xí)的紅外光譜識(shí)別方法,首先將紅外光譜數(shù)據(jù)采用SDP投射到極坐標(biāo)中,形成由若干散點(diǎn)構(gòu)成的可視化RGB彩色圖像,然后將該彩色圖像作為VGG深度卷積神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行多隱層深度學(xué)習(xí),建立紅外光譜的識(shí)別模型,經(jīng)過(guò)多層特征提取,最大限度地獲取光譜數(shù)據(jù)的有用信息,最終實(shí)現(xiàn)對(duì)紅外光譜數(shù)據(jù)的高效準(zhǔn)確識(shí)別。
(1)
(2)
式中,B和M分別是原始數(shù)據(jù)集O(w)縱坐標(biāo)的最大值和最小值;l為原始數(shù)據(jù)集O(w)橫坐標(biāo)的取值間距,l=1, 2, 3,… ;β1為極半徑放大倍數(shù),β2為極角放大倍數(shù)。
將數(shù)據(jù)投射為類(lèi)似雪花的6角形,因此,n=6,原始數(shù)據(jù)投射到極坐標(biāo)中分6個(gè)區(qū)域分布,各區(qū)域的極軸角度為θi=360°/6的整倍數(shù); 每個(gè)區(qū)域中,θi,j+和θi,j-對(duì)稱(chēng)分布在θi兩側(cè)。SDP轉(zhuǎn)化過(guò)程中,β1和β2為主要優(yōu)化參數(shù)。
經(jīng)過(guò)SDP轉(zhuǎn)化,原始紅外光譜數(shù)據(jù)(波數(shù)范圍: 4 000~400 cm-1; 掃描間隔: 12 nm; 光譜數(shù)據(jù)維度: 1 866)成為224×224的RGB彩色圖像。
VGG是由牛津大學(xué)計(jì)算機(jī)視覺(jué)組(visual geometry group)的Karen Simonyan和Andrew Zisserman提出的深度卷積神經(jīng)網(wǎng)絡(luò)[13],在2014年的ImageNet Large-Scale Visual Recognition Challenge競(jìng)賽中獲得第2名而被用在圖像特征提取中。VGG網(wǎng)絡(luò)的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)潔,整個(gè)網(wǎng)絡(luò)均使用3×3的卷積核和2×2的最大池化核,該網(wǎng)絡(luò)用多個(gè)連續(xù)3×3的小濾波器卷積核來(lái)替代大的卷積核,并將AlexNet網(wǎng)絡(luò)3×3的池化核替換為2×2的最大池化核。在VGG網(wǎng)絡(luò)中,3×3的小卷積核大大減小了計(jì)算量,減少了卷積層參數(shù),更易于訓(xùn)練,同時(shí)多個(gè)連續(xù)的小卷積核擴(kuò)大了感受野,文獻(xiàn)[24]闡述了兩個(gè)3×3卷積堆疊獲得的感受野大小,相當(dāng)一個(gè)5×5的卷積,而3個(gè)3×3卷積堆疊獲取到的感受野相當(dāng)于一個(gè)7×7的卷積; 相對(duì)小的池化核可以更好地捕捉圖像局部的差異,更有利于提取其豐富的細(xì)節(jié)特征,從而提高分析準(zhǔn)確度。
VGG卷積神經(jīng)網(wǎng)絡(luò)有16~19層,文中采用VGG19網(wǎng)絡(luò),結(jié)構(gòu)如表1所示。
表1 VGG19的網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Network structure of VGG19
VGG19網(wǎng)絡(luò)一共19層,輸入數(shù)據(jù)為原始紅外光譜數(shù)據(jù)經(jīng)過(guò)SDP轉(zhuǎn)化后的彩色圖像,其全連接層FC采用256個(gè)節(jié)點(diǎn),分類(lèi)種類(lèi)為5類(lèi)。
氣測(cè)錄井是發(fā)現(xiàn)和評(píng)價(jià)石油天然氣資源的重要技術(shù)手段。其中,利用鉆遇地層層內(nèi)特定成分對(duì)氣測(cè)錄井進(jìn)行解釋和評(píng)價(jià)具有十分重要的意義。例如,氣測(cè)錄井混合氣體中含量最多的甲烷氣體的濃度范圍對(duì)勘探開(kāi)發(fā)薄層、裂縫型油氣資源、非常規(guī)油氣資源就十分重要。氣測(cè)錄井氣體包括甲烷、乙烷、丙烷、正丁烷、異丁烷、正戊烷及異戊烷等七種氣體,其中,主要成分為甲烷,通常情況下,其余組分氣體濃度均不大于甲烷的濃度。將上述七種混合氣體按CH4的濃度(c)分成5類(lèi): <20%,20%~40%,40%~60%,60%~80%和80%~100%,5類(lèi)中其他6種氣體的濃度均不大于甲烷的濃度,表2給出了上述5種混合氣體的幾個(gè)示例。表2中Y1相應(yīng)的紅外光譜如圖1所示。
采用SDP對(duì)七組分烷烴混合氣體的紅外光譜進(jìn)行極坐標(biāo)變換,而后輸入VGG19網(wǎng)絡(luò)進(jìn)行分類(lèi)識(shí)別。同時(shí),將未經(jīng)過(guò)SDP轉(zhuǎn)化的原始紅外光譜數(shù)據(jù)采用SVM和RF建立分類(lèi)模型進(jìn)行分類(lèi)識(shí)別,并與SDP-VGG分類(lèi)結(jié)果進(jìn)行對(duì)比研究。
表2 依據(jù)甲烷濃度分類(lèi)的5種氣測(cè)錄井氣體示例Table 2 Example of 5 kinds of gas logging gas mixtures classified by methane concentration
圖1 表2中Y1類(lèi)混合氣體的紅外光譜Fig.1 Infrared spectra of 7-component gas mixture of Y1 in Table 2
(1)單組分氣體紅外光譜的SDP變換
對(duì)甲烷、乙烷、丙烷、正丁烷、異丁烷、正戊烷及異戊烷七種組分氣體分別進(jìn)行SDP變換,優(yōu)化后的參數(shù)l=1;β1=2,β2=4,變換得到的彩色圖像如圖2—圖4所示。圖2為不同濃度甲烷的SDP轉(zhuǎn)化圖像,圖3為除甲烷外,其他6種氣體SDP轉(zhuǎn)化的圖像。
圖2 不同濃度甲烷氣體紅外光譜轉(zhuǎn)化的SDP圖形Fig.2 SDP figures transformed from infrared spectra of methane of various concentrations
圖2中,(a)—(c)甲烷的濃度依次為60%,40%和5%。由圖可見(jiàn),原始光譜數(shù)據(jù)在極坐標(biāo)中按照每隔60°的極軸對(duì)稱(chēng)分布,最大極半徑設(shè)置為2。在每一個(gè)60°的區(qū)間內(nèi),極半徑的原點(diǎn)對(duì)應(yīng)甲烷在波數(shù)3 014.66處紅外光譜的第一吸收峰,極半徑為2的點(diǎn)對(duì)應(yīng)光譜數(shù)據(jù)的基準(zhǔn)線數(shù)據(jù)1; 沿極軸方向隨著極半徑的增大,各點(diǎn)對(duì)應(yīng)逐漸遠(yuǎn)離峰值的光譜數(shù)據(jù); 極坐標(biāo)原點(diǎn)外側(cè),離極軸最近的點(diǎn)對(duì)應(yīng)甲烷在波數(shù)1 301.91處紅外光譜的第二吸收峰,極軸兩側(cè)對(duì)稱(chēng)分布點(diǎn)的密集程度體現(xiàn)紅外光譜吸收峰的寬度,隨著極角的增大(對(duì)稱(chēng)側(cè)極角減小),各點(diǎn)對(duì)應(yīng)逐漸遠(yuǎn)離峰值的光譜數(shù)據(jù),而甲烷濃度越大,紅外吸收峰寬度越寬,則在極軸附近分布的點(diǎn)就越多。
圖3中,(a)—(f)依次為12%乙烷、5%丙烷、4%正丁烷、4%異丁烷、3%正戊烷以及3%異戊烷的紅外吸收光譜經(jīng)SDP變換后的圖像。由圖3可見(jiàn),盡管七種烷烴氣體的吸收峰存在嚴(yán)重交疊,但其SDP圖像卻表現(xiàn)出不同的特征: 紅外光譜的主特征吸收峰依然對(duì)應(yīng)SDP圖中極坐標(biāo)的原點(diǎn); 次特征吸收峰對(duì)應(yīng)的SDP點(diǎn)集中在最靠近極軸的位置,且分布在不同的極半徑上; 吸收峰寬度對(duì)應(yīng)的點(diǎn)呈現(xiàn)不同的分布密度,吸收譜線涵蓋波長(zhǎng)范圍越大的紅外光譜其對(duì)應(yīng)SDP的瓣形越寬。
圖3 其他六種烷烴氣體紅外光譜轉(zhuǎn)化的SDP圖形Fig.3 SDP figures transformed from infrared spectra of six kinds of alkane gases
圖4 多組分烷烴混合氣體紅外光譜轉(zhuǎn)化的SDP圖形Fig.4 SDP figures transformed from infrared spectra of 7-component alkane gas mixtures
(2)多組分烷烴混合氣體紅外光譜SDP轉(zhuǎn)換后圖像
以表1中Y1類(lèi)的Y1-1,Y1-2和Y1-3為例,SDP優(yōu)化后的參數(shù)l=1;β1=2,β2=4,最大極半徑取1。圖4中,(a)—(c)依次為表2中Y1-1,Y1-2和Y1-3七組分烷烴混合氣體紅外光譜轉(zhuǎn)化后的SDP圖形。圖4中顯示,Y1-1的主、次吸收峰對(duì)應(yīng)極坐標(biāo)原點(diǎn)附近的漸變趨勢(shì)點(diǎn)和極半徑為0.8附近的密集點(diǎn),從點(diǎn)的密集程度可以看出集中在極坐標(biāo)原點(diǎn)的SDP點(diǎn)對(duì)應(yīng)混合氣體紅外光譜的主吸收峰。同樣地,Y1-2和Y1-3的SDP點(diǎn)呈現(xiàn)類(lèi)似的分布,在較小波數(shù)區(qū)域,Y1-3存在多個(gè)較尖銳的吸收峰,因此,在極軸附近密集地分布了多個(gè)SDP點(diǎn),由于Y1-3的光譜在主吸收峰處出現(xiàn)飽和,因此,極坐標(biāo)原點(diǎn)處分布的點(diǎn)相對(duì)分散; Y1-2介于Y1-1和Y1-3之間,因此,Y1-2對(duì)應(yīng)的SDP圖像較Y1-1和Y1-3分散,但其3個(gè)主次吸收峰仍然十分明顯,而且三個(gè)圖形視覺(jué)上的區(qū)別十分顯著。
經(jīng)過(guò)SDP轉(zhuǎn)化的光譜數(shù)據(jù)展現(xiàn)出十分明顯的變化,這一變化不僅僅是為視覺(jué)觀察提供了幫助,同時(shí)相當(dāng)于對(duì)光譜數(shù)據(jù)進(jìn)行了歸一化預(yù)處理,并使原始一維的光譜數(shù)據(jù)變換成了224×224的RGB彩色圖像數(shù)據(jù)。將經(jīng)過(guò)SDP轉(zhuǎn)化后的圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí),使得卷積運(yùn)算更簡(jiǎn)便,從而大大降低了卷積網(wǎng)絡(luò)的運(yùn)算復(fù)雜性。
從5類(lèi)氣測(cè)錄井七組分混合氣體的每一類(lèi)中任意選擇1 000個(gè)樣本,共5 000個(gè)樣本的紅外光譜進(jìn)行SDP轉(zhuǎn)化,轉(zhuǎn)化參數(shù)為:l=1;β1=2,β2=4,最大極半徑取1,獲得5 000個(gè)224×224的RGB彩色圖像,將這5 000個(gè)圖像數(shù)據(jù)任意選擇4 500個(gè)作為訓(xùn)練樣本輸入VGG進(jìn)行深度學(xué)習(xí),建立氣測(cè)錄井七組分混合氣體甲烷濃度范圍識(shí)別模型,以剩余500個(gè)未經(jīng)過(guò)訓(xùn)練的圖像數(shù)據(jù)作為檢驗(yàn)樣本,對(duì)模型的效果進(jìn)行檢驗(yàn)。
在VGG經(jīng)過(guò)2 000次迭代后,對(duì)4 500個(gè)訓(xùn)練樣本的識(shí)別準(zhǔn)確率穩(wěn)定在1.0,如圖5所示。停止迭代,相應(yīng)500個(gè)檢驗(yàn)樣本的識(shí)別精度為0.912。
圖5 VGG訓(xùn)練迭代趨勢(shì)曲線Fig.5 Iteration trend of training VGG
采用相同但未經(jīng)過(guò)SDP變換的訓(xùn)練樣本原始光譜數(shù)據(jù)分別建立SVM和RF七組分混合氣體甲烷濃度范圍識(shí)別模型,SVM和RF模型對(duì)4 500個(gè)訓(xùn)練樣本的最佳識(shí)別準(zhǔn)確率分別為94.6%和93.8%,對(duì)應(yīng)500個(gè)檢驗(yàn)樣本的識(shí)別準(zhǔn)確率分別為88.7%和86.2%。造成SVM和RF識(shí)別準(zhǔn)確率較低的主要原因是光譜數(shù)據(jù)嚴(yán)重重疊造成的交叉敏感,SVM和RF方法對(duì)光譜數(shù)據(jù)特征提取能力相對(duì)不足。
經(jīng)過(guò)優(yōu)化后VGG,SVM和RF模型的參數(shù)見(jiàn)表3。VGG模型中批尺寸(Bath size)、正則化參數(shù)(L2)、保留率(Keep prob)、學(xué)習(xí)率(Learningrate)分別為: 75,0.005,0.7及0.005; SVM模型選用高斯核,其懲罰因子(C)、s和ε分別為: 100,2.6和0.01; RF模型的決策樹(shù)個(gè)數(shù)(n_estimators)和最大特征數(shù)(max_features)分別為200和3。
表3 優(yōu)化的模型參數(shù)Table 3 Optimized parameters of various models
將紅外光譜轉(zhuǎn)化為SDP彩色圖像后輸入VGG深度學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)了紅外光譜的分類(lèi)識(shí)別。紅外光譜經(jīng)過(guò)SDP圖像轉(zhuǎn)化后,呈現(xiàn)出顯著的可識(shí)別特征并使其更適合VGG網(wǎng)絡(luò)的卷積運(yùn)算; 所建立紅外光譜SDP-VGG識(shí)別模型對(duì)氣測(cè)錄井七組分氣層混合氣體的識(shí)別結(jié)果表明: 對(duì)甲烷濃度范圍分別是<20%,20%~40%,40%~60%,60%~80%和80%~100%的5類(lèi)七組分烷烴混合氣體,SDP-VGG的識(shí)別準(zhǔn)確率為91.2%,優(yōu)于直接用紅外光譜建立SVM和RF識(shí)別模型88.7%和86.2%的識(shí)別準(zhǔn)確率。研究表明,SDP-VGG分析方法為紅外光譜分析提供了一種新的思路,擴(kuò)展了深度學(xué)習(xí)方法在紅外光譜分析領(lǐng)域的應(yīng)用,提高了紅外光譜識(shí)別的準(zhǔn)確率,或可用于紅外光譜或近紅外光譜的定量分析。