田青林，郭幫杰，葉發(fā)旺，李 瑤，劉鵬飛，陳雪嬌

1.核工業(yè)北京地質(zhì)研究院遙感信息與圖像分析技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室，北京 100029 2.Zachry Department of Civil and Environmental Engineering,Texas A&M University,Texas 77843,USA

引 言

近年來(lái)，深度學(xué)習(xí)技術(shù)不斷發(fā)展，被廣泛應(yīng)用于圖像分類[2]、語(yǔ)音識(shí)別[3]、醫(yī)學(xué)信號(hào)處理[4]等領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[5-6]是深度學(xué)習(xí)中一個(gè)重要網(wǎng)絡(luò)結(jié)構(gòu)，其強(qiáng)大的學(xué)習(xí)和分類能力遠(yuǎn)超傳統(tǒng)機(jī)器學(xué)習(xí)方法，具有廣泛適用性。何東遠(yuǎn)等[7]提出一種一維CNN模型對(duì)恒星光譜進(jìn)行分類，并給出了不同波段對(duì)不同恒星類型的貢獻(xiàn)率，具有較高的分類精度和魯棒性。趙勇等[8]提出一種一維CNN模型，對(duì)雌激素粉末拉曼光譜進(jìn)行分類，無(wú)需光譜預(yù)處理和特征提取步驟，展現(xiàn)出良好的分類性能和抗噪聲干擾能力。

本工作通過(guò)引入空洞卷積，將一維空洞卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional dilated convolutional neural network，1D-DCNN)應(yīng)用于礦物光譜分類領(lǐng)域，研究礦物類別的端到端檢測(cè)，分析了卷積類型和迭代次數(shù)對(duì)模型分類結(jié)果的影響，并與反向傳播算法(back propagation，BP)和支持向量機(jī)(support vector machine，SVM)方法結(jié)果進(jìn)行對(duì)比。

1 實(shí)驗(yàn)部分

1.1 光譜數(shù)據(jù)采集

測(cè)量礦物光譜的儀器為美國(guó)ASD公司的FieldSpec@3型便攜式光譜儀(350～2 500 nm)，共2 151個(gè)波段，考慮到邊緣波段噪聲及數(shù)據(jù)量的原因，在380～2 420 nm波長(zhǎng)范圍，按3 nm間隔進(jìn)行重采樣，得到511個(gè)波段。光譜儀視場(chǎng)角為25°，數(shù)據(jù)采集過(guò)程中將光纖探頭垂直于礦物樣本，距離約2 cm，盡量使采集到的光譜數(shù)據(jù)不受干擾。

按照上述方法采集白云母、白云石、方解石、高嶺石四種礦物光譜樣本，數(shù)量分別為478條、972條、540條、976條，如圖1所示。

圖1 部分礦物光譜數(shù)據(jù)(a)：白云母；(b)：白云石；(c)：方解石；(d)：高嶺石Fig.1 Part of the mineral spectra(a)：Muscovite；(b)：Dolomite；(c)：Calcite；(d)：Kaolinite

1.2 模型與算法

1.2.1 光譜數(shù)據(jù)增強(qiáng)

CNN的優(yōu)異性能需要大量數(shù)據(jù)樣本作為支撐。充足的訓(xùn)練樣本有助于網(wǎng)絡(luò)模型充分學(xué)習(xí)樣本類內(nèi)特征和類間區(qū)別。而受樣本數(shù)量、采集環(huán)境、測(cè)量設(shè)備等限制，一般較難獲取大量帶有標(biāo)簽的礦物光譜數(shù)據(jù)，故采用數(shù)據(jù)增強(qiáng)的方式擴(kuò)充樣本。具體方法是向原始礦物光譜數(shù)據(jù)中添加強(qiáng)度不等的隨機(jī)高斯白噪聲，將白云母光譜擴(kuò)充至1 434條，白云石光譜擴(kuò)充至2 916條，方解石光譜擴(kuò)充至1 620條，高嶺石光譜擴(kuò)充至2 928條。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)，得到包含四類礦物光譜樣本的數(shù)據(jù)集共8 898條，并按照6∶1∶3比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，用于模型訓(xùn)練、參數(shù)優(yōu)化及精度測(cè)試。

1.2.2 一維空洞卷積神經(jīng)網(wǎng)絡(luò)模型

CNN模型應(yīng)用于圖像語(yǔ)義分割領(lǐng)域時(shí)，重復(fù)的卷積、池化操作會(huì)降低特征圖分辨率，導(dǎo)致圖像細(xì)節(jié)結(jié)構(gòu)和邊緣信息丟失[10]。而在光譜分類中同樣面臨上述問(wèn)題，為此通過(guò)引入空洞卷積來(lái)解決這一問(wèn)題，在保持分辨率的同時(shí)擴(kuò)大濾波器感受野，盡可能地保留光譜細(xì)節(jié)特征。對(duì)一維光譜信號(hào)的情形，需要進(jìn)行一維空洞卷積操作，如圖2所示，當(dāng)空洞率rate=1時(shí)，空洞卷積相當(dāng)于標(biāo)準(zhǔn)卷積，濾波器以連續(xù)的方式對(duì)輸入信號(hào)進(jìn)行處理，當(dāng)rate=2時(shí)，在原始濾波器的每個(gè)元素間插入一個(gè)0，以跳躍的方式處理信號(hào)。

圖2 一維空洞卷積示意圖[9](a)：標(biāo)準(zhǔn)卷積；(b)：空洞卷積Fig.2 Schematic of one-dimensional dilated convolution(a)：Standard convolution；(b)：Dilated convolution

因此，針對(duì)礦物光譜數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)了1D-DCNN模型，其結(jié)構(gòu)如圖3所示，詳細(xì)參數(shù)見(jiàn)表1。模型包含1個(gè)輸入層，3個(gè)空洞卷積層，卷積核大小分別為5×1，3×1和3×1，卷積核數(shù)量均為64，步長(zhǎng)為1，空洞率為2，選擇ReLU作為激活函數(shù)。2個(gè)池化層緊接在第1個(gè)和第2個(gè)空洞卷積層之后，池化核大小均為3×1，步長(zhǎng)為2，池化類型為最大池化。第3個(gè)空洞卷積層之后緊接2個(gè)全連接層，最后通過(guò)softmax輸出層得到分類概率預(yù)測(cè)。

圖3 一維空洞卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The structure of one-dimensional dilated convolutional neural network

表1 1D-DCNN網(wǎng)絡(luò)各項(xiàng)參數(shù)Table 1 The parameters of 1D-DCNN

1.2.3 模型訓(xùn)練

1D-DCNN網(wǎng)絡(luò)模型采用交叉熵作為損失函數(shù)，使用SGD(stochastic gradient descent)優(yōu)化器進(jìn)行訓(xùn)練，具體參數(shù)設(shè)置為學(xué)習(xí)率lr=0.008，權(quán)值衰減系數(shù)decay=0.000 000 1，動(dòng)量momentum=0.5，Epoch=200。為實(shí)現(xiàn)1D-DCNN模型快速收斂，訓(xùn)練集被分成多個(gè)批次(batch)，批處理樣本數(shù)量(batch size)設(shè)置為40。

1.2.4 模型評(píng)價(jià)方法

采用訓(xùn)練集和測(cè)試集的判別準(zhǔn)確率作為模型評(píng)價(jià)指標(biāo)。判別準(zhǔn)確率P可表示為

(1)

式(1)中：Nc為判別正確的樣本數(shù)目，Na為樣本總數(shù)目。

2 結(jié)果與討論

2.1 卷積類型對(duì)1D-DCNN模型的影響

為檢驗(yàn)卷積類型對(duì)模型性能的影響，將1D-DCNN中空洞卷積替換為標(biāo)準(zhǔn)卷積，記為1D-CNN，其他參數(shù)保持不變，比較二者分類精度和收斂速度差異，結(jié)果如圖4所示。

圖4 不同卷積核類型的模型性能比較Fig.4 Model performances with different convolution kernel types

從圖4可以看出，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，1D-CNN模型的最佳分類精度為98.78%，而引入空洞卷積的1D-DCNN模型精度更高，達(dá)到99.40%，提高了0.62%。在收斂速度方面，1D-DCNN模型在迭代23次后便達(dá)到94%的分類準(zhǔn)確率，而1D-CNN模型達(dá)到相近精度需要迭代60次。由此可見(jiàn)，引入空洞卷積同時(shí)能夠加快收斂速度，提高計(jì)算效率，使模型更快得到精確結(jié)果。

2.2 迭代次數(shù)對(duì)1D-DCNN模型的影響

為選取最優(yōu)的網(wǎng)絡(luò)迭代參數(shù)，對(duì)比了不同迭代次數(shù)對(duì)模型精度的影響，結(jié)果如表2所示。當(dāng)?shù)螖?shù)很少時(shí)，模型訓(xùn)練不夠充分，網(wǎng)絡(luò)參數(shù)未達(dá)到最優(yōu)，分類準(zhǔn)確率較差；隨著迭代次數(shù)增加，準(zhǔn)確率隨之提高；當(dāng)?shù)螖?shù)達(dá)到足夠量時(shí)，模型分類效果變化不大，網(wǎng)絡(luò)達(dá)到收斂狀態(tài)。綜合考慮模型精度和效率，選擇迭代次數(shù)為200。

表2 不同迭代次數(shù)的1D-DCNN模型判別結(jié)果Table 2 1D-DCNN model discrimination results of different number of iteration

2.3 不同分類方法精度對(duì)比

為驗(yàn)證1D-DCNN模型的礦物光譜分類性能，將BP算法、SVM與1D-DCNN進(jìn)行對(duì)比，各分類器均已經(jīng)過(guò)參數(shù)調(diào)試和優(yōu)化，分類結(jié)果如表3所示。

表3 不同算法分類準(zhǔn)確率Table 3 The classification accuracies of different algorithms

根據(jù)表3結(jié)果可以看出，1D-DCNN分類效果最好，準(zhǔn)確率達(dá)到99.32%；其次是BP算法，準(zhǔn)確率為98.65%；最后是SVM，準(zhǔn)確率為97.94%。相比于BP、SVM等傳統(tǒng)機(jī)器學(xué)習(xí)算法，本文提出的1D-DCNN方法是通過(guò)構(gòu)建具有多個(gè)隱含層的學(xué)習(xí)模型和大規(guī)模訓(xùn)練數(shù)據(jù)，提取低層光譜特征并組合形成更抽象的高層語(yǔ)義類別信息，從而提高光譜分類的準(zhǔn)確率。

3 結(jié) 論

提出了基于一維空洞卷積神經(jīng)網(wǎng)絡(luò)的礦物光譜分類方法。設(shè)計(jì)了9層網(wǎng)絡(luò)結(jié)構(gòu)，采用交叉熵為損失函數(shù)，隨機(jī)梯度下降為優(yōu)化器，無(wú)需任何數(shù)據(jù)預(yù)處理操作，實(shí)現(xiàn)了白云母、白云石、方解石、高嶺石四種礦物類別的端到端檢測(cè)。

(1)1D-DCNN模型展現(xiàn)出強(qiáng)大的特征學(xué)習(xí)和表達(dá)能力，避免了復(fù)雜的光譜預(yù)處理及特征提取過(guò)程。通過(guò)引入空洞卷積，在保持特征分辨率的同時(shí)擴(kuò)大濾波器感受野，盡可能地保留光譜細(xì)節(jié)信息，提高分類精度。

(2)實(shí)驗(yàn)結(jié)果表明，與BP、SVM方法相比，1D-DCNN模型對(duì)礦物光譜分類準(zhǔn)確率更高，達(dá)到99.32%，展現(xiàn)出良好的分類性能。

在后續(xù)研究中，會(huì)嘗試增加礦物種類和樣本數(shù)量，設(shè)計(jì)更高效的深度學(xué)習(xí)模型，為礦物光譜規(guī)模化檢測(cè)提供可靠的技術(shù)支持。此外，還可將1D-DCNN模型推廣到煤炭、油氣、月壤等其他領(lǐng)域的光譜分類應(yīng)用中。