董文豪,張懷

(中國(guó)科學(xué)院大學(xué)地球與行星科學(xué)學(xué)院 中國(guó)科學(xué)院計(jì)算地球動(dòng)力學(xué)重點(diǎn)實(shí)驗(yàn)室, 北京 100049) (2022年1月21日收稿; 2022年3月31日收修改稿)

巖屑錄井技術(shù)主要是指在鉆井過程中,巖石碎片隨鉆井液返回地面,地面工作人員按照時(shí)間順序、取樣間距將返出井口的巖屑收集并進(jìn)行分析;對(duì)巖屑的巖性識(shí)別,在地質(zhì)構(gòu)造及油氣勘探等領(lǐng)域的研究中有重要作用[1-2]。工作人員主要是基于巖屑的顏色特征、紋理特征及顆粒大小等對(duì)巖屑進(jìn)行分類[3-5],一般是通過人眼識(shí)別,費(fèi)時(shí)費(fèi)力,同時(shí)存在識(shí)別準(zhǔn)確率不足、分類結(jié)果受主觀因素影響等問題;而實(shí)際中要求工作人員能夠快速準(zhǔn)確地進(jìn)行分類識(shí)別,這對(duì)工作人員提出了較高的技術(shù)要求,工作強(qiáng)度也非常大。如何開發(fā)一種快速準(zhǔn)確的對(duì)巖屑巖性自動(dòng)分類識(shí)別的方法成為一個(gè)急需解決的問題。

近年來,機(jī)器學(xué)習(xí)在圖像識(shí)別中取得良好表現(xiàn)[6-7],研究人員嘗試將其應(yīng)用于巖屑圖像的分類識(shí)別中并取得了較好的分類識(shí)別效果。萬紅吉等[8]基于模糊C均值聚類算法對(duì)泥巖、砂巖、頁(yè)巖3類巖屑進(jìn)行分類識(shí)別,識(shí)別精度達(dá)90%以上;陳超和李文藻[9]基于隨機(jī)森林與顏色特征算法對(duì)泥巖和砂巖進(jìn)行識(shí)別分類,識(shí)別精度達(dá)85%以上。但是這些機(jī)器學(xué)習(xí)算法結(jié)構(gòu)簡(jiǎn)單,在分類識(shí)別復(fù)雜的巖屑圖片時(shí)表現(xiàn)不佳。深度學(xué)習(xí)算法在圖像識(shí)別中的優(yōu)異表現(xiàn)[10-15]為復(fù)雜的巖屑識(shí)別提供了一種解決方法。

深度學(xué)習(xí)模型就是有很多層的神經(jīng)網(wǎng)絡(luò)模型[16]。萬川等[17]基于改進(jìn)P-Unet模型對(duì)巖屑顆粒進(jìn)行識(shí)別;熊越晗等[18]基于巖樣細(xì)觀圖像深度學(xué)習(xí)對(duì)巖性自動(dòng)分類,訓(xùn)練集和驗(yàn)證集的分類準(zhǔn)確率分別達(dá)到92.77%和76.31%。深度學(xué)習(xí)需要足夠多的數(shù)據(jù)集學(xué)習(xí)以避免出現(xiàn)過擬合,但在實(shí)際應(yīng)用中,研究者大多情況下獲得特定問題的數(shù)據(jù)集是非常有限的,這嚴(yán)重影響了深度學(xué)習(xí)模型的構(gòu)建[19]。

為解決數(shù)據(jù)集不足時(shí)產(chǎn)生的深度學(xué)習(xí)模型構(gòu)建困難問題,人們建立了一些開放的大數(shù)據(jù)集,如ImageNet[20]。ImageNet包含1 000多種類別,圖片量達(dá)1 200萬張。利用這些數(shù)據(jù)集,人們獲得了一些深度學(xué)習(xí)參考模型,如Inception、VGG-16、VGG-19、ResNet模型等[21-22]。實(shí)際工作中數(shù)據(jù)集不足情況下,人們借助這些模型,提出遷移學(xué)習(xí)[23-24]。通過與Inception、ResNet等模型實(shí)驗(yàn)對(duì)比,結(jié)果表明VGG-16模型在圖像識(shí)別中識(shí)別準(zhǔn)確率更高,因此本文選用VGG-16模型[25]。VGG-16模型相較于VGG-19模型層數(shù)更少,計(jì)算效率更高,穩(wěn)健性略好[26]。實(shí)際應(yīng)用中,借用前人在ImageNet上訓(xùn)練好的深度學(xué)習(xí)模型如VGG-16模型作為中間層,學(xué)習(xí)巖屑圖片分類時(shí)僅更新輸出層中全連接層部分的參數(shù)[27]。Liu等[28]開發(fā)了一種結(jié)合深度學(xué)習(xí)模型和聚類算法的增強(qiáng)型巖石礦物識(shí)別方法,對(duì)12種巖石礦物進(jìn)行識(shí)別分類,模型的top-1和top-3準(zhǔn)確率分別達(dá)74.2%和99.0%;許振浩等[29]基于巖石圖像遷移學(xué)習(xí)對(duì)巖石的巖性進(jìn)行識(shí)別,訓(xùn)練集準(zhǔn)確率達(dá)90%以上;劉晨等[30]基于ResNet50建立遷移學(xué)習(xí)模型對(duì)7種巖屑進(jìn)行巖性識(shí)別分類;范思萌等[31]開發(fā)了基于SVM-FTVGG16的巖屑檢測(cè)方法來識(shí)別巖屑,準(zhǔn)確率達(dá)到85.7%。

本文針對(duì)所采集的18種巖屑圖像樣本集,建立了基于在ImageNet圖像數(shù)據(jù)集上訓(xùn)練好的VGG-16模型的巖屑圖片遷移學(xué)習(xí)模型,通過提取巖屑特征對(duì)巖屑進(jìn)行巖性識(shí)別分類。

1 深度學(xué)習(xí)方法概要

1.1 卷積神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)模型模仿人腦神經(jīng)元的工作流程[32]。神經(jīng)元接受到來自上一層神經(jīng)元的輸入信號(hào),再向下一層輸出。神經(jīng)網(wǎng)絡(luò)模型通常由輸入層、(多個(gè))中間層和輸出層組成。神經(jīng)網(wǎng)絡(luò)模型的層是全連接層,每一個(gè)神經(jīng)元都與上一層的所有神經(jīng)元相連,用來綜合前面提取到的所有特征。

最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型數(shù)學(xué)公式[33]可以表示為

(1)

其中,xi表示輸入信號(hào),wi表示與輸入信號(hào)xi連接的權(quán)重值,b表示神經(jīng)元的偏置,y表示神經(jīng)元的輸出,f表示激活函數(shù)。本文使用如下ReLU激活函數(shù)[34]

(2)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)將簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)中間層擴(kuò)充為卷積層和池化層。卷積層(convolutional layer)用本層的卷積核與上一層的輸出信號(hào)進(jìn)行卷積運(yùn)算[18],然后再通過激活函數(shù)傳遞給下一層。卷積層的計(jì)算公式[16]為

xt=f(Wxt-1+bt),

(3)

其中,t表示層數(shù),xt表示第t層的輸出信號(hào),W表示卷積核,bt表示第t層偏置。

池化層(pooling layer)也稱為下采樣層,用于壓縮數(shù)據(jù),在保留有用特征信息的基礎(chǔ)上減少數(shù)據(jù)的處理量[35]。本文采用最大池化層方法,給出相鄰矩形區(qū)域內(nèi)的最大值并向下一層輸出。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)是獲得使損失函數(shù)盡可能小的參數(shù),本文采用交叉熵?fù)p失函數(shù)作為損失函數(shù),其計(jì)算公式[36]為

L=-∑ktklnyk,

(4)

其中,yk是神經(jīng)網(wǎng)絡(luò)的輸出,tk是正確解標(biāo)簽。計(jì)算損失函數(shù)關(guān)于各個(gè)權(quán)重參數(shù)的梯度,將權(quán)重參數(shù)沿梯度方向作更新,重復(fù)這個(gè)過程最終得到最優(yōu)參數(shù)。

CNN具有稀疏權(quán)重、參數(shù)共享等優(yōu)點(diǎn)[12];其卷積核的大小遠(yuǎn)小于本層輸入信號(hào)的大小,同時(shí)卷積核的參數(shù)可以作用于本層輸入信號(hào)的多個(gè)位置上,從而可以極大地減小模型參數(shù)量,提高計(jì)算效率。CNN模型本身需要足夠多的數(shù)據(jù)集等進(jìn)行訓(xùn)練學(xué)習(xí),而當(dāng)數(shù)據(jù)集不充分,模型會(huì)出現(xiàn)過擬合現(xiàn)象?，F(xiàn)實(shí)工作中,很多問題不具備數(shù)據(jù)集充分的條件,于是人們基于在大數(shù)據(jù)集上訓(xùn)練得到的深度學(xué)習(xí)模型建立了遷移學(xué)習(xí)模型。

1.2 遷移學(xué)習(xí)模型

在遷移學(xué)習(xí)中,訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)不需要服從獨(dú)立同分布,不需要非常多的訓(xùn)練樣本就可學(xué)習(xí)得到一個(gè)好的分類識(shí)別模型[37]。同時(shí)由于遷移學(xué)習(xí)利用前人的數(shù)據(jù)集,因而模型構(gòu)建中不需要從頭開始訓(xùn)練新的數(shù)據(jù)集,顯著降低了深度學(xué)習(xí)模型在目標(biāo)域內(nèi)對(duì)訓(xùn)練樣本量的需求,也就降低了計(jì)算成本[38]。

VGG-16模型[39]是牛津大學(xué)視覺幾何小組(Visual Geometry Group)基于包含來自1 000多個(gè)類別約 120 萬張圖像的ImageNet圖像數(shù)據(jù)集學(xué)習(xí)得到的。該模型由13個(gè)卷積層、5 個(gè)池化層和3個(gè)全連接層構(gòu)成,模型結(jié)構(gòu)如圖1所示。本文將VGG-16模型的卷積層和池化層遷移到本文構(gòu)建的遷移學(xué)習(xí)模型中,并重新構(gòu)建了新的全連接層代替VGG-16模型的全連接層。如圖2所示。將巖屑錄井圖片輸入到模型中,經(jīng)過卷積層和池化層提取特征后,進(jìn)入輸出層,最后得到巖屑類型的概率分布,概率最大的類別即模型識(shí)別的巖屑類別。模型學(xué)習(xí)過程中中間層的參數(shù)被凍結(jié)不再更新,只更新輸出層的全連接層參數(shù)。本文在遷移學(xué)習(xí)模型的輸出層輸出前添加了1個(gè)Dropout層[16]以減少過擬合對(duì)模型學(xué)習(xí)的影響。

圖1 VGG-16模型結(jié)構(gòu)Fig.1 The structure of VGG-16 model

圖2 遷移學(xué)習(xí)模型構(gòu)建Fig.2 The construction of transfer learning model

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 數(shù)據(jù)來源

本文收集了盤錦中錄油氣技術(shù)服務(wù)有限公司提供的巖屑錄井的18種巖屑。將原巖屑照片裁剪并縮小為200像素×200像素,最終整理出5 877張巖屑圖片,并將其按3∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。為確保準(zhǔn)確性并更具說服力,訓(xùn)練圖像和測(cè)試圖像是從巖屑圖像數(shù)據(jù)集中隨機(jī)選取的。相關(guān)巖屑種類-數(shù)量分布如表1所示,巖屑圖片示例如圖3所示。

表1 巖屑圖片分類及數(shù)量Table 1 Classification and quantity of cuttings pictures

2.2 巖屑識(shí)別模型構(gòu)建

在Windows10、64位系統(tǒng)下,CPU為Intel(R) Core(TM) i7-8700,基于Tensorflow2.5.0構(gòu)建了CNN和遷移學(xué)習(xí)模型,并用于對(duì)巖屑巖性分類識(shí)別。

2.2.1 CNN模型

本文應(yīng)用的CNN模型有5個(gè)卷積層,5個(gè)池化層。由于處理的是二維的圖像數(shù)據(jù),輸入信號(hào)形狀為(200, 200, 3),即每個(gè)分量有200×200=40 000個(gè)采樣點(diǎn),3個(gè)通道。第1層卷積層采用32個(gè)卷積核,每個(gè)卷積核過濾器尺寸為(3, 3),輸出形狀變?yōu)?200, 200, 32),卷積層的激活函數(shù)使用ReLU函數(shù);最大池化層的尺寸為(2, 2),經(jīng)過下采樣,輸出大小變?yōu)?100, 100, 32);經(jīng)過3個(gè)卷積層和池化層后的輸出為(6, 6, 512),再經(jīng)過Flatten層將矩陣平鋪成向量形式,則輸出向量大小為6×6×256=18 432。之后又連接了2個(gè)全連接層,全連接層中插入1個(gè)Dropout層來降低過擬合造成的影響。第1個(gè)全連接層輸出個(gè)數(shù)為512,最后1個(gè)全連接層輸出個(gè)數(shù)為18,采用Softmax函數(shù)計(jì)算輸出事件類別的概率分布。Softmax函數(shù)又稱歸一化函數(shù),將多分類的結(jié)果以概率的形式輸出,因此預(yù)測(cè)結(jié)果轉(zhuǎn)化為非負(fù)數(shù),并且預(yù)測(cè)結(jié)果之和為1。Softmax函數(shù)數(shù)學(xué)表達(dá)式[40]如下

(5)

用準(zhǔn)確率ACC衡量模型的識(shí)別效果,其定義[33]為

ACC=(TN+Tp)/(TN+Tp+FP+FN),

(6)

其中,Tp表示模型識(shí)別正確的某類巖屑圖個(gè)數(shù),FP表示為其他種類巖屑圖片被識(shí)別某類巖屑圖片的個(gè)數(shù)。FN表示某類巖屑圖片被錯(cuò)誤預(yù)測(cè)為其他種類巖屑圖片的個(gè)數(shù)(TN在計(jì)算時(shí)未使用到)。

在CNN訓(xùn)練中,將所有數(shù)據(jù)迭代完一遍稱為一個(gè)epoch,本文計(jì)算一個(gè)epoch需要大約270 s。在訓(xùn)練100個(gè)epoch后,訓(xùn)練集、驗(yàn)證集、測(cè)試集的巖性識(shí)別準(zhǔn)確率分別達(dá)到96.5%,72.2%和72.4%,CNN模型的泛化能力較差。

2.2.2 遷移學(xué)習(xí)模型

本文應(yīng)用的遷移學(xué)習(xí)模型由VGG-16模型的卷積模塊和2個(gè)全連接層構(gòu)成,遷移學(xué)習(xí)模型結(jié)構(gòu)如圖4所示。輸入信號(hào)形狀為(200, 200, 3);設(shè)置2個(gè)卷積層,連接1個(gè)池化層;再設(shè)置2個(gè)卷積層,連接1個(gè)池化層;再設(shè)置3個(gè)卷積層,連接1個(gè)池化層;再設(shè)置3個(gè)卷積層,連接1個(gè)池化層;再設(shè)置3個(gè)卷積層,連接1個(gè)池化層。此時(shí)輸出尺寸大小為(6,6,512)。經(jīng)過Flatten層將矩陣平鋪成向量形式。之后又連接2個(gè)全連接層,全連接層中插入1個(gè)Dropout層以降低過擬合造成的影響。第1個(gè)全連接層輸出個(gè)數(shù)為512,最后1個(gè)全連接層輸出個(gè)數(shù)為18,采用Softmax函數(shù)計(jì)算輸出事件類別的概率分布。

圖4 遷移學(xué)習(xí)模型結(jié)構(gòu)Fig.4 The structure of transfer learning model

在遷移學(xué)習(xí)模型訓(xùn)練中,將所有數(shù)據(jù)迭代完一遍稱為一個(gè)epoch,計(jì)算一個(gè)epoch需要大約565 s,訓(xùn)練100個(gè)epoch后,訓(xùn)練集、驗(yàn)證集、測(cè)試集的巖性識(shí)別準(zhǔn)確率分別達(dá)到99.7%,87.2%和87.3%。表2展示了遷移學(xué)習(xí)測(cè)試集中分類錯(cuò)誤的巖屑圖片分類及數(shù)量。

表2 遷移學(xué)習(xí)測(cè)試集準(zhǔn)確率Table 2 Accuracy of transfer learning testing set %

圖5展示了CNN模型和遷移學(xué)習(xí)模型訓(xùn)練過程,其中5(a)為CNN模型和遷移學(xué)習(xí)模型在訓(xùn)練學(xué)習(xí)巖屑圖片時(shí)的精度曲線,5(b)為CNN模型和遷移學(xué)習(xí)模型在訓(xùn)練學(xué)習(xí)巖屑圖片時(shí)的損失函數(shù)。通過比較,遷移學(xué)習(xí)模型的學(xué)習(xí)能力和泛化能力均優(yōu)于CNN模型。

圖5 CNN模型和遷移學(xué)習(xí)模型訓(xùn)練過程Fig.5 Train process of CNN model and transfer learning model

3 巖屑分類識(shí)別分析

本研究基于18種巖屑的5 877張巖屑圖片建立訓(xùn)練集、驗(yàn)證集和測(cè)試集,使用卷積神經(jīng)網(wǎng)絡(luò)模型和巖屑圖片遷移學(xué)習(xí)模型分別進(jìn)行訓(xùn)練,再將訓(xùn)練好的模型分別對(duì)相同測(cè)試集進(jìn)行驗(yàn)證,結(jié)果表明巖屑圖片遷移學(xué)習(xí)模型能夠更好地訓(xùn)練學(xué)習(xí)巖屑圖片,并且有更好的泛化能力,即更好地分類識(shí)別新的巖屑圖片。在識(shí)別測(cè)試集中的巖屑圖片時(shí),CNN模型的識(shí)別率較低,這是因?yàn)镃NN模型需要足夠的數(shù)據(jù)集進(jìn)行學(xué)習(xí),否則會(huì)出現(xiàn)過擬合的問題。而遷移學(xué)習(xí)模型事先學(xué)習(xí)訓(xùn)練過有相關(guān)性的圖片數(shù)據(jù)集,所以初始的訓(xùn)練精度要更高,并且后續(xù)的訓(xùn)練精度也更高,在對(duì)測(cè)試集中的巖屑圖片分類識(shí)別時(shí)巖性準(zhǔn)確率能達(dá)到87.3%,有很好的泛化能力。本文對(duì)比了CNN模型和巖屑圖片遷移學(xué)習(xí)模型的學(xué)習(xí)效率,遷移學(xué)習(xí)模型訓(xùn)練一次的時(shí)間更長(zhǎng)。本文選用的VGG-16模型層數(shù)更多,參數(shù)更多,因此每一個(gè)epoch學(xué)習(xí)的時(shí)間更長(zhǎng)。

表2展示了遷移學(xué)習(xí)在對(duì)巖屑圖片測(cè)試集測(cè)試后的結(jié)果。模型對(duì)灰色泥質(zhì)粉砂巖識(shí)別能力最差,準(zhǔn)確率僅有34.7%,有一半被錯(cuò)劃分為深灰色粉砂質(zhì)泥巖,這是由于兩種巖屑圖片較像,可能在巖屑錄井過程中有雜質(zhì)滲入到灰色泥質(zhì)粉砂巖中,對(duì)模型識(shí)別造成干擾。模型對(duì)深灰色泥質(zhì)粉砂巖識(shí)別能力較差,準(zhǔn)確率為66.7%,一方面是因?yàn)檫@類巖屑的圖片太少,訓(xùn)練集僅有16張圖片,導(dǎo)致了模型對(duì)該類巖屑識(shí)別不充分,造成過擬合,容易將它們錯(cuò)誤分類到圖片較多的那一類。模型對(duì)黑色煤的識(shí)別準(zhǔn)確率也較差,因?yàn)楹谏旱膱D片質(zhì)量較差,有大量雜質(zhì)存在,對(duì)模型識(shí)別造成干擾。模型對(duì)泥巖的分類效果最好,識(shí)別率均能達(dá)到80%以上;對(duì)砂巖的分類效果較差,因?yàn)樯皫r又分為細(xì)砂巖和中砂巖,粒徑對(duì)模型的識(shí)別造成干擾。

4 結(jié)論

本研究基于18種巖屑的5 877張巖屑圖片建立訓(xùn)練集、驗(yàn)證集和測(cè)試集,使用卷積神經(jīng)網(wǎng)絡(luò)模型和遷移學(xué)習(xí)模型分別進(jìn)行訓(xùn)練,并用于相同測(cè)試集進(jìn)行驗(yàn)證。結(jié)果表明,由于遷移學(xué)習(xí)模型使用了VGG-16模型,訓(xùn)練精度和識(shí)別效率均更高,避免了CNN模型的過擬合狀況。遷移學(xué)習(xí)算法為巖屑分類識(shí)別提供了新思路和方案,同時(shí)模型通過計(jì)算機(jī)來提取圖片特征,不需要工作人員手動(dòng)分類處理,有效降低了主觀因素對(duì)巖屑圖片分類識(shí)別的影響,也大幅度降低了人工工作強(qiáng)度。