摘" 要： 巖屑錄井在地質(zhì)分析及油氣勘探等領(lǐng)域起著重要的作用，巖屑巖性識別是其中一項關(guān)鍵內(nèi)容，但目前識別手段難以兼顧準(zhǔn)確性與輕量性。為提高識別效率，保證錄井工作的高效進行，提出一種基于改進ConvNeXt模型的輕量化識別方法。通過分析調(diào)整ConvNeXt模型的網(wǎng)絡(luò)層數(shù)，并將其中大部分傳統(tǒng)卷積替換為Ghost卷積，減少了模型的冗余參數(shù)；同時，融合SimAM無參注意力機制，在不增加模型參數(shù)的情況下提升了模型性能。實驗結(jié)果表明：改進后的ConvNeXt模型參數(shù)量和權(quán)重文件大小分別僅有15.44×106和15.5 MB，浮點運算量為0.69×109，參數(shù)量和運算量遠低于大部分網(wǎng)絡(luò)模型，便于嵌入到各種移動設(shè)備中；且在測試集上的綜合識別準(zhǔn)確率可達到99.64%，高于ConvNeXt?S模型，滿足識別的可靠性要求。所提模型兼具了準(zhǔn)確性與輕量性的特點，能較好地滿足實際錄井工作中的巖屑識別任務(wù)。

關(guān)鍵詞： 巖屑巖性識別； ConvNeXt模型； Ghost卷積； SimAM注意力機制； 輕量化； 消融實驗

中圖分類號： TN919.8?34； TP391.4" " " " " " " " 文獻標(biāo)識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）24?0131?06

Method of lightweight rock debris lithology identification based on

improved ConvNeXt model

YANG Yuxuan， ZHONG Baorong

（College of Computer Science， Yangtze University， Jingzhou 434023， China）

Abstract： Rock debris logging plays an important role in geological analysis and oil and gas exploration， among which rock debris lithology identification is a key content. However， current identification methods are difficult to balance accuracy and lightweight. In order to improve the identification efficiency and ensure efficient logging work， an identification method based on improved lightweight ConvNeXt model is proposed. By adjusting the network layers of the ConvNeXt model and replacing most of the traditional convolutions with Ghost convolutions， the redundant parameters of the model are reduced. The SimAM parameterless attention mechanism is integrated to improve the model performance without increasing model parameters. The experimental results show that the improved ConvNeXt model has a parameter count and weight file size of only 15.44×106 and 15.5 MB， respectively， with a floating?point operation of 0.69×109. The parameter count and operation count are much lower than most network models， making it easy to embed into various mobile devices. Moreover， the comprehensive recognition accuracy on the test set can reach 99.64%， slightly higher than the ConvNeXt?S model， meeting the reliability requirements of recognition. The proposed model combines the characteristics of accuracy and lightweight， and can effectively meet the rock debris identification tasks in practical logging work.

Keywords： rock debris lithology identification; ConvNeXt model; Ghost convolution; SimAM attention mechanism; lightweight; ablation experiment

0" 引" 言

錄井是在鉆井現(xiàn)場直接獲取第一手實物、數(shù)據(jù)及影像等資料，提供地質(zhì)、工程、信息一體化服務(wù)的技術(shù)[1]。通過分析識別在鉆井過程中隨鉆井液返回至地面上的巖屑，可得到地質(zhì)構(gòu)造以及油氣勘探方面的重要信息。關(guān)于巖屑巖性的分析識別，傳統(tǒng)的方法是通過人工利用顯微鏡等分析工具基于不同巖屑的物理和化學(xué)特性的差異進行判斷，依賴工作人員的主觀經(jīng)驗，識別效率和可靠性較低。近年來由于機器學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)的發(fā)展，巖屑巖性識別也逐漸轉(zhuǎn)為自動化識別，如：文獻[2]采用隨機森林算法實現(xiàn)火山巖巖性識別；文獻[3]通過結(jié)合隨機森林與K?近鄰算法，對小樣本下的火成巖巖性劃分提出了解決方法；文獻[4]在LightGBM算法的基礎(chǔ)上，利用GS算法對訓(xùn)練時的超參數(shù)進行優(yōu)化，提出了GS?LightGBM機器學(xué)習(xí)模型，保證一定精度的同時提升了預(yù)測速度；文獻[5]基于巖石的高光譜圖像數(shù)據(jù)集，結(jié)合XGBoost決策樹和貪婪搜索算法構(gòu)建了一種兩層梯度增強分類模型，綜合準(zhǔn)確率可達到83%以上；文獻[6]構(gòu)建了結(jié)合異常點檢測、多類分類和極端隨機樹分類器的機器學(xué)習(xí)方法，對包含離群值的數(shù)據(jù)集有較好的訓(xùn)練效果。

以上方法均屬于傳統(tǒng)機器學(xué)習(xí)算法的分類研究，也稱為淺層次結(jié)構(gòu)模型研究[7]，相較于深度學(xué)習(xí)模型，有較快的運行速度，但精度稍有不足。深度學(xué)習(xí)模型在提取圖像深層特征方面有明顯優(yōu)勢，例如：文獻[8]使用ResNet50模型作為特征提取器，并結(jié)合多尺度方法實現(xiàn)巖石巖性識別，最終準(zhǔn)確率達到95%；文獻[9]利用LSTM神經(jīng)網(wǎng)絡(luò)，結(jié)合巖性敏感的測井參數(shù)構(gòu)建識別模型，識別效果相較于傳統(tǒng)機器學(xué)習(xí)有較大提升；文獻[10]采用遷移學(xué)習(xí)的訓(xùn)練方法，以ResNet101為基準(zhǔn)模型，在高質(zhì)量巖石數(shù)據(jù)集上準(zhǔn)確率達到了90%以上；文獻[11]提出的基于CNN的分類算法，對于不同站點的高光譜巖石圖像分類準(zhǔn)確率均在94%以上；文獻[12]在鉆井過程中采集鉆柱振動數(shù)據(jù)，結(jié)合MobileNet和ResNet作為分類模型，使得模型有低延遲特性，并且分類準(zhǔn)確率可達90%。

綜上所述，上面提到的兩類方法各有優(yōu)劣，傳統(tǒng)機器學(xué)習(xí)參數(shù)量較少，精度相較深度學(xué)習(xí)網(wǎng)絡(luò)略顯不足；但一般深度網(wǎng)絡(luò)模型參數(shù)量較大，可移植性不強。為滿足實際錄井過程的需要，本文以5種巖屑作為樣本數(shù)據(jù)集，包括碳酸鹽巖、礫巖、砂巖、泥巖和頁巖，對深度學(xué)習(xí)模型ConvNeXt[13]進行改進，使之保持高精度的同時滿足輕量化的要求。

1" 巖屑分類模型設(shè)計

1.1" ConvNeXt

ConvNeXt模型是一個深度卷積網(wǎng)絡(luò)模型，近幾年基于Transformer的深度學(xué)習(xí)模型逐漸成為趨勢，如2021年出現(xiàn)的Swin Transformer[14]。而ConvNeXt通過借鑒該模型的結(jié)構(gòu)及訓(xùn)練策略，僅使用純卷積的結(jié)構(gòu)完成了對Transformer模型的超越，從側(cè)面說明了Transformer模型在準(zhǔn)確率上的成功不一定是這類模型結(jié)構(gòu)上的先進性，可能更在于訓(xùn)練策略的正確使用。ConvNeXt主要由4個stage堆疊而來，每個stage包括一個下采樣模塊和多個ConvNeXt Block。其中第一個stage下采樣部分卷積核尺寸為4×4，步長為4，其他stage下采樣部分卷積核尺寸為2×2，步長為2，最后通過全局平均池化、層歸一化和全連接層得到結(jié)果。ConvNeXt結(jié)構(gòu)如圖1所示。

1.2" Ghost Module

Ghost Module也稱Ghost卷積，是GhostNet[15]中的主要模塊，可以用來代替常規(guī)卷積，在減少模型參數(shù)量、降低計算資源的同時保持模型的性能。在一般卷積操作中，生成的特征圖在通道方向上有部分相似的內(nèi)容，在這些相似內(nèi)容中，將某個特征稱為本征特征，其他作為該特征的Ghost特征。在Ghost卷積中將本征特征和Ghost特征的生成分離開，采用計算量更小的網(wǎng)絡(luò)單獨生成Ghost特征。Ghost卷積由主卷積和輔助卷積兩部分組成。最終將主卷積提取的本征特征與輔助卷積對本征特征提取得到的Ghost特征進行拼接，形成輸出特征圖。Ghost Module結(jié)構(gòu)如圖2所示。通過這種方式減少了特征提取過程中產(chǎn)生的冗余計算，提升了計算效率。

1.3" SimAM注意力機制

不同于SE注意力機制的一維通道注意力和CBAM中簡單將通道與空間注意力的結(jié)合，SimAM[16]注意力機制直接得到了每個神經(jīng)元的三維注意力權(quán)重。SimAM注意力機制借鑒成熟的神經(jīng)科學(xué)理論，得到神經(jīng)元的優(yōu)先級與神經(jīng)元之間的線性可分離性，其呈正相關(guān)，從而可得到神經(jīng)元“真實”三維權(quán)重的能量函數(shù)，如式（1）所示。此外，由于SimAM是通過神經(jīng)元之間的關(guān)系計算注意力權(quán)重，則避免了額外的參數(shù)學(xué)習(xí)。[et（wt，bt，xi）=1M-1i=1M-1（-1-（wtxi+bt））2+" " " " " " " " " " " "（1-（wtxi+bt））2+λw2t] （1）

式中：[et]表示得到的注意力權(quán)重；M為樣本數(shù)量；[wt]和[bt]分別表示權(quán)重和偏置；[xi]表示第i個樣本的特征向量；λ是正則化項[w2t]的系數(shù)。其中參數(shù)[wt]和[bt]有一個快速封閉形式的解決方案，無需通過迭代或其他優(yōu)化算法即可求解，如式（2）、式（3）所示。

[wt=-2（t-μt）（t-μt）2+2σ2t+2λ]" " " "（2）

[bt=-（t+μt）wt2]" " " " "（3）

式中：[μt]和[σ2t]表示除t外的所有神經(jīng)元的平均值和方差。

式（2）、式（3）的解是在單通道上得到的，基于單通道中所有像素遵循相同分布的合理假設(shè)，可以得到該通道上所有神經(jīng)元的平均值[μ]和方差[σ]。通過計算每個通道的平均值和方差并將其應(yīng)用到該通道上的所有神經(jīng)元，可大幅降低計算量。結(jié)合式（1）～式（3）最終可得到最小能量的計算公式，如公式（4）所示。能量越低，當(dāng)前神經(jīng)元與周圍神經(jīng)元的相關(guān)性越低，則其優(yōu)先級越高。因此，每個神經(jīng)元的重要性權(quán)重可通過該結(jié)果的倒數(shù)衡量。

[e*t=4（σ2+λ）（t-μ）2+2σ2+2λ]" " " " " "（4）

1.4" 模型總體架構(gòu)

為了實現(xiàn)模型的可靠性與輕量性，本文基于ConvNeXt?S模型進行改進。將模型stage1～stage4中ConvNext Block的迭代次數(shù)做不同程度的減少，由于本文任務(wù)對模型復(fù)雜度要求不高，同時為了盡可能使其輕量化，將ConvNext Block的迭代次數(shù)調(diào)整為（1，1，1，1）。其次，為進一步減少參數(shù)量，通過分析該模型每個網(wǎng)絡(luò)層計算所需的參數(shù)量，得到ConvNeXt Block中用于通道變換的卷積核計算參數(shù)量較大，故將其替換為Ghost卷積來有效減少參數(shù)量。由于Ghost卷積也可作為通用卷積使用，則下采樣模塊中的部分卷積也替換為Ghost卷積，減少冗余參數(shù)。此外，SimAM作為無參注意力機制，計算的是每個神經(jīng)元之間的相關(guān)性，并以此得到注意力權(quán)重，不額外增加計算參數(shù)。最后，在實驗過程中將其分別安插在模型每個stage的前、中、后三個不同位置，根據(jù)結(jié)果發(fā)現(xiàn)SimAM單獨放在每個stage尾部時效果最好，在不增加模型參數(shù)的情況下可以提升模型性能。最終得到改進的ConvNeXt整體結(jié)構(gòu)如圖3所示。

2" 實驗結(jié)果與分析

2.1" 數(shù)據(jù)集

為突出本文方法的可靠性，實驗對5種外觀相近的沉積巖巖屑進行分類識別，分別是礫巖、泥巖、砂巖、碳酸鹽巖和頁巖，如圖4所示。本文所用數(shù)據(jù)樣本來自某油田的十口探井的巖屑數(shù)據(jù)，其中包含巖屑圖像及專業(yè)人員對其巖性的鑒別記錄表，巖屑圖像采用高分辨率相機拍攝，圖像像素密度高達2 000 dpi。

由于原數(shù)據(jù)集樣本數(shù)量不多且類別之間存在數(shù)量不平衡問題，會導(dǎo)致模型訓(xùn)練過程中容易產(chǎn)生過擬合的現(xiàn)象，并且可能導(dǎo)致模型在不同類別之間的識別精度差距較大。為解決此類問題，本實驗通過裁剪等手段進行圖像擴充，擴充前數(shù)據(jù)集總量為1 899張，擴充后共10 994張，數(shù)據(jù)集在各種巖屑上的對比結(jié)果如表1所示。將擴充后的數(shù)據(jù)集按照8∶1∶1的比例劃分為訓(xùn)練集、驗證集和測試集。

2.2" 評價指標(biāo)

為更全面地評估模型的性能，除了計算模型總體的準(zhǔn)確率外，實驗采用混淆矩陣記錄每一類的預(yù)測情況，并以此得到模型的平均精確率（P），平均召回率（R）和F1等評價指標(biāo)，三種指標(biāo)的公式如式（5）～式（7）所示。同時考慮模型的輕量性和識別速度，對模型的參數(shù)大小和所需的浮點運算量（FLOPs）也進行了計算。

[P=1ni=1nTPTP+FP×100%]" " " "（5）

[R=1ni=1nTPTP+FN×100%]" " " " " （6）

[F1=1ni=1n2·Pi·RiPi+Ri×100%]" " " " （7）

式中：TP表示正樣本預(yù)測為正樣本的數(shù)量；FP表示負樣本預(yù)測為正樣本的數(shù)量；FN為正樣本預(yù)測為負樣本的數(shù)量；n表示樣本類別數(shù)。

2.3" 消融實驗

本文使用消融實驗的研究方法，記錄模型在每個改進步驟中的性能變化。模型改進效果對比結(jié)果如表2所示，以ConvNeXt?S作為基準(zhǔn)對比對象，該模型中ConvNeXt Block的迭代次數(shù)為（3，3，27，3），改進1將ConvNeXt?S中ConvNeXt Block迭代次數(shù)更改為（1，1，1，1），此操作大幅降低了模型參數(shù)量，但同時模型各指標(biāo)的精度略有下降；改進2將模型部分卷積操作替換為Ghost卷積，相較于原模型，參數(shù)量下降約[12]，同時總體精度提升大約1%；改進3引入SimAM注意力機制，在未增加模型參數(shù)的情況下各指標(biāo)精度都有小幅提升；最后將所有改進結(jié)合起來得到ConvNeXt?Ghost?SimAM，參數(shù)量大約僅為基準(zhǔn)模型的[112]，同時各指標(biāo)精度都有大約2%的提升。

根據(jù)消融實驗的結(jié)果，改進后的模型在準(zhǔn)確度與輕量化方面相比于ConvNeXt?S都有提升，尤其在模型參數(shù)和運算量方面。此外改進模型與原模型的Loss曲線與Accuracy曲線對比圖如圖5所示。從圖中可以看出，改進后的模型在該任務(wù)上收斂速度更快，損失值更低。

本文改進后模型在5種1 100張巖屑圖像測試集上的混淆矩陣如圖6所示。由結(jié)果可知，改進后的模型對各類巖屑都有較高的識別準(zhǔn)確率，特別對于頁巖，模型在該類別的預(yù)測值與真實值完全匹配，其他4種也只有個別錯誤預(yù)測，這體現(xiàn)了模型較強的可靠性。

2.4" 不同網(wǎng)絡(luò)模型對比

本文選取了幾種常見的網(wǎng)絡(luò)模型，包括ResNet50、Xception、VGG16和SwinTransformer，采用同樣的策略訓(xùn)練150輪，與本文方法針對準(zhǔn)確率、參數(shù)量、浮點運算量和權(quán)重文件大小進行了對比，結(jié)果如表3所示。從結(jié)果可以看出，本文改進的模型在準(zhǔn)確率上均高于其他模型，并且參數(shù)量和浮點運算量為15.44×106和0.69×109，綜合大小和計算量低于其他模型，降低了對計算機等設(shè)備的性能要求，更適合在實際中用于對巖屑巖性的識別；同時模型權(quán)重文件大小僅為15.5 MB，易于在計算資源有限的平臺中部署。

3" 結(jié)" 語

為解決錄井工作中巖屑巖性識別的效率問題，本文提出了一種輕量化的ConvNeXt網(wǎng)絡(luò)模型，最終得到以下結(jié)論。

1） 通過減少原ConvNeXt模型的網(wǎng)絡(luò)堆疊層數(shù)，在以一定精度損失為前提下大大減少了模型參數(shù)量。

2） 將原模型中的大部分普通卷積替換為Ghost卷積，該操作減少了模型的冗余參數(shù)，提升了模型的單位參數(shù)貢獻值，增加了模型識別精度。

3） 通過嵌入SimAM注意力機制有效提升了模型在各類巖屑的識別準(zhǔn)確率。

最后訓(xùn)練結(jié)果顯示，改進后的模型在測試集上的平均準(zhǔn)確率可達到99.64%，模型參數(shù)量僅為15.44×106，能以較高的效率完成巖屑巖性識別工作。下一步工作考慮進一步加強模型在其他類別巖屑上的識別能力，同時構(gòu)建如移動設(shè)備等資源有限的模型測試平臺，以此優(yōu)化模型在實際工作中的表現(xiàn)。

注：本文通訊作者為鐘寶榮。

參考文獻

[1] 王志戰(zhàn).中國石化錄井技術(shù)新進展與發(fā)展方向思考[J].石油鉆探技術(shù)，2023，51（4）：124?133.

[2] 劉凱，鄒正銀，王志章，等.基于機器學(xué)習(xí)的火山巖性智能識別及預(yù)測[J].特種油氣藏，2022，29（1）：38?45.

[3] 賴強，魏伯陽，吳煜宇，等.基于隨機森林的K?近鄰算法劃分火成巖巖性[J].特種油氣藏，2021，28（6）：62?69.

[4] 谷宇峰，張道勇，鮑志東，等.利用GS?LightGBM機器學(xué)習(xí)模型識別致密砂巖地層巖性[J].地質(zhì)科技通報，2021，40（4）：224?234.

[5] LIN N， FU J， JIANG R， et al. Lithological classification by hyperspectral images based on a two?layer XGBoost model， combined with a greedy algorithm [J]. Remote sensing， 2023， 15（15）： 3764.

[6] XIE Y， ZHU C， HU R， et al. A coarse?to?fine approach for intelligent logging lithology identification with extremely randomized trees [J]. Mathematical geosciences， 2021， 53： 859?876.

[7] 鄭遠攀，李廣陽，李曄.深度學(xué)習(xí)在圖像識別中的應(yīng)用研究綜述[J].計算機工程與應(yīng)用，2019，55（12）：20?36.

[8] 馬澤棟，馬雷，李科，等.基于巖石圖像深度學(xué)習(xí)的多尺度巖性識別[J].地質(zhì)科技通報，2022，41（6）：316?322.

[9] 武中原，張欣，張春雷，等.基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的巖性識別方法[J].巖性油氣藏，2021，33（3）：120?128.

[10] 許振浩，馬文，林鵬，等.基于巖石圖像遷移學(xué)習(xí)的巖性智能識別[J].應(yīng)用基礎(chǔ)與工程科學(xué)學(xué)報，2021，29（5）：1075?1092.

[11] LIU H， WU K， XU H， et al. Lithology classification using TASI thermal infrared hyperspectral data with convolutional neural networks [J]. Remote sensing， 2021， 13（16）： 3117.

[12] CHEN G， CHEN M， HONG G， et al. A new method of lithology classification based on convolutional neural network algorithm by utilizing drilling string vibration data [J]. Energies， 2020， 13（4）： 888.

[13] LIU Z， MAO H， WU C Y， et al. A ConvNet for the 2020s [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2022： 11976?11986.

[14] LIU Z， LIN Y， CAO Y， et al. Swin transformer： hierarchical vision transformer using shifted windows [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. [S.l.]： IEEE， 2021： 10012?10022.

[15] HAN K， WANG Y， TIAN Q， et al. GhostNet： more features from cheap operations [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle， WA， USA： IEEE， 2020： 1580?1589.

[16] YANG L， ZHANG R Y， LI L， et al. Simam： a simple， parameter?free attention module for convolutional neural networks [C]// International Conference on Machine Learning. [S.l.]： PMLR， 2021： 11863?11874.

作者簡介：楊宇軒（2000—），男，湖北天門人，碩士研究生，研究方向為機器學(xué)習(xí)與人工智能。

鐘寶榮（1963—），男，江蘇丹陽人，碩士研究生，教授，研究方向為網(wǎng)絡(luò)數(shù)據(jù)庫、機器學(xué)習(xí)與數(shù)據(jù)分析、圖形圖像處理。