林海濤，鄭群浩，林嘉儀，陳沛逸

（韓山師范學(xué)院 數(shù)學(xué)與統(tǒng)計學(xué)院，廣東 潮州 521041）

0 引 言

巖石樣本的識別與分類是地質(zhì)分析與資源勘探的重要任務(wù)之一，正確識別巖石類別對后期地質(zhì)資源開發(fā)有重大的意義。傳統(tǒng)的巖石樣本識別的方法主要有重磁、測井、地震、遙感、電磁等，這些方法需要花費更多的人力、物力、財力資源，同時受限于實驗設(shè)備的專業(yè)性和研究人員的理論水平。因此，如何高效、準(zhǔn)確和智能地識別巖石樣本，是當(dāng)今眾多技術(shù)轉(zhuǎn)型升級的新趨勢。大數(shù)據(jù)時代的到來以及人工智能的發(fā)展，促使學(xué)者們將巖石類別識別方法的研究重心轉(zhuǎn)移到機器學(xué)習(xí)上。例如Singh 等人利用多層感知機模型對玄武巖巖石薄片圖像數(shù)據(jù)進行分類；M?ynarczuk等人利用k 最近鄰方法對巖石圖片進行分類；LIU Y 等人提出基于圖像色彩空間和人工神經(jīng)網(wǎng)絡(luò)的巖石分類模型，并在使用鄂爾多斯盆地的巖石圖像上達到95%的識別準(zhǔn)確率；李燕等基于深度學(xué)習(xí)建立巖石新鮮剖面圖像自動識別模型，并實現(xiàn)了野外離線條件下的巖石巖性自動識別。

盡管機器學(xué)習(xí)方法在巖石圖像分類取得了較大進展和突破，但是在實際應(yīng)用中仍然面臨著某些局限性。例如構(gòu)建神經(jīng)網(wǎng)絡(luò)需要大量的參數(shù)，而且結(jié)構(gòu)龐大復(fù)雜，訓(xùn)練速度慢；傳統(tǒng)模型的參數(shù)需要手動調(diào)參，并且對數(shù)據(jù)的依賴性強。因而，本文考慮另一種深度學(xué)習(xí)模型，稱為RegNet 網(wǎng)絡(luò)結(jié)構(gòu)。RegNet 網(wǎng)絡(luò)是一種基于NAS（Neural Architecture Search）網(wǎng)絡(luò)搜索技術(shù)的深度學(xué)習(xí)模型。該模型通過探索網(wǎng)絡(luò)設(shè)計的空間特征，自動獲取模型的最優(yōu)參數(shù)組合，從而在巖性分類上表現(xiàn)出良好的性能。

1 數(shù)據(jù)集及數(shù)據(jù)預(yù)處理

1.1 數(shù)據(jù)集

本文采用第九屆“泰迪杯”巖石樣本的圖像數(shù)據(jù)。巖石圖像的類型包括：黑色煤、灰黑色泥巖、灰色泥質(zhì)粉砂巖、灰色細砂巖、淺灰色細砂巖、深灰色粉砂質(zhì)泥巖、深灰色泥巖等，其基本信息如表1所示。

表1 原始數(shù)據(jù)分布

圖1是在暗箱內(nèi)白光環(huán)境下拍攝的巖石圖像。從圖片可以獲取不同類別巖石的顏色、紋理、粒度等特征。

圖1 巖石樣本

根據(jù)現(xiàn)有數(shù)據(jù)集的特點，有三個方面的問題需要解決：

首先，現(xiàn)有數(shù)據(jù)量較少。深度學(xué)習(xí)模型往往需要大量的樣本進行訓(xùn)練，而現(xiàn)有數(shù)據(jù)集的數(shù)量僅有315 張，這極不利于模型的學(xué)習(xí)訓(xùn)練。

其次，現(xiàn)有數(shù)據(jù)集是不平衡的，即某些類巖性的圖片較多（例如淺灰色細砂巖85 張），而某些巖性的圖片很少（例如灰色細砂巖18 張）。數(shù)據(jù)的類不平衡將導(dǎo)致分類模型對多數(shù)類特征的關(guān)注而忽視了少數(shù)類的特征，從而造成少數(shù)類的召回率不高。因而，我們需要平衡各個類別的數(shù)據(jù)，再進行模型訓(xùn)練。

最后，數(shù)據(jù)集中可能存在錯誤標(biāo)簽的數(shù)據(jù)。錯標(biāo)識的數(shù)據(jù)將導(dǎo)致模型的識別率不高，因而需要在訓(xùn)練前找出并剔除。在數(shù)據(jù)預(yù)處理階段，我們將逐一解決。

1.2 數(shù)據(jù)預(yù)處理

1.2.1 置信學(xué)習(xí)

對于訓(xùn)練集，可能存在類別被錯誤標(biāo)簽的原始數(shù)據(jù)。錯誤標(biāo)簽作為噪點，將會對模型的性能產(chǎn)生負面影響。因而我們首先采用置信學(xué)習(xí)方法將其剔除。置信學(xué)習(xí)是一種新興的、具有原則性的框架，以識別標(biāo)簽錯誤、表征標(biāo)簽噪聲并應(yīng)用于帶噪學(xué)習(xí)，它不依賴模型。其基本步驟包括：估計噪聲標(biāo)簽和真實標(biāo)簽的聯(lián)合分布；找出并過濾掉錯誤樣本；重新調(diào)整樣本類別權(quán)重并重新訓(xùn)練。

本文使用置信學(xué)習(xí)開源工具cleanlab，計算其聯(lián)合分布矩陣，通過10 折交叉驗證得到這些帶噪數(shù)據(jù)。這些數(shù)據(jù)將視為被錯誤標(biāo)簽的樣本如表2所示，并從原數(shù)據(jù)集中剔除。根據(jù)置信學(xué)習(xí)的預(yù)測結(jié)果，我們還可以得到帶噪數(shù)據(jù)的預(yù)測標(biāo)簽，圖2給出了部分帶噪數(shù)據(jù)及其預(yù)測標(biāo)簽。

表2 帶噪數(shù)據(jù)

圖2 帶噪數(shù)據(jù)樣本及其預(yù)測標(biāo)簽

1.2.2 數(shù)據(jù)增強和數(shù)據(jù)類不平衡的處理

經(jīng)過置信學(xué)習(xí)剔除錯誤標(biāo)簽數(shù)據(jù)后的數(shù)據(jù)集規(guī)模仍太小。事實上，數(shù)據(jù)集中僅有315 張白光環(huán)境下的巖石圖片，剔除后僅為209 張。由于數(shù)據(jù)小，用其訓(xùn)練的模型容易出現(xiàn)模型泛化能力差、魯棒性較低等問題。另外，現(xiàn)有數(shù)據(jù)集是不平衡的，即某些類別的圖片較多，而某些類別的圖片很少，這對模型的預(yù)測能力產(chǎn)生負面影響。因而，本文采用數(shù)據(jù)增強方法，產(chǎn)生更多的訓(xùn)練數(shù)據(jù)集。

數(shù)據(jù)增強（Data Augmentation）是在不實質(zhì)性的增加數(shù)據(jù)的情況下，從原始數(shù)據(jù)加工出更多的表示，提高原數(shù)據(jù)的數(shù)量及質(zhì)量，以接近于更多數(shù)據(jù)量產(chǎn)生的價值。本文首先獲取80%的數(shù)據(jù)人生為訓(xùn)練集，剩下20%的數(shù)據(jù)作為測試集。通過常規(guī)的圖像裁剪、旋轉(zhuǎn)、縮放等數(shù)據(jù)增強方法，分別對訓(xùn)練集和測試集進行擴增巖。這里，增強后的訓(xùn)練集數(shù)據(jù)是由原訓(xùn)練集的數(shù)據(jù)得到，而測試集的增強數(shù)據(jù)由原測試集得到。而因，訓(xùn)練集和測試集不同源、不相交。同時，對增強的數(shù)據(jù)，我們進行數(shù)據(jù)歸一化與標(biāo)準(zhǔn)化，緩解了數(shù)據(jù)分布之間的差異性，最終得到各類巖石樣本數(shù)量如表3所示。

表3 各類巖石樣本在數(shù)據(jù)增強前后的數(shù)量

1.3 性能度量

為了度量模型的性能，我們需要定義一些性能指標(biāo)。根據(jù)巖石分類任務(wù)，我們將分別計算模型的準(zhǔn)確率、各種巖石類型的召回率和查準(zhǔn)率。這些概念需要通過混淆矩陣進行定義和計算。

設(shè)測試集中共有個類別，則混淆矩陣定義為表4。其中，a表示第類被預(yù)測為第類的數(shù)量。

表4 多分類的混淆矩陣

則模型的準(zhǔn)確率（Accuracy）定義為：

第類的召回率（Recall）定義為：

第類的查準(zhǔn)率（Precision）定義為：

準(zhǔn)確率表示正確被預(yù)測的巖石樣本數(shù)量與總體樣本數(shù)量的比率，反映了模型的總體識別效果；召回率表示某種類型的巖石樣本被正確識別數(shù)量與這種類型的巖石樣本總數(shù)的比率，它反映模型預(yù)測該樣本的全面性，因此被稱為查全率；查準(zhǔn)率表示某種類型的巖石樣本被正確識別數(shù)量與預(yù)測為這種巖石樣本總數(shù)（包括正確預(yù)測和錯誤預(yù)測）的比率，它反映模型預(yù)測該樣本的準(zhǔn)確性。

2 模型建立

對巖石巖性的識別，不僅需要考慮巖石的一般特征（如顏色特征、形狀特征等），還需要考慮其深層特征（如紋理特征、粒度特征等）。采用深度學(xué)習(xí)特別是卷積神經(jīng)網(wǎng)絡(luò)能夠提取這些特選，包括一般特征和抽象特征。但深度學(xué)習(xí)網(wǎng)絡(luò)模型的構(gòu)造是一個難點，需要手動設(shè)計并選擇恰當(dāng)?shù)膮?shù)。通常通過加深網(wǎng)絡(luò)深度的方法使模型獲取到更豐富的抽象特征，但隨著網(wǎng)絡(luò)設(shè)計深度和參數(shù)的增加，手動設(shè)計神經(jīng)網(wǎng)絡(luò)模型精度會達到飽和后迅速下降。因而，本文采用何凱明團隊提出的RegNet 網(wǎng)絡(luò)進行識別。該網(wǎng)絡(luò)采用NAS 網(wǎng)絡(luò)搜索技術(shù)，從一個給定的原始設(shè)計空間一步步探索出最終的RegNet 空間。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 RegNet 網(wǎng)絡(luò)結(jié)構(gòu)及其子結(jié)構(gòu)

RegNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖3（a），包括三部分：stem、body 以及head。其中第一部分稱為stem，是普通的卷積層，其輸入為巖石圖片，大小為3××；其卷積核大小為3×3，步幅為2，卷積核個數(shù)為32。第三部分是head，head是分類網(wǎng)絡(luò)中常見的分離器，由一個全局平均池化層和全連接層構(gòu)成。而第二部分是網(wǎng)絡(luò)中最主要的body 圖3（b），因為網(wǎng)絡(luò)的精度和速度主要依賴于body 部分，body 由4 個stage 堆疊組成，而stage 是由一系列block 堆疊組成圖3（c）。每一個block 結(jié)構(gòu)圖3（d）都是由一個1×1 的卷積、一個3×3 的group 卷積、再接一個1×1 的卷積組成。RegNet 網(wǎng)絡(luò)結(jié)構(gòu)龐大復(fù)雜，其基本結(jié)構(gòu)是block 塊。由堆疊的block層層提取巖石特征向量，再通過不斷搜索最優(yōu)的網(wǎng)絡(luò)設(shè)計空間，從而獲取到一組性能好的網(wǎng)絡(luò)模型。

RegNet 以巖石圖片為輸入，通過body 結(jié)構(gòu)流進各個stage，其關(guān)鍵操作是stage 中的每一個block 對深度特征的提取。Block 塊通過卷積操作提取巖石的特征向量，再將其作為下一個block 的輸入，最終根據(jù)巖石的類別得分預(yù)測其對應(yīng)的巖性。

3 模型訓(xùn)練及結(jié)果分析

3.1 模型訓(xùn)練

如果獨立訓(xùn)練RegNet 網(wǎng)絡(luò)，則模型需要大量的巖石圖像作為訓(xùn)練數(shù)據(jù)，同時由于網(wǎng)絡(luò)復(fù)雜，需要較長的訓(xùn)練時間，對計算機的算力也提出了較高要求。因而，為實現(xiàn)RegNet模型快速且有效的訓(xùn)練，本文利用遷移學(xué)習(xí)技術(shù)。遷移學(xué)習(xí)是一種機器學(xué)習(xí)方法，是通過從已學(xué)習(xí)的相關(guān)任務(wù)中轉(zhuǎn)移知識來改進學(xué)習(xí)的新任務(wù)。在傳統(tǒng)機器學(xué)習(xí)的學(xué)習(xí)過程中，我們試圖單獨學(xué)習(xí)每一個學(xué)習(xí)任務(wù)；而遷移學(xué)習(xí)試圖將在前面任務(wù)上學(xué)到的知識轉(zhuǎn)移到當(dāng)前的學(xué)習(xí)任務(wù)上，從而將其結(jié)合起來。具體地，本文基于RegNet 在ImageNet 數(shù)據(jù)集上已經(jīng)預(yù)訓(xùn)練的模型，利用遷移學(xué)習(xí)技術(shù)在對巖石圖片數(shù)據(jù)集上訓(xùn)練，使得模型在訓(xùn)練之初能夠共享已有模型參數(shù)信息，并通過微調(diào)權(quán)重和超參數(shù)，較快地實現(xiàn)了巖性智能識別的RegNet 模型。

訓(xùn)練過程中，本文設(shè)置了學(xué)習(xí)率衰減，使模型在訓(xùn)練集和測試集上很快達到收斂，并且達到比較滿意的準(zhǔn)確率。圖4顯示了，RegNet 模型在訓(xùn)練過程收斂至一個較好的水平，并且在訓(xùn)練集上的準(zhǔn)確率達到96.99%，在測試集上的準(zhǔn)確率達到88.94%。

圖4 模型在測試集上的準(zhǔn)確率

3.2 結(jié)果分析

模型在測試集上的混淆矩陣如圖5所示，并可得到模型的識別率以及各類型的召回率和查準(zhǔn)率如表5所示。

圖5 模型在測試集上的混淆矩陣

表5 模型在測試集中的召回率、查準(zhǔn)率和準(zhǔn)確率

從總體上看，模型的整體擬合效果較好，準(zhǔn)確率達到88.94%。從召回率上看，灰色細砂巖和深灰色粉砂質(zhì)泥巖都高達100%，而灰黑色泥巖和淺灰色細砂巖的召回率也達到90%以上；從查準(zhǔn)率上看，黑色煤和深灰色粉砂質(zhì)泥巖都達到了100%，灰黑色泥巖和灰色細砂巖也達到95.00%以上。特別地，模型對深灰色粉砂質(zhì)泥巖的召回率和查準(zhǔn)率都達到100%。模型唯一對灰色泥質(zhì)粉砂巖的識別率不高，其查準(zhǔn)率和召回率僅在65.00%～70.00%之前，這可能是因為此類巖石樣本差異較大，也可能是因為此類巖石特征與其他類巖石較為相似（見圖1），導(dǎo)致模型學(xué)習(xí)此類的特征難度較大，無法較好地識別此類巖石。

4 結(jié) 論

本文建立了基于Regnet網(wǎng)絡(luò)的巖石巖性智能識別模型。在預(yù)處理階段，本文針對錯標(biāo)識的樣本，使用置信學(xué)習(xí)進行剔除；針對數(shù)據(jù)量少、數(shù)據(jù)不平衡等問題，采用數(shù)據(jù)增強算法產(chǎn)生訓(xùn)練數(shù)據(jù)。在訓(xùn)練階段，本文采用遷移學(xué)習(xí)技巧，較快訓(xùn)練出Regnet 模型，并且該模型的具有較高的召回率和查準(zhǔn)率，實現(xiàn)巖石巖性的智能識別。本文所實現(xiàn)的巖石巖性智能識別，可推廣至地質(zhì)勘探、油氣勘探等巖石資源開發(fā)領(lǐng)域中，降低專業(yè)人員培養(yǎng)的周期和成本，做到更高效、精準(zhǔn)的智能識別巖石樣本，為地質(zhì)資源開發(fā)提供精準(zhǔn)信息和便捷服務(wù)。