程國建，張福臨

(西安石油大學(xué) 計算機(jī)學(xué)院，陜西 西安 710065)

引 言

巖石是天然產(chǎn)出的具有穩(wěn)定外型的礦物或玻璃集合體,按照一定的方式結(jié)合而成，是構(gòu)成地殼和上地幔的物質(zhì)基礎(chǔ)。大量的勘探開發(fā)實(shí)踐表明,儲層的微觀孔隙結(jié)構(gòu)直接影響著儲層的儲集滲流能力,并最終決定著氣藏的產(chǎn)能。因此,研究低滲氣藏的微觀孔隙結(jié)構(gòu)具有重要的現(xiàn)實(shí)意義。巖石薄片分析是地質(zhì)研究中的重要部分。傳統(tǒng)方法是人工用顯微鏡對巖石薄片圖像進(jìn)行識別、分析、鑒定,但其存在耗時長、人力投入大、準(zhǔn)確度低等問題。因此,利用人工智能及深度學(xué)習(xí)對巖石薄片進(jìn)行超分辨率重建與研究具有重要意義。

近年來,隨著硬件設(shè)備和深度學(xué)習(xí)的快速發(fā)展,諸多學(xué)者在圖像處理方面做了更加深入的研究。2014年,Dong Chao等[1]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于超分辨率重建上,提出基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率(SRCNN)算法,將圖像特征從低分辨率空間非線性映射到高分辨率空間,重建效果優(yōu)于其他傳統(tǒng)算法。2016年,Dong Chao 等[2]改進(jìn)了SRCNN算法,提出了FSRCNN算法,其不需要在網(wǎng)絡(luò)外部進(jìn)行放大圖片尺寸的操作,同時通過添加收縮層和擴(kuò)張層,將一個大層用一些小層來代替,提升了超分辨率重建速度；Shi等[3]提出了一種直接在低分辨率圖像尺寸上提取特征,計算得到高分辨率圖像的高效方法(ESPCN)；Kim等[4]加深了卷積層數(shù),提出了一個20層的深度卷積神經(jīng)網(wǎng)絡(luò)模型(VDSR),提高了圖像的重建質(zhì)量；同年,Kim 等[5]又提出了基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建(DRCN),加深了網(wǎng)絡(luò)結(jié)構(gòu)(16個遞歸),增加了網(wǎng)絡(luò)感受野,提升了性能。2017年,Ledig等[6]首次將 GAN 應(yīng)用到超分辨率重建上,提出了基于生成對抗網(wǎng)絡(luò)的超分辨率重建(SRGAN),視覺效果逼真。

在巖石圖像研究方面,2016年,程國建等[7]將深度學(xué)習(xí)應(yīng)用到巖石圖像處理中,證明深度學(xué)習(xí)方法在巖石圖像中應(yīng)用的可行性；隨后,程國建、郭文惠、范鵬召等[8-9]將卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)應(yīng)用于巖石圖像分類,訓(xùn)練的分類模型準(zhǔn)確率分別達(dá)到98.5%和94.75%。2019年,程國建、魏珺潔[10]將K-Means的顏色量化算法應(yīng)用于巖石圖像預(yù)處理,更好地反映巖石圖像的顏色特征。

本文將單圖像生成式對抗網(wǎng)絡(luò)應(yīng)用于巖石圖像超分辨率重建中,該模型不需大量的數(shù)據(jù)集,無需人工提取圖像特征,最終達(dá)到對單張巖石薄片圖像進(jìn)行超分辨率重建的目的。

1 巖石鑄體薄片圖像

在石油地質(zhì)行業(yè)中,通常使用巖石薄片研究地質(zhì)油氣分布情況。鑄體薄片是將帶色的有機(jī)玻璃或環(huán)氧樹脂注入巖石的孔隙裂縫中,待樹脂凝固后,再將巖心切片放在顯微鏡下觀察,用以研究巖心薄片中的面孔率、孔喉類型、連通性、孔喉配位數(shù)以及碎屑組分等。本文實(shí)驗使用來自鄂爾多斯盆地致密砂巖儲層微觀尺度智能化表征項目中偏光顯微鏡下拍攝的巖石鑄體薄片圖像作為數(shù)據(jù)集。

2 相關(guān)理論與方法

2.1 生成式對抗網(wǎng)絡(luò)

Ian J.Goodfellow等[11]提出了一個通過對抗過程估計生成模型的新框架，Generative Adversarial Networks。框架中同時訓(xùn)練2個模型：捕獲數(shù)據(jù)分布的生成模型G和估計樣本來自訓(xùn)練數(shù)據(jù)的概率的判別模型D。G的訓(xùn)練程序是將D錯誤的概率最大化[12]。這個框架對應(yīng)一個最大值集下限的雙方對抗游戲?？梢宰C明在任意函數(shù)G和D的空間中，存在唯一的解決方案，使得G重現(xiàn)訓(xùn)練數(shù)據(jù)分布，而D=0.5。在G和D由多層感知器定義的情況下，整個系統(tǒng)可以用反向傳播進(jìn)行訓(xùn)練。在訓(xùn)練或生成樣本期間，不需要任何馬爾科夫鏈或展開的近似推理網(wǎng)絡(luò)。實(shí)驗通過對生成的樣品的定性和定量評估證明了本框架的潛力。生成式對抗網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖1所示。

2.2 單圖像生成對抗網(wǎng)絡(luò)

單圖像生成對抗網(wǎng)絡(luò)(SinGAN)是Tamar Rott Shaham等[13]在 2019 年提出的一種深度學(xué)習(xí)網(wǎng)絡(luò)模型。一般來說訓(xùn)練GAN來生成圖像,至少需要有成千上萬的訓(xùn)練數(shù)據(jù)才可能有不錯的效果。而它能夠從單張自然圖像中學(xué)習(xí),是一種無監(jiān)督的生成模型,訓(xùn)練后的SinGAN可以接受一個隨機(jī)噪聲的輸入。SinGAN可以生成新的具有真實(shí)感的圖像樣本,在保留了原始的圖像塊分布的基礎(chǔ)上,創(chuàng)造了新的物體外形和結(jié)構(gòu)。

2.3 單圖像生成對抗網(wǎng)絡(luò)原理及結(jié)構(gòu)

單圖像生成對抗網(wǎng)絡(luò)是一個可以從單張自然圖像學(xué)習(xí)的非條件性生成式模型。這個模型可以捕捉給定圖像中各個小塊內(nèi)的內(nèi)在分布,接著就能夠生成帶有和給定圖像中的視覺內(nèi)容相同的高質(zhì)量且多樣的新圖像。這個任務(wù)在概念上與傳統(tǒng)的GAN設(shè)定類似,只是這里的訓(xùn)練樣本是單個圖像的patch,而不是來自數(shù)據(jù)庫的整個圖像樣本。而且在圖像的類別上不局限于一些特定圖片,而是要處理包含復(fù)雜結(jié)構(gòu)和紋理的一般自然圖像,這就需要獲取圖像更多尺度上的內(nèi)部信息。這是通過一個由全卷積的輕量級GANs組成的金字塔來實(shí)現(xiàn)的,每個GANs負(fù)責(zé)捕獲不同規(guī)模的patch分布。如圖2所示。

圖2 SinGAN的基本結(jié)構(gòu)Fig.2 The basic structure of SinGAN

SinGAN的結(jié)構(gòu)是多個全卷積GANs{G0,G1,…,GN}組成的金字塔,這些全卷積GANs都負(fù)責(zé)學(xué)習(xí)圖像{x0,x1,…,xN}中的某個小塊中的內(nèi)部信息,不同的GANs學(xué)習(xí)的小塊的大小不同,從粗糙到細(xì)致、從低分辨率到高分辨率逐步生成新圖像。這些新圖像在具有給定的訓(xùn)練圖像的全局結(jié)構(gòu)和細(xì)節(jié)紋理的同時,還可以有很高的可變性。在這些全卷積GANs中,每個生成器GN都會生成真實(shí)圖像xN的權(quán)重與偏置。圖像樣本從最粗的尺度開始,加入噪聲ZN,依次通過所有生成器GN,得到圖像xN,將圖像xN放大r倍后,加入另外一個噪聲ZN-1,一并輸入生成器GN-1,生成更多細(xì)節(jié)的圖像xN-1,以此類推,直到最細(xì)的尺度,生成具有豐富細(xì)節(jié)的圖像x0。其基本公式如下：

(1)

(2)

SinGAN超分辨率重建的原理是,在低分辨率圖像上訓(xùn)練模型,重建損失權(quán)重為α= 100,金字塔比例因子為

(3)

由于小型結(jié)構(gòu)往往會在自然圖像中重復(fù)出現(xiàn),因此將圖像上采樣r倍(見式(2)),并將其(連同噪聲)注入最后一個生成器G0,學(xué)習(xí)生成圖像樣本,重復(fù)此k次以獲得最終的高分辨率輸出。判別器DN都是基于patch判斷的,從DN直到D0層。

3 實(shí)驗及結(jié)果分析

3.1 實(shí)驗環(huán)境

本實(shí)驗采用PyTorch深度學(xué)習(xí)框架,使用GPU對處理過程加速,實(shí)驗所用到的軟硬件環(huán)境見表1。

表1 實(shí)驗環(huán)境Tab.1 Experimental environment

3.2 實(shí)驗結(jié)果

實(shí)驗從鄂爾多斯盆地致密砂巖數(shù)據(jù)集中隨機(jī)選取了6幅大小為256×256分辨率的巖石圖像。進(jìn)行兩組實(shí)驗,第一組以不同碎屑粒徑的砂巖鑄體薄片圖像為數(shù)據(jù)集進(jìn)行實(shí)驗,第二組以不同孔隙類型的砂巖鑄體薄片圖像為數(shù)據(jù)集進(jìn)行實(shí)驗。

實(shí)驗一，按照砂巖碎屑的粒徑大小將砂巖圖像分為3類：粗粒砂巖、中粒砂巖、細(xì)粒砂巖。粗粒砂巖的碎屑粒徑主要在0.5～2.0 mm之間,巖石碎屑主要呈橢圓狀、棱角狀,碎屑分布稀疏,連通性好。中粒砂巖的碎屑粒徑主要在0.1～0.2 mm之間,巖石碎屑主要呈次棱角狀、棱角狀,分布較稀疏,孔隙清晰可見。細(xì)粒砂巖的碎屑粒徑主要在0.062 5～0.100 0 mm之間。實(shí)驗結(jié)果如圖3—圖5所示,這3幅圖的左圖為實(shí)驗原圖,中間為實(shí)驗原圖標(biāo)記區(qū)域圖,右邊為將實(shí)驗原圖超分辨率重建結(jié)果圖，對應(yīng)原圖標(biāo)記區(qū)域。

圖3 粗粒砂巖圖像重建結(jié)果Fig.3 Image reconstruction result of coarse sandstone

圖4 中粒砂巖圖像重建結(jié)果Fig.4 Image reconstruction result of medium grained sandstone

圖5 細(xì)粒砂巖圖像重建結(jié)果Fig.5 Image reconstruction result of fine sandstone

對比輸入圖與結(jié)果圖,在輸入圖中,3種類型的巖石圖像較模糊,且紋理信息不明顯,碎屑邊緣部分平滑。經(jīng)過SinGAN重建之后的圖像,總體質(zhì)量明顯提升,邊緣部分的細(xì)節(jié)更加清晰,碎屑紋理突出。

實(shí)驗二，按照砂巖孔隙的類型將砂巖圖像分為3類：粒間孔隙、晶間孔隙、溶蝕孔隙。粒間孔隙是在碎屑顆粒、基質(zhì)及膠結(jié)物之間的孔隙空間,它是碎屑巖中最大量及最主要的儲集空間。晶間孔隙是鹽酸鹽礦物晶體之間的孔隙。溶蝕孔隙指由碎屑顆粒、基質(zhì)、自生礦物膠結(jié)物或交代礦物中的可溶組分被溶解形成的孔隙。實(shí)驗結(jié)果如圖6—圖8所示。

對比輸入圖與結(jié)果圖,在輸入圖中,3種類型的孔隙圖像較模糊,且孔隙的細(xì)節(jié)信息不明顯,孔隙間的物質(zhì)不夠清晰。經(jīng)過SinGAN重建之后的圖像,總體質(zhì)量明顯提升,孔隙的細(xì)節(jié)信息突出,紋理結(jié)構(gòu)更突出。由上述圖像可以看出,基于單圖像生成式對抗網(wǎng)絡(luò)的超分辨率重建結(jié)果的圖像質(zhì)量均有明顯的提升,紋理結(jié)構(gòu)更加清晰,細(xì)節(jié)信息更加明顯,有利于研究人員的后續(xù)研究。

圖6 粒間孔隙圖像重建結(jié)果Fig.6 Image reconstruction result of intergranular pores

圖7 晶間孔隙圖像重建結(jié)果Fig.7 Image reconstruction result of intercrystalline pores

圖8 溶蝕孔隙圖像重建結(jié)果Fig.8 Image reconstruction result of dissolution pores

實(shí)驗三，利用雙三次插值(Bicubic)、SRCNN、VDSR、DRCN、SRGAN對巖石薄片圖像進(jìn)行超分辨率重建，將重建結(jié)果與本文方法結(jié)果進(jìn)行對比。結(jié)果如圖9所示。

圖9 中粒砂巖圖像不同方法重建結(jié)果Fig.9 Image reconstruction results of medium grained sandstone with different methods

3.3 實(shí)驗結(jié)果分析

3.3.1 PSNR和SSIM

本實(shí)驗采用峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM作為評價指標(biāo)。

(4)

(5)

式中：MSE表示當(dāng)前圖像X和圖像Y的均方誤差；H、W分別為圖像的高度和寬度；n為每像素的比特數(shù),一般取8,即像素灰階數(shù)為256。PSNR的數(shù)值越大表示失真越小。

SSIM基于樣本X和Y之間的3個量(亮度l、對比度c和結(jié)構(gòu)s)的比較進(jìn)行衡量。

(6)

其中C1=(K1L)2；

(7)

(8)

其中C2=(K2L)2；

(9)

(10)

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)。

(11)

式中：μX為X的均值,μY為Y的均值,σX為X的方差,σY為Y的方差,σXY為X和Y的協(xié)方差；C1、C2、C3是為了防止出現(xiàn)分母為零的情況,其中K1?1，是一個常數(shù)，具體代碼中的取值為0.01,K2一般在代碼中取0.03,C3取C2的一半,L為灰度的動態(tài)范圍，由圖像的數(shù)據(jù)類型決定，如果數(shù)據(jù)為uint8型，則L=255。SSIM取值范圍[0,1], 值越大,表示圖像失真越小。

表2為6張圖像超分辨率重建質(zhì)量評價結(jié)果。

表2 圖像超分辨率重建質(zhì)量評價結(jié)果Fig.2 Evaluation result of super-resolution reconstruction of rock images

表3為6張圖像使用不同方法超分辨率重建評平均的質(zhì)量評價結(jié)果。

表3 不同方法的質(zhì)量評價結(jié)果對比Tab.3 Comparison of super-resolution quality evaluation results of images using different methods

從PSNR和SSIM數(shù)據(jù)可以看出,SinGAN的重建效果較好,也比較穩(wěn)定。

3.3.2 孔隙率

本實(shí)驗利用ImageJ工具對實(shí)驗原始輸入圖、輸出圖分別計算孔隙率,結(jié)果見表4。

表4 圖像孔隙率對比Tab.4 Image porosity comparison

可以看出經(jīng)過SinGAN超分辨率重建后,由于圖像變得更加清晰,紋理更加細(xì)致,細(xì)節(jié)信息更加明顯，巖石圖像的孔隙率都有一定程度的提升。

4 結(jié) 論

將單圖像生成式對抗網(wǎng)絡(luò)應(yīng)用到巖石薄片圖像超分辨率重建中,該方法直接輸入單張原始圖像的數(shù)據(jù),由SinGAN網(wǎng)絡(luò)自動提取特征,SinGAN特有的金字塔式結(jié)構(gòu),使得每一層網(wǎng)絡(luò)能學(xué)習(xí)到前一層確實(shí)的細(xì)節(jié)。實(shí)驗結(jié)果表明在視覺上和評價指標(biāo)上,均具有良好效果。下一步工作,調(diào)整圖像重建部分的函數(shù),使網(wǎng)絡(luò)達(dá)到更好的效果，以及將SinGAN網(wǎng)絡(luò)應(yīng)用于巖石薄片圖像的多狀態(tài)生成。