曹茂俊,馮 昊

(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,黑龍江 大慶 163318)

0 引 言

微電阻率成像測(cè)井通過(guò)將電極板推向井眼,可以測(cè)量井眼周向的電導(dǎo)率,并通過(guò)彩色標(biāo)記標(biāo)定得到井眼周向的二維圖像,可以清晰地表征地層裂縫、層理、溶洞、韻律等沉積與儲(chǔ)層信息,具有常規(guī)測(cè)井無(wú)法比擬的優(yōu)勢(shì),在解釋評(píng)價(jià)油氣儲(chǔ)層方面發(fā)揮著越來(lái)越重要的作用[1]。然而,在實(shí)際測(cè)井過(guò)程中,由于電子線路故障及電纜的彈性和儀器在井下所受的各種阻塞作用,成像測(cè)井圖像有時(shí)會(huì)出現(xiàn)“壞極板”現(xiàn)象,使得測(cè)得的某極板電扣曲線部分缺失,這將導(dǎo)致缺失的部分井眼區(qū)域在成像測(cè)井圖像中呈現(xiàn)上下連通缺失,不利于后續(xù)成像測(cè)井圖像的解釋。因此,為了提供完整的地質(zhì)信息,必須要對(duì)成像測(cè)井圖像進(jìn)行修復(fù)。

為了更好地填充成像測(cè)井圖像的缺失部分,該文提出基于改進(jìn)U-Net卷積神經(jīng)網(wǎng)絡(luò)的成像測(cè)井圖像修復(fù)方法。在樣本預(yù)處理過(guò)程中對(duì)圖像進(jìn)行標(biāo)注,生成掩膜圖像,模型引入可學(xué)習(xí)的雙向注意力圖模塊,用于學(xué)習(xí)特征再規(guī)范化和掩碼(mask)更新,得益于端到端的訓(xùn)練,可學(xué)習(xí)的雙向注意力圖模塊能夠有效地適應(yīng)上下連通形狀的缺失和卷積層的傳播。以大慶油田某工區(qū)水平井成像測(cè)井?dāng)?shù)據(jù)為例,根據(jù)已知水平井的成像測(cè)井圖像通過(guò)使用基于改進(jìn)U-Net卷積神經(jīng)網(wǎng)絡(luò)方法修復(fù)缺失的區(qū)域。

1 預(yù)備知識(shí)

1.1 傳統(tǒng)U-Net卷積神經(jīng)網(wǎng)絡(luò)

2015年由Long等人[2]在卷積神經(jīng)網(wǎng)絡(luò)CNN基礎(chǔ)上進(jìn)行改進(jìn),提出全卷積神經(jīng)網(wǎng)絡(luò)FCN。FCN為使輸出圖像的尺寸大小與輸入時(shí)相同,實(shí)現(xiàn)網(wǎng)絡(luò)端到端的訓(xùn)練,在模型中使用卷積層替代CNN的全連接層,對(duì)特征圖進(jìn)行上采樣,恢復(fù)原圖尺寸。FCN證明了卷積神經(jīng)網(wǎng)絡(luò)采用端到端、像素到像素的訓(xùn)練方式在語(yǔ)義分割的計(jì)算效率和預(yù)測(cè)性能方面有較明顯的效果提升,為后續(xù)圖像識(shí)別、圖像修復(fù)的發(fā)展提高了研究方向和思路。

而傳統(tǒng)U-Net網(wǎng)絡(luò)是由Ronneberger等人[3]在全卷積神經(jīng)網(wǎng)絡(luò)FCN的架構(gòu)基礎(chǔ)上改進(jìn)得到的一種較FCN更加輕量的網(wǎng)絡(luò)模型,其網(wǎng)絡(luò)結(jié)構(gòu)由編碼器(下采樣)和解碼器(上采樣)兩部分組成[4-5]。編碼器下采樣模塊包含4個(gè)下采樣層,對(duì)于每一層網(wǎng)絡(luò)進(jìn)行下采樣操作后,特征圖通道數(shù)翻倍,但尺寸大小減半。每層下采樣均包含2個(gè)3*3的卷積核及1個(gè)2*2的最大池化層,同時(shí)采用ReLU作為激活函數(shù)。解碼器模塊與編碼器模塊相似,區(qū)別在于解碼器模塊為上采樣操作,用于修復(fù)圖像和恢復(fù)圖像尺寸,在最后一層中用1個(gè)大小為1*1的卷積核,其主要作用是將特征向量可以與輸出層進(jìn)行映射。傳統(tǒng)U-Net模型結(jié)構(gòu)如圖1所示。

圖1 傳統(tǒng)U-Net網(wǎng)絡(luò)架構(gòu)

1.2 混合空洞卷積

空洞卷積[6]又名擴(kuò)張卷積,最先見(jiàn)于語(yǔ)義分割任務(wù)中,主要用于在圖像分割算法中使用卷積層和池化層來(lái)增加感受野,相較于標(biāo)準(zhǔn)卷積,空洞卷積會(huì)有一個(gè)用于調(diào)整卷積核的感受野來(lái)捕獲多尺度信息的超參數(shù),被稱作擴(kuò)張率。該文所需數(shù)據(jù)為圖像,在此只討論二維空洞卷積。

當(dāng)K為3*3的卷積核時(shí),二維空洞卷積的感受野會(huì)隨著擴(kuò)張率的不同而變化。經(jīng)過(guò)空洞卷積計(jì)算后,可以得到輸出圖像的尺寸計(jì)算形式為：

K'=(K-1)×(d-1)+K

(1)

(2)

其中,d為擴(kuò)張率,K為初始卷積核大小,o為輸出特征圖尺寸,i為輸入圖像尺寸,K'為卷積核大小,P為padding大小,S為步長(zhǎng)大小,d為擴(kuò)張率。

但是由于空洞卷積的計(jì)算參數(shù)來(lái)自類似棋盤格式的平面,在計(jì)算層與層之間的卷積結(jié)果時(shí),層間的相關(guān)性會(huì)很弱,因此會(huì)有丟失局部信息的情況發(fā)生;并且由于空洞卷積擁有擴(kuò)張率這個(gè)超參數(shù),使得采樣輸入信號(hào)具有稀疏性,當(dāng)擴(kuò)張率較大時(shí)經(jīng)過(guò)卷積得到的特征信息之間的關(guān)聯(lián)性較低,最終影響圖像缺失區(qū)域的修復(fù)效果。為彌補(bǔ)空洞卷積存在的不足,該文采用混合空洞卷積替代標(biāo)準(zhǔn)空洞卷積?；旌峡斩淳矸e具有以下特性：(a)在提取多尺度圖像信息時(shí),設(shè)置卷積的擴(kuò)張率在疊加時(shí)不能有比1大的公約數(shù),以便提高圖像信息之間的連續(xù)性;(b)為能自適應(yīng)滿足不同尺度物體的信息獲取,擴(kuò)張率設(shè)計(jì)成鋸齒狀結(jié)構(gòu),捕獲不同距離的信息,以達(dá)到既不破壞卷積的連續(xù)性,同時(shí)又滿足大卷積是小卷積正則化疊加的結(jié)果的目的;(c)第i層的最大空洞率滿足：

Mi=max[di,Mi+1-2di,Mi+1-2(Mi+1-di)]

其中,di是第i層的擴(kuò)張率,Mi和Mi+1分別為第i層和第i+1層的最大擴(kuò)張率。

1.3 雙向注意力圖模塊

注意力(Attention)機(jī)制首見(jiàn)于圖像領(lǐng)域,可以顯著提高圖像分割以及圖像修復(fù)的效果,近年來(lái)在深度學(xué)習(xí)的各個(gè)領(lǐng)域得到了廣泛應(yīng)用。注意力機(jī)制是受到人類視覺(jué)注意力的啟發(fā)。一般情況下,當(dāng)人們觀察圖片時(shí),首先會(huì)對(duì)全局圖像進(jìn)行快速掃描以獲得聚焦的目標(biāo)區(qū)域,然后在目標(biāo)區(qū)域通過(guò)使用更多的注意力資源以獲得更詳細(xì)的信息,以此來(lái)減少不必要的信息所產(chǎn)生的影響。實(shí)質(zhì)上就是一種新的表示,只不過(guò)這是前期獲取事物之間的關(guān)系,再通過(guò)線性加權(quán)而得到。文中方法引入空間注意力機(jī)制,設(shè)計(jì)了可學(xué)習(xí)的雙向注意力圖特征融合模塊,首先定位出成像測(cè)井圖像中缺失的區(qū)域,然后賦予其更高的權(quán)重,從而實(shí)現(xiàn)對(duì)局部缺失區(qū)域進(jìn)行準(zhǔn)確修復(fù)。

通過(guò)將正向和反向注意力圖與U-net網(wǎng)絡(luò)相結(jié)合,圖2顯示了完全可學(xué)習(xí)的雙向注意力圖。給定一幅帶有上下連通缺失區(qū)域的輸入圖像,使用Min表示二進(jìn)制掩模。從左側(cè)開(kāi)始,前向注意力圖將Min作為第一層編碼器特征重新歸一化的輸入掩碼,并逐步更新并應(yīng)用到下一編碼層。相反,反向注意力圖以1 Min作為輸入,對(duì)解碼特征的最后一層進(jìn)行重新歸一化,逐漸更新并將掩碼應(yīng)用到前一層解碼器層。將注意力圖、卷積運(yùn)算,掩碼卷積操作和掩碼更新功能統(tǒng)稱為可學(xué)習(xí)的注意力圖模塊?？蓪W(xué)習(xí)的注意力圖模塊包括三個(gè)步驟,即(I)掩碼卷積;(II)特征重歸一化;(III)掩碼更新。參考圖2,將W設(shè)為卷積濾波,考慮到無(wú)偏置卷積層在U-Net網(wǎng)絡(luò)中已被廣泛用于圖像修復(fù)且效果較好,此處也不使用偏置,同時(shí)引入卷積掩膜Mc=M?km,其中?表示卷積算子,M是由0和1構(gòu)成的二進(jìn)制掩碼,km表示核大小為4×4、步長(zhǎng)為2、填充為1的卷積濾波器?？蓪W(xué)習(xí)的前向注意力圖在編碼階段過(guò)程可以表示為：

圖2 雙向注意力圖模塊

(I)Fconv=WTFin

(3)

(II)Fout=Fconv⊙gA(Mc)

(4)

(III)M'=gM(Mc)

(5)

gM(Mc)=(ReLU(Mc))α

(6)

gA(Mc)=

(7)

公式(6)是掩碼更新的激活函數(shù),其中α≥0是一個(gè)超參數(shù),在訓(xùn)練過(guò)程中設(shè)α為0.8。公式(7)引入了一種非高斯變形形式作為注意力圖的激活函數(shù),在a、μ、γl和γr缺少可學(xué)習(xí)參數(shù)的情況下,初始化為a=1.1,μ=2.0,γl=1.0,γr=1.0,以端到端的方式學(xué)習(xí)它們。

(8)

(9)

在每次聯(lián)合注意力圖對(duì)輸入特征圖進(jìn)行運(yùn)算校正之后,更新掩碼如下：如果卷積可以將至少一個(gè)有效輸入值作為其輸出條件,則該位置就被標(biāo)記為有效,作為前向傳遞的一部分,通過(guò)連續(xù)應(yīng)用足夠的注意力圖,任何掩碼最終都將被標(biāo)記為有效。得益于端到端的學(xué)習(xí),可學(xué)習(xí)雙向注意力模塊在處理上下連通缺失區(qū)域時(shí)更有效。在編碼前向傳播階段,掩碼區(qū)域隨著更新變得越來(lái)越小,網(wǎng)絡(luò)越來(lái)越注重修復(fù)缺損區(qū)域,在解碼反向傳播階段,非掩碼區(qū)域變得越來(lái)越小,網(wǎng)絡(luò)越來(lái)越注重已修復(fù)區(qū)域的質(zhì)量提升。雙向注意力模塊還有利于網(wǎng)絡(luò)訓(xùn)練,使得利用對(duì)抗性損失來(lái)提高視覺(jué)質(zhì)量是可行的。

2 成像測(cè)井圖像修復(fù)模型與流程

2.1 成像測(cè)井圖像修復(fù)模型架構(gòu)

該文通過(guò)去除瓶頸層并結(jié)合雙向注意力圖來(lái)修改14層U-Net體系結(jié)構(gòu)[7],設(shè)計(jì)了一種用于微電阻率成像測(cè)井圖像修復(fù)模型,基本網(wǎng)絡(luò)模型架構(gòu)如圖3所示,各符號(hào)的含義在底部的圖示中給出。

圖3 微電阻率成像測(cè)井圖像修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)的U-Net網(wǎng)絡(luò)模型整體架構(gòu)由下采樣、上采樣兩部分組成。在模型下采樣過(guò)程中,前向特征提取器采用去掉全連接層的VGG16網(wǎng)絡(luò),前向注意力模塊應(yīng)用于第2層到第7層。第1層是標(biāo)準(zhǔn)卷積模塊,由4×4標(biāo)準(zhǔn)卷積(stride為2、padding為1)、ReLU激活函數(shù)、批歸一化組成,用于提取成像測(cè)井圖像特征信息。第2層到第5層使用混合空洞卷積(卷積核大小為4×4,stride為2,padding為1,擴(kuò)張率分別為1、2、5)、批歸一化、ReLU激活函數(shù),增大感受野,加強(qiáng)網(wǎng)絡(luò)的特征提取能力;第6層到第7層沿用第一層標(biāo)準(zhǔn)卷積操作。在下采樣過(guò)程中,特征圖尺寸減半,第1層將通道數(shù)增加到64,第2層到第4層通道數(shù)翻倍,第5層到第7層通道數(shù)不變。在上采樣過(guò)程中,反向注意力模塊應(yīng)用于上采樣階段,每層使用核大小為4×4、步長(zhǎng)為2、填充為1的標(biāo)準(zhǔn)卷積核,且不設(shè)置偏置參數(shù),進(jìn)行批歸一化和LeakyReLU非線性處理;在最后一層卷積后使用tanh非線性激勵(lì)函數(shù)。上采樣每增加經(jīng)過(guò)一層,特征圖尺寸大小為上一層的2倍,第8層到第10層通道數(shù)不變,第11層到13層通道數(shù)減半,最后一層使用3個(gè)卷積核會(huì)將通道數(shù)降至3。

2.2 成像測(cè)井圖像修復(fù)流程

該方法中的模型訓(xùn)練與驗(yàn)證流程如圖4所示。

圖4 成像測(cè)井圖像修復(fù)流程

首先,拿到真實(shí)成像測(cè)井圖像數(shù)據(jù),進(jìn)行數(shù)據(jù)集制作;接著,對(duì)制作好的數(shù)據(jù)集進(jìn)行預(yù)處理,并按比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集;然后,在模型初始化階段,使用預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)權(quán)重加快模型訓(xùn)練進(jìn)程,并且在模型訓(xùn)練和驗(yàn)證階段使用可以隨模型進(jìn)程動(dòng)態(tài)變化的學(xué)習(xí)率,通過(guò)一定的衰減策略不斷優(yōu)化模型;最后,在訓(xùn)練好的成像測(cè)井圖像修復(fù)模型上,輸入測(cè)試集、驗(yàn)證集進(jìn)行測(cè)試,完成對(duì)成像測(cè)井圖像部分缺失區(qū)域的修復(fù)。

2.3 損失函數(shù)

成像測(cè)井圖像修復(fù)模型的總體性能不僅取決于網(wǎng)絡(luò)結(jié)構(gòu),損失函數(shù)的選取也至關(guān)重要。為了更好地修復(fù)成像測(cè)井圖像的紋理細(xì)節(jié)和語(yǔ)義結(jié)構(gòu),綜合采用像素重構(gòu)損失、感知損失[8]、對(duì)抗性損失[9]以及風(fēng)格損失[10]來(lái)訓(xùn)練文中所搭建的模型。

像素重構(gòu)損失：用Iin表示輸入帶mask的成像測(cè)井圖像,Min表示mask的二值區(qū)域,It表示在測(cè)井過(guò)程中真實(shí)的成像測(cè)井圖像,模型的輸入定義為：Iout=Φ(Iin,Min;θ),其中θ表示要學(xué)習(xí)的模型參數(shù),采用輸出圖像的L1范數(shù)誤差作為像素重構(gòu)損失：

PL1=‖Iout-It‖1

(10)

感知損失：L1范數(shù)損失僅限于捕捉高級(jí)語(yǔ)義,與人類對(duì)圖像質(zhì)量的感知不一致。為了緩解這一問(wèn)題,引入了在ImageNet[11]上預(yù)先訓(xùn)練的VGG-16網(wǎng)絡(luò)上定義的感知損失：

(11)

其中,Fi(·)表示第i個(gè)池化層的特征圖。

對(duì)抗性損失：對(duì)抗性損失在圖像生成和低水平視覺(jué)[12]中已經(jīng)被廣泛使用,用以提高生成圖像的視覺(jué)質(zhì)量,計(jì)算形式上可以表示為：

(12)

風(fēng)格損失：假設(shè)特征圖的大小為Hi×Wi×Ci,則可以將風(fēng)格損失定義為：

Fi(Iout)(Fi(Iout))T‖2

(13)

總損失：基于上述損失函數(shù),文中模型總損失函數(shù)可以定義為：

L=λ1PL1+λ2Lprec+λLadv+λ3Ls

(14)

在訓(xùn)練過(guò)程中,λ1、λ2、λ3、λ4不是固定的參數(shù),根據(jù)經(jīng)驗(yàn)設(shè)置λ1=1,λ2=0.03,λ3=0.15,λ4=120。

2.4 評(píng)價(jià)指標(biāo)

為了定量評(píng)價(jià)所提出的改進(jìn)U-Net網(wǎng)絡(luò)模型在成像測(cè)井圖像缺失修復(fù)中的性能,采用客觀全參考方法,包括峰值信噪比(Peak Signal to Noise Ratio,PSNR)、平均結(jié)構(gòu)相似性度量(Mean Structural Similarity Index Measurement,MSSIM)等作為評(píng)價(jià)指標(biāo)。

3 實(shí)例應(yīng)用與結(jié)果分析

3.1 數(shù)據(jù)準(zhǔn)備

所研究的實(shí)驗(yàn)數(shù)據(jù)來(lái)源于大慶油田某工區(qū)實(shí)際測(cè)井?dāng)?shù)據(jù),一共包含五口水平井的微電阻率成像測(cè)井圖像,并且五口水平井井位距離相近,符合實(shí)驗(yàn)條件。實(shí)驗(yàn)中選取了成像效果較好且具有實(shí)際參考意義的井段進(jìn)行截取,截取井段包括粗礫巖、斷層、礫石砂巖、砂礫巖、泥巖等成像測(cè)井圖像,同時(shí)考慮模型訓(xùn)練時(shí)輸入圖像的大小,進(jìn)一步將截取的成像測(cè)井圖像采用Photoshop CS6進(jìn)行切分,同時(shí)為了增加圖像數(shù)據(jù)的多樣性,避免模型訓(xùn)練過(guò)程中因數(shù)據(jù)集較少出現(xiàn)過(guò)擬合,對(duì)切分后的圖像進(jìn)行垂直和水平翻轉(zhuǎn),最終得到包含5 000張256×256大小的成像測(cè)井圖像的數(shù)據(jù)集。

3.2 數(shù)據(jù)預(yù)處理

提出的網(wǎng)絡(luò)模型的輸入需要帶有mask區(qū)域的成像測(cè)井圖像和mask二值圖像,所以需要對(duì)原始電測(cè)井圖像進(jìn)行預(yù)處理,并且文中模型是在U-Net網(wǎng)絡(luò)模型基礎(chǔ)架構(gòu)上采用混合空洞卷積替代標(biāo)準(zhǔn)卷積并嵌入雙向注意力圖進(jìn)行改進(jìn),以便更加適應(yīng)對(duì)缺失區(qū)域的修復(fù)。因此,為了展示文中模型在應(yīng)對(duì)上下連通缺失區(qū)域時(shí)的修復(fù)效果,采用OpenCV庫(kù)單獨(dú)設(shè)計(jì)了一個(gè)方法,用于生成上下連通缺失的掩碼圖像。

3.3 模型訓(xùn)練

結(jié)合大慶油田某工區(qū)五口水平井的真實(shí)成像測(cè)井圖像,經(jīng)過(guò)數(shù)據(jù)預(yù)處理過(guò)程,創(chuàng)建了帶mask區(qū)域的成像測(cè)井圖像和對(duì)應(yīng)的mask二值圖像的數(shù)據(jù)集。將數(shù)據(jù)集按照8∶1∶1的比例將所有圖像劃分為訓(xùn)練集(4 000張)、驗(yàn)證集(500張)、測(cè)試集(500張)。

對(duì)改進(jìn)的U-Net網(wǎng)絡(luò)模型進(jìn)行成像測(cè)井圖像修復(fù)實(shí)驗(yàn),采用64位Windows10操作系統(tǒng),以Python3.6編程語(yǔ)言、深度學(xué)習(xí)框架Pytorch1.2實(shí)現(xiàn),并采用16G的NVIDIA GeForce GTX 1650Ti顯卡加快訓(xùn)練進(jìn)程。在實(shí)驗(yàn)過(guò)程中,使用預(yù)訓(xùn)練權(quán)重提升網(wǎng)絡(luò)模型的性能并對(duì)模型進(jìn)行初始化,再結(jié)合上采樣階段進(jìn)一步調(diào)式和訓(xùn)練。選用Adam算法作為網(wǎng)絡(luò)模型優(yōu)化算法,一階矩估計(jì)的指數(shù)衰減率beta1=0.5,二階矩估計(jì)的指數(shù)衰減率beta2=0.9,并將10-4設(shè)置為初始學(xué)習(xí)率。小批量大小設(shè)置為16,訓(xùn)練輪數(shù)設(shè)置為120個(gè)epoch,并通過(guò)ReduceLROnPlateau動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略對(duì)學(xué)習(xí)率進(jìn)行多輪迭代,記錄下每個(gè)epoch訓(xùn)練完成后在驗(yàn)證集上的損失值,并隨輪次不斷衰減學(xué)習(xí)率,規(guī)定學(xué)習(xí)率的最小值不能小于10-5。表1展示出了不同迭代次數(shù)對(duì)訓(xùn)練集圖像修復(fù)評(píng)價(jià)指標(biāo)的影響(以成像測(cè)井圖像缺失區(qū)域比為(0.1,0.2]為例),可以看出在迭代輪數(shù)為100時(shí)成像測(cè)井圖像的修復(fù)效果最理想。

表1 不同迭代次數(shù)對(duì)評(píng)價(jià)指標(biāo)的影響

3.4 實(shí)驗(yàn)結(jié)果對(duì)比

通過(guò)對(duì)改進(jìn)的U-Net網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,訓(xùn)練集和驗(yàn)證集的平均結(jié)構(gòu)相似性MSSIM和峰值信噪比PSNR上升曲線以及損失函數(shù)下降曲線如圖5所示(以成像測(cè)井圖像缺失區(qū)域比為(0.1,0.2]為例)。其中對(duì)于MSSIM來(lái)說(shuō),訓(xùn)練集最高為0.935,驗(yàn)證集最高為0.953;對(duì)于PSNR來(lái)說(shuō),訓(xùn)練集最高為35.984,驗(yàn)證集最高為34.897;從損失函數(shù)圖可得,訓(xùn)練集最低值為0.15,驗(yàn)證集最低值為0.12。

圖5 訓(xùn)練集和測(cè)試集的評(píng)價(jià)指標(biāo)上升曲線

為驗(yàn)證所提方法在成像測(cè)井圖像修復(fù)中的有效性,選擇上下文注意力機(jī)制模型Context Attention[13]、部分卷積PConv[14]以及漸進(jìn)式循環(huán)修復(fù)RFR[15]進(jìn)行定性和定量對(duì)比測(cè)試。其中,上下文注意力CA引入粗略到細(xì)化的兩階段網(wǎng)絡(luò)結(jié)構(gòu),兩階段網(wǎng)絡(luò)層數(shù)均為17層,優(yōu)化器為Adam,學(xué)習(xí)率為0.000 1,隱藏層使用ReLU激活函數(shù),輸出層使用tanh非線性激勵(lì)函數(shù)。部分卷積PConv使用部分替代標(biāo)準(zhǔn)卷積,網(wǎng)絡(luò)為16層,初始學(xué)習(xí)率為0.000 2并使用0.000 05進(jìn)行微調(diào),優(yōu)化器使用Adam算法,下采樣使用ReLU激活函數(shù),上采樣使用LeakyReLU激活函數(shù)。RFR分為三部分,首先是使用部分卷積更新mask和feature map,然后送入編碼-解碼結(jié)構(gòu)進(jìn)行特征推理,最后進(jìn)行特征合并,編碼-解碼網(wǎng)絡(luò)為6層,優(yōu)化器及激活函數(shù)同上,初始學(xué)習(xí)率為0.000 1并使用0.000 01進(jìn)行微調(diào)。定性比較如圖6所示,可以看出文中方法在成像測(cè)井圖像上下連通缺失修復(fù)和細(xì)節(jié)紋理修復(fù)方面有較好的效果。

圖6 成像測(cè)井圖像修復(fù)定性比較

定量比較如表2所示,文中方法的PSNR值(缺失比為(0.1,0.2])比Contextual Attention提升了3.312,比PConv提升了2.190,比RFR提升了0.561;MSSIM值(缺失比為(0.1,0.2])比Context Attention提升了0.115,比PConv提升了0.076,比RFR提升了0.020。

表2 成像測(cè)井圖像修復(fù)定量比較

表3給出了文中模型進(jìn)行消融實(shí)驗(yàn)的結(jié)果。相關(guān)說(shuō)明如下：(I)model(original)：原始U-Net網(wǎng)絡(luò)且未使用混合空洞卷積替代標(biāo)準(zhǔn)卷積;(II)model(unattention map)：使用混合空洞卷積,但未使用注意力圖模塊;(III)model(forward)：有前向注意力圖模塊但沒(méi)有反向注意力圖模塊;(Ⅳ)model(Sigmoid)：使用Sigmoid激活函數(shù);(Ⅴ)model(ReLU+LReLU)：上采用使用ReLU激活函數(shù),下采樣使用LeakyReLU激活函數(shù);(Ⅵ)model(full)：使用文中提出的完整模型。以上所進(jìn)行的消融實(shí)驗(yàn)均采用成像測(cè)井圖像缺失比相同的一套數(shù)據(jù)集,分別進(jìn)行訓(xùn)練。

表3 文中模型在消融實(shí)驗(yàn)下的表現(xiàn)差異(PSNR(dB)/MSSIM)

3.5 實(shí)驗(yàn)結(jié)果分析

根據(jù)3.4節(jié)中由真實(shí)測(cè)井圖像數(shù)據(jù)所得的實(shí)驗(yàn)結(jié)果,筆者做出以下理論分析。由圖5(c)可知,模型中采用數(shù)據(jù)批標(biāo)準(zhǔn)化和LeakyReLU激活函數(shù)用于提升模型收斂的速度,在大約15個(gè)迭代周期時(shí),訓(xùn)練集和驗(yàn)證集的損失函數(shù)開(kāi)始逐漸趨于平緩。且圖5(a)和圖5(b)中驗(yàn)證集和訓(xùn)練集的平均結(jié)構(gòu)相似性度量和峰值信噪比相差不多,說(shuō)明文中模型不存在過(guò)擬合現(xiàn)象。圖6每一行由完整成像測(cè)井圖像原圖、帶mask掩碼的圖像以及不同模型修復(fù)后的輸出圖像組成。通過(guò)對(duì)比可以發(fā)現(xiàn)：對(duì)于一些復(fù)雜且上下連通的缺失區(qū)域,上下文注意力CA會(huì)產(chǎn)生模糊的修復(fù)效果,并且可能產(chǎn)生不真實(shí)的偽影;部分卷積PConv對(duì)于處理圖像小范圍缺失區(qū)域有良好的表現(xiàn),但是在一些缺失區(qū)域會(huì)產(chǎn)生過(guò)度平滑的結(jié)果;漸進(jìn)式循環(huán)RFR有連續(xù)的特征推理層,故而太注重缺失區(qū)域的局部特征,使得修復(fù)后的圖像全局語(yǔ)義結(jié)構(gòu)不夠連貫。相比之下,文中模型針對(duì)成像測(cè)井圖像上下連通的缺失區(qū)域進(jìn)行修復(fù),以混合空洞卷積提取多尺度特征、空間注意力對(duì)缺失區(qū)域重加權(quán)、前向注意力圖模塊維護(hù)掩碼更新和修復(fù)缺失區(qū)域、反向注意力圖則注重提升已修復(fù)區(qū)域的質(zhì)量,從而最終產(chǎn)生語(yǔ)義結(jié)構(gòu)連貫、紋理清晰、視覺(jué)上更合理的修復(fù)效果。表2展示了不同模型在缺失比不同的成像測(cè)井圖像上的定量對(duì)比結(jié)果,可以看出文中模型在峰值信噪比PSNR和平均結(jié)構(gòu)相似性度量MSSIM方面表現(xiàn)良好。表3中數(shù)據(jù)顯示當(dāng)逐漸引入所改進(jìn)的模塊時(shí),模型的PSNR和MSSIM均得到了不同程度的提升。(以下評(píng)價(jià)指標(biāo)變化均以缺失比為(0.1,0.2]為例)在原始U-Net網(wǎng)絡(luò)上使用混合空洞卷積替代標(biāo)準(zhǔn)卷積,模型的MSSIM上升了0.021;引入前向注意力圖模塊,模型的的MSSIM上升了0.154;引入Sigmoid激活函數(shù)使得MSIIM有所下降,故而采用ReLU和LeakyReLU替代Sigmoid,MSIIM上升了0.047;最后使用文中完整模型進(jìn)行實(shí)驗(yàn),MSSIM相較于原始U-Net網(wǎng)絡(luò)上升了0.243。

4 結(jié)束語(yǔ)

針對(duì)微電阻率成像測(cè)井圖像缺失的問(wèn)題,提出一種基于改進(jìn)U-Net網(wǎng)絡(luò)的成像測(cè)井圖像修復(fù)方法,得出結(jié)論如下：

(1)采用在大規(guī)模數(shù)據(jù)集ImageNet上訓(xùn)練得到的VGG16預(yù)訓(xùn)練權(quán)重對(duì)U-Net網(wǎng)絡(luò)模型進(jìn)行初始化,在基礎(chǔ)U-Net網(wǎng)絡(luò)部分卷積層中引入混合空洞卷積,通過(guò)增大感受野來(lái)獲取多尺度信息,提高網(wǎng)絡(luò)模型的特征學(xué)習(xí)能力。

(2)在模型結(jié)構(gòu)中引入空間注意力機(jī)制以搭建雙向注意力圖模塊,并使用可以動(dòng)態(tài)衰減學(xué)習(xí)率的策略迭代更新模型,實(shí)現(xiàn)了對(duì)成像測(cè)井圖像上下連通缺失區(qū)域的修復(fù),且從不同算法修復(fù)效果對(duì)比和消融實(shí)驗(yàn)的結(jié)果來(lái)看,PSNR和MSSIM均顯示所提方法具備一定的有效性和實(shí)用性,并且整體性能更優(yōu)。

(3)文中模型所修復(fù)的成像測(cè)井圖像在語(yǔ)義結(jié)構(gòu)連貫、紋理清晰方面具有良好的表現(xiàn),對(duì)于已經(jīng)完井井眼的成像測(cè)井圖像缺失問(wèn)題,它的應(yīng)用可以大大降低儲(chǔ)層油氣解釋工作的困難,同時(shí)也為成像測(cè)井圖像缺失修復(fù)提供了一種新思路。