鄧夢迪，賈瑞生+，田 煜，劉慶明

(1.山東科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，山東 青島 266590；2.山東科技大學(xué) 山東省智慧礦山信息技術(shù)省級重點(diǎn)實(shí)驗(yàn)室，山東 青島 266590)

0 引 言

地震剖面圖像可以顯示斷層或者是剖面信息，為了提高其分辨率，通常需要增加勘探道數(shù)來加密地震數(shù)據(jù)，大大增加勘探成本。超分辨率重建技術(shù)可直接實(shí)現(xiàn)低分辨率圖像到高分辨率圖像的映射，具有十分重要的工程應(yīng)用價(jià)值。

目前，圖像超分辨率重建技術(shù)[1,2]通?？煞譃?類：基于插值的方法[3,4]、基于重構(gòu)的方法[5]和基于學(xué)習(xí)的方法[6,7]。基于插值的方法[8]最為簡單且運(yùn)算速度快，但容易造成圖像模糊?；谥貥?gòu)的方法[9]容易產(chǎn)生偽影等工效應(yīng)?；趯W(xué)習(xí)的方法取得了較為理想的效果，成為超分辨率重建領(lǐng)域中研究的熱點(diǎn)。Yang等提出了基于稀疏表示的超分辨率重建(SCSR)方法[10]，該算法對重建圖像的質(zhì)量有一定的提升。Dong等提出了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)的單幀圖像超分辨率重建(SRCNN)算法[11]，該算法應(yīng)用3個(gè)卷積層重建高分辨率圖像特征，重建效果優(yōu)于其它傳統(tǒng)算法，但重建速度慢。隨后，Dong等對SRCNN進(jìn)行改進(jìn)，提出了一種基于反卷積的快速圖像超分辨率重建(FSRCNN)方法[12]。Shi等提出了基于亞像素卷積層的超分辨率重建(ESPCN)方法[13]。

地震剖面圖像紋理單一且邊界不夠明顯，采用傳統(tǒng)重建方法容易丟失其高頻信息，為此，本文提出一種基于深度學(xué)習(xí)的地震剖面圖像超分辨率重建方法，在網(wǎng)絡(luò)模型中加入雙通道注意力機(jī)制塊，充分提取圖像特征并有選擇地進(jìn)行高頻增強(qiáng)，取得了較好的重建效果。

1 理論基礎(chǔ)

1.1 雙通道卷積

傳統(tǒng)的單通道卷積網(wǎng)絡(luò)卷積核尺寸單一，導(dǎo)致特征提取不夠充分，雙通道卷積可以在兩個(gè)通道上分別采用不同尺寸的卷積核，提取特征圖在不同尺度下的特征，有利于圖像的后期重建。為了降低算法復(fù)雜度，在每個(gè)尺度卷積前均采用尺寸為1×1的卷積核進(jìn)行降維。圖1為單通道卷積和雙通道卷積的結(jié)構(gòu)，其中M×M，N×N為卷積核尺寸，C1，C2為輸出特征圖通道數(shù)。

圖1 單/雙通道卷積結(jié)構(gòu)

1.2 注意力機(jī)制

階段學(xué)習(xí)的卷積操作是將通道和空間信息混雜到一起提取圖像的紋理特征，卷積后特征較為混雜，神經(jīng)網(wǎng)絡(luò)不能識別哪些通道所含高頻信息較多。在網(wǎng)絡(luò)中添加注意力機(jī)制塊可以使神經(jīng)網(wǎng)絡(luò)更加關(guān)注具有足夠高頻細(xì)節(jié)的通道和區(qū)域，在一定程度上加快網(wǎng)絡(luò)收斂速度。注意力機(jī)制塊由兩個(gè)卷積層和兩個(gè)激活層級聯(lián)而成，同時(shí)學(xué)習(xí)不同通道和不同區(qū)域相應(yīng)的描述符，并給不同通道和不同區(qū)域分配不同的權(quán)重。注意力機(jī)制塊結(jié)構(gòu)如圖2所示。

圖2 注意力機(jī)制塊

S=f(w2((w1x+b1))+b2),S∈RH*W*C

(1)

其中，w1，w2分別代表注意力機(jī)制塊中第一層和第二層卷積的權(quán)重，b1,b2分別代表其偏置。第一層卷積完成因子為8的降維，經(jīng)第一層卷積后得到的特征圖通道數(shù)為C/8，第二層卷積完成因子為8的升維，特征圖通道數(shù)重新恢復(fù)為C。f(·)代表sigmoid激活函數(shù)，(·)表示Prelu激活函數(shù)。將縮放后的描述符S與原輸入進(jìn)行逐通道Hadamard相乘，得到通過注意力機(jī)制塊的特征表示。

2 本文方法

基于卷積網(wǎng)絡(luò)的超分辨率重建算法通常可分為以下4個(gè)步驟：①預(yù)處理數(shù)據(jù)集，構(gòu)造網(wǎng)絡(luò)訓(xùn)練集；②設(shè)計(jì)超分辨率重建網(wǎng)絡(luò)模型；③利用訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)，優(yōu)化網(wǎng)絡(luò)參數(shù)；④利用訓(xùn)練好的網(wǎng)絡(luò)模型重建高分辨率圖像。

2.1 網(wǎng)絡(luò)模型

網(wǎng)絡(luò)模型的結(jié)構(gòu)直接影響重建圖像的精度，傳統(tǒng)超分辨率重建網(wǎng)絡(luò)特征提取不夠充分且易丟失重建圖像的高頻信息，為了解決此問題，本文在網(wǎng)絡(luò)模型中引入雙通道注意力機(jī)制塊。網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示，可分為特征提取、非線性映射和重建3個(gè)階段。

圖3 本文超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)

(1)特征提取階段。從低分辨率圖像中提取圖像塊，并將其分別表示成一個(gè)高維向量，這些向量組成一組特征圖，其數(shù)量和向量的維度相等。該階段卷積層的參數(shù)設(shè)置為3×3×128，即128個(gè)尺寸為3×3的卷積核。

(2)非線性映射階段。非線性映射階段的結(jié)構(gòu)是影響超分辨率重建性能最重要的部分，用于實(shí)現(xiàn)低分辨率圖像塊到高分辨率圖像塊的特征映射。本文方法的非線性映射由雙通道注意力機(jī)制塊和若干層卷積級聯(lián)實(shí)現(xiàn)。雙通道注意力機(jī)制塊結(jié)構(gòu)如圖3(b)所示，首先采用1×1的卷積核降低特征圖維度，然后在兩個(gè)通道上分別采用3×3×64和5×5×32的卷積核提取圖像特征，最后連接注意力機(jī)制塊，有選擇地進(jìn)行高頻增強(qiáng)。由于該階段卷積層數(shù)較多，容易導(dǎo)致梯度消失現(xiàn)象，為解決此問題，采用殘差網(wǎng)絡(luò)結(jié)構(gòu)，一定程度上提高了訓(xùn)練收斂速度，殘差塊結(jié)構(gòu)如圖3(c)所示，卷積層參數(shù)設(shè)置為3×3×64。

(3)重建階段。采用亞像素卷積層實(shí)現(xiàn)高分辨地震剖面圖的重建。亞像素卷積操作具體可分為兩部分，首先采用尺寸為3×3，數(shù)量為r2(r為圖像放大倍數(shù))的卷積核進(jìn)行卷積操作，然后將r2個(gè)大小為H×W的特征圖重新排列成一幅rH×rW大小的高分辨率圖像。亞像素卷積操作可表示為

YSR=Fn(Y)=PS(Wn*Fn-1(Y)+bn)

(2)

其中，F(xiàn)n-1(Y)為經(jīng)非線性映射后輸出的特征圖，Wn和bn表示可學(xué)習(xí)的網(wǎng)絡(luò)權(quán)重和偏置,PS表示亞像素卷積操作，YSR為重建得到的高分辨率圖像。

網(wǎng)絡(luò)中的卷積操作可表示為

Fl(Y)=f(Wl*Y+bl),l∈(1,n-1)

(3)

其中，Y為網(wǎng)絡(luò)輸入，Wl，bl分別代表第l層卷積的權(quán)重和偏置，f(·)表示激活函數(shù)。為了充分利用邊緣信息，卷積前對圖像邊緣進(jìn)行零填充，使得重建后的圖像大小為輸入圖像的整數(shù)倍。本文超分辨率重建算法的具體描述見表1。

2.2 訓(xùn) 練

本文選擇Prelu作為網(wǎng)絡(luò)激活函數(shù)，使用基于L2范數(shù)的損失來指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)，使用的損失函數(shù)[14]的表達(dá)式為

表1 本文超分辨率重建算法描述

(4)

其中，n表示每個(gè)batch中訓(xùn)練樣本的數(shù)量。H*W為特征圖的尺寸，C為特征圖通道數(shù)，Iv,i,j,k為第v幅圖像第k個(gè)通道位置為(i,j)的像素值，LMSE越小，說明重建圖像與原始高分辨率圖像的差異越小。訓(xùn)練采用反向傳播的梯度下降算法進(jìn)行優(yōu)化。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境及評價(jià)指標(biāo)

實(shí)驗(yàn)測試所用計(jì)算機(jī)配置為Intel Core i7-3770U@3.40 GHz CPU,配置NVIDIA GeForce GTX 1060 GPU，內(nèi)存為12 GB。實(shí)驗(yàn)平臺搭載的操作系統(tǒng)為64位Windows 7系統(tǒng)，Matlab 2012b、CUDA Tookit 8.0、Cudnn 5.0和caffe[15]深度學(xué)習(xí)框架。

本文選用峰值信噪比(PSNR)[16]和結(jié)構(gòu)相似度(SSIM)[16]作為重建圖像質(zhì)量的客觀評價(jià)指標(biāo)。PSNR用于定量計(jì)算重建圖像跟原圖之間誤差，其值越高，說明重建圖像失真越??；SSIM說明重建圖像結(jié)構(gòu)與原圖結(jié)構(gòu)的相似程度，SSIM的值越接近1，說明生成的重建圖像與原圖像結(jié)構(gòu)越相似，效果越好。

3.2 數(shù)據(jù)集

為更好學(xué)習(xí)地震剖面圖像的紋理特征，本實(shí)驗(yàn)選擇了300幅地震剖面圖像，從中選取270幅地震剖面圖像作為訓(xùn)練集，30幅作為測試樣本。由于地震剖面圖像沒有官方數(shù)據(jù)集，本實(shí)驗(yàn)數(shù)據(jù)集均在網(wǎng)絡(luò)數(shù)據(jù)庫中獲得。訓(xùn)練樣本由低分辨地震剖面圖像和高分辨率地震剖面圖像(標(biāo)簽)兩部分組成，為了對原始的270幅原始訓(xùn)練樣本進(jìn)行擴(kuò)充，采用大小為17×17的滑動窗口對降質(zhì)圖像進(jìn)行切塊，得到17×17大小的圖像塊作為低分辨率圖像塊，采用大小為17r×17r(r為目標(biāo)放大倍數(shù))的滑動窗口對高分辨率圖像切塊，得到17r×17r大小的高分辨率圖像塊(標(biāo)簽)，原始訓(xùn)練集如圖4所示。

圖4 原始訓(xùn)練集圖像部分展示

3.3 網(wǎng)絡(luò)層數(shù)設(shè)置

網(wǎng)絡(luò)的深度是影響超分辨率重建效果的重要因素之一。適當(dāng)增加網(wǎng)絡(luò)層數(shù)，能夠增強(qiáng)網(wǎng)絡(luò)的非線性映射能力，提取更多紋理細(xì)節(jié)特征，便于后期重建，但是隨著網(wǎng)絡(luò)的加深，在訓(xùn)練過程中可能會出現(xiàn)難以收斂的現(xiàn)象。本文算法采用殘差結(jié)構(gòu)，可以加快網(wǎng)絡(luò)收斂，避免網(wǎng)絡(luò)過擬合的現(xiàn)象。當(dāng)放大倍數(shù)為3時(shí)，分別訓(xùn)練及測試層數(shù)為14、16、18的卷積網(wǎng)絡(luò)模型，即分別包括3、4、5個(gè)殘差塊，實(shí)驗(yàn)將LR圖像塊和對應(yīng)標(biāo)簽作為網(wǎng)絡(luò)的輸入，訓(xùn)練過程采用SGD優(yōu)化器，動量設(shè)置為0.9，學(xué)習(xí)率設(shè)置為0.0001，訓(xùn)練迭代5×105次。圖5為測試集的平均PSNR值隨迭代次數(shù)增長的曲線。從圖中可以看出，18層網(wǎng)絡(luò)模型重建性能最好。對比不同深度下測試集的PSNR均值和SSIM均值，見表2，結(jié)果說明了18層網(wǎng)絡(luò)重建圖像的PSNR和SSIM均為最高，所以本實(shí)驗(yàn)網(wǎng)絡(luò)模型設(shè)計(jì)為18層。

圖5 測試集圖像的PSNR平均值在不同層數(shù)下隨迭代次數(shù)的變化

表2 不同深度下測試集的平均PSNR和SSIM

3.4 實(shí)驗(yàn)結(jié)果及分析

在測試集中隨機(jī)選取一幅測試圖6(a)，分辨率為297×258，經(jīng)3倍下采樣處理后得到分辨率為99×86的低分辨率圖6(b)，由于圖像太小導(dǎo)致無法看清圖像中的紋理細(xì)節(jié)信息。將圖6(b)由人工放大(不改變圖像分辨率)得圖6(c)，可見圖6(c)圖像細(xì)節(jié)模糊，使得后續(xù)的地震解釋工作變得困難。本文采用超分辨率重建的方法重建低分辨率地震剖面圖像，如圖6(d)所示，可較為精確的重構(gòu)圖像細(xì)節(jié)紋理信息。

圖6 超分辨率重建實(shí)驗(yàn)效果

為了體現(xiàn)本文算法的有效性，將本文算法同基于插值的Bicubic算法、基于稀疏表示的ScSR算法、基于卷積神經(jīng)網(wǎng)絡(luò)的SRCNN、FSRCNN和ESPCN算法進(jìn)行對比。在測試集中隨機(jī)選取3幅測試圖像，將它們都進(jìn)行3倍下采樣處理得到LR圖像，采用本文算法和對比算法進(jìn)行重建并選取感興趣的區(qū)域放大，實(shí)驗(yàn)效果對比如圖7所示。從細(xì)節(jié)放大圖中可以看到，傳統(tǒng)的Bicubic算法重建圖像邊緣模糊，紋理細(xì)節(jié)不明顯。ScSR算法圖像邊緣偽影現(xiàn)象較為嚴(yán)重。SRCNN、FSRCNN、ESPCN整體視覺效果優(yōu)于Bicubic和ScSR,但是重建圖像邊緣處仍存在不同程度的偽影。對比上述算法，本文算法取得了更好的重建效果，重建圖像的細(xì)節(jié)信息恢復(fù)更加完整，邊緣更加清晰。

在3倍放大因子下，選取8幅測試圖像進(jìn)行重建并記錄其PSNR值和SSIM值,如表3所示。可以發(fā)現(xiàn)本文算法的PSNR值和SSIM值均高于對比算法。為避免偶然性，在2、3、4倍的放大因子下分別訓(xùn)練神經(jīng)網(wǎng)絡(luò)并進(jìn)行測試，表4為測試集的平均PSNR值和SSIM值?？梢钥闯霰疚姆椒ㄔ诓煌糯蟊稊?shù)下，客觀評測結(jié)果均優(yōu)于其它對比算法，充分說明本文算法重建效果更好。

3.5 速度比較

為了測試本文算法的時(shí)間性能，在測試集中隨機(jī)選擇5幅圖像，采用本文算法及基于神經(jīng)網(wǎng)絡(luò)的對比算法進(jìn)行重建，各方法的重建時(shí)間見表5，從表5中可以看出，本文算法較SRCNN、FSRCNN、ESPCN方法相比，重建速度略慢。

4 結(jié)束語

本文將超分辨率重建技術(shù)應(yīng)用到地震剖面圖像處理領(lǐng)域，在地震數(shù)據(jù)采集過程中可采用較少傳感器采集地震數(shù)據(jù)，成像后采用超分辨率重建技術(shù)重建高分辨率地震剖面圖像，有效節(jié)約勘探成本。本文網(wǎng)絡(luò)模型共有18層，在高層網(wǎng)絡(luò)中加入雙通道注意力機(jī)制塊，提高了重建精度。實(shí)驗(yàn)結(jié)果表明，本文算法的PSNR、SSIM均高于現(xiàn)有的幾種典算法，重建圖像細(xì)節(jié)更豐富，邊緣更加銳利。但該算法由于網(wǎng)絡(luò)層數(shù)的增加導(dǎo)致重建速度較慢，下一步工作的重點(diǎn)是在保證重建圖像精度的條件下降低算法復(fù)雜度。

圖7 不同方法重建效果展示

表3 不同方法重建測試圖像的PSNR/db和SSIM

表4 不同放大倍數(shù)時(shí)各方法在測試集上的平均PSNR/db和SSIM

表5 不同方法重建時(shí)間/s