韓巧玲，周希博，宋潤澤，趙 玥※

（1. 北京林業(yè)大學(xué)工學(xué)院，北京 100083；2. 林業(yè)裝備與自動化國家林業(yè)局重點實驗室，北京 100083；3. 城鄉(xiāng)生態(tài)環(huán)境北京實驗室，北京 100083；4. 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100091）

0 引 言

土壤土粒與團(tuán)聚體之間或團(tuán)聚體內(nèi)部存在的間隙，稱為土壤孔隙[1-2]。計算機斷層掃描（Computed Tomography，CT）技術(shù)能夠高精度、無損地探查物體內(nèi)部結(jié)構(gòu)，是研究土壤孔隙的重要技術(shù)手段[3-4]。然而，受到掃描設(shè)備的硬件限制，CT圖像存在偽影、噪聲、部分容積效應(yīng)等圖像退化問題[5-6]。圖像退化問題不僅影響觀察者的視覺效果，也會限制土壤孔隙分割精度，進(jìn)而對后續(xù)土壤物理結(jié)構(gòu)研究產(chǎn)生影響[7]。超分辨率（Super-Resolution，SR）技術(shù)可通過特定算法提高圖像清晰度，改善圖像質(zhì)量[8-9]。相較于CT設(shè)備掃描精度的提高，超分辨率技術(shù)的應(yīng)用更加便捷和高效，且其成本更低廉[10-11]。因此，可將超分辨率重建方法應(yīng)用于土壤CT圖像，為后續(xù)研究提供高清晰度、高視覺效果的數(shù)據(jù)[12]。

目前，應(yīng)用于CT圖像的超分辨率重建方法主要包括三維凸集投影法、三維高頻修正A+法等。王兵等[13-14]提出三維凸集投影法，實現(xiàn)三維圖像的超分辨率和運動補償。但該方法需要手動確定修正閾值，不能實現(xiàn)圖像自適應(yīng)超分辨率重建。張廷蓉等[15-17]將高頻修正A+算法拓展至三維，實現(xiàn)巖心CT圖像的超分辨率重建，但該方法僅考慮稀疏解，導(dǎo)致圖像重建時容易丟失細(xì)節(jié)。近年來，卷積神經(jīng)網(wǎng)絡(luò)法（Convolution Neural Networks，CNN）、生成式對抗網(wǎng)絡(luò)法（Generative Adversarial Network，GAN）等深度學(xué)習(xí)方法在超分辨率重建領(lǐng)域取得理想效果。神經(jīng)網(wǎng)絡(luò)算法具有函數(shù)模擬的能力[18-19]，卷積神經(jīng)網(wǎng)絡(luò)法使用卷積運算模擬稀疏算法，實現(xiàn)特征非線性映射和圖像重建[20-21]，但是卷積神經(jīng)網(wǎng)絡(luò)存在計算量較大、特征理解能力較差的問題[22]。生成式對抗網(wǎng)絡(luò)法引入對抗模型，實現(xiàn)無監(jiān)督的超分辨率重建，具有清晰度高、網(wǎng)絡(luò)學(xué)習(xí)能力強的優(yōu)勢[23-25]，但是存在無法針對序列圖像、特征邊界失真和色差等問題。

因此，基于生成式對抗網(wǎng)絡(luò)法，本文提出了一種適用于土壤CT圖像的超分辨率重建方法，基于序列信息的生成式對抗網(wǎng)絡(luò)（Sequence information Generative Adversarial Network，SeqGAN），該方法結(jié)合土壤序列信息，使用序列信息矯正目標(biāo)圖像，解決生成式對抗網(wǎng)絡(luò)法的特征邊界失真和色差問題。將SeqGAN法應(yīng)用于土壤CT圖像，嘗試解決土壤CT圖像的孔隙邊界模糊問題，以期為土壤CT圖像可視化研究和土壤物理結(jié)構(gòu)研究提供更加準(zhǔn)確的數(shù)據(jù)基礎(chǔ)。

1 材料與方法

1.1 土壤樣本采集與CT圖像獲取

試驗土壤樣本均采集于黑龍江省齊齊哈爾市克山縣西北部的克山農(nóng)場[26]（125°23′57″E，48°18′37″N）。采集位置起始于地表0 cm，采集深度為40 cm，采用機械分層法，提取3個黑土土柱。使用內(nèi)徑10 cm、高10 cm的環(huán)刀筒對3個黑土土柱水平等距切割，得到12個與環(huán)刀筒大小相同的土柱。使用直徑為10 cm、高度10 cm的有機玻璃管作為采集后保存黑土樣本的容器，經(jīng)過飽和水浸泡后得到濕潤土壤樣本。本次試驗使用黑龍江中醫(yī)藥大學(xué)的螺旋CT掃描儀獲取土壤CT圖像。掃描參數(shù)為：電流195 mA，電壓120 kV，掃描層數(shù)64，掃描排數(shù)128，最小掃描層厚0.65 mm，掃描點間距0.244 mm，間隔窗寬2 000，窗位800。每次掃描可得到220幅醫(yī)學(xué)數(shù)字圖像格式（Digital Imaging and Communications in Medicine，DICOM）的土壤CT圖像，其尺寸為170 mm×170 mm，分辨率為700像素×700像素。

1.2 土壤CT圖像預(yù)處理

土壤CT圖像經(jīng)格式轉(zhuǎn)換得到像素范圍為0～255的bmp格式灰度圖像，經(jīng)圖像裁剪后分辨率為256像素×256像素，尺寸為62.17 mm×62.17 mm，該圖像為本文超分辨率模型訓(xùn)練的目標(biāo)圖像，稱為高分辨率（High-Resolution,HR）圖像。對目標(biāo)圖像二倍線性插值降采樣[27]后，圖像尺寸不變，分辨率為128像素×128像素。本文以降采樣后圖像作為超分辨率模型訓(xùn)練的輸入圖像，稱為低分辨率（Low-Resolution，LR）圖像。

1.3 基于序列信息的土壤CT圖像超分辨率方法

為解決土壤CT圖像的孔隙邊界模糊問題，本文提出一種基于序列信息的生成式對抗網(wǎng)絡(luò)方法，該方法包括序列信息的增強、特征提取的強化、對抗模型的構(gòu)建三部分。

由圖1可知，在超分辨率訓(xùn)練時，以低分辨率土壤CT圖像作為輸入圖像，輸入序列圖像生成器得到超分辨率重建圖像；以高分辨率土壤CT圖像作為目標(biāo)圖像，將重建圖像和目標(biāo)圖像輸入鑒別器后輸出可信度，實現(xiàn)圖像鑒別器的訓(xùn)練；可信度反饋給序列圖像生成器，實現(xiàn)圖像生成器的訓(xùn)練。在超分辨率測試時，將待超分辨率土壤CT圖像輸入充分優(yōu)化的序列圖像生成器得到超分辨率重建圖像。

1.3.1 序列信息的增強

土壤物理結(jié)構(gòu)具有一致性和空間連通性[28]，因此，土壤CT圖像具有較高序列相似性（干燥土壤除外）。針對這一特點，本文提出一種可利用序列圖像信息增強超分辨率圖像質(zhì)量的卷積塊改進(jìn)結(jié)構(gòu)，簡稱序列卷積塊（Sequence Convolution Block，SCB）。

由圖2可知，序列卷積塊由2個卷積塊組成。卷積塊1使用卷積運算處理目標(biāo)圖像（在序列中索引為n），實現(xiàn)輸入圖像到特征圖的信息映射，并使用批量歸一化（Batch Normalization, BN）和帶泄露線性整流激活（Leaky Rectified Linear Unit，LReLU）強化信息提取能力，提取和壓縮目標(biāo)圖像信息。卷積塊2輸入卷積塊1輸出的特征圖和序列上下張圖像（在序列中索引為n-1和n+1），并輸出融合3張圖像信息的特征圖，實現(xiàn)數(shù)據(jù)的降維和序列信息的提取。

序列卷積塊通過輸入上下張序列圖像，引入圖像的序列信息，通過提取的序列信息增強超分辨率圖像的質(zhì)量，減少因只引入單張圖像導(dǎo)致的細(xì)節(jié)損失。

1.3.2 特征提取的強化

序列信息的引入，導(dǎo)致模型輸入信息量增大，因此本文構(gòu)建了深層網(wǎng)絡(luò)以強化模型特征提取能力。但是深層網(wǎng)絡(luò)存在梯度爆炸和模型退化等問題，所以本文提出一種直接引入輸入?yún)?shù)的多層殘差塊改進(jìn)結(jié)構(gòu)，簡稱首尾殘差連接塊（Beginning-to-End Residuals connection block，BE-Resblock），見圖3。

由圖3可知，首尾殘差連接塊包括殘差塊和首尾殘差連接兩部分。殘差塊依次使用卷積層、BN層、線性整流激活層（Rectified Linear Unit，ReLU）、卷積層，BN層提取目標(biāo)圖像的信息，在輸出前使用元素相加層（elements-add，eleadd）引入輸入信息，使殘差塊的輸入信息可以直接傳導(dǎo)至輸出。在多層殘差塊提取圖像信息后，首尾殘差連接使用eleadd層引入總輸入的信息，使輸入圖像信息可以直接傳導(dǎo)至深層網(wǎng)絡(luò)的輸出圖像。

首尾殘差連接塊使用多層殘差塊替代多層卷積塊，并建立總輸入和輸出之間的直接連接，減少因網(wǎng)絡(luò)過深導(dǎo)致的梯度彌散、模型退化，提高重建圖像質(zhì)量。

1.3.3 對抗模型的構(gòu)建

本文采用生成式對抗網(wǎng)絡(luò)生成器模型，基于序列卷積塊（圖2）和首尾殘差連接塊（圖3），構(gòu)建了一種針對序列圖像的生成器改進(jìn)模型，簡稱序列圖像生成器（圖4）。

由圖4可知，序列圖像生成器包括3部分，采用序列卷積塊代替卷積操作，提取圖像的序列信息；采用包含8個連續(xù)的殘差塊的首尾殘差連接塊提取圖像信息；采用卷積層、2倍像素重組（Pixel Shuffle）、ReLU激活實現(xiàn)2倍上采樣，提高分辨率。最后在卷積層和雙曲正切函數(shù)（hyperbolic tangent，tanh）激活層后輸出超分辨率重建圖像。

對抗模型中，生成器以最大化鑒別器輸出的超分辨圖像可信度為目標(biāo)，輸入低分辨率圖像（ILR），輸出超分辨率重建圖像。鑒別器以最大化真實圖像可信度和最小化超分辨率重建圖像可信度為目標(biāo)，輸入真實圖像（IHR）或超分辨率重建圖像（ISR），輸出圖像可信度。鑒別器目標(biāo)函數(shù)f(θD)和生成器目標(biāo)函數(shù)f(θG)[23-25]分別為Square Error，MSE）：衡量重建圖像與目標(biāo)圖像間的像素差異，取值范圍為[0,+∞]，數(shù)值越小圖像質(zhì)量越高，其公式[29]如下：

式中ISR(i,j)為待評價圖像(i,j)點的像素值，取值范圍[0,256]；IHR(i,j)為原始圖像(i,j)點的像素值，取值范圍[0,256]；M、N分別為圖像的長和寬。

2）峰值信噪比（Peak Signal to Noise Ratio，PSNR）：衡量圖像間像素最大值和差異的比值，取值范圍為[0,+∞]，數(shù)值越大圖像質(zhì)量越高，其公式[29]如下：

式中DθD(I)為鑒別器輸出圖像I的可信度；θD為鑒別器的參數(shù)；GθG(IHR)為生成器輸入ILR時輸出的超分辨率重建圖像；θG為生成器的參數(shù)。

對抗模型訓(xùn)練時，目標(biāo)函數(shù)f(θG)和f(θD)交替優(yōu)化，并最終趨于極大值。由于可信度DθD(I)取值范圍為0～1，

式中Q為圖像灰階數(shù)，位圖（Bitmap，BMP）格式灰度圖像取256。

3）結(jié)構(gòu)相似性（Structural Similarity，SSIM）：衡量圖像間亮度、對比度、結(jié)構(gòu)差異，取值范圍為[0,1]，數(shù)值越大表示圖像質(zhì)量越高，其公式[29]如下：

式中uISR、uIHR分別為待評價圖像ISR和原始圖像IHR的像素平均值分別為ISR和IHR的像素方差當(dāng)模型充分優(yōu)化時，收斂于納什平衡狀態(tài)，即f(θG)=0.5，f(θD)=1，此時鑒別器無法區(qū)分超分辨率重建圖像和真實圖像，即真實圖像和超分辨率重建圖像可信度都為0.5。

綜上所述，SeqGAN法采用對抗網(wǎng)絡(luò)實現(xiàn)損失間接反饋，減少模型過擬合，增強模型的特征學(xué)習(xí)能力和泛化能力，提高超分辨率重建圖像質(zhì)量。

1.4 評價指標(biāo)

為精確評價本文超分辨率重建方法的有效性，本文采用3種圖像相似度指標(biāo)計算重建圖像ISR和目標(biāo)圖像IHR間的差異，以定量分析超分辨率圖像質(zhì)量：1）均方誤差（Mean為ISR和IHR的像素協(xié)方差；c1、c2為穩(wěn)定常數(shù)，c1=(k1Q)2和c2=(k2Q)2，k1和k2為調(diào)節(jié)系數(shù)，一般取0.01和0.03。

2 結(jié)果與分析

本文以序列相似度高的土壤CT序列圖像為試驗對象。試驗數(shù)據(jù)集包含440張土壤CT圖像，包括分辨率相差2倍的高分辨率圖像數(shù)據(jù)集和低分辨率圖像數(shù)據(jù)集。低分辨率圖像數(shù)據(jù)集中包含220張土壤CT圖像，每張圖像分辨率為128像素×128像素，尺寸為62.17 mm×62.17 mm；高分辨率圖像數(shù)據(jù)集中包含220張土壤CT圖像，每張圖像分辨率為256像素×256像素，尺寸為62.17 mm×62.17 mm，即原始土壤CT圖像。

為驗證SeqGAN法對序列相似度較高的土壤CT圖像的重建效果，選用了圖像插值領(lǐng)域的標(biāo)準(zhǔn)方法[30]雙三次線性插值法（Bicubic linear interpolation，Bicubic）、深度學(xué)習(xí)方法卷積神經(jīng)網(wǎng)絡(luò)法（CNN）、本文改進(jìn)方法的原方法生成式對抗網(wǎng)絡(luò)法（GAN）3種超分辨率方法進(jìn)行對比分析。土壤CT圖像數(shù)據(jù)集以0.7∶0.2∶0.1比例分割為訓(xùn)練集、驗證集、測試集，采取5折交叉驗證法以驗證泛化能力。CNN法和GAN法的訓(xùn)練輪數(shù)為100輪，GAN法的初始化輪數(shù)為10輪。處理器為Intel? Xeon E5-2678 v3，主頻2.50 GHz，圖形處理器為GeForce RTX 2080Ti，內(nèi)存64 GB。軟件環(huán)境為anaconda和Python編程語言。

2.1 低分辨率圖像重建結(jié)果與分析

表1 為220幅低分辨率圖像對應(yīng)高分辨率圖像和不同超分辨率方法重建圖像的3種相似性指標(biāo)的平均值和標(biāo)準(zhǔn)差。由表1可知，Bicubic法的均方誤差最高，峰值信噪比、結(jié)構(gòu)相似性最低，表明重建圖像與原圖像相似度最低，重建圖像質(zhì)量最差；CNN法的重建圖像質(zhì)量比Bicubic法有一定的提升，均方誤差平均值降低14%，峰值信噪比平均值提高0.66 dB，結(jié)構(gòu)相似性平均值提高2.3%。

表1 4種超分辨率重建方法的結(jié)果對比Table 1 Comparison of results of four super-resolution reconstruction methods

GAN法的重建圖像質(zhì)量比CNN法有較大程度的提升，均方誤差平均值降低62.3%，峰值信噪比平均值提升7 dB，結(jié)構(gòu)相似性平均值提升2%。但是GAN法的各指標(biāo)標(biāo)準(zhǔn)差較高，對不同圖像的重建效果差異較大，方法自適應(yīng)性較低；SeqGAN法的重建圖像質(zhì)量最高，相比GAN法均方誤差平均值降低25%，峰值信噪比平均值提升1.4 dB，結(jié)構(gòu)相似性平均值提升0.2%。同時各相似度指標(biāo)的標(biāo)準(zhǔn)差降低25%到56%，重建不同圖像時效果保持穩(wěn)定，方法具有較好自適應(yīng)性。

為直觀展示4種方法超分辨率重建效果，從低分辨率土壤CT圖像數(shù)據(jù)集中隨機選取1張圖像，經(jīng)超分辨率重建后，對從重建圖像中截取的2個局部圖像（圖5）進(jìn)行定性分析。局部圖像1的主體為黑色孔隙，其圖像尺寸為15.54 mm×15.54 mm，對應(yīng)輸入圖像的分辨率為32像素×32像素，對應(yīng)目標(biāo)圖像和重建圖像的分辨率為64像素×64像素；局部圖像2的主體為白色石礫，其圖像尺寸為7.77 mm×7.77 mm，對應(yīng)輸入圖像的分辨率為16像素×16像素，對應(yīng)目標(biāo)圖像和重建圖像的像分辨率為32像素×32像素。局部圖像1和局部圖像2的超分辨率重建結(jié)果如圖6和圖7。

由圖6和圖7可知，Bicubic法和CNN法的超分辨率重建圖像中整體孔隙結(jié)構(gòu)和礫石結(jié)構(gòu)存在不同程度的模糊，清晰度較低。GAN法的重建圖像相比Bicubic法和CNN法更清晰，但重建后的孔隙結(jié)構(gòu)和礫石結(jié)構(gòu)體積增大，邊界存在失真現(xiàn)象，與目標(biāo)圖像灰度差異較大。SeqGAN法的重建圖像較為清晰，孔隙結(jié)構(gòu)和礫石結(jié)構(gòu)與周圍分界明確，與GAN法相比色差較小。

綜上，對于具有較高序列相似性的土壤CT圖像，Bicubic法和CNN法重建圖像質(zhì)量較差；GAN法重建圖像質(zhì)量有較大提升，但是其對于不同土壤CT圖像的適應(yīng)性較低；本文所提出的SeqGAN法重建的土壤CT圖像質(zhì)量較高，提升了土壤孔隙和礫石的邊界清晰度，且具有較好的適應(yīng)性。

2.2 高分辨率圖像重建結(jié)果與分析

為驗證SeqGAN方法的泛化能力，對高分辨率圖像（原始土壤CT圖像）進(jìn)行超分辨率重建，其結(jié)果如圖8所示。

由圖8a和圖8b可知，高分辨率圖像（圖像3）經(jīng)SeqGAN方法重建后，重建圖像整體清晰度較高，與原圖像灰度差異較小，白色礫石結(jié)構(gòu)和黑色孔隙結(jié)構(gòu)邊界明確。

重建圖像清晰度較高，肉眼無法分辨圖像細(xì)節(jié)，因此截取了局部圖像進(jìn)行定性分析。截取的局部圖像（圖像4）分辨率為128像素×128像素，尺寸為15.54 mm×15.54 mm。由圖9a和圖9b可知，SeqGAN方法細(xì)節(jié)清晰，黑色孔隙邊緣較為明確，局部清晰度較高，與低分辨率圖像重建試驗結(jié)果一致。

綜上，對于低分辨率圖像和高分辨率圖像，SeqGAN方法重建的圖像清晰度均較高，孔隙邊界明確，與原始圖像灰度差異較小，方法泛化能力較強。

3 結(jié) 論

針對土壤計算機斷層掃描（Computed Tomography，CT）圖像因為部分容積效應(yīng)導(dǎo)致的孔隙邊界模糊問題，本文基于土壤CT序列圖像的高相似性特點（干燥土壤除外），提出一種結(jié)合圖像序列信息的生成式對抗網(wǎng)絡(luò)超分辨率重建方法（Sequence information Generative Adversarial Network，SeqGAN）提升土壤CT圖像清晰度，并通過定性和定量試驗比較分析該方法和雙三次線性插值，卷積神經(jīng)網(wǎng)絡(luò)，生成式對抗網(wǎng)絡(luò)3種方法的超分辨率重建圖像質(zhì)量。結(jié)果表明：

1）基于序列卷積塊的特征提取能力，SeqGAN法挖掘出上下張土壤CT圖像的相關(guān)序列信息，并將其融合于目標(biāo)圖像，減少了超分辨率重建圖像的細(xì)節(jié)損失。利用首尾殘差連接塊的信息傳遞能力，SeqGAN法實現(xiàn)了深層網(wǎng)絡(luò)結(jié)構(gòu)中輸入信息和輸出信息的直接連接，提高了模型的特征提取能力，并避免了因網(wǎng)絡(luò)層數(shù)過深導(dǎo)致的模型退化問題。

2）SeqGAN法超分辨率重建圖像中的孔隙和礫石邊界清晰，細(xì)節(jié)損失和色差較小。其均方誤差平均值比次優(yōu)方法（GAN）降低了25%，峰值信噪比平均值提升1.4 dB，結(jié)構(gòu)相似性平均值提升0.2%。實現(xiàn)了精確的土壤CT圖像超分辨率重建，可為研究土壤物理結(jié)構(gòu)提供先進(jìn)的技術(shù)手段。

3）本文方法實現(xiàn)了具有高序列相似性的濕潤土壤CT圖像的超分辨率重建。而對于序列相似性較低的土壤CT圖像（比如干燥土壤）進(jìn)行準(zhǔn)確的超分辨率重建，將是進(jìn)一步研究的重點。