姜茜，呂玉超，徐英豪，朱習(xí)軍

（青島科技大學(xué)信息科學(xué)技術(shù)學(xué)院，山東青島 266061）

肺癌是對(duì)人類生命健康威脅最大的一種惡性腫瘤，研究表明，早期肺癌的診斷和治療可以讓患者5 年的生存率提高到55.5%[1],CT 目前是肺癌早期臨床篩查的主要影像方法，但其分辨率受制于成像設(shè)備、X 射線劑量等條件，會(huì)出現(xiàn)復(fù)雜、不均勻的噪聲，這使圖像的原始尺寸及質(zhì)量無(wú)法滿足醫(yī)生在閱片時(shí)的診斷需要。因此提高CT 影像的分辨率，使其在放大后依然保持著清晰的紋理細(xì)節(jié)是目前研究的主要任務(wù)。近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）[2]的重建模型大大改進(jìn)了傳統(tǒng)超分辨率圖像重建的效率與質(zhì)量[3]，SRGAN 穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)具有較好的重建效果和魯棒性，因此，其被頻繁用于醫(yī)學(xué)圖像重建[4-7]。盡管醫(yī)學(xué)圖像重建相關(guān)研究已經(jīng)取得了長(zhǎng)足的發(fā)展，但受制于肺部CT 影像紋理細(xì)節(jié)、邊緣梯度復(fù)雜[8]的特點(diǎn)，超分辨率重建工作仍存在瓶頸，出現(xiàn)放大倍數(shù)受限[9]、重建后丟失邊緣信息和微小焦點(diǎn)[10]等問(wèn)題。

1 RUAGAN模型研究與設(shè)計(jì)

針對(duì)上述問(wèn)題，該文提出了RUAGAN 模型對(duì)肺癌數(shù)據(jù)集進(jìn)行分辨率重建，使重建后的CT 圖像在4x 放大因子上依然保持清晰的細(xì)節(jié)，同時(shí)減少邊緣信息的丟失，保證圖像的真實(shí)性，滿足醫(yī)生的觀測(cè)需求。

1.1 生成器

RRDB 為生成器的基本塊，采用了兩層殘差結(jié)構(gòu)，主干部分由三個(gè)密集殘差塊(Residual Dense Block,RDB)構(gòu)成，將主干網(wǎng)絡(luò)的輸出與殘差邊相疊加，通過(guò)密集連接卷積層充分提取局部特征，不僅可以提高特征提取的能力，還能夠有效避免模型過(guò)深導(dǎo)致的性能退化問(wèn)題。使用RRDB 作為生成器的基本塊，結(jié)合了多層殘差網(wǎng)絡(luò)和跳躍鏈接，這樣的結(jié)構(gòu)有利于特征充分提取與特征重用[11]，充分挖掘圖像中抽象特征與紋理細(xì)節(jié)的同時(shí)增加網(wǎng)絡(luò)容量。生成器模型結(jié)構(gòu)如圖1 所示。

圖1 生成器結(jié)構(gòu)

重建醫(yī)學(xué)圖像需要充分的高頻信息。大部分重建模型存在丟失高頻信息的問(wèn)題，導(dǎo)致重建后的圖像紋理細(xì)節(jié)不清晰，甚至出現(xiàn)斑塊。為提高高頻特征的提取特征，該文在生成器后半部分加入局部注意力模塊，其結(jié)構(gòu)如圖2 所示。

圖2 局部注意力模塊結(jié)構(gòu)

對(duì)張量塊T使用平均池化進(jìn)行下采樣操作，得到張量塊TD，輸出張量塊TD的通道數(shù)與高度為張量塊T的二分之一，其值越高，子區(qū)域的判別信息就越豐富，對(duì)TD使用pixelShuffle 進(jìn)行上采樣得到和T相同尺寸的、平滑的深層特征塊T′。這時(shí)，用T減去T′得到該局部的高頻信息TH：

式中，利用激活函數(shù)ReLU 來(lái)增強(qiáng)二者之間的動(dòng)態(tài)差異范圍，得到的TH中的每一個(gè)插值都代表了該部分區(qū)域與平均水平的插值。再將高頻信息疊加到T中得到Tout，公式如下：

其中，β是超參數(shù)，用于平衡注意模塊的影響。此時(shí)Tout中突出了圖像局部的高頻信息，達(dá)到了區(qū)分判別信息注意優(yōu)先級(jí)的目的，有助于生成器對(duì)高頻信息的提取。

1.2 帶有實(shí)例歸一化的U-Net鑒別器

CT 圖像具有噪聲紛亂復(fù)雜、邊緣信息模糊、紋理細(xì)節(jié)復(fù)雜等特點(diǎn)。傳統(tǒng)GAN 模型中使用的相對(duì)鑒別器[12]忽略了圖像的真實(shí)性，對(duì)該文的醫(yī)學(xué)數(shù)據(jù)集并不適用。所以在處理CT 圖像時(shí)使用對(duì)像素梯度更敏感、鑒別能力更加強(qiáng)大的U-Net 網(wǎng)絡(luò)作為鑒別器[13]。鑒別器結(jié)構(gòu)如圖3 所示。

圖3 鑒別器結(jié)構(gòu)

在U-Net 的編碼部分，通過(guò)對(duì)輸入的圖片進(jìn)行卷積和降采樣，得到不同尺寸的特征圖，在解碼過(guò)程中進(jìn)行上采樣，上采樣后的特征圖與解碼過(guò)程中對(duì)應(yīng)的特征圖進(jìn)行通道上的拼接。因U-Net 網(wǎng)絡(luò)結(jié)構(gòu)更深，深層卷積側(cè)重全局信息，淺層卷積關(guān)注紋理細(xì)節(jié)，提供了更好的特征提取能力，跳躍連接可兼顧全局信息與紋理細(xì)節(jié)，使用concat 進(jìn)行特征拼接有助于還原降采樣所帶來(lái)的信息損失，避免了邊緣特征的丟失。U-Net 網(wǎng)絡(luò)作為鑒別器，輸出為每個(gè)像素的真實(shí)值，向生成器提供詳細(xì)的逐像素反饋，為肺部圖像重建提供更加強(qiáng)大的鑒別能力。

U-Net 網(wǎng)絡(luò)相比于普通鑒別器網(wǎng)絡(luò)，結(jié)構(gòu)更加復(fù)雜、網(wǎng)絡(luò)層更深，在訓(xùn)練深度網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)隱藏層參數(shù)更新會(huì)導(dǎo)致數(shù)據(jù)分布發(fā)生偏移，為了保持?jǐn)?shù)據(jù)分布的一致性，在U-Net 中對(duì)每個(gè)特征圖進(jìn)行實(shí)例歸一化(Instance Normalization,IN)。IN 可以保持每個(gè)圖像實(shí)例之間的獨(dú)立，并加速模型收斂、穩(wěn)定訓(xùn)練，此外，在U-Net 中添加IN 有助于緩解在生成對(duì)抗過(guò)程中引入的過(guò)于尖銳的偽信號(hào)。

1.3 組合損失函數(shù)

多數(shù)基于GAN 的重建模型中，通常以峰值信噪比為導(dǎo)向，使用MSE 作為損失函數(shù)，容易丟失高頻信息，導(dǎo)致圖像過(guò)于平滑。為解決上述問(wèn)題，并在考慮人類視覺感知的前提下提高圖像分辨率，針對(duì)醫(yī)學(xué)圖像的觀測(cè)需求，文中把對(duì)抗損失、SSIM損失與感知損失[14]三者結(jié)合在一起，將損失函數(shù)定義為：

LGAN為對(duì)抗損失，功能是幫助生成器，使生成圖像盡可能接近真實(shí)圖像，從而欺騙判別器。通過(guò)計(jì)算生成圖像與目標(biāo)圖像之間的差值，可提高圖像的真實(shí)度，提高生成圖像的視覺效果。LGAN公式為：

其中，ILR和IHR分別為L(zhǎng)R圖像和對(duì)應(yīng)的HR圖像。G和D分別表示模型的發(fā)生器和鑒別器，δ為sigmoid 函數(shù)。

SSIM(Structural Similarity Index)為結(jié)構(gòu)相似度指數(shù)，從圖像組成的角度將結(jié)構(gòu)信息定義為獨(dú)立于亮度、對(duì)比度的、反映場(chǎng)景中物體結(jié)構(gòu)的屬性。使用SSIM 損失充分考慮人類的視覺感知，比使用L1 損失得到更多細(xì)節(jié)。SSIM 損失公式為：

其中，l(ILR,IHR)為亮度相似度，c(ILR,IHR)為對(duì)比度相似度，s(ILR,IHR)為結(jié)構(gòu)相似度。

為提取圖像的高頻信息，在損失函數(shù)中加入感知損失，利用卷積層抽象高層特征的能力，從高維度更接近人的思維的層次來(lái)感知圖像。感知損失提供了清晰的邊緣和更具有視覺體驗(yàn)的結(jié)果。感知損失公式如下：

其中，Ci、Hi、Wi分別表示第i層特征映射的通道大小、高度和寬度，φi表示訓(xùn)練網(wǎng)絡(luò)第i層的激活情況。

2 實(shí)驗(yàn)

實(shí)驗(yàn)環(huán)境包括硬件環(huán)境和軟件環(huán)境，硬件設(shè)備為一臺(tái)搭載GPU NVIDIA GeForceRTX 3090 的服務(wù)器，軟件設(shè)備為PyTorch 1.11 CUDA ToolKit 11.2，Python3.7。在實(shí)驗(yàn)中batch-size 設(shè)為8，生成器中RRDB 的個(gè)數(shù)設(shè)置為23。使用Adam 優(yōu)化器促使損失函數(shù)收斂到最小，以不斷更新網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率設(shè)置為2×10-4，衰減率為0.1。

2.1 數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)中采用美國(guó)國(guó)家肺癌中心數(shù)據(jù)集，使用MicoDicom 軟件遍歷數(shù)據(jù)集，從中挑選出清晰度相對(duì)高、紋理細(xì)節(jié)復(fù)雜的3 000 張圖像，并將其裁剪為512×512 像素大小，然后，使用Bicubic 以4x 比例因子下采樣得到128×128 像素大小的低分辨率圖像，經(jīng)過(guò)預(yù)處理后低分辨率圖像與原圖組成數(shù)據(jù)對(duì)，輸入到RUAGAN 模型中進(jìn)行訓(xùn)練。

2.2 對(duì)比實(shí)驗(yàn)

為體現(xiàn)改進(jìn)后的模型在該數(shù)據(jù)集上的表現(xiàn)，將其與兩種插值算法，兩種基于CNN 的重建算法和四種基于GAN 的重建算法進(jìn)行比較。其中算法為雙線性(Bilinear)插值法、雙三次(Bicubic)插值法、SRCNN、ESPCN[15]、RACN、SRGAN、ESRGAN 與BSRGAN[16]。為驗(yàn)證模型的泛化能力，將數(shù)據(jù)集分為訓(xùn)練集與測(cè)試集，分別輸入到這幾個(gè)模型中進(jìn)行訓(xùn)練。為充分體現(xiàn)算法的處理效果，選取了數(shù)據(jù)集中兩個(gè)不同部位的重建結(jié)果，如圖4 所示。

圖4 各模型超分辨率效果

2.3 評(píng)價(jià)指標(biāo)

該文使用的評(píng)價(jià)指標(biāo)為峰值信噪比、結(jié)構(gòu)相似性與平均梯度（Average Gradient）。峰值信噪比與結(jié)構(gòu)相似性常作為圖像重建后評(píng)價(jià)圖像質(zhì)量的評(píng)價(jià)指標(biāo)，其中峰值信噪比反映的是像素間的誤差。而結(jié)構(gòu)相似性側(cè)重于人眼的視覺感知。平均梯度常用于衡量圖像的清晰程度，可以認(rèn)為平均梯度越大，圖像清晰度越好，重建質(zhì)量越好，公式如式（7）所示：

其中，M和N為圖像的長(zhǎng)和寬，和分別表示圖像水方向和垂直方向的梯度。

各模型評(píng)價(jià)指標(biāo)如表1 所示。

表1 各模型評(píng)價(jià)指標(biāo)值對(duì)比

從圖4 和表1 的實(shí)驗(yàn)結(jié)果來(lái)看，在對(duì)醫(yī)學(xué)圖像進(jìn)行分辨率重建時(shí)，兩種插值算法簡(jiǎn)單快速，但由于插值算法的局限性，清晰度很低，重建效果與深度學(xué)習(xí)方法有一定差距?；贑NN 網(wǎng)絡(luò)的SRCNN 和ESPCN 模型重建效果較插值算法更好，圖像更清晰，ESPCN 模型的PSNR 值與SSIM 值較Bicubic 算法分別提高了2%與11%，但重建后的圖像紋理過(guò)于平滑，平均梯度分別為5.238 與5.167，清晰度低。RCAN 在三個(gè)基于CNN 網(wǎng)絡(luò)的重建模型中效果最好，卻忽略了對(duì)CT 圖像中病變區(qū)域的關(guān)注側(cè)重，雖然其PSNR 數(shù)值達(dá)到29.474，高于文中用于對(duì)比的三個(gè)GAN 模型，但紋理不自然，低頻信息較其他模型更少。該文使用的局部注意力機(jī)制更適合CT 影像，PSNR 與SSIM 值較RCAN 算法分別提高了0.024 與1.425?；贕AN 的SRGAN 模型與ESRGAN 重建后紋理不清晰，對(duì)高頻信息的挖掘不夠深入。ESRGAN 與BSRGAN 重建過(guò)程涉及復(fù)雜的退化過(guò)程，對(duì)于肺部CT 圖像進(jìn)行了一系列的退化后再重建，重建后圖像在亮度、對(duì)比度等方面的視覺效果較RUAGAN差，SSIM 值為0.866 與0.833。而該文模型在PSNR、SSIM 和AG上表現(xiàn)更好，分別為31.98、0.974 和7.725，略高于其他模型，且視覺上紋理細(xì)節(jié)豐富，邊緣清晰。

3 結(jié)論

該文對(duì)醫(yī)學(xué)圖像進(jìn)行分辨率重建RUAGAN，針對(duì)醫(yī)學(xué)圖像區(qū)別于自然圖像的特點(diǎn)，在生成器部分加入局部注意力機(jī)制，并使用帶有實(shí)例歸一化的UNet 網(wǎng)絡(luò)作為鑒別器，提升重建后圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的模型在AG、PSNR 和SSIM 上表現(xiàn)較好，PSNR 與SSIM 分別達(dá)到29.075 與0.901，相較于Bicubic、SRGAN、ESRGAN 算法都有提高，重建效果更好。整體視覺效果的提升有助于提高醫(yī)生的閱片效率，也可用于醫(yī)學(xué)圖像分割、檢測(cè)等實(shí)際應(yīng)用中。但模型的泛化能力有待提高，下一步的研究工作將探尋提高模型泛化能力的方法，在保證重建效果的同時(shí)提高重建效率。