李 陽，李春璇，徐燦飛，方立梅

(1.東北師范大學(xué)前沿交叉研究院 長春 130000；2.長春工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 長春 130012；3.浙江大學(xué)醫(yī)學(xué)院附屬邵逸夫醫(yī)院 杭州 310000；4.長春中醫(yī)藥大學(xué)附屬第三臨床醫(yī)院 長春 130117)

癌癥已成為人口死亡的主要原因之一，而肺癌的發(fā)病率和致死率均較高[1]。早期肺癌在胸部計(jì)算機(jī)斷層掃描(computed tomography, CT)上的表現(xiàn)為肺結(jié)節(jié)，對肺結(jié)節(jié)的早期檢測可以提高肺癌患者的存活率。計(jì)算機(jī)輔助檢測(computer aided detection,CAD)技術(shù)能夠輔助醫(yī)生進(jìn)行醫(yī)學(xué)檢測，減少了醫(yī)生工作量的同時(shí)也提高了診斷的準(zhǔn)確性。近年來深度學(xué)習(xí)在肺CAD 診斷方面得到廣泛應(yīng)用。然而深度學(xué)習(xí)模型的訓(xùn)練必須依賴大量數(shù)據(jù)，實(shí)際中由于人工標(biāo)注成本昂貴導(dǎo)致獲取大量帶標(biāo)注的肺CT 影像非常困難，數(shù)據(jù)增強(qiáng)技術(shù)為數(shù)據(jù)的擴(kuò)充提供了可能。

數(shù)據(jù)增強(qiáng)是一種數(shù)據(jù)擴(kuò)充技術(shù)，傳統(tǒng)數(shù)據(jù)增強(qiáng)方法有旋轉(zhuǎn)、平移、裁剪、縮放、噪聲擾動等。這些方法被廣泛應(yīng)用于擴(kuò)充訓(xùn)練集[2-3]，然而傳統(tǒng)數(shù)據(jù)增強(qiáng)方法的輸出過度依賴于原始數(shù)據(jù)，深度模型利用擴(kuò)充數(shù)據(jù)來訓(xùn)練模型容易出現(xiàn)過擬合問題。近年來，許多研究使用生成式對抗網(wǎng)絡(luò)(generative adversarial networks, GAN)進(jìn)行數(shù)據(jù)擴(kuò)充。GAN 通過兩個(gè)網(wǎng)絡(luò)的對抗博弈過程來學(xué)習(xí)真實(shí)樣本的數(shù)據(jù)分布[4]，與傳統(tǒng)數(shù)據(jù)增強(qiáng)方法對比，本質(zhì)上提高了樣本特征的多樣性。

目前GAN 衍生出一系列的變體模型，改進(jìn)的變體模型逐步從自然場景的應(yīng)用跨越到醫(yī)學(xué)圖像的應(yīng)用[5-6]。在肺結(jié)節(jié)的生成任務(wù)中，文獻(xiàn)[7]為了提高分割網(wǎng)絡(luò)訓(xùn)練模型性能、增加訓(xùn)練數(shù)據(jù)，提出基于Style-GAN 的新型數(shù)據(jù)增強(qiáng)方法合成肺結(jié)節(jié)，先從整體中提取樣式和語義標(biāo)簽，然后用隨機(jī)選擇的樣式為每個(gè)語義標(biāo)簽合成增強(qiáng)的CT 圖像。文獻(xiàn)[8]為提高檢測網(wǎng)絡(luò)的性能，對肺結(jié)節(jié)數(shù)據(jù)集進(jìn)行增強(qiáng)，提出一種基于計(jì)算機(jī)斷層掃描的生成式對抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法，可以在指定位置添加肺結(jié)節(jié)，并引入DropBlock來解決過擬合的問題。

文獻(xiàn)[9]提出一種基于Conditional GAN(CGAN)的肺結(jié)節(jié)圖像生成算法CT-GAN，該網(wǎng)絡(luò)能學(xué)習(xí)圖像到圖像的映射關(guān)系，通過篡改原始的CT 圖像數(shù)據(jù)，得到近似真實(shí)的醫(yī)學(xué)圖像數(shù)據(jù)，從而擴(kuò)充正樣本數(shù)據(jù)。

在GAN 的增強(qiáng)任務(wù)中，引入注意力模塊可以達(dá)到更優(yōu)的生成效果。在生成式對抗網(wǎng)絡(luò)的生成任務(wù)中最常用的注意力模塊是自注意力機(jī)制和通道注意力機(jī)制。SAGAN[10]在生成器和判別器中都添加了自注意力模塊，在每一層都考慮了全局信息，在提高感受野和減小參數(shù)量之間找到了一個(gè)很好的平衡，生成與全局相關(guān)性比較高的圖片。文獻(xiàn)[11]在CycleGAN 的判別器中添加了空間注意力，將注意力圖反饋到生成器，來協(xié)助生成器可以關(guān)注到圖像中有區(qū)分度的區(qū)域，由此帶來了模型性能的持續(xù)提升。

U-Net[12]被應(yīng)用在醫(yī)學(xué)圖像的初衷是為了解決醫(yī)學(xué)圖像分割的問題，其U 形結(jié)構(gòu)啟發(fā)了生成算法。文獻(xiàn)[13]提出了U-Net 的判別器架構(gòu)，鼓勵(lì)U-Net 判別器更多關(guān)注真實(shí)圖像與偽圖像之間的語義和結(jié)構(gòu)變化，使生成器能生成圖片保持全局和局部真實(shí)感。文獻(xiàn)[14]提出一種端到端注意力增強(qiáng)的串行 U-Net++ 網(wǎng)絡(luò)，串行U-Net++模塊提取不同分辨率的特征并在不同的尺度上重建圖像。該模塊直接將淺層的原始信息傳遞給更深層次，使更深層次專注于殘差學(xué)習(xí)，而重用淺層上下文信息。

傳統(tǒng)的GAN 網(wǎng)絡(luò)生成圖像效果有限，訓(xùn)練不穩(wěn)定且訓(xùn)練過程容易模式崩潰[15]。直接用GAN 生成肺結(jié)節(jié)，容易存在病灶模糊和背景噪點(diǎn)多的問題，為解決以上問題，本文提出利用改進(jìn)的Pix2Pix[16]模塊生成肺結(jié)節(jié)圖像，主要貢獻(xiàn)如下。

1）生成器中添加設(shè)計(jì)后的殘差注意力模塊[17]。目的是在圖像的生成中不但關(guān)注到肺結(jié)節(jié)的生成，同時(shí)也關(guān)注到復(fù)雜的背景信息。對不同的信息進(jìn)行特征篩選，自適應(yīng)地學(xué)習(xí)肺結(jié)節(jié)圖像保證圖像不同特征細(xì)節(jié)的生成。

2）設(shè)計(jì)殘差塊結(jié)構(gòu)。殘差注意力模塊的添加使整個(gè)生成網(wǎng)絡(luò)層數(shù)擴(kuò)展到很深，重新設(shè)計(jì)后的殘差塊減少了網(wǎng)絡(luò)深度和訓(xùn)練的復(fù)雜度，同時(shí)更好地適應(yīng)生成網(wǎng)絡(luò)。

3）設(shè)計(jì)U-Net 判別器代替Pix2Pix 中的馬爾可夫判別器。由于U-Net 的編碼器和解碼器對應(yīng)不同模塊之間的跳躍鏈接，輸出層的通道就包含了不同級別的信息，可以反饋給生成器更詳細(xì)的信息。

1 算法結(jié)構(gòu)設(shè)計(jì)

1.1 Pix2Pix 算法原理

GAN 相關(guān)的衍生模型越來越多，在GAN 中加入各種的條件信息可以更好地控制生成圖像的內(nèi)容和效果，Pix2Pix 是衍生的條件模型之一，可以達(dá)到圖像風(fēng)格轉(zhuǎn)換的目的。Pix2Pix 是基于CGAN 實(shí)現(xiàn)兩個(gè)域之間的轉(zhuǎn)換模型，將輸入圖片作為條件信息，學(xué)習(xí)從源域圖像到目標(biāo)域圖像之間的映射來生成指定的輸出圖像。生成器采用的U-Net 網(wǎng)絡(luò)能夠充分融合特征，判別器采用的PatchGAN 分類器能夠只在圖像塊的尺度上進(jìn)行懲罰，對輸入圖像的每一個(gè)區(qū)域都輸出一個(gè)預(yù)測概率值。其中Pix2Pix 的損失函數(shù)包含了CGAN 的損失函數(shù)和L1 正則項(xiàng)兩部分。

CGAN 的生成器要根據(jù)約束條去生成圖片，判別器除了判別生成圖像是否為真，還要判別生成圖像與真實(shí)圖片是否匹配，優(yōu)化目標(biāo)函數(shù)可定義為：

式中，G為 生成器；D為判別器；x為真實(shí)圖像；y為經(jīng)過預(yù)訓(xùn)練后的約束條件；z為隨機(jī)噪聲。對于D而言，需要最大化目標(biāo)函數(shù)，D給真實(shí)圖像高分，讓D(x,y)越大越好，同時(shí)給約束條件下生成的圖像低分，D(x,G(x,z))越 小越好。對于G而言，需要最小化目標(biāo)函數(shù)，讓D給在約束條件下生成的圖片高分，D(x,G(x,z))越大越好。

L1 損失用來約束生成圖像與真實(shí)圖像之間的距離，可定義為：

式中，矩陣1-范數(shù)表示向量中元素絕對值之和，即約束條件y與生成的圖像兩者絕對值之和。

最終Pix2Pix 的目標(biāo)函數(shù)為：

式中， λ為超參數(shù)。

1.2 RAU-GAN 網(wǎng)絡(luò)設(shè)計(jì)

1.2.1 生成器網(wǎng)絡(luò)

RAU-GAN 將改進(jìn)后的殘差注意力機(jī)制與Pix2Pix 生成器相結(jié)合。生成器中圖像到圖像的轉(zhuǎn)換是高分辨率的輸入映射到另一個(gè)高分辨率的輸出，輸入和輸出需要粗略對齊，同時(shí)需要共享高層語義信息和底層的語義信息，故采用U-Net 全卷積網(wǎng)絡(luò)。生成器通過左側(cè)不斷下采樣到達(dá)中間的隱含編碼層，再通過右側(cè)上采樣來還原圖像，左側(cè)與右側(cè)中間添加跳躍鏈接將部分有用的重復(fù)信息直接共享到生成器中。同時(shí)，添加L1 損失函數(shù)，來約束生成圖像與原始圖像之間的特征，對網(wǎng)絡(luò)進(jìn)行優(yōu)化。

RAU-GAN 的生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，采用改進(jìn)后的殘差注意力模嵌入到U-Net 模塊中，輸入掩模處理后的大小為32×32×32 的圖片，首先使用大小為4×4×4 的卷積核，步幅為2，對輸入的圖像進(jìn)行處理。再依次通過4 個(gè)卷積層進(jìn)行特征提取，之后連接殘差注意力模塊去更多地關(guān)注感興趣區(qū)。同時(shí)采用跳躍鏈接層連接結(jié)構(gòu)，在對稱結(jié)構(gòu)中加入Dropout 和Batch-Norm，可以保留更多的圖像細(xì)節(jié)，協(xié)助反卷積層完成圖像的恢復(fù)工作，并且減少梯度消失，加快模型訓(xùn)練。

圖1 生成器網(wǎng)絡(luò)模型

1.2.2 殘差塊注意力機(jī)制

本文采用了殘差注意力模塊，結(jié)合了通道和空間注意力機(jī)制，可以選擇重要的對象和區(qū)域。通過殘差注意力堆疊式的網(wǎng)絡(luò)結(jié)構(gòu)來同時(shí)關(guān)注多個(gè)不同的感興趣區(qū)，堆疊的方式減少了模型的復(fù)雜度。通過注意力殘差學(xué)習(xí)來優(yōu)化殘差注意力網(wǎng)絡(luò)，避免了網(wǎng)絡(luò)層數(shù)太深引起的梯度消失問題。本文殘差注意力由3 個(gè)注意力模塊堆疊而成，每個(gè)注意力模塊由主干分支和掩膜分支兩個(gè)部分組成，如圖2 所示。主干分支進(jìn)行特征處理，如結(jié)節(jié)形狀是否存在分葉和毛刺等細(xì)節(jié)信息。掩膜分支是下采樣和上采樣的過程，用來獲取特征圖的全局信息，如結(jié)節(jié)信息。掩膜分支學(xué)習(xí)得到與主干的輸出大小一致的掩膜，通過對特征圖的處理輸出維度一致的注意力特征圖。最后用點(diǎn)乘操作將兩個(gè)分支的特征圖結(jié)合得到最終的輸出特征圖。

圖2 殘差注意力模塊

此外，由于殘差注意力機(jī)制堆疊了多個(gè)注意力模塊，每個(gè)注意力模塊又包含大量的殘差塊，因此網(wǎng)絡(luò)很容易擴(kuò)展成深層網(wǎng)絡(luò)。復(fù)雜的層次結(jié)構(gòu)添加到生成器，容易引起生成網(wǎng)絡(luò)的模式崩潰問題，為優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練時(shí)間，重新設(shè)計(jì)了殘差塊，其結(jié)構(gòu)如圖3 所示，新設(shè)計(jì)的殘差塊僅由一組批處理歸一化(BN)層、激活(ReLU)層和卷積層(Conv)組合而成，改進(jìn)后的殘差注意力模型網(wǎng)絡(luò)層減輕的同時(shí)也達(dá)到了生成注意力感知特征的目的。

圖3 殘差塊模型的設(shè)計(jì)

1.3 U-Net 判別器

Pix2Pix 中的馬爾科夫判別器完全由卷積層構(gòu)成并用于風(fēng)格遷移的對抗網(wǎng)絡(luò)中，需要在內(nèi)容和紋理兩部分進(jìn)行判別，但在學(xué)習(xí)語義、結(jié)構(gòu)和紋理不同任務(wù)時(shí)容易忘記之前的任務(wù)。而U-Net 使用的跳躍鏈接可以橋接編碼器和解碼器兩個(gè)模塊，輸出層的通道包含了不同級別的信息，因此可以反饋給生成器更多的信息，同時(shí)在每個(gè)像素的基礎(chǔ)上進(jìn)行分類去判別真實(shí)和虛假的全局和局部決策，提高了判別器的網(wǎng)絡(luò)性能。

本文使用U-Net 網(wǎng)絡(luò)來判別輸入圖像的真假，判別器是由編碼器和解碼器兩部分構(gòu)成的U-Net 網(wǎng)絡(luò)。編碼器有5 個(gè)大小為4×4×4 的卷積核，步幅為2，每個(gè)卷積后是一個(gè)Relu 函數(shù)，隨后加入Batch-Norm。解碼器先進(jìn)行上采樣，特征圖的大小變?yōu)樵瓉淼膬杀?，然后?jīng)過大小為4×4×4，步幅為1 的反卷積，同樣加入ReLu 函數(shù)、Dropout 和Batch-Norm 層。依次通過4 個(gè)同樣的反卷積運(yùn)算后再經(jīng)過一次上采樣和一個(gè)步幅為2 的卷積，將圖片輸出轉(zhuǎn)換為2×2×2 大小。同時(shí)在兩個(gè)模塊之間建立了跳躍連接，最后得到判別器的輸出概率來判斷生成的肺結(jié)節(jié)。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

本文采用LUNA16 公開數(shù)據(jù)集[18]，LUNA16數(shù)據(jù)集包含888 個(gè)低劑量肺部CT 影像。其中帶有醫(yī)生標(biāo)注且直徑大于3 mm 并且相近的結(jié)節(jié)融合的肺結(jié)節(jié)共1 186 個(gè)。為了使生成結(jié)節(jié)的效果更優(yōu)，從中挑選直徑1～1.6 cm 的肺結(jié)節(jié)，同時(shí)為增加訓(xùn)練樣本數(shù)量，對數(shù)據(jù)進(jìn)行翻轉(zhuǎn)和旋轉(zhuǎn)數(shù)據(jù)的增強(qiáng)方式。結(jié)合考慮機(jī)器硬件條件的限制，最終得到訓(xùn)練集有5 152 個(gè)結(jié)節(jié)訓(xùn)練樣本。

2.2 實(shí)驗(yàn)細(xì)節(jié)

實(shí)驗(yàn)環(huán)境以Python3.6 為編程語言，編碼在keras，Tensorflow 深度學(xué)習(xí)框架，采用GPU 為單張RTX3090 顯卡行。網(wǎng)絡(luò)優(yōu)化采用Adam 優(yōu)化器，學(xué)習(xí)率為0.000 2，動量參數(shù)分別為β1= 0.5，β2= 0.999；損失函數(shù)中λ 設(shè)置為10，批處理大小為16，進(jìn)行200 輪次生成。

2.3 評價(jià)指標(biāo)

實(shí)驗(yàn)采用FID[19]，PSNR[20]，SSIM[21]這3 種評價(jià)指標(biāo)來評估生成結(jié)果。FID 通過計(jì)算生成樣本與真實(shí)樣本特征空間的距離來衡量兩幅圖像之間的相似度。FID 數(shù)值越小說明兩者越接近，意味著生成圖片的質(zhì)量較高、多樣性豐富。SSIM 是一種衡量兩幅圖像結(jié)構(gòu)相似度的指標(biāo)，對圖像局部變化敏感，取值范圍在0～1 之間，SSIM 數(shù)值越大說明兩張圖片越相似。PSNR 是用于衡量圖像質(zhì)量的重要指標(biāo)，PSNR 數(shù)值越大說明失真越少，生成圖像質(zhì)量越好。

2.4 實(shí)驗(yàn)結(jié)果和分析

2.4.1 掩膜大小的選定

為了選取合適大小的掩膜以達(dá)到模型最優(yōu)效果，實(shí)驗(yàn)分別選取了8×8×8、12×12×12、16×16×16、20×20×20 及24×24×24 這5 種 不 同 尺 寸 的 掩 膜。在Pix2Pix 模型上進(jìn)行實(shí)驗(yàn)，生成圖像如圖4 所示，對應(yīng)FID 評價(jià)指標(biāo)如表1 所示。圖4 第一行為不同尺寸的掩膜圖像，第二行為生成圖像，第三行為原圖像。由圖可知，8×8×8×8 和12×12×12 尺寸的掩膜過小，對于較大結(jié)節(jié)不能完整覆蓋，導(dǎo)致生成結(jié)果與原圖過于相似，雖然FID 值較小，但其增強(qiáng)圖像應(yīng)用于深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)可能會導(dǎo)致過擬合。20×20×20 和24×24×24 大小的掩膜過大，生成結(jié)節(jié)邊界模糊，對應(yīng)于表1 發(fā)現(xiàn)掩膜越大其FID 數(shù)值也越大，因此最終選取16×16×16 大小的掩膜作為源域圖像。

表1 不同掩膜尺寸的指標(biāo)結(jié)果

圖4 不同大小掩膜的選取

2.4.2 消融實(shí)驗(yàn)

為了驗(yàn)證殘差注意力機(jī)制模塊，改進(jìn)U-Net 判別網(wǎng)絡(luò)的有效性，進(jìn)行消融實(shí)驗(yàn)逐一驗(yàn)證。本文以Pix2Pix 為Baseline，實(shí)驗(yàn)結(jié)果如表2 所示。首先，在Basline 中添加殘差注意力模塊，用U-Net判別器替換馬爾科夫判別器，改進(jìn)后的結(jié)果由第二、第四組實(shí)驗(yàn)可知，3 個(gè)指標(biāo)均有提升，這說明在生成器中嵌入殘差注意力模塊可以更精細(xì)地捕捉各類特征信息，U-Net 判別器在學(xué)習(xí)不同任務(wù)的同時(shí)協(xié)助生成器生成更優(yōu)的圖片。其次，在第二組實(shí)驗(yàn)的基礎(chǔ)上重新設(shè)計(jì)了殘差塊，第二、第三組實(shí)驗(yàn)結(jié)果對比顯示，改進(jìn)后的模塊結(jié)果在評價(jià)指標(biāo)上有降低，但指標(biāo)變化微小，反映出設(shè)計(jì)后的殘差塊并沒有降低網(wǎng)絡(luò)生成效果，同時(shí)也達(dá)到了不同細(xì)節(jié)特征良好生成的注意力效果，但與第二組實(shí)驗(yàn)相比減輕了網(wǎng)絡(luò)深度和參數(shù)量，訓(xùn)練時(shí)間得到大幅度的優(yōu)化，因此本文最終采用設(shè)計(jì)后的注意力模塊。最后一組實(shí)驗(yàn)中，本文算法RAU-GAN 與Pix2Pix 相比較，F(xiàn)ID 降低1.861 3，PSNR 提高0.32，SSIM 提高0.000 3，表明了本文模型的有優(yōu)越性。

表2 消融實(shí)驗(yàn)

2.4.3 在DeepLesion 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文方法的通用性，在Deep Lesion[22]公開數(shù)據(jù)集上進(jìn)行驗(yàn)證。Deep Lesion 包含了多種病變類型的圖像，從中選取2 209 張帶有標(biāo)注的肺結(jié)節(jié)圖像作為訓(xùn)練樣本，利用關(guān)鍵切片的標(biāo)注信息裁剪32×32×32 大小的肺結(jié)節(jié)圖片，使病灶位置位于切片的中央，隨后進(jìn)行掩膜處理。將掩膜數(shù)據(jù)和裁剪后的肺結(jié)節(jié)作為源域和目標(biāo)域圖片輸入，RAU-GAN 模型的生成結(jié)果如圖5 所示，結(jié)果表明該模型能夠在Deep Lesion 數(shù)據(jù)集生成較好的結(jié)節(jié)影像。將Pix2Pix 與RAU-GAN 對該數(shù)據(jù)集生成結(jié)果進(jìn)行指標(biāo)評估，對應(yīng)結(jié)果如表3 所示，由于數(shù)據(jù)集僅2 209 張，相較增強(qiáng)后的LUNA16 數(shù)據(jù)集少，因此評價(jià)指標(biāo)較表2 有稍微降低，但RAU-GAN與Pix2Pix 相比，3 個(gè)評價(jià)指標(biāo)均明顯提升，因此證明了RAU-GAN 模型具有范化能力。

表3 不同模型在Deep Lesion 數(shù)據(jù)集上的結(jié)果

圖5 DeepLesion 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

2.4.4 不同模型實(shí)驗(yàn)結(jié)果及分析

不同模型在LUNA16 數(shù)據(jù)集生成肺結(jié)節(jié)的實(shí)驗(yàn)結(jié)果如圖6 所示。圖6a 是由Pix2Pix 模型生成的肺結(jié)節(jié)圖片，每一列為一組，整張圖片包含3 組結(jié)果。其中第一行是處理后的掩碼圖片，第二行圖像為生成的肺結(jié)節(jié)圖片，第三行真實(shí)圖像為目標(biāo)域圖片。圖6b 是由CycleGAN 模型生成的肺結(jié)節(jié)圖片，包含的6 張圖片為一組生成結(jié)果，第一行包含的3張圖片是目標(biāo)域圖片經(jīng)由第一個(gè)生成器生成的圖片，再經(jīng)由第二個(gè)生成器將生成的圖片盡可能地恢復(fù)回原始圖片，第二行是由源域圖片進(jìn)行同樣的兩次生成過程，最終生成的肺結(jié)節(jié)圖像為第二行第二列。圖6c，6d，6e 分別為U-GAT-IT[23]，DualStyleGAN[24]和本文提出的RAU-GAN 模型生成的肺結(jié)節(jié)圖片，包含的9 個(gè)圖片分布情況與圖6a 相同。由圖片顯示結(jié)果可知，CycleGAN 生成的圖像中掩碼依舊模糊存在，沒有生成結(jié)節(jié)形狀，因此生成圖片無法作為擴(kuò)充的數(shù)據(jù)集使用。考慮到CycleGAN 兩個(gè)生成器生成圖片之間的循環(huán)一致?lián)p失，只要求第二次生成結(jié)果與原圖像越相似越好，因此生成肺結(jié)節(jié)的過程并沒有明確約束條件，意味著生成結(jié)果可能存在多解，所以生成肺結(jié)節(jié)效果較差。其他模型生成結(jié)果明顯優(yōu)于CycleGAN，但圖片顯示，Pix2Pix，UGAT-IT 和DualStyleGAN 在生成肺結(jié)節(jié)的邊界較模糊，RAU-GAN 生成結(jié)果包含更多的細(xì)節(jié)信息。

圖6 不同模型生成的肺結(jié)節(jié)圖像

表4 列出了5 種模型在不同指標(biāo)上的結(jié)果。RAU-GAN 模型在3 個(gè)指標(biāo)上均優(yōu)于另外4 個(gè)模型，驗(yàn)證了本文提出方法的有效性。

表4 不同模型在數(shù)據(jù)集上的指標(biāo)生成結(jié)果

3 結(jié) 束 語

本文針對帶標(biāo)簽的肺 CT 數(shù)據(jù)集匱乏的問題，提出了基于殘差注意力機(jī)制和U-Net 框架進(jìn)行的生成算法。該模塊生成器通過引入殘差注意力機(jī)制，堆疊的注意力模塊對不同特征信息賦予高的權(quán)重，有效地生成細(xì)節(jié)信息。此外，通過對殘差塊進(jìn)行重新設(shè)計(jì)來降低生成網(wǎng)絡(luò)模型的復(fù)雜度，避免了網(wǎng)絡(luò)梯度消失的問題。對于判別器網(wǎng)絡(luò)，通過對UNet 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行重新設(shè)計(jì)來進(jìn)一步提高判別性能。本文使用FID、PSNR 和SSIM 作為評價(jià)指標(biāo)，來保證生成結(jié)果的相似性和生成質(zhì)量，生成結(jié)果的唯一性和差異性也需保證，以避免后續(xù)深度模型訓(xùn)練過擬合的問題，因此未來可進(jìn)一步探討相關(guān)的圖像評價(jià)指標(biāo)來保證生成圖像的真實(shí)性和唯一性。此外，如果不進(jìn)行CT 影像裁剪，生成的結(jié)果往往效果不佳，同時(shí)，實(shí)驗(yàn)生成結(jié)果表明，結(jié)節(jié)越大生成效果越好，因此如何將當(dāng)前基于生成式對抗網(wǎng)絡(luò)的模型更好地?cái)U(kuò)展到大背景下精細(xì)地生成小目標(biāo)，也是下一步的研究重點(diǎn)。