張秀峰，李永鑫，王 葦，瞿 航*

(1. 大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連116600； 2. 揚(yáng)州大學(xué)附屬醫(yī)院 影像科，江蘇 揚(yáng)州 225009)

0 引言

醫(yī)療影像分割是計(jì)算機(jī)視覺在醫(yī)療影像算法研究領(lǐng)域的一個重要研究分支，以從醫(yī)療影像中獲取目標(biāo)區(qū)域的準(zhǔn)確分割作為研究目標(biāo)，為臨床疾病診療和科學(xué)研究提供重要的依據(jù)[1]。目前已有的研究方法對實(shí)性肺結(jié)節(jié)能實(shí)現(xiàn)很好的分割結(jié)果。而對于磨玻璃樣肺結(jié)節(jié)(Ground-Glass Nodules, GGNs)，由于存在邊緣模糊、大小形狀各異、不規(guī)則等影響分割精度的問題[2]，一直是一個極具挑戰(zhàn)性的圖像分割任務(wù)。而GGNs與早期肺腺癌密切相關(guān)，被認(rèn)為是惡變可能性最大的肺結(jié)節(jié)之一[2]，對GGNs的精準(zhǔn)分割具有極大的臨床價(jià)值。

傳統(tǒng)的GGNs醫(yī)學(xué)影像分割方法主要是根據(jù)肺結(jié)節(jié)的CT值分布和形狀特征發(fā)展起來的[3]。對具有同質(zhì)灰度值和周圍組織高對比度的孤立實(shí)性結(jié)節(jié)表現(xiàn)良好，但隨著周圍組織和結(jié)節(jié)粘連區(qū)域(即GGNs和近血管結(jié)節(jié))邊界的模糊程度增加，性能下降明顯[4]。隨著深度學(xué)習(xí)相關(guān)研究在計(jì)算機(jī)視覺領(lǐng)域獲得廣泛場景的應(yīng)用并取得較好的成績，基于深度學(xué)習(xí)的GGNs醫(yī)學(xué)影像分割算法逐漸成為該領(lǐng)域研究的重點(diǎn)和熱點(diǎn)。相關(guān)研究通常開發(fā)深度卷積神經(jīng)網(wǎng)絡(luò)(Convdutional Neural Network, CNN)來提取結(jié)核的深度圖像特征，并構(gòu)建編碼器-解碼器架構(gòu)來分割結(jié)核[5]。例如，Wu等[6]提出了一種基于三維U-Net的分割模型，并利用條件隨機(jī)場優(yōu)化深度學(xué)習(xí)模型的輸出，但現(xiàn)有部分語義分割模型對像素點(diǎn)的預(yù)測是獨(dú)立的，沒有考慮相互之間的相關(guān)性。在之前的模型中考慮到像素相關(guān)性的多是使用CRFs，然而，高階勢也被觀察到是有效的，例如基于超像素[7]之間的標(biāo)簽一致性的魯棒高階項(xiàng)。文獻(xiàn)[8]展示了如何在基于CNN的分割模型中集成特定的高階勢類。雖然這些高階勢的參數(shù)可以學(xué)習(xí)，但它們的數(shù)量是有限的。

本文感興趣的是加強(qiáng)高階一致性，而不是局限于非常特定的高階潛能。在Goodfellow等[9]提出的生成式對抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)方法的啟發(fā)下，探索了一種基于對抗訓(xùn)練的方法，用于加強(qiáng)高階一致性，提出一種基于GAN的醫(yī)學(xué)圖像分割方法GAN-DeepLabv3+，通過引入對抗訓(xùn)練的方法加強(qiáng)了遠(yuǎn)程空間標(biāo)簽的連續(xù)性。

1 GAN-DeepLabv3+圖像分割方法

GGNs定義為在肺部影像中有形狀不定的密度增高影，邊界可能模糊但內(nèi)部血管紋理和支氣管壁清晰可見[10]。當(dāng)患者肺部影像中磨玻璃影所占比例超過50%時(shí)，臨床上可以定義為原位癌。因此，患者的存活率完全取決于病變發(fā)現(xiàn)和診療的時(shí)間早晚[11-12]。在早期診斷中，對GGNs的準(zhǔn)確識別和精細(xì)分割尤為關(guān)鍵。提出一種GAN，引入經(jīng)典的博弈思想，并將DeepLabv3+作為圖像分割生成器網(wǎng)絡(luò)，提高分割效率和精確度。

1.1 DeepLabv3+網(wǎng)絡(luò)生成器

DeepLabv3+網(wǎng)絡(luò)是一種用于圖像語義分割的CNN，引入語義分割常用的編碼器—解碼器。采用空間金字塔池化(Atrous Spacial Pyramid Pooling, ASPP),使用不同采樣率和多種視野的卷積核，能夠以多尺度捕捉對象。

GAN-DeepLabv3+使用DeepLabv3+結(jié)構(gòu)作為網(wǎng)絡(luò)生成器，DeepLabv3+算法在編碼模塊中，使用Xception[13]網(wǎng)絡(luò)作為特征提取的骨干網(wǎng)絡(luò)，將空洞卷積和深度分離卷積結(jié)合在輸出的特征圖上使用不同atrous rate并行ASPP去提取特征，用concat融合之后，再使用卷積減少通道數(shù)。最終ASPP能夠完成不同尺度目標(biāo)特征信息的提取和區(qū)分[14-15]。解碼部分結(jié)合了高層和低層的信息。對低層特征通道進(jìn)行壓縮，從而更多地保留源圖像的高層特征信息以應(yīng)對在下采樣過程中對目標(biāo)邊界信息的丟失。模型在特征圖上采樣過程中與低層特征相融合以獲取更高的分辨率和更豐富的空間細(xì)節(jié)，再通過雙線性差值采用高層特征圖，最終解碼出預(yù)測圖的算法結(jié)構(gòu)如圖1所示。

圖1 DeepLabv3+算法模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of DeepLabv3+ algorithm model

1.2 GAN

2014年，Goodfellow[9]首次提出GAN。GAN采用無監(jiān)督的學(xué)習(xí)方式，靈感來自于博弈論中的納什均衡，由一個生成網(wǎng)絡(luò)G(z)和一個判別網(wǎng)絡(luò)D(x)組成[16]。深度學(xué)習(xí)過程可以看作是G(z)和D(x)之間的動態(tài)博弈。兩方的博弈圍繞圖片生成和鑒別展開。G(z)在不斷迭代中逐漸提升生成圖像與真實(shí)目標(biāo)之間的一致性，而D(x)則在不斷迭代中提升區(qū)真實(shí)圖像與G(z)生成的圖像[16]。網(wǎng)絡(luò)博弈原理如圖2所示。

圖2 GAN博弈原理Fig.2 Game principle of GAN

本文利用DeepLabv3+結(jié)構(gòu)作為網(wǎng)絡(luò)生成器模型，通過DeepLabv3+網(wǎng)絡(luò)分割得到分割標(biāo)簽圖像數(shù)據(jù)。使用CNN作為網(wǎng)絡(luò)判別器模型，經(jīng)過實(shí)驗(yàn)最終選擇用5層卷積組成的神經(jīng)網(wǎng)絡(luò)作為判別器網(wǎng)絡(luò)，本文在5層CNN中選擇使用步長(stride)為2，輸入尺寸(input)為4×4的卷積核，最后使用Sigmoid函數(shù)，得到尺寸為16×16的patch。具體判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Diagram of discriminator network structure

通過卷積操作對DeepLabv3+結(jié)構(gòu)網(wǎng)絡(luò)的分割結(jié)果標(biāo)簽圖像與真實(shí)標(biāo)簽圖像進(jìn)行處理提取輸入圖像的圖像特征，然后利用全連接層對輸入圖像的圖像特征進(jìn)行提取，最后使用交叉熵?fù)p失函數(shù)計(jì)算DeepLabv3+結(jié)構(gòu)網(wǎng)絡(luò)生成器模型得到的分割標(biāo)簽圖像和真實(shí)標(biāo)簽圖像之間的損失，推動網(wǎng)絡(luò)模型學(xué)習(xí)優(yōu)化。

在網(wǎng)絡(luò)訓(xùn)練中，G(z)和D(x)之間相互獨(dú)立地交替進(jìn)行訓(xùn)練迭代。2個模型的輸入數(shù)據(jù)不同，其中G(z)以隨機(jī)變量z作為輸入，而D(x)的輸入則是真實(shí)數(shù)據(jù)x。G(z)通過迭代訓(xùn)練后將輸入的隨機(jī)變量z生成的數(shù)據(jù)將最大可能地服從真實(shí)數(shù)據(jù)分布。如果D(x)的輸入為真實(shí)數(shù)據(jù)，標(biāo)簽為真；如果輸入來自G(z)的生成數(shù)據(jù)，則標(biāo)簽為假。在給定G(z)的情況下,與優(yōu)化基于Sigmoid的二分類模型一致，優(yōu)化D(x)的本質(zhì)是最小化交叉熵?fù)p失函數(shù)，定義如下：

(1)

式中，x為輸入的真實(shí)數(shù)據(jù)；z為輸入的隨機(jī)變量；pdata(x) 為真實(shí)數(shù)據(jù)分布；pz(z) 為先驗(yàn)分布；E(·)為計(jì)算期望值。D(x)的訓(xùn)練數(shù)據(jù)集來源于真實(shí)數(shù)據(jù)集分布pdata(x)和G(z)的數(shù)據(jù)分布pg(x)兩部分。D(x)代表的是x來源于真實(shí)數(shù)據(jù)而非生成數(shù)據(jù)的概率。當(dāng)真實(shí)數(shù)據(jù)x作為D(x)的輸入數(shù)據(jù)時(shí)，D(x)應(yīng)該輸出趨近于1(TRUE)的概率值。相反，當(dāng)G(z)生成的數(shù)據(jù)被輸入至判別網(wǎng)絡(luò)，此時(shí)D(G(z))的輸出概率值應(yīng)該趨近0(FALSE)[17],而G(z)的目標(biāo)是使得D(G(z))的輸出概率值其趨近于1。在訓(xùn)練過程中，生成網(wǎng)絡(luò)G(z)的損失函數(shù)定義為ObjG(θG)=-ObjD(θD,θG)。GAN的目標(biāo)函數(shù)定義如下:

minGmaxD{f(D,G)=Ex～pdata(x)[lnD(x)]+

Ez～pz(z)[ln(1-D(G(z)))]}，

(2)

式(2)中變量定義與式(1)中變量定義相同。

1.3 GAN-DeepLabv3+生成對抗分割網(wǎng)絡(luò)整體構(gòu)成

針對GGNs醫(yī)學(xué)圖像的特點(diǎn)，本文提出一種基于GAN的圖像分割網(wǎng)絡(luò)，利用DeepLabv3+圖像語義分割網(wǎng)絡(luò)模型對輸入特征不同尺度的上下文信息的魯棒性，以及通過逐漸恢復(fù)空間信息捕捉到清晰的物體邊界的優(yōu)勢。將二者相結(jié)合，提出基于GAN-DeepLabv3+的GGNs醫(yī)學(xué)圖像生成對抗分割方法，解決現(xiàn)有網(wǎng)絡(luò)需針對GGNs分割要改進(jìn)的問題。提升GGNs醫(yī)學(xué)圖像的分割精確性。在GAN-DeepLabv3+的網(wǎng)絡(luò)構(gòu)建中，使用DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)作為模型的生成網(wǎng)絡(luò)，將DeepLabv3+網(wǎng)絡(luò)生成的分割結(jié)果與真實(shí)圖像送入D(x)進(jìn)行判別，并根據(jù)前述方法對DeepLabv3+生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)分別進(jìn)行交替迭代訓(xùn)練和優(yōu)化[18]。最終使得G(z)能夠生成以假亂真的分割圖像，生成圖像被D(x)判斷為真實(shí)值。而D(x)則在最大限度上區(qū)分真實(shí)圖像和生成圖像。在D(x)的訓(xùn)練優(yōu)化中，采用交叉熵?fù)p失函數(shù)LossD1(z)優(yōu)化網(wǎng)絡(luò)性能，并在D(x)末層提取16×16的圖像，對分割結(jié)果和真實(shí)圖像分割標(biāo)簽以交叉熵的形式計(jì)算特征損失函數(shù)LossD2(z)，進(jìn)一步優(yōu)化模型的梯度信息。最終由前述DeepLabv3+生成網(wǎng)絡(luò)損失函數(shù)LossDeepLabv3+、判別網(wǎng)絡(luò)損失函數(shù)LossD1(z)和特征損失函數(shù)LossD2(z)共同組成GAN-DeepLabv3+網(wǎng)絡(luò)模型損失函數(shù)LossGAN-DL，定義如下：

LossGAN-DL=LossDeepLabv3++LossD1(z)+LossD2(z)。

(3)

本文提出的GAN-DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。在模型訓(xùn)練的過程中,G(z)和D(x)之間相互獨(dú)立地交替進(jìn)行訓(xùn)練迭代。計(jì)算出DeepLabv3+損失函數(shù)LossDeepLabv3+、判別網(wǎng)絡(luò)損失函數(shù)LossD1(z)和特征損失函數(shù)LossD2(z),GAN模型的對抗更新形成整個GAN-DeepLabv3+網(wǎng)絡(luò)的更新[16],當(dāng)G(z)和D(x)都達(dá)到最優(yōu)解時(shí)，整個網(wǎng)絡(luò)處于一種納什平衡的狀態(tài)。最終使得G(z)能夠生成以假亂真的分割圖像，使得D(x)不能分辨出來，從而生成最終分割圖像。

圖4 GAN-DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Diagram of GAN-DeepLabv3+ network structure

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)來自揚(yáng)州大學(xué)附屬醫(yī)院2020年1月—10月符合以下標(biāo)準(zhǔn)的患者CT薄層圖像。初步納入600例，訓(xùn)練集納入480例，測試集納入120例。

2.2 評價(jià)指標(biāo)

本文從相似系數(shù)(Dice)、交并比(Intersection over Union, IoU)和像素精確度(Pixel Accuracy, PA)三個方面對提出的分割網(wǎng)絡(luò)進(jìn)行評判。計(jì)算如下：

Dice=[2*(ground∩predict)]/(ground+predict) ，

(4)

IoU=(ground∩predict)/(ground∪predict) ，

(5)

PA=(TP+TN)/(TP+TN+FP+FN) ，

(6)

式中，ground代表患者CT醫(yī)學(xué)影像中GGNs的真實(shí)分割結(jié)果，由多位專業(yè)臨床醫(yī)生手動標(biāo)注；predict則是由本文提出的GAN-DeepLabv3+網(wǎng)絡(luò)預(yù)測的分割結(jié)果。在GAN-DeepLabv3+網(wǎng)絡(luò)預(yù)測的分割結(jié)果中，對GGNs實(shí)現(xiàn)正確分割的區(qū)域被定義為TP(True Positive)，也就是真陽性；非病灶卻被GAN-DeepLabv3+網(wǎng)絡(luò)錯誤預(yù)測為病灶的區(qū)域被定義為FP(False Positive)，也就是假陽性；實(shí)際上是病灶卻未被GAN-DeepLabv3+網(wǎng)絡(luò)正確預(yù)測的區(qū)域則稱為FN(False Negative)[19]。以上評價(jià)標(biāo)準(zhǔn)中Dice和IoU用于預(yù)測圖像和真實(shí)圖像之間的重合度[20]，取值為[0,1]，數(shù)值越接近1，GAN-DeepLabv3+分割網(wǎng)絡(luò)預(yù)測的結(jié)果與專業(yè)臨床醫(yī)生所標(biāo)注的真實(shí)結(jié)果就愈加重合，網(wǎng)絡(luò)準(zhǔn)確性越高。PA則是用于計(jì)算預(yù)測正確的像素占圖像總像素的比例，該比值越接近1，代表網(wǎng)絡(luò)預(yù)測的準(zhǔn)確性越高[20]。

2.3 實(shí)驗(yàn)結(jié)果與分析

使用揚(yáng)州大學(xué)附屬醫(yī)院收集2018年1月—2020年12月收治的GGNs患者的高分辨率薄層CT圖像。共納入600例，480例納入訓(xùn)練集，120例納入測試集。綜合考量模型優(yōu)化程度以及硬件資源，本實(shí)驗(yàn)設(shè)置batch size大小為32，epoch大小為20 000。學(xué)習(xí)率設(shè)置為0.01，并且采用Adam 優(yōu)化器自動降低學(xué)習(xí)率使損失函數(shù)最小。

為驗(yàn)證GAN-DeepLabv3+對GGNs的預(yù)測效果，選取相關(guān)領(lǐng)域常用方法和相關(guān)基礎(chǔ)算法與本文提出的GAN-DeepLabv3+進(jìn)行對比實(shí)驗(yàn)，選用了DeepLabv3+和ACRU-Net，在GGNs CT圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。ACRU-Net是一種基于端到端的深度學(xué)習(xí)的GGNs分割算法[21]。訓(xùn)練階段，各網(wǎng)絡(luò)模型參數(shù)采用隨機(jī)初始化的方法，并使用Adam優(yōu)化算法訓(xùn)練模型。本文提出的方法的IoU，PA，Dice三項(xiàng)指標(biāo)均高于其他方法，證明本文所提出的GAN-DeepLabv3+模型在對GGNs的預(yù)測中實(shí)現(xiàn)了更好的效果。實(shí)驗(yàn)中3個模型的GGNs的分割結(jié)果如圖5所示。第1列為NCCT原始圖像，第2列 為專業(yè)臨床醫(yī)生標(biāo)注Ground truth，第3列為DeepLabv3+網(wǎng)絡(luò)模型的預(yù)測結(jié)果，第4列為ACRU-Net網(wǎng)絡(luò)模型的預(yù)測結(jié)果，第5列為GAN-DeepLabv3+網(wǎng)絡(luò)模型的預(yù)測結(jié)果。在這3個例子中，由于結(jié)節(jié)中有血管穿行，且局部胸膜牽拉，DeepLabv3+模型容易包含非病變區(qū)域，GAN-DeepLabv3+則展現(xiàn)出最好的細(xì)節(jié)分割效果。3個模型在實(shí)驗(yàn)中獲得的Dice,IoU和PA如表1所示。本方法Dice為0.952,IoU為0.876，PA為0.991，相較于原始DeepLabv3+和ACRU-Net等現(xiàn)有方法對GGNs的分割準(zhǔn)確率有一定的提升。

圖5 不同模型的GGNs的分割效果Fig.5 Segmentation effect of GGNs in different models

表1 3個模型的GGNs的分割結(jié)果比較Tab.1 Comparison of segmentation results of GGNs in three models

3 結(jié)束語

本文提出了一種輔助醫(yī)生診斷GGNs的新算法?；贕AN的CT醫(yī)學(xué)圖像分割方法GAN-DeepLabv3+，針對GGNs，采用GAN進(jìn)行圖像分割，將DeepLabv3+作為圖像分割生成器網(wǎng)絡(luò), 使用專業(yè)醫(yī)師人工標(biāo)記的GGNs圖像作為真實(shí)圖像,隨后構(gòu)建判別器網(wǎng)絡(luò)以判斷圖像來源,同時(shí)將判別器誤差與生成器誤差通過加權(quán)形式引入網(wǎng)絡(luò)訓(xùn)練中,通過對抗式訓(xùn)練，最終獲得對GGNs病灶更高準(zhǔn)確度的分割模型。通過對GGNs患者的CT醫(yī)學(xué)圖像的試驗(yàn)結(jié)果表明，本文算法獲得的 Dice, IoU，PA都明顯優(yōu)于對比算法。綜上所述，本文提出的基于GAN的GAN-DeepLabv3+算法的預(yù)測結(jié)果分割精度更高，在GGNs的分割上可靠性和可信度進(jìn)一步加強(qiáng)，可正確幫助醫(yī)生客觀地診斷、評估病灶并規(guī)劃治療。