張 穎，仇大偉，劉 靜

山東中醫(yī)藥大學(xué) 智能與信息工程學(xué)院，濟南 250355

原發(fā)性肝癌是中國第四位高發(fā)的惡性腫瘤，其死亡率位居第二[1]。肝癌的發(fā)病率與致死率不斷升高，其嚴(yán)重威脅著人們的生命安全，并且給醫(yī)療衛(wèi)生領(lǐng)域帶來了極大的挑戰(zhàn)。為了應(yīng)對愈發(fā)嚴(yán)峻的肝臟癌癥挑戰(zhàn)，越來越多的研究者圍繞肝癌輔助診斷展開深入研究，尋求肝癌預(yù)防、治療與預(yù)后的輔助診斷技術(shù)的突破。

近年來，隨著醫(yī)療大數(shù)據(jù)應(yīng)用的快速發(fā)展，深度學(xué)習(xí)在肝臟腫瘤輔助診斷技術(shù)的研究中發(fā)揮著至關(guān)重要的作用。尤其是隨著電子計算機斷層掃描（computed tomography，CT）、超聲成像技術(shù)（ultrasound）以及磁共振成像（magnetic resonance imaging，MRI）技術(shù)的逐步發(fā)展，給應(yīng)用深度學(xué)習(xí)技術(shù)進(jìn)行肝臟腫瘤疾病輔助診斷創(chuàng)造了條件。肝臟腫瘤圖像分割是肝臟腫瘤疾病輔助診斷研究中特別重要但又極其困難的一個步驟。由于肝臟腫瘤區(qū)域的結(jié)構(gòu)和紋理等特征復(fù)雜，傳統(tǒng)的肝臟腫瘤分割方法多數(shù)依賴人工設(shè)計特征的方法進(jìn)行分割。例如，Mostafa等人[2]提出利用區(qū)域生長法對肝臟進(jìn)行分割。Li等人[3]提出了一種融合區(qū)域競爭、圖像梯度與先驗信息的統(tǒng)一水平集模型對肝臟腫瘤圖像進(jìn)行分割。雖然傳統(tǒng)分割方法實現(xiàn)了對肝臟腫瘤圖像的分割，但是分割效率以及分割精度還存在很大的上升空間。目前卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[4]成為應(yīng)用在肝臟腫瘤分割上的主流深度學(xué)習(xí)模型。2015年，Long 等人[5]提出了全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）的概念，首次將傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的全連接層替換為卷積層。Ben-Cohen等人[6]首次將FCN應(yīng)用于肝臟與肝臟腫瘤的分割中。FCN 在圖像分割上表現(xiàn)出的效果很好，但是FCN 在醫(yī)學(xué)圖像分割方面不夠完美。2015 年，Ronneberger 等人[7]提出UNet 主要應(yīng)用于醫(yī)學(xué)圖像的語義分割，并且UNet 在醫(yī)學(xué)圖像的分割中達(dá)到了很好的效果。因此，很多基于UNet 網(wǎng)絡(luò)改進(jìn)的分割模型出現(xiàn)。UNet網(wǎng)絡(luò)雖然在醫(yī)學(xué)圖像處理上表現(xiàn)很好，但是在分割細(xì)節(jié)處理上依舊不是很好。

2014年，Goodfellow等人[8]借鑒博弈論的觀點，提出一種基于概率和統(tǒng)計理論的生成對抗網(wǎng)絡(luò)（generative adversarial networks，GAN）。Luc等人[9]首次將GAN應(yīng)用到圖像分割中，GAN 在圖像分割上表現(xiàn)出良好的性能，分割的準(zhǔn)確率也很高。由于涉及患者隱私以及專業(yè)性較強的現(xiàn)實問題，醫(yī)學(xué)圖像中信息標(biāo)注問題一直是困擾研究者的一大難題。生成對抗網(wǎng)絡(luò)是一種通過對抗訓(xùn)練的方式學(xué)習(xí)真實數(shù)據(jù)分布的無監(jiān)督學(xué)習(xí)模型。通過改進(jìn)生成對抗網(wǎng)絡(luò)這一無監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)模型，使得它在半監(jiān)督學(xué)習(xí)模型與全監(jiān)督模型上也可以表現(xiàn)出很好的性能。因此，生成對抗網(wǎng)絡(luò)可以很好地解決標(biāo)注的醫(yī)學(xué)圖像數(shù)據(jù)集獲取困難的問題。此外，一些深度學(xué)習(xí)模型并不能很好地學(xué)習(xí)到訓(xùn)練集中的數(shù)據(jù)特征，容易忽略分割圖像的一些細(xì)節(jié)信息。而且在深度學(xué)習(xí)的訓(xùn)練中，GAN 一般假設(shè)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)服從相同的數(shù)據(jù)分布，而模型在訓(xùn)練集與測試集的準(zhǔn)確率上會存在一定的偏差。當(dāng)把生成對抗網(wǎng)絡(luò)用于分割時，傳統(tǒng)的網(wǎng)絡(luò)（FCN、UNet等）可以作為生成網(wǎng)絡(luò)，即作為生成對抗網(wǎng)絡(luò)的生成器。不同于其他深度學(xué)習(xí)網(wǎng)絡(luò)的單網(wǎng)絡(luò)結(jié)構(gòu)，生成對抗網(wǎng)絡(luò)的兩個網(wǎng)絡(luò)結(jié)構(gòu)可以提高分割的精度和性能，同時也可以很好地保留細(xì)節(jié)信息。

首先，基于生成對抗網(wǎng)絡(luò)模型，介紹了生成對抗網(wǎng)絡(luò)模型的理論以及網(wǎng)絡(luò)結(jié)構(gòu)，討論了幾種典型的生成對抗網(wǎng)絡(luò)的衍生模型，重點總結(jié)分析了生成對抗網(wǎng)絡(luò)在肝臟腫瘤圖像分割中的應(yīng)用。然后，在已有的研究基礎(chǔ)之上深入分析，進(jìn)一步總結(jié)和討論了生成對抗網(wǎng)絡(luò)在肝臟腫瘤圖像分割領(lǐng)域中所面臨的挑戰(zhàn)與未來發(fā)展的趨勢。

1 生成對抗網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

生成對抗網(wǎng)絡(luò)是復(fù)雜分布中一種無監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)模型。生成對抗網(wǎng)絡(luò)最基本的網(wǎng)絡(luò)框架包含兩個模塊，分別是生成器（generator）和判別器（discriminator）。生成對抗網(wǎng)絡(luò)借鑒博弈論的思想，用深度學(xué)習(xí)網(wǎng)絡(luò)實現(xiàn)數(shù)據(jù)樣本的生成[10]。生成對抗網(wǎng)絡(luò)的生成和判別的函數(shù)只要求是能夠擬合的函數(shù)，不要求生成對抗網(wǎng)絡(luò)的生成器和判別器都是神經(jīng)網(wǎng)絡(luò)。目前生成對抗網(wǎng)絡(luò)的生成器與判別器一般采用神經(jīng)網(wǎng)絡(luò)。生成對抗網(wǎng)絡(luò)通過生成器與判別器進(jìn)行博弈學(xué)習(xí)可以產(chǎn)生很好的輸出。對于生成對抗網(wǎng)絡(luò)的訓(xùn)練，本質(zhì)上是尋找零和博弈的一個納什均衡解。最終，生成器能夠產(chǎn)生與真實數(shù)據(jù)擁有相同分布的偽數(shù)據(jù)，也即學(xué)習(xí)到了真實數(shù)據(jù)的潛在分布[11]。GAN模型結(jié)構(gòu)圖如圖1所示，生成器G輸入隨機噪聲，經(jīng)過不斷學(xué)習(xí)數(shù)據(jù)分布，輸出生成數(shù)G(z)。判別器將生成數(shù)據(jù)與真實數(shù)據(jù)進(jìn)行鑒別并判別真?zhèn)?。最后，將判別結(jié)果的誤差反向傳遞給兩個模型，兩個模型根據(jù)反饋信息不斷訓(xùn)練，進(jìn)而提高生成能力與判別能力。模型經(jīng)過不斷的優(yōu)化，最終兩個模型達(dá)到納什均衡狀態(tài)。

圖1 生成對抗網(wǎng)絡(luò)Fig.1 Generative adversarial network

生成對抗網(wǎng)絡(luò)模型的目標(biāo)函數(shù)實際上是一個最大值最小值優(yōu)化函數(shù)[12]，其定義為：

式（1）中包含兩項，前一項代表優(yōu)化判別網(wǎng)絡(luò)D，輸入真實數(shù)據(jù)樣本分布x，期望輸出值越大越好，即真實樣本的預(yù)測結(jié)果越接近1越好。對于公式的第二項，隨機噪聲z輸入生成器，生成器產(chǎn)生偽數(shù)據(jù)分布G(z)，期望假樣本數(shù)據(jù)D(G(z))產(chǎn)生的判別結(jié)果越小越好。在同一個公式中兩項分別求最大值與最小值會產(chǎn)生矛盾，為了形式統(tǒng)一，將后一項結(jié)果也統(tǒng)一為最小值優(yōu)化。

1.1.1 生成網(wǎng)絡(luò)

生成的模型實質(zhì)上是一個可生成特定數(shù)據(jù)分布的極大似然估計模型。生成器的輸入是一個隨機變量，隨機變量一般采用噪聲或者高斯變量，經(jīng)過生成器生成輸出一個假樣本數(shù)據(jù)分布。對于輸入變量的維度并沒有嚴(yán)格限制，這里一般采取100維的隨機向量。對于已有的訓(xùn)練數(shù)據(jù)集，生成網(wǎng)絡(luò)可以學(xué)習(xí)到訓(xùn)練數(shù)據(jù)集內(nèi)部數(shù)據(jù)的分布，進(jìn)而生成網(wǎng)絡(luò)產(chǎn)生以假亂真的數(shù)據(jù)。通過將參數(shù)轉(zhuǎn)換為極大似然估計值，將訓(xùn)練偏向轉(zhuǎn)換為指定分布的樣本，從而轉(zhuǎn)換原始輸入信息的分布[13]。

1.1.2 判別網(wǎng)絡(luò)

判別模型本質(zhì)上是一個二分類問題，會對生成器生成的數(shù)據(jù)進(jìn)行判斷，判斷是否符合真實數(shù)據(jù)分布。判別模型的輸入由兩部分組成，分別是生成模型生成的數(shù)據(jù)與真實數(shù)據(jù)。對于生成模型生成的數(shù)據(jù)作為判別器的輸入，這一部分期望結(jié)果是接近0 的數(shù)值，而生成器對這一部分的輸出結(jié)果是接近1 的數(shù)值。對于真實數(shù)據(jù)采樣樣本x作為判別器的輸入，判別器輸出一個0 至1的概率值。輸出結(jié)果表示x屬于真實數(shù)據(jù)樣本的概率，盡量將概率值訓(xùn)練接近1。最終，這兩部分經(jīng)過足夠的訓(xùn)練，達(dá)到納什平衡[14]。

1.2 生成對抗網(wǎng)絡(luò)的特點

相比較其他網(wǎng)絡(luò)模型而言，生成對抗網(wǎng)絡(luò)有其特有的特點，主要體現(xiàn)在以下幾個方面：

（1）生成對抗網(wǎng)絡(luò)不同于傳統(tǒng)的深度學(xué)習(xí)模型，它不是一個單一網(wǎng)絡(luò)，而是由兩個網(wǎng)絡(luò)構(gòu)成的模型，并且訓(xùn)練方式是對抗訓(xùn)練。

（2）生成對抗網(wǎng)絡(luò)采用的是一種無監(jiān)督的學(xué)習(xí)訓(xùn)練方式訓(xùn)練，可以被廣泛應(yīng)用在無監(jiān)督學(xué)習(xí)與半監(jiān)督學(xué)習(xí)領(lǐng)域。

（3）GAN的框架是可以變化的，一般卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）等深度網(wǎng)絡(luò)與GAN結(jié)合逼近可微函數(shù)。此外任何損失函數(shù)與約束條件都可以加入GAN 模型，有利于設(shè)計不同的優(yōu)化方法解決不同的設(shè)計任務(wù)。

（4）GAN不適合離散形式的數(shù)據(jù)，不要求對數(shù)據(jù)預(yù)設(shè)分布，但理論上可以生成與真實數(shù)據(jù)分布相似的數(shù)據(jù)分布。

（5）GAN的生成過程自由且不受限制，訓(xùn)練比較不穩(wěn)定，訓(xùn)練過程中常常出現(xiàn)梯度消失、模式崩潰的問題。

（6）GAN生成質(zhì)量評價缺乏統(tǒng)一有效的標(biāo)準(zhǔn)，不能保證GAN訓(xùn)練達(dá)到納什均衡。

2 生成對抗網(wǎng)絡(luò)的衍生模型

生成對抗網(wǎng)絡(luò)具有很多優(yōu)點，在計算機視覺領(lǐng)域有著特別廣泛的應(yīng)用，但生成對抗網(wǎng)絡(luò)不可避免地存在模型訓(xùn)練不穩(wěn)定、梯度消失以及模式崩潰的種種問題。為了克服目前生成對抗網(wǎng)絡(luò)存在的各種不足和缺陷，并且提高生成對抗網(wǎng)絡(luò)的性能，涌現(xiàn)了基于生成對抗網(wǎng)絡(luò)的各種衍生模型，例如CGAN、WGAN、WGAN-GP、Pix2PixGAN、EBGAN 和SGAN 等改進(jìn)模型，通過不斷地優(yōu)化改進(jìn)，使得生成對抗網(wǎng)絡(luò)在肝臟腫瘤圖像處理中表現(xiàn)得更加完善。本文將重點介紹幾個經(jīng)典的生成對抗網(wǎng)絡(luò)的衍生模型。

2.1 CGAN

當(dāng)數(shù)據(jù)集中圖像數(shù)據(jù)規(guī)模大，圖像內(nèi)容復(fù)雜，生成對抗網(wǎng)絡(luò)在實現(xiàn)圖像生成的過程中過于自由且難以控制。為控制生成器的生成內(nèi)容，Mirza 等人[15]提出條件生成對抗網(wǎng)絡(luò)（conditional GAN，CGAN）。即將約束條件作為條件變量加入到生成器與判別器中，其中條件變量c可以是任意信息，例如類別信息或者其他模態(tài)的數(shù)據(jù)。條件變量可以是監(jiān)督信息，而生成對抗網(wǎng)絡(luò)屬于一種無監(jiān)督模型。因此，條件生成對抗網(wǎng)絡(luò)可以看作一種有監(jiān)督模型，可以通過條件變量一定程度上控制生成的圖像。CGAN對數(shù)據(jù)集的要求較高，而且CGAN只是增加了約束條件，CGAN訓(xùn)練不穩(wěn)定的問題依然存在。條件生成對抗網(wǎng)絡(luò)的模型與生成對抗網(wǎng)絡(luò)的模型一致，條件生成對抗網(wǎng)絡(luò)除了輸入隨機噪聲z與真實數(shù)據(jù)x外，還增加條件變量c，如圖2所示。在目標(biāo)函數(shù)中表現(xiàn)為條件概率代替無條件概率。

圖2 條件生成對抗網(wǎng)絡(luò)Fig.2 Conditional generative adversarial network

2.2 WGAN與WGAN-GP模型

生成對抗網(wǎng)絡(luò)訓(xùn)練中會出現(xiàn)訓(xùn)練過程困難復(fù)雜、梯度消失、生成器與判別器的損失無法指示訓(xùn)練的進(jìn)程以及生成樣本缺乏多樣性的問題。生成數(shù)據(jù)分布與真實數(shù)據(jù)分布的相似度衡量JS 散度是一個固定值，這就造成了生成器在一個低維隨機噪聲中采樣編碼向量生成高維樣本的訓(xùn)練過程中會出現(xiàn)梯度消失現(xiàn)象，從而造成模型訓(xùn)練失敗?；诖耍珹rjovsky 等人[16]提出采用Wasserstein距離（又稱EM（Earth-Mover）距離）代替JS散度表示真實數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的相似度的方法，該模型稱為Wasserstein 生成對抗網(wǎng)絡(luò)（Wasserstein GAN，WGAN）。

Wasserstein距離相比JS散度來說，不僅可以很好地度量距離的遠(yuǎn)近，而且平滑的優(yōu)越特性很好地解決了梯度消失的難題。Wasserstein 生成對抗網(wǎng)絡(luò)能展現(xiàn)出良好的性能，體現(xiàn)了出色的魯棒性，并且它不需要再費力解決平衡生成器與判別器訓(xùn)練程度的問題，進(jìn)而網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性得到有效的提高。除此之外，GAN 的生成器與判別器的損失無法指示訓(xùn)練進(jìn)程，交叉熵、準(zhǔn)確率可以作為展現(xiàn)訓(xùn)練進(jìn)度的定性指標(biāo)。但是WGAN僅僅在理論上能夠解決梯度爆炸或梯度消失的問題，在實驗時還是可能會存在梯度消失和梯度爆炸的問題。

為了避免WGAN 模型中可能存在的梯度消失現(xiàn)象，Gulrajani 等[17]提出了WGAN-GP 模型。WGAN-GP不再使用權(quán)重剪枝方法來暴力地限制參數(shù)，而是采用更溫和的方法。它利用梯度懲罰（gradient penalty）來滿足Lipschitz條件梯度懲罰，也就是采用一個額外的懲罰項將梯度和Lipschitz條件中的K值進(jìn)行關(guān)聯(lián)。WGANGP 是WGAN 的升級版，通過在原WGAN 上進(jìn)行改進(jìn)，采用梯度懲罰來更新參數(shù)，這解決了WGAN 在實際中存在的梯度消失或梯度爆炸的問題，加快了網(wǎng)絡(luò)的收斂，從而增加了模型的穩(wěn)定性，但由于所需參數(shù)過多，訓(xùn)練模型所消耗的成本較高。

2.3 Pix2PixGAN模型

圖像作為一種交流媒介，有多種表達(dá)方式，比如灰度圖、彩色圖和梯度圖等。這些圖像之間的轉(zhuǎn)換稱為圖像翻譯，這是一種圖像生成任務(wù)。為了實現(xiàn)圖像翻譯并得到指定的輸出圖像，Pix2PixGAN[18]可以將輸入圖像作為條件，學(xué)習(xí)從輸入圖像到輸出圖像之間的映射。生成器采用的是UNet 架構(gòu)，對于判別器采用卷積Patch-GAN 分類器。生成器實現(xiàn)一個場景輸出另一個場景，輸入與輸出雖表面形式不同，但兩者之間需要共享一些信息，因此輸入中的結(jié)構(gòu)與輸出中的結(jié)構(gòu)要設(shè)計得大致對齊。Pix2PixGAN采用PatchGAN結(jié)構(gòu)，即通過多個卷積層，得到N×N×1 的判別層，其中每個元素代表對應(yīng)感受野的真?zhèn)闻卸ńY(jié)果，整個輸入的真?zhèn)闻卸ńY(jié)果就是這N×N個元素的均值。

Pix2PixGAN 的整個框架基于CGAN 模型，實現(xiàn)了將一個場景轉(zhuǎn)換為另一個場景的功能。Pix2PixGAN計算量小，訓(xùn)練成本低，但是Pix2PixGAN對數(shù)據(jù)集要求比較高，要求數(shù)據(jù)是配對的，一定程度上增加了訓(xùn)練的復(fù)雜度。

2.4 EBGAN模型

將判別器看作一個能量方程，當(dāng)生成器生成的數(shù)據(jù)接近真實的數(shù)據(jù)流形流域時能量就比較低，若能量值比較高，則證明生成器生成的數(shù)據(jù)與真實的數(shù)據(jù)分布是有差距的。將這種改進(jìn)后的GAN 稱為EBGAN（energybased GAN）[19]。EBGAN改變的只是判別器的結(jié)構(gòu)，將判別器改為一個自編碼器（AutoEncoder）結(jié)構(gòu)。因此，EBGAN中給予GAN一種能量模型的解釋，也就是生成能量值最小的數(shù)據(jù)樣本是生成器的目的，而對生成的樣本數(shù)據(jù)賦予較大的能量則是判別器的目的。

EBGAN 在模型的穩(wěn)定性方面表現(xiàn)良好，它可以生成更加真實的圖像。EBGAN對損失函數(shù)與模型結(jié)構(gòu)沒有過多限制，很多結(jié)構(gòu)與損失函數(shù)都可以用來訓(xùn)練GAN結(jié)構(gòu)。EBGAN利用能量函數(shù)改進(jìn)了判別器，這意味著更多的損失函數(shù)可以來訓(xùn)練GAN。但是EBGAN收斂速度特別慢，而且生成的圖像可能會是比較雜亂的。

2.5 SGAN模型

傳統(tǒng)的機器學(xué)習(xí)分為監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)需要的數(shù)據(jù)是有標(biāo)簽的，無監(jiān)督學(xué)習(xí)的數(shù)據(jù)是沒有標(biāo)簽的。在很多研究中，帶有標(biāo)簽的數(shù)據(jù)只是很小的一部分，而大量的數(shù)據(jù)是沒有標(biāo)簽的。人工智能絕大部分是監(jiān)督學(xué)習(xí)，然而監(jiān)督學(xué)習(xí)的訓(xùn)練需要數(shù)據(jù)量大而且需要帶有標(biāo)簽信息。醫(yī)學(xué)圖像標(biāo)簽數(shù)據(jù)集的獲取耗費大量的人力物力而且面臨道德與倫理問題。如若使用有標(biāo)簽的數(shù)據(jù)，往往需要人工標(biāo)注操作，而且無標(biāo)簽數(shù)據(jù)的獲取往往比較容易。半監(jiān)督學(xué)習(xí)可以對未加標(biāo)簽的數(shù)據(jù)進(jìn)行分類，半監(jiān)督模型的訓(xùn)練需要使用大量未加標(biāo)簽的數(shù)據(jù)和一小部分標(biāo)簽數(shù)據(jù)。半監(jiān)督學(xué)習(xí)的生成對抗網(wǎng)絡(luò)模型是SGAN（semi-supervised GAN）[20]。在SGAN中，真實數(shù)據(jù)可以被認(rèn)為是有標(biāo)簽的數(shù)據(jù)，生成器產(chǎn)生的數(shù)據(jù)被認(rèn)為是無標(biāo)簽的數(shù)據(jù)。判別器不再只是區(qū)分真假兩個類的二分類器，而是類似于一個多分類器，它可以分為訓(xùn)練數(shù)據(jù)集中的N+1 類。但是SGAN 的判別器的多分類任務(wù)增加了，而且也增加了SGAN的網(wǎng)絡(luò)架構(gòu)、訓(xùn)練過程和訓(xùn)練目標(biāo)的復(fù)雜性[21]。

2.6 其他GAN衍生模型

一般要實現(xiàn)不同域之間圖像的相互轉(zhuǎn)化，要求兩個域中具有相同內(nèi)容的圖像作為訓(xùn)練數(shù)據(jù)[22]。但是這種成對出現(xiàn)的數(shù)據(jù)獲取是特別困難的，循環(huán)生成對抗網(wǎng)絡(luò)（CycleGAN）[23]卻不需要成對的數(shù)據(jù)集就可以完成圖片轉(zhuǎn)換。CycleGAN 是一個環(huán)形網(wǎng)絡(luò)，本質(zhì)上是由兩個鏡像對稱的GAN 構(gòu)成的，由兩個生成器及兩個判別器組成。CycleGAN 是一種通過GAN 架構(gòu)訓(xùn)練的無監(jiān)督圖像翻譯模型的技術(shù)，采用來自GAN 兩個不同領(lǐng)域的非成對的圖像集合，可以實現(xiàn)信息從一種表示形式轉(zhuǎn)換為另一種表示形式。雖然CycleGAN 的循環(huán)機制可以保證生成的圖像不會嚴(yán)重偏離實際，但是在循環(huán)轉(zhuǎn)換的過程中會丟失圖像信息，從而使得圖像質(zhì)量不高。

考慮到大部分?jǐn)?shù)據(jù)是沒有標(biāo)簽的，為了更好地利用無標(biāo)簽數(shù)據(jù)集，Radford 等人[24]提出了深度卷積神經(jīng)網(wǎng)絡(luò)和無監(jiān)督學(xué)習(xí)的GAN結(jié)合在一起的深度卷積生成對抗網(wǎng)絡(luò)（deep convolutional GAN，DCGAN）。DCGAN的生成器和判別器都舍棄了CNN 的池化層，判別器的池化層使用步幅卷積代替，生成器則是將微步幅卷積替換池化層。在生成器與判別器中使用批處理規(guī)范化，有助于處理初始化不良導(dǎo)致的訓(xùn)練問題，加速模型訓(xùn)練，提升訓(xùn)練的穩(wěn)定性。雖然DCGAN 可以生成的圖像種類比較豐富，但是生成的圖像質(zhì)量一般，而且模型訓(xùn)練不穩(wěn)定的問題仍然沒有解決。

GAN超分辨率重建算法實現(xiàn)了在不失真的前提下利用生成對抗網(wǎng)絡(luò)將低分辨率圖像生成高分辨率圖像。例如，Ledig 等人[25]提出的超分辨率生成對抗網(wǎng)絡(luò)（super resolution GAN，SRGAN）就是一種生成高分辨率圖像的方法。SRGAN的生成器采用的是參數(shù)化的殘差網(wǎng)絡(luò)，判別器是VGG網(wǎng)絡(luò)，損失函數(shù)是采用內(nèi)容損失和對抗損失的感知損失函數(shù)。它可以生成圖像紋理細(xì)節(jié)較好的圖像，但足夠倍數(shù)的放大后可能會出現(xiàn)不存在的紋路。為了實現(xiàn)更加接近真實的圖像，Wang等人[26]提出增強SRGAN（enhanced SRGAN，ESRGAN）。ESRGAN去掉了生成器所有的批量規(guī)范化（batch normalization，BN）層，將相對判別器作為判別器，從而讓判別器估計真實圖像相對生成圖像更逼真的概率。ESRGAN 采用一種更適合于超分辨的感知域損失，從而可以克服重建圖像與真實圖像亮度不一致的問題，但在邊緣細(xì)節(jié)處理上還有進(jìn)步空間。

表1顯示了生成對抗網(wǎng)絡(luò)的各種衍生模型的對比。通過分析生成對抗網(wǎng)絡(luò)的各種衍生模型，可以得出生成對抗網(wǎng)絡(luò)的衍生模型主要基于以下兩方面進(jìn)行改進(jìn)：（1）基于網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的GAN；（2）基于損失函數(shù)改進(jìn)的GAN。

表1 生成對抗網(wǎng)絡(luò)衍生模型的對比Table 1 Comparison of derivative models of generative adversarial networks

在基于網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的GAN 方面，CGAN 引入條件變量來控制生成的內(nèi)容，有效解決了生成對抗網(wǎng)絡(luò)自由不受控制的缺點。但是CGAN對數(shù)據(jù)集要求比較高，而且僅僅引入條件變量并沒有改變模型訓(xùn)練不穩(wěn)定的問題。DCGAN在生成對抗網(wǎng)絡(luò)的基礎(chǔ)上加入CNN，可以生成種類豐富的圖像。但是DCGAN 生成的圖像質(zhì)量一般，而且訓(xùn)練不穩(wěn)定[27]。CycleGAN將兩個GAN進(jìn)行組合構(gòu)成環(huán)形網(wǎng)絡(luò)結(jié)構(gòu)，生成的圖像是符合實際的。但是循環(huán)轉(zhuǎn)換過程中，CycleGAN會丟失信息，從而造成生成圖像質(zhì)量不高。Pix2PixGAN 的生成器采用UNet結(jié)構(gòu)，判別器采用PatchGAN分類器。Pix2PixGAN訓(xùn)練計算量小，可擴展性強，但是對數(shù)據(jù)集要求高，增加了訓(xùn)練的復(fù)雜度。EBGAN 的判別器采用自編碼器結(jié)構(gòu)，對模型結(jié)構(gòu)與損失函數(shù)限制很少，但是收斂速度特別慢。SGAN實現(xiàn)了生成器與半監(jiān)督式分類器的同時訓(xùn)練，達(dá)到了對圖像數(shù)據(jù)集的多分類的效果，更好地實現(xiàn)了對網(wǎng)絡(luò)模型的訓(xùn)練。但是SGAN要求標(biāo)簽數(shù)據(jù)集，訓(xùn)練復(fù)雜性比較高。

在基于損失函數(shù)改進(jìn)的GAN 方面，主要是采用不同的損失函數(shù)來替換原始GAN中的損失函數(shù)。WGAN的損失函數(shù)將JS 散度替換為Wasserstein 距離，較好地解決了GAN的梯度消失與梯度爆炸的問題，WGAN-GP在WGAN 的基礎(chǔ)上引入梯度懲罰，進(jìn)一步解決了這一難題。WGAN只是理論上解決了梯度消失與梯度爆炸問題，實際中并未完全解決。WGAN-GP解決了梯度消失與梯度爆炸問題，但由于參數(shù)較多，使得模型訓(xùn)練成本較高。SRGAN 的損失函數(shù)是感知函數(shù)，不但可以生成高分辨率的圖像，而且圖像在紋理細(xì)節(jié)上表現(xiàn)很好。ESRGAN在SRGAN的基礎(chǔ)上進(jìn)行改進(jìn)，從而生成更加逼真的圖像。

雖然生成對抗網(wǎng)絡(luò)產(chǎn)生了很多的衍生模型，但是生成對抗網(wǎng)絡(luò)本身存在的訓(xùn)練不穩(wěn)定、梯度消失以及模式崩潰等問題還未有較為完美的解決方案。

3 基于生成對抗網(wǎng)絡(luò)的肝臟腫瘤圖像分割

目前卷積神經(jīng)網(wǎng)絡(luò)（CNN）可以通過對輸入圖像中每個像素點的類別標(biāo)簽的應(yīng)用來實現(xiàn)對肝臟腫瘤圖像的分割。卷積神經(jīng)網(wǎng)絡(luò)在像素分類時，僅僅針對每一個像素點，沒有考慮周圍其他點的像素類別信息[28]，因此在分類過程中容易造成小目標(biāo)漏檢與目標(biāo)邊界分割模糊的問題。生成對抗網(wǎng)絡(luò)模型是一種無監(jiān)督學(xué)習(xí)模型，該模型可以學(xué)習(xí)到豐富的數(shù)據(jù)信息。在醫(yī)學(xué)圖像處理中，圖像數(shù)據(jù)集獲取困難，獲得標(biāo)注信息的圖像數(shù)據(jù)獲取更加困難。然而生成對抗網(wǎng)絡(luò)無需提前知道假設(shè)數(shù)據(jù)分布便可以生成與真實圖像誤差極小的數(shù)據(jù)分布，從而有效提高數(shù)據(jù)集的多樣性，緩解了醫(yī)學(xué)圖像缺乏的需求問題。因此，將生成對抗網(wǎng)絡(luò)模型應(yīng)用于肝臟腫瘤分割是如今的研究熱點問題。但是GAN采取的是對抗訓(xùn)練的思想，容易出現(xiàn)訓(xùn)練模型不穩(wěn)定的問題，研究人員提出了不同的改進(jìn)策略。在肝臟腫瘤分割任務(wù)中，可以將模型改進(jìn)分為三大類：基于網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的GAN 方法、基于生成器或判別器改進(jìn)的GAN方法和基于GAN的其他改進(jìn)方法。

3.1 肝臟腫瘤圖像分割評價指標(biāo)

為了很好地評估各個生成對抗網(wǎng)絡(luò)的改進(jìn)模型在肝臟腫瘤圖像分割上的表現(xiàn)，本文總結(jié)了以下幾個分割評價指標(biāo)：Dice 系數(shù)、準(zhǔn)確率（accuracy，Acc）、交并比（intersection over union，IoU）、像素精確度（pixel accuracy，PA）、相對體積誤差（relative volume difference，RVD）、相對表面積誤差（RSSD）、召回率（Recall）、體素重疊誤差（volumetric overlap error，VOE）、精確度（precision，Pre）。為了更好地表示模型的評價，引入幾個指標(biāo)：TP（true positive）表示真正例，F(xiàn)P（false positive）表示假正例，TN（true negative）表示真反例，F(xiàn)N（false negative）表示假反例。

（1）Dice 系數(shù)是一種集合相似度度量指標(biāo)，通常用于計算兩個樣本的相似度。Dice 的取值范圍為[0，1]，值為0 時表示兩樣本之間沒有聯(lián)系，值為1 時表示兩樣本完全重合。Dice系數(shù)的公式為：

（2）準(zhǔn)確率代表正確的樣本數(shù)占總樣本數(shù)的比例，準(zhǔn)確率是一個很常見且直觀的評價指標(biāo)，值的大小不代表模型的好壞。準(zhǔn)確率的公式如下：

（3）交并比計算兩個集合的交集與并集之比，兩個集合分別為真實值和預(yù)測值，交并比的取值范圍為[0，1]。公式如下：

（4）像素精確度表示標(biāo)記正確的像素占總像素的比例，它的取值范圍為[0，1]，該比值越接近1 表明像素的準(zhǔn)確率越高。公式如下：

（5）相對體積誤差表示分割結(jié)果與標(biāo)記之間體積的差異，它的取值范圍為0到100%，值越小表示分割結(jié)果與標(biāo)記之間越接近一致。該評價指標(biāo)影響著治療計劃的制定以及患者術(shù)后的預(yù)后，具有特別重要的意義。公式如下：

（6）相對表面積誤差表示真實肝臟表面積與預(yù)測分割肝臟表面積的差異，它可以表示肝臟表面的粗糙程度，值越接近于0表示兩者之間越接近。公式如下：

（7）召回率又稱查全率，表示被正確判定的正例占總正例的比重。公式為：

（8）體素重疊誤差又稱錯誤率，表示分割結(jié)果與實際分割結(jié)果的重疊度。公式如下：

（9）精確度表示分割預(yù)測對的正例占所有分割預(yù)測為正例的樣本的比例。公式如下：

3.2 基于網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的GAN方法

生成對抗網(wǎng)絡(luò)一般是由生成器與判別器兩個模塊構(gòu)成，研究者增加其他的深度學(xué)習(xí)網(wǎng)絡(luò)作為組合模塊用于解決肝臟腫瘤圖像分割的問題。本節(jié)將詳細(xì)闡述基于網(wǎng)絡(luò)結(jié)構(gòu)的生成對抗網(wǎng)絡(luò)在肝臟腫瘤2D 與3D 圖像分割上的表現(xiàn)。

3.2.1 2D肝臟腫瘤圖像分割

目前已有的腹部CT 圖像語義分割算法雖然在肝臟腫瘤CT 圖像中分割效果好，但基準(zhǔn)圖像與分割結(jié)果之間空間不一致的問題依舊沒有解決。Xia 等人[29]提出了一種多尺度對抗結(jié)合網(wǎng)絡(luò)語義分割算法。算法以DeepLab-v3 的基本框架為基礎(chǔ)并引入Pix2Pix 網(wǎng)絡(luò)作為生成對抗網(wǎng)絡(luò)模型，實現(xiàn)了多尺度對抗網(wǎng)絡(luò)語義分割并提升了圖像分割準(zhǔn)確率。大量的定性和定量的實驗結(jié)果表明，該語義分割算法的性能優(yōu)于現(xiàn)有算法，可以提高分割效率，同時保證腹部CT 圖像語義分割的空間一致性。除了空間不一致外，肝臟腫瘤分割還存在數(shù)據(jù)不平衡的問題。Rezaei 等人[30]在生成器與判別器的基礎(chǔ)上，將細(xì)化網(wǎng)絡(luò)作為額外的組合模塊，提出條件生成細(xì)化網(wǎng)絡(luò)，有效解決了數(shù)據(jù)不平衡的問題。數(shù)據(jù)是深度學(xué)習(xí)的本質(zhì)特征，大量的數(shù)據(jù)訓(xùn)練才能讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到數(shù)據(jù)的深層語義信息。對于醫(yī)學(xué)圖像的語義分割任務(wù)而言，圖像的數(shù)據(jù)標(biāo)注是極其困難的，醫(yī)學(xué)圖像的數(shù)據(jù)標(biāo)注費時費力，缺乏專業(yè)人士進(jìn)行專業(yè)標(biāo)注。半監(jiān)督學(xué)習(xí)模型介于全監(jiān)督學(xué)習(xí)模型與無監(jiān)督學(xué)習(xí)模型之間，鄭寒等人[31]利用標(biāo)注的醫(yī)學(xué)圖像與未標(biāo)注的醫(yī)學(xué)圖像同時訓(xùn)練模型，提出一個基于對抗學(xué)習(xí)的半監(jiān)督醫(yī)學(xué)圖像分割方法。該方法相較于無監(jiān)督學(xué)習(xí)模型，通過一定的有標(biāo)注的醫(yī)學(xué)圖像數(shù)據(jù)穩(wěn)定了模型參數(shù)，確定了模型學(xué)習(xí)的方向，而且一定程度上緩解了全監(jiān)督模型帶來的圖像信息標(biāo)注壓力。肝臟腫瘤的檢測離不開造影劑（contrast agent，CA）注射，在未注射造影劑的情況下，血管瘤（良性腫瘤）與肝臟腫瘤（惡性腫瘤）很難區(qū)分，在通過造影劑注射增強MRI后，兩種腫瘤分別擁有了不同的特性，這樣診斷血管瘤和肝臟腫瘤擁有了簡單準(zhǔn)確的方法。但是造影劑使用時費時費力且價格昂貴，而且風(fēng)險系數(shù)較高。趙建峰[32]提出了一種無需注射造影劑、無創(chuàng)、省時且廉價的新型的三方生成對抗網(wǎng)絡(luò)（Tripartite-GAN）。三方生成對抗網(wǎng)絡(luò)首次將檢測器與生成對抗網(wǎng)絡(luò)的兩個網(wǎng)絡(luò)通過反向傳播實現(xiàn)結(jié)合，成功地合成肝臟造影劑增強MRI用于促進(jìn)肝臟腫瘤檢測，從而提高了肝臟腫瘤檢測的性能。雖然很多基于GAN的改進(jìn)方法在肝臟腫瘤圖像分割中已經(jīng)表現(xiàn)出很好的效果，但是還會存在高噪聲和低對比度的問題。為了解決這一難題，Tang 等人[33]提出使用堆疊生成對抗網(wǎng)絡(luò)。堆疊生成對抗網(wǎng)絡(luò)降低圖像噪聲的同時，生成了具有更高分辨率、增強邊界、更高對比度的高質(zhì)量圖像。

3.2.2 3D肝臟腫瘤圖像分割

生成對抗網(wǎng)絡(luò)除了在二維肝臟腫瘤CT圖像上表現(xiàn)良好之外，在三維空間上也很適用[34]。Wei 等人[35]提出基于增強GAN 和掩膜區(qū)域的CNN 架構(gòu)的肝臟腫瘤圖像自動分割方法。GAN Mask R-CNN在一定程度上提高了序列中每個肝臟腫瘤圖像切片的分割精度和魯棒性。Yang等人[36]利用DI2IN對3D醫(yī)學(xué)圖像進(jìn)行自動肝臟分割。DI2IN 方法采用卷積編碼器-解碼器結(jié)構(gòu)實現(xiàn)了多級特征級聯(lián)的肝臟腫瘤CT圖像分割。與其他基于深度學(xué)習(xí)的方法相比，DI2IN一定程度上提高了計算效率并減少了運行時間，然而其在肝臟腫瘤CT 圖像分割的準(zhǔn)確度上依舊有很大的提升空間。因此，張澤林等人[37]提出了一種基于條件生成對抗網(wǎng)絡(luò)的3D肝臟腫瘤條件生成對抗分割網(wǎng)絡(luò)（T3scGAN），同時采用了一個由粗到細(xì)的3D 自動分割框架對腫瘤區(qū)域?qū)嵤┚珳?zhǔn)分割。通過不斷的對抗訓(xùn)練，實驗結(jié)果表明由粗到細(xì)的腫瘤分割框架以及T3scGAN模型對于肝臟腫瘤圖像在分割精度上面有較大的提高。為了解決分割特大脾臟的空間變異問題，Huo等人[38]提出條件生成對抗網(wǎng)絡(luò)（CGAN）結(jié)合全局卷積網(wǎng)絡(luò)（global convolutional network，GCN）[39]的網(wǎng)絡(luò)架構(gòu)SSNet。在SSNet 中，GCN 被用作生成器，而條件生成對抗網(wǎng)絡(luò)（CGAN）被用作鑒別器，通過端對端的訓(xùn)練進(jìn)行脾臟腫大圖像分割。實驗結(jié)果表明，與基準(zhǔn)模型UNet以及GCN相比，SSNet實現(xiàn)了更準(zhǔn)確、更魯棒的分割性能。為了很好地保留圖像邊界細(xì)節(jié)信息，Chen 等人[40]提出了一種基于特征-融合編碼器-解碼器網(wǎng)絡(luò)（FED-Net）的二維深度學(xué)習(xí)模型對肝臟腫瘤圖像進(jìn)行分割。由于肝臟腫瘤圖像數(shù)據(jù)集匱乏和GPU限制等問題，利用3D 肝臟腫瘤圖像訓(xùn)練模型可能會造成過擬合的問題。為了解決此問題，Ma 等人[41]提出一種基于VNet 和WGAN 融合的肝臟分割方法。該方法將改進(jìn)的VNet 與WGAN 相融合，來獲取3D 肝臟腫瘤圖像的上下文圖像信息，實現(xiàn)端到端的分割。肝臟圖像本身固有的缺陷和CT成像技術(shù)的局限性造成了肝臟圖像灰度不均，從而導(dǎo)致肝臟邊界模糊，不利于分割的準(zhǔn)確性。He等人[42]在生成敵對網(wǎng)絡(luò)框架下嵌入改進(jìn)的三維UNet網(wǎng)絡(luò)，建立了半監(jiān)督三維肝臟分割優(yōu)化算法。該半監(jiān)督三維肝臟分割方法能夠有效提高肝臟分割性能。

綜上所述，基于網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的GAN在2D肝臟腫瘤圖像的分割中，改進(jìn)的模型主要是通過在GAN 的生成器與判別器之上，加入深度學(xué)習(xí)的模型構(gòu)建新的分割模型對肝臟腫瘤圖像進(jìn)行分割。例如，將DeepLab-V3、細(xì)化網(wǎng)絡(luò)與檢測器等與GAN 相結(jié)合，實現(xiàn)對肝臟腫瘤圖像的精準(zhǔn)分割。但是改進(jìn)的模型還是未能解決高噪聲與低對比度等問題?；诰W(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的GAN 在3D 肝臟腫瘤圖像的分割中，通過將不同的深度學(xué)習(xí)網(wǎng)絡(luò)與GAN結(jié)合，充分利用圖像的三維信息，實現(xiàn)對肝臟腫瘤圖像的精準(zhǔn)分割。但是三維圖像分割對設(shè)備的性能要求過高，在臨床實施上受到設(shè)備性能的限制[43]?；诰W(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的GAN方法如表2所示。

表2 基于網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的GAN方法總結(jié)Table 2 Summary of GAN methods based on network structure improvement

3.3 基于生成器或判別器改進(jìn)的GAN方法

3.3.1 基于生成器改進(jìn)的方法

生成對抗網(wǎng)絡(luò)的生成圖像模塊是自由且無限制的，在生成訓(xùn)練的過程中會出現(xiàn)訓(xùn)練不穩(wěn)定，甚至?xí)霈F(xiàn)訓(xùn)練崩潰的無效生成。由于深度神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域的廣泛發(fā)展，越來越多穩(wěn)定高效的網(wǎng)絡(luò)結(jié)構(gòu)涌現(xiàn)，研究者將這些網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合生成對抗網(wǎng)絡(luò)的生成器構(gòu)造出新的生成器。經(jīng)過改進(jìn)，生成對抗網(wǎng)絡(luò)模型訓(xùn)練不穩(wěn)定性的問題得到了有效的改善。雖然肝臟腫瘤圖像的分割性能有了很大的提升，但是在細(xì)節(jié)分割方面還不是很好。在肝臟腫瘤的分割研究中邊緣細(xì)節(jié)信息發(fā)揮著至關(guān)重要的作用，為了準(zhǔn)確地保留邊緣信息，Kim 等人[44]提出一種把多相UNet作為生成器的基于CycleGAN結(jié)構(gòu)的方法?；贑ycleGAN 結(jié)構(gòu)的方法很好地保留了肝臟腫瘤圖像的邊緣細(xì)節(jié)信息，但是該方法在分割性能方面還有進(jìn)步的空間。為了捕捉更加精確的肝臟腫瘤特征，Chen 等人[45]提出了敵對的密集連接網(wǎng)絡(luò)（adversarial densely connected network，ADCN）與多平面集成網(wǎng)絡(luò)（multi-prototype networks，MPNet）[46]級聯(lián)的方式對肝臟腫瘤圖像進(jìn)行分割。首先算法使用多平面集成網(wǎng)絡(luò)從三維CT腹部體積分割肝臟組織。然后采用敵對訓(xùn)練策略，通過開發(fā)深度三維密集連接的全卷積神經(jīng)網(wǎng)絡(luò)，提取肝臟區(qū)域的腫瘤。使用級聯(lián)框架的方式有效降低了腫瘤分割網(wǎng)絡(luò)設(shè)計的復(fù)雜性，而且緊密連接結(jié)合對抗訓(xùn)練策略進(jìn)一步提高了模型性能?；谠煊皠╟ontrast agent，CA）的肝臟腫瘤圖像分割方法是目前使用比較普遍的方式，但是CA價格高昂，CA在使用中也存在高風(fēng)險問題，而且時間成本也比較高。為此，Xiao等人[47]將UNet網(wǎng)絡(luò)與DenseNet網(wǎng)絡(luò)疊加在一起作為生成器，生成器創(chuàng)新地使用密集連接和跳過連接來接收和共享引導(dǎo)信息，提取表征特征。改進(jìn)生成器后的模型很好地解決了CA處理不好的低對比度區(qū)域，并實現(xiàn)了無CA的干預(yù)下對肝臟腫瘤圖像的精準(zhǔn)分割。

3.3.2 基于生成器與判別器改進(jìn)的方法

肝臟腫瘤分割的數(shù)據(jù)不平衡現(xiàn)象是醫(yī)學(xué)圖像分割中存在的一大難題，已有的傳統(tǒng)分割模型在小型病灶分割上表現(xiàn)得不盡人意。為解決這一現(xiàn)象，武坤[48]創(chuàng)新地提出一種基于條件生成對抗網(wǎng)絡(luò)的分割模型，該分割模型的生成器部分采用一個基于編碼器-解碼器網(wǎng)絡(luò)的雙UNet 學(xué)習(xí)模型，判別器引入專門為圖像轉(zhuǎn)換細(xì)節(jié)的PatchGAN結(jié)構(gòu)，滿足了醫(yī)學(xué)圖像高分辨率、高細(xì)節(jié)保真的要求。該模型很好地解決了肝臟圖像分割中數(shù)據(jù)不平衡的問題，實現(xiàn)了肝臟腫瘤圖像的精準(zhǔn)分割。為了解決數(shù)據(jù)集類不平衡的問題，Rezaei 等人[49]提出一種Ensemble-GAN 網(wǎng)絡(luò)。Ensemble-GAN 網(wǎng)絡(luò)由單生成器與判別器變體組成，通過為生成器設(shè)計新的體系結(jié)構(gòu)來克服普通條件遺傳算法的典型缺陷，將多個鑒別器組合成單個一致性模型。該算法模型實現(xiàn)了很好的泛化能力，在肝臟腫瘤圖像分割的準(zhǔn)確率上表現(xiàn)優(yōu)異?，F(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在肝臟腫瘤分割中一般采用輸入圖像中每個像素分配類別標(biāo)簽來實現(xiàn)分割。但是卷積神經(jīng)網(wǎng)絡(luò)針對像素分類是單像素的，像素周圍區(qū)域的其他像素沒有考慮，這樣就造成圖像邊緣分割模糊，也會造成一些小目標(biāo)遺漏缺失的問題。針對這個問題，閆諳等人[50]提出一種基于能量對抗生成網(wǎng)絡(luò)（EBGAN）與條件生成對抗網(wǎng)絡(luò)（CGAN）的肝臟腫瘤圖像的分割方法。該條件能量對抗網(wǎng)絡(luò)使用一個基于卷積神經(jīng)網(wǎng)絡(luò)的生成器與一個自編碼器作為判別器。將UNet嵌入能量對抗生成網(wǎng)絡(luò)（EBGAN）作為模型的生成器，生成器用于學(xué)習(xí)每個像素的特征信息，進(jìn)而得到每個像素的所屬類別信息。同時該方法將原始圖像作為約束條件輸入到基于能量理論的判別器中，通過訓(xùn)練學(xué)習(xí)像素類別信息之間的高階一致性，從而達(dá)到提高小目標(biāo)區(qū)域檢測與目標(biāo)邊緣檢測的分割精度。鄧鴻等人[51]融合生成對抗網(wǎng)絡(luò)與UNet網(wǎng)絡(luò)實現(xiàn)對肝臟腫瘤圖像的自動分割。分割模型首先采用UNet 網(wǎng)絡(luò)進(jìn)行肝臟腫瘤圖像的分割，接著采用生成對抗網(wǎng)絡(luò)（GAN）進(jìn)行對抗訓(xùn)練，這樣輸出結(jié)果更加接近于真實結(jié)果，同時該方法還利用距離約束函數(shù)對分割結(jié)果的精確度做了進(jìn)一步改進(jìn)。實驗結(jié)果表明GAN-UNet 對抗訓(xùn)練方式不僅提高了肝臟腫瘤圖像分割的精確度，在肝臟腫瘤圖像分割的細(xì)節(jié)上也表現(xiàn)很好。相較于傳統(tǒng)的UNet 模型，GAN-UNet 雖然有很高的優(yōu)越性，但是在參數(shù)調(diào)整上沒有到達(dá)最優(yōu)參數(shù)。而且GAN-UNet模型結(jié)構(gòu)有待進(jìn)一步簡化。為了更好地實現(xiàn)生成對抗網(wǎng)絡(luò)對肝臟腫瘤圖像更加高效穩(wěn)定的分割，Enokiya 等人[52]提出一種基于UNet 網(wǎng)絡(luò)與Wasserstein生成對抗網(wǎng)絡(luò)（WGAN）相結(jié)合的分割網(wǎng)絡(luò)。該分割模型的生成器采用改進(jìn)的UNet，將UNet與WGAN相結(jié)合作為判別器。該分割網(wǎng)絡(luò)模型穩(wěn)定性很好，同時也實現(xiàn)了對肝臟腫瘤圖像的精準(zhǔn)分割。

基于生成器或判別器改進(jìn)的GAN 方法，主要是改變生成器或判別器的結(jié)構(gòu)來實現(xiàn)對肝臟腫瘤圖像的分割。GAN的生成器與判別器可以是任意的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。將多相UNet、UNet 與DenseNet 組合、基于編碼器-解碼器網(wǎng)絡(luò)的雙UNet 學(xué)習(xí)模型等作為生成器，對于生成器的改進(jìn)絕大多數(shù)都采用適用于醫(yī)學(xué)圖像分割的UNet 網(wǎng)絡(luò)。將PatchGAN 和多個判別器組合的方式對判別器進(jìn)行改進(jìn)。改進(jìn)后的生成器與改進(jìn)后的判別器通過對抗學(xué)習(xí)的方式實現(xiàn)對肝臟腫瘤圖像的精準(zhǔn)分割。雖然改進(jìn)后的模型提高了肝臟腫瘤分割的精度，但是還會存在訓(xùn)練不穩(wěn)定以及細(xì)節(jié)分割不好等問題?；谏善骰蚺袆e器改進(jìn)的GAN方法如表3所示。

表3 基于生成器或判別器改進(jìn)的GAN方法總結(jié)Table 3 Summary of GAN methods based on generator or discriminator improvement

3.4 基于GAN的其他改進(jìn)方法

除了基于生成對抗網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)、生成器與判別器改進(jìn)的模型對肝臟腫瘤圖像進(jìn)行分割之外，還有仿真數(shù)據(jù)集擴充等其他改進(jìn)方法，這些方法在肝臟腫瘤圖像分割中也表現(xiàn)出很好的分割效果。

數(shù)據(jù)集的大小與數(shù)量會影響深度學(xué)習(xí)模型訓(xùn)練結(jié)果的好壞，但是目前數(shù)據(jù)集的獲取存在很大的難度。例如，數(shù)據(jù)集獲取涉及患者隱私和采集患者圖像時會影響到人體健康等，這些問題都會使得研究者難以獲取醫(yī)學(xué)圖像數(shù)據(jù)集。因此，將現(xiàn)有的醫(yī)學(xué)圖像數(shù)據(jù)集應(yīng)用仿真數(shù)據(jù)集擴充，逐漸成為各研究者的研究熱點內(nèi)容，對于需求量極大的肝臟腫瘤CT 圖像數(shù)據(jù)集更是迫切需要。為解決這一問題，孟琭等人[53]提出針對肝臟腫瘤CT 圖像的仿真數(shù)據(jù)集生成深度學(xué)習(xí)算法。首先肝臟腫瘤圖像經(jīng)過三維圖像降維度為二維圖像、圖像格式轉(zhuǎn)換、歸一化等預(yù)處理操作，接著對處理后的肝臟腫瘤圖像的病變區(qū)域進(jìn)行標(biāo)注，然后將其與原始肝臟腫瘤圖像進(jìn)行配對劃分，最后利用Pix2Pix 生成對抗網(wǎng)絡(luò)對圖像進(jìn)行處理，生成仿真的肝臟腫瘤圖像。該仿真圖像算法實現(xiàn)了生成真實度極高的肝臟腫瘤圖像，體現(xiàn)出良好的仿真效果，有效地解決了應(yīng)用在深度學(xué)習(xí)訓(xùn)練時肝臟腫瘤圖像的數(shù)據(jù)集難以獲取的難題。Liu等人[54]基于掩蔽注意生成對抗網(wǎng)絡(luò)（mask attention generative adversarial network，MAGAN）合成了帶有腫瘤的肝臟CT圖像。結(jié)果表明，該方法能夠合成含腫瘤的肝臟CT圖像，而且可以達(dá)到平均峰值信噪比（PSNR）64.72 dB，優(yōu)于其他最先進(jìn)的方法。PET利用放射性示蹤劑（radiotracers）可提供三維功能成像，顯示動物模型和人體內(nèi)生物分子活性的空間分布。但用于PET檢測的設(shè)備昂貴，而且PET設(shè)備具有放射性，會對人體造成傷害。因此，Ben-Cohen 等人[55]提出將CGAN 與FCN 相結(jié)合的方法。CGAN 與FCN合成肝臟的PET圖像，實現(xiàn)了高性能的肝臟分割檢測。經(jīng)過圖像融合技術(shù)可以擴大肝臟腫瘤圖像所含有的時間空間信息，減少不確定性，增加可靠性，改進(jìn)系統(tǒng)的魯棒性能。為此，Ben-Cohen等人[56]結(jié)合CGAN與FCN，將其作為基礎(chǔ)模型，基礎(chǔ)模型加入基于金字塔的圖像混合步驟，改進(jìn)后的模型實現(xiàn)了對肝臟腫瘤的精準(zhǔn)分割。Ben-Cohen 等人[57]提出的系統(tǒng)FCN 與CGAN 實現(xiàn)肝臟腫瘤CT 圖像合成肝臟腫瘤PET 圖像，然后對肝臟腫瘤PET 圖像進(jìn)行分割。該系統(tǒng)的網(wǎng)絡(luò)架構(gòu)消除了對圖像混合步驟的需要，從而節(jié)省了時間，并減少了手動定義混合掩膜閾值的需要。同時系統(tǒng)也提高了對肝臟腫瘤圖像分割的性能，而且數(shù)據(jù)集也得到了實質(zhì)性的擴展。為了解決域移位使得來自不同目標(biāo)域的數(shù)據(jù)在訓(xùn)練深度模型時表現(xiàn)不佳的問題，Yang 等人[58]提出一種基于CycleGAN的無監(jiān)督的域自適應(yīng)方法。該方法實現(xiàn)了跨模態(tài)肝臟分割，取得了很好的泛化能力。MR 和CT 圖像固有的結(jié)構(gòu)差異，使得這兩種模態(tài)的可變形圖像配準(zhǔn)（DIR）在配準(zhǔn)性能方面表現(xiàn)不佳。Tanner等人[59]提出了一種完全無監(jiān)督的MR-CT 圖像模態(tài)合成方法，即通過減小CycleGAN 的判別器的感受野來減少提供給判別器的空間信息。在CycleGAN 中加入DIR 確保了合成圖像與真實圖像在空間上實現(xiàn)了一致性，有效提高了配準(zhǔn)性能。基于GAN進(jìn)行的其他方法的改進(jìn)和研究總結(jié)如表4所示。

表4 基于GAN的其他改進(jìn)方法總結(jié)Table 4 Summary of other improved methods based on GAN

4 總結(jié)與展望

本文首先介紹了生成對抗網(wǎng)絡(luò)的基本模型，然后介紹了典型的生成對抗網(wǎng)絡(luò)的衍生模型，接著分別基于網(wǎng)絡(luò)結(jié)構(gòu)、生成器、判別器與其他GAN的改進(jìn)方法三方面總結(jié)闡述生成對抗網(wǎng)絡(luò)在肝臟腫瘤圖像分割上的應(yīng)用。其中在網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)中，分別又對2D 肝臟腫瘤圖像分割與3D肝臟腫瘤圖像分割進(jìn)行了總結(jié)分析。最后對生成對抗網(wǎng)絡(luò)及其在肝臟腫瘤圖像分割的應(yīng)用進(jìn)行了總結(jié)與展望。

生成對抗網(wǎng)絡(luò)在肝臟腫瘤圖像分割的應(yīng)用領(lǐng)域體現(xiàn)出重要的研究價值，具有重要的研究意義。但是肝臟腫瘤圖像內(nèi)容較復(fù)雜以及生成對抗網(wǎng)絡(luò)的訓(xùn)練不太穩(wěn)定等問題，使得生成對抗網(wǎng)絡(luò)在肝臟腫瘤圖像分割中會存在一些問題，具體如下：

（1）肝臟腫瘤的形狀、大小不一，而且肝臟腫瘤圖像數(shù)據(jù)集的獲取涉及患者隱私，都會導(dǎo)致數(shù)據(jù)獲取較為困難[60]。數(shù)據(jù)集匱乏會導(dǎo)致分割模型出現(xiàn)過擬合現(xiàn)象，嚴(yán)重影響肝臟腫瘤圖像的分割精度。

（2）數(shù)據(jù)是深度學(xué)習(xí)的本質(zhì)特征，大量的數(shù)據(jù)訓(xùn)練才能讓神經(jīng)網(wǎng)絡(luò)學(xué)到數(shù)據(jù)的深層語義信息，監(jiān)督學(xué)習(xí)模型需要標(biāo)簽數(shù)據(jù)集的訓(xùn)練。肝臟腫瘤圖像的標(biāo)注工作費時費力并且缺乏專業(yè)人士的標(biāo)注。雖然監(jiān)督式深度學(xué)習(xí)在肝臟腫瘤圖像分割中取得了很好的效果，然而標(biāo)簽圖像數(shù)據(jù)匱乏的問題嚴(yán)重阻礙研究者對肝臟腫瘤圖像分割工作的研究。

（3）肝臟腫瘤圖像的分割往往涉及3D分割，這使得訓(xùn)練分割模型的計算成本變高。因此，3D 圖像的處理以及3D 模型的訓(xùn)練往往受到設(shè)備性能的限制，嚴(yán)重影響肝臟腫瘤圖像分割的精度。

（4）應(yīng)用在肝臟腫瘤圖像分割的生成對抗網(wǎng)絡(luò)的相關(guān)改進(jìn)模型沒有完全解決模型訓(xùn)練不穩(wěn)定、梯度消失以及模式崩潰的問題，這些問題會影響分割模型對肝臟腫瘤圖像的分割精度。

（5）應(yīng)用在肝臟腫瘤圖像分割的生成對抗網(wǎng)絡(luò)的分割模型多數(shù)局限于網(wǎng)絡(luò)的結(jié)合使用，改進(jìn)模型的范圍具有局限性。這一定程度上阻礙了生成對抗網(wǎng)絡(luò)在肝臟腫瘤圖像分割領(lǐng)域的發(fā)展。

生成對抗網(wǎng)絡(luò)的廣泛應(yīng)用與醫(yī)學(xué)圖像分割精度的高要求使得GAN在肝臟腫瘤圖像分割中快速發(fā)展。本文總結(jié)分析的肝臟腫瘤分割的未來發(fā)展如下：

（1）為解決肝臟腫瘤圖像數(shù)據(jù)集匱乏的問題，圖像合成與仿真數(shù)據(jù)集擴充是GAN應(yīng)用于肝臟腫瘤圖像分割一個很好的發(fā)展方向。利用圖像超分辨率技術(shù)提升肝臟腫瘤圖像的質(zhì)量也有助于提高肝臟腫瘤圖像分割的精度。

（2）生成對抗網(wǎng)絡(luò)是一種通過對抗訓(xùn)練學(xué)習(xí)真實數(shù)據(jù)分布的無監(jiān)督學(xué)習(xí)模型，并且在半監(jiān)督學(xué)習(xí)領(lǐng)域中也有很廣泛的發(fā)展。未來，生成對抗網(wǎng)絡(luò)可能會結(jié)合其他網(wǎng)絡(luò)對肝臟腫瘤進(jìn)行研究，充分展現(xiàn)生成對抗網(wǎng)絡(luò)在半監(jiān)督學(xué)習(xí)領(lǐng)域發(fā)展的優(yōu)越性。

（3）醫(yī)學(xué)圖像的三維信息比二維信息更加豐富，擁有更多的特征信息，深度學(xué)習(xí)模型學(xué)習(xí)到的特征信息越多，分割模型的分割精度就越高。因此，對設(shè)備性能要求比較低又能學(xué)習(xí)到更多特征信息的學(xué)習(xí)模型是未來用于肝臟腫瘤圖像分割的一個熱門研究方向。

（4）針對應(yīng)用在肝臟腫瘤圖像分割的生成對抗網(wǎng)絡(luò)的相關(guān)改進(jìn)模型沒有完全解決模型訓(xùn)練不穩(wěn)定、梯度消失以及模式崩潰的問題，未來研究者可以考慮從生成對抗網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)開始，探究解決這些問題的完美方案。

（5）針對應(yīng)用在肝臟腫瘤圖像分割中的生成對抗網(wǎng)絡(luò)的分割模型多數(shù)局限于網(wǎng)絡(luò)的結(jié)合使用的問題，未來改進(jìn)模型的范圍應(yīng)該更加廣泛。例如多個GAN進(jìn)行組合的模型、GAN 與CNN 組合的模型以及GAN 與RNN組合的模型等。尤其是UNet特別適合小樣本數(shù)據(jù)集的分割，適合醫(yī)學(xué)圖像的分割任務(wù)[61]。將UNet 作為GAN的生成器對肝臟腫瘤圖像進(jìn)行分割，既能體現(xiàn)UNet 的優(yōu)越性，又能充分展現(xiàn)GAN 在半監(jiān)督學(xué)習(xí)領(lǐng)域的優(yōu)越性。因此，將UNet與GAN結(jié)合是未來肝臟腫瘤圖像分割一個特別好的發(fā)展方向。

總體來說，應(yīng)用生成對抗網(wǎng)絡(luò)對肝臟腫瘤圖像進(jìn)行分割的研究工作在面臨著巨大挑戰(zhàn)的同時，擁有著無限的潛力。