馬國(guó)祥,嚴(yán)傳波,張志豪,森 干

（新疆醫(yī)科大學(xué) 醫(yī)學(xué)工程技術(shù)學(xué)院,烏魯木齊 830054）

近年來(lái),隨著計(jì)算機(jī)技術(shù)和醫(yī)學(xué)影像技術(shù)的發(fā)展,基于醫(yī)學(xué)圖像的計(jì)算機(jī)輔助技術(shù)取得了較快的發(fā)展.在人工智能和大數(shù)據(jù)新的時(shí)代背景下,醫(yī)學(xué)CT（Computed Tomography）圖像病灶檢測(cè)方法也得到了進(jìn)一步的研究.CT圖像利用X射線束對(duì)人體可能出現(xiàn)病變的組織進(jìn)行掃描,通過(guò)不同體素對(duì)X射線束的吸收及衰減系數(shù),形成從黑到白不同灰度的像素,并將這些像素按照矩陣進(jìn)行排列構(gòu)成灰度圖,這些像素灰度值的強(qiáng)弱反映了不同器官和組織對(duì)X射線的吸收程度.其中偏黑區(qū)域表示低密度區(qū)域,偏白區(qū)域表示高密度區(qū)域,從而反映正常組織與病變組織的對(duì)比差異性.一般的CT圖像都需要進(jìn)行定量分析,放射科醫(yī)師和腫瘤專家通過(guò)CT圖像的形狀和紋理初步完成疾病的診斷,為后期的臨床診斷提供了重要的參考依據(jù).近年來(lái),已經(jīng)成為非侵入性診斷最常用的醫(yī)學(xué)成像方式.但是,在臨床中主要依靠人眼實(shí)現(xiàn)對(duì)CT圖像的分辨與測(cè)量,需要專業(yè)醫(yī)師耗費(fèi)大量的時(shí)間和精力,而且需要豐富的解剖學(xué)知識(shí)和臨床經(jīng)驗(yàn),存在人為主觀性強(qiáng)、測(cè)量結(jié)果準(zhǔn)確性差、可再現(xiàn)性差、圖像信息利用率低等問(wèn)題,常常導(dǎo)致疾病的漏診或誤診.為了能夠提高影像診斷的效率和診斷精度,提高CT影像數(shù)據(jù)的利用率,引入智能圖像處理技術(shù),輔助醫(yī)師進(jìn)行疾病診斷已成為現(xiàn)代醫(yī)學(xué)影像學(xué)發(fā)展的必然趨勢(shì).近年來(lái),隨著CT掃描技術(shù)和影像信息化管理技術(shù)的提高,基于CT圖像的病灶分割技術(shù)已經(jīng)取得了一定的研究成果.但是,一直以來(lái)受限于醫(yī)學(xué)圖像獲取困難,數(shù)據(jù)量少、圖像標(biāo)記成本高等問(wèn)題,導(dǎo)致醫(yī)學(xué)影像數(shù)據(jù)在模型訓(xùn)練過(guò)程中無(wú)法達(dá)到最好的檢測(cè)效果.主要表現(xiàn)在模型泛化性能低、模型復(fù)雜程度受限、模型選擇單一等問(wèn)題,嚴(yán)重制約了大規(guī)模集成算法在醫(yī)學(xué)影像檢測(cè)和分割中的應(yīng)用.

1 相關(guān)技術(shù)

CT圖像病灶檢測(cè)的目的是將具有一定特殊含義的醫(yī)學(xué)影像圖片進(jìn)行相關(guān)特征的提取,為病理學(xué)研究和醫(yī)療診斷提供有效的依據(jù)[1].病灶的提取過(guò)程不需要人為干涉,整個(gè)流程通過(guò)計(jì)算設(shè)備自動(dòng)完成,有效地節(jié)省醫(yī)師的診斷時(shí)間、提高診斷精度,從而達(dá)到輔助診斷的目的.但是,由于人體組織結(jié)構(gòu)的復(fù)雜性以及個(gè)體表現(xiàn)的差異性,使得CT影像表現(xiàn)出較高的復(fù)雜度,而且圖像自身缺乏簡(jiǎn)單的線性特征,為基于CT的病灶檢測(cè)帶來(lái)了一定的困難.此外,醫(yī)學(xué)圖像的分割由于其形狀的變化和邊界的模糊,一直是CT圖像分析中的難題.相較于普通圖像,其復(fù)雜度高,灰度范圍大,邊界不清晰,造成了圖像中人體組織間語(yǔ)義關(guān)系的不明確性.醫(yī)學(xué)影像數(shù)據(jù)獲取較難,數(shù)據(jù)量少,這也為病灶檢測(cè)方法的研究帶來(lái)了一定困難.目前,在醫(yī)學(xué)圖像病灶分割領(lǐng)域已有較多的學(xué)者提出了自己的解決方案.常見(jiàn)的醫(yī)學(xué)圖像分割算法有:基于閾值的方法、基于聚類的方法、基于區(qū)域劃分的方法、基于圖割的方法、基于活動(dòng)邊界和水平集的方法以及基于深度學(xué)習(xí)的方法等.

（1）基于閾值的方法需要設(shè)置一個(gè)全局的閾值,根據(jù)閾值的大小確定有差異性的不同區(qū)域.該類方法的關(guān)鍵在于閾值的確定,然而醫(yī)學(xué)圖像中不同組織的圖像差異較小,即使遍歷所有取值也無(wú)法找到能夠合理分割的閾值.在此基礎(chǔ)上,有人提出了直方圖閾值分割方法,通過(guò)捕捉直方圖的一般特征確定區(qū)域的位置.

（2）基于聚類的方法采用無(wú)監(jiān)督的方式捕捉樣本密度較高的區(qū)域并歸為一類.但是醫(yī)學(xué)圖像中像素的分布一般滿足高斯分布,如果按照聚類算法的假設(shè),就會(huì)將全部像素聚為一類.難以使用空間信息是基于聚類方法的直接缺陷.

（3）基于區(qū)域的方法有種子區(qū)域生長(zhǎng)和分水嶺算法.種子區(qū)域生長(zhǎng)法的關(guān)鍵在于種子點(diǎn)的選擇、相似性的度量、生長(zhǎng)規(guī)則,其中相似性度量最為關(guān)鍵.常用的相似性度量方法有像素值、顏色、紋理等.分水嶺算法把圖像看作是測(cè)地學(xué)上的拓?fù)涞孛?圖像中每一點(diǎn)像素的灰度值表示該點(diǎn)的海拔高度,模擬泛洪算法確定區(qū)域的分割邊界.分水嶺算法對(duì)微弱的邊緣有很好的響應(yīng),因而常常會(huì)導(dǎo)致過(guò)分割.

（4）基于活動(dòng)邊界和水平集的方法需要人工提供初始前景范圍曲線,然后讓范圍曲線在根據(jù)圖像數(shù)據(jù)得到的能量函數(shù)的作用下演化,使其向前景邊緣逐漸逼近,最終找到前景的邊緣,在達(dá)到前景邊緣時(shí)能量函數(shù)的取值最小.活動(dòng)邊界模型直接對(duì)范圍曲線進(jìn)行演化,而水平集則根據(jù)圖像數(shù)據(jù)構(gòu)造出三維曲面,通過(guò)三維曲面的演化以及取等值線的方式間接實(shí)現(xiàn)范圍曲線的演化.前背景的邊緣處一定具有較大的梯度,因此能量函數(shù)最重要的構(gòu)造依據(jù)就是圖像的梯度,僅依靠梯度會(huì)陷入局部最優(yōu),一般還會(huì)加入曲線的曲率和其它先驗(yàn)知識(shí).活動(dòng)邊界模型和水平集方法希望通過(guò)曲線和曲面的傳遞作用以及其它先驗(yàn)突破梯度的局部極大值.

（5）基于深度學(xué)習(xí)的方法:通過(guò)對(duì)已知的樣本數(shù)據(jù)建立像素及其一定范圍內(nèi)領(lǐng)域的像素到實(shí)例或者類別的映射.該類方法利用了深度學(xué)習(xí)強(qiáng)大的非線性擬合能力,并使用大量的樣本數(shù)據(jù)參與訓(xùn)練,通過(guò)這種方法建立出來(lái)的映射模型具有較高的準(zhǔn)確性.從深度學(xué)習(xí)的分割效果來(lái)看,基于深度學(xué)習(xí)的分割方法以其優(yōu)秀的特征提取能力在該領(lǐng)域取得了較好的效果.本文將在后續(xù)章節(jié)重點(diǎn)討論目前流行的深度學(xué)習(xí)病灶檢測(cè)算法.

2 深度學(xué)習(xí)病灶檢測(cè)研究現(xiàn)狀

深度學(xué)習(xí)能夠自動(dòng)從大樣本的數(shù)據(jù)中學(xué)習(xí),從而獲得數(shù)據(jù)中深層次的特征表達(dá),并且具有良好的特征鑒別能力.可以有效地提升各種機(jī)器學(xué)習(xí)任務(wù)的性能,已廣泛應(yīng)用于信號(hào)處理、計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等諸多領(lǐng)域[2].基于深度學(xué)習(xí)的醫(yī)學(xué)影像檢測(cè)和分割領(lǐng)域也呈現(xiàn)出快速發(fā)展趨勢(shì),但是醫(yī)學(xué)圖像存在獲取困難,數(shù)據(jù)量少、圖像標(biāo)記成本高等問(wèn)題,導(dǎo)致醫(yī)學(xué)影像數(shù)據(jù)在深度學(xué)習(xí)的過(guò)程中無(wú)法達(dá)到較好的效果.主要表現(xiàn)在模型泛化性能低、網(wǎng)絡(luò)層數(shù)無(wú)法向深度擴(kuò)展、模型選擇單一等問(wèn)題,嚴(yán)重制約了深度學(xué)習(xí)算法在醫(yī)學(xué)影像檢測(cè)和分割中的發(fā)展.雖然有大量研究者在模型優(yōu)化方面已經(jīng)取得了一定的研究成果,但是還是無(wú)法彌補(bǔ)樣本量少的自身缺陷.為了克服深度學(xué)習(xí)中樣本量對(duì)模型檢測(cè)效果的影響,大量研究者提出了圖像增強(qiáng)方法擴(kuò)充訓(xùn)練樣本集,為數(shù)據(jù)擴(kuò)充提供了新的方法,緩解了影像分析對(duì)數(shù)據(jù)量的需求問(wèn)題.孟琭等[3]提出了基于生成對(duì)抗網(wǎng)絡(luò)的肝臟腫瘤CT圖像擴(kuò)充算法,該方法將肝臟CT原始圖像和肝臟病變標(biāo)記圖像進(jìn)行配對(duì),使用生成對(duì)抗網(wǎng)絡(luò)的pix2pix架構(gòu)[4]生成病變的肝臟圖像,并生成了真實(shí)度較高的仿真圖像.甘嵐等[5]改進(jìn)了DCGAN算法對(duì)小樣本數(shù)據(jù)進(jìn)行了增強(qiáng),在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中加入了譜歸一化,得到了更加穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu),并在3個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),結(jié)果表明無(wú)論在清晰度以及識(shí)別率方面都有了較大提升.陳文兵等提出了一種集成高斯混合模型及條件生成式對(duì)抗網(wǎng)絡(luò)[6],并在天氣形勢(shì)圖基準(zhǔn)數(shù)據(jù)集上進(jìn)行模型驗(yàn)證,相較于未進(jìn)行數(shù)據(jù)增強(qiáng)的模型分類精度得到較大提高.林志鵬等將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于宮頸細(xì)胞圖像數(shù)據(jù)增強(qiáng)中[7],在Herlev宮頸細(xì)胞分類問(wèn)題中取得了較好的分類效果.此外,Han等[8]提出在腦轉(zhuǎn)移瘤MR圖像上進(jìn)行數(shù)據(jù)增強(qiáng),有效地減少假陽(yáng)性數(shù)量,提高了接近10%的的診斷靈敏度.Hu等[9]利用GAN（Generative Adversarial Network）網(wǎng)絡(luò),根據(jù)輸入的MRI圖像生成相應(yīng)的前列腺運(yùn)動(dòng)模型.Chennamsetty提出了一種基于GAN的腦部MRI圖像病變檢測(cè)模型[10].在醫(yī)學(xué)圖像分類[11]、醫(yī)學(xué)圖像合成[12]、病灶分割[13]等方面基于GAN的圖像增強(qiáng)方法的應(yīng)用也較為廣泛.本小結(jié)首先概述了醫(yī)學(xué)CT圖像成像特點(diǎn)以及病灶圖像的特點(diǎn),然后針對(duì)病灶檢測(cè)及分割任務(wù)對(duì)現(xiàn)有方法進(jìn)行了歸類總結(jié),并闡述了樣本量少是當(dāng)前醫(yī)學(xué)影像檢測(cè)和分割的難點(diǎn).本文將從醫(yī)學(xué)病灶檢測(cè)評(píng)價(jià)指標(biāo)、圖像增強(qiáng)方法、現(xiàn)有的病灶檢測(cè)方法等方面進(jìn)行闡述.

3 圖像數(shù)據(jù)增強(qiáng)方法

3.1 傳統(tǒng)圖像數(shù)據(jù)增強(qiáng)方法

數(shù)據(jù)增強(qiáng)是指通過(guò)對(duì)現(xiàn)有數(shù)據(jù)對(duì)象進(jìn)行變換,從而捕獲數(shù)據(jù)特有的模式,進(jìn)而達(dá)到擴(kuò)展數(shù)據(jù)的目的.在傳統(tǒng)圖像處理領(lǐng)域,常常通過(guò)對(duì)圖像的幾何變換進(jìn)行數(shù)據(jù)的擴(kuò)充.常見(jiàn)的數(shù)據(jù)增強(qiáng)方法有PCA（Principal Component Analysis）抖動(dòng)[14]、隨機(jī)裁剪[15]反射變換、翻轉(zhuǎn)變換、縮放變換、平移變換、對(duì)比度變換、噪聲擾動(dòng)、顏色變化等.其中,反射變換是指在現(xiàn)有圖像的基礎(chǔ)上,隨機(jī)旋轉(zhuǎn)圖像一定的角度,表示圖像中內(nèi)容的方向.噪聲擾動(dòng)指給圖像添加一定的椒鹽噪聲或高斯噪聲,使得圖像呈現(xiàn)特有的噪聲模式.常見(jiàn)的數(shù)據(jù)增強(qiáng)效果如圖1所示.

圖1 傳統(tǒng)醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)效果

3.2 基于深度學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法

由于醫(yī)學(xué)圖像有著更高的分辨率、更多的紋理、細(xì)微結(jié)構(gòu)、更強(qiáng)的相關(guān)性、更大的存儲(chǔ)空間以及更寬的灰度范圍[16],而且直接涉及臨床應(yīng)用,因此必須確保醫(yī)學(xué)圖像的可靠性、嚴(yán)謹(jǐn)性和高質(zhì)量.近年來(lái),基于深度學(xué)習(xí)的數(shù)據(jù)擴(kuò)充方法也得到了快速發(fā)展,與傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法比基于深度學(xué)習(xí)的方法生成的樣本數(shù)據(jù)質(zhì)量更高、依托專家經(jīng)驗(yàn)更少,更能代表真實(shí)場(chǎng)景中的樣本對(duì)象.2014年Goodfellow等[17]受博弈模型的啟發(fā)提出生成對(duì)抗網(wǎng)絡(luò)模型,作為一種無(wú)監(jiān)督深度學(xué)習(xí)模型,生成對(duì)抗網(wǎng)絡(luò)模型被廣泛應(yīng)用于圖像合成[18]、數(shù)據(jù)增強(qiáng)[19]、超分辨率[20]等問(wèn)題中.與傳統(tǒng)數(shù)據(jù)增強(qiáng)方法比,GAN網(wǎng)絡(luò)可以擺脫原圖的限制,根據(jù)隨機(jī)噪聲學(xué)習(xí)真實(shí)樣本分布,產(chǎn)生同等質(zhì)量的新樣本數(shù)據(jù).此外,自編碼模型作為一種深度生成式模型,也逐漸地被應(yīng)用到醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)領(lǐng)域.作為無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)方法,嘗試通過(guò)模型學(xué)習(xí)數(shù)據(jù)滿足的特定分布,從而隨機(jī)生成與樣本集分布一致的數(shù)據(jù),該類數(shù)據(jù)可以表達(dá)出原始數(shù)據(jù)更多的模式.目前基于生成式模型的數(shù)據(jù)增強(qiáng)方法有基于深度信念網(wǎng)絡(luò)的（Deep Belief Network,DBN）[21]、變分自編碼器（Variational AutoEncoder,VAE）[22]、基于有向圖模型的赫姆霍茲?rùn)C(jī)[23]、深度玻爾茲曼機(jī)（Deep Boltzmann Machine,DBM）[24]、基于無(wú)向圖模型的受限玻爾茲曼機(jī)[25]、自回歸模型（Auto-Regressive model,AR）[26]以及生成對(duì)抗網(wǎng)絡(luò)等.在醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)中使用較多的是VAE與GAN,VAE雖然可以生成相似的樣本圖像,但是生成的圖像比較模糊.相較于顯示建模方式,隱式建模方法GAN不僅避免了難解的推斷,而且還可以生成高質(zhì)量的圖像[27].具有擬合高維數(shù)據(jù)的能力,在圖像生成方面具有較好的表現(xiàn).

4 基于GAN的醫(yī)學(xué)圖像病灶檢測(cè)算法

醫(yī)學(xué)CT圖像相比于傳統(tǒng)圖像,復(fù)雜度高、灰度范圍大、邊界不清晰,而且CT圖像的拍攝過(guò)程會(huì)對(duì)人體造成較大的電離輻射,所以造成醫(yī)學(xué)CT影像數(shù)據(jù)獲取困難、病灶分割不準(zhǔn)確等問(wèn)題.如果能夠利用數(shù)據(jù)增強(qiáng)方法擴(kuò)充現(xiàn)有醫(yī)學(xué)影像數(shù)據(jù),不僅有效地節(jié)省數(shù)據(jù)標(biāo)注的工作量,而且可以進(jìn)一步提高醫(yī)學(xué)影像分割模型的復(fù)雜度,從而使病灶分割精度能夠進(jìn)一步得到提升.雖然傳統(tǒng)基于圖像的數(shù)據(jù)增強(qiáng)方法能夠擴(kuò)充一定的數(shù)據(jù),但是擴(kuò)充的數(shù)據(jù)還是在原始數(shù)據(jù)自身的基礎(chǔ)上進(jìn)行調(diào)整擴(kuò)充,不能滿足醫(yī)學(xué)數(shù)據(jù)的生物學(xué)變化特征,分割性能提升有限.基于GAN的數(shù)據(jù)增強(qiáng)方法,為醫(yī)學(xué)影像數(shù)據(jù)增強(qiáng)提供了新的解決思路,能夠有效地避免此類問(wèn)題,緩解醫(yī)療智能輔助診斷系統(tǒng)對(duì)數(shù)據(jù)量的應(yīng)用需求.

4.1 GAN模型概述

GAN在深度學(xué)習(xí)框架的基礎(chǔ)上,引入了零和博弈[28]的思想,由一組對(duì)抗性神經(jīng)網(wǎng)絡(luò)構(gòu)成,生成器試圖生成可被判別器誤認(rèn)為真實(shí)樣本的生成樣本,通過(guò)訓(xùn)練使生成器和判別器達(dá)到博弈均衡狀態(tài).與其他深度學(xué)習(xí)模型如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[29]、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）[30]、卷積神經(jīng)網(wǎng)絡(luò)（CNN）[31,32]不同的是,GAN屬于生成式模型,可以根據(jù)當(dāng)前樣本與標(biāo)簽學(xué)習(xí)樣本的聯(lián)合概率分布,擬合與訓(xùn)練樣本分布類似的描述對(duì)象,其本質(zhì)是深度神經(jīng)網(wǎng)絡(luò)組成的非線性函數(shù).GAN模型結(jié)構(gòu)如圖2所示,生成器G從真實(shí)樣本中捕獲數(shù)據(jù)分布映射到某個(gè)新的數(shù)據(jù)空間,輸出的生成數(shù)據(jù)記作G（z）,其分布Pg（z）看上去與原始數(shù)據(jù)集樣本的分布Pr（x）類似.判別器D根據(jù)輸入的真實(shí)數(shù)據(jù)x和生成器生成的數(shù)據(jù)G（z）,判定當(dāng)前輸入的樣本屬于真實(shí)分布的概率,當(dāng)該概率越大,表示屬于真實(shí)數(shù)據(jù)的概率越大,反之則認(rèn)為該輸入是生成的樣本.判別器D將判定結(jié)果再返回給生成器G,使得G生成的數(shù)據(jù)逐漸與真實(shí)數(shù)據(jù)保持一致.當(dāng)模型達(dá)到最優(yōu)的理想狀態(tài)時(shí),判別器D無(wú)法分辨輸入的是真實(shí)數(shù)據(jù)還是生成的數(shù)據(jù),此時(shí)認(rèn)為生成器G已經(jīng)學(xué)到了原始真實(shí)數(shù)據(jù)集的分布,模型已經(jīng)達(dá)到了納什均衡[33].其中,生成器的輸入可以是一個(gè)隨機(jī)變量,一般使用高斯分布的噪聲,通常由100維的隨機(jī)編碼組成[34].生成器主要根據(jù)判別器D的反饋機(jī)制調(diào)節(jié)分布的超參數(shù),使其滿足樣本的真實(shí)分布.

圖2 GAN基本框架圖

GAN在理論上能夠擬合任何分布,而且模型設(shè)計(jì)簡(jiǎn)單,不需要預(yù)先定義復(fù)雜的函數(shù)模型.此外,無(wú)監(jiān)督的訓(xùn)練方式,使模型能夠?qū)W習(xí)數(shù)據(jù)自身分布的特性和內(nèi)在規(guī)律,顛覆了傳統(tǒng)人工智能模型的訓(xùn)練方式.GAN被廣泛應(yīng)用于醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)領(lǐng)域,但是標(biāo)準(zhǔn)GAN模型存在一系列的問(wèn)題,如訓(xùn)練的穩(wěn)定性和收斂性難以保證,容易發(fā)生模型崩塌,無(wú)法保證模型的訓(xùn)練能夠有序進(jìn)行.此外,生成器生成的數(shù)據(jù)缺乏多樣性、模型容易過(guò)擬合等問(wèn)題給GAN的應(yīng)用帶來(lái)了一定的局限性.近年來(lái),許多新的GAN模型的提出和訓(xùn)練技巧的改進(jìn)都是在模型穩(wěn)定性、數(shù)據(jù)多樣性等方面進(jìn)行,進(jìn)而提高數(shù)據(jù)的生成質(zhì)量[35].基于GAN的改進(jìn)模型的提出,也為醫(yī)學(xué)圖像病灶分割提供了新的解決思路.目前在醫(yī)學(xué)領(lǐng)域常見(jiàn)的改進(jìn)模型有基于標(biāo)準(zhǔn)GAN的數(shù)據(jù)增強(qiáng)方法、基于pix2pix架構(gòu)的數(shù)據(jù)增強(qiáng)方法、基于CycleGAN的醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)方法等.模型對(duì)比結(jié)果如表1所示.本文將在后續(xù)章節(jié)進(jìn)一步討論3種模型的原理、優(yōu)缺點(diǎn)及其應(yīng)用場(chǎng)景.

表1 GAN模型比較

4.2 基于標(biāo)準(zhǔn)GAN醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)方法

一般的CNN網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域時(shí)大多采用的是淺層的網(wǎng)絡(luò)結(jié)構(gòu),醫(yī)學(xué)圖像數(shù)據(jù)量的限制導(dǎo)致深度學(xué)習(xí)算法無(wú)法向更復(fù)雜、更深層次探索[36-38].為了更好地解決醫(yī)學(xué)圖像數(shù)據(jù)量少與深度學(xué)習(xí)模型數(shù)據(jù)量需求之間的矛盾,可以借助GAN強(qiáng)大的擬合能力,生成能夠模擬真實(shí)疾病的醫(yī)學(xué)圖像數(shù)據(jù).

基于GAN的圖像生成方法有兩類,一類是基于服從特定分布的隨機(jī)向量生成圖像,一類是圖像到圖像的轉(zhuǎn)換.其中,標(biāo)準(zhǔn)GAN模型屬于基于隨機(jī)向量生成圖像的數(shù)據(jù)增強(qiáng)方法,該方法利用了深度學(xué)習(xí)強(qiáng)大的非線性映射能力,可以將采樣的隨機(jī)向量映射為目標(biāo)域中的圖像.該類方法還包括基于高斯混合模型的條件生成對(duì)抗網(wǎng)絡(luò)[6]、自注意力生成對(duì)抗網(wǎng)絡(luò)（Self-Attention Generative Adversarial Network,SAGAN）[39]、信息最大化生成對(duì)抗網(wǎng)絡(luò)（Info-GAN）[40]等.其中,Maayan等[41]將標(biāo)準(zhǔn)GAN應(yīng)用于醫(yī)學(xué)圖像分類問(wèn)題中,利用GAN生成肝部圖像,并將生成的肝部圖像利用CNN模型進(jìn)行分類,在肝臟囊腫、轉(zhuǎn)移瘤、血管瘤的分類問(wèn)題中,通過(guò)深度卷積GAN生成肝臟病變樣本數(shù)據(jù)的方式,將總的分類準(zhǔn)確度從78.6%提高到了85.7%,敏感性和特異性也在不同程度上得到了較大的提升,取得了更好的分類效果.GAN模型中生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖3.

圖3 GAN模型生成器網(wǎng)絡(luò)結(jié)構(gòu)

4.3 基于pix2pixGAN醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)方法

基于GAN的pix2pix架構(gòu)[4]的生成器部分采用了U-Net網(wǎng)絡(luò)結(jié)構(gòu)[42],利用U-Net的編解碼以及跳躍連接機(jī)制,融合輸出特征以恢復(fù)下采樣中丟失的空間信息,編碼部分主要用來(lái)提高底層的高分辨率細(xì)節(jié),解碼部分提供高層低分辨率語(yǔ)義信息,二者結(jié)合可以有效地提高分割性能.在此基礎(chǔ)上結(jié)合GAN的pix2pix模型,可以有效地降低圖像細(xì)節(jié)的模糊度、減少噪聲對(duì)生成圖像的影響,生成較真實(shí)的醫(yī)學(xué)圖像.孟琭等在pix2pixGAN結(jié)構(gòu)的基礎(chǔ)進(jìn)行了改進(jìn),將白化后的肝臟腫瘤圖像在判別階段進(jìn)行配對(duì)操作.通過(guò)量化對(duì)比,該算法生成的肝臟腫瘤圖像的平均結(jié)構(gòu)相似性達(dá)到了0.9973,平均分支信噪比為64.72 dB.取得了較好的生成效果.pix2pixGAN模型結(jié)構(gòu)如圖4所示.

圖4 pix2pixGAN模型結(jié)構(gòu)圖

4.4 基于CycleGAN的醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)方法

隨著GAN模型的不斷改進(jìn),CycleGAN（Cycle Generative Adversarial Network）逐漸被應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域[43-45].CycleGAN是GAN的一種衍生模型,在標(biāo)準(zhǔn)GAN的基礎(chǔ)上,能夠根據(jù)目標(biāo)域數(shù)據(jù)與源域數(shù)據(jù)的共有特征形成映射關(guān)系,且不要求源域與目標(biāo)域一一對(duì)應(yīng),因此應(yīng)用范圍更加廣泛,在圖像的風(fēng)格遷移和醫(yī)學(xué)圖像處理上有許多的應(yīng)用[46].Hia等基于CycleGAN模型,對(duì)骨盆部位進(jìn)行了CT圖像和MRI圖像之間跨模態(tài)的轉(zhuǎn)換[47].Quan等利用CycleGAN的改進(jìn)模型進(jìn)行MRI圖像重建[48].姚哲維等利用CycleGAN進(jìn)行數(shù)據(jù)增強(qiáng),提高非對(duì)比增強(qiáng)型CT圖像的數(shù)據(jù),有效地解決了對(duì)比增強(qiáng)CT圖像與非對(duì)比型CT圖像在數(shù)量上分布不均衡的問(wèn)題[46].

CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)包含兩個(gè)生成器G和F,以及一個(gè)判別器D.首先將原始數(shù)據(jù)集輸入第1個(gè)生成器G中,將生成的增強(qiáng)圖像輸入到第2個(gè)生成器F中計(jì)算循環(huán)一致性損失,然后將生成圖像輸入到判別器D中,判斷其是否為真實(shí)圖像,計(jì)算對(duì)抗損失.CycleGAN將循環(huán)一致性損失與對(duì)抗損失的加權(quán)和作為模型的損失函數(shù),進(jìn)行模型超參數(shù)的訓(xùn)練.其模型結(jié)構(gòu)圖如圖5所示.

圖5 CycleGAN模型結(jié)構(gòu)圖

5 總結(jié)與展望

目前,基于醫(yī)療影像的輔助診斷技術(shù)正處于快速發(fā)展階段,但是受醫(yī)學(xué)影像數(shù)據(jù)量的制約,使得基于深度學(xué)習(xí)的建模方法無(wú)法向更復(fù)雜的模型進(jìn)行探索.本文從醫(yī)學(xué)CT影像數(shù)據(jù)增強(qiáng)方法出發(fā),概述了醫(yī)療影像病灶圖像的成像特點(diǎn),針對(duì)病灶檢測(cè)及分割任務(wù)對(duì)現(xiàn)有方法進(jìn)行了歸類總結(jié),并闡述了當(dāng)前醫(yī)學(xué)影像檢測(cè)和分割的難點(diǎn).分別從醫(yī)學(xué)病灶檢測(cè)相關(guān)技術(shù)、影像增強(qiáng)方法、基于生成對(duì)抗網(wǎng)絡(luò)的病灶檢測(cè)方法等方面進(jìn)行了總結(jié).最后,針對(duì)醫(yī)學(xué)領(lǐng)域內(nèi)基于深度學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法進(jìn)行了對(duì)比分析.

當(dāng)前基于數(shù)據(jù)增強(qiáng)的醫(yī)學(xué)圖像病灶檢測(cè)主要集中在生成式建模方法,其中生成對(duì)抗網(wǎng)絡(luò)較其他顯式建模方法,避免了難解的推斷問(wèn)題,而且可以生成高質(zhì)量清晰的圖像,具有擬合高維數(shù)據(jù)的能力,被廣泛應(yīng)用于醫(yī)學(xué)影像處理領(lǐng)域.但是,標(biāo)準(zhǔn)生成對(duì)抗網(wǎng)絡(luò)由于其自身的特點(diǎn),無(wú)法保證訓(xùn)練過(guò)程中的穩(wěn)定性和收斂性,而且容易發(fā)生模式崩塌.因此,在模型穩(wěn)定性、數(shù)據(jù)多樣性等方面的改進(jìn)將會(huì)是以后標(biāo)準(zhǔn)生成對(duì)抗網(wǎng)絡(luò)的發(fā)展趨勢(shì).此外,針對(duì)醫(yī)學(xué)病灶的成像特點(diǎn)以及數(shù)據(jù)量的大小構(gòu)造合適的網(wǎng)絡(luò)結(jié)構(gòu),也將是未來(lái)醫(yī)學(xué)病灶檢測(cè)研究的一大趨勢(shì).