馬國祥,嚴(yán)傳波,張志豪,森 干

（新疆醫(yī)科大學(xué) 醫(yī)學(xué)工程技術(shù)學(xué)院,烏魯木齊 830054）

近年來,隨著計算機(jī)技術(shù)和醫(yī)學(xué)影像技術(shù)的發(fā)展,基于醫(yī)學(xué)圖像的計算機(jī)輔助技術(shù)取得了較快的發(fā)展.在人工智能和大數(shù)據(jù)新的時代背景下,醫(yī)學(xué)CT（Computed Tomography）圖像病灶檢測方法也得到了進(jìn)一步的研究.CT圖像利用X射線束對人體可能出現(xiàn)病變的組織進(jìn)行掃描,通過不同體素對X射線束的吸收及衰減系數(shù),形成從黑到白不同灰度的像素,并將這些像素按照矩陣進(jìn)行排列構(gòu)成灰度圖,這些像素灰度值的強弱反映了不同器官和組織對X射線的吸收程度.其中偏黑區(qū)域表示低密度區(qū)域,偏白區(qū)域表示高密度區(qū)域,從而反映正常組織與病變組織的對比差異性.一般的CT圖像都需要進(jìn)行定量分析,放射科醫(yī)師和腫瘤專家通過CT圖像的形狀和紋理初步完成疾病的診斷,為后期的臨床診斷提供了重要的參考依據(jù).近年來,已經(jīng)成為非侵入性診斷最常用的醫(yī)學(xué)成像方式.但是,在臨床中主要依靠人眼實現(xiàn)對CT圖像的分辨與測量,需要專業(yè)醫(yī)師耗費大量的時間和精力,而且需要豐富的解剖學(xué)知識和臨床經(jīng)驗,存在人為主觀性強、測量結(jié)果準(zhǔn)確性差、可再現(xiàn)性差、圖像信息利用率低等問題,常常導(dǎo)致疾病的漏診或誤診.為了能夠提高影像診斷的效率和診斷精度,提高CT影像數(shù)據(jù)的利用率,引入智能圖像處理技術(shù),輔助醫(yī)師進(jìn)行疾病診斷已成為現(xiàn)代醫(yī)學(xué)影像學(xué)發(fā)展的必然趨勢.近年來,隨著CT掃描技術(shù)和影像信息化管理技術(shù)的提高,基于CT圖像的病灶分割技術(shù)已經(jīng)取得了一定的研究成果.但是,一直以來受限于醫(yī)學(xué)圖像獲取困難,數(shù)據(jù)量少、圖像標(biāo)記成本高等問題,導(dǎo)致醫(yī)學(xué)影像數(shù)據(jù)在模型訓(xùn)練過程中無法達(dá)到最好的檢測效果.主要表現(xiàn)在模型泛化性能低、模型復(fù)雜程度受限、模型選擇單一等問題,嚴(yán)重制約了大規(guī)模集成算法在醫(yī)學(xué)影像檢測和分割中的應(yīng)用.

1 相關(guān)技術(shù)

CT圖像病灶檢測的目的是將具有一定特殊含義的醫(yī)學(xué)影像圖片進(jìn)行相關(guān)特征的提取,為病理學(xué)研究和醫(yī)療診斷提供有效的依據(jù)[1].病灶的提取過程不需要人為干涉,整個流程通過計算設(shè)備自動完成,有效地節(jié)省醫(yī)師的診斷時間、提高診斷精度,從而達(dá)到輔助診斷的目的.但是,由于人體組織結(jié)構(gòu)的復(fù)雜性以及個體表現(xiàn)的差異性,使得CT影像表現(xiàn)出較高的復(fù)雜度,而且圖像自身缺乏簡單的線性特征,為基于CT的病灶檢測帶來了一定的困難.此外,醫(yī)學(xué)圖像的分割由于其形狀的變化和邊界的模糊,一直是CT圖像分析中的難題.相較于普通圖像,其復(fù)雜度高,灰度范圍大,邊界不清晰,造成了圖像中人體組織間語義關(guān)系的不明確性.醫(yī)學(xué)影像數(shù)據(jù)獲取較難,數(shù)據(jù)量少,這也為病灶檢測方法的研究帶來了一定困難.目前,在醫(yī)學(xué)圖像病灶分割領(lǐng)域已有較多的學(xué)者提出了自己的解決方案.常見的醫(yī)學(xué)圖像分割算法有:基于閾值的方法、基于聚類的方法、基于區(qū)域劃分的方法、基于圖割的方法、基于活動邊界和水平集的方法以及基于深度學(xué)習(xí)的方法等.

（1）基于閾值的方法需要設(shè)置一個全局的閾值,根據(jù)閾值的大小確定有差異性的不同區(qū)域.該類方法的關(guān)鍵在于閾值的確定,然而醫(yī)學(xué)圖像中不同組織的圖像差異較小,即使遍歷所有取值也無法找到能夠合理分割的閾值.在此基礎(chǔ)上,有人提出了直方圖閾值分割方法,通過捕捉直方圖的一般特征確定區(qū)域的位置.

（2）基于聚類的方法采用無監(jiān)督的方式捕捉樣本密度較高的區(qū)域并歸為一類.但是醫(yī)學(xué)圖像中像素的分布一般滿足高斯分布,如果按照聚類算法的假設(shè),就會將全部像素聚為一類.難以使用空間信息是基于聚類方法的直接缺陷.

（3）基于區(qū)域的方法有種子區(qū)域生長和分水嶺算法.種子區(qū)域生長法的關(guān)鍵在于種子點的選擇、相似性的度量、生長規(guī)則,其中相似性度量最為關(guān)鍵.常用的相似性度量方法有像素值、顏色、紋理等.分水嶺算法把圖像看作是測地學(xué)上的拓?fù)涞孛?圖像中每一點像素的灰度值表示該點的海拔高度,模擬泛洪算法確定區(qū)域的分割邊界.分水嶺算法對微弱的邊緣有很好的響應(yīng),因而常常會導(dǎo)致過分割.

（4）基于活動邊界和水平集的方法需要人工提供初始前景范圍曲線,然后讓范圍曲線在根據(jù)圖像數(shù)據(jù)得到的能量函數(shù)的作用下演化,使其向前景邊緣逐漸逼近,最終找到前景的邊緣,在達(dá)到前景邊緣時能量函數(shù)的取值最小.活動邊界模型直接對范圍曲線進(jìn)行演化,而水平集則根據(jù)圖像數(shù)據(jù)構(gòu)造出三維曲面,通過三維曲面的演化以及取等值線的方式間接實現(xiàn)范圍曲線的演化.前背景的邊緣處一定具有較大的梯度,因此能量函數(shù)最重要的構(gòu)造依據(jù)就是圖像的梯度,僅依靠梯度會陷入局部最優(yōu),一般還會加入曲線的曲率和其它先驗知識.活動邊界模型和水平集方法希望通過曲線和曲面的傳遞作用以及其它先驗突破梯度的局部極大值.

（5）基于深度學(xué)習(xí)的方法:通過對已知的樣本數(shù)據(jù)建立像素及其一定范圍內(nèi)領(lǐng)域的像素到實例或者類別的映射.該類方法利用了深度學(xué)習(xí)強大的非線性擬合能力,并使用大量的樣本數(shù)據(jù)參與訓(xùn)練,通過這種方法建立出來的映射模型具有較高的準(zhǔn)確性.從深度學(xué)習(xí)的分割效果來看,基于深度學(xué)習(xí)的分割方法以其優(yōu)秀的特征提取能力在該領(lǐng)域取得了較好的效果.本文將在后續(xù)章節(jié)重點討論目前流行的深度學(xué)習(xí)病灶檢測算法.

2 深度學(xué)習(xí)病灶檢測研究現(xiàn)狀

深度學(xué)習(xí)能夠自動從大樣本的數(shù)據(jù)中學(xué)習(xí),從而獲得數(shù)據(jù)中深層次的特征表達(dá),并且具有良好的特征鑒別能力.可以有效地提升各種機(jī)器學(xué)習(xí)任務(wù)的性能,已廣泛應(yīng)用于信號處理、計算機(jī)視覺和自然語言處理等諸多領(lǐng)域[2].基于深度學(xué)習(xí)的醫(yī)學(xué)影像檢測和分割領(lǐng)域也呈現(xiàn)出快速發(fā)展趨勢,但是醫(yī)學(xué)圖像存在獲取困難,數(shù)據(jù)量少、圖像標(biāo)記成本高等問題,導(dǎo)致醫(yī)學(xué)影像數(shù)據(jù)在深度學(xué)習(xí)的過程中無法達(dá)到較好的效果.主要表現(xiàn)在模型泛化性能低、網(wǎng)絡(luò)層數(shù)無法向深度擴(kuò)展、模型選擇單一等問題,嚴(yán)重制約了深度學(xué)習(xí)算法在醫(yī)學(xué)影像檢測和分割中的發(fā)展.雖然有大量研究者在模型優(yōu)化方面已經(jīng)取得了一定的研究成果,但是還是無法彌補樣本量少的自身缺陷.為了克服深度學(xué)習(xí)中樣本量對模型檢測效果的影響,大量研究者提出了圖像增強方法擴(kuò)充訓(xùn)練樣本集,為數(shù)據(jù)擴(kuò)充提供了新的方法,緩解了影像分析對數(shù)據(jù)量的需求問題.孟琭等[3]提出了基于生成對抗網(wǎng)絡(luò)的肝臟腫瘤CT圖像擴(kuò)充算法,該方法將肝臟CT原始圖像和肝臟病變標(biāo)記圖像進(jìn)行配對,使用生成對抗網(wǎng)絡(luò)的pix2pix架構(gòu)[4]生成病變的肝臟圖像,并生成了真實度較高的仿真圖像.甘嵐等[5]改進(jìn)了DCGAN算法對小樣本數(shù)據(jù)進(jìn)行了增強,在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中加入了譜歸一化,得到了更加穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu),并在3個數(shù)據(jù)集上進(jìn)行了實驗,結(jié)果表明無論在清晰度以及識別率方面都有了較大提升.陳文兵等提出了一種集成高斯混合模型及條件生成式對抗網(wǎng)絡(luò)[6],并在天氣形勢圖基準(zhǔn)數(shù)據(jù)集上進(jìn)行模型驗證,相較于未進(jìn)行數(shù)據(jù)增強的模型分類精度得到較大提高.林志鵬等將生成對抗網(wǎng)絡(luò)應(yīng)用于宮頸細(xì)胞圖像數(shù)據(jù)增強中[7],在Herlev宮頸細(xì)胞分類問題中取得了較好的分類效果.此外,Han等[8]提出在腦轉(zhuǎn)移瘤MR圖像上進(jìn)行數(shù)據(jù)增強,有效地減少假陽性數(shù)量,提高了接近10%的的診斷靈敏度.Hu等[9]利用GAN（Generative Adversarial Network）網(wǎng)絡(luò),根據(jù)輸入的MRI圖像生成相應(yīng)的前列腺運動模型.Chennamsetty提出了一種基于GAN的腦部MRI圖像病變檢測模型[10].在醫(yī)學(xué)圖像分類[11]、醫(yī)學(xué)圖像合成[12]、病灶分割[13]等方面基于GAN的圖像增強方法的應(yīng)用也較為廣泛.本小結(jié)首先概述了醫(yī)學(xué)CT圖像成像特點以及病灶圖像的特點,然后針對病灶檢測及分割任務(wù)對現(xiàn)有方法進(jìn)行了歸類總結(jié),并闡述了樣本量少是當(dāng)前醫(yī)學(xué)影像檢測和分割的難點.本文將從醫(yī)學(xué)病灶檢測評價指標(biāo)、圖像增強方法、現(xiàn)有的病灶檢測方法等方面進(jìn)行闡述.

3 圖像數(shù)據(jù)增強方法

3.1 傳統(tǒng)圖像數(shù)據(jù)增強方法

數(shù)據(jù)增強是指通過對現(xiàn)有數(shù)據(jù)對象進(jìn)行變換,從而捕獲數(shù)據(jù)特有的模式,進(jìn)而達(dá)到擴(kuò)展數(shù)據(jù)的目的.在傳統(tǒng)圖像處理領(lǐng)域,常常通過對圖像的幾何變換進(jìn)行數(shù)據(jù)的擴(kuò)充.常見的數(shù)據(jù)增強方法有PCA（Principal Component Analysis）抖動[14]、隨機(jī)裁剪[15]反射變換、翻轉(zhuǎn)變換、縮放變換、平移變換、對比度變換、噪聲擾動、顏色變化等.其中,反射變換是指在現(xiàn)有圖像的基礎(chǔ)上,隨機(jī)旋轉(zhuǎn)圖像一定的角度,表示圖像中內(nèi)容的方向.噪聲擾動指給圖像添加一定的椒鹽噪聲或高斯噪聲,使得圖像呈現(xiàn)特有的噪聲模式.常見的數(shù)據(jù)增強效果如圖1所示.

圖1 傳統(tǒng)醫(yī)學(xué)圖像數(shù)據(jù)增強效果

3.2 基于深度學(xué)習(xí)的數(shù)據(jù)增強方法

由于醫(yī)學(xué)圖像有著更高的分辨率、更多的紋理、細(xì)微結(jié)構(gòu)、更強的相關(guān)性、更大的存儲空間以及更寬的灰度范圍[16],而且直接涉及臨床應(yīng)用,因此必須確保醫(yī)學(xué)圖像的可靠性、嚴(yán)謹(jǐn)性和高質(zhì)量.近年來,基于深度學(xué)習(xí)的數(shù)據(jù)擴(kuò)充方法也得到了快速發(fā)展,與傳統(tǒng)的數(shù)據(jù)增強方法比基于深度學(xué)習(xí)的方法生成的樣本數(shù)據(jù)質(zhì)量更高、依托專家經(jīng)驗更少,更能代表真實場景中的樣本對象.2014年Goodfellow等[17]受博弈模型的啟發(fā)提出生成對抗網(wǎng)絡(luò)模型,作為一種無監(jiān)督深度學(xué)習(xí)模型,生成對抗網(wǎng)絡(luò)模型被廣泛應(yīng)用于圖像合成[18]、數(shù)據(jù)增強[19]、超分辨率[20]等問題中.與傳統(tǒng)數(shù)據(jù)增強方法比,GAN網(wǎng)絡(luò)可以擺脫原圖的限制,根據(jù)隨機(jī)噪聲學(xué)習(xí)真實樣本分布,產(chǎn)生同等質(zhì)量的新樣本數(shù)據(jù).此外,自編碼模型作為一種深度生成式模型,也逐漸地被應(yīng)用到醫(yī)學(xué)圖像數(shù)據(jù)增強領(lǐng)域.作為無監(jiān)督數(shù)據(jù)增強方法,嘗試通過模型學(xué)習(xí)數(shù)據(jù)滿足的特定分布,從而隨機(jī)生成與樣本集分布一致的數(shù)據(jù),該類數(shù)據(jù)可以表達(dá)出原始數(shù)據(jù)更多的模式.目前基于生成式模型的數(shù)據(jù)增強方法有基于深度信念網(wǎng)絡(luò)的（Deep Belief Network,DBN）[21]、變分自編碼器（Variational AutoEncoder,VAE）[22]、基于有向圖模型的赫姆霍茲機(jī)[23]、深度玻爾茲曼機(jī)（Deep Boltzmann Machine,DBM）[24]、基于無向圖模型的受限玻爾茲曼機(jī)[25]、自回歸模型（Auto-Regressive model,AR）[26]以及生成對抗網(wǎng)絡(luò)等.在醫(yī)學(xué)圖像數(shù)據(jù)增強中使用較多的是VAE與GAN,VAE雖然可以生成相似的樣本圖像,但是生成的圖像比較模糊.相較于顯示建模方式,隱式建模方法GAN不僅避免了難解的推斷,而且還可以生成高質(zhì)量的圖像[27].具有擬合高維數(shù)據(jù)的能力,在圖像生成方面具有較好的表現(xiàn).

4 基于GAN的醫(yī)學(xué)圖像病灶檢測算法

醫(yī)學(xué)CT圖像相比于傳統(tǒng)圖像,復(fù)雜度高、灰度范圍大、邊界不清晰,而且CT圖像的拍攝過程會對人體造成較大的電離輻射,所以造成醫(yī)學(xué)CT影像數(shù)據(jù)獲取困難、病灶分割不準(zhǔn)確等問題.如果能夠利用數(shù)據(jù)增強方法擴(kuò)充現(xiàn)有醫(yī)學(xué)影像數(shù)據(jù),不僅有效地節(jié)省數(shù)據(jù)標(biāo)注的工作量,而且可以進(jìn)一步提高醫(yī)學(xué)影像分割模型的復(fù)雜度,從而使病灶分割精度能夠進(jìn)一步得到提升.雖然傳統(tǒng)基于圖像的數(shù)據(jù)增強方法能夠擴(kuò)充一定的數(shù)據(jù),但是擴(kuò)充的數(shù)據(jù)還是在原始數(shù)據(jù)自身的基礎(chǔ)上進(jìn)行調(diào)整擴(kuò)充,不能滿足醫(yī)學(xué)數(shù)據(jù)的生物學(xué)變化特征,分割性能提升有限.基于GAN的數(shù)據(jù)增強方法,為醫(yī)學(xué)影像數(shù)據(jù)增強提供了新的解決思路,能夠有效地避免此類問題,緩解醫(yī)療智能輔助診斷系統(tǒng)對數(shù)據(jù)量的應(yīng)用需求.

4.1 GAN模型概述

GAN在深度學(xué)習(xí)框架的基礎(chǔ)上,引入了零和博弈[28]的思想,由一組對抗性神經(jīng)網(wǎng)絡(luò)構(gòu)成,生成器試圖生成可被判別器誤認(rèn)為真實樣本的生成樣本,通過訓(xùn)練使生成器和判別器達(dá)到博弈均衡狀態(tài).與其他深度學(xué)習(xí)模型如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[29]、長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）[30]、卷積神經(jīng)網(wǎng)絡(luò)（CNN）[31,32]不同的是,GAN屬于生成式模型,可以根據(jù)當(dāng)前樣本與標(biāo)簽學(xué)習(xí)樣本的聯(lián)合概率分布,擬合與訓(xùn)練樣本分布類似的描述對象,其本質(zhì)是深度神經(jīng)網(wǎng)絡(luò)組成的非線性函數(shù).GAN模型結(jié)構(gòu)如圖2所示,生成器G從真實樣本中捕獲數(shù)據(jù)分布映射到某個新的數(shù)據(jù)空間,輸出的生成數(shù)據(jù)記作G（z）,其分布Pg（z）看上去與原始數(shù)據(jù)集樣本的分布Pr（x）類似.判別器D根據(jù)輸入的真實數(shù)據(jù)x和生成器生成的數(shù)據(jù)G（z）,判定當(dāng)前輸入的樣本屬于真實分布的概率,當(dāng)該概率越大,表示屬于真實數(shù)據(jù)的概率越大,反之則認(rèn)為該輸入是生成的樣本.判別器D將判定結(jié)果再返回給生成器G,使得G生成的數(shù)據(jù)逐漸與真實數(shù)據(jù)保持一致.當(dāng)模型達(dá)到最優(yōu)的理想狀態(tài)時,判別器D無法分辨輸入的是真實數(shù)據(jù)還是生成的數(shù)據(jù),此時認(rèn)為生成器G已經(jīng)學(xué)到了原始真實數(shù)據(jù)集的分布,模型已經(jīng)達(dá)到了納什均衡[33].其中,生成器的輸入可以是一個隨機(jī)變量,一般使用高斯分布的噪聲,通常由100維的隨機(jī)編碼組成[34].生成器主要根據(jù)判別器D的反饋機(jī)制調(diào)節(jié)分布的超參數(shù),使其滿足樣本的真實分布.

圖2 GAN基本框架圖

GAN在理論上能夠擬合任何分布,而且模型設(shè)計簡單,不需要預(yù)先定義復(fù)雜的函數(shù)模型.此外,無監(jiān)督的訓(xùn)練方式,使模型能夠?qū)W習(xí)數(shù)據(jù)自身分布的特性和內(nèi)在規(guī)律,顛覆了傳統(tǒng)人工智能模型的訓(xùn)練方式.GAN被廣泛應(yīng)用于醫(yī)學(xué)圖像數(shù)據(jù)增強領(lǐng)域,但是標(biāo)準(zhǔn)GAN模型存在一系列的問題,如訓(xùn)練的穩(wěn)定性和收斂性難以保證,容易發(fā)生模型崩塌,無法保證模型的訓(xùn)練能夠有序進(jìn)行.此外,生成器生成的數(shù)據(jù)缺乏多樣性、模型容易過擬合等問題給GAN的應(yīng)用帶來了一定的局限性.近年來,許多新的GAN模型的提出和訓(xùn)練技巧的改進(jìn)都是在模型穩(wěn)定性、數(shù)據(jù)多樣性等方面進(jìn)行,進(jìn)而提高數(shù)據(jù)的生成質(zhì)量[35].基于GAN的改進(jìn)模型的提出,也為醫(yī)學(xué)圖像病灶分割提供了新的解決思路.目前在醫(yī)學(xué)領(lǐng)域常見的改進(jìn)模型有基于標(biāo)準(zhǔn)GAN的數(shù)據(jù)增強方法、基于pix2pix架構(gòu)的數(shù)據(jù)增強方法、基于CycleGAN的醫(yī)學(xué)圖像數(shù)據(jù)增強方法等.模型對比結(jié)果如表1所示.本文將在后續(xù)章節(jié)進(jìn)一步討論3種模型的原理、優(yōu)缺點及其應(yīng)用場景.

表1 GAN模型比較

4.2 基于標(biāo)準(zhǔn)GAN醫(yī)學(xué)圖像數(shù)據(jù)增強方法

一般的CNN網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域時大多采用的是淺層的網(wǎng)絡(luò)結(jié)構(gòu),醫(yī)學(xué)圖像數(shù)據(jù)量的限制導(dǎo)致深度學(xué)習(xí)算法無法向更復(fù)雜、更深層次探索[36-38].為了更好地解決醫(yī)學(xué)圖像數(shù)據(jù)量少與深度學(xué)習(xí)模型數(shù)據(jù)量需求之間的矛盾,可以借助GAN強大的擬合能力,生成能夠模擬真實疾病的醫(yī)學(xué)圖像數(shù)據(jù).

基于GAN的圖像生成方法有兩類,一類是基于服從特定分布的隨機(jī)向量生成圖像,一類是圖像到圖像的轉(zhuǎn)換.其中,標(biāo)準(zhǔn)GAN模型屬于基于隨機(jī)向量生成圖像的數(shù)據(jù)增強方法,該方法利用了深度學(xué)習(xí)強大的非線性映射能力,可以將采樣的隨機(jī)向量映射為目標(biāo)域中的圖像.該類方法還包括基于高斯混合模型的條件生成對抗網(wǎng)絡(luò)[6]、自注意力生成對抗網(wǎng)絡(luò)（Self-Attention Generative Adversarial Network,SAGAN）[39]、信息最大化生成對抗網(wǎng)絡(luò)（Info-GAN）[40]等.其中,Maayan等[41]將標(biāo)準(zhǔn)GAN應(yīng)用于醫(yī)學(xué)圖像分類問題中,利用GAN生成肝部圖像,并將生成的肝部圖像利用CNN模型進(jìn)行分類,在肝臟囊腫、轉(zhuǎn)移瘤、血管瘤的分類問題中,通過深度卷積GAN生成肝臟病變樣本數(shù)據(jù)的方式,將總的分類準(zhǔn)確度從78.6%提高到了85.7%,敏感性和特異性也在不同程度上得到了較大的提升,取得了更好的分類效果.GAN模型中生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖3.

圖3 GAN模型生成器網(wǎng)絡(luò)結(jié)構(gòu)

4.3 基于pix2pixGAN醫(yī)學(xué)圖像數(shù)據(jù)增強方法

基于GAN的pix2pix架構(gòu)[4]的生成器部分采用了U-Net網(wǎng)絡(luò)結(jié)構(gòu)[42],利用U-Net的編解碼以及跳躍連接機(jī)制,融合輸出特征以恢復(fù)下采樣中丟失的空間信息,編碼部分主要用來提高底層的高分辨率細(xì)節(jié),解碼部分提供高層低分辨率語義信息,二者結(jié)合可以有效地提高分割性能.在此基礎(chǔ)上結(jié)合GAN的pix2pix模型,可以有效地降低圖像細(xì)節(jié)的模糊度、減少噪聲對生成圖像的影響,生成較真實的醫(yī)學(xué)圖像.孟琭等在pix2pixGAN結(jié)構(gòu)的基礎(chǔ)進(jìn)行了改進(jìn),將白化后的肝臟腫瘤圖像在判別階段進(jìn)行配對操作.通過量化對比,該算法生成的肝臟腫瘤圖像的平均結(jié)構(gòu)相似性達(dá)到了0.9973,平均分支信噪比為64.72 dB.取得了較好的生成效果.pix2pixGAN模型結(jié)構(gòu)如圖4所示.

圖4 pix2pixGAN模型結(jié)構(gòu)圖

4.4 基于CycleGAN的醫(yī)學(xué)圖像數(shù)據(jù)增強方法

隨著GAN模型的不斷改進(jìn),CycleGAN（Cycle Generative Adversarial Network）逐漸被應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域[43-45].CycleGAN是GAN的一種衍生模型,在標(biāo)準(zhǔn)GAN的基礎(chǔ)上,能夠根據(jù)目標(biāo)域數(shù)據(jù)與源域數(shù)據(jù)的共有特征形成映射關(guān)系,且不要求源域與目標(biāo)域一一對應(yīng),因此應(yīng)用范圍更加廣泛,在圖像的風(fēng)格遷移和醫(yī)學(xué)圖像處理上有許多的應(yīng)用[46].Hia等基于CycleGAN模型,對骨盆部位進(jìn)行了CT圖像和MRI圖像之間跨模態(tài)的轉(zhuǎn)換[47].Quan等利用CycleGAN的改進(jìn)模型進(jìn)行MRI圖像重建[48].姚哲維等利用CycleGAN進(jìn)行數(shù)據(jù)增強,提高非對比增強型CT圖像的數(shù)據(jù),有效地解決了對比增強CT圖像與非對比型CT圖像在數(shù)量上分布不均衡的問題[46].

CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)包含兩個生成器G和F,以及一個判別器D.首先將原始數(shù)據(jù)集輸入第1個生成器G中,將生成的增強圖像輸入到第2個生成器F中計算循環(huán)一致性損失,然后將生成圖像輸入到判別器D中,判斷其是否為真實圖像,計算對抗損失.CycleGAN將循環(huán)一致性損失與對抗損失的加權(quán)和作為模型的損失函數(shù),進(jìn)行模型超參數(shù)的訓(xùn)練.其模型結(jié)構(gòu)圖如圖5所示.

圖5 CycleGAN模型結(jié)構(gòu)圖

5 總結(jié)與展望

目前,基于醫(yī)療影像的輔助診斷技術(shù)正處于快速發(fā)展階段,但是受醫(yī)學(xué)影像數(shù)據(jù)量的制約,使得基于深度學(xué)習(xí)的建模方法無法向更復(fù)雜的模型進(jìn)行探索.本文從醫(yī)學(xué)CT影像數(shù)據(jù)增強方法出發(fā),概述了醫(yī)療影像病灶圖像的成像特點,針對病灶檢測及分割任務(wù)對現(xiàn)有方法進(jìn)行了歸類總結(jié),并闡述了當(dāng)前醫(yī)學(xué)影像檢測和分割的難點.分別從醫(yī)學(xué)病灶檢測相關(guān)技術(shù)、影像增強方法、基于生成對抗網(wǎng)絡(luò)的病灶檢測方法等方面進(jìn)行了總結(jié).最后,針對醫(yī)學(xué)領(lǐng)域內(nèi)基于深度學(xué)習(xí)的數(shù)據(jù)增強方法進(jìn)行了對比分析.

當(dāng)前基于數(shù)據(jù)增強的醫(yī)學(xué)圖像病灶檢測主要集中在生成式建模方法,其中生成對抗網(wǎng)絡(luò)較其他顯式建模方法,避免了難解的推斷問題,而且可以生成高質(zhì)量清晰的圖像,具有擬合高維數(shù)據(jù)的能力,被廣泛應(yīng)用于醫(yī)學(xué)影像處理領(lǐng)域.但是,標(biāo)準(zhǔn)生成對抗網(wǎng)絡(luò)由于其自身的特點,無法保證訓(xùn)練過程中的穩(wěn)定性和收斂性,而且容易發(fā)生模式崩塌.因此,在模型穩(wěn)定性、數(shù)據(jù)多樣性等方面的改進(jìn)將會是以后標(biāo)準(zhǔn)生成對抗網(wǎng)絡(luò)的發(fā)展趨勢.此外,針對醫(yī)學(xué)病灶的成像特點以及數(shù)據(jù)量的大小構(gòu)造合適的網(wǎng)絡(luò)結(jié)構(gòu),也將是未來醫(yī)學(xué)病灶檢測研究的一大趨勢.