于胡飛，溫景熙，辛江，唐艷

中南大學(xué)計(jì)算機(jī)學(xué)院，湖南 長沙 410083

1 引言

在醫(yī)療圖像領(lǐng)域，深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用到疾病的輔助診斷、醫(yī)學(xué)圖像增強(qiáng)[1]和病變檢測以及病理研究中。在腦影像研究中，目前對人腦進(jìn)行研究時(shí)使用的數(shù)據(jù)大部分是由同一型號、同一參數(shù)的機(jī)器采集的。不同型號或參數(shù)產(chǎn)生的機(jī)器噪聲會造成數(shù)據(jù)的分布不一致。然而，來自同一型號、同一參數(shù)的機(jī)器采集的同分布的數(shù)據(jù)往往數(shù)量很少。目前對深度學(xué)習(xí)的研究往往依賴大量的有標(biāo)簽的訓(xùn)練數(shù)據(jù)，當(dāng)來自某一個(gè)域（目標(biāo)域）的有標(biāo)簽訓(xùn)練數(shù)據(jù)量缺乏時(shí)，如何利用已有的大量其他域的有標(biāo)簽醫(yī)療影像的數(shù)據(jù)來提升模型在目標(biāo)域測試數(shù)據(jù)上的泛化能力呢？這就引出了機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要的研究方向——域適應(yīng)。域適應(yīng)旨在研究如何提高機(jī)器學(xué)習(xí)模型在未經(jīng)訓(xùn)練的目標(biāo)域上的泛化能力[2]。在深度學(xué)習(xí)領(lǐng)域，針對域適應(yīng)的研究有很多，在參考文獻(xiàn)[3-4]中，研究人員通過不斷拉近源域和目標(biāo)域數(shù)據(jù)在特征空間上的分布來研究域適應(yīng)學(xué)習(xí)問題。不同于數(shù)據(jù)整合（將多個(gè)域的數(shù)據(jù)處理成一個(gè)源域的數(shù)據(jù)，并把這些數(shù)據(jù)隨機(jī)劃分成訓(xùn)練集和測試集），域適應(yīng)研究的是如何使用大量的其他域的訓(xùn)練數(shù)據(jù)和少量目標(biāo)域的訓(xùn)練數(shù)據(jù)訓(xùn)練出一個(gè)對目標(biāo)域測試數(shù)據(jù)泛化能力良好的模型。生成對抗網(wǎng)絡(luò)的優(yōu)點(diǎn)是它能夠很好地學(xué)習(xí)數(shù)據(jù)的分布，從而很好地提取未經(jīng)訓(xùn)練的數(shù)據(jù)的特征。因此本文的工作使用生成對抗網(wǎng)絡(luò)來研究腦影像的域適應(yīng)問題。

在深度學(xué)習(xí)領(lǐng)域，生成對抗網(wǎng)絡(luò)是一種比較優(yōu)秀的生成模型，它能夠有效地學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布[5]。醫(yī)學(xué)領(lǐng)域的很多研究工作使用了生成對抗網(wǎng)絡(luò)，如對醫(yī)療圖像的分割、分類、檢測和去噪等。醫(yī)學(xué)圖像中病變特征的檢測和形狀識別一直是許多研究人員關(guān)注的重點(diǎn)，生成對抗網(wǎng)絡(luò)也被應(yīng)用到醫(yī)學(xué)圖像的自動分割中[6]。在醫(yī)學(xué)圖像的自動分割中，生成對抗網(wǎng)絡(luò)主要被用于對大腦圖像、眼底圖像和顯微圖像進(jìn)行分割，一般使用殘差網(wǎng)絡(luò)[7]和U-Net[8]作為生成對抗網(wǎng)絡(luò)的生成器，完成對醫(yī)學(xué)圖像的分割。在醫(yī)學(xué)圖像的分類任務(wù)中，生成對抗網(wǎng)絡(luò)仍然是值得研究的技術(shù)之一。參考文獻(xiàn)[9]基于生成對抗網(wǎng)絡(luò)提出了一種半監(jiān)督生成對抗網(wǎng)絡(luò)來對心臟超聲中的有用圖像和非有用圖像進(jìn)行分類，作者通過實(shí)驗(yàn)發(fā)現(xiàn)，基于生成對抗網(wǎng)絡(luò)的分類模型的識別準(zhǔn)確度和穩(wěn)定性都高于普通的卷積神經(jīng)網(wǎng)絡(luò)分類模型。自動編碼器是一種自動學(xué)習(xí)數(shù)據(jù)降維和重要特征提取的技術(shù)，能否將自動編碼器和生成對抗網(wǎng)絡(luò)結(jié)合在一起構(gòu)成一個(gè)強(qiáng)大的特征提取模型，從而有效地學(xué)習(xí)如何提取不同分布的數(shù)據(jù)的重要特征？為此，本文提出了一種基于生成對抗網(wǎng)絡(luò)的分類方法，從提升模型泛化能力的角度研究來自不同域的數(shù)據(jù)分析問題。筆者首先使用3D生成對抗網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行特征提?。ㄗ詣泳幋a器作為生成對抗網(wǎng)絡(luò)的重要組成部分），以達(dá)到降維和捕捉關(guān)鍵性特征的目的；然后構(gòu)建一個(gè)簡單的3D卷積神經(jīng)網(wǎng)絡(luò)對提取到的特征進(jìn)行分類。筆者使用了來自6種不同域的數(shù)據(jù)進(jìn)行研究，將其中5個(gè)域的數(shù)據(jù)全部作為訓(xùn)練集，通過在訓(xùn)練集中逐漸添加另一個(gè)域的小部分?jǐn)?shù)據(jù)來訓(xùn)練模型，并檢測模型在該域的測試集上的泛化能力。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能在一定程度上緩解由某個(gè)域的訓(xùn)練樣本較少導(dǎo)致的模型在該域測試數(shù)據(jù)上表現(xiàn)不佳的問題。

2 基于生成對抗網(wǎng)絡(luò)的分類方法

在研究域適應(yīng)的問題時(shí)，筆者主要用到了生成對抗網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)等技術(shù)。由于不同域的數(shù)據(jù)由不同類型的機(jī)器采集而來，因此各個(gè)域的數(shù)據(jù)會存在一些差異，這將會導(dǎo)致模型在未經(jīng)訓(xùn)練的域或僅有少量數(shù)據(jù)參與訓(xùn)練的域的測試數(shù)據(jù)上表現(xiàn)不佳。為提升模型的泛化能力，本文使用3D生成對抗網(wǎng)絡(luò)來進(jìn)行數(shù)據(jù)的特征提取，然后對提取到的特征做分類研究。本節(jié)將詳細(xì)介紹所用的實(shí)驗(yàn)數(shù)據(jù)以及使用的關(guān)鍵技術(shù)。

2.1 基于生成對抗網(wǎng)絡(luò)的特征提取模型

本文使用3D生成對抗網(wǎng)絡(luò)對圖像進(jìn)行特征提取。生成對抗網(wǎng)絡(luò)是一種基于博弈論的生成式網(wǎng)絡(luò)模型，它主要由兩個(gè)部分構(gòu)成：生成器和判別器。在模型的訓(xùn)練過程中，兩者形成對抗關(guān)系，生成器希望生成盡可能真實(shí)的樣本來欺騙判別器，而判別器希望準(zhǔn)確地區(qū)分生成器生成的虛假樣本和真實(shí)的訓(xùn)練樣本，通過不斷的訓(xùn)練，二者的能力同時(shí)得到提升。最終的結(jié)果是，生成器學(xué)會了生成非常接近真實(shí)訓(xùn)練樣本的虛假樣本，而判別器無法區(qū)分真實(shí)的樣本和生成器生成的虛假樣本。

本文使用3D卷積自編碼器作為生成對抗網(wǎng)絡(luò)的生成器，生成器的輸入為預(yù)處理好的腦圖。首先，對腦圖做卷積和池化，得到一組關(guān)鍵特征，該過程被稱為編碼；然后對關(guān)鍵特征進(jìn)行上采樣操作，該過程被稱為解碼。自編碼器是一種神經(jīng)網(wǎng)絡(luò)模型，可以對數(shù)據(jù)進(jìn)行降維和關(guān)鍵特征提取。生成對抗網(wǎng)絡(luò)的判別器是一個(gè)3D卷積神經(jīng)網(wǎng)絡(luò)。生成對抗網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖1所示。其中，生成器的結(jié)構(gòu)為一個(gè)3D卷積自編碼器，包含編碼層和解碼層，編碼層由4個(gè)卷積層、激活層以及池化層組成；解碼層由4個(gè)卷積層、激活層和上采樣組成。生成器的輸入是一個(gè)大小為128×128×128的三維腦圖，經(jīng)過編碼層之后得到一個(gè)256×8×8×8的隱編碼（用作分類），然后解碼層將隱編碼還原成128×128×128的三維腦圖。判別器的輸入同樣是128×128×128的三維腦圖，當(dāng)給定的輸入是真實(shí)的腦圖時(shí)，判別器將輸出一個(gè)接近1的實(shí)數(shù)，表示輸入是真實(shí)的；反之，當(dāng)給定的輸入是由生成器生成的128×128×128的三維腦圖時(shí)，判別器將輸出一個(gè)接近0的數(shù)，表示該輸入的真實(shí)程度接近0，即輸入是虛假的。通過不斷的訓(xùn)練，生成器具備了生成與真實(shí)樣本十分接近的虛假樣本的能力，這說明通過隱編碼能較好地還原出真實(shí)樣本，即提取到的隱編碼能很好地表示整個(gè)腦圖的特征（生成對抗網(wǎng)絡(luò)中使用的卷積層的卷積核大小均為3×3×3，步長為1，池化層使用的是2×2×2的3D池化）。判別器的本質(zhì)是一個(gè)分類模型，其被用來區(qū)分生成器生成的樣本和真實(shí)的訓(xùn)練樣本。判別器由4個(gè)3D卷積層、激活層、池化層以及一個(gè)全連接層組成，卷積核大小均為3×3×3，步長為1，池化層使用的是2×2×2的3D池化，網(wǎng)絡(luò)的輸出是一個(gè)單一的神經(jīng)元，用來輸出給定樣本是真實(shí)樣本的概率。

在訓(xùn)練生成對抗網(wǎng)絡(luò)時(shí)，筆者使用的損失函數(shù)由兩部分構(gòu)成：度量生成腦圖與真實(shí)腦圖之間差異的L2損失函數(shù)、構(gòu)成生成器與判別器對抗訓(xùn)練的對抗損失函數(shù)。L2損失函數(shù)的表達(dá)式為：

其中，H、W、C分別表示腦圖的3個(gè)維度，在這里均為128；i、j、k分別表示3個(gè)維度的索引，I和O分別表示輸入的真實(shí)腦圖和生成器輸出的虛假腦圖。該式被用于計(jì)算生成器輸入的真實(shí)腦圖和輸出的虛假腦圖之間的差距。對抗損失的損失函數(shù)為：

其中，E表示求均值操作，D、G分別表示判別器和生成器，pI、pO分別表示真實(shí)樣本的分布和虛假樣本的分布。在訓(xùn)練的過程中，希望能盡可能地區(qū)分出真實(shí)樣本和虛假樣本，因此對于判別器而言，它希望對抗損失越大越好；而生成器則希望能盡可能地生成逼真的虛假樣本來騙過判別器，因此它希望對抗損失越小越好。這樣在訓(xùn)練的過程中，二者的能力同時(shí)得到提升。因此生成對抗網(wǎng)絡(luò)部分的總損失函數(shù)為：

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型

通過生成對抗網(wǎng)絡(luò)得到關(guān)鍵特征之后就可以使用3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行基于特征的分類實(shí)驗(yàn)。在網(wǎng)絡(luò)的訓(xùn)練部分，將第3.1節(jié)中的COBRE、Beijing Enhance以及SLIM等5個(gè)域的數(shù)據(jù)作為基本的訓(xùn)練數(shù)據(jù)，使用Cam-CAN數(shù)據(jù)集驗(yàn)證模型的泛化能力，通過不斷向基本的訓(xùn)練數(shù)據(jù)中增加少量Cam-CAN訓(xùn)練數(shù)據(jù)來測試模型對僅有少量樣本參與訓(xùn)練的域上的識別準(zhǔn)確度?；诰矸e神經(jīng)網(wǎng)絡(luò)的分類模型的整體架構(gòu)如圖2所示。模型的輸入是由生成對抗網(wǎng)絡(luò)的生成器提取到的特征，經(jīng)過兩層卷積層和池化層得到一個(gè)256×2×2×2的特征圖，然后將該特征圖鋪平成一個(gè)一維的長度為2 048的向量，之后在該一維向量后添加3個(gè)全連接層，得到分類的輸出結(jié)果。圖2中前兩個(gè)卷積層和池化層各包含一個(gè)3D卷積層、Rule激活層[10]、隨機(jī)失活（dropout）層、批量歸一化（batchnormalization，BN）層[11]以及池化層，卷積層的卷積核均為3×3×3，步長為1，池化層使用的是2×2×2的3D池化。前兩個(gè)全連接層包含PRelu激活層[12]、dropout層和BN層。最后一層全連接層后是一個(gè)神經(jīng)元，使用Sigmoid激活函數(shù)將該神經(jīng)元的輸出映射到0～1。

3 模型分類結(jié)果及分析

本節(jié)介紹用到的實(shí)驗(yàn)數(shù)據(jù)、模型的基本訓(xùn)練過程，并展示幾組對比試驗(yàn)結(jié)果。本文所用的數(shù)據(jù)為男女腦影像圖。生成對抗網(wǎng)絡(luò)以及3D卷積神經(jīng)網(wǎng)絡(luò)均使用Keras深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。在訓(xùn)練過程中，生成對抗網(wǎng)絡(luò)使用Adam優(yōu)化器[13]，將學(xué)習(xí)率設(shè)置為0.000 11；3D卷積神經(jīng)網(wǎng)絡(luò)也使用Adam優(yōu)化器，學(xué)習(xí)率為0.000 1，整個(gè)訓(xùn)練過程中所有dropout層的值都被設(shè)置為0.45。為驗(yàn)證模型的有效性，筆者進(jìn)行了幾組對比實(shí)驗(yàn)，結(jié)果表明，基于本文提出的方法的模型能在一定程度上緩解由某個(gè)域參與訓(xùn)練樣本較少導(dǎo)致的模型在該域的測試數(shù)據(jù)上表現(xiàn)不佳的問題。

3.1 實(shí)驗(yàn)數(shù)據(jù)

筆者使用了男女腦影像圖來驗(yàn)證模型的有效性。本文共收集了來自6個(gè)不同域的2 240個(gè)數(shù)據(jù)，所用的數(shù)據(jù)集均為健康的男性和女性腦影像。6種數(shù)據(jù)集分別來自于COBRE（118男/40女）[14]、Beijing Enhance（71男/105女）、Cam-CAN（184男/191女）[15]、SLIM（230男/297女）[16]、HCP（437男/453女）[17]以及PPMI（60男/54女）[18]。6個(gè)域的數(shù)據(jù)均為彌散張量圖像（diffusion tensor imaging，DTI）類型數(shù)據(jù)，筆者使用功能磁共振成像軟件庫（FMRIB’s software library，F(xiàn)SL）[19]進(jìn)行DTI數(shù)據(jù)的預(yù)處理工作，包括B0圖像提取、渦流校正等，并獲取每個(gè)樣本的部分各向異性（fractional anisotropy，F(xiàn)A）圖，最后通過插值方式將每個(gè)樣本的FA圖的大小統(tǒng)一為128×128×128。在實(shí)驗(yàn)中，筆者進(jìn)行了嚴(yán)格控制，使測試數(shù)據(jù)的正負(fù)樣本比例大致相同。在測試樣本為偶數(shù)時(shí)，保證正負(fù)樣本數(shù)量相同；在測試樣本為奇數(shù)時(shí)，保證正負(fù)樣本數(shù)量相差1。

3.2 目標(biāo)域中參與訓(xùn)練的數(shù)據(jù)量變化時(shí)的模型分類結(jié)果

在實(shí)驗(yàn)中，筆者將COBRE、Beijing Enhance以及SLIM等5個(gè)域的數(shù)據(jù)作為基本的訓(xùn)練數(shù)據(jù)，使用Cam-CAN數(shù)據(jù)集驗(yàn)證模型的泛化能力，通過不斷向基本的訓(xùn)練數(shù)據(jù)中增加少量Cam-CAN訓(xùn)練數(shù)據(jù)來測試模型對僅有少量樣本的數(shù)據(jù)集的識別準(zhǔn)確度。在本實(shí)驗(yàn)中，筆者首先使用5個(gè)基本的數(shù)據(jù)集來訓(xùn)練生成對抗網(wǎng)絡(luò)，由于筆者將生成對抗網(wǎng)絡(luò)的生成器設(shè)計(jì)為自編碼器形式，因此生成器可以作為特征提取器提取經(jīng)過預(yù)處理之后的數(shù)據(jù)特征。在本實(shí)驗(yàn)的分類任務(wù)中，筆者固定Cam-CAN的測試數(shù)據(jù)集為55個(gè)（男性28個(gè)，女性27個(gè)），基訓(xùn)練集為另外5個(gè)數(shù)據(jù)域的所有數(shù)據(jù)（共1 865個(gè)），通過不斷地向基訓(xùn)練數(shù)據(jù)集中加入少量的Cam-CAN訓(xùn)練數(shù)據(jù)來觀察分類模型的性能，并將基于卷積神經(jīng)網(wǎng)絡(luò)的直接分類方法和基于自動編碼器的分類方法作為對照實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3所示。對照組中的基于自動編碼器的分類方法的模型與圖2所示的分類模型相同；基于卷積神經(jīng)網(wǎng)絡(luò)的直接分類方法的模型結(jié)構(gòu)比圖2所示的分類模型多了一層卷積層和池化層，其輸入數(shù)據(jù)為128×128×128的FA矩陣。從圖3可以看出，基于生成對抗網(wǎng)絡(luò)的分類方法在僅有少量的Cam-CAN數(shù)據(jù)參與訓(xùn)練時(shí)的分類準(zhǔn)確度是高于其他兩種分類方法的。這得益于生成對抗網(wǎng)絡(luò)的本質(zhì)優(yōu)點(diǎn)——能有效學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布，即能夠通過對抗訓(xùn)練擬合訓(xùn)練數(shù)據(jù)的分布，從而生成與訓(xùn)練數(shù)據(jù)類似的生成樣本，而結(jié)合了自動編碼器之后的生成對抗網(wǎng)絡(luò)可以有效地提取未經(jīng)過訓(xùn)練的數(shù)據(jù)的重要特征，利用這些特征構(gòu)建出來的分類模型有很好的分類性能。從Cam-CAN測試集準(zhǔn)確度曲線變化可以看出，隨著添加的訓(xùn)練樣本越來越多，測試集的準(zhǔn)確度大致呈現(xiàn)上升趨勢，且當(dāng)參與訓(xùn)練的Cam-CAN域的數(shù)據(jù)量在83以上時(shí)，基于生成對抗網(wǎng)絡(luò)的分類方法得到的測試集準(zhǔn)確度均在0.82以上，當(dāng)參與訓(xùn)練的數(shù)據(jù)樣本數(shù)為193時(shí)，基于生成對抗網(wǎng)絡(luò)的分類方法的測試集準(zhǔn)確度為0.857。

3.3 目標(biāo)域少量數(shù)據(jù)參與訓(xùn)練和測試時(shí)的模型分類結(jié)果

由于醫(yī)學(xué)領(lǐng)域精準(zhǔn)的有標(biāo)簽數(shù)據(jù)往往需要由有臨床經(jīng)驗(yàn)的醫(yī)生來標(biāo)注，這就導(dǎo)致可用的有標(biāo)簽數(shù)據(jù)特別少。因此在本實(shí)驗(yàn)中筆者重點(diǎn)在少量數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，將少量的Cam-CAN域的數(shù)據(jù)加入訓(xùn)練集，并使Cam-CAN域的測試集的數(shù)量與該域參與訓(xùn)練的訓(xùn)練集的數(shù)量相等。實(shí)驗(yàn)中選取的男女樣本數(shù)據(jù)比例均約等于1∶1，實(shí)驗(yàn)結(jié)果如圖4所示。在本實(shí)驗(yàn)中，筆者共做了7組實(shí)驗(yàn)，參與訓(xùn)練的Cam-CAN域的數(shù)據(jù)從20個(gè)增加到50個(gè)，增加幅度為5，并且設(shè)置Cam-CAN域的測試樣本數(shù)量與其參與訓(xùn)練的樣本數(shù)量相同，即測試樣本數(shù)據(jù)也從20個(gè)增加到50個(gè)。從圖4中可以看出，基于生成對抗網(wǎng)絡(luò)的分類方法在測試集上的準(zhǔn)確度要高于普通的神經(jīng)網(wǎng)絡(luò)分類方法。

3.4 傳統(tǒng)機(jī)器學(xué)習(xí)方法的分類結(jié)果

在本實(shí)驗(yàn)中，筆者使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法對Cam-CAN數(shù)據(jù)進(jìn)行分類實(shí)驗(yàn)，320個(gè)Cam-CAN數(shù)據(jù)用來訓(xùn)練，55個(gè)數(shù)據(jù)用來測試。分別使用了支持向量機(jī)（support vector machine，SVM）、決策樹、隨機(jī)森林（random forst，RF）、樸素貝葉斯、梯度提升樹（gradient boost decision tree，GBDT）、自適應(yīng)提升樹（adaptive boosting tree，Adaboost）以及K-最近鄰（K-nearest neighbor，KNN）分類7種方法進(jìn)行了實(shí)驗(yàn)，結(jié)果如圖5所示，縱坐標(biāo)表示模型在測試集上的分類準(zhǔn)確度。從圖5可以看出，如果使用傳統(tǒng)的方法對Cam-CAN域的數(shù)據(jù)進(jìn)行分類實(shí)驗(yàn)，即使使用大量的訓(xùn)練數(shù)據(jù)，測試集上的分類準(zhǔn)確度也均在0.8以下。而從圖2和圖3可以看出，使用生成對抗網(wǎng)絡(luò)的方法在僅有少量數(shù)據(jù)參與訓(xùn)練的情況下分類準(zhǔn)確度就可以高于0.8。

3.5 分類模型綜合性能評估

在前面的實(shí)驗(yàn)中，筆者將分類準(zhǔn)確度（分類正確的樣本數(shù)量/總測試樣本的數(shù)量）作為分類模型評估指標(biāo)，由于測試集中男女腦影像比例均衡，分類準(zhǔn)確度能較好地反映分類模型的性能。為進(jìn)一步分析模型的綜合性能，筆者使用受試者工作特征曲線（receiver operating characteristic curve，ROC）、召回率（recall）、精確率（precision）和F1-Score來度量本文提出的基于生成對抗網(wǎng)絡(luò)的分類方法的性能，對照實(shí)驗(yàn)為基于自動編碼器的分類方法和基于梯度提升樹的分類方法的分類性能。在本實(shí)驗(yàn)中，筆者將193個(gè)Cam-CAN的數(shù)據(jù)加入基訓(xùn)練集中，使用55個(gè)樣本（男性28個(gè)，女性27個(gè)）進(jìn)行測試，得到的ROC如圖6所示，ROC下的面積（area under curve，AUC）越大，說明模型的性能越好。從圖6可以看出，基于生成對抗網(wǎng)絡(luò)的分類方法ROC下的面積大于基于GBDT的分類方法和基于自動編碼器的分類方法的面積。圖7表示的是3個(gè)模型的召回率、精確率和F1-Score值。從圖7可以看出，基于生成對抗網(wǎng)絡(luò)的分類方法的召回率大于基于自動編碼器的分類方法的召回率，與基于GBDT的分類方法的召回率基本持平，但在精確率和F1-Score上都高于兩個(gè)對照組的模型。

4 結(jié)束語

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺和圖像處理領(lǐng)域的不斷深入，越來越多的醫(yī)學(xué)研究人員把深度學(xué)習(xí)技術(shù)用到了醫(yī)療影像的研究中[20]，如使用深度卷積神經(jīng)網(wǎng)絡(luò)對視網(wǎng)膜病變的識別研究[21-22]、肺炎病變區(qū)檢測的輔助診斷[23]等。然而在醫(yī)學(xué)領(lǐng)域精準(zhǔn)的、有標(biāo)簽且來自同一個(gè)域的數(shù)據(jù)通常較少，在研究過程中往往需要將不同域的數(shù)據(jù)整合在一起進(jìn)行研究。這樣可以有效解決數(shù)據(jù)量不足的問題，但是另一個(gè)隨之而來的問題是當(dāng)其中一個(gè)域的訓(xùn)練樣本較少時(shí)，模型在該域的測試集上的識別結(jié)果將會產(chǎn)生很大的誤差。這是因?yàn)椴煌驍?shù)據(jù)的采集機(jī)器不同，使得各個(gè)域上的數(shù)據(jù)有所不同，從而導(dǎo)致深度學(xué)習(xí)模型在參與訓(xùn)練樣本較少的域上泛化能力不足。本文提出了一種基于生成對抗網(wǎng)絡(luò)的分類方法來進(jìn)行多域數(shù)據(jù)融合研究，在一定程度上緩解了上述問題。在本文提出的方法中，筆者首先使用生成對抗網(wǎng)絡(luò)來學(xué)習(xí)如何提取數(shù)據(jù)的關(guān)鍵特征，然后再構(gòu)建一個(gè)分類神經(jīng)網(wǎng)絡(luò)，基于提取到的關(guān)鍵特征進(jìn)行分類，雖然增加了一個(gè)生成對抗網(wǎng)絡(luò)的訓(xùn)練步驟，但是在第3節(jié)的實(shí)驗(yàn)中，通過實(shí)驗(yàn)證明了該方法在多域數(shù)據(jù)融合問題研究上的有效性。

然而，本文提出的方法雖然在一定程度上緩解了由某個(gè)域參與訓(xùn)練樣本較少產(chǎn)生的模型在該域上泛化能力下降的問題，但是當(dāng)該域完全沒有數(shù)據(jù)參與到訓(xùn)練過程中時(shí)，分類模型的分類準(zhǔn)確度依然有待提升。如何使基于深度學(xué)習(xí)或者機(jī)器學(xué)習(xí)的醫(yī)療輔助診斷模型能夠適應(yīng)來自與訓(xùn)練數(shù)據(jù)完全不同分布的其他域的數(shù)據(jù)，找到更加有效的醫(yī)學(xué)域適應(yīng)算法是今后值得關(guān)注的研究方向之一。