李卓遠，徐國豪，王峻晨，王賽碩，王傳濤，翟吉良

1北京建筑大學機電與車輛工程學院，北京 102616 2中國醫(yī)學科學院北京協(xié)和醫(yī)院骨科，北京 100730

多模態(tài)醫(yī)學影像是采用不同的醫(yī)學成像技術(shù)[包括X線、CT、MRI、正電子發(fā)射斷層顯像(positron emission computed tomography，PET)等]獲取影像學數(shù)據(jù)，臨床醫(yī)生可通過綜合分析不同的影像信息明確患者的診斷[1]。例如，腫瘤科醫(yī)生可通過CT、MRI和PET/CT等評估腫瘤的部位、大小、形態(tài)、浸潤深度及其與周圍組織的關(guān)系。然而，由于存在醫(yī)療設(shè)備資源短缺及診療時間受限等問題，醫(yī)生一般無法在短時間內(nèi)獲得所需的多模態(tài)影像信息[2]。而跨模態(tài)醫(yī)學影像重建技術(shù)能夠生成臨床所需的多模態(tài)醫(yī)學影像，輔助醫(yī)生對疾病進行精準診療，具體流程見圖1。其中，傳統(tǒng)跨模態(tài)醫(yī)學影像重建技術(shù)主要包括基于圖集、稀疏編碼和傳統(tǒng)機器學習的方法，但其耗時、耗力、穩(wěn)定性及通用性較差[3-7]。近年來，自編碼器(auto encoder，AE)[8]、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[9-10]及生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)[11]等新技術(shù)陸續(xù)產(chǎn)生。其中，AE在編碼-解碼的過程中可能造成信息丟失，導致重建影像質(zhì)量較差，CNN對圖像中的噪聲和偽影較為敏感，影響重建的準確性和穩(wěn)定性。而GAN可重建出臨床所需的高質(zhì)量多模態(tài)醫(yī)學影像，最大程度地節(jié)約醫(yī)療設(shè)備資源并加快就診速度。本文就GAN在X線、CT、MRI、PET等多模態(tài)影像之間的跨模態(tài)重建應用研究作一綜述，以期為開發(fā)更先進的跨模態(tài)重建技術(shù)提供借鑒。

圖1 跨模態(tài)醫(yī)學影像重建流程圖

1 GAN模型

GAN模型是一種生成模型，由Goodfellow等[11]于2014年首次提出，引起了學術(shù)界和工業(yè)界的廣泛關(guān)注。GAN包含生成器和判別器2個基礎(chǔ)網(wǎng)絡(luò)，見圖2。其中，生成器(下文簡稱“G”)的目標是生成與真實數(shù)據(jù)類似的假數(shù)據(jù)，判別器(下文簡稱“D”)的目標則是最大程度地區(qū)分真實數(shù)據(jù)和假數(shù)據(jù)[12]。GAN采用對抗訓練策略，即當G生成的假數(shù)據(jù)越來越真時，D為保持準確性，必須向判別能力越來越強的方向迭代；當D越來越強大時，G為了降低D的準確性，必須生成越來越真的數(shù)據(jù)。兩者在博弈過程中不斷迭代，共同進化[13]。

圖2 生成對抗網(wǎng)絡(luò)示意圖

現(xiàn)有GAN模型通過學習源模態(tài)至目標模態(tài)的全局樣本空間映射，已被廣泛用于跨模態(tài)醫(yī)學影像重建[14]。由于采用對抗訓練策略，GAN對影像的細節(jié)具有更好的生成性能[15]。與其他生成模型相比，GAN具有從訓練數(shù)據(jù)中學習原始數(shù)據(jù)分布和生成高分辨率圖像的能力[16]。近年來，隨著計算能力的提升及大規(guī)模數(shù)據(jù)集可用性的提高，GAN在理論與模型應用方面得以飛速發(fā)展，并被廣泛用于醫(yī)療領(lǐng)域，協(xié)助醫(yī)生進行術(shù)前規(guī)劃、術(shù)中植入物位置評估和術(shù)后評估。

2 GAN在X線與CT之間的跨模態(tài)重建應用

目前，GAN在X線與CT之間的跨模態(tài)重建應用研究主要基于X線影像重建生成CT影像或還原出器官的3D結(jié)構(gòu)，并用于手術(shù)導航等領(lǐng)域[17-18]。Ying等[19]提出X2CT-GAN網(wǎng)絡(luò)，將雙平面X線影像重建生成CT影像，并在公開的胸部CT數(shù)據(jù)集上驗證其有效性，通過使用數(shù)字圖像重建技術(shù)(digitally reconstructed radiograph，DRR)生成模擬X線，用以訓練網(wǎng)絡(luò)，重建生成的肺部CT影像表面結(jié)構(gòu)清晰合理，但小解剖結(jié)構(gòu)仍存在偽影。Yang等[20]對X2CT-GAN網(wǎng)絡(luò)加以改進，提出2D to 3D GAN網(wǎng)絡(luò)，結(jié)合放射科醫(yī)生的經(jīng)驗調(diào)整輸入信號，使用不同骨骼信號、不同大小的脊柱數(shù)據(jù)集比較重建效果，采用ResNet代替DenseNet進行特征提取，需要的顯存更小，訓練時間更短。使用基于圖形處理器(graphic processing unit，GPU)的層析迭代工具(tomographic iterative GPU-based reconstruction toolbox，TIGRE)的反投影合成X線訓練網(wǎng)絡(luò)，可提供更多植入物細節(jié)信息，提示GAN在脊柱2D/3D影像配準方面具有臨床應用潛力。

雙平面(前后位和側(cè)位)X線中包含互補信息，二者結(jié)合更有利于CT重建，但在特殊情況下雙平面影像獲取受限，只有單平面X線影像可用。Schock等[21]在X2CT-GAN的基礎(chǔ)上，僅使用單個前后位X線影像進行CT重建，但涉及腫瘤影像時，重建的影像結(jié)構(gòu)不完整。醫(yī)學影像中的結(jié)構(gòu)和組織存在廣泛的空間關(guān)聯(lián)，關(guān)鍵信息可能分布在不同區(qū)域，Sinha等[22]提出基于引導注意力機制的生成對抗網(wǎng)絡(luò)(guided attention generative adversarial network，GA-GAN)，在生成器中引入空間和通道的注意力模塊以提高重建的CT影像質(zhì)量，可根據(jù)不同尺度的特征重要性進行加權(quán)，更好地處理醫(yī)學影像尺度變化(表1)。

使用GAN實現(xiàn)X線影像到CT影像的跨模態(tài)重建具有臨床應用前景，重建得到的CT影像可輔助醫(yī)生判斷空間結(jié)構(gòu)，可應用于髖關(guān)節(jié)假體置換術(shù)的規(guī)劃、測量器官(如肺、心臟)大小、檢測器官位置以及制訂放療計劃。目前，GAN模型雖可成功重建出高質(zhì)量醫(yī)學影像，但在處理細微結(jié)構(gòu)和紋理方面仍有所欠缺，在處理細節(jié)時常出現(xiàn)模糊、不真實或缺失的情況。

3 GAN在CT與MRI之間的跨模態(tài)重建應用

基于CT影像重建MRI影像，可解決特殊患者MRI檢查的難題，如接受人工關(guān)節(jié)置換的患者、心臟起搏器患者[23]。Jiang等[24]設(shè)計一種腫瘤感知的無監(jiān)督跨域適應方法，引入針對腫瘤的特異性感知損失，可更好地保留腫瘤信息。Jin等[25]結(jié)合雙循環(huán)一致?lián)p失和體素損失提出MR-GAN網(wǎng)絡(luò)，可實現(xiàn)將腦CT影像重建生成腦MRI影像。

基于MRI影像重建CT影像，已廣泛用于制定癌癥放療計劃，可獲得與實際CT影像相似的組織密度信息，更準確地計算輻射劑量。Maspero等[26]使用骨盆MRI影像訓練pix2pix網(wǎng)絡(luò)重建CT影像，有助于前列腺癌患者的劑量計算。王蕾等[27]結(jié)合GAN模型和U-Net模型建立鼻咽癌MRI影像與CT影像的映射模型，在MRI影像引導的放療過程中重建CT影像。Abu-Srhan等[28]提出無監(jiān)督注意力引導生成對抗網(wǎng)絡(luò)(unsupervised attention guided generative adversarial network，UagGAN)，實現(xiàn)了MRI影像與CT影像之間的雙向轉(zhuǎn)換，可應用于輔助診斷、手術(shù)規(guī)劃和導航等方面。

不同模態(tài)影像之間的配對結(jié)果影響重建影像的生成質(zhì)量，且獲取配對準確的CT影像和MRI影像較為困難。為此，循環(huán)生成對抗網(wǎng)絡(luò)(cycle-consistent generative adversarial networks，Cycle GAN)被提出，如圖3所示，Cycle GAN可學習源影像與目標影像之間的映射關(guān)系，影像配對結(jié)果不影響其訓練過程，實現(xiàn)未配對的不同模態(tài)影像間的相互轉(zhuǎn)換[29]。吳香奕等[30]利用Cycle GAN實現(xiàn)盆腔部位的未配對MRI影像與CT影像之間的相互轉(zhuǎn)換，重建得到的盆腔CT影像符合臨床劑量精度要求。Cycle GAN技術(shù)可在腦、心臟和盆腔等部位實現(xiàn)不同模態(tài)影像之間的轉(zhuǎn)換，為醫(yī)學影像研究及醫(yī)療實踐提供了新思路。

圖3 循環(huán)生成對抗網(wǎng)絡(luò)示意圖

但Cycle GAN也會生成一些不可靠的結(jié)果，導致誤診。為此，研究者對Cycle GAN進行了諸多改進，Zhang等[31]將形狀一致性損失融入到Cycle GAN中，實現(xiàn)了心血管CT影像和MRI影像之間的相互轉(zhuǎn)換，解決了配對跨模態(tài)心臟數(shù)據(jù)獲取難題。Lei等[32]使用密集模塊構(gòu)建Cycle GAN生成器，可在較短時間內(nèi)重建高質(zhì)量CT影像，為后續(xù)實時MRI治療提供了依據(jù)。Yang等[33]提出一種無監(jiān)督MRI-CT合成的結(jié)構(gòu)約束Cycle GAN，可應用于未配對的腦腹部MRI-CT影像重建。Liu等[34]基于3D Cycle GAN架構(gòu)，新增密集模塊和新型復合損失函數(shù)，使用腹部MRI影像重建CT影像。Wang等[35]將改進的可變形卷積塊集成到網(wǎng)絡(luò)架構(gòu)中，并提出新型周期一致性損失和圖像對齊損失，在多序列腦部MRI數(shù)據(jù)和多模態(tài)腹部MRI數(shù)據(jù)中證明了該方法的有效性，解決了源數(shù)據(jù)與目標數(shù)據(jù)對齊的難題。

使用Cycle GAN實現(xiàn)CT影像與MRI影像的跨模態(tài)重建，重建出的影像偽影較少且分辨率較高，但Cycle GAN網(wǎng)絡(luò)的重建結(jié)果受訓練數(shù)據(jù)的配對程度影響(表2)。此外，上述方法難以重建復雜病變區(qū)域，易忽略病灶的定位、結(jié)構(gòu)等細節(jié)信息，進而影響病變區(qū)域的重建效果。

表2 CT與MRI之間的跨模態(tài)重建模型

4 GAN在MRI與PET之間的跨模態(tài)重建應用

跨模態(tài)重建MRI影像和PET影像可提供互補的疾病信息[36]，用于診斷阿爾茨海默癥(alzheimer’s disease，AD)等腦部疾病[37]。然而，由于PET費用較高且放射性藥物使用許可受到限制，其臨床應用受限?；贛RI影像重建的PET影像可協(xié)助醫(yī)生診斷疾病。Hu等[38]提出用雙向映射生成對抗網(wǎng)絡(luò)(bidirec-tional mapping generative adversarial networks，BMGAN)重建PET影像，并在AD數(shù)據(jù)集中驗證了該方法的有效性，結(jié)合重建的PET影像和MRI影像進行AD分類。Pan等[39]基于Cycle GAN提出了AD診斷和輕度認知損傷(mild cognitive impairment，MCI)預測模型。Gao等[40]提出任務導向的金字塔和注意力生成對抗網(wǎng)絡(luò)(task-induced pyramid and attention-generative adversarial network，TPA-GAN)，基于給定配對的MRI影像重建PET影像。PET影像還可用于定位癲癇致癲區(qū)，Yaakub等[41]提出3DGAN模型，重建得到的PET影像可作為輔助醫(yī)生診斷的客觀補充。Wei等[42]提出定義特定損失函數(shù)的生成對抗網(wǎng)絡(luò)(sketcher-refiner GAN)，從MRI重建PET衍生的髓鞘含量圖預測病變區(qū)域的脫髓鞘含量。

PET影像的清晰度較MRI更低，但也有研究從PET影像重建MRI影像。如Choi等[43]優(yōu)化pix2pix網(wǎng)絡(luò)，從淀粉樣蛋白(amyloid β-protein，Aβ)的PET影像成功重建MRI影像，可用于精確的Aβ定量分析，但重建MRI影像在視覺上很難區(qū)分灰質(zhì)和白質(zhì)，且具有一定的偽影(表3)。后續(xù)研究人員對GAN模型作出不同改進，使重建MRI影像顯示的診斷信息更加豐富[44-45]。

表3 MRI與PET之間的跨模態(tài)重建模型

使用GAN模型實現(xiàn)MRI影像和PET影像的跨模態(tài)重建可提供多模態(tài)影像信息并補充缺失的病理信息，但仍存在數(shù)據(jù)不匹配的問題，如何準確地將兩種模態(tài)的數(shù)據(jù)對齊，以保持特征的一致性和準確性，是未來改進的方向。

5 GAN在CT與PET之間的跨模態(tài)重建應用

基于CT影像重建PET影像，可實現(xiàn)僅有CT影像的情況下進行病變檢測，減少對患者的輻射。Ben-Cohen等[46]將全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)與條件生成對抗網(wǎng)絡(luò)(conditional generative adversarial nets，CGAN)相結(jié)合，從CT影像重建PET影像，更易識別惡性肝臟病變區(qū)域，無需在訓練前手動標記病變區(qū)域。

基于PET 影像重建CT影像，可應用于PET數(shù)據(jù)的衰減校正。Dong等[59]對Cycle GAN進行改進，以自注意力U-Net構(gòu)建生成器，重建得到的CT影像與真實CT影像相似且在軟組織上顯示出良好的對比度。Armanious等[48]提出專門用于醫(yī)學影像轉(zhuǎn)換的生成對抗網(wǎng)絡(luò)(medical image translation using GANs，MedGAN)架構(gòu)，連接多個FCN構(gòu)建生成器，確保重建出高分辨率清晰的CT影像。Upadhyay等[49]提出漸進式生成對抗網(wǎng)絡(luò)(uncertainty-guided progres-sive GAN，UP-GAN)，通過級聯(lián)MedGAN模型，以漸進方式訓練GAN的注意力圖，逐漸生成保真度增加的CT影像(表4)。

表4 CT與PET之間的跨模態(tài)重建模型

使用GAN實現(xiàn)PET影像與CT影像的跨模態(tài)重建有助于識別病變以及PET數(shù)據(jù)的衰減校正，但仍存在以下不足：PET影像包含較多的噪聲，而CT影像較為清晰，但噪聲預處理問題需要解決；PET影像和CT影像的分辨率和對比度不同，如要解決解剖結(jié)構(gòu)和醫(yī)學特征的對應問題，需更高級的圖像配準和分割算法。

6 GAN在多種模態(tài)影像之間的跨模態(tài)重建應用

現(xiàn)有的GAN模型變體是通過學習從源模態(tài)到目標模態(tài)的全局樣本空間映射，并將該映射應用于整個空間中的所有樣本進行預測。但醫(yī)學數(shù)據(jù)集稀缺且獲取存在難度，在數(shù)量有限的數(shù)據(jù)集上學習出適用于所有醫(yī)學影像的跨模態(tài)重建模型存在一定的挑戰(zhàn)性。目前，已有研究提出可應用于重建多種模態(tài)醫(yī)學影像的模型，例如，Tomar等[50]提出一種基于GAN網(wǎng)絡(luò)的自適應醫(yī)學影像重建方法，在多模態(tài)心臟和腦腫瘤數(shù)據(jù)集上驗證了該方法的有效性；Chen等[51]提出新型目標感知生成對抗網(wǎng)絡(luò)(target-aware generative adver-sarial network，Tar-GAN)，其是一種通用的多種模態(tài)醫(yī)學影像轉(zhuǎn)換模型，能夠在不依賴配對數(shù)據(jù)的情況下實現(xiàn)多種模態(tài)轉(zhuǎn)換；Yu等[52]提出樣本自適應生成對抗網(wǎng)絡(luò)(sample-adaptive generative adversarial network，SA-GAN)，其不僅學習從源模態(tài)到目標模態(tài)的全局樣本空間映射，還學習每個樣本獨有的特征，新增的樣本適應路徑使SA-GAN網(wǎng)絡(luò)可根據(jù)不同樣本進行自我調(diào)整，大幅提升了重建模型性能，此外，SA-GAN中提及的樣本自適應策略可改進各種GAN網(wǎng)絡(luò)，并根據(jù)實際需求進行調(diào)整。

7 小結(jié)與展望

高質(zhì)量多模態(tài)醫(yī)學影像是實現(xiàn)臨床疾病診療的關(guān)鍵組成部分，在相同的生理狀態(tài)下，對同一病灶進行多種模態(tài)的影像重建，充分利用不同模態(tài)的互補作用，可輔助醫(yī)生快速作出診斷決策，并用于術(shù)前方案制定、智能醫(yī)療和醫(yī)學大數(shù)據(jù)分析等研究領(lǐng)域。GAN在不同場景下的醫(yī)學影像跨模態(tài)重建應用已取得一定成果，但仍存在如下不足：(1)泛化程度受限：單一模型實現(xiàn)多種模態(tài)之間的重建尚有難度，且現(xiàn)有的重建方法通常在特定數(shù)據(jù)集上訓練，難以在不同數(shù)據(jù)集或不同場景中泛化，跨域泛化成為限制跨模態(tài)重建結(jié)果的一個關(guān)鍵挑戰(zhàn)。(2)重建準確性不足：不同模態(tài)醫(yī)學影像各自攜帶了不同的信息，在跨模態(tài)重建中，由于部分信息缺失，可能無法完全捕捉到兩種模態(tài)的細微變化和相關(guān)特征，從而影響重建結(jié)果的準確性和完整性。(3)評估指標不準確：缺乏一致的評估指標和標準。如何客觀、準確地評估跨模態(tài)重建結(jié)果的質(zhì)量和可行性亟待解決。(4)算法過于復雜：現(xiàn)有的跨模態(tài)重建方法涉及復雜的網(wǎng)絡(luò)架構(gòu)、多階段的訓練過程或迭代優(yōu)化，導致計算復雜度較高，耗時較長，限制其在臨床應用中的效率和實時性。(5)算法可解釋性不足：多模態(tài)算法不僅需重建出高質(zhì)量的影像，還應提供可解釋的醫(yī)學信息，以便醫(yī)生作出準確的診斷。

未來應著眼于建立更強大、更通用、更輕量化的網(wǎng)絡(luò)模型，以現(xiàn)有模型為基礎(chǔ)，開發(fā)更先進的跨模態(tài)重建技術(shù)，以期在醫(yī)學影像領(lǐng)域發(fā)揮更重要的作用，為醫(yī)生提供更加準確和全面的診斷信息。