劉國(guó)才 顧冬冬 劉 驍 劉勁光 劉焰飛 張毛蛋

1(湖南大學(xué)電氣與信息工程學(xué)院，長(zhǎng)沙 410082)

2(機(jī)器人視覺(jué)感知與控制技術(shù)國(guó)家工程研究中心，長(zhǎng)沙 410082)

引言

惡性腫瘤(癌癥)已成為嚴(yán)重威脅中國(guó)人群健康的主要公共衛(wèi)生問(wèn)題之一。 中國(guó)癌癥負(fù)擔(dān)總體仍呈現(xiàn)持續(xù)上升趨勢(shì)，癌癥防控形勢(shì)依然嚴(yán)峻。 根據(jù)2019年發(fā)布的“2015年中國(guó)癌癥統(tǒng)計(jì)報(bào)告”[1]:惡性腫瘤死亡占居民全部死因的23.91%，近十幾年來(lái)惡性腫瘤的發(fā)病和死亡均呈持續(xù)上升態(tài)勢(shì)，惡性腫瘤發(fā)病率保持每年約3.9%的增幅，死亡率保持每年2.5%的增幅，惡性腫瘤所致的醫(yī)療花費(fèi)每年超過(guò)2 200 億，防控形勢(shì)嚴(yán)峻。 2015年中國(guó)惡性腫瘤新發(fā)病約392.9 萬(wàn)人，死亡約233.8 萬(wàn)人，平均每天超過(guò)1 萬(wàn)人被確診為癌癥。 根據(jù)2019年發(fā)布的“2016年美國(guó)癌癥統(tǒng)計(jì)報(bào)告”[2]:2016年美國(guó)新增約176.2 萬(wàn)癌癥患者，死亡約60.6 萬(wàn)人，占死亡患者的22%。 根據(jù)2019年發(fā)布的“2018年全球癌癥統(tǒng)計(jì)報(bào)告”[3]:2018年全球185 個(gè)國(guó)家共新增約1 810萬(wàn)癌癥患者，死亡約960 萬(wàn)人，中國(guó)位居第一。惡性腫瘤現(xiàn)代臨床放射治療(簡(jiǎn)稱放療)，是一個(gè)由多模態(tài)醫(yī)學(xué)影像引導(dǎo)的，從腫瘤分期、定位、治療到療效評(píng)估的復(fù)雜診療過(guò)程[4]，精確定位、精確計(jì)劃和精確治療是百余年來(lái)一直追求的臨床放療目標(biāo)。

計(jì)算機(jī)斷層掃描(computerized tomography，CT)影像開(kāi)創(chuàng)了現(xiàn)代臨床三維適形放療(3－dimentional conformal radiotherapy，3DCRT)技術(shù)時(shí)代。 正電子發(fā)射斷層掃描(positron emission tomography，PET)功能分子影像，開(kāi)啟了以腫瘤分子生物學(xué)特性為基礎(chǔ)的生物調(diào)強(qiáng)放療(biological intensity-modulated radiotherapy，BIMRT)技術(shù)時(shí)代。 PET/CT，PET/MRI(magnetic resonance imaging，磁共振成像)，錐形束CT(cone beam CT，CBCT)/Linac(線性電子加速器)、MRI/Linac 與深度學(xué)習(xí)技術(shù)相結(jié)合，使腫瘤放療技術(shù)進(jìn)入到一個(gè)嶄新的個(gè)體化、高精度、自適應(yīng)和智能化新時(shí)代。

影像圖像引導(dǎo)調(diào)強(qiáng)放療(intensity modulated radiotherapy，IMRT)是當(dāng)前主要的腫瘤患者臨床放療技術(shù)。 設(shè)計(jì)和制定臨床可接受、可執(zhí)行的腫瘤調(diào)強(qiáng)放療計(jì)劃，涉及大量臨床任務(wù)。 目前，主要由臨床放療物理師，根據(jù)患者的模擬放療定位CT 影像勾畫放療危及器官(organs at risks，OARs)，并根據(jù)臨床放療醫(yī)生勾畫的放療靶區(qū)﹝包括:大體腫瘤區(qū)(gross tumor volume，GTV)、臨床靶區(qū)(clinical target volume ，CTV)、計(jì)劃靶區(qū)(planned target volume，PTV)﹞和放療處方劑量、各種放療劑量學(xué)目標(biāo)和約束，以及其它臨床放療先驗(yàn)知識(shí)，通過(guò)逆向IMRT 計(jì)劃系統(tǒng)軟件，對(duì)IMRT 計(jì)劃進(jìn)行優(yōu)化。

最近幾年，人工智能方法已經(jīng)用于腫瘤IMRT計(jì)劃和自適應(yīng)放療計(jì)劃研究[5]，以便提高工作效率和質(zhì)量。 前期研究發(fā)現(xiàn)，通過(guò)深度學(xué)習(xí)技術(shù)[6-15]，可更好地實(shí)現(xiàn)放療計(jì)劃設(shè)計(jì)優(yōu)化過(guò)程的智能化。 無(wú)監(jiān)督深度學(xué)習(xí)[13]和生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network，GAN)[14]已經(jīng)成為該領(lǐng)域的研究熱點(diǎn)。 基于深度學(xué)習(xí)、采用CT/CBCT/MRI/PET聯(lián)合引導(dǎo)的智能放療是當(dāng)前腫瘤精確放療的前沿研究?jī)?nèi)容。

盡管近幾年采用深度學(xué)習(xí)方法進(jìn)行惡性腫瘤的CT、MRI、CBCT 和PET 影像配準(zhǔn)、放療靶區(qū)分割、放療計(jì)劃MRI-CT 影像轉(zhuǎn)換合成已取得很大進(jìn)展，但當(dāng)前的配準(zhǔn)、分割和影像轉(zhuǎn)換精度在多數(shù)情況下還不能滿足臨床精確放療的要求。

1 腫瘤放療靶區(qū)分割深度學(xué)習(xí)方法

高精度自適應(yīng)智能調(diào)強(qiáng)放療計(jì)劃，既需要高空間分辨率的組織解剖結(jié)構(gòu)CT 和MRI 成像系統(tǒng)，提供腫瘤放療靶區(qū)和危及器官精確的位置信息，還需要高靈敏性及高特異性的腫瘤生物學(xué)和放射腫瘤學(xué)特性PET 成像系統(tǒng)，提供腫瘤葡萄糖代謝、增殖、乏氧等生物學(xué)特性和放射敏感性(抗輻射)的特性信息。 因此，臨床放療專家通常需要聯(lián)合使用腫瘤放療模擬定位CT 或診斷CT、MRI、PET/CT、 PET/MRI、機(jī)載CBCT、MRI 等影像，手動(dòng)或半自動(dòng)分割腫瘤放療靶區(qū)和危及器官。

目前，大多數(shù)情況下，多數(shù)基于深度學(xué)習(xí)的放療危及器官分割結(jié)果和臨床物理師勾畫的相應(yīng)危及器官的Dice 相似性系數(shù)已經(jīng)超過(guò)了80%。 但是，聯(lián)合腫瘤CT/CBCT/MRI/PET 影像自動(dòng)分割放療靶區(qū)的方法還缺乏一致性和有效性，多數(shù)情況下，基于深度學(xué)習(xí)的腫瘤放療靶區(qū)高精度分割問(wèn)題仍沒(méi)有取得突破性進(jìn)展，自動(dòng)分割結(jié)果和臨床醫(yī)師勾畫的靶區(qū)Dice 相似性系數(shù)不足60%，仍無(wú)法滿足臨床放療精度要求。

近幾年生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks， GAN) 和深度卷積神經(jīng)網(wǎng)絡(luò)( deep convolutional neural network，DCNN)在腫瘤放療靶區(qū)分割中的主要研究成果和進(jìn)展，如表1 所示。

表1 主要的腫瘤放療靶區(qū)分割深度學(xué)習(xí)方法匯總表Tab.1 Summary of tumor segmentation methods based on deep learning

1.1 基于GAN 的腫瘤靶區(qū)分割方法

由于CT 影像軟組織的對(duì)比度低，對(duì)位于縱隔等部位軟組織附近或周圍的肺癌組織很難準(zhǔn)確分割，因此臨床上通常需要聯(lián)合軟組織對(duì)比度高的MRI 影像對(duì)肺癌靶區(qū)進(jìn)行高精度分割。 最近，Jue 等[16]等提出了一種聯(lián)合腫瘤MRI 和CT 影像進(jìn)行訓(xùn)練學(xué)習(xí)的肺癌CT 分割方法。 作者聯(lián)合條件生成對(duì)抗網(wǎng)絡(luò)cGAN[25]和循環(huán)一致生成對(duì)抗網(wǎng)絡(luò)CycleGAN[26]訓(xùn)練兩個(gè)生成對(duì)抗網(wǎng)絡(luò)，分別將CT 和MRI 轉(zhuǎn)換成對(duì)應(yīng)的pMRI 和pCT，并增加根據(jù)VGG19 網(wǎng)絡(luò)提取的MRI 和pMRI 的高層特征余弦相似性計(jì)算的對(duì)抗性損失正則項(xiàng)，迫使生成的pMRI 和MRI 具有相似的結(jié)構(gòu)。 與此同時(shí)，聯(lián)合訓(xùn)練兩個(gè)類似U-Net 或密集全卷積網(wǎng)絡(luò)DFCN 的分割網(wǎng)絡(luò)，分別分割CT 和pMRI 中的肺癌組織，并在訓(xùn)練時(shí)直接比較兩個(gè)分割網(wǎng)絡(luò)高層特征和分割結(jié)果，迫使兩個(gè)分割結(jié)果盡可能一致。 整個(gè)聯(lián)合訓(xùn)練過(guò)程是無(wú)監(jiān)督的，轉(zhuǎn)換網(wǎng)絡(luò)和分割網(wǎng)絡(luò)輪流交替訓(xùn)練優(yōu)化。 應(yīng)用非小細(xì)胞肺癌患者CT 影像測(cè)試表明，聯(lián)合T2 加權(quán)MRI 影像訓(xùn)練的肺癌靶區(qū)分割方法比僅使用CT 影像的分割方法更精確，平均Dice 相似系數(shù)分別為0.72±0.14(U-Net)、0.73±0.12(D-FCN)，相應(yīng)提高4%～5%。

為了實(shí)現(xiàn)跨模態(tài)(MRI，CT)影像的前列腺癌放療靶區(qū)高精度分割，Girum 等[17]提出了一種嵌入式生成網(wǎng)絡(luò)，用于前列腺形狀學(xué)習(xí)，生成前列腺區(qū)域標(biāo)注影像。 他們將形狀生成網(wǎng)絡(luò)嵌入類似U-Net 的分割主網(wǎng)絡(luò)，采用分割網(wǎng)絡(luò)編碼層高層特征作為輸入，通過(guò)有監(jiān)督的訓(xùn)練，自動(dòng)生成前列腺區(qū)域標(biāo)注影像，并將其和分割網(wǎng)絡(luò)解碼高層進(jìn)行像素級(jí)的融合，最終分割前列腺。 在聯(lián)合訓(xùn)練形狀網(wǎng)絡(luò)時(shí)，采用少量的、有4 個(gè)前列腺外輪廓標(biāo)志點(diǎn)坐標(biāo)的高對(duì)比度MRI 影像作為訓(xùn)練樣本，通過(guò)形狀生成網(wǎng)絡(luò)預(yù)測(cè)每個(gè)切片上相應(yīng)的標(biāo)志點(diǎn)位置，并最終生成前列腺區(qū)域標(biāo)注影像。 采用交叉熵切片分類和標(biāo)志點(diǎn)位置絕對(duì)誤差光滑近似作為形狀生成網(wǎng)絡(luò)損失函數(shù)，同時(shí)，采用交叉熵和Dice 相似性系數(shù)作為分割網(wǎng)絡(luò)損失函數(shù)。 測(cè)試結(jié)果表明，采用MRI 影像聯(lián)合訓(xùn)練好的形狀和分割網(wǎng)絡(luò)，可直接應(yīng)用于低對(duì)比度的CT 影像前列腺高精度分割，平均Dice 相似性系數(shù)達(dá)到CT:89%，MRI:93%，優(yōu)于現(xiàn)有其他方法。

目前，放療直線加速器機(jī)載的錐形束CT(CBCT)已被廣泛應(yīng)用于腫瘤精確放療前的患者在線擺位驗(yàn)證和自適應(yīng)放療腫瘤和危及器官定位。然而，由于CBCT 影像質(zhì)量較差、軟組織對(duì)比度低、腫瘤和危及器官分割標(biāo)簽難以獲取等原因，腫瘤和危及器官CBCT 影像分割非常困難，導(dǎo)致目前臨床上基于CBCT 的腫瘤自適應(yīng)放療難以有效實(shí)施。

最近，Jia 等[18]利用腫瘤放療模擬定位CT 影像及其臨床醫(yī)師勾畫的腫瘤和危及器官CT 標(biāo)簽信息，提出了一個(gè)無(wú)監(jiān)督的跨域(CT，CBCT)腫瘤和危及器官分割網(wǎng)絡(luò)。 采用循環(huán)一致生成對(duì)抗網(wǎng)絡(luò)CycleGAN[26]將CT 轉(zhuǎn)換合成sCBCT，同時(shí)，將CBCT轉(zhuǎn)換合成sCT，在聯(lián)合訓(xùn)練合成網(wǎng)絡(luò)時(shí)，增加解剖結(jié)構(gòu)不變轉(zhuǎn)換對(duì)抗性損失正則項(xiàng)，以便將CT 結(jié)構(gòu)信息轉(zhuǎn)換到合成的sCBCT。 與此同時(shí)，利用高質(zhì)量的放療模擬定位CT 影像及其臨床醫(yī)師勾畫的腫瘤和危及器官CT 標(biāo)簽信息，訓(xùn)練學(xué)習(xí)一個(gè)生成對(duì)抗性域自適應(yīng)腫瘤和危及器官分割網(wǎng)絡(luò)。 訓(xùn)練該分割網(wǎng)絡(luò)時(shí)，同時(shí)將有標(biāo)簽的CT 合成的sCBCT 和無(wú)標(biāo)簽的CBCT 影像作為訓(xùn)練樣本，通過(guò)CT 相應(yīng)的腫瘤和危及器官標(biāo)簽信息監(jiān)督訓(xùn)練，提供sCBCT 分割Dice 相似系數(shù)度量對(duì)抗性損失正則項(xiàng)，而且，通過(guò)CBCT 和sCBCT 分割結(jié)果判別網(wǎng)絡(luò)，提供分割網(wǎng)絡(luò)對(duì)抗性損失。 膀胱癌CBCT 分割實(shí)驗(yàn)表明，與現(xiàn)有方法相比，采用對(duì)抗性域自適應(yīng)的CBCT 分割方法，平均Dice 相似性系數(shù)為83.6%，而僅基于CBCT 的分割結(jié)果平均Dice 相似性系數(shù)為70.1%。

Yuan 等[19]基于StarGAN 和U-Net 提出了多模態(tài)影像生成對(duì)抗轉(zhuǎn)換－ 分割雙流聯(lián)合網(wǎng)絡(luò)(UAGAN)，聯(lián)合非配對(duì)的多模態(tài)影像訓(xùn)練學(xué)習(xí)統(tǒng)一的腦腫瘤多模態(tài)影像分割網(wǎng)絡(luò)模型。 UAGAN 生成對(duì)抗的多模態(tài)影像轉(zhuǎn)換網(wǎng)絡(luò)和分割網(wǎng)絡(luò)通過(guò)共享相同的編碼器最高層，實(shí)現(xiàn)語(yǔ)義分割信息共享和轉(zhuǎn)換－分割任務(wù)相互約束。 在訓(xùn)練多模態(tài)影像轉(zhuǎn)換網(wǎng)絡(luò)時(shí)，引入目標(biāo)域影像模態(tài)類別標(biāo)簽，和源域模態(tài)影像一起，同時(shí)作為條件生成對(duì)抗轉(zhuǎn)換網(wǎng)絡(luò)cGAN前向生成網(wǎng)絡(luò)通道的條件輸入，而在其反向源域模態(tài)影像重建網(wǎng)絡(luò)通道，引入源域影像模態(tài)類別標(biāo)簽作為輸入，但采用相同的前向生成網(wǎng)絡(luò)，因此，提供模態(tài)分類和影像重建兩個(gè)對(duì)抗性損失正則項(xiàng)，從而實(shí)現(xiàn)多模態(tài)影像之間的任意相互轉(zhuǎn)換。 與此同時(shí)，為了在模態(tài)轉(zhuǎn)換時(shí)保留腫瘤的結(jié)構(gòu)信息，通過(guò)分割網(wǎng)絡(luò)提供腫瘤形狀對(duì)抗性損失正則項(xiàng)。 在訓(xùn)練條件生成對(duì)抗轉(zhuǎn)換網(wǎng)絡(luò)cGAN 的判別網(wǎng)絡(luò)時(shí)，采用多任務(wù)訓(xùn)練方式，判別網(wǎng)絡(luò)同時(shí)輸出轉(zhuǎn)換后影像的真實(shí)性和模態(tài)分類概率，提供影像真實(shí)性和模態(tài)分類兩個(gè)對(duì)抗性損失正則項(xiàng)。 另一方面，多模態(tài)影像轉(zhuǎn)換－分割雙流聯(lián)合網(wǎng)絡(luò)采用兩個(gè)改進(jìn)的U-Net，并且，通過(guò)引入注意力機(jī)制，使分割網(wǎng)絡(luò)解碼層融合學(xué)習(xí)聚焦于轉(zhuǎn)換網(wǎng)絡(luò)各相應(yīng)編碼層的腫瘤語(yǔ)義分割特征，提高分割精度。 同時(shí)，使轉(zhuǎn)換網(wǎng)絡(luò)解碼層融合學(xué)習(xí)聚焦于分割網(wǎng)絡(luò)各相應(yīng)編碼層的腫瘤語(yǔ)義分割特征，從而使轉(zhuǎn)換后的影像保留模態(tài)不變的腫瘤形狀特征。 在推理測(cè)試時(shí)，分割網(wǎng)絡(luò)不僅接受被測(cè)試影像作為輸入，而且接收影像的模態(tài)類別作為輸入，因此，同一個(gè)分割網(wǎng)絡(luò)可以對(duì)同一個(gè)目標(biāo)腫瘤的多個(gè)不同模態(tài)的影像進(jìn)行正確分割。 T1Gd、FLAIR 和T2 MRI 影像的腦腫瘤分割實(shí)驗(yàn)表明，不同模態(tài)影像越相似，UAGAN 分割精度相互提高越多。

1.2 基于DCNN 的腫瘤靶區(qū)分割方法

核磁共振影像中鼻咽癌放療靶區(qū)的自動(dòng)分割仍然具有挑戰(zhàn)性，因?yàn)楸茄拾┦墙?rùn)性的，通常體積很小，甚至是微小，使其與周圍緊密相連的組織難以區(qū)分。 針對(duì)這一問(wèn)題，最近，Huang 等[20]提出了一種具有遞歸注意力機(jī)制(recurrent attention mechanism，RAM)的鼻咽癌靶區(qū)分割殘差網(wǎng)絡(luò)。 他們將高層語(yǔ)義特征引入長(zhǎng)短期記憶(long short term memory，LSTM)注意力遞歸神經(jīng)網(wǎng)絡(luò)，級(jí)聯(lián)生成特征通道級(jí)和空間區(qū)域級(jí)注意力映射，逐層指導(dǎo)較低層特征的學(xué)習(xí)，最終聚焦于腫瘤語(yǔ)義分割特征的提取。 在訓(xùn)練分割網(wǎng)絡(luò)時(shí)，采用到腫瘤的距離加權(quán)的交叉熵作為損失函數(shù)。 聯(lián)合腫瘤T1、T1c 和T2 MRI進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果表明:鼻咽癌分割Dice相似性系數(shù)達(dá)到0.796 3，而經(jīng)典SE 注意力機(jī)制Dice 相似性系數(shù)為0.697 6。

Chen 等[27]提出了一種新的聯(lián)合FLAIR、T1、T1c 和T2 MRI 影像進(jìn)行腦腫瘤分割的多組變分編碼－解碼網(wǎng)絡(luò)。 他們使用每個(gè)模態(tài)相應(yīng)的解碼網(wǎng)絡(luò)將影像分解成依賴于模態(tài)類型的外觀編碼和獨(dú)立于模態(tài)類型的內(nèi)容編碼。 然后將所有模態(tài)影像的內(nèi)容編碼通過(guò)一個(gè)共享的融合子網(wǎng)絡(luò)合成為一個(gè)共享的內(nèi)容編碼，并以此作為輸入，通過(guò)一個(gè)腫瘤分割編碼子網(wǎng)絡(luò)生成腫瘤分割標(biāo)簽。 在編碼－解碼網(wǎng)絡(luò)訓(xùn)練時(shí)，同時(shí)為每種模態(tài)影像構(gòu)建一個(gè)相應(yīng)的編碼子網(wǎng)絡(luò)。 采用類似U-Net 的殘差網(wǎng)絡(luò)構(gòu)建編碼－解碼網(wǎng)絡(luò)。 通過(guò)一個(gè)兩層的卷積網(wǎng)絡(luò)構(gòu)建內(nèi)容編碼融合子網(wǎng)絡(luò)，并隨機(jī)的將某些模態(tài)的內(nèi)容編碼設(shè)置為0，以增加網(wǎng)絡(luò)對(duì)缺失模態(tài)影像的魯棒性。聯(lián)合Dice 和加權(quán)交叉熵進(jìn)行端到端的訓(xùn)練，并增加所有模態(tài)影像解碼子網(wǎng)絡(luò)重建誤差損失正則項(xiàng)。測(cè)試結(jié)果表明:在各種模態(tài)影像缺失的情況下，分割網(wǎng)絡(luò)性能的魯棒性好。 聯(lián)合所有4 種模態(tài)影像腦腫瘤分割平均Dice 相似性系數(shù)比現(xiàn)有最好的分割方法高出6%。

腫瘤放療臨床靶區(qū)(CTV)包含CT 影像上可見(jiàn)的大體腫瘤區(qū)(GTV)和亞臨床腫瘤區(qū)(通常CT 影像上不可見(jiàn))，因此，通常不能完全基于CT 影像勾畫CTV。 Jin 等[21]提出了一個(gè)簡(jiǎn)單、有效的3 D 漸進(jìn)整體嵌套網(wǎng)絡(luò)(progressive global nested network，PHNN)[28]，采用到食管癌患者腫瘤、淋巴結(jié)和放療危及器官的符號(hào)距離對(duì)這些解剖結(jié)構(gòu)先驗(yàn)上下文信息進(jìn)行編碼，并將這些上下文信息編碼信息和CT影像一起作為PHNN 的輸入訓(xùn)練網(wǎng)絡(luò)，使深度網(wǎng)絡(luò)能夠更好地學(xué)習(xí)和模擬人類醫(yī)生基于腫瘤邊緣和外觀進(jìn)行CTV 勾畫。 實(shí)驗(yàn)表明，編碼解剖結(jié)構(gòu)先驗(yàn)上下文信息可以提高食管癌放療臨床靶區(qū)CTV 分割性能，平均Dice 相似性達(dá)到83.9%。

Men 等[22]提出DDNN 網(wǎng)絡(luò)用于鼻咽癌CT 影像放療大體腫瘤區(qū)GTV 和臨床靶區(qū)CTV 分割。DDNN 網(wǎng)絡(luò)由兩個(gè)重要組件組成，包括編碼器部分和解碼器部分。 編碼器基于VGG－16 架構(gòu)，與VGG－16 不同的是，在解碼器網(wǎng)絡(luò)上執(zhí)行反卷積操作，從低分辨率逐層重建高分辨率特征圖，在網(wǎng)絡(luò)最后采用全卷積層代替全連接層。 鼻咽癌測(cè)試表明:GTVnx、GTVnd 和CTV 的Dice 相似性系數(shù)均值分別為80.9%、62.3%和82.6%。

Chen 等[23]提出了一種新的半監(jiān)督腦膠質(zhì)瘤MRI 重建和分割U-Net 網(wǎng)絡(luò)。 該網(wǎng)絡(luò)共享一個(gè)編碼子網(wǎng)絡(luò)，但包含一個(gè)分割子網(wǎng)絡(luò)和一個(gè)重建子網(wǎng)絡(luò)。 采用有監(jiān)督的Dice 損失函數(shù)訓(xùn)練分割子網(wǎng)絡(luò)，而采用無(wú)監(jiān)督方式訓(xùn)練重建子網(wǎng)絡(luò)。 訓(xùn)練時(shí)，采用同樣數(shù)量有標(biāo)注的樣本和無(wú)標(biāo)注的樣本，輪流訓(xùn)練分割子網(wǎng)絡(luò)和重建子網(wǎng)絡(luò)，并且，采用分割子網(wǎng)絡(luò)預(yù)測(cè)的腫瘤目標(biāo)區(qū)域和背景區(qū)域掩膜，對(duì)影像重建均方誤差損失按目標(biāo)和背景區(qū)域進(jìn)行加權(quán)(注意機(jī)制)。 測(cè)試結(jié)果表明:注意力機(jī)制和無(wú)監(jiān)督訓(xùn)練的重建網(wǎng)絡(luò)有助于提高分割性能。

Huang 等[24]提出了3 D 磁共振MRI 結(jié)直腸腫瘤區(qū)域定位和分割多任務(wù)多尺度網(wǎng)絡(luò)3 D RU-Net，兩個(gè)任務(wù)共享一個(gè)編碼子網(wǎng)絡(luò)。 利用腫瘤區(qū)域定位子網(wǎng)絡(luò)預(yù)測(cè)的區(qū)域掩膜，從編碼子網(wǎng)絡(luò)中裁剪出多層次感興趣區(qū)域特征，作為分割解碼子網(wǎng)絡(luò)的輸入。 進(jìn)一步，通過(guò)集成多尺度特征分割結(jié)果，提高最終分割精度。 測(cè)試結(jié)果表明:聯(lián)合腫瘤區(qū)域檢測(cè)和分割的結(jié)直腸腫瘤分割性能優(yōu)于U-Net，分割精度平均Dice 相似性系數(shù)達(dá)到75.5%，而U-Net 僅為61.7%，而且速度更快，占GPU 內(nèi)存更少。

2 腫瘤影像配準(zhǔn)深度學(xué)習(xí)方法

為了聯(lián)合利用腫瘤多模態(tài)影像對(duì)腫瘤放療靶區(qū)和危及器官進(jìn)行高精度地定位和分割，進(jìn)行腫瘤自適應(yīng)放療計(jì)劃設(shè)計(jì)優(yōu)化和療效評(píng)估，需要對(duì)腫瘤多模態(tài)影像進(jìn)行高精度的配準(zhǔn)。 7～10 周的腫瘤放療過(guò)程中，腫瘤和危及器官一般都會(huì)因治療而發(fā)生大的形變，經(jīng)典影像配準(zhǔn)方法配準(zhǔn)位置誤差一般達(dá)不到腫瘤臨床放療計(jì)劃時(shí)靶區(qū)和危及器官定位誤差小于2 mm 的要求，而且配準(zhǔn)速度也不能滿足腫瘤影像在線配準(zhǔn)和在線自適應(yīng)放療計(jì)劃設(shè)計(jì)與優(yōu)化。 基于深度學(xué)習(xí)的配準(zhǔn)方法，目前大多針對(duì)單模態(tài)的醫(yī)學(xué)影像配準(zhǔn)，而腫瘤放療全過(guò)程放療靶區(qū)和危及器官形變很大，所需影像模態(tài)多樣，在線自適應(yīng)放療計(jì)劃要求實(shí)時(shí)且高精度地配準(zhǔn)多模態(tài)影像，因此，至今臨床上還沒(méi)有一種高效高精度的腫瘤放療多模態(tài)影像配準(zhǔn)方法。

GAN 配準(zhǔn)、分割與弱監(jiān)督配準(zhǔn)多任務(wù)、無(wú)監(jiān)督深度學(xué)習(xí)配準(zhǔn)，在腫瘤放療多模態(tài)影像中的主要研究進(jìn)展，如表2 所示。

表2 主要的腫瘤放療影像配準(zhǔn)深度學(xué)習(xí)方法及性能總結(jié)Tab.2 Summary of deep learning registration methods for tumor radiotherapy and their performance

2.1 生成對(duì)抗網(wǎng)絡(luò)GAN 配準(zhǔn)方法

由于影像配準(zhǔn)是一個(gè)不適定的問(wèn)題，通常使用正則化來(lái)約束形變場(chǎng)和防止形變后的影像出現(xiàn)折疊等不真實(shí)的形變。 常用的正則化項(xiàng)包括形變場(chǎng)光滑約束、反折疊約束和雙向一致性約束。 然而，這些人工設(shè)計(jì)的配準(zhǔn)正則化約束并不能保證形變的物理真實(shí)性。 另一方面，對(duì)于多模態(tài)醫(yī)學(xué)影像的配準(zhǔn)，通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)形變場(chǎng)時(shí)，配準(zhǔn)性能不如單模態(tài)影像配準(zhǔn)，這是因?yàn)椴煌B(tài)間的巨大差異導(dǎo)致不同模態(tài)影像之間的相似性度量更加困難。 最近，基于生成對(duì)抗網(wǎng)絡(luò)GAN 的醫(yī)學(xué)影像配準(zhǔn)研究表明，GAN 有望更好地解決復(fù)雜醫(yī)學(xué)影像形變配準(zhǔn)問(wèn)題，其核心思想是訓(xùn)練一個(gè)生成對(duì)抗網(wǎng)絡(luò)。 一方面，通過(guò)生成器網(wǎng)絡(luò)直接生成預(yù)測(cè)形變場(chǎng)，或者形變速度場(chǎng)實(shí)現(xiàn)微分同胚形變配準(zhǔn)，這是腫瘤自適應(yīng)放療多模態(tài)影像配準(zhǔn)臨床應(yīng)用特別期待的配準(zhǔn)變換特性。 另一方面，通過(guò)判別器網(wǎng)絡(luò)，引入一個(gè)基于學(xué)習(xí)的配準(zhǔn)對(duì)抗性損失形變場(chǎng)正則化約束項(xiàng)，用于解決配準(zhǔn)算法中手動(dòng)設(shè)計(jì)正則項(xiàng)的問(wèn)題。 基于GAN 的影像轉(zhuǎn)換，還可有效地將更具挑戰(zhàn)性的多模態(tài)配準(zhǔn)問(wèn)題轉(zhuǎn)化為相對(duì)容易的單模態(tài)影像配準(zhǔn)問(wèn)題，使得許多現(xiàn)有的單模態(tài)配準(zhǔn)算法可以應(yīng)用于多模態(tài)影像的配準(zhǔn)。

Elmahdy 等[29]最近開(kāi)展的一項(xiàng)基于對(duì)抗生成網(wǎng)絡(luò)的前列腺癌放療計(jì)劃模擬定位CT 和放療全過(guò)程7～10 個(gè)分次放療前CT 影像聯(lián)合配準(zhǔn)和靶區(qū)分割研究表明，該方法不僅配準(zhǔn)速度快(0.6 s)，能夠滿足在線自適應(yīng)放療計(jì)劃要求，而且配準(zhǔn)精度高﹝靶區(qū)定位平均位置誤差為(1.13 ± 0.4)mm ﹞，基本能夠滿足靶區(qū)和危及器官定位精度要求。 該配準(zhǔn)方法不僅在配準(zhǔn)速度上大大超過(guò)經(jīng)典配準(zhǔn)方法(13 s)，而且配準(zhǔn)精度也超過(guò)了經(jīng)典的Elastix 配準(zhǔn)方法的精度(4.0 ± 1.7)mm。 具體地，先通過(guò)配準(zhǔn)生成網(wǎng)絡(luò)直接預(yù)測(cè)形變場(chǎng)，再通過(guò)空間形變網(wǎng)絡(luò)實(shí)現(xiàn)放療計(jì)劃CT 到每個(gè)分次放療前CT 影像的無(wú)監(jiān)督配準(zhǔn)和腫瘤放療靶區(qū)與危及器官輪廓的形變演化。 采用更利于網(wǎng)絡(luò)訓(xùn)練的Wasserstein GAN 損失函數(shù)進(jìn)行配準(zhǔn)網(wǎng)絡(luò)訓(xùn)練，通過(guò)PatchGAN 訓(xùn)練配準(zhǔn)判別網(wǎng)絡(luò)。 不僅通過(guò)配準(zhǔn)判別網(wǎng)絡(luò)直接判斷影像塊之間是否已經(jīng)配準(zhǔn)、配準(zhǔn)演化后的放療靶區(qū)與危及器官輪廓是否與臨床專家手工勾畫的輪廓相似，為配準(zhǔn)生成網(wǎng)絡(luò)提供配準(zhǔn)對(duì)抗性損失項(xiàng)，而且通過(guò)配準(zhǔn)影像塊之間的歸一化互相關(guān)NCC 度量和放療靶區(qū)與危及器官分割Dice 相似性系數(shù)度量，為配準(zhǔn)生成網(wǎng)絡(luò)提供間接、附加的形變場(chǎng)正則項(xiàng)，同時(shí)提高配準(zhǔn)和分割的精度。

Lei 等[30]最近一項(xiàng)基于對(duì)抗生成網(wǎng)絡(luò)的胰腺癌放療過(guò)程腫瘤和危及器官定位、運(yùn)動(dòng)跟蹤和放療門控4 D-CT 10 個(gè)時(shí)相中任意兩個(gè)時(shí)相影像配準(zhǔn)研究表明，胰腺癌標(biāo)記點(diǎn)配準(zhǔn)誤差均值為2.48 mm，配準(zhǔn)時(shí)間小于1 min。 他們通過(guò)配準(zhǔn)生成網(wǎng)絡(luò)直接預(yù)測(cè)形變場(chǎng)，通過(guò)空間形變網(wǎng)絡(luò)層實(shí)現(xiàn)任意兩個(gè)時(shí)相影像的無(wú)監(jiān)督配準(zhǔn)，通過(guò)配準(zhǔn)判別網(wǎng)絡(luò)判斷影像塊之間是否已經(jīng)配準(zhǔn)，為配準(zhǔn)生成網(wǎng)絡(luò)提供對(duì)抗性配準(zhǔn)損失度量(交叉熵)。 該方法有望用于肺癌、胰腺癌等受呼吸運(yùn)動(dòng)影響較大的腫瘤實(shí)時(shí)定位、運(yùn)動(dòng)跟蹤和放療門控計(jì)劃與自適應(yīng)放療計(jì)劃。

2.2 配準(zhǔn)和分割多任務(wù)DCNN 方法

目前，國(guó)內(nèi)外許多相關(guān)研究表明，聯(lián)合臨床專家勾畫的正常組織器官和腫瘤輪廓等解剖學(xué)信息，可提高無(wú)監(jiān)督配準(zhǔn)網(wǎng)絡(luò)性能。 同時(shí)，配準(zhǔn)形變場(chǎng)既可以直接用于解剖結(jié)構(gòu)輪廓的演化，也可以用于提高分割網(wǎng)絡(luò)性能，這對(duì)腫瘤放療臨床應(yīng)用尤其重要。 臨床上腫瘤自適應(yīng)放療計(jì)劃優(yōu)化時(shí)，需要將放療計(jì)劃時(shí)在放療模擬定位CT 上分割的腫瘤放療靶區(qū)和危及器官高精度演化到每次放療時(shí)在線獲取的CTCT，或MRI 影像上，同時(shí)，還需要將每次放療時(shí)患者每個(gè)靶區(qū)和危及器官實(shí)際接受的照射劑量反向高精度地映射到計(jì)劃CT 上，進(jìn)行各分次放療劑量的累計(jì)計(jì)算和評(píng)估。 因此，聯(lián)合配準(zhǔn)和分割等多個(gè)不同但相關(guān)的任務(wù)，相互約束，訓(xùn)練多個(gè)相關(guān)的深度神經(jīng)網(wǎng)絡(luò)，是一種非常好的多任務(wù)學(xué)習(xí)方法。

Hu 等[31-32]最先提出利用組織解剖結(jié)構(gòu)標(biāo)注等更高層語(yǔ)義結(jié)構(gòu)信息進(jìn)行配準(zhǔn)網(wǎng)絡(luò)訓(xùn)練。 他們認(rèn)為這樣的解剖結(jié)構(gòu)信息更可靠，更符合臨床實(shí)際。他們?cè)谟?xùn)練T2－MR-US 前列腺影像配準(zhǔn)深度神經(jīng)網(wǎng)絡(luò)時(shí)，使用高質(zhì)量標(biāo)注的前列腺區(qū)域掩膜，采用多尺度Dice 相似性度量配準(zhǔn)誤差，但測(cè)試推理階段不需要任何解剖結(jié)構(gòu)標(biāo)簽信息。 他們采用改進(jìn)的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)，引入多尺度融合的解碼網(wǎng)絡(luò)，實(shí)現(xiàn)較大的剛性和形變配準(zhǔn)。 測(cè)試表明:標(biāo)志點(diǎn)配準(zhǔn)中位絕對(duì)誤差為3.6 mm，中位Dice0.87。 配準(zhǔn)性能大大優(yōu)于其它基于影像強(qiáng)度相似性的配準(zhǔn)方法。 進(jìn)一步考慮到臨床影像配準(zhǔn)的主要目的是通過(guò)影像配準(zhǔn)空間變換演化腫瘤(病灶)和相關(guān)解剖結(jié)構(gòu)等感興趣區(qū)域(region of interest，ROI)的輪廓，ROI 之外的點(diǎn)對(duì)應(yīng)關(guān)系通常臨床價(jià)值較小，Hu 等[33]提出了一種條件分割網(wǎng)絡(luò)，以移動(dòng)影像及其某個(gè)ROI 輪廓作為條件，通過(guò)該條件分割網(wǎng)絡(luò)對(duì)固定目標(biāo)影像進(jìn)行分割(分類)預(yù)測(cè)，直接將移動(dòng)影像中的ROI 輪廓映射(演化)到固定影像中，而不需要通過(guò)配準(zhǔn)空間變換，因此訓(xùn)練時(shí)也不需要配準(zhǔn)形變場(chǎng)正則化約束。 訓(xùn)練U-Net 分割網(wǎng)絡(luò)時(shí)，他們采用固定影像多ROI 分割加權(quán)交叉熵?fù)p失函數(shù)，網(wǎng)絡(luò)輸入為待配準(zhǔn)影像對(duì)和移動(dòng)影像ROI 標(biāo)簽，每次輸入一對(duì)影像對(duì)應(yīng)的單個(gè)解剖結(jié)構(gòu)或區(qū)域ROI。 訓(xùn)練集的ROI 無(wú)需配對(duì)，單個(gè)影像對(duì)可具有不同的多個(gè)ROI 對(duì)。 在推理過(guò)程中，給定一對(duì)新的影像和一個(gè)移動(dòng)影像的ROI，訓(xùn)練好的網(wǎng)絡(luò)可以預(yù)測(cè)該ROI 在固定的影像空間中位置。 前列腺治療前MRI(移動(dòng)影像)和治療中超聲(固定影像)測(cè)試結(jié)果表明:專家勾畫的超聲前列腺輪廓ROI 與治療前MR 前列腺輪廓演化得到的輪廓中位標(biāo)志點(diǎn)絕對(duì)誤差(target registration error，TRE)為2.1 mm，中位Dice 相似性系數(shù)為0.92。 與基于配準(zhǔn)網(wǎng)絡(luò)預(yù)測(cè)的空間變換演化ROI輪廓方法[31-32]相比，相應(yīng)的TRE顯著降低(>34%)。

為實(shí)現(xiàn)前列腺癌自適應(yīng)放療靶區(qū)和危及器官高精度和魯棒的自動(dòng)分割，Elmahdy 等[34]聯(lián)合預(yù)先訓(xùn)練好的膀胱分割深度神經(jīng)網(wǎng)絡(luò)U-Net，提出了一個(gè)三階段的前列腺癌質(zhì)子調(diào)強(qiáng)放療靶區(qū)和危及器官分割與配準(zhǔn)網(wǎng)絡(luò)，實(shí)現(xiàn)從放療計(jì)劃CT 到每天放療時(shí)CT 的前列腺癌、膀胱、淋巴結(jié)和精囊的自適應(yīng)輪廓演化(自動(dòng)高精度魯棒分割)。 采用有監(jiān)督的訓(xùn)練方法，先訓(xùn)練膀胱CT 影像深度神經(jīng)網(wǎng)絡(luò)UNet，然后在迭代優(yōu)化放療計(jì)劃CT 到每天放療前CT的配準(zhǔn)Elastix 算法過(guò)程中，先采用自動(dòng)提取的患者人體掩膜作為解剖結(jié)構(gòu)先驗(yàn)信息，基于互信息配準(zhǔn)準(zhǔn)則，實(shí)現(xiàn)仿射剛性變換；再采用訓(xùn)練好的膀胱分割網(wǎng)絡(luò)預(yù)測(cè)分割計(jì)劃CT 影像中的膀胱掩膜，為第二階段形變配準(zhǔn)網(wǎng)絡(luò)提供膀胱解剖學(xué)先驗(yàn)信息正則項(xiàng)(采用膀胱輪廓距離均方差)，聯(lián)合互信息配準(zhǔn)準(zhǔn)則，實(shí)現(xiàn)前列腺癌、膀胱、淋巴結(jié)、直腸的形變配準(zhǔn)和輪廓演化。 最后，在第三階段，采用分演化后的直腸輪廓作為解剖結(jié)構(gòu)先驗(yàn)，高精度配準(zhǔn)和演化(分割)直腸和精囊輪廓。 此外，為了提高分割配準(zhǔn)方法的魯棒性，還通過(guò)訓(xùn)練生成對(duì)抗測(cè)網(wǎng)絡(luò)，對(duì)CT影像膀胱、直腸和精囊中的空氣部分進(jìn)行修復(fù)與處理，對(duì)CT 進(jìn)行“加窗[－330，300]”對(duì)比度增強(qiáng)。 測(cè)試結(jié)果表明:膀胱分割Dice 相似性系數(shù)88%，前列腺，精囊，淋巴結(jié)的平均表面距離配準(zhǔn)誤差分別達(dá)到(1.29 ±0.39)mm ，(1.48±1.16)mm，(1.49 ±0.44)mm，滿足臨床放療高精度定位要求(小于2 mm)。由于配準(zhǔn)過(guò)程由膀胱和直腸解剖結(jié)構(gòu)(分割)驅(qū)動(dòng)，該靶區(qū)和危及器官演化(分割)結(jié)果更準(zhǔn)確和更魯棒。 相應(yīng)的前列腺靶區(qū)和危及器官調(diào)強(qiáng)放療計(jì)劃劑量覆蓋指標(biāo)V95 和V107 明顯優(yōu)于僅基于影像強(qiáng)度相似性配準(zhǔn)演化輪廓的相應(yīng)計(jì)劃，基于該方法自動(dòng)輪廓演化結(jié)果自動(dòng)生成的放療計(jì)劃80%臨床上可以直接接受，無(wú)需人工修正，系統(tǒng)的魯棒性有了很大的提高。

2.3 無(wú)監(jiān)督DCNN 配準(zhǔn)方法

無(wú)監(jiān)督的深度學(xué)習(xí)影像配準(zhǔn)方法，可以避免臨床醫(yī)學(xué)影像配準(zhǔn)真實(shí)形變場(chǎng)無(wú)法獲取的問(wèn)題。 在無(wú)監(jiān)督訓(xùn)練學(xué)習(xí)配準(zhǔn)網(wǎng)絡(luò)參數(shù)時(shí)，只需要提供配準(zhǔn)影像對(duì)作為形變場(chǎng)預(yù)測(cè)網(wǎng)絡(luò)模型輸入，不需要提供真實(shí)形變場(chǎng)。 訓(xùn)練過(guò)程中，直接采用預(yù)測(cè)的形變場(chǎng)，通過(guò)空間變換網(wǎng)絡(luò)( spatial transformation network，STN)對(duì)移動(dòng)影像進(jìn)行形變插值，獲得配準(zhǔn)后的影像，并通過(guò)直接計(jì)算配準(zhǔn)前后影像的相似性度量值作為預(yù)測(cè)網(wǎng)絡(luò)模型損失函數(shù)值，進(jìn)行誤差反向傳播學(xué)習(xí)。 各種配準(zhǔn)正則化約束項(xiàng)的提出也使得配準(zhǔn)網(wǎng)絡(luò)能夠預(yù)測(cè)到盡可能合理的形變場(chǎng)，但是，目前大多數(shù)無(wú)監(jiān)督醫(yī)學(xué)影像配準(zhǔn)方法的研究都集中在某個(gè)單一模態(tài)影像的配準(zhǔn)，無(wú)監(jiān)督的多模態(tài)影像配準(zhǔn)深度神經(jīng)網(wǎng)絡(luò)有待深入研究。

Kearney 等[35]提出了一種用于頭頸患者CBCT到CT 影像配準(zhǔn)高層特征提取的深度神經(jīng)網(wǎng)絡(luò)DCIGN，網(wǎng)絡(luò)結(jié)構(gòu)類似自編碼－解碼網(wǎng)絡(luò)。 首先，他們使用分布式、無(wú)監(jiān)督方式訓(xùn)練DCIGN，然后，采用訓(xùn)練好的DCIGN 編碼網(wǎng)絡(luò)最高層提取的8 通道CBCT 和CT 特征，通過(guò)經(jīng)典的尺度不變特征轉(zhuǎn)換SIFT 算法提取用于配準(zhǔn)的特征點(diǎn)集。 最后，采用多通道微分同胚Demons 配準(zhǔn)算法實(shí)現(xiàn)形變配準(zhǔn)。 測(cè)試表明:該方法配準(zhǔn)性能優(yōu)于現(xiàn)有經(jīng)典配準(zhǔn)算法，配準(zhǔn)后的平均互信息為0.653，平均配準(zhǔn)時(shí)間3.5 s。

臨床腫瘤自適應(yīng)放療計(jì)劃中，要求配準(zhǔn)每次放療前的CBCT 影像到放療計(jì)劃時(shí)的模擬定位CT 影像的形變場(chǎng)是可逆的、光滑的，并應(yīng)保持腫瘤和危及器官解剖結(jié)構(gòu)的一致性。 經(jīng)典配準(zhǔn)方法可通過(guò)微分同胚形變配準(zhǔn)實(shí)現(xiàn)，但計(jì)算量大、耗時(shí)長(zhǎng)。 最近，顧冬冬等[36]提出了一種新的無(wú)監(jiān)督深度學(xué)習(xí)配準(zhǔn)方法，在訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)時(shí)，引入雙向和多級(jí)形變一致性約束和循環(huán)形變一致性損失正則項(xiàng)，實(shí)現(xiàn)可逆、一致的配準(zhǔn)。 與現(xiàn)有的配準(zhǔn)方法相比，該方法具有較高的配準(zhǔn)一致性和較好的配準(zhǔn)精度。 顧冬冬等[37]進(jìn)一步提出了基于形變場(chǎng)w-PCA 先驗(yàn)投影圖像的多級(jí)配準(zhǔn)框架，通過(guò)高維形變場(chǎng)統(tǒng)計(jì)分布先驗(yàn)?zāi)Ｐ蜕上闰?yàn)圖像來(lái)增強(qiáng)彈性配準(zhǔn)的魯棒性和精度。 通過(guò)高維形變場(chǎng)的w-PCA 分析估計(jì)高維形變場(chǎng)的先驗(yàn)分布，利用先驗(yàn)分布分別生成與兩個(gè)輸入圖像相似的中間先驗(yàn)圖像，使得任意兩個(gè)圖像的配準(zhǔn)能夠以兩個(gè)中間圖像為橋梁，將輸入圖像對(duì)的配準(zhǔn)轉(zhuǎn)換成采用可逆一致的深度配準(zhǔn)網(wǎng)絡(luò)分別配準(zhǔn)對(duì)應(yīng)的中間生成圖像和輸入圖像。 由于中間圖像在形狀上和對(duì)應(yīng)輸入圖像更為相似，該方法可以達(dá)到較高的準(zhǔn)確性和較好的一致性，尤其是在形狀外觀差別較大的輸入圖像之間，能夠產(chǎn)生平滑一致的形變場(chǎng)。 顧冬冬等[38]提出利用形變場(chǎng)先驗(yàn)知識(shí)進(jìn)行數(shù)據(jù)增強(qiáng)的配準(zhǔn)網(wǎng)絡(luò)。 從一組由微分同胚配準(zhǔn)方法SyN 生成的有效形變，通過(guò)訓(xùn)練變分編解碼網(wǎng)絡(luò)，得到形變場(chǎng)在隱空間的流形，然后對(duì)隱空間進(jìn)行統(tǒng)計(jì)采樣，并將解碼器重構(gòu)后的形變和對(duì)應(yīng)形變后的圖像作為金標(biāo)準(zhǔn)，對(duì)配準(zhǔn)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練。 此外，顧冬冬等[39]提出了一種兩階段級(jí)聯(lián)的無(wú)監(jiān)督深度學(xué)習(xí)配準(zhǔn)方法，第一階段的深度卷積網(wǎng)絡(luò)學(xué)習(xí)影像級(jí)的全局仿射變換參數(shù)，第二階段深度卷積網(wǎng)絡(luò)學(xué)習(xí)體素級(jí)的局部形變場(chǎng)。 該方法由于加入第一階段的仿射配準(zhǔn)網(wǎng)絡(luò)，預(yù)處理階段無(wú)需進(jìn)行影像剛性配準(zhǔn)，可提高實(shí)際臨床配準(zhǔn)中的效率。 結(jié)果表明，配準(zhǔn)精度和效率優(yōu)于現(xiàn)有配準(zhǔn)方法。

3 腫瘤放療多模態(tài)影像轉(zhuǎn)換方法

調(diào)強(qiáng)放療計(jì)劃優(yōu)化過(guò)程中放射治療計(jì)劃系統(tǒng)(therapy planning system，TPS)需要根據(jù)腫瘤組織和正常器官的電子密度值計(jì)算(估計(jì))腫瘤放療靶區(qū)和危及器官接收到的累計(jì)劑量值(放療高能射線照射輻射能量)。 目前，臨床上主要根據(jù)腫瘤患者的放療模擬定位CT 影像HU 值進(jìn)行放療劑量計(jì)算。

最近幾年，國(guó)內(nèi)外腫瘤醫(yī)院都在部署新一代集成的MRI/Linac 核磁加速器放療系統(tǒng)，這使得直接利用MRI 影像取替CT 影像進(jìn)行腫瘤放療靶區(qū)與危及器官定位和放療劑量計(jì)算的臨床需求更加緊迫。這不僅可以通過(guò)MRI 更加準(zhǔn)確地定位腫瘤和危及器官，而且可避免MRI/CT 配準(zhǔn)，使在線實(shí)時(shí)進(jìn)行MRI 引導(dǎo)的自適應(yīng)放療計(jì)劃更加容易實(shí)現(xiàn)，同時(shí)減少患者使用CT 進(jìn)行模擬放療定位和使用放療加速器機(jī)載CTCB 擺位時(shí)受到額外的輻射照射。 但是MRI 不能提供放療劑量計(jì)算時(shí)需要的各組織器官和腫瘤組織的電子密度定量信息。 目前，臨床上采用MRI/Linac 進(jìn)行放療計(jì)劃時(shí)通常還需要獲取患者的放療模擬定位CT 影像。

為克服以上不足，國(guó)內(nèi)外研究人員嘗試了很多不同的從腫瘤放療MRI 影像到CT 影像的轉(zhuǎn)換方法[40]。 Maspero 等[41]較早提出利用深度學(xué)習(xí)方法，根據(jù)MRI 影像快速生成放療模擬定位CT 影像，實(shí)現(xiàn)盆腔腫瘤在線自適應(yīng)放療。 幾乎同時(shí)，Nie 等[42]提出利用3 D 全卷積網(wǎng)絡(luò)(FCN)根據(jù)MRI 來(lái)生成CT 影像，更好地保留和預(yù)測(cè)CT 影像中的鄰域信息。 目前，研究人員提出了許多改進(jìn)的深度學(xué)習(xí)類影像轉(zhuǎn)換方法，如表3 所示。 目前，僅少數(shù)研究基于轉(zhuǎn)換合成的CT 進(jìn)行了放療計(jì)劃劑量計(jì)算的對(duì)比評(píng)估研究，結(jié)果表明基本能滿足相應(yīng)的臨床放療計(jì)劃要求，但還缺乏大規(guī)模、多中心的臨床實(shí)驗(yàn)，因此，這些影像轉(zhuǎn)換方法并未得到臨床應(yīng)用。

表3 主要的腫瘤放療影像轉(zhuǎn)換深度學(xué)習(xí)方法及性能總結(jié)Tab.3 Summary of deep learning image translation methods for tumor radiotherapy and their performance

3.1 基于GAN 的影像轉(zhuǎn)換方法

最近幾年，基于GAN 的腫瘤MRI 影像到腫瘤放療模擬定位CT 影像的轉(zhuǎn)換合成，取得了很大的進(jìn)展，主要包括改進(jìn)的經(jīng)典GAN 方法、循環(huán)一致的GAN 方法、條件GAN 方法三大類。 下面分別綜述如下:

1)改進(jìn)的經(jīng)典GAN 方法

Emami 等[43]將殘差網(wǎng)絡(luò)加入到經(jīng)典GAN，其生成器為殘差網(wǎng)絡(luò)，鑒別器為經(jīng)典CNN 網(wǎng)絡(luò)。 15名患者腦部MR 及CT 影像數(shù)據(jù)集作為該網(wǎng)絡(luò)的訓(xùn)練和測(cè)試集。 實(shí)驗(yàn)結(jié)果表明:該網(wǎng)絡(luò)合成的CT 影像與真實(shí)的CT 影像之間的平均絕對(duì)誤差(mean absolute error，MAE)為(89.30 ± 10.25)HU，平均峰值信噪比(peak signal to noise ratio，PSNR)為26.64±1.17，平均結(jié)構(gòu)相似性(structural similarity，SSIM)為0.83 ± 0.03，效果好于經(jīng)典U-Net 網(wǎng)絡(luò)。 Armanious等[44]對(duì)GAN 網(wǎng)絡(luò)進(jìn)行了改進(jìn)，提出了MedGAN。作者將鑒別器作為一個(gè)可訓(xùn)練的特征提取器，以便于懲罰轉(zhuǎn)換后的影像與目標(biāo)影像之間的CNN 視覺(jué)特征差異，同時(shí)利用影像紋理結(jié)構(gòu)轉(zhuǎn)換損失項(xiàng)，使轉(zhuǎn)換后的影像和目標(biāo)影像的紋理和精細(xì)結(jié)構(gòu)匹配。 同時(shí)，作者提出了名為CasNet 的新型生成器網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)級(jí)聯(lián)的編碼－解碼U 形網(wǎng)絡(luò)塊，逐步提升轉(zhuǎn)換后影像的銳度。 實(shí)驗(yàn)結(jié)果表明，MAE為264.6 HU，效果遠(yuǎn)好于一般GAN 網(wǎng)絡(luò)的313.2 HU。

2)循環(huán)一致的GAN 方法

在多模態(tài)或多序列MR 影像轉(zhuǎn)換網(wǎng)絡(luò)中，通常需要預(yù)先對(duì)患者的多序列MR 影像或單序列MR 影像和CT 影像樣本對(duì)進(jìn)行配準(zhǔn)，但是，在實(shí)際臨床應(yīng)用中，高精度的多模態(tài)影像和多序列MR 影像配準(zhǔn)本身也很困難。 為了解決該問(wèn)題，研究人員基于CycleGAN 框架，提出了MRI 到CT 影像的轉(zhuǎn)換網(wǎng)絡(luò)模型。 最近，Wu 等[45]通過(guò)改進(jìn)的U-Net 作為生成網(wǎng)絡(luò)，采用CycleGAN，提出了MRI 到CT 的自動(dòng)生成網(wǎng)絡(luò)UC-GAN，測(cè)試表明，MAE 為(76.7 ± 4.5)HU，PSNR 為46.1 ± 1.5，性能優(yōu)于原CycleGAN 方法。 由于輸入影像與輸出影像之間缺乏直接的約束，Cycle GAN 不能保證輸入－輸出影像之間的結(jié)構(gòu)一致性，而這種一致性在醫(yī)學(xué)成像中極為重要，因此Yang 等[46]提出了一種局部結(jié)構(gòu)約束的CycleGAN(structure-constrained CycleGAN)。 該網(wǎng)絡(luò)使用未配準(zhǔn)的MRI-CT 影像數(shù)據(jù)集，基于影像模態(tài)獨(dú)立鄰域描述方法(MIND)提取影像的局部結(jié)構(gòu)特征，并構(gòu)建局部結(jié)構(gòu)一致性損失項(xiàng)，使轉(zhuǎn)換后的影像和目標(biāo)影像局部結(jié)構(gòu)保持一致，測(cè)試表明，MAE 為122.7 HU，性能優(yōu)于一般的CycleGAN 網(wǎng)絡(luò)。 Prokopenko 等[47]則采用非配準(zhǔn)的MRI 和CT樣本集訓(xùn)練兩個(gè)生成對(duì)抗網(wǎng)絡(luò)(DualGAN)，以便保證MRI-CT 影像雙向轉(zhuǎn)換的一致性，并通過(guò)一個(gè)預(yù)訓(xùn)練的VGG16 提取合成CT 影像的高層視覺(jué)特征，從而引入視覺(jué)感知特征損失對(duì)抗性正則項(xiàng)。 測(cè)試表明，MAE 為60.83 HU ，PSNR 為17.21 dB， 結(jié)構(gòu)相似性為0.8。

3)條件GAN 方法及不同GAN 方法對(duì)比研究

條件生成對(duì)抗網(wǎng)絡(luò)(cGAN)也是一種常見(jiàn)的影像轉(zhuǎn)換網(wǎng)絡(luò)，但需要有配對(duì)的影像作為輸入進(jìn)行訓(xùn)練。 Peng 等[48]比較了cGAN 網(wǎng)絡(luò)和CycleGAN 網(wǎng)絡(luò)合成CT 影像的性能。 作者使用普通的U-Net 作為cGAN 網(wǎng)絡(luò)的生成器，使用殘差U-Net 作為CycleGAN 的生成器。 173 例鼻咽癌患者頭頸部的T1 加權(quán)MR 影像和相應(yīng)的CT 影像作為訓(xùn)練和測(cè)試樣本集。 對(duì)于cGAN 網(wǎng)絡(luò)，使用形變配準(zhǔn)后的MRCT 影像對(duì)進(jìn)行訓(xùn)練。 而對(duì)于CycleGAN 網(wǎng)絡(luò)，則使用未配準(zhǔn)的MR 和CT 影像進(jìn)行訓(xùn)練。 實(shí)驗(yàn)結(jié)果表明:cGAN 和CycleGAN 生成CT 影像的MAE 分別為(69.67±9.27)HU 和(100.62±7.39)HU。 當(dāng)MR 和CT 影像已配準(zhǔn)時(shí)，訓(xùn)練好的cGAN 網(wǎng)絡(luò)可以合成質(zhì)量更好的CT 影像。 Hemsley 等[49]對(duì)cGAN 進(jìn)行了改進(jìn)使得該網(wǎng)絡(luò)可以預(yù)測(cè)轉(zhuǎn)換合成影像CT 值的不確定性。 該網(wǎng)絡(luò)使用貝葉斯神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)模型不確定性進(jìn)行估計(jì)。 105 組腦部MR 及CT 影像數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表明，轉(zhuǎn)換合成的CT 影像與真實(shí)CT 影像間的MAE 為(89 ± 8) HU，并且能夠同時(shí)生成合成影像CT 值的不確定性估計(jì)值。 Li 等[50]比較了有監(jiān)督與無(wú)監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)在生成CT 影像效果上的差異。 采用經(jīng)典的U-Net 網(wǎng)絡(luò)代表有監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)，CycleGAN 網(wǎng)絡(luò)代表無(wú)監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)，Leaky ReLU 函數(shù)作為卷積之前的激活函數(shù)對(duì)UNet 網(wǎng)絡(luò)進(jìn)行了改進(jìn)。 34 組頭部T2 加權(quán)MR 影像和CT 影像對(duì)作為網(wǎng)絡(luò)訓(xùn)練和測(cè)試樣本集，其中剛性配準(zhǔn)樣本對(duì)作為U-Net 訓(xùn)練的數(shù)據(jù)集，然后再將這些已配準(zhǔn)的MRI-CT 影像集進(jìn)行隨機(jī)配對(duì)作為CycleGAN 的訓(xùn)練數(shù)據(jù)集。 實(shí)驗(yàn)結(jié)果表明，MAE:UNet 為65.36 ± 4.08、CycleGAN 為93.95 ± 5.89；SSIM:U-Net 為0.972 ± 0.004、CycleGAN 為0.955 ±0.007；PSNR:U-Net 為28.84 ± 0.57、CycleGAN 為26.32 ± 0.55。 合成CT 影像的質(zhì)量總體上有監(jiān)督的U-Net 網(wǎng)絡(luò)優(yōu)于無(wú)監(jiān)督的CycleGAN 網(wǎng)絡(luò)。 Zhang等[51]發(fā)現(xiàn)聯(lián)合訓(xùn)練影像轉(zhuǎn)換和影像分割網(wǎng)絡(luò)，可同時(shí)提供兩個(gè)任務(wù)的性能。 特別地，將影像轉(zhuǎn)換CycleGAN 網(wǎng)絡(luò)與分割網(wǎng)絡(luò)相結(jié)合，在訓(xùn)練時(shí)將轉(zhuǎn)換網(wǎng)絡(luò)生成的合成CT 影像和真實(shí)的CT 影像一同送入分割網(wǎng)絡(luò)，可實(shí)現(xiàn)生成CT 影像時(shí)分割目標(biāo)對(duì)象的體積與形狀約束。 實(shí)驗(yàn)結(jié)果表明:聯(lián)合轉(zhuǎn)換合成的CT 影像質(zhì)量更好。

3.2 基于U-Net 的影像轉(zhuǎn)換方法

Han 等[52]較早提出了一個(gè)基于U-Net 的2 D MRI 到CT 影像轉(zhuǎn)換合成模型，其MAE 為85 HU，而基于圖譜方法合成CT 的MAE 為95 HU。 Xiang等[53]提出了深度嵌入卷積神經(jīng)網(wǎng)絡(luò)(DECNN)轉(zhuǎn)換方法，將轉(zhuǎn)換網(wǎng)絡(luò)CNN 中間層的特征圖合成出相應(yīng)的中間層CT 影像，并將其和相應(yīng)的中間層特征圖進(jìn)行級(jí)聯(lián)作為后續(xù)中間層的輸入進(jìn)一步提取高層特征。 腦部數(shù)據(jù)集和前列腺數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表明，MAE 分別為85.4 和42.3 HU，而基于圖譜的合成方法分別為169.5 HU 以及64.6 HU。 Dinkla 等[54]提出了基于影像塊的3 D U-Net 影像轉(zhuǎn)換網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果表明，MAE 為(75 ± 9) HU。 Wu 等[55]將UNet 影像轉(zhuǎn)換網(wǎng)絡(luò)與CycleGAN 轉(zhuǎn)換網(wǎng)絡(luò)相結(jié)合，提出了UC-GAN 影像轉(zhuǎn)換網(wǎng)絡(luò)，其MAE 為(76.7 ±4.5) HU，而經(jīng)典CycleGAN 的MAE 為(94.0 ±4.3) HU。 Baydoun 等[56]則研究了U-Net 與cGAN結(jié)合之后的影像轉(zhuǎn)換性能，其平均絕對(duì)百分比誤差MAPE 為75.25 ± 25.42，均方根 誤差RMSE 為115.74 ± 21.84，PSNR 為63.41 ± 1.67，SSIM 為0.839 ± 0.044。 Han 等[52]參考U-Net 網(wǎng)絡(luò)結(jié)構(gòu)提出了DCNN 網(wǎng)絡(luò)，在編碼部分作者使用了VGG 16網(wǎng)絡(luò)，其MAE 值可達(dá)84.8 HU。

3.3 多序列MR 影像到CT 影像的轉(zhuǎn)換方法

MRI 影像具有多種不同序列的掃描方式，不同的掃描序列表征不同的組織病理信息，聯(lián)合多個(gè)序列MRI 的CT 影像合成方法取得了較大的進(jìn)展。 Qi等[57]針對(duì)鼻咽癌患者頭頸部多個(gè)序列MRI 合成CT影像進(jìn)行了對(duì)比研究。 作者收集了45 例鼻咽癌患者的4 個(gè)MR 序列影像(T1、T2、T1C、T1DixonCwater)，聯(lián)合4 種MRI 序列影像訓(xùn)練轉(zhuǎn)換網(wǎng)絡(luò)cGAN合成的CT 影像，其MAE 僅為(69.98 ± 12.02)HU，效果遠(yuǎn)好于僅采用單一MR 序列影像訓(xùn)練的結(jié)果。 Tie 等[58]在U-Net 網(wǎng)絡(luò)的基礎(chǔ)上提出了多路徑多通道生成對(duì)抗影像轉(zhuǎn)換網(wǎng)絡(luò)(MCMP-GAN)。 該網(wǎng)絡(luò)將經(jīng)典U-Net 網(wǎng)絡(luò)的網(wǎng)絡(luò)塊全部替換為殘差卷積塊，并且將網(wǎng)絡(luò)的編碼路徑從原先的單通道擴(kuò)展為了三通道，分別用于3 個(gè)不同序列的MRI 影像，并進(jìn)行聯(lián)合網(wǎng)絡(luò)訓(xùn)練，但每個(gè)通道都有各自的特征提取網(wǎng)絡(luò)層，并在分別進(jìn)行四層的殘差塊操作后將這3 個(gè)通道提取的不同序列MRI 影像特征信息進(jìn)行級(jí)聯(lián)后再送入四層的解碼網(wǎng)絡(luò)進(jìn)行解碼，以獲得合成的CT 影像，同時(shí)將合成CT 影像送入判別器進(jìn)行對(duì)抗性鑒別。 32 名鼻咽癌患者頭頸部MR 和CT影像作為訓(xùn)練測(cè)試數(shù)據(jù)集，其中MR 影像包括了3種不同序列的影像:T1 加權(quán)、T1 加權(quán)脂肪飽和、T2加權(quán)。 結(jié)果表明，其MAE 為(79.2 ± 13.0) HU，PSNR 為28.8 ± 1.2，影像轉(zhuǎn)換性能好于經(jīng)典的UNet 影像轉(zhuǎn)換網(wǎng)絡(luò)。

3.4 合成CT 影像對(duì)放療計(jì)劃劑量計(jì)算的影響評(píng)估

臨床上，MR 影像轉(zhuǎn)換為CT 影像的目的是為了放療計(jì)劃劑量計(jì)算和劑量分布優(yōu)化。 因此通過(guò)患者合成CT 影像計(jì)算的放療計(jì)劃劑量值是否準(zhǔn)確是關(guān)鍵。 近期Chen 等[59]對(duì)采用U-Net 網(wǎng)絡(luò)合成的CT 影像計(jì)算腫瘤放療計(jì)劃劑量的準(zhǔn)確性進(jìn)行了評(píng)估:根據(jù)合成CT 影像計(jì)算的91 例前列腺癌患者調(diào)強(qiáng)放療(IMRT)計(jì)劃劑量分布，其1%1 和2%2 mm準(zhǔn)則下的γ 通過(guò)率[62]分別超過(guò)98.03%和99.36%，平均絕對(duì)點(diǎn)劑量差分別小于0.4%和0.6%。 Neppl等[60]比較了根據(jù)2 D U-Net 和3 D U-Net 網(wǎng)絡(luò)合成的CT 影像計(jì)算的快速容積弧形旋轉(zhuǎn)調(diào)強(qiáng)放療(volumetric arc intensity modulated radiotherapy，VMAT)對(duì)應(yīng)的計(jì)劃劑量可行性:光子治療計(jì)劃1%1 mm和質(zhì)子治療計(jì)劃2%2 mm 三維伽馬通過(guò)率均可達(dá)95%以上。 Maspero 等[41]研究了同一轉(zhuǎn)換網(wǎng)絡(luò)cGAN 生成的相同部位的CT 影像在不同腫瘤類型VMAT 放療計(jì)劃劑量計(jì)算上的差異，其中包括59名前列腺癌患者、18 名直腸癌患者和14 名宮頸癌患者。 隨機(jī)使用32 名前列腺癌患者的影像數(shù)據(jù)進(jìn)行訓(xùn)練，并隨機(jī)使用每種癌癥中的10 名患者影像數(shù)據(jù)作為測(cè)試集。 實(shí)驗(yàn)結(jié)果表明:3 種癌癥患者放療計(jì)劃劑量分布的2%2 和3%3 mm 三維伽馬通過(guò)率均可達(dá)94%以上。

Largent 等[61]比較了根據(jù)不同的MRI 到CT 影像轉(zhuǎn)換合成網(wǎng)絡(luò)(U-Net 或GAN)和同一網(wǎng)絡(luò)在使用不同損失函數(shù)訓(xùn)練后合成的CT 影像，計(jì)算39 組前列腺癌患者放療計(jì)劃劑量:根據(jù)GAN 或者U-Net 網(wǎng)絡(luò)轉(zhuǎn)換合成的CT 影像計(jì)算的放療劑量不確定度均小于0.6%。 1%1 mm 三維伽馬通過(guò)率均可達(dá)99%以上。

4 未來(lái)研究方向和研究?jī)?nèi)容

目前，惡性腫瘤放療先進(jìn)技術(shù)主要包括IMRT、VMAT、螺旋斷層調(diào)強(qiáng)放療Tomotherapy、IGRT、劑量引導(dǎo)放療、質(zhì)子和重離子放療。 智能化、個(gè)性化、精確化、自適應(yīng)放療計(jì)劃是腫瘤放療的未來(lái)趨勢(shì)。

腫瘤智能放療IRT 建立在腫瘤CT、CBCT、MRI、PET/CT、PET/MRI 等現(xiàn)代醫(yī)學(xué)影像和人工智能技術(shù)之上。 成功實(shí)施智能放療，可以獲得高度物理和生物學(xué)適形的劑量分布和陡峭的劑量梯度，最大限度地提高腫瘤局控率和避免正常組織器官損傷，但其前提條件是精確的靶區(qū)分割、精確的放療計(jì)劃和精確的計(jì)劃執(zhí)行。

由于復(fù)雜和多樣的惡性腫瘤生物學(xué)特性、5～7周時(shí)間內(nèi)分多次執(zhí)行的放療方式和復(fù)雜的腫瘤與危及器官放療響應(yīng)生化和物理機(jī)理，目前，還沒(méi)有一個(gè)臨床上高效可行的惡性腫瘤CT、CBCT、MRI 、PET 放療靶區(qū)分割、影像配準(zhǔn)與轉(zhuǎn)換方法，這是當(dāng)前實(shí)施高精度智能調(diào)強(qiáng)放療的技術(shù)瓶頸之一，也是未來(lái)的研究重點(diǎn)內(nèi)容之一。 未來(lái)智能放療的主要研究方向是:聯(lián)合腫瘤放療計(jì)劃過(guò)程中的所有可用醫(yī)學(xué)影像，通過(guò)深度學(xué)習(xí)等新一代人工智能技術(shù)和方法，建立腫瘤多模態(tài)影像高質(zhì)量成像模型、配準(zhǔn)與轉(zhuǎn)換模型和放療靶區(qū)分割模型，進(jìn)一步提出放療劑量分布預(yù)測(cè)模型和放療療效預(yù)測(cè)模型，實(shí)現(xiàn)實(shí)時(shí)自適應(yīng)放療計(jì)劃多目標(biāo)智能優(yōu)化和精確執(zhí)行，解決腫瘤智能放療關(guān)鍵技術(shù)瓶頸的科學(xué)問(wèn)題。 未來(lái)幾年腫瘤放療靶區(qū)分割、多模態(tài)影像配準(zhǔn)和轉(zhuǎn)換的重點(diǎn)研究?jī)?nèi)容如下:

1) 跨模態(tài)影像腫瘤靶區(qū)高精度分割生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)建模方法；

2) 聯(lián)合多模態(tài)影像腫瘤靶區(qū)高精度分割生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)建模方法；

3) 腫瘤放療多模態(tài)影像高精度配準(zhǔn)的多級(jí)深度神經(jīng)網(wǎng)絡(luò)無(wú)監(jiān)督學(xué)習(xí)建模方法；

4) 腫瘤放療多模態(tài)影像高精度配準(zhǔn)、轉(zhuǎn)換和分割多任務(wù)的生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)建模方法。

5 結(jié)論

本文基于近十年相關(guān)學(xué)者對(duì)腫瘤精確放療計(jì)劃領(lǐng)域的研究分析和近幾年國(guó)內(nèi)外最新的有關(guān)研究成果，系統(tǒng)性地綜述了惡性腫瘤放射治療的現(xiàn)狀與發(fā)展趨勢(shì)，重點(diǎn)論述了深度學(xué)習(xí)技術(shù)和方法在多模態(tài)影像引導(dǎo)腫瘤精確放射治療計(jì)劃中的應(yīng)用研究的成果，并分析了存在的關(guān)鍵科學(xué)問(wèn)題和發(fā)展趨勢(shì)，隨后提出了未來(lái)幾年腫瘤放療靶區(qū)分割、多模態(tài)影像配準(zhǔn)與轉(zhuǎn)換的重要研究方向和重點(diǎn)研究?jī)?nèi)容。