陳 浩，秦志光，丁 熠

（電子科技大學(xué)信息與軟件工程學(xué)院，成都610054）（*通信作者電子郵箱qinzg@uestc.edu.cn）

0 引言

腦膠質(zhì)瘤是最常見的原發(fā)性腦腫瘤，具有很強的侵略性和很高的致死率。根據(jù)世界衛(wèi)生組織（World Health Organization，WHO）的腦腫瘤分級制度，可以將腦腫瘤分為四級，其中一、二級腫瘤被稱為低級別腫瘤，三、四級腫瘤被稱為高級別腫瘤。高級別腫瘤患者平均壽命往往只有兩年。因此，早發(fā)現(xiàn)、早治療往往能夠大幅提高病人壽命。在臨床中，核磁共振成像（Magnetic Resonance Imaging，MRI）技術(shù)是最常用的腦腫瘤診斷技術(shù)。目前，四種MRI 成像技術(shù)經(jīng)常用于實際臨床診斷上，分別是T1加權(quán)成像（T1-weighted MRI，T1）、釓增強對比的T1 加權(quán)（T1-weighted MRI with gadolinium enhancing contrast，T1c）、T2 加權(quán)成像（T2-weighted MRI，T2）和液體衰減反轉(zhuǎn)恢復(fù)的T2 加權(quán)成像（T2-weighted MRI with FLuid-Attenuated Inversion Recovery，F(xiàn)LAIR）。由于病人MRI圖像數(shù)量巨大，醫(yī)生手動標注腦腫瘤耗時且效率低下，因此基于機器學(xué)習的自動腦腫瘤分割在輔助醫(yī)生診斷、手術(shù)規(guī)劃及術(shù)后恢復(fù)效果評估等方面具有巨大的作用。

近年來，許多基于機器學(xué)習的半自動化或自動化方法被用于腦腫瘤分割，這些方法往往基于聚類［1-4］、圖模型［5-8］以及隨機森林［9-11］等學(xué)習模型。但這些方法所依賴的特征常常是人工設(shè)計的特征。隨著深度學(xué)習在圖像、音頻及自然語言等很多領(lǐng)域取得一系列的成功，深度神經(jīng)網(wǎng)絡(luò)也廣泛應(yīng)用在腦腫瘤分割上。文獻［12］采用小的卷積核及減少下采樣層構(gòu)建了較深的卷積神經(jīng)網(wǎng)絡(luò)來分割腦腫瘤；在此基礎(chǔ)上，文獻［13-16］采用了多尺度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)腦腫瘤分割。此外基于U 型網(wǎng)絡(luò)（U-Net）［17］、全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）［18-19］及對抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［20-21］等網(wǎng)絡(luò)結(jié)構(gòu)的腦腫瘤分割算法也被廣泛應(yīng)用。這些算法的訓(xùn)練及測試都是基于四種模態(tài)的腦腫瘤影像，也就是將輸入的四種模態(tài)數(shù)據(jù)經(jīng)過多層卷積及非線性激活函數(shù)映射到一個特征空間中，并利用提取到的特征完成腦腫瘤的分割，但在實際中，若缺少一種或多種模態(tài)數(shù)據(jù)時，會導(dǎo)致訓(xùn)練好的網(wǎng)絡(luò)無法正確提取特征，從而導(dǎo)致無法正確分割腦腫瘤，一種解決方式就是在訓(xùn)練時候隨機選取多種模態(tài)的數(shù)據(jù)，但這會增加訓(xùn)練時間。因此，本文提出了一種新的方法，就是將每一模態(tài)的圖像經(jīng)過同一個神經(jīng)網(wǎng)絡(luò)映射到同一個特征空間中，并將多個模態(tài)的特征結(jié)合起來進行腦腫瘤分割。

本文詳細討論了基于同一空間的多模態(tài)腦腫瘤分割方法在腦腫瘤分割上的表現(xiàn)，并討論了在數(shù)據(jù)缺失及增加的情況下，常規(guī)多模態(tài)分割方法及本文方法在腦腫瘤分割上的表現(xiàn)。此外，本文詳細討論了常規(guī)多模態(tài)分割算法及本文方法使用隨機選擇模態(tài)的訓(xùn)練方法的結(jié)果表現(xiàn)。

1 相關(guān)工作

深度學(xué)習目前已廣泛應(yīng)用在腦腫瘤分割上，其中最常用的網(wǎng)絡(luò)為深度卷積神經(jīng)網(wǎng)絡(luò)?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)的分割方法根據(jù)輸入及輸出方式，可以分為兩類：一類是基于塊的腦腫瘤分割；另一類是端對端的腦腫瘤分割。圖1 展示了目前常用的基于深度卷積神經(jīng)網(wǎng)絡(luò)多模態(tài)腦腫瘤分割方法的基本框架，在基于塊的腦腫瘤分割方法中，網(wǎng)路的輸入是以滑動窗口方式從圖像中選取的固定大小的塊，然后使用多層卷積層獲取圖像塊的特征，并利用該特征分類該像素塊中心點的類別；端到端的腦腫瘤分割方法則是采用編碼-解碼的方式，輸入是整幅圖像或圖像塊，經(jīng)過卷積層編碼提取特征，然后通過解卷積層或卷積層進行解碼，最終獲得整幅圖像或圖像塊中每個像素點的類別概率。文獻［12］提出了一個單尺度的二維卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了基于塊的腦腫瘤分割。但是單尺度特征并不能很好地表示不同的腦腫瘤組織，因此文獻［13-16］提出了使用不同大小的塊及采用不同大小的卷積核來獲取多尺度特征，并將多尺度特征聯(lián)合起來對中心像素點進行分類。上述方法都是基于二維的塊，雖然可以減少大量的顯存占用，但是二維塊缺乏圖像之間的上下文信息，因此文獻［22］提出了三維多尺度卷積神經(jīng)網(wǎng)絡(luò)來提取三維體素的多尺度特征。雖然基于塊的腦腫瘤分割方法占用顯存較少，但是由于滑動窗口的原因，導(dǎo)致存在大量的重復(fù)計算，耗時較高。不過基于塊的方法可以通過平衡不同腫瘤組織塊及正常腦組織塊的數(shù)量，極大減輕數(shù)據(jù)不均衡問題。

不同于基于塊的腦腫瘤分割方法，端到端的腦腫瘤分割方法則是將整幅圖片或部分圖片作為輸入，輸出同樣大小的概率圖。端到端的腦腫瘤分割方法主要基于FCN、U-Net 及GAN 等網(wǎng)絡(luò)。輸入圖像通過多層卷積層來獲取不同尺度的特征，然后網(wǎng)絡(luò)利用上采樣或者雙線性插值的方法來獲取每個像素點的特征，并利用這些特征獲取像素點的類別概率。文獻［17-19］給出了基于FCN 或U-Net 網(wǎng)絡(luò)的腦腫瘤分割方法。文獻［20-21］提出了基于GAN 的腦腫瘤分割方法，其中前一個利用GAN 生成多種虛擬的腦腫瘤圖像作為一種數(shù)據(jù)增強方法，后一個直接利用GAN 生成多個分割結(jié)果。類似于基于塊的多尺度方法，文獻［23-24］提出了多層次方法。在端到端的分割網(wǎng)絡(luò)中，低層卷積層獲取的特征往往是低級特征且對應(yīng)的輸入圖像區(qū)域較小，高層卷積層獲取的特征往往是高級特征且對應(yīng)較大的輸入圖像區(qū)域，因此，多層次方法是將低級特征同高級特征結(jié)合起來，從而得到更豐富的特征來分割腦腫瘤。相較于基于塊的分割方法，端到端的分割方法更加方便快捷，但端到端的方法易受數(shù)據(jù)不均衡問題的困擾。

不論是端到端的多模態(tài)腦腫瘤分割方法還是基于塊的多模態(tài)腦腫瘤分割方法，這些方法都是將多模態(tài)的腦腫瘤影像聯(lián)合起來提取特征，若存在一個或多個模態(tài)缺失，將導(dǎo)致網(wǎng)絡(luò)無法正確提取特征。

2 網(wǎng)絡(luò)模型

本文提出的多模態(tài)分割方法不同于常用的多模態(tài)分割方法，本文是利用卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力，采用相同的神經(jīng)網(wǎng)絡(luò)單獨獲取不同模態(tài)數(shù)據(jù)的特征，并將不同模態(tài)在同一特征空間下的特征結(jié)合起來用于分割腦腫瘤。因此，本文提出的模型包含兩個部分（如圖2 所示）：一個為特征提取部分；一個是融合分割部分。特征提取部分用來提取每一個模態(tài)的特征，融合分割部分則是將每一模態(tài)的特征結(jié)合起來用于分割腦腫瘤。

圖2 所提網(wǎng)絡(luò)總體框架Fig.2 Overall framework of the proposed network

2.1 特征提取

特征提取部分采用了編碼-解碼的方式來提取不同模態(tài)的特征，網(wǎng)絡(luò)主要包含兩個部分，分別是自底而上的特征提取過程和自上而下的特征提取過程。如圖3 所示，自底而上的特征提取過程的輸入為單一模態(tài)的圖像數(shù)據(jù)，輸入圖像經(jīng)過多個3×3 卷積層來獲得不同層次的特征，其中底層卷積層獲取的特征往往是低級特征，高層卷積層獲取的特征往往是高級特征。為了更好地獲取不同層次的特征，本文采用了最大池化的下采樣方法來壓縮低層特征，并將低層特征同高層特征結(jié)合起來，從而更加有效地融合不同層次的特征。自上而下的特征提取過程可以看作是解碼過程，也就是利用高層特征逐步獲取每一個像素點的特征。該過程由一系列的3×3解卷積層組成。此外，類似于自底而上的特征提取過程，自上而下的過程同樣采用了多層次的方法，高層特征通過雙線性插值的方式得到高分辨率特征，并同該層特征連接起來獲取下一層特征，最終經(jīng)過Sigmoid激活函數(shù)得到輸入圖像每個像素點對應(yīng)的特征，最后一層的特征圖數(shù)就是特征空間大小。

圖3 特征提取Fig.3 Feature extraction

2.2 融合分割

本文采用了四種模態(tài)的腦腫瘤影像，每一模態(tài)的影像通過特征提取部分得到其在同一特征空間下的每個像素點的特征，設(shè)四種模態(tài)影像同一位置的像素點經(jīng)過特征提取部分得到的特征向量為{a11，a12，…，a1M，a21，a22，…，a2M，…，a4M}，其中{ai1，ai2，…，aiM}表示第i（i∈[1，4]）種模態(tài)影像經(jīng)過特征提取模塊提取的特征向量，M表示特征空間大小。將該特征向量作為輸入，經(jīng)過一層全連接層后采用softmax 分類獲得最終分割結(jié)果。由于本文采用softmax 分類，因此，損失函數(shù)選擇為softmax交叉熵損失函數(shù)，其表示為：

其中：yi為標簽的真值；pi為像素點被分成正確類別的概率；N為單個模態(tài)樣本的數(shù)量。

此外，在本文中，將每一個模態(tài)影像通過網(wǎng)絡(luò)映射到同一特征空間，該特征空間具有多個屬性，本文希望每個模態(tài)影像映射過來后具有確切的屬性，即盡量取0 或取1，因此加入了信息熵來迫使影像映射后具有特定的屬性。該損失函數(shù)為：

其中：pij為第i個像素點在第j屬性空間下的值。

因此綜上所述，網(wǎng)絡(luò)最終損失函數(shù)表示為：

其中：α1、α2為網(wǎng)絡(luò)超參數(shù)。

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)集及評價指標

本文實驗的數(shù)據(jù)來源于腦腫瘤公開數(shù)據(jù)集BRATS 2015，該數(shù)據(jù)集包含兩個子集，分別是訓(xùn)練集和測試集。其中，訓(xùn)練集分為高級別腫瘤和低級別腫瘤，高級別腫瘤有220 個病人影像，低級別腫瘤有57 個病人影像。測試集則是混合了高級別腫瘤和低級別腫瘤，共有110 個病人影像。無論是訓(xùn)練集還是測試集，每個病人影像有四種模態(tài)數(shù)據(jù)，每個病人的影像大小為155×240×240。本文所有方法都是在訓(xùn)練集上進行訓(xùn)練，然后在測試集上測試，所有測試集的分割結(jié)果上傳到Brats網(wǎng)站，并由網(wǎng)站評估結(jié)果。

本文方法的輸入數(shù)據(jù)為4 模態(tài)MRI 圖像，由于采集的設(shè)備不同以及不同模態(tài)MRI 圖像的采集參數(shù)不同，因此不同MRI 圖像的最大灰度值范圍在300～4 000。為了使網(wǎng)絡(luò)更好地工作，對數(shù)據(jù)進行了預(yù)處理。本文采用了文獻［23］中的數(shù)據(jù)預(yù)處理方法：首先對MRI 圖像中的腦組織區(qū)域數(shù)據(jù)進行零均值標準化，其次對所有數(shù)據(jù)進行截取，將其截取到［-5.0，5.0］，然后將數(shù)據(jù)縮放到［0.0，1.0］，最后將原始MRI 圖像中灰度值為0的像素點設(shè)為0。

本文方法是將腦影像分為5 類，分別是正常組織或背景、水腫、壞死、非增強腫瘤和增強腫瘤。但在測試時，是進行三分類測試，其中壞死、非增強腫瘤和增強腫瘤稱為核心腫瘤，核心腫瘤加上水腫區(qū)域為完整腫瘤，三分類測試就是評估完整腫瘤、核心腫瘤和增強腫瘤的分割。

本文采用Dice 系數(shù)來定性地描述分割結(jié)果，令A(yù)和B分別代表了真值和方法的分割結(jié)果，則Dice系數(shù)定義為：

3.2 網(wǎng)絡(luò)超參數(shù)及訓(xùn)練

本文網(wǎng)絡(luò)具體結(jié)構(gòu)已在圖2及圖3中給出，卷積層和解卷積層采用了3×3 卷積核，其中最后一層卷積層的特征圖數(shù)量設(shè)為384，其他卷積層和解卷積層的特征圖數(shù)量設(shè)為128。此外，除了第一層卷積層和最后一層解卷積層，其他卷積層及解卷積層都接一個batch norm 層［25］，網(wǎng)絡(luò)激活函數(shù)采用LReLU函數(shù)。本文采用了Adam 優(yōu)化算法［26］，其momentum設(shè)為0.9。在訓(xùn)練時，網(wǎng)絡(luò)超參數(shù)α1與α2分別設(shè)為1.0 和0.1。網(wǎng)絡(luò)的batch 大小設(shè)為5，網(wǎng)絡(luò)的卷積核參數(shù)由高斯分布N～（0，0.02）進行初始化，網(wǎng)絡(luò)的偏置參數(shù)初始化為0。網(wǎng)絡(luò)的初始學(xué)習率設(shè)為0.003，epoch設(shè)為32，學(xué)習率采用指數(shù)衰減的方式，衰減基數(shù)為0.55，衰減步數(shù)為每4個epoch衰減1次。

3.3 結(jié)果分析

本節(jié)將給出具體的實驗結(jié)果，從三個方面對本文方法進行討論：首先，討論特征空間大小及全連接層大小對結(jié)果的影響；然后，給出數(shù)據(jù)缺失下，在四種模態(tài)上訓(xùn)練的聯(lián)合特征網(wǎng)絡(luò)及本文方法的表現(xiàn)；最后給出隨機選取不同模態(tài)數(shù)據(jù)訓(xùn)練下的各方法表現(xiàn)。

此外，為了更好地對比，本文將特征提取模塊單獨抽離出來作為基準網(wǎng)絡(luò)，該基準網(wǎng)絡(luò)輸入的是四模態(tài)影像，并提取四模態(tài)影像的聯(lián)合特征用來分割腦腫瘤。

3.3.1 特征空間大小與全連接層大小對網(wǎng)絡(luò)的影響

本文提出的網(wǎng)絡(luò)首先是將多個模態(tài)的影像映射到同一特征空間，因此特征空間大小對網(wǎng)絡(luò)將有一定的影響，本節(jié)首先討論特征空間大小對網(wǎng)絡(luò)的影響。

為了討論特征空間大小對網(wǎng)絡(luò)分割結(jié)果的影響，本文首先固定了全連接層大小，將連接層的神經(jīng)元數(shù)目設(shè)為160，特征空間大小改變的結(jié)果展示在圖4中。

圖4 特征空間大小的影響Fig.4 Influence of feature space size

從圖4中可以看出，即使特征空間大小為1，依然可以實現(xiàn)腦腫瘤圖像的分割任務(wù)。當特征空間大小從1 增加到15時，網(wǎng)絡(luò)核心腫瘤和增強腫瘤分割上的表現(xiàn)持續(xù)增加；當繼續(xù)增大特征空間時，有輕微降低，但總體呈上升趨勢。如表1中展示，當全連接層大小為160時，相比選擇大小為25的特征空間，特征空間大小為40 的模型在核心腫瘤和增強腫瘤分割的表現(xiàn)上都有很大的提升。當全連接層大小為200時，特征空間大小為40 的模型在核心腫瘤和增強腫瘤分割的表現(xiàn)上仍然強于特征空間大小為25 的模型。隨著空間大小增加，整體腫瘤的分割結(jié)果則趨于不變，核心腫瘤和增強腫瘤的分割則有上升趨勢。但隨著空間大小的增加，顯存占用也在增加。

此外，在融合分割部分，所有模態(tài)圖像經(jīng)過映射后的特征串聯(lián)在一起，經(jīng)過全連接層，最后得到分類結(jié)果，因此，全連接層的大小對結(jié)果有一定的影響。表1 給出了不同全連接層大小的結(jié)果，當特征空間大小定為25時，隨著全連接層大小的增加，核心腫瘤和增強腫瘤結(jié)果會有所提升，當特征空間大小為40時，全連接層大小增加，也提升了增強腫瘤的分割結(jié)果。

表1 不同的全連接層大小的DSC結(jié)果Tab.1 DSC results of fully connected layers of different sizes

雖然特征大小及全連接層大小的增加會提升腫瘤的分割效果，但不能無限增加，隨著大小的增加，結(jié)果會達到一定的上限。

3.3.2 數(shù)據(jù)缺失下網(wǎng)絡(luò)的表現(xiàn)

目前，絕大多數(shù)腦腫瘤分割算法是基于四種模態(tài)影像來訓(xùn)練的，但當測試時，有一種或多種模態(tài)缺失時，網(wǎng)絡(luò)結(jié)果有什么變化呢？本節(jié)主要討論使用四種模態(tài)影像訓(xùn)練好的網(wǎng)路在數(shù)據(jù)缺失下的表現(xiàn)情況。

首先討論網(wǎng)絡(luò)完全使用四種模態(tài)數(shù)據(jù)訓(xùn)練結(jié)果，表2 反映了基準網(wǎng)絡(luò)和本文方法經(jīng)過四種模態(tài)影像后在缺失FLAIR模態(tài)數(shù)據(jù)時的表現(xiàn)結(jié)果。在該實驗中，本文方法的特征空間大小選為10，全連接層大小選為160，基準網(wǎng)絡(luò)同本文方法都是經(jīng)過全部四種模態(tài)影像訓(xùn)練，在測試時，以去掉FLAIR模態(tài)影像為例，結(jié)果如表2 所示。結(jié)果反映了聯(lián)合提取四種模態(tài)影像特征的方法在數(shù)據(jù)缺失時不能正常地完成分割，而本文方法雖然表現(xiàn)下降較多，但是對數(shù)據(jù)缺失有一定的抵抗能力。

表2 網(wǎng)絡(luò)在缺失FLAIR模態(tài)數(shù)據(jù)時的DSC結(jié)果Tab.2 DSC results of networks without FLAIR modal data

為了抵抗數(shù)據(jù)缺失，對于基準網(wǎng)絡(luò)，可以采用在訓(xùn)練時隨機選取不同模態(tài)的數(shù)據(jù)進行訓(xùn)練，但這種方式會導(dǎo)致訓(xùn)練時間增加，在同時采用四種模態(tài)數(shù)據(jù)訓(xùn)練時，基準網(wǎng)絡(luò)的epoch大小選為32，當隨機選取不同模態(tài)的數(shù)據(jù)進行訓(xùn)練時，epoch大小選為80，訓(xùn)練時間提升了一倍多。本文方法則是采用了另外一種方式，首先使用完整的四種模態(tài)數(shù)據(jù)進行訓(xùn)練，然后采用隨機選取模態(tài)數(shù)據(jù)的方式對全連接層進行再訓(xùn)練，由于只有一層全連接層，因此大幅度縮減了訓(xùn)練時間。在該實驗中，本文方法的特征空間大小選為40，全連接層大小為200，表3 給出了在隨機選取四種模態(tài)數(shù)據(jù)訓(xùn)練后，采用四種模態(tài)數(shù)據(jù)進行測試的結(jié)果。

表3 網(wǎng)絡(luò)采用不同訓(xùn)練方式的DSC結(jié)果Tab.3 DSC results of networks with different training strategies

由表3 的結(jié)果可以看出，當采用隨機選取模態(tài)數(shù)據(jù)進行訓(xùn)練時，本文方法和基準方法相對于普通訓(xùn)練方式，在核心腫瘤分割的表現(xiàn)上都有下降，采用所有四種模態(tài)數(shù)據(jù)訓(xùn)練在沒有數(shù)據(jù)缺失時，表現(xiàn)要好于隨機選取模態(tài)數(shù)據(jù)進行訓(xùn)練，此外，訓(xùn)練時間也較短。從表3中看出，本文方法通過隨機訓(xùn)練全連接層，在整體腫瘤分割上達到了基準方法的表現(xiàn)。

上述討論了網(wǎng)絡(luò)在隨機選取模態(tài)訓(xùn)練后使用四種模態(tài)數(shù)據(jù)測試的結(jié)果，接下來討論網(wǎng)絡(luò)在隨機選取模態(tài)訓(xùn)練后在缺失不同模態(tài)數(shù)據(jù)下的表現(xiàn)，其結(jié)果由表4 給出。從結(jié)果中可以看出，不同模態(tài)數(shù)據(jù)的缺失對網(wǎng)絡(luò)有不同的影響，其中整體腫瘤分割更加依賴FLAIR 模態(tài)，而核心腫瘤和增強腫瘤分割更加依賴T1c 模態(tài)。此外，從結(jié)果看，本文方法相比基準方法更加依賴FLAIR 模態(tài)與T1c模態(tài)，容易忽略掉T1和T2模態(tài)的特征，在缺失T1 模態(tài)或T2 模態(tài)時，本文方法在整體腫瘤分割表現(xiàn)上要優(yōu)于基準方法，同時本文方法雖在核心腫瘤及增強腫瘤分割中的表現(xiàn)弱于基準方法，但本文在訓(xùn)練上較基準方法更靈活且在數(shù)據(jù)缺失時調(diào)整網(wǎng)絡(luò)更加方便。

表4 數(shù)據(jù)缺失下網(wǎng)絡(luò)采用隨機數(shù)據(jù)選取訓(xùn)練方式的DSC結(jié)果Tab.4 DSC results of networks with random data selection training methods under data missing

此外，本方法比基準方法更靈活，當新增模態(tài)數(shù)據(jù)時，基準方法需要重新訓(xùn)練整個網(wǎng)絡(luò)，而本文方法則只需訓(xùn)練融合分割層。從表5中可以看出，在增加新的模態(tài)數(shù)據(jù)時，雖然本文方法效果并不理想，但本文方法僅通過重新訓(xùn)練融合分割層即可應(yīng)對新增模態(tài)下的腦腫瘤分割。

表5 新增模態(tài)數(shù)據(jù)時本文方法的DSC結(jié)果Tab.5 DSC results of the proposed method when adding new modal data

4 結(jié)語

在實際應(yīng)用中，腦腫瘤分割面臨一個模態(tài)數(shù)據(jù)缺失及增加的問題，本文主要研究了網(wǎng)絡(luò)在數(shù)據(jù)缺失及增加下的表現(xiàn)情況。因此，不同于現(xiàn)有網(wǎng)絡(luò)通過提取多模態(tài)數(shù)據(jù)的聯(lián)合特征來實現(xiàn)腦腫瘤分割，本文提出了一種將不同模態(tài)影像數(shù)據(jù)通過同一網(wǎng)絡(luò)映射到同一特征空間并聯(lián)合這些特征實現(xiàn)腦腫瘤分割的方法。當選取所有模態(tài)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，多模態(tài)聯(lián)合的神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)缺失時無法正常分割，而本文方法依舊可以實現(xiàn)腦腫瘤分割；當隨機選取不同模態(tài)數(shù)據(jù)訓(xùn)練時，多模態(tài)聯(lián)合的方法雖然效果整體都不錯，但往往消耗較長的訓(xùn)練時間，而本文方法則僅僅通過訓(xùn)練調(diào)整融合分割層來實現(xiàn)。此外，本文方法在新增模態(tài)數(shù)據(jù)下也有靈活的調(diào)整方式。然而，本文方法在分割網(wǎng)絡(luò)中針對特定任務(wù)往往依賴于某一模態(tài)數(shù)據(jù)，因此在未來工作中，將研究如何在融合分割層中更好地融合不同模態(tài)的特征。