鐘喬鑫，趙毅忠，張飛燕，陸雪松

作者單位 中南民族大學(xué)生物醫(yī)學(xué)工程學(xué)院，武漢 430074

0 引言

心血管疾病是全球范圍內(nèi)的重要健康問題，早期的診斷和治療對于降低致死率有極大的幫助。MRI技術(shù)為心臟的解剖和功能成像提供了一種重要的途徑[1]。例如，心臟磁共振（cardiac magnetic resonance, CMR）的平衡穩(wěn)態(tài)自由進(jìn)動（balanced-steady state free precession, bSSFP）序列能夠清晰地捕捉到心臟運(yùn)動和各子結(jié)構(gòu)的邊界[2]，晚期釓增強(qiáng)（late gadolinium enhancement, LGE）序列能夠顯示出心肌的梗死區(qū)域[3]，T2WI 序列能夠顯示急性損傷和缺血區(qū)域。通?？赏ㄟ^這些多模態(tài)CMR 圖像的分割計算一些參數(shù)指標(biāo)，定量評估患者的心臟功能，實現(xiàn)心血管病的精準(zhǔn)診療。

臨床上依靠人工對CMR 圖像中的目標(biāo)手動分割極其耗時，工作效率低下，分割結(jié)果因人而異，可重復(fù)性差[4]。因此，計算機(jī)半自動或全自動分割方法一直是醫(yī)學(xué)圖像處理的研究熱點(diǎn)之一[5]。然而，多模態(tài)CMR 圖像中固有的限制給分割帶來挑戰(zhàn)：（1）個體間心臟的形狀、大小和位置差異較大；（2）由于噪聲和病灶的原因，心臟各子結(jié)構(gòu)的邊界不太明顯；（3）各模態(tài)間圖像存在灰度不一致現(xiàn)象[6]。

目前，基于深度學(xué)習(xí)的方法在醫(yī)學(xué)圖像分割領(lǐng)域占據(jù)領(lǐng)先地位[7]。ZHOU 等[8]重新設(shè)計U 型網(wǎng)絡(luò)框架的跳躍連接借助卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）提出一種新的架構(gòu)UNet++用于語義和實例分割。ISENSEE等提出一種nnUNet分割方法，它無需人工干預(yù)，能夠?qū)π氯蝿?wù)的數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)架構(gòu)、訓(xùn)練和后處理進(jìn)行參數(shù)自動配置[9]。有研究首次采用ViT（vision transformer）[10]替換U-Net的瓶頸層，提升了腹部和心臟圖像的分割精度[11]。還有研究利用Swin Transformer[12]作為基本單元構(gòu)建U 型網(wǎng)絡(luò)的編碼器和解碼器，分割實驗結(jié)果表明這種純Transformer 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)于CNN 與Transformer 相結(jié)合的混合結(jié)構(gòu)[13]。HUANG等[14]利用卷積操作構(gòu)造一個前饋網(wǎng)絡(luò)，以此替換經(jīng)典Transformer 中的多層感知器（multi-layer perceptron, MLP），有效地獲取長距離依賴和局部上下文用于醫(yī)學(xué)圖像分割。

對于多模態(tài)圖像分割，大多數(shù)深度學(xué)習(xí)方法都是針對每種模態(tài)分別構(gòu)建網(wǎng)絡(luò)模型完成任務(wù)，沒有利用模態(tài)間共有的信息。CHEN等[15]將多序列腦部MRI圖像配準(zhǔn)到同一空間，以通道的形式輸入到殘差網(wǎng)絡(luò)實施分割。LI等[16]將已對齊的多模態(tài)MRI圖像送入多尺度上下文全卷積網(wǎng)絡(luò)（fully convolutional network,FCN），實現(xiàn)椎間盤的定位和分割。MORRIS等[17]利用良好的軟組織對比MRI，通過3D U-Net 完成放療中平掃CT 心臟子結(jié)構(gòu)的分割。DOLZ 等[18]首先為每類模態(tài)圖像單獨(dú)構(gòu)建網(wǎng)絡(luò)通路進(jìn)行特征學(xué)習(xí)，然后在語義層實施模態(tài)融合完成腦部組織的分割任務(wù)。WANG 等[19]提出一種Conjugate FCN 框架執(zhí)行腹部多器官分割，它從多模態(tài)圖像中提取成對樣本進(jìn)行學(xué)習(xí)，借助融合模塊實現(xiàn)信息互補(bǔ)。盡管這些方法通過不同的融合策略實現(xiàn)了模態(tài)間的信息共享，但是它們在預(yù)處理階段大都需要配準(zhǔn)操作。配準(zhǔn)是一種常用的技術(shù)，它將來自不同成像設(shè)備或成像時間點(diǎn)的多個圖像對齊到統(tǒng)一坐標(biāo)系中，這對于結(jié)合不同模態(tài)圖像的互補(bǔ)信息進(jìn)行精確的組織分割特別重要。配準(zhǔn)使得來自不同模態(tài)的圖像能夠在相同的空間坐標(biāo)系下進(jìn)行分析，從而可以結(jié)合不同模態(tài)圖像的互補(bǔ)信息，提高分割的準(zhǔn)確度[15]。但是配準(zhǔn)過程可能會引入誤差，特別是當(dāng)圖像之間的變形較大時，或者圖像質(zhì)量不佳時，配準(zhǔn)的精確度可能會降低[6]。多模態(tài)圖像配準(zhǔn)通常計算量大，需要較高的計算資源和時間[17]。不同模態(tài)圖像的對比度可能差異很大，這可能會對配準(zhǔn)精度和隨后的分割任務(wù)產(chǎn)生負(fù)面影響[19]。

最近，一些研究者構(gòu)建能夠?qū)W習(xí)跨模態(tài)知識的深度網(wǎng)絡(luò)分割未配準(zhǔn)多模態(tài)圖像。VALINDRIA等[20]研究和展示了利用雙流網(wǎng)絡(luò)進(jìn)行未配準(zhǔn)CT 和MRI交互學(xué)習(xí)的優(yōu)勢。DOU 等[21]提出一種緊湊的網(wǎng)絡(luò)模型用于未配準(zhǔn)多模態(tài)圖像分割，其中內(nèi)部激活層對于每個模態(tài)單獨(dú)歸一化。類似地，ZHOU 等[22]采用非線性形變增廣圖像數(shù)據(jù)，然后送入一個具有雙歸一化層的網(wǎng)絡(luò)模型，從而處理多模態(tài)圖像域自適應(yīng)學(xué)習(xí)的問題。YANG 等[23]設(shè)計一個外部注意模塊去學(xué)習(xí)模態(tài)間的結(jié)構(gòu)語義一致性，該模塊被嵌入到以Transformer 為基本單元的U 型網(wǎng)絡(luò)實施未配準(zhǔn)多模態(tài)圖像分割。CHEN 等[24]利用跨模態(tài)一致性在解剖和語義空間約束深度網(wǎng)絡(luò)模型，從而完成未配準(zhǔn)CT和MRI的半監(jiān)督分割。

在多模態(tài)CMR 圖像分割挑戰(zhàn)中，已有的分割方法大都需要配準(zhǔn)預(yù)處理。針對這一問題，本文擬采用Swin Transformer 與CNN[25]相結(jié)合的方法，構(gòu)建雙流網(wǎng)絡(luò)交替輸入未配準(zhǔn)CMR 圖像，在模態(tài)共享的基礎(chǔ)上完成分割[26]。這種雙流U 型網(wǎng)絡(luò)框架為CMR 圖像的多模態(tài)分割提供了一種有效方法，通過在多模態(tài)信息的交互補(bǔ)充和共享特征的優(yōu)化方面取得了顯著成果，而在共享層引入的Swin Transformer模塊，與簡單的卷積操作相比，能夠更有效地捕捉長距離依賴關(guān)系，利用全局特征更好地處理了個體間心臟的形狀、大小和位置的顯著差異。這一技術(shù)突破為心臟疾病的診斷和治療提供了新的可能性，有望幫助醫(yī)生更準(zhǔn)確地識別心臟病變并提供個性化的治療方案。

1 材料與方法

1.1 雙流網(wǎng)絡(luò)模型的構(gòu)建

本文提出了一種名為雙流Transformer UNet（Double Stream Transformer UNet, DSTUNet）的網(wǎng)絡(luò)架構(gòu)（圖1），旨在有效地從兩種模態(tài)的未配準(zhǔn)圖像中進(jìn)行特征學(xué)習(xí)完成分割任務(wù)。未配準(zhǔn)的多模態(tài)數(shù)據(jù)之間缺乏對應(yīng)關(guān)系，因此在傳統(tǒng)的編解碼器架構(gòu)中難以找到跨模態(tài)的相關(guān)性。為了充分利用不同模態(tài)之間的共性，DSTUNet采用編碼器-共享層-解碼器的流程，通過共享層連接不同模態(tài)的編碼器和解碼器。具體而言，在編碼階段，各模態(tài)圖像被交替地送入各自分支實施編碼，接著所獲取的特征圖都流入共享層，最后共享特征分開流出到各自分支實施編碼。

圖1 雙流網(wǎng)絡(luò)結(jié)構(gòu)。Fig.1 Dual-stream network structure.

編碼器由編碼塊組成，每個編碼塊包含卷積單元（Conv Unit）和步幅卷積（Strided Conv）[27]。如圖2A 所示，卷積單元由2D 卷積（Conv）、批量歸一化（batch normalization, BN）和激活函數(shù)（ReLU）構(gòu)成[28]。特征圖經(jīng)過步幅卷積后，尺寸減半，通道數(shù)翻倍。所有卷積層的步長為1，填充大小為1，內(nèi)核大小為3×3，步幅卷積的內(nèi)核大小不變，步長為2。

圖2 編碼器與解碼器基本單元結(jié)構(gòu)。2A 為卷積單元結(jié)構(gòu)；2B 為上采樣單元結(jié)構(gòu)。Fig.2 Basic unit structures of the encoder and decoder.2A represents the structure of the convolutional unit; 2B represents the structure of the upsampling unit.

共享層的主要作用是在多模態(tài)數(shù)據(jù)中實現(xiàn)信息的共享與交互，從而更好地學(xué)習(xí)到模態(tài)之間的共性信息，有助于提高模型的性能和泛化能力。本文提出的雙流網(wǎng)絡(luò)中，采用二維的Swin Transformer 模塊作為共享層。該模塊具備強(qiáng)大的全局建模能力，能夠有效地捕捉多模態(tài)之間的相似性和聯(lián)系[29]。Swin Transformer 模塊結(jié)構(gòu)如圖3 所示，包括層歸一化（layer normalization, LN）[30]，窗口多頭自注意力（window multi head self attention, W-MSA）[31]，滑動窗口多頭注意力（shift window multi head self attention, SW-MSA）和多層感知機(jī)（multi-layer perception, MLP）層[32]。整體計算過程見式（1）～（4）。

圖3 Swin Transformer模塊結(jié)構(gòu)。LN：歸一化層；W-MSA：窗口多頭自注意力；SW-MSA：滑動窗口多頭注意力；MLP：多層感知機(jī)。Fig.3 Swin Transformer module structure.LN: layer normalization;W-MSA: window multi head self attention; SW-MSA: shift window multi head self attention; MLP: multi-layer perceptron.

W-MSA 和SW-MSA 分別表示使用常規(guī)和移位窗口的多頭自注意力。假設(shè)每個窗口包含M×M 塊，多頭注意力的計算方法見式（5）。

其中，Q、K、V稱為查詢向量、鍵向量、值向量，且Q,K,V∈RM2×d。d為Q、K的維度。B稱為相對位置偏置也稱為偏置矩陣，用于標(biāo)記窗口內(nèi)token 的相對位置關(guān)系[33]，且B∈RM2。

解碼器的主要作用是重建特征和恢復(fù)分辨率[34]。如圖2B 所示，其結(jié)構(gòu)包括上采樣（Upsampling）和跳躍連接。上采樣將低分辨率的特征圖放大，與下采樣特征圖融合[35]。跳躍連接整合淺層和深層特征信息，提高分割準(zhǔn)確性和穩(wěn)定性[36]。然后，恢復(fù)原始分辨率的輸出經(jīng)過Softmax 層產(chǎn)生概率標(biāo)簽映射，最后計算每個類別的最高Softmax 概率得到最終分割結(jié)果[37]。

1.2 驗證實驗

1.2.1 實驗數(shù)據(jù)集

實驗所用數(shù)據(jù)來自2019 年多序列CMR 分割挑戰(zhàn)賽（MS-CMR 2019）的公開數(shù)據(jù)集[6,38]（https://zmiclab.github.io/zxh/0/mscmrseg19/index.html）。它包含了45 例心肌病患者三種模態(tài)（bSSFP、LGE 與T2WI）的CMR圖像數(shù)據(jù)，采用的數(shù)據(jù)集遵守《赫爾辛基宣言》。bSSFP CMR 圖像由8～12 個連續(xù)的心臟切片構(gòu)成，這些切片覆蓋了從二尖瓣環(huán)至心室基底部的整個心室區(qū)域，其典型成像參數(shù)如下：TR 2.7 ms，TE 1.4 ms，層厚8～13 mm，面內(nèi)分辨率重采樣為1 mm×1 mm。LGE CMR 圖像是一種T1 加權(quán)、反轉(zhuǎn)恢復(fù)、梯度回波成像序列，由10～18個切片構(gòu)成，覆蓋心室主體，其典型參數(shù)如下：TR 3.6 mm，TE 1.8 ms，層厚5 mm，面內(nèi)分辨率重采樣為1 mm×1 mm。T2WI CMR是一種T2加權(quán)的黑血譜預(yù)飽和衰減反轉(zhuǎn)恢復(fù)序列，包含較少切片，其典型參數(shù)如下：TR 2000 ms，TE 90 ms，層厚12～20 mm；面內(nèi)分辨率重采樣為1 mm×1 mm。數(shù)據(jù)中左心室（left ventricle, LV）、右心室（right ventricle, RV）和左心室心?。╨eft ventricle muscle,LVM）結(jié)構(gòu)已被專業(yè)醫(yī)師人工勾畫，被視為ground truth。

針對心臟部位分割任務(wù)，將這組數(shù)據(jù)45 個病例按照3∶1∶1 的比例進(jìn)行訓(xùn)練集、驗證集和測試集劃分，采用5-折交叉驗證的方法進(jìn)行模型訓(xùn)練和評估[39]。為了提高模型的訓(xùn)練速度和提高模型的表現(xiàn)能力，所有圖片被中心裁剪為224×224 大小，像素值被歸一化為零均值和單位方差。

1.2.2 實驗環(huán)境

實驗環(huán)境包括軟件和硬件兩個方面，其參數(shù)配置見表1。

表1 實驗環(huán)境Tab.1 Experimental environment

1.2.3 訓(xùn)練優(yōu)化與損失函數(shù)

不同模態(tài)的數(shù)據(jù)具有不同的特征表示和信息表達(dá)方式，本文采用交替的方式輸入兩種模態(tài)的CMR圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練。即在當(dāng)前迭代中某模態(tài)圖像流經(jīng)ENCODER0，Shared Block，DECODER0。在下一次迭代中另一模態(tài)圖像流經(jīng)ENCODER1、Shared Block、DECODER1。訓(xùn)練過程中的每次迭代各模態(tài)圖像都要流過共享層Shared Block。在測試階段，測試圖像通過屬于該模態(tài)的網(wǎng)絡(luò)分支即可推斷分割結(jié)果。

在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中，反向傳播算法是一種常用的優(yōu)化方法，損失函數(shù)是反向傳播算法中的核心部分，它用來衡量神經(jīng)網(wǎng)絡(luò)的預(yù)測值與真實值之間的差距，差距越小損失越小[40]。在訓(xùn)練過程中，通過反向傳播算法不斷優(yōu)化模型，使得損失函數(shù)的值不斷減小，最終達(dá)到最優(yōu)結(jié)果[41]。常用的損失函數(shù)是交叉熵?fù)p失函數(shù)，多分類的交叉熵?fù)p失函數(shù)的計算公式見式（6）。

其中，M表示分類類別的數(shù)量；yic表示樣本i的標(biāo)簽，若屬于類別c則為1，否則取0；pic表示樣本i屬于類別c的概率。

醫(yī)學(xué)圖像分割中常用的損失函數(shù)是Dice-loss 損失函數(shù)，Dice-loss 計算公式見式（7），D的值越接近0說明模型的預(yù)測效果越好[42]。

其中，|A∩B|表示A和B的交集，|A|和|B|分別表示A和B的元素個數(shù)。

在圖像分割任務(wù)中，由于不同類別像素的數(shù)量分布不均，常常會出現(xiàn)類別不平衡的問題。為了解決這個問題，可以采用結(jié)合交叉熵和Dice-loss 的損失函數(shù)[43]。本文使用的損失函數(shù)如公式（8）所示，其中，交叉熵部分用于衡量預(yù)測值與真實值之間的差距，而Dice-loss 部分用于衡量預(yù)測值與真實值之間的相似度[44]。交叉熵?fù)p失函數(shù)能夠有效地處理類別不平衡問題，而Dice-loss 能夠更好地衡量目標(biāo)分割的精度[45]。因此，結(jié)合兩種損失函數(shù)能夠更好地平衡分割模型的精度和魯棒性，提高模型的性能。

其中，α∈(0, 1)，在本文中，α的值為0.5。

1.2.4 對比實驗

為了驗證本文中雙流網(wǎng)絡(luò)模型的優(yōu)越性，本文使用了UNet[27]方法與Swin-Unet[13]方法與本文方法進(jìn)行對比。使用UNet 方法訓(xùn)練時，最大迭代輪數(shù)設(shè)置為200，批大小設(shè)置為4，使用SGD 優(yōu)化器進(jìn)行優(yōu)化，并將初始學(xué)習(xí)率設(shè)置為1e-3。使用Swin-Unet 方法訓(xùn)練時，加載了patch_size為4，window_size為7的預(yù)訓(xùn)練模型，最大迭代輪數(shù)設(shè)置為200，批大小設(shè)置為4，使用SGD 優(yōu)化器進(jìn)行優(yōu)化，并將初始學(xué)習(xí)率設(shè)置為1e-3。使用本文方法訓(xùn)練時，最大迭代輪數(shù)設(shè)置為10 000，批大小設(shè)置為2，使用SGD 優(yōu)化器進(jìn)行優(yōu)化，并將初始學(xué)習(xí)率設(shè)置為1e-3。

1.2.5 消融實驗

為了驗證本文所加模塊的有效性，本文將未加Transformer 模塊的方法，即雙流UNet（Double Stream UNet，DSUNet）與DSTUNet 方法進(jìn)行了消融實驗。進(jìn)行消融實驗時，最大迭代輪數(shù)設(shè)置為10 000，批大小設(shè)置為2，使用SGD 優(yōu)化器進(jìn)行優(yōu)化，并將初始學(xué)習(xí)率設(shè)置為1e-3。

1.2.6 實驗評價指標(biāo)

為了評估分割算法的性能，本文使用了兩個度量指標(biāo)，其中包括Dice 系數(shù)[46]、最大表面距離（max surface distance, MSD）[47]。假設(shè)VA表示預(yù)測分割結(jié)果中的體素，VB表示ground truth 中的體素，得出公式（9）。

假設(shè)SA表示預(yù)測分割結(jié)果所構(gòu)成的面，SB表示ground truth所構(gòu)成的面，則有公式（10）。

d(SB,SA)表示SA中的某點(diǎn)到SB的最近歐式距離。Dice=0 表示兩種分割沒有重疊，Dice=1 表示兩種分割完全一致。Dice 越大表明分割質(zhì)量越好。相反地，MSD越小，表明分割質(zhì)量越高。

1.2.7 統(tǒng)計學(xué)分析

為了評估兩組數(shù)據(jù)間的差異是否具有統(tǒng)計學(xué)意義，本研究采用了Wilcoxon 符號秩檢驗。所有的統(tǒng)計分析均通過Python 編程語言（版本3.7）中的SciPy庫（版本1.7.3）實現(xiàn)，使用了scipy.stats.wilcoxon 函數(shù)來執(zhí)行檢驗。由于樣本數(shù)據(jù)不滿足正態(tài)分布的假設(shè)，且樣本量較小（n=45），此非參數(shù)檢驗方法適合用于對成對樣本的差值進(jìn)行分析[48]，P＜0.05 認(rèn)為差異具有統(tǒng)計學(xué)意義。

2 結(jié)果

2.1 bSSFP模態(tài)與LGE模態(tài)交互訓(xùn)練實驗結(jié)果

為了驗證本文方法在bSSFP 模態(tài)與LGE 模態(tài)交互訓(xùn)練中的有效性，我們將其與UNet、Swin-Unet 方法的測試結(jié)果進(jìn)行了對比。在bSSFP 模態(tài)的CMR圖像分割中，DSTUNet 相較于UNet 與Swin-Unet 的Dice 平均值均有顯著提升（P＜0.001）。在LGE 模態(tài)的CMR 圖像分割中，DSTUNet 相較于Unet 的Dice平均值有顯著提升（P＜0.001），對比Swin-Unet 的Dice 平均值有所提升（P=0.001）。在消融實驗中，與DSUNet 方法相比，bSSFP 模態(tài)的Dice 平均值提升并不明顯（P=0.269），LGE模態(tài)的 Dice平均值有所提升（P=0.021）（表2）。這說明DSTUNet性能的提升可能主要是由于雙流結(jié)構(gòu)促進(jìn)了兩種模態(tài)的交互。此外，我們繪制了箱線圖可視化LVM、LV和RV三個結(jié)構(gòu)分割的Dice 結(jié)果的分布情況（圖4）。在bSSFP 模態(tài)的CMR 圖像分割中，DSTUNet 較UNet 與Swin-Unet，LVM 的Dice 平均值均顯著提升（P＜0.001）（圖4A）。DSTUNet 與DSUNet 相比，在LGE 模態(tài)的CMR 圖像分割中，LVM 的Dice 平均值差異無統(tǒng)計學(xué)意義（P＞0.05）（圖4B）。

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)在bSSFP和LGE兩種模態(tài)下的所有結(jié)構(gòu)Dice系數(shù)平均值及MSD平均值Tab.2 The average Dice coefficient and average MSD of different network structures in the bSSFP and LGE modalities

圖4 bSSFP 與LGE 模態(tài)分割Dice 值箱線圖。4A：bSSFP 模態(tài)在不同網(wǎng)絡(luò)下對不同結(jié)構(gòu)的分割Dice 值箱線圖；4B：LGE 模態(tài)在不同網(wǎng)絡(luò)下對不同結(jié)構(gòu)的分割Dice 值箱線圖。*表示P＜0.05；**表示P＜0.001。LVM：左心室肌；LV：左心室；RV：右心室；bSSFP：平衡穩(wěn)態(tài)自由進(jìn)動；LGE：晚期釓增強(qiáng)。Fig.4 Boxplot of Dice values for segmentation of bSSFP and LGE modalities.4A: Boxplot of Dice values for segmentation of different structures using bSSFP modality across different networks; 4B: Boxplot of Dice values for segmentation of different structures using LGE modality across different networks.* represents P＜0.05; ** represents P＜0.001.LVM:left ventricular myocardium; LV: left ventricle; RV: right ventricle; bSSFP:balanced-steady state free precession; LGE: late gadolinium enhancement.

2.2 bSSFP模態(tài)與T2WI模態(tài)交互訓(xùn)練實驗結(jié)果

為了驗證本文方法在bSSFP模態(tài)與T2WI模態(tài)交互訓(xùn)練中的有效性，我們將其與UNet、Swin-Unet方法的測試結(jié)果進(jìn)行了對比。在bSSFP模態(tài)的CMR圖像分割中，相較于UNet、Swin-Unet 以及消融實驗中的DSUNet 方法，Dice 平均值均有顯著提升（P＜0.001）。在T2WI 模態(tài)的CMR 圖像分割中，DSTUNet 相較UNet 的Dice 平均值有顯著提升（P＜0.001），而對比Swin-Unet 的Dice 平均值有提升（P=0.025）（表3）。這說明DSTUNet 性能的提升可能主要是由于Swin Transformer 作為共享層提取全局特征進(jìn)行交互訓(xùn)練。此外，我們繪制了箱線圖可視化LVM、LV 和RV三個結(jié)構(gòu)分割的Dice 結(jié)果的分布情況（圖5）。在bSSFP 模態(tài)的CMR 圖像分割中，DSTUNet 相較于UNet 與Swin-Unet，LVM 與LV 的Dice 平均值均顯著提升（P＜0.001），并且與DSUNet 相比，LVM 與RV 的Dice 平均值顯著提升（P＜0.001），LV 的Dice 平均值也有提升（P=0.004）（圖5A）。在T2WI 模態(tài)的CMR圖像分割中，DSTUNet 相較于UNet，LVM 與RV 的Dice 平均值顯著提升（P＜0.001），與DSUNet 相比，RV的Dice平均值有提升（P=0.007）（圖5B）。

表3 不同網(wǎng)絡(luò)結(jié)構(gòu)在bSSFP和T2WI兩種模態(tài)下的所有結(jié)構(gòu)Dice系數(shù)平均值及MSD平均值Tab.3 The average Dice coefficient and average MSD of different network structures in the bSSFP and T2WI modalities

圖5 bSSFP 與T2WI 模態(tài)分割Dice 值箱線圖。5A：bSSFP 模態(tài)在不同網(wǎng)絡(luò)下對不同結(jié)構(gòu)的分割Dice 值箱線圖；5B：T2WI 模態(tài)在不同網(wǎng)絡(luò)下對不同結(jié)構(gòu)的分割Dice 值箱線圖。*表示P＜0.05；**表示P＜0.001。LVM：左心室??；LV：左心室；RV：右心室；bSSFP：平衡穩(wěn)態(tài)自由進(jìn)動。Fig.5 Box-and-whisker plots of Dice values for segmentation with bSSFP and T2WI modalities.5A: Boxplot of Dice values for segmentation of different structures using bSSFP modality across different networks; 5B:Boxplot of Dice values for segmentation of different structures using T2WI modality across different networks.* represents P＜0.05; ** represents P＜0.001.LVM: left ventricular myocardium; LV: left ventricle; RV: right ventricle; bSSFP: balanced-steady state free precession.

3 討論

本研究提出了一種雙流方式結(jié)合Swin Transformer的U型網(wǎng)絡(luò)進(jìn)行交互訓(xùn)練和學(xué)習(xí)的深度學(xué)習(xí)架構(gòu)，針對CMR 圖像的多模態(tài)分割問題進(jìn)行了探索性分析。通過實驗驗證，我們發(fā)現(xiàn)模型在Dice 指標(biāo)上取得了顯著提升。本研究的主要創(chuàng)新之處在于無需進(jìn)行配準(zhǔn)預(yù)處理的情況下使用雙流網(wǎng)絡(luò)進(jìn)行交互訓(xùn)練與學(xué)習(xí)，在共享層中讓兩種模態(tài)的信息進(jìn)行交互，緩解了各模態(tài)間圖像存在灰度不一致現(xiàn)象的問題，有效融合多模態(tài)CMR 圖像的信息，并且共享層使用Swin Transformer 模塊，相較于單純的卷積操作能更好地捕捉長距離依賴關(guān)系，利用提取的全局特征有效地處理個體間心臟的形狀、大小和位置差異較大的問題，這在之前的研究中是未被提及的。臨床上，本模型的應(yīng)用有望減少放射科醫(yī)生在心臟圖像分割中的主觀性和不確定性，提供更準(zhǔn)確的心臟病變評估和診斷，為臨床決策提供輔助。

3.1 與現(xiàn)有研究對比

傳統(tǒng)的UNet 模型結(jié)構(gòu)簡明，可以在有限的標(biāo)注數(shù)據(jù)上取得較好的性能，但是由于使用傳統(tǒng)的卷積操作，對于全局的圖像特征提取能力有限[27]。最新的Swin-Unet 模型是基于Transformer 的架構(gòu)，通過自注意力機(jī)制能夠捕捉更豐富的全局信息，相比傳統(tǒng)卷積網(wǎng)絡(luò)，Swin Transformer 能夠根據(jù)任務(wù)動態(tài)調(diào)整感受野，但是處理多模態(tài)的數(shù)據(jù)時需要配準(zhǔn)預(yù)處理才能使多模態(tài)數(shù)據(jù)的特征共享[49]。本文模型可以通過雙流的網(wǎng)絡(luò)方式有效的處理多模態(tài)的信息，在編碼器階段使用卷積提取局部特征，然后在共享層使用Swin Transformer 提取全局特征進(jìn)行交互訓(xùn)練與學(xué)習(xí)，可以更好地提取多模態(tài)數(shù)據(jù)中的全局與局部特征[50]。本文通過對比傳統(tǒng)的UNet 模型，以及對比最新的Swin-Unet 模型驗證無需進(jìn)行配準(zhǔn)預(yù)處理的情況下雙流模型以及共享層對多模態(tài)信息交互的有效性。然后通過消融實驗與DSUNet 進(jìn)行對比來驗證共享層使用Swin Transformer 的全局建模能力的在多模態(tài)分割中的有效性。

3.2 結(jié)果分析

本研究認(rèn)為性能提升主要得益于雙流U 型網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計理念，該結(jié)構(gòu)通過共享層，有效促進(jìn)了不同模態(tài)間特征的交互與互補(bǔ)。CHEN 等[15]通過將多序列腦部MR圖像配準(zhǔn)至同一坐標(biāo)空間，并將其作為輸入通道輸入殘差網(wǎng)絡(luò)進(jìn)行分割，證明了多模態(tài)分割在各個單獨(dú)模態(tài)分割任務(wù)中均能提高Dice 系數(shù)，從而驗證了該方法的有效性。MORRIS 等[17]利用MRI 中良好的軟組織對比度，并通過3D U-Net 實現(xiàn)了放療用平掃CT 中心臟子結(jié)構(gòu)的分割，同樣證明了在CT 心臟子結(jié)構(gòu)分割任務(wù)中Dice系數(shù)的提升，進(jìn)一步驗證了該方法的有效性。在無需圖像配準(zhǔn)的前提下，本研究分別在bSSFP 和LGE 模態(tài)以及bSSFP 和T2WI 模態(tài)的對比實驗中，均發(fā)現(xiàn)本文提出的模型相較于傳統(tǒng)的單流模型UNet 和Swin-Unet，在Dice 系數(shù)上取得了顯著的提升。這一結(jié)果表明通過雙流網(wǎng)絡(luò)進(jìn)行交互式訓(xùn)練可以在無需配準(zhǔn)操作的情況下有效地促進(jìn)不同模態(tài)信息的互補(bǔ)，并融合多模態(tài)CMR圖像的信息。在與DSUNet模型的對比實驗中，本研究的模型在bSSFP和LGE模態(tài)的交互訓(xùn)練中，在LGE模態(tài)的Dice系數(shù)上相較于DSUNet模型實現(xiàn)了顯著的提升；在bSSFP和T2WI模態(tài)的交互訓(xùn)練中，本研究的模型在bSSFP模態(tài)的Dice系數(shù)上也相較于DSUNet模型取得了顯著提升。這些結(jié)果指出，相較于傳統(tǒng)的卷積操作，共享層中使用的Swin Transformer 模塊能更有效地捕捉長距離依賴關(guān)系，并利用提取的全局特征來有效處理個體間心臟的形狀、大小和位置的顯著差異。

3.3 研究的局限性與未來方向

盡管本研究取得了一定的成果，但也存在局限性。首先，性能提升可能受到數(shù)據(jù)集特性的影響，在LGE 圖像中，心臟組織的病變特征具有較大差異性，斑塊與纖維化組織的存在可能增加了分割任務(wù)的難度，進(jìn)而影響了Dice 系數(shù)的穩(wěn)定性。LGE 模態(tài)在不同網(wǎng)絡(luò)下對不同結(jié)構(gòu)的分割Dice 值中異常值的增加便是這一現(xiàn)象的體現(xiàn)。其次，模型的泛化能力仍需在更多和更多樣化的數(shù)據(jù)集上進(jìn)行驗證。未來的研究可以探索將本框架應(yīng)用于其他類型的多模態(tài)醫(yī)學(xué)圖像分割，使模型能夠適應(yīng)更多的場景。其次，注意力機(jī)制可以動態(tài)地為每個輸入位置賦予不同的權(quán)重，使模型更加關(guān)注與當(dāng)前預(yù)測有關(guān)的信息[51]，可以在網(wǎng)絡(luò)中加入注意力機(jī)制，更好地捕捉輸入序列之間的相關(guān)性，進(jìn)一步提升模型的泛化能力[52]。

4 結(jié)論

本文將Swin Transformer 與U 型網(wǎng)絡(luò)相結(jié)合應(yīng)用到CMR分割任務(wù)中，能夠更好地利用CNN局部特征和全局上下文信息，提高分割精度，為醫(yī)生提供更準(zhǔn)確的心臟解剖結(jié)構(gòu)信息，有助于更精準(zhǔn)地診斷和治療心臟疾病，指導(dǎo)治療方案的選擇和調(diào)整。

作者利益沖突聲明：全體作者均聲明無利益沖突。

作者貢獻(xiàn)聲明：陸雪松采集并分析和解釋了數(shù)據(jù)，對文章重要內(nèi)容進(jìn)行了修改；鐘喬鑫起草和撰寫了稿件，參與醞釀、設(shè)計實驗，實施研究和分析解釋數(shù)據(jù)；趙毅忠、張飛燕參與獲取、分析與解釋本研究數(shù)據(jù)，并對文章重要內(nèi)容進(jìn)行了修改。陸雪松獲得國家自然科學(xué)基金項目與湖北自然科學(xué)基金項目資助。全體作者都同意發(fā)表最后的修改稿，同意對本研究的所有方面負(fù)責(zé)，確保本研究的準(zhǔn)確性和誠信。