關(guān)鍵詞：深度學(xué)習(xí);圖卷積神經(jīng)網(wǎng)絡(luò);注意力機(jī)制;醫(yī)學(xué)圖像分割

中圖分類號：TP399 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

醫(yī)學(xué)圖像分割是將原始圖像劃分為不同的類別，然后提取感興趣區(qū)域的過程。準(zhǔn)確的醫(yī)學(xué)圖像分割，是醫(yī)學(xué)圖像分析和臨床診斷中必不可少的前提與基礎(chǔ)。醫(yī)學(xué)圖像分割可以為器官形狀和大小測量提供視覺顯示，這對于疾病的早期檢測和診斷具有重要意義[1-2]。然而，受醫(yī)學(xué)圖像采集設(shè)備的影響，腹部器官和組織之間的灰度值差異接近，導(dǎo)致器官與周圍組織之間的界限相對模糊。此外，不同患者的器官之間存在顯著的個體差異，使得醫(yī)學(xué)圖像分割成為一項具有挑戰(zhàn)性的任務(wù)。為了應(yīng)對這一挑戰(zhàn)，學(xué)者們提出了許多分割方法，包括基于閾值優(yōu)化的分割方法[3]、基于機(jī)器學(xué)習(xí)的分割方法[4]和基于統(tǒng)計形狀模型的分割方法[5]。然而，這些方法依賴于手工特征，并且特征表達(dá)能力有限。本文針對以上問題，通過采用有效自注意力提取空間與通道的特征，利用動態(tài)圖卷積捕獲腹部器官間的動態(tài)拓?fù)湫畔?，同時有效突出腹部器官的特征，解決類間相似性和類內(nèi)差異性的問題。該方法在Amos22數(shù)據(jù)集上實現(xiàn)了3D腹部器官的精準(zhǔn)分割，并取得了較好的結(jié)果。

1 相關(guān)工作（Relation work）

近年來，深度學(xué)習(xí)（DL）方法被廣泛用于解決醫(yī)學(xué)圖像分割問題，特別是基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法，在醫(yī)學(xué)圖像分割方面取得了重大的進(jìn)展。例如，全卷積網(wǎng)絡(luò)（FCN）[6]及其變體（例如U-Net[7]、U-Net++[8]等）在醫(yī)學(xué)圖像分割方面取得了較大的成功。此外，U形網(wǎng)絡(luò)結(jié)構(gòu)和跳躍連接也越來越受到研究人員的關(guān)注。盡管基于CNN的方法被廣泛使用，但是由于其局部感知和共享權(quán)重偏差，所以網(wǎng)絡(luò)仍然受到視野有限的影響，缺乏對遠(yuǎn)程特征相關(guān)性進(jìn)行建模的能力。

近年來，許多研究試圖通過使用Transformer編碼器解決上述問題，Transformer是一種基于注意力的模型，最初用于自然語言處理任務(wù)中序列到序列的預(yù)測[9-10]。在醫(yī)學(xué)圖像分割中，CHEN等[11]首次應(yīng)用Transformer改進(jìn)醫(yī)學(xué)圖像的分割結(jié)果。CAO等[12]將Swin Transformer應(yīng)用于編碼器和解碼器。在編碼器中，實現(xiàn)了從局部到全局的自關(guān)注，在解碼器中，特征圖被上采樣到與輸入分辨率相同的尺寸，實現(xiàn)了像素級分割。MILLETARI等[13]提出了一種基于體積、全卷積神經(jīng)網(wǎng)絡(luò)的三維圖像分割方法，模型在前列腺MRI圖像上進(jìn)行了端到端訓(xùn)練，并實現(xiàn)了一次預(yù)測整個體積的分割。ZHOU等[14]提出了一種3D Transformer，采用3種類型的注意力機(jī)制解決CNN缺乏遠(yuǎn)程建模能力的問題，基于局部和全局體積的自注意力集中于構(gòu)建特征金字塔并提供大的感受野，跳躍注意力負(fù)責(zé)彌補編碼器和解碼器之間的差距。HATAMIZADEH等[15]將Transformer作為編碼器用于學(xué)習(xí)輸入體積的序列表示，有效地捕獲了全局多尺度信息，并將不同分辨率的解碼器特征跳躍連接到解碼器，從而得出最終的語義分割。這是首個專門為3D圖像提出的Transformer分割模型，其在多器官分割的BTCV（Multi-Atlas Labeling Beyond The Cranial Vault）挑戰(zhàn)賽和醫(yī)學(xué)分割十項全能數(shù)據(jù)集（MSD）上展現(xiàn)出了最先進(jìn)的性能。

目前，腹部器官分割已成為醫(yī)學(xué)影像領(lǐng)域的研究熱點，然而大多數(shù)研究主要聚焦于單器官分割任務(wù)，例如對肝臟、腎臟和胰腺等單個器官的分割。由于不同患者多器官的外觀個體差異很大，因此多器官分割比單個器官分割更具挑戰(zhàn)性。圖卷積網(wǎng)絡(luò)（GCN）[16]通過將特征映射到拓?fù)鋱D的節(jié)點和邊上，能夠敏感地捕獲樣本之間的動態(tài)變化[17]，因此被廣泛應(yīng)用于深度學(xué)習(xí)任務(wù)中。此外，GCN通過可學(xué)習(xí)的參數(shù)，能夠動態(tài)地調(diào)整不同區(qū)域特征的重要程度，這種機(jī)制有利于高效提取空間信息，進(jìn)而提升模型在深度學(xué)習(xí)任務(wù)中的性能。因此，醫(yī)學(xué)圖像分割需要利用GCN捕獲不同分割類別之間的動態(tài)拓?fù)潢P(guān)系。

2 方法（Methods）

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1展示了本文方法的網(wǎng)絡(luò)架構(gòu)，該網(wǎng)絡(luò)采用了經(jīng)典的“U”形結(jié)構(gòu)，主要分為編碼器、解碼器和圖卷積3個部分。編碼器端主要包含兩個模塊，即卷積模塊（CNN Block）和有效自注意力模塊（ET Block），卷積模塊采用3D深度卷積提取特征，有效自注意力模塊通過使用空間自注意力和通道自注意力對空間與通道維度上的信息進(jìn)行編碼，有效地學(xué)習(xí)豐富的空間通道特征表示，在每一階段的后面都采用Patch Merging進(jìn)行下采樣。在網(wǎng)絡(luò)底部，先通過區(qū)域池化模塊（Region Pooling）將特征圖投影為圖表示，其中每個節(jié)點都代表不同的器官類型，隨后進(jìn)行圖卷積運算，區(qū)域反池化模塊（Region Unpooling）將圖卷積計算后的圖表示重新投影為語義圖像表示。編碼器和解碼器之間通過跳躍連接傳遞信息，用于合并不同分辨率的輸出，旨在恢復(fù)下采樣操作期間丟失的空間信息，從而預(yù)測更精確的輸出。與編碼器類似，解碼器也包含4個階段，其中每個解碼器階段都包含一個上采樣層，使用Patch Expanding將特征圖的分辨率提高兩倍，通道數(shù)量減少至上一層的50%。因此，將最后一個解碼器的輸出與卷積特征圖進(jìn)行融合，旨在恢復(fù)空間信息并增強特征表示，從而提升模型的分割性能。

3.2 實驗結(jié)果對比

表2顯示了本文方法在Amos22數(shù)據(jù)集上多器官分割結(jié)果的DSC值。為了驗證該方法的有效性，本文將其與現(xiàn)有醫(yī)學(xué)圖像分割方法進(jìn)行比較，包括Unet[7]、TransUnet[11]、nn-Unet[18]、nnFormer[14]、UNETR[15]。表2中加粗的數(shù)據(jù)表示最好的結(jié)果，*表示本文訓(xùn)練的結(jié)果，相關(guān)論文沒有提供在此數(shù)據(jù)集上的訓(xùn)練結(jié)果。由表2的數(shù)據(jù)可知，應(yīng)用本文方法獲得的多器官分割結(jié)果的平均DSC值優(yōu)于比較的方法。具體來說，本文方法的分割結(jié)果在其中12個器官中實現(xiàn)了最高的DSC，包括脾、左腎、右腎、食道、肝、胃、主動脈、下腔靜脈、胰腺、十二指腸、膀胱、前列腺。與之前基于2D的方法（Unet、TransUnet）相比，本文方法在所有的分割部位都達(dá)到了最好的結(jié)果。值得注意的是，本文方法在對膽囊、右腎上腺（R）、左腎上腺（L）的分割中表現(xiàn)不佳，這可能是因為膽囊等器官在醫(yī)學(xué)圖像上表現(xiàn)的比較小，經(jīng)過多次下采樣后，細(xì)節(jié)信息消失不見。然而，本文方法在綜合預(yù)測方面表現(xiàn)最好，這歸功于本文提出的圖卷積神經(jīng)網(wǎng)絡(luò)捕獲了腹部器官間的動態(tài)拓?fù)湫畔⒓霸谘芯恐羞M(jìn)行了有效自注意力機(jī)制長距離的建模。

圖5顯示了3個醫(yī)學(xué)圖像分割網(wǎng)絡(luò)和本文方法之間的直觀比較?？梢杂^察到本文的方法比其他方法取得了更好的結(jié)果。在例子1中，由于分割的器官結(jié)構(gòu)比較簡單，所以本文方法與其他3種方法相比，結(jié)果差距并不是很大，只是在邊緣的細(xì)節(jié)有略微改進(jìn)，但是在例子3中，由于分割器官局部復(fù)雜且分割類別較多，所以其他3種方法在胃上的分割結(jié)果均出現(xiàn)了細(xì)微的錯誤。同樣的現(xiàn)象在例子4中也可以看到，本文方法在肝臟的分割中取得了較好的結(jié)果。

為了進(jìn)一步驗證本文方法的有效性，本文對分割結(jié)果進(jìn)行了3D重建，分割結(jié)果3D可視化如圖6所示。在例子1中，本文方法和nnFormer都取得了比較好的結(jié)果，但TransUNet在三維空間中錯誤地分割了許多分散小點，這是因為TransUNet采用輸入2D切片的方法處理3D醫(yī)學(xué)數(shù)據(jù)集，割裂了數(shù)據(jù)集在空間上的信息。在例子2中可以明顯看出，雖然nnFormer在大多數(shù)器官分割結(jié)果上與本文的方法相似，但是在脾分割結(jié)果的三維表面上存在小坑。綜上所述，除了一些噪聲和局部細(xì)節(jié)損失，本文的分割結(jié)果非常接近真實值。

如圖7所示，在Amos22數(shù)據(jù)集下，本文方法展示了最快的收斂速度，而且隨著迭代次數(shù)的增加，依然保持最好的分割精度。

3.3 消融實驗結(jié)果

為了證明有效注意力機(jī)制（ET）、圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）和區(qū)域池化（Region Pooling）的有效性，本文通過逐步刪除以上模塊進(jìn)行了詳細(xì)的測試。在不同的模塊組合設(shè)置下，獲得了本文方法的6種變體，分別表示為“Baseline”“Baseline+ET”“Baseline+GCN”“Baseline+GCN+Region Pooling”“Baseline+GCN+ET”“Baseline+GCN+ET+Region Pooling”。如表3所示，有效注意力模塊、圖卷積神經(jīng)網(wǎng)絡(luò)和區(qū)域池化模塊在Amos22數(shù)據(jù)集上應(yīng)用后，均能夠有效提升性能。本文的Baseline采用3DUnet架構(gòu)，與Baseline相比，在編碼器中應(yīng)用有效自注意力（Baseline+ET）在DSC上提高了0.65百分點，在HD95上降低了1.94 mm。在網(wǎng)絡(luò)底部中融合圖卷積（Baseline+GCN）的結(jié)果將DSC提高了1.33百分點，將HD95降低了4.84 mm。通過在Baseline中結(jié)合區(qū)域池化和圖卷積（Baseline+GCN+Region Pooling），性能比僅使用圖卷積模塊有了顯著提高。通過將圖卷積和有效自注意力（Baseline+GCN+ET）相結(jié)合，實驗結(jié)果相較于使用單個模塊有一定的提高。通過對3個模塊的有效集成，本文方法（Baseline+GCN+ET+Region Pooling）獲得了最好的結(jié)果，消融實驗有力地證明了該方法融合各模塊的有效性。

4 結(jié)論（Conclusion）

本文提出了一種新穎的3D醫(yī)學(xué)圖像分割網(wǎng)絡(luò)模型，整體結(jié)構(gòu)是在“U”形網(wǎng)絡(luò)的基礎(chǔ)上融合了圖卷積神經(jīng)網(wǎng)絡(luò)和有效自注意力機(jī)制。有效自注意力機(jī)制在提供更大的感受野的同時，降低了一部分參數(shù)量，有效自注意力機(jī)制主要分為空間自注意力和通道自注意力，空間自注意力學(xué)習(xí)空間變換的區(qū)域特征，通道自注意力學(xué)習(xí)通道特征圖之間的相互依賴關(guān)系。在編碼器的底部采用區(qū)域池化提取高級語義特征，將高級圖像表示投影為圖表示。通過圖卷積神經(jīng)網(wǎng)絡(luò)充分捕獲腹部器官間的動態(tài)拓?fù)湫畔?，同時有效突出腹部器官的特征。在上采樣過程中，通過跳躍連接獲取編碼器的信息，以恢復(fù)圖像至原始大小。實驗結(jié)果表明，相較于以前基于2D切片的醫(yī)學(xué)圖像分割方法，本文方法在Amos22數(shù)據(jù)集上的表現(xiàn)有著較大的改進(jìn)。

作者簡介：

王川（1998-），男，碩士生。研究領(lǐng)域：醫(yī)學(xué)圖像處理，人工智能。

李楊（1986-），男，博士，副教授。研究領(lǐng)域：醫(yī)學(xué)圖像處理，深度學(xué)習(xí)。

魏波（1983-），男，博士，副教授。研究領(lǐng)域：優(yōu)化算法理論，人工智能。

蔣明峰（1977-），男，博士，教授。研究領(lǐng)域：深度學(xué)習(xí)與優(yōu)化方法，計算機(jī)圖像處理。