摘" 要： 為了增強(qiáng)腦腫瘤圖像分割算法的泛化能力，提出一種融合共享Net的跨模態(tài)分割框架。該框架包括風(fēng)格轉(zhuǎn)換、跨域訓(xùn)練和自適應(yīng)判別三個(gè)階段。首先，采用貝塞爾曲線進(jìn)行域變換，從多種與源域灰度不同的圖像去模擬不可見的目標(biāo)域；其次，構(gòu)建基于輕量級(jí)尺度注意力模塊的共享Net模型，將多種風(fēng)格的灰度圖像輸入到共享Net中來學(xué)習(xí)不同域的權(quán)重信息；最后，在模型推理時(shí)，通過自適應(yīng)判別器來自適應(yīng)選擇最佳分割結(jié)果。仿真結(jié)果表明，所提共享Net算法能實(shí)現(xiàn)有效泛化的同時(shí)，在分割性能和計(jì)算效率上均優(yōu)于當(dāng)前最先進(jìn)的方法。

關(guān)鍵詞： U?Net； 醫(yī)學(xué)圖像分割； 腦腫瘤； 跨模態(tài)； 域泛化； 貝塞爾曲線

中圖分類號(hào)： TN911.73?34； TP391.41； R739.41" " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A" " " " "文章編號(hào)： 1004?373X（2024）17?0047?06

Cross?modal brain tumor segmentation method based on fusion shared Net

LI Zhigang1， 2， ZHANG Yirong1， 2

（1. College of Artificial Intelligence， North China University of Science and Technology， Tangshan 063210， China;

2. Hebei Key Laboratory of Industrial Intelligent Perception， Tangshan 063210， China）

Abstract： A cross?modal segmentation framework based on shared Net is proposed to enhance the generalization ability of the brain tumor image segmentation algorithm. The framework consists of three stages， including style conversion， cross?domain training and adaptive discrimination. The Bézier curve is used for the domain variation， and the invisible target domain is simulated based on a variety of images whose grayscales are different from the source domain. A shared Net model based on the lightweight scale attention module is constructed， and multiple styles of gray images are input into the shared Net to learn the weight information of different domains. The optimal segmentation results are selected adaptively by an adaptive discriminator during model inference. Simulation results show that the proposed shared Net algorithm can achieve effective generalization， which is superior to the most advanced methods in segmentation performance and computational efficiency.

Keywords： U?Net; medical image segmentation; brain tumor; cross?mode; domain generalization; Bézier curve

0" 引" 言

人腦是人體最重要的部位，它制約著人類生產(chǎn)活動(dòng)的方式。腦腫瘤是危害腦部健康的一大殺手。膠質(zhì)瘤是成年人中最常見的原發(fā)性腦腫瘤，可能起源于神經(jīng)膠質(zhì)細(xì)胞并攻擊周圍其他細(xì)胞組織[1]。盡管神經(jīng)膠質(zhì)瘤的研究取得了相當(dāng)大的進(jìn)展，但對(duì)于患者的診斷效率依然很差，及早發(fā)現(xiàn)及早治療是預(yù)防腫瘤晚期危及生命的最好手段。由于醫(yī)生的手動(dòng)分割依賴主觀能動(dòng)性強(qiáng)，病灶區(qū)域邊界模糊不清、多變不可測(cè)。所以精準(zhǔn)的自動(dòng)化分割應(yīng)運(yùn)而生?，F(xiàn)有的影像學(xué)檢查手段主要包括：磁共振成像（Magnetic Resonance Imaging， MRI）、電子計(jì)算機(jī)斷層掃描（Computed Tomography， CT）、X線等。目前的自動(dòng)分割算法主要在某一種成像模式提高精度，卻忽視了模型本身的泛化性能。比如使用MRI圖像訓(xùn)練某一模型，當(dāng)把模型應(yīng)用到CT圖像上卻表現(xiàn)極差。因此，實(shí)現(xiàn)跨模態(tài)的腦腫瘤自動(dòng)分割對(duì)輔助醫(yī)生手術(shù)治療、提高醫(yī)療水平、促進(jìn)醫(yī)學(xué)研究進(jìn)展具有重要意義。

近年來，隨著人工智能技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）等深度學(xué)習(xí)模型在醫(yī)學(xué)圖像分割領(lǐng)域得到了廣泛關(guān)注[2]。文獻(xiàn)[3]首次提出全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network， FCN）對(duì)自然圖像進(jìn)行分割。受FCN的啟發(fā)，文獻(xiàn)[4]提出了包括編碼器解碼器結(jié)構(gòu)的U?Net對(duì)生物醫(yī)學(xué)圖像進(jìn)行分割。具體地，U?Net結(jié)構(gòu)主要由四部分組成：4個(gè)下采樣模塊構(gòu)成的編碼器、4個(gè)上采樣模塊構(gòu)成的解碼器、拼接模塊和中間橋模塊[5]?，F(xiàn)如今，U?Net模型已經(jīng)成為了醫(yī)學(xué)圖像分割使用最多的模型。為了提高U?Net模型的分割效率，許多研究者都對(duì)U?Net模型進(jìn)行了改進(jìn)創(chuàng)新以適應(yīng)不同場(chǎng)景的需求。文獻(xiàn)[6]提出了基于注意力機(jī)制和跳躍連接加權(quán)的Res?UNet網(wǎng)絡(luò)，以提高模型在嘈雜背景下的變化和處理細(xì)小血管、視盤區(qū)域辨別等能力。為了改善現(xiàn)有CNN可解釋性差的現(xiàn)狀，文獻(xiàn)[7]通過聯(lián)合空間注意模塊、通道注意模塊和尺度注意模塊提出了CA?Net網(wǎng)絡(luò)，實(shí)驗(yàn)表明該網(wǎng)絡(luò)取得了比U?Net更好的分割精度。文獻(xiàn)[8]提出了名為U?Net++的用于語義和實(shí)例分割的神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過有效集合不同深度的U?Net來減少未知網(wǎng)絡(luò)深度并采用跳躍連接結(jié)構(gòu)以聚合不同的語義特征，還結(jié)合了新的剪枝方案來加快推理速度。以上方法雖然提高了某一成像模式內(nèi)的精度和速度，但忽視了對(duì)于不同成像模式的泛化性能。

現(xiàn)階段，一些研究嘗試采用域泛化技術(shù)來提高跨模態(tài)的分割性能。文獻(xiàn)[5]在U?Net的基礎(chǔ)上加入了多尺度特征融合模塊和注意力拼接模塊來增強(qiáng)編碼器特征的判別能力并減少編碼器和解碼器兩者間的語義特征差距。文獻(xiàn)[9]使用了一種新型的正則化函數(shù)對(duì)域泛化概念進(jìn)行編碼。文獻(xiàn)[10]提出了一種新型的無監(jiān)督域適應(yīng)模型，為每一個(gè)域都分配出了一個(gè)單獨(dú)的BN層，從而使得模型能夠獨(dú)自學(xué)習(xí)每個(gè)域的特定信息。為了將有標(biāo)簽的合成數(shù)據(jù)集上學(xué)到的知識(shí)轉(zhuǎn)移到?jīng)]有任何注釋的圖像中，文獻(xiàn)[11]使用對(duì)抗性訓(xùn)練策略來調(diào)整源域和目標(biāo)域之間的分布特征來保持不同域之間語義特征的一致性，從而解決了語義分割任務(wù)的無監(jiān)督域適應(yīng)問題。然而，以上方法取得的泛化性能仍不能令人滿意。

基于此，本文提出了一種共享Net方法，實(shí)現(xiàn)了跨模態(tài)網(wǎng)絡(luò)共享。本文的主要貢獻(xiàn)有：

1） 使用貝塞爾曲線（Bézier Curve，又稱貝茲曲線或貝濟(jì)埃曲線）[12?13]變換出不同的灰度圖像來模擬未知領(lǐng)域圖像以預(yù)測(cè)不可見目標(biāo)域的分割。

2） 為了改善以往U?Net解碼器上采樣的信息丟失問題，提出了基于尺度注意力機(jī)制的輕量級(jí)模塊（Light Scale?attention?based module， LA）。特別的是，該模塊將普通的卷積換成深度可分離卷積以提高訓(xùn)練效率。

3） 共享Net：加入LA模塊的U?Net模型。訓(xùn)練集可以一起輸入共享Net，并分別計(jì)算存儲(chǔ)他們的參數(shù)，在實(shí)際應(yīng)用中可以根據(jù)不同的任務(wù)需求來增加路徑選擇。

4） 在測(cè)試階段使用自適應(yīng)判別器，網(wǎng)絡(luò)可以根據(jù)不同的源域，自適應(yīng)地選擇最合適的分割結(jié)果。

1" 共享Net

1.1" 共享Net網(wǎng)絡(luò)架構(gòu)

本節(jié)主要介紹了共享Net網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。醫(yī)學(xué)圖像大多為灰度圖像，換句話說，各種醫(yī)學(xué)圖像最大的不同就在于他們的灰度值不同。所以實(shí)驗(yàn)可以選用T1、T1ce、T2、Flair中任一源域利用貝塞爾曲線去模擬可能出現(xiàn)的灰度值。訓(xùn)練集首先通過風(fēng)格轉(zhuǎn)換模塊將某一源域圖像生成不同風(fēng)格的灰度圖像。該模塊將生成的這些圖像分為兩類：一類為與原圖風(fēng)格相似的圖像，稱為源相似域；另一類與原圖風(fēng)格相差較大的稱為源不相似域。在實(shí)際的任務(wù)中也可以根據(jù)不同的任務(wù)需求將風(fēng)格轉(zhuǎn)換為更多類；其次把風(fēng)格轉(zhuǎn)換后的所有域一同輸入共享Net并訓(xùn)練模型，經(jīng)過共享Net后，對(duì)不同風(fēng)格的數(shù)據(jù)存儲(chǔ)了不同的權(quán)重信息；在最后的測(cè)試階段，本文開發(fā)了一個(gè)路徑自適應(yīng)選擇模塊，可以根據(jù)不同風(fēng)格的測(cè)試圖片通過自適應(yīng)判別器選擇合適的路徑，以獲得最佳的分割結(jié)果。

1.2" 風(fēng)格轉(zhuǎn)換模塊

在風(fēng)格轉(zhuǎn)換模塊中使用貝塞爾曲線模擬不可見的目標(biāo)域。貝塞爾曲線可以用公式定義為：

[B（t）=i=0nniPi（1-t）n-iti，" "n=3， t∈[0，1]] （1）

式中：[B（t）]表示曲線上某點(diǎn)的坐標(biāo)，[t]為曲線上任意一點(diǎn)，取值為0～1；[n]的取值為3。所以三階貝塞爾曲線就有4個(gè)操縱點(diǎn)，分別是：[P0]、[P1]、[P2]、[P3]，其中[P1]和[P2]是控制點(diǎn)，[P0]和[P3]分別為起點(diǎn)和終點(diǎn)。首先設(shè)置[P0（-1，-1）]、[P3（1，1）]得到一個(gè)遞增函數(shù)，相反，就又得到了一個(gè)遞減函數(shù)；其次將[P0]的值賦給[P1]，[P3]的值賦給[P2]，這樣就得到了兩個(gè)線性函數(shù)曲線，一個(gè)遞增一個(gè)遞減。又隨機(jī)生成了兩個(gè)控制點(diǎn)，再通過翻轉(zhuǎn)，得到四條曲線。最后共得到了六條線性函數(shù)曲線：三條遞增函數(shù)曲線和三條遞減函數(shù)曲線。在醫(yī)學(xué)灰度圖像中，單調(diào)遞增函數(shù)對(duì)圖像的變動(dòng)較小，所以稱三條遞增曲線的圖像為源相似域。相反，另外三條單調(diào)遞減函數(shù)變換的圖像稱之為源不相似域。這樣六類不同風(fēng)格的圖像就可以達(dá)到僅使用少量數(shù)據(jù)就能提高整體模型的泛化能力的目的。

1.3" U?Net+LA模塊

經(jīng)過風(fēng)格轉(zhuǎn)換后的圖片將它們一同輸入到共享Net中，如圖2所示，共享Net是基于U?Net所編寫的。在U?Net原基礎(chǔ)上添加了LA模塊，該模塊可以自動(dòng)學(xué)習(xí)不同尺度特征圖像的特征權(quán)重，用于整個(gè)網(wǎng)絡(luò)的尾部。圖2中將解碼器四個(gè)模塊上的不同尺度特征圖經(jīng)過尺寸調(diào)整后拼接在了一起，經(jīng)過LA模塊，最后通過1×1的卷積得到分割結(jié)果。

LA模塊流程圖如圖3所示。

設(shè)輸入特征圖input為[α]，由于U?Net模型的解碼器4個(gè)模塊的尺度大小不同，為了統(tǒng)一尺度，本文使用了雙線性插值對(duì)特征圖進(jìn)行重新采樣，并且用1×1的卷積核將特征圖壓縮為4個(gè)通道。然后分別將特征圖進(jìn)行全局最大池化和全局平均池化去獲得逐通道的全局信息，并且引入了多層感知（Multiple Layer Perception， MLP）來獲得逐通道注意系數(shù)。隨后將兩條路徑的權(quán)重進(jìn)行相加運(yùn)算，經(jīng)過Sigmoid激活函數(shù)后得到了[β]。為了獲得多尺度逐像素權(quán)重信息，加入了空間注意模塊，其中包含：輸入特征圖通過一個(gè)3×3的卷積運(yùn)算、BN層和ReLU激活函數(shù)、一個(gè)1×1的卷積運(yùn)算、BN層和ReLU激活函數(shù)，再通過Sigmoid激活函數(shù)得到輸出結(jié)果[γ]，[α]、[β]、[γ]相乘后再將結(jié)果和[α]×[β]相加，獲得空間尺度的特征信息，其中每個(gè)卷積層都有4個(gè)通道的輸出。最后將通過空間注意模塊的輸出特征圖[α]×[β]×[γ]與原始輸入到LA模塊的特征圖[α]進(jìn)行加操作。該模塊是具有殘差鏈接的尺度注意模塊，將多個(gè)尺度模塊上的權(quán)重信息進(jìn)行重新采樣再運(yùn)算，提高了整體模型的運(yùn)算精度。所以，最終的輸出結(jié)果為：

[output=α×β×γ+α×β+α] （2）

為了達(dá)到高效訓(xùn)練的目的，將模塊中的所有卷積層替換為深度可分離卷積[14]。深度可分離卷積主要分為逐通道卷積和逐點(diǎn)卷積兩部分。替換后的卷積層在損失一小點(diǎn)精度的前提下大大降低了模型的運(yùn)算成本和參數(shù)數(shù)量，使得模型更具輕量化。

2" 實(shí)驗(yàn)結(jié)果與分析

2.1" 數(shù)據(jù)集和實(shí)驗(yàn)細(xì)節(jié)

本文使用數(shù)據(jù)集BraTS2018進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包括4個(gè)模態(tài)的MRI圖像，尺寸為240×240×155。如圖4所示，從左到右分別是T1加權(quán)像、T1ce像、T2加權(quán)像、Flair液體衰減反轉(zhuǎn)恢復(fù)序列。實(shí)驗(yàn)中，本文選用T2為源域進(jìn)行模型的訓(xùn)練，利用T2模態(tài)變換曲線模擬T1、T1ce、Flair三個(gè)模態(tài)可能出現(xiàn)的灰度值。為了加快訓(xùn)練速度，將數(shù)據(jù)保存為.npy格式，.npy文件是numpy專用的二進(jìn)制格式文件，數(shù)據(jù)以原始未壓縮的格式保存，在加快速率的同時(shí)不會(huì)丟失關(guān)鍵信息。

BraTS2018上的整個(gè)腫瘤區(qū)域、核心區(qū)域和增強(qiáng)腫瘤區(qū)域被合并成了一個(gè)標(biāo)簽進(jìn)行訓(xùn)練。經(jīng)過風(fēng)格轉(zhuǎn)換后的數(shù)據(jù)集數(shù)量如表1所示，源相似域中的[S]、[S1]、[S2]指代風(fēng)格轉(zhuǎn)換模塊中的三個(gè)遞增函數(shù)，源不相似域中的[S3]、[S4]、[S5]指代風(fēng)格轉(zhuǎn)換模塊中的三個(gè)遞減函數(shù)。本實(shí)驗(yàn)選用T2作為源域進(jìn)行訓(xùn)練，隨后在T1、T1ce、Flair三個(gè)模態(tài)上進(jìn)行測(cè)試。

為了驗(yàn)證共享Net模型的有效性，本文選用Dice系數(shù)和豪斯多夫距離（Hausdorff Distance， HD）兩個(gè)指標(biāo)。Dice系數(shù)是一種集合相似度度量函數(shù)，其值越高越好。HD距離是用來計(jì)算兩個(gè)集合之間的距離，值越小，代表兩個(gè)集合的相似度越高。其中Dice的計(jì)算公式為：

[Dice=2×TP2×TP+FP+FN] （3）

式中：TP為真正例；FP為假正例；FN為假負(fù)例。若給定歐氏空間中的兩點(diǎn)集[A={a1，a2，…，an}]和集合[B={b1，b2，…，bm}]，HD距離的公式表示為：

[H（A，B）=maxh（A，B），h（B，A）] （4）

式中[h（A，B）=maxa∈Aminb∈Ba-b]。

所有實(shí)驗(yàn)都是在一個(gè)高性能Linux服務(wù)器（Intel[?] Xeon[?] Gold 6248R CPU@3.00 GHz，GeForece RTX 3090 GPU）上執(zhí)行?；赑yTorch寫的深度學(xué)習(xí)框架，batchsize為64，最大迭代次數(shù)為100次，初始學(xué)習(xí)率為0.004。

2.2" 結(jié)果分析

圖5展示了使用共享Net在另外三個(gè)模態(tài)上的測(cè)試結(jié)果。本文選用了病灶區(qū)域不規(guī)則、分割難度較大的圖像來展示分割結(jié)果。不難發(fā)現(xiàn)，共享Net在跨模態(tài)域泛化實(shí)驗(yàn)中與真實(shí)值有著高度的相關(guān)性。

2.3" 對(duì)比實(shí)驗(yàn)

本文收集了六種最新提出的域泛化（Domain Generalization， DG）SOTA方法與共享Net的對(duì)比實(shí)驗(yàn)。這六種方法為： IBN?Net[15]、DSON[16]、MLDG[17]、DoFE[18]、Fed?DG[19]、DN?Net[12]。其中兩種歸一化方法為IBN?Net和DSON；兩種基于元學(xué)習(xí)的方法為MLDG和Fed?DG；一種域不變的特征學(xué)習(xí)方法為DoFE；一種雙重歸一化的跨模態(tài)方法為DN?Net。此外還使用“DeepAll”（指在聚合源域上直接訓(xùn)練，在目標(biāo)域上進(jìn)行測(cè)試）作為實(shí)驗(yàn)的基線標(biāo)準(zhǔn)。

表2展示了共享Net與兩種歸一化方法的實(shí)驗(yàn)對(duì)比結(jié)果。顯然，共享Net在BraTS2018數(shù)據(jù)集上的測(cè)試指標(biāo)優(yōu)于上述兩種方法。雖然IBN?Net模型和DSON模型在某些領(lǐng)域取得了具有競(jìng)爭(zhēng)力的預(yù)測(cè)結(jié)果，但由于IBN?Net模型在特定場(chǎng)景下的適用性使得其并不適用于腦腫瘤MRI圖像分割，進(jìn)而表現(xiàn)不佳；DSON模型通常需要大量的訓(xùn)練數(shù)據(jù)來進(jìn)行有效的機(jī)器學(xué)習(xí)，然而由于醫(yī)學(xué)圖像的特殊性，獲得大量標(biāo)注準(zhǔn)確的醫(yī)學(xué)影像數(shù)據(jù)集是很困難的。綜合上述數(shù)據(jù)和分析，共享Net在跨模態(tài)腦腫瘤圖像分割任務(wù)上相比于歸一化方法是具有競(jìng)爭(zhēng)力的。

表3中定量化評(píng)估了共享Net與兩種元學(xué)習(xí)方法的性能。由于MLDG對(duì)任務(wù)之間的相關(guān)性要求較高，而Fed?DG模型受限于仿真場(chǎng)景中的數(shù)據(jù)來源，使其不適用于腦腫瘤MRI場(chǎng)景下的跨模態(tài)圖像分割任務(wù)，共享Net依然表現(xiàn)更優(yōu)。

雖然DoFE模型在某些領(lǐng)域中的自適應(yīng)任務(wù)中表現(xiàn)良好，但是DoFE模型通常假設(shè)目標(biāo)域和源域具有一定的相似性。換句話說，DoFE模型通常在目標(biāo)域和源域相似度較高的場(chǎng)景中表現(xiàn)良好。在測(cè)試集上，T2模態(tài)與其余三個(gè)模態(tài)并不相似，故而DoFE表現(xiàn)不佳。通過表4特征學(xué)習(xí)方法與共享Net的性能比較可以發(fā)現(xiàn)，相比于T1、T1ce域，DoFE模型在Flair域上與共享Net表現(xiàn)相差不大，這是因?yàn)門2域與Flair域有一定的相似度。

表5和表6集中展示了共享Net與目前最先進(jìn)的腦腫瘤MRI跨模態(tài)分割算法的定量比較。在表5中，雖然共享Net在T1域和T1ce域上稍有遜色，但是從表6中不難發(fā)現(xiàn)在訓(xùn)練時(shí)間上共享Net表現(xiàn)更佳。這是因?yàn)楣蚕鞱et共享了整個(gè)改進(jìn)的U?Net模型，盡管訓(xùn)練集分為兩類，需要分別訓(xùn)練，但整個(gè)網(wǎng)絡(luò)相比之下減少了參數(shù)量，故而降低了訓(xùn)練時(shí)間。DN?Net為每一個(gè)訓(xùn)練集的類別都分配了一個(gè)BN層，導(dǎo)致網(wǎng)絡(luò)負(fù)荷較大，所以共享Net是更高效的，在訓(xùn)練時(shí)間減少的情況下提升了分割性能。

基于如上實(shí)驗(yàn)結(jié)果和分析，共享Net在MRI腦腫瘤跨模態(tài)域泛化分割任務(wù)中顯著優(yōu)于其他方案。在Flair模態(tài)上，共享Net比次優(yōu)模型DeepAll的Dice系數(shù)高出2.62%、HD距離低0.53 mm，在T1ce模態(tài)上共享Net比表現(xiàn)最好的DN?Net方法Dice系數(shù)高出2.96%、HD距離僅高出1.99 mm，在T1模態(tài)上共享Net比結(jié)果最好的DN?Net方法的Dice系數(shù)低19.78%、但HD距離卻比DN?Net低出2.13 mm。特別地，共享Net在Flair上取得了最好的分割結(jié)果。這主要?dú)w因于T2與Flair區(qū)亮度接近、相似度較高，共享Net就可以輕松地將T2模態(tài)上學(xué)習(xí)的特征信息泛化到Flair模態(tài)上。綜上分析，本實(shí)驗(yàn)的預(yù)先設(shè)想是可以通過實(shí)踐來檢驗(yàn)的，在實(shí)際的應(yīng)用中可以根據(jù)具體的不同灰度分布值分成不同的類別進(jìn)行領(lǐng)域泛化的實(shí)際應(yīng)用，也就是說在訓(xùn)練階段共享Net也可以細(xì)分為更多的灰度類來模擬更多可能出現(xiàn)的不同醫(yī)學(xué)影像圖片來進(jìn)一步提高模型的泛化能力。

3" 結(jié)" 語

腦腫瘤自動(dòng)分割模型的泛化能力是否達(dá)標(biāo)是模型能否實(shí)際部署到應(yīng)用中的關(guān)鍵技術(shù)指標(biāo)。本文針對(duì)在醫(yī)學(xué)領(lǐng)域?qū)崿F(xiàn)跨模態(tài)域泛化上的技術(shù)難題，提出一種共享Net模型，應(yīng)用于具有多種不同灰度值的醫(yī)學(xué)影像圖片?？紤]到只使用單一的U?Net模型精度上可能不太理想，本文引入了Scale?Attention模塊，考慮到Scale?Attention模塊參數(shù)量較大，又將模塊內(nèi)所有的卷積替換成了深度可分離卷積，這樣不僅能夠在一定程度上使得整個(gè)模型更加的輕量化，也能為醫(yī)生提供相對(duì)較精準(zhǔn)的分割結(jié)果。共享Net具有可以在實(shí)際中應(yīng)用的潛力，比如在MRI數(shù)據(jù)集上訓(xùn)練好的模型可以直接應(yīng)用到CT圖像上，無需再訓(xùn)練。在實(shí)際應(yīng)用中也可以將訓(xùn)練集細(xì)分為更多類，輕松地拓展成多任務(wù)形式來提高模型的泛化性能，共享Net可以根據(jù)自適應(yīng)判別器選擇最合適的結(jié)果。

注：本文通訊作者為張藝榮。

參考文獻(xiàn)

[1] MENZE B H， JAKAB A， BAUER S， et al. The multimodal brain tumor image segmentation benchmark （BRATS） [J]. IEEE transactions on medical imaging， 2015， 34（10）： 1993?2024.

[2] 蕭力芮，王曉東，姚宇，等.基于多任務(wù)學(xué)習(xí)的肝臟腫瘤自動(dòng)分割方法[J].計(jì)算機(jī)應(yīng)用，2021，41（z2）：357?361.

[3] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2015： 3431?3440.

[4] RONNEBERGER O， FISCHER P， BROX T. U?Net： Convolutional networks for biomedical image segmentation [C]// 18th International Conference on Medical Image Computing and Computer?assisted Intervention. Heidelberg， Germany： Springer， 2015： 234?241.

[5] 孫家闊，張榮，郭立君，等.多尺度特征融合與加性注意力指導(dǎo)腦腫瘤MR圖像分割[J].中國圖象圖形學(xué)報(bào)，2023，28（4）：1157?1172.

[6] XIAO X， LIAN S， LUO Z M， et al. Weighted Res?UNet for high?quality retina vessel segmentation [C]// 2018 9th International Conference on Information Technology in Medicine and Education （ITME）. [S.l.： s.n.]， 2018： 327?331.

[7] GU R， WANG G T， SONG T， et al. CA?Net： Comprehensive attention convolutional neural networks for explainable medical image segmentation [J]. IEEE transactions on medical imaging， 2021， 40（2）： 699?711.

[8] ZHOU Z W， SIDDIQUEE M M R， TAJBAKHSH N， et al. UNet++： Redesigning skip connections to exploit multiscale features in image segmentation [J]. IEEE transactions on medical imaging， 2020， 39（6）： 1856?1867.

[9] BALAJI Y， SANKARANARAYANAN S， CHELLAPPA R. MetaReg： Towards domain generalization using meta?regularization [C]// Advances in Neural Information Processing Systems 31： Annual Conference on Neural Information Processing Systems 2018. [S.l.： s.n.]， 2018： 1006?1016.

[10] CHANG W G， YOU T， SEO S， et al. Domain?specific batch normalization for unsupervised domain adaptation [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 7354?7362.

[11] CHANG W L， WANG H P， PENG W H， et al. All about structure： Adapting structural information across domains for boos?ting semantic segmentation [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 1900?1909.

[12] ZHOU Z Q， QI L， YANG X， et al. Generalizable cross?modality medical image segmentation via style augmentation and dual normalization [C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2022： 20824?20833.

[13] MORTENSON M E. Mathematics for computer graphics applications [M]. 2nd ed. New York， USA： Industrial Press Inc.， 1999.

[14] CHOLLET F. Xception： Deep learning with depthwise separable convolutions [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2017： 1800?1807.

[15] PAN X G， LUO P， SHI J P， et al. Two at once： Enhancing learning and generalization capacities via IBN?NET [C]// European Conference on Computer Vision. Heidelberg， Germany： Springer， 2018： 484?500.

[16] SEO S， SUH Y， KIM D， et al. Learning to optimize domain specific normalization for domain generalization [C]// Proceedings of 16th European Conference on Computer Vision. Heidelberg， Germany： Springer， 2020： 68?83.

[17] LI D， YANG Y X， SONG Y Z， et al. Learning to generalize： Meta?learning for domain generalization [C]// Proceedings of Thirty?second AAAI Conference on Artificial Intelligence. [S.l.]： AAAI， 2018： 3490?3497.

[18] WANG S J， YU L Q， LI K， et al. DoFE： Domain?oriented feature embedding for generalizable fundus image segmentation on unseen datasets [J]. IEEE transactions on medical imaging， 2020， 39（12）： 4237?4248.

[19] LIU Q D， CHEN C， QIN J， et al. FedDG： Federated domain generalization on medical image segmentation via episodic learning in continuous frequency space [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2021： 1013?1023.