肖小嬌，趙文婷，趙涓涓，肖 寧，楊星宇，楊曉棠

(1.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，太原 030024；2.山西省腫瘤醫(yī)院 醫(yī)學(xué)影像科，太原 030013； 3.山西醫(yī)科大學(xué) 第一臨床醫(yī)學(xué)院，太原 030001)

肝癌是全球第二大最常見(jiàn)的與癌癥相關(guān)的致死率高的疾病[1]，降低死亡率最有效的方式是早期檢測(cè)。因此，肝病變的分割和早期檢測(cè)非常重要。病變分割是肝癌檢測(cè)、分期估計(jì)和術(shù)后治療的關(guān)鍵預(yù)處理步驟[2]。病變的檢測(cè)是醫(yī)師制定治療方案的依據(jù)，決定了疾病的預(yù)后狀態(tài)。核磁共振成像(magnetic resonance imaging，MRI)是臨床中最廣泛用于肝癌檢查的成像方式，因?yàn)樗哂袃?yōu)越的組織對(duì)比度，不會(huì)產(chǎn)生輻射危害[3]。然而，具有造影劑對(duì)比的MRI具有一些缺點(diǎn)，例如可訪(fǎng)問(wèn)性有限、成本高以及有毒性相關(guān)副作用的風(fēng)險(xiǎn)。因此，越來(lái)越多的研究使用掃描時(shí)間短且沒(méi)有造影劑相關(guān)風(fēng)險(xiǎn)的無(wú)對(duì)比增強(qiáng)MRI來(lái)作為肝癌的早期監(jiān)測(cè)工具[4-5]。

但是，無(wú)造影劑圖像上肝病變的分割和檢測(cè)仍然面臨著較大挑戰(zhàn)：1) 肝臟、腫瘤與附近器官組織之間的對(duì)比度低或邊界模糊[6]；2) 腫瘤的大小、形狀、位置、外觀(guān)/紋理和數(shù)量在不同患者間存在巨大差異；3) 大量的MRI圖像需要放射科醫(yī)師進(jìn)行人工標(biāo)注、評(píng)估和診斷，需要消耗大量的時(shí)間，且診斷往往依靠醫(yī)師的個(gè)人知識(shí)和經(jīng)驗(yàn)，往往會(huì)造成誤診。因此，迫切需要開(kāi)發(fā)出準(zhǔn)確、可靠和自動(dòng)化的技術(shù)，以通過(guò)無(wú)造影劑的MRI掃描對(duì)其腫瘤進(jìn)行分割和檢測(cè)，以協(xié)助臨床醫(yī)生進(jìn)行肝癌診斷及后期的手術(shù)計(jì)劃。

深度學(xué)習(xí)已經(jīng)在醫(yī)學(xué)圖像的許多領(lǐng)域有成功應(yīng)用[7-8]。其中，有許多在MRI中對(duì)肝臟或肝臟病變進(jìn)行分割的工作[9-13]。然而，大多數(shù)現(xiàn)有工作都在公開(kāi)數(shù)據(jù)集LiTS等造影劑增強(qiáng)圖像上進(jìn)行分割工作。同時(shí)，大部分也僅在考慮單一模態(tài)內(nèi)隱含關(guān)系的情況下進(jìn)行，幾乎沒(méi)有有效地利用多模態(tài)MRI圖像的互補(bǔ)特征。有研究表明由彌散加權(quán)成像(diffusion-weighted imaging，DWI)和T2抑制成像(T2 fat suppressed，T2FS)組成的無(wú)造影劑MRI是肝癌的候選替代監(jiān)視工具[14]，因?yàn)閺浬⑹芟藓洼p度至中度的T2高強(qiáng)度具有明顯的肝腫瘤的影像學(xué)特征。尤其是DWI在檢測(cè)肝癌細(xì)胞方面表現(xiàn)出色[15]?，F(xiàn)有的方法尚未探索無(wú)造影劑圖像的特異性、多模態(tài)圖像間的互補(bǔ)性和多任務(wù)(分割和檢測(cè))的相關(guān)性，這些都可能提高對(duì)肝癌早期的檢測(cè)性能。

1 方法描述

本文聯(lián)合多模態(tài)特征的多任務(wù)網(wǎng)絡(luò)(multi-task combining multi-modality features network，Mt-C-Mmf)在肝臟無(wú)造影劑MRI圖像上同時(shí)完成腫瘤的分割和檢測(cè)。Mt-C-Mmf由平行的兩條路徑組成，包括分割路徑和檢測(cè)路徑，如圖1所示。分割路徑包括多尺度的多模態(tài)特征編碼器和對(duì)應(yīng)的解碼器；檢測(cè)路徑包括多尺度的多模態(tài)特征編碼器和基于Fast R-CNN的檢測(cè)器。其中，每個(gè)模態(tài)的特征經(jīng)過(guò)逐層的多尺度特征提取塊后進(jìn)行連接得到融合特征。每個(gè)任務(wù)經(jīng)過(guò)聯(lián)合損失的訓(xùn)練后使網(wǎng)絡(luò)同時(shí)完成腫瘤的分割和檢測(cè)。

1.1 多模態(tài)編碼器

編碼器將UNet網(wǎng)絡(luò)的下采樣層作為主要架構(gòu)，逐層得到圖像中肝瘤的上下文信息。同時(shí)，為了更好地提取無(wú)造影劑圖像中肝瘤的特征，創(chuàng)新性地提出了多尺度特征卷積塊(multi-scale feature extraction block，MsFEB).

具體而言，編碼器由4層組成，每層包括多尺度特征卷積塊、批量歸一化、線(xiàn)性整流(rectified linear unit，ReLU)激活函數(shù)和最大池化。

輸入圖像x為256×256，四層卷積核分別設(shè)置為{7×7,3×3,3×3,3×3}，i代表卷積的層數(shù)，coni代表第i層的卷積大小。x輸入到多尺度特征提取塊后經(jīng)過(guò)3個(gè)通道的卷積，如圖2所示。

在膨脹卷積(dilated convolution，DC)的啟發(fā)下，通過(guò)不同的膨脹系數(shù)來(lái)擴(kuò)充卷積增加感受野，從而提高特征的多樣性。同時(shí)，多尺度的卷積可以增加對(duì)不同大小圖像的適應(yīng)性。膨脹系數(shù)分別設(shè)置為{1,2,4}.每一個(gè)通道的圖像同時(shí)經(jīng)過(guò)coni×coni的膨脹卷積和1×1的卷積，接著經(jīng)過(guò)相乘和全連接后分別得到對(duì)應(yīng)特征圖xf，hf和gf.每個(gè)特征圖與x進(jìn)行連接。最后將特征圖進(jìn)行融合后輸出特征圖像yf.

圖1 聯(lián)合多模態(tài)特征的多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Schematic of a multi-task network combining multi-modal features

圖2 多尺度特征提取塊結(jié)構(gòu)Fig.2 Schematic of Multi-scale feature extraction block

xf=x+FC(DC1(x)×reshape(conv(x))) .

(1)

hf=x+FC(DC2(x)×reshape(conv(x))) .

(2)

gf=x+FC(DC4(x)×reshape(conv(x))) .

(3)

T2FS經(jīng)過(guò)編碼器得到特征圖[m1,m2,…,mn-1,mn]，DWI經(jīng)過(guò)編碼器得到特征圖[n1,n2,…,nn-1,nn]，其中mi∈RH×W，ni∈RH×W，H和W分別代表圖像的寬和高，n代表卷積層的通道數(shù)。將兩個(gè)模態(tài)特征圖進(jìn)行連接后得到融合特征。通過(guò)兩個(gè)平行編碼器分別對(duì)單模態(tài)特征進(jìn)行提取后再融合，這樣的方式充分提取了單模態(tài)的特異性特征和融合了多模態(tài)的互補(bǔ)特征，提高了分割和檢測(cè)任務(wù)的準(zhǔn)確性。

1.2 多任務(wù)解碼器

多任務(wù)解碼器由分割路徑解碼器和檢測(cè)路徑解碼器組成，兩個(gè)解碼器同時(shí)訓(xùn)練來(lái)完成兩個(gè)任務(wù)。在每個(gè)解碼器前都對(duì)融合特征進(jìn)行1×1卷積，可以對(duì)特征進(jìn)行再一次融合，也可以進(jìn)行降維操作。

1.2.1分割路徑解碼器

分割路徑的解碼器以Unet[16]的上采樣路徑為主要框架，逐層還原圖像的信息，最終得到與原始圖像分辨率相同的分割結(jié)果。同時(shí)，解碼器中每層都與對(duì)應(yīng)的下采樣層的特征進(jìn)行融合，這樣解碼器可以學(xué)習(xí)到編碼器中丟失了的低級(jí)特征。最終解碼器獲得更準(zhǔn)確的上下文信息，提高分割的準(zhǔn)確性。解碼器由4層組成，每層包括反卷積、批量歸一化和ReLU激活。最后一層通過(guò)1×1卷積后得到對(duì)應(yīng)的分割結(jié)果。

1.2.2檢測(cè)路徑解碼器

將融合后的特征輸入到檢測(cè)路徑解碼器，依次經(jīng)過(guò)池化層、全連接層從而將多模態(tài)特征進(jìn)一步融合。檢測(cè)的結(jié)果分別包括分類(lèi)結(jié)果和定位框，因此融合特征分成兩支處理：1) 第一支經(jīng)過(guò)全連接層和Softmax對(duì)目標(biāo)進(jìn)行分類(lèi)；2) 第二支經(jīng)過(guò)全連接層和邏輯回歸得到生成框，回歸結(jié)果為:

tu=(tu,x,tu,y,tu,w,tu,h) .

(4)

式中：(x,y)代表生成框的中心點(diǎn)坐標(biāo)；w和h分別代表生成框的寬和高。

1.3 多任務(wù)聯(lián)合損失

Mt-C-Mmf的多任務(wù)聯(lián)合損失由分割損失Lseg和檢測(cè)損失Ldet組成。因此，聯(lián)合損失可以表示為：

(5)

式中，

Lcls(p,u)=-lgpu.

(6)

Lloc(tu,v)=∑i∈{x,y,w,h}smooth(tu-v) .

(7)

式中，p=(p0,p1,…,pk)代表目標(biāo)的概率分布；u代表類(lèi)別；pu代表目標(biāo)屬于第u類(lèi)的概率值；tu代表邏輯回歸輸出值；v代表生成框的金標(biāo)準(zhǔn)。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于由麥吉爾大學(xué)健康中心批準(zhǔn)后獲得的 255名受試者(125名肝血管瘤受試者和130名肝細(xì)胞癌受試者)的臨床數(shù)據(jù)集。每個(gè)受試者都經(jīng)過(guò)標(biāo)準(zhǔn)的臨床肝臟MRI檢查后收集無(wú)造影劑和造影劑序列圖像，具體包括無(wú)造影劑圖像(T1FS[256×256 px]，T2FS[256×256 px]，DWI[256×256 px])和多相造影劑增強(qiáng)圖像(T1-動(dòng)脈期，T1-門(mén)靜脈期和T1-延遲期)[256×256 px].患者在注射釓布醇0.1 mmol/kg造影劑后在3T MRI掃描儀上得到多相的增強(qiáng)圖像。根據(jù)臨床標(biāo)準(zhǔn)，醫(yī)師使用ITK-SNAP工具[17]手動(dòng)獲得造影劑增強(qiáng)MRI中T1-延遲期圖像的分割標(biāo)簽,同時(shí)醫(yī)師人工診斷肝腫瘤，醫(yī)師標(biāo)注和診斷結(jié)果作為金標(biāo)準(zhǔn)。

2.2 實(shí)驗(yàn)細(xì)節(jié)

通過(guò)5倍交叉驗(yàn)證測(cè)試對(duì)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行性能評(píng)估和比較。具體來(lái)說(shuō)，使用2的批量大小來(lái)訓(xùn)練Mt-C-Mmf，迭代次數(shù)為10 000，學(xué)習(xí)率為1×10-4.Mt-C-Mmf在Ubuntu 18.04平臺(tái)，Python v3.6，Pytorch v0.4.0和CUDA v9.0庫(kù)上執(zhí)行，并在3.60 GHz的Intel○R CoreTM i9-9900K CPU和GeForce GTX 1080Ti 11GB GPU上運(yùn)行。

2.3 評(píng)估指標(biāo)

本文使用骰子系數(shù)(dice coefficient，DSC)和像素準(zhǔn)確率(pixel accuracy，p-Acc，式中用pAcc表示)來(lái)評(píng)估分割的性能。使用交并比(intersection-over-union，IoU)來(lái)評(píng)估回歸框的性能。

(8)

(9)

(10)

3 結(jié)果和分析

3.1 網(wǎng)絡(luò)整體性能

Mt-C-Mmf網(wǎng)絡(luò)在無(wú)造影劑圖像中肝臟腫瘤的分割中取得了較好的結(jié)果。與其他方法的分割結(jié)果如圖3所示。圖3中，(a)和(b)分別是無(wú)造影劑MRI圖像：T2FS和DWI；(c)-(g)分別是4種不同方法的分割結(jié)果和金標(biāo)準(zhǔn)的局部放大圖；(h)是造影劑增強(qiáng)MRI：T1-延遲期。此外，分別用綠色箭頭和黃色箭頭在無(wú)造影劑圖像上指出醫(yī)師可以觀(guān)察到的腫瘤位置。通過(guò)4例受試者的MRI可以看到在無(wú)造影劑圖像上某些病變是肉眼無(wú)法觀(guān)察到的(圖3的第三行和第四行)。

如圖3所示，本文方法可以得到與金標(biāo)準(zhǔn)相近的分割結(jié)果。尤其對(duì)于無(wú)造影劑圖像中無(wú)法觀(guān)察到或者邊界較模糊的難分割的病變，在多模態(tài)圖像的互補(bǔ)信息、多任務(wù)間的相互約束以及多尺度特征提取塊的幫助下，Mt-C-Mmf能夠捕捉到表征病變的有效特征，完成較精準(zhǔn)的分割。

此外，為了評(píng)估網(wǎng)絡(luò)整體性能，對(duì)網(wǎng)絡(luò)進(jìn)行了定量實(shí)驗(yàn)，結(jié)果如表1所示。在分割方面，Mt-C-Mmf的DSC為(81.98±1.07)%，pAcc為(93.72±0.97)%，在檢測(cè)方面，IoU達(dá)到了(80.19±1.46)%，分類(lèi)的準(zhǔn)確性為(90.36±0.61)%，敏感性為(90.83±1.76)%，特異性為(90.15±0.87)%.

3.2 消融實(shí)驗(yàn)

為了驗(yàn)證提出的每個(gè)模塊對(duì)分類(lèi)和檢測(cè)結(jié)果的貢獻(xiàn)，進(jìn)行了消融實(shí)驗(yàn)。具體而言，包括無(wú)多模態(tài)數(shù)據(jù)(No multi-modality，No Mm)，即去除DWI編碼器，僅保留T2FS編碼器；無(wú)多尺度特征提取塊(No MsFEB)，即去除MsFEB，使用傳統(tǒng)卷積層代替它；無(wú)聯(lián)合損失函數(shù)(No multi-task，No Mt)，即每個(gè)任務(wù)單獨(dú)完成。

圖3 不同方法的分割結(jié)果對(duì)比圖Fig.3 Comparison of segmentation results of different methods

表1 TsA-MtMm的模塊消融實(shí)驗(yàn)結(jié)果Table 1 TsA-MtMm module ablation experiment results %

消融實(shí)驗(yàn)結(jié)果如表1所示，消融實(shí)驗(yàn)驗(yàn)證了模型中的多模態(tài)、多尺度特征提取塊和多任務(wù)提升網(wǎng)絡(luò)進(jìn)行肝臟腫瘤同時(shí)分割和檢測(cè)的性能。其中，影響最大的是多模態(tài)數(shù)據(jù)。通過(guò)表1的第1行和第4行的比較，當(dāng)沒(méi)有多模態(tài)數(shù)據(jù)(No mm)時(shí)，分割和檢測(cè)性能下降，其中DSC下降了6.71%，pAcc下降了3.83%，IoU下降了5.21%，準(zhǔn)確性下降了4.41%， 敏感性下降了6.77%，特異性下降了6.45%.

3.3 與當(dāng)前方法對(duì)比

為了驗(yàn)證Mt-C-Mmf的有效性，將其與目前先進(jìn)的算法進(jìn)行對(duì)比。為了驗(yàn)證分割的性能，Mt-C-Mmf分別與UNet[16]和Radiomics-guided GAN(XIAO et al[12])對(duì)比；為了驗(yàn)證檢測(cè)的性能，Mt-C-Mmf分別與Tripariter-GAN(ZHAO et al[7])和Faster RCNN[18]對(duì)比；同時(shí)，為了驗(yàn)證同時(shí)分割和檢測(cè)，與Mask RCNN[19]進(jìn)行了對(duì)比。結(jié)果如表2所示，Mt-C-Mmf取得了當(dāng)前最好的效果。其中分割DSC達(dá)到(81.98±1.07)%，pAcc達(dá)到(93.72±0.97)%，檢測(cè)的生成框與金標(biāo)準(zhǔn)的IoU達(dá)到(80.19±1.46)%，分類(lèi)的準(zhǔn)確率達(dá)到(90.36±0.61)%.

表2 TsA-MtMm與不同方法的對(duì)比結(jié)果Table 2 Comparison of TSA MTMM with other methods %

4 結(jié)語(yǔ)

肝腫瘤的精確分割和檢測(cè)對(duì)于提高患者生存率有著非常重要的作用。本文提出的一種聯(lián)合多模態(tài)特征的網(wǎng)絡(luò)，能夠同時(shí)實(shí)現(xiàn)肝腫瘤的分割和檢測(cè)，同時(shí)無(wú)造影劑MRI圖像又避免了造影劑的危害。通過(guò)對(duì)255例病人的數(shù)據(jù)進(jìn)行了5折交叉驗(yàn)證實(shí)驗(yàn)，并和先進(jìn)的Unet，F(xiàn)aster RCNN和Mask RCNN的實(shí)驗(yàn)對(duì)比，表明了提出的方法能夠從無(wú)造影劑MRI圖像中分割出腫瘤，并且可以定位到腫瘤位置以及腫瘤的類(lèi)別，從而為臨床醫(yī)師提供安全、省時(shí)和準(zhǔn)確的輔助診斷工具。