周意龍，衛(wèi)子然，蔡清萍，高永彬，馬 碩

1.上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201600

2.上海長(zhǎng)征醫(yī)院 普外二科，上海 200003

胃癌是世界上最常見的惡性腫瘤之一，死亡率排在前三位。胃癌高發(fā)的主要因素是幽門螺桿菌誘導(dǎo)胃部炎癥反應(yīng)，繼而引發(fā)胃癌。在世界上，大約每?jī)蓚€(gè)人中就有一人感染幽門螺桿菌。而除了易患胃癌的人群（例如患有胃?。┮酝?，高鹽飲食、作息不規(guī)律、重度飲酒抽煙也是胃癌高發(fā)的主要誘導(dǎo)因素。胃癌早期患者的癥狀并不明顯，患者不會(huì)出現(xiàn)不適癥狀，而且大多數(shù)人對(duì)癌癥的預(yù)防和檢測(cè)意識(shí)薄弱，導(dǎo)致一經(jīng)檢查便發(fā)現(xiàn)癌癥是中晚期，錯(cuò)過了最佳治療時(shí)間。

由于醫(yī)療衛(wèi)生資源和診療水平在地區(qū)間發(fā)展不平衡，導(dǎo)致胃癌患者臨床確診大都是晚期，錯(cuò)過治療的黃金時(shí)期。因此，大規(guī)模篩查程序可以通過早期發(fā)現(xiàn)和治療來幫助阻止胃癌發(fā)展。準(zhǔn)確的診斷對(duì)于制定合理的治療方案，判斷預(yù)后和評(píng)估療效非常重要。胃癌主要是由胃粘膜上皮的結(jié)構(gòu)變化引起的，在計(jì)算機(jī)斷層掃描（CT）圖像中，胃粘膜上皮的結(jié)構(gòu)變化呈明亮的橢圓形結(jié)構(gòu)[1]。這種疾病普遍發(fā)生，全世界估計(jì)有3 億多胃癌患者[1]。近年來，對(duì)于基于CT影像的醫(yī)學(xué)圖像研究[2-4]日益普及，基于CT 影像的醫(yī)學(xué)圖像分析方法可以對(duì)胃部疾病進(jìn)行定量、定性的分析，因此癌區(qū)的自動(dòng)分割和分類具有特別重要的意義。然而與肺結(jié)節(jié)、乳腺癌的結(jié)構(gòu)不同，胃是空腔臟器，胃癌會(huì)在類環(huán)形的胃壁上以各種大小、形狀和位置出現(xiàn)，胃癌的分割與T 分期仍然是一項(xiàng)艱巨的任務(wù)。因此，通過計(jì)算機(jī)輔助診斷技術(shù)對(duì)胃部腫瘤進(jìn)行準(zhǔn)確的分割和分類，對(duì)制定治療方案，預(yù)斷預(yù)后評(píng)估療效具有重要的臨床價(jià)值。

本文探索了一種多任務(wù)深度卷積神經(jīng)網(wǎng)絡(luò)MAA-Net，該網(wǎng)絡(luò)同時(shí)對(duì)胃部腫瘤進(jìn)行分割和分類。MAA-Net繼承并延伸了著名的醫(yī)學(xué)圖像處理網(wǎng)絡(luò)U-Net[4]和Y-Net[5]算法。通過卷積神經(jīng)網(wǎng)絡(luò)的特征共享，限制無關(guān)信息，關(guān)注有意義的特征，提高了網(wǎng)絡(luò)的泛化能力。

本文提出的MAA-Net 胃部腫瘤分割與T 分期方法，主要貢獻(xiàn)如下：

（1）融合了分割和分類這兩種不同的方法，將深度學(xué)習(xí)用于胃癌CT影像的分割和分期。兩條主線共享權(quán)重，共同地迭代優(yōu)化。結(jié)果表明，在此任務(wù)中，所提出的方法優(yōu)于同類方法。

（2）提出自適應(yīng)特征融合模塊，綜合多個(gè)尺度的分割特征，利用多個(gè)不同層次的特征，得到準(zhǔn)確的胃部腫瘤分割圖。

（3）使用了一種混合損失函數(shù)，使網(wǎng)絡(luò)以更快、更平滑的方式收斂。它結(jié)合骰子損失和焦點(diǎn)損失函數(shù)的優(yōu)點(diǎn)，增強(qiáng)梯度傳播。

1 相關(guān)工作

胃部腫瘤的分割和T 分期是現(xiàn)代醫(yī)學(xué)影像輔助診斷胃癌中至關(guān)重要的一步。首先，胃癌是從胃壁的內(nèi)側(cè)（內(nèi)壁）向胃壁的外側(cè)（外壁）生長(zhǎng)。胃壁從內(nèi)到外可以分為黏膜層、肌層、漿膜層，當(dāng)胃部沒有腫瘤時(shí)，屬于T0期；當(dāng)胃部腫瘤生長(zhǎng)在黏膜層但未突破黏膜層時(shí)屬于T1期；當(dāng)腫瘤突破黏膜層但未侵犯到肌層時(shí)屬于T2期，以此類推，直至腫瘤突破漿膜層（外壁）時(shí)屬于T4 期。在CT 影像分析方面，腫瘤的分割和T 分期的金標(biāo)準(zhǔn)均是由臨床專家手動(dòng)標(biāo)注完成的，這是一項(xiàng)繁瑣的任務(wù)。由于現(xiàn)代科技的發(fā)展，醫(yī)療數(shù)據(jù)呈幾何倍的增長(zhǎng)，而醫(yī)生的精力和體力有限，且手動(dòng)標(biāo)注判斷也會(huì)因?yàn)椴豢煽氐囊蛩赜绊懺\斷的結(jié)果。因此面對(duì)如此重復(fù)繁瑣的事情，急需一種能夠全自動(dòng)分析的方法。

近年來，在自然場(chǎng)景和醫(yī)學(xué)場(chǎng)景的分割和分類任務(wù)[6]中，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）取得了很不錯(cuò)的成果。Krizhevsky 等人[7]提出的端到端的AlexNet，贏得了當(dāng)年ImageNet 競(jìng)賽的冠軍，深度學(xué)習(xí)也迎來了新一輪的春天。Simonyan 等人[8]繼續(xù)加深卷積的深度提出了一個(gè)由19 層卷積層組成的VGG 網(wǎng) 絡(luò)。Christian 等 人[9]提 出 了 帶 有Inception 結(jié) 構(gòu)的GooLeNet。然而He等人[10]和Gao等人[11]分別提出了Residual 網(wǎng)絡(luò)和DenseNet 網(wǎng)絡(luò)，其擁有超過100 層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，解決了因卷積層太深而導(dǎo)致梯度消失和爆炸的問題。隨著各式各樣網(wǎng)絡(luò)的出現(xiàn)，Long等人[12]提出了具有劃時(shí)代意義的語義分割網(wǎng)絡(luò)——全連接網(wǎng)絡(luò)（fully connected neural network，F(xiàn)CN）。在這之后，Ronneberger 等人[13]借鑒編解碼的理念創(chuàng)造了經(jīng)典的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)U-Net，對(duì)生物細(xì)胞圖像進(jìn)行自動(dòng)的分割。許多醫(yī)學(xué)圖像分割都是在U-Net 的基礎(chǔ)上進(jìn)行研究，并且取得了很好的效果。例如，Gibson 等人[14]在U型網(wǎng)絡(luò)的每個(gè)卷積塊中引入密集連接，實(shí)現(xiàn)多個(gè)器官的分割。Fu 等人[15]在每個(gè)尺度上給出一個(gè)輸入和相應(yīng)的輸出，提出了一個(gè)多輸入多輸出的M-Net。Peng等人[16]通過全局卷積網(wǎng)絡(luò)來增加卷積核的大小獲得更廣的感受野。Gu 等人[17]的“CE-Net”，在肺部、眼底血管、細(xì)胞輪廓分割中表現(xiàn)都很優(yōu)異。Zhao等人[18]提出了PSPNet，它將傳統(tǒng)的擴(kuò)張型FCN生成的像素級(jí)特征擴(kuò)展到全局金字塔池特征，并結(jié)合了局部和全局信息來做出最終預(yù)測(cè)。Shibata 等人[19]通過對(duì)胃腸道內(nèi)窺鏡圖像的分析檢測(cè)實(shí)現(xiàn)早期胃癌的分割，但是其基于目標(biāo)檢測(cè)的方法來實(shí)現(xiàn)，分割的準(zhǔn)確率不是很高。Sun 等人[20]使用特定的可變形卷積在病理圖上實(shí)現(xiàn)胃癌的自動(dòng)分割。Zheng等人[21]使用Faster RCNN 在增強(qiáng)CT 圖像上實(shí)現(xiàn)胃癌的T分期。由此可見，胃部腫瘤的分割與T分期對(duì)于篩查胃部疾病、制定治療方案有著至關(guān)重要的作用，同時(shí)也促進(jìn)臨床的診斷和CT 圖像的分析。然而在大多數(shù)研究中，分類和分割通常是兩個(gè)獨(dú)立的任務(wù)。本文將分類與分割融合在一起，讓分類網(wǎng)絡(luò)更新參數(shù)的時(shí)候，幫助網(wǎng)絡(luò)優(yōu)化分割，讓分割網(wǎng)絡(luò)更新參數(shù)的時(shí)候，幫助網(wǎng)絡(luò)優(yōu)化分類。

2 方法

本文提出了MAA-Net，該胃部腫瘤分割與T分期算法的訓(xùn)練流程如圖1所示，由分割主線與T分期主線共同組成。其中分割主線由多尺度輸入、特征編碼、跳躍連接、特征解碼組成。圖中A 表示在跳躍連接中引入Attention 機(jī)制，以此來提高目標(biāo)區(qū)域的關(guān)注度；其后的自適應(yīng)特征融合模塊，將多個(gè)尺度的語義特征圖經(jīng)過全局最大池化和全局平均池化后進(jìn)行疊加，然后經(jīng)softmax得到自適應(yīng)融合系數(shù)，最后和送入自適應(yīng)特征融合模塊前的語義特征圖相乘得到最終的分割結(jié)果。訓(xùn)練網(wǎng)絡(luò)的時(shí)候，首先單獨(dú)訓(xùn)練分割主線得到胃部腫瘤的粗分割信息，然后將分割主線與T分期主線一同訓(xùn)練得到最終的胃部腫瘤精分割和T 分期結(jié)果。分割結(jié)果圖和分類結(jié)果圖（即T分期結(jié)果圖）是MAA-Net的兩個(gè)不同的輸出。分類的結(jié)果是（每個(gè)像素）五種T 分期類型中最大的概率值對(duì)應(yīng)的類別。本文使用多層感知機(jī)從全連接層提取的特征來預(yù)測(cè)胃癌的分期。

圖1 總體算法流程Fig.1 Overall algorithm flow chart

在醫(yī)學(xué)圖像處理中，U 型網(wǎng)絡(luò)這種“編碼-解碼”結(jié)構(gòu)在很多任務(wù)中的表現(xiàn)都非常出色。但是這種類型的網(wǎng)絡(luò)只有單一的分割掩碼輸出。由于胃部CT圖像中腫瘤的特征不明顯，目標(biāo)較小，很難進(jìn)行分割和T 分期。本文提出了MAA-Net，胃部腫瘤分割和分類的方法，該網(wǎng)絡(luò)的結(jié)構(gòu)框圖如圖2 所示。除了傳統(tǒng)U 型網(wǎng)絡(luò)單個(gè)分割掩碼輸出外，網(wǎng)絡(luò)還添加了另一個(gè)并行的分類輸出。T 分期主線中采用密集連接的空洞卷積模塊（densely connected dilated convolution，DDC），來幫助網(wǎng)絡(luò)在不增加計(jì)算量的同時(shí)提取更豐富和更高級(jí)別的特征并且提高卷積的感受野。分割主線與T 分期主線的權(quán)重共同迭代更新，解決了胃部腫瘤難以分割、腫瘤類型難以分類的問題。

圖2 MAA-Net結(jié)構(gòu)圖Fig.2 MAA-Net structure

2.1 胃部腫瘤分割

胃部腫瘤分割主線中包括四個(gè)主要模塊：多尺度輸入特征編碼模塊、多核殘差模塊、帶注意力機(jī)制的特征解碼模塊、自適應(yīng)特征融合模塊。

胃部腫瘤CT影像有其特性：不同患者的CT圖像會(huì)有不同的表現(xiàn)，有些腫瘤會(huì)比較明顯，有些腫瘤就相對(duì)較小難以分辨。為了應(yīng)對(duì)這種特性，本文設(shè)計(jì)了一種多尺度輸入的卷積神經(jīng)網(wǎng)絡(luò)，類似于圖像金字塔的結(jié)構(gòu)，可以提高網(wǎng)絡(luò)的魯棒性，對(duì)較小的腫瘤也可以實(shí)現(xiàn)分割。在特征編碼部分，“主體”中使用在ImageNet 上經(jīng)過預(yù)訓(xùn)練的ResNet 來提取特征，在每個(gè)尺度圖片輸入網(wǎng)絡(luò)后，均對(duì)其進(jìn)行卷積，然后與“主體”中的特征圖進(jìn)行通道的拼接；而在解碼部分使用由1×1、3×3和1×1組成的反卷積模塊來恢復(fù)更詳細(xì)的語義信息，將不同尺度的分割預(yù)測(cè)特征圖上采樣到相同的通道數(shù)送入自適應(yīng)特征融合模塊。自適應(yīng)特征融合模塊結(jié)合多個(gè)尺度的分割預(yù)測(cè)圖恢復(fù)更加精確的分割圖。為了在擴(kuò)大感受野的同時(shí)，提取不同感受野的特征信息，在U 型網(wǎng)絡(luò)的底層，加入多核殘差模塊。此外，還在跳躍連接中添加了一種注意力機(jī)制，以減少不同尺度的特征要素之間的信息鴻溝并突出顯示感興趣的區(qū)域。

2.1.1 多尺度輸入特征編碼模塊

特征編碼模塊中使用了在ImageNet 數(shù)據(jù)集上經(jīng)過預(yù)訓(xùn)練的ResNet-34來提取胃部腫瘤的特征信息。多尺度輸入特征編碼模塊保留了ResNet前四個(gè)殘差卷積模塊，刪除了原始網(wǎng)絡(luò)中后面的池化層和全連接層。除此之外，將四個(gè)不同大小的圖片從不同的級(jí)層輸入網(wǎng)絡(luò)，經(jīng)過3×3的卷積層之后，與級(jí)層中的特征圖進(jìn)行通道的拼接。與原始的編碼器模塊相比，這種多尺度輸入的殘差機(jī)制提高了網(wǎng)絡(luò)的泛化能力，避免了梯度的消失，增強(qiáng)了網(wǎng)絡(luò)的訓(xùn)練能力。殘差塊的流程圖如圖3所示。

圖3 殘差塊的流程圖Fig.3 Pipeline of residual blocks

2.1.2 多核殘差模塊

在上腹部CT 圖像中，胃部腫瘤的大小、形態(tài)、位置和容積效應(yīng)都是對(duì)該研究的挑戰(zhàn)。中晚期的腫瘤通常比早期的腫瘤大得多，有些甚至比早期的腫瘤大十倍。而腫瘤也是以隨機(jī)的形態(tài)隨機(jī)生長(zhǎng)在胃壁上。容積效應(yīng)的存在也使得胃壁和腫瘤更加難以分辨。這些問題對(duì)胃癌的分割和T 分期有很大影響。對(duì)于這樣一類大小、位置、形態(tài)都不具穩(wěn)定性的腫瘤，提出了多核殘差（multi-kernel residual，MR）模塊來突出顯示目標(biāo)區(qū)域。結(jié)構(gòu)如圖4 所示。該模塊主要依靠多個(gè)不同尺寸的核來檢測(cè)大小不同的對(duì)象（腫瘤）并提取上下文的語義信息。

圖4 多核殘差模塊結(jié)構(gòu)圖Fig.4 Structure of multi-kernel residue module

隨著感受野增大，可以提取到的信息就越多。四個(gè)不同級(jí)別的輸出池化層對(duì)應(yīng)四個(gè)不同感受野的特征圖。

在經(jīng)過四個(gè)不同級(jí)別的池化層之后，使用1×1卷積來減少權(quán)重的維度和計(jì)算的復(fù)雜度。然后對(duì)其進(jìn)行上采樣，恢復(fù)至原圖大小，最后與上一層的特征圖拼接到一起。這種用不同的感受野的方法可以提取到不同視野下更加豐富的信息。

2.1.3 帶注意力機(jī)制的特征解碼模塊

特征解碼模塊是用來恢復(fù)多核殘差模塊和特征編碼模塊中提取的高級(jí)語義特征。然而在上腹部CT圖像中，每一例CT中腫瘤的大小和形狀因切片而異，除此之外，部分圖像還會(huì)有偽影和噪聲的存在。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言，濾除CT圖像中不相關(guān)的區(qū)域和噪聲很重要。由于卷積神經(jīng)網(wǎng)絡(luò)在提取深層特征的時(shí)候，會(huì)過濾掉一部分細(xì)節(jié)和邊緣信息，本文將注意力機(jī)制[19]（attention mechanism，AG）通過跳躍連接融入特征解碼模塊，特征編碼模塊中每個(gè)級(jí)別的特征圖與特征解碼模塊中相應(yīng)位置的特征圖融合在一起。通過融合低級(jí)特征和高級(jí)特征，網(wǎng)絡(luò)既可以保留高級(jí)特征圖中更高分辨率的信息，又可以保留低級(jí)特征圖中的邊緣信息，從而提高圖像分割的準(zhǔn)確性。除此之外，微調(diào)的注意力機(jī)制還可以補(bǔ)償卷積和池化操作當(dāng)中丟失的信息，注意力機(jī)制具體結(jié)構(gòu)如圖5所示。

圖5 注意力機(jī)制示意圖Fig.5 Schematic of attention mechanism

其中，σ1是超參為0.05的PReLU激活函數(shù)，σ2為sigmoid激活函數(shù)，W是卷積核為1×1×1的濾波器，Θatt是式（1）中線性變化的綜合表示。在前向傳播和反向傳播過程中，注意力機(jī)制通過突出目標(biāo)區(qū)域，抑制不相關(guān)區(qū)域，從而提高了模型的靈敏度和準(zhǔn)確性。因此，將注意力機(jī)制直接添加到網(wǎng)絡(luò)結(jié)構(gòu)的跳躍連接中，以在保持高精度的同時(shí)去除外部器官的干擾，并增強(qiáng)整個(gè)模型的魯棒性。

2.1.4 自適應(yīng)特征融合模塊

通過上述的U型網(wǎng)絡(luò)，可以在多種不同尺寸上獲得有用的分割特征。這些分割特征包含了整體和局部的信息，因此將這些特征融合起來可以得到更加精準(zhǔn)的分割。為了高效地利用不同尺寸的上下文信息，本文提出了一個(gè)自適應(yīng)特征融合模塊（adaptive feature fusion，AFF）來學(xué)習(xí)與每種尺度相關(guān)聯(lián)的重要信息并自動(dòng)融合得分圖（即softmax 之前的最后一層輸出）。在得分圖中，較大的值表示屬于該類別的概率較高。如圖6 所示，為了在每個(gè)尺度上利用相似的結(jié)構(gòu)信息，首先將U型網(wǎng)絡(luò)的多個(gè)輸出傳遞到共享的卷積塊中，以實(shí)現(xiàn)尺度不變性。最終將這些特征壓縮到單個(gè)通道特征向量中，該向量表示每個(gè)尺度下的輸出總得分。

圖6 自適應(yīng)特征融合模塊Fig.6 Adaptive feature fusion module

全局平均池化（global average pooling，GAP）和全局最大池（global max pooling，GMP）可以提取每種尺度下的預(yù)測(cè)得分。在本研究中，將送入GAP 和GMP 得到的特征相加得到在i尺度下的得分Si。

然后將來自不同尺度的得分S相加并送入比例權(quán)重（softmax 激活函數(shù)）進(jìn)行計(jì)算，以獲取每個(gè)尺度的自適應(yīng)權(quán)重。自適應(yīng)權(quán)重Wi反映了特征i的重要程度。接著將自適應(yīng)權(quán)重Wi與U 型網(wǎng)絡(luò)的輸出特征相乘，獲得融合特征，其中比例權(quán)重計(jì)算公式為：

最后經(jīng)過另一個(gè)softmax激活函數(shù)獲得最終的分割結(jié)果：

其中，fi表示在i尺度下U型網(wǎng)絡(luò)輸出的特征圖。

2.2 胃癌的T分期

在分類網(wǎng)絡(luò)中，針對(duì)胃部腫瘤T 分期的復(fù)雜性，提出了一種密集連接空洞卷積模塊（DDC）如圖7 所示。DDC 模塊以不同的空洞率（dilation rate）的空洞卷積，提取不同尺度物體的類別信息，從而提高網(wǎng)絡(luò)分類能力。

圖7 密集連接的空洞卷積模塊示意圖Fig.7 Illustration of densely connected dilated convolution module

該模塊有四個(gè)帶有不同空洞率的卷積分支，每個(gè)分支經(jīng)過空洞卷積得到的特征圖與上一層的特征圖進(jìn)行特征融合。最后將四個(gè)空洞卷積特征圖與原始特征圖融合送入網(wǎng)絡(luò)的下一層。另外，在分類網(wǎng)絡(luò)中以相同的空間分辨率在最后一個(gè)DDC 模塊和第一個(gè)DDC 模塊之間添加了殘差連接。在T分期主線中，MAA-Net會(huì)生成Z維的向量，其中z是向量里的數(shù)值；Z表示胃癌的類別數(shù)，本文將Z設(shè)置為5，使用softmax函數(shù)σ對(duì)z中的數(shù)值進(jìn)行歸一化，生成另一個(gè)Z維向量Zˉ=σ(z)向量?jī)?nèi)的值分別對(duì)應(yīng)于胃癌的T0至T4。

2.3 混合損失函數(shù)

在整個(gè)上腹部CT 圖像中，腫瘤所占面積通常僅為整個(gè)圖像的10%左右，這對(duì)訓(xùn)練過程有影響。大量背景會(huì)影響損失函數(shù)的擬合，這可能會(huì)導(dǎo)致局部最優(yōu)解，而無法獲得全局最優(yōu)解。因此，提出了一種新的損失函數(shù)，該函數(shù)結(jié)合了骰子損失函數(shù)和焦點(diǎn)損失函數(shù)，以優(yōu)化小目標(biāo)與背景之間的矛盾以及正負(fù)樣本數(shù)據(jù)的不平衡。

焦點(diǎn)損耗[22]函數(shù)是二進(jìn)制交叉熵?fù)p耗（binary cross entropy，BCE）[23]的改進(jìn)版，它通過添加調(diào)制因子來實(shí)現(xiàn)。這樣可以減少由于上/下采樣而引起的損耗。焦點(diǎn)損失函數(shù)的公式如下所示：

骰子系數(shù)損失[24]函數(shù)是整體相似度測(cè)量函數(shù)，通常用于計(jì)算兩個(gè)樣本之間的相似度。骰子系數(shù)損失函數(shù)減少了背景像素和目標(biāo)像素之間的不平衡，因此在處理類別不平衡問題方面性能更好，其公式如下：

其中，δ∈[0,1]是可調(diào)整的參數(shù)，防止分母為0。

本文使用由上述兩種損失組成的混合損失函數(shù)來提高收斂速度，并緩解數(shù)據(jù)不平衡的問題。原始的骰子系數(shù)損失函數(shù)將模型的重點(diǎn)放在了預(yù)測(cè)的結(jié)果和金標(biāo)準(zhǔn)的交集上，這對(duì)小目標(biāo)很不友好，很容易忽略小目標(biāo)的存在。而混合損失函數(shù)結(jié)合了焦點(diǎn)損失函數(shù)與骰子系數(shù)損失函數(shù)，不僅將模型的重點(diǎn)放在圖像中目標(biāo)位置上，而且還抑制了錯(cuò)誤的分割。為了使焦點(diǎn)損失函數(shù)和骰子系數(shù)損失函數(shù)發(fā)揮各自的作用，首先，將骰子系數(shù)損失函數(shù)取對(duì)數(shù)，取其倒數(shù)來確保計(jì)算的值為正。然后，為焦點(diǎn)損失函數(shù)增加1/N的可歸零因子?；旌蠐p失函數(shù)的計(jì)算公式如下：

其中，L1 和L2 分別是焦點(diǎn)損失函數(shù)和骰子系數(shù)損失函數(shù)?；旌蠐p失函數(shù)中的三個(gè)超參α、γ、δ，根據(jù)經(jīng)驗(yàn)分別設(shè)置為1.2，0.5，0.8。本研究中定義了一個(gè)多任務(wù)損失函數(shù)L=Lseg+Lcls,Lseg是分割任務(wù)的混合損失函數(shù)，而Lcls是分類任務(wù)的交叉熵?fù)p失函數(shù)。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

本研究是在帶有單個(gè)GPU（Nvidia GTX 1080Ti）的Ubuntu16.04 64位操作系統(tǒng)上使用Pytorch框架來進(jìn)行實(shí)驗(yàn)。系統(tǒng)的輸入是經(jīng)過預(yù)處理的大小為384×384的CT 圖片。最近的研究[25]表明，使用SGD 優(yōu)化器盡管速度會(huì)慢于Adam 優(yōu)化器，但性能會(huì)更好。因此，本研究選用權(quán)值衰減為1×10-4，動(dòng)量為0.9的SGD（stochastic gradient descent）來優(yōu)化網(wǎng)絡(luò)。學(xué)習(xí)率設(shè)置為1×10-4，共訓(xùn)練400輪。

3.2 實(shí)驗(yàn)數(shù)據(jù)

本研究使用的腹部CT數(shù)據(jù)由上海某醫(yī)院提供。總共收集了50 例患者，每個(gè)切片的數(shù)量在30 到50 之間，但是腹部的CT 序列中只有少部分包含胃部腫瘤的切片。如圖8所示，圖（1）中紅色箭頭指向胃部腫瘤，黃色箭頭指向胃。圖（2）中僅包含正常的胃部。而圖（3）是腹部CT 序列中不包含胃部的無關(guān)部分的切片，沒有腫瘤和胃。因此統(tǒng)計(jì)分析出每組CT序列含有胃部腫瘤切片的數(shù)量約為10 張。在專業(yè)人員的手動(dòng)篩選標(biāo)注下，最終得到一個(gè)500 張CT 圖像的數(shù)據(jù)集。CT 圖像的初始大小是512×512。使用交叉驗(yàn)證法選擇450張圖像作為訓(xùn)練集，50張圖像作為測(cè)試集。由于醫(yī)學(xué)數(shù)據(jù)的特殊性，為了防止過擬合并增強(qiáng)網(wǎng)絡(luò)的魯棒性，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，增強(qiáng)的方式包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、比例縮放、隨機(jī)位置裁剪和角度旋轉(zhuǎn)。

圖8 同一病人不同CT序列圖Fig.8 Different CT sequence diagrams of same patient

3.3 實(shí)驗(yàn)結(jié)果

本研究使用平均交并比（mIOU）和準(zhǔn)確率（Acc）作為主要的評(píng)估指標(biāo)來評(píng)估網(wǎng)絡(luò)性能。mIOU 是計(jì)算真實(shí)值像素和預(yù)測(cè)值像素兩個(gè)集合的交集和并集之比。計(jì)算公式如下：

其中，真的正樣本（TP）表示預(yù)測(cè)正確的正樣本；真的負(fù)樣本（TN）表示預(yù)測(cè)正確的負(fù)樣本；假的負(fù)樣本（FN）表示預(yù)測(cè)錯(cuò)誤的正樣本；假的正樣本（FP）表示預(yù)測(cè)錯(cuò)誤的負(fù)樣本。

3.3.1 分割結(jié)果

為了驗(yàn)證本文方法的優(yōu)越性，在相同的條件下進(jìn)行對(duì)比實(shí)驗(yàn)。不同網(wǎng)絡(luò)的可視化結(jié)果如圖9 所示。圖中總共5 行圖片，分別對(duì)應(yīng)5 位不同患者的腹部CT 圖像。圖（a）至圖（e）分別是腹部CT的原始切片圖像、Y-Net的分割結(jié)果、CE-Net的分割結(jié)果、本文方法的分割結(jié)果和手動(dòng)標(biāo)注的真實(shí)分割圖。從可視化的結(jié)果來看，本文方法在腫瘤分割的位置、大小、形狀等方面表現(xiàn)得最接近真實(shí)分割圖。盡管分割結(jié)果還不是很理想，但也為胃部腫瘤的分割研究提供了價(jià)值。

圖9 不同方法不同病人胃部腫瘤分割結(jié)果對(duì)比Fig.9 Comparison of segmentation results of stomach tumors in different patients with different methods

定量分析的結(jié)果如表1 所示，表1 顯示了不同算法在平均交并比（mIOU）和準(zhǔn)確率（Acc）上的表現(xiàn)。其中“-seg”表示僅訓(xùn)練網(wǎng)絡(luò)當(dāng)中分割部分。從表中可以看出，U-Net、Y-Net、AttU-Net、R2AttU-Net、CE-Net 和本文方法的平均交并比分別為0.228、0.494、0.325、0.597、0.636、0.843，本文方法在所有方法中效果最好。由于U-Net直接使用pooling對(duì)特征進(jìn)行大幅度的降維，導(dǎo)致分割定位精度低，mIOU僅有0.228。本文方法在胃部腫瘤分割準(zhǔn)確率上有了明顯的提升，比經(jīng)典的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)U-Net平均交并比高出約60%。

表1 比較各算法分割精度Table 1 Comparison of algorithm segmentation accuracy

3.3.2 T分期結(jié)果

在胃癌T 分期的任務(wù)中，將經(jīng)過第一步訓(xùn)練得到的.pth權(quán)重文件，載入到第二輪訓(xùn)練當(dāng)中。使用帶有殘差的DDC 模塊獲得特征圖，然后通過自適應(yīng)平均池化層獲得高維特征向量。高維特征向量穿過全連接層生成一個(gè)128 維的特征向量。這些計(jì)算出的特征最終將胃癌分為五個(gè)類型（T0，T1，T2，T3，T4）。該模型的分類結(jié)果如表2所示。其中“-joint”表示同時(shí)訓(xùn)練網(wǎng)絡(luò)中分割與分類部分。MMA-Net在進(jìn)行分類特征提取的時(shí)候與Dense-Net 不同的是，所提模型分割主線提取的語義信息在反向傳播的過程中幫助模型更好地學(xué)習(xí)分類特征，進(jìn)而有益于分類，同理分類主線在提取特征的同時(shí)也幫助分割網(wǎng)絡(luò)提升性能。將這種多任務(wù)的MAA-Net與最新的Dense-Net進(jìn)行了比較，分類精度提高了約0.24。

表2 診斷分類結(jié)果Table 2 Diagnostic classification results

3.3.3 消融實(shí)驗(yàn)

為了證明所提出的MAA-Net 中各個(gè)模塊的有效性，對(duì)使用的每個(gè)模塊進(jìn)行了消融實(shí)驗(yàn)。如表3 所示，mIOU被用作分割模型性能的主要評(píng)估指標(biāo)，而準(zhǔn)確性被用作分類模型性能的主要評(píng)估指標(biāo)。將原始Y-Net稱為“Backbone”。從表3可以清楚地了解到，網(wǎng)絡(luò)中每個(gè)添加的模塊性能都得到了提高。自適應(yīng)特征融合模塊將多個(gè)不同尺度的預(yù)測(cè)特征圖經(jīng)過softmax歸一化處理得到最佳的權(quán)重，很好地解決了不同患者的圖像特性的問題。在引入自適應(yīng)特征融合模塊后，mIOU 從0.704提高到0.821，這表明該模塊對(duì)于分割任務(wù)很有效。而在反向傳播過程中，分割網(wǎng)絡(luò)和分類網(wǎng)絡(luò)共享權(quán)重，因此分類的準(zhǔn)確性也得到了提高。結(jié)果表明，結(jié)合使用這些模塊能提供更好的性能。

表3 不同模塊評(píng)估的消融實(shí)驗(yàn)Table 3 Ablation study for evaluation of different components

常用于卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)莫過于Cross-Entropy Loss 了，但是針對(duì)胃部腫瘤這類形變較大，無明顯規(guī)則的圖像來說，其性能是有限的，而混合損失函數(shù)結(jié)合了焦點(diǎn)損失函數(shù)和骰子損失函數(shù)的優(yōu)點(diǎn)。從表4 中也可以看出，混合損失函數(shù)在緩解類別不平衡和處理胃部腫瘤圖像時(shí)優(yōu)于經(jīng)典的交叉熵?fù)p失函數(shù)。

表4 兩種損失函數(shù)的定量分析Table 4 Quantitative analysis of two loss functions

4 結(jié)束語

本文提出了一種稱為MAA-Net的新型端到端深度學(xué)習(xí)架構(gòu)，該架構(gòu)可以從腹部CT 中分割胃部腫瘤并執(zhí)行相應(yīng)的T 分期，以便醫(yī)生可以制定針對(duì)性的手術(shù)方案。精準(zhǔn)的胃部腫瘤分割和T 分期可以幫助改善臨床應(yīng)用。

首先，在第一步的粗分割階段，由于胃部腫瘤的大小、位置和形狀各異，提出了多尺度輸入與自適應(yīng)融合模塊來將整體與局部的腫瘤特征信息相融合，解決了胃部腫瘤定位難的問題。在特征編碼模塊采用預(yù)訓(xùn)練的ResNet結(jié)構(gòu)得到基礎(chǔ)特征。然后，利用多個(gè)比率的池化層組成的多核殘差模塊擴(kuò)大感受野并突出目標(biāo)區(qū)域。此外引入注意力機(jī)制，抑制胃部腫瘤邊緣無關(guān)的信息和噪聲，保留并豐富邊緣信息。最終得到粗分割的特征。在第二步胃部腫瘤精分割與T分期階段，利用第一階段得到的粗分割信息，進(jìn)一步優(yōu)化腫瘤分割結(jié)果。與此同時(shí)，使用混合損失函數(shù)來實(shí)現(xiàn)更快、更平滑的收斂，加快訓(xùn)練速度。

與現(xiàn)有的基于深度學(xué)習(xí)的方法進(jìn)行比較，結(jié)果表明本文方法在分割的準(zhǔn)確性和分類效果上均得到了顯著的提高。在本研究中所得結(jié)果準(zhǔn)確性不是很高，后續(xù)將對(duì)此問題進(jìn)行改善，并對(duì)分割出來的結(jié)果進(jìn)行三維重建，以更好地幫助醫(yī)生進(jìn)行輔助診斷。