陳 哲，童基均，潘哲毅

(1.浙江理工大學(xué)信息科學(xué)與工程學(xué)院，浙江 杭州 310018；2.中國(guó)人民武裝警察部隊(duì)海警總隊(duì)醫(yī)院信息科)

0 引言

根據(jù)世界衛(wèi)生組織調(diào)查，2020 年全球新增肝癌例達(dá)90 余萬例，并導(dǎo)致83 余萬人死亡[1]。對(duì)于肝腫瘤的治療，肝腫瘤區(qū)域的分割算法為射頻消融技術(shù)提供了有效的輔助。通常，腫瘤分割靠經(jīng)驗(yàn)豐富的醫(yī)師觀察患者的CT 圖像，憑經(jīng)驗(yàn)來劃分腫瘤區(qū)域。由于人體器官的復(fù)雜性和人力資源的限制，因此，計(jì)算機(jī)輔助診斷成為一種較好的方法。

傳統(tǒng)的肝腫瘤區(qū)域檢測(cè)方法一般基于圖像形態(tài)學(xué)[2]，基于灰度、紋理、亮度、對(duì)比度等信息應(yīng)用分類器進(jìn)行分割[3]。這些方法通常包括基于圖像灰度值分布的閾值分割法、基于灰度相似性和空間鄰近性的區(qū)域生長(zhǎng)法、基于目標(biāo)區(qū)域邊緣的邊緣檢測(cè)、基于像素灰度的聚類算法。CT圖像中腫瘤與周圍器官對(duì)比度差，腫瘤區(qū)域相對(duì)較小，且腫瘤分布的位置和數(shù)量不規(guī)則，傳統(tǒng)算法難以實(shí)現(xiàn)肝臟腫瘤的精確分割。近年來，深度學(xué)習(xí)在醫(yī)學(xué)圖像分割等許多領(lǐng)域取得了顯著的成就，其中U-Net 以其在各類不同的生物醫(yī)學(xué)分割應(yīng)用中的出色表現(xiàn)而聞名，并成為了后續(xù)眾醫(yī)學(xué)分割模型的基準(zhǔn)網(wǎng)絡(luò)[4]。本文旨在以U-Net 為基準(zhǔn)網(wǎng)絡(luò)，設(shè)計(jì)一個(gè)高效的分割網(wǎng)絡(luò)，對(duì)CT 圖像進(jìn)行肝臟腫瘤區(qū)域的自動(dòng)分割，以提高醫(yī)護(hù)人員的診療效率。

1 研究?jī)?nèi)容

本文針對(duì)現(xiàn)有深度學(xué)習(xí)方法存在的不足，提出的一種基于U-Net 的融合注意力機(jī)制的深度網(wǎng)絡(luò)Attention-ResUNet(AR-UNet)。主要內(nèi)容如下：

⑴通過對(duì)CT 圖像進(jìn)行限制對(duì)比度自適應(yīng)直方圖均衡化(contrast limited adaptive histogram equalization，CLAHE)預(yù)處理，加強(qiáng)目標(biāo)區(qū)域與背景區(qū)域的對(duì)比度。

⑵加強(qiáng)U-Net的編解碼結(jié)構(gòu)的特征提取模塊，將殘差模塊中的恒等映射融入編解碼結(jié)構(gòu)中，提升特征的傳遞。

⑶對(duì)特征提取模塊得到的上下文信息利用注意力機(jī)制模塊，對(duì)特征重新標(biāo)定，加強(qiáng)有效特征的傳輸，使得跳躍連接傳輸?shù)纳舷挛男畔⒏鼮楦咝А?/p>

2 本文方法

本文提出的方法包括圖像預(yù)處理以及利用ARUNet進(jìn)行圖像分割兩個(gè)步驟，在預(yù)處理階段通過限制對(duì)比度自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)對(duì)CT 圖像進(jìn)行目標(biāo)區(qū)域?qū)Ρ榷仍鰪?qiáng)，然后通過本文提出的模型先對(duì)肝臟區(qū)域進(jìn)行分割提取感興趣區(qū)域(regionofinterest，ROI)，最后對(duì)ROI區(qū)域進(jìn)行腫瘤區(qū)域分割。

2.1 圖像預(yù)處理

為了增強(qiáng)肝臟區(qū)域以及肝臟腫瘤區(qū)域與其他無關(guān)背景區(qū)域的對(duì)比度，本文使用了CLAHE 對(duì)CT圖像來進(jìn)一步增強(qiáng)。自適應(yīng)直方圖均衡化(Adaptive Histogram Equalization，AHE)，是一種用于提高圖像對(duì)比的數(shù)字圖像處理技術(shù)[6]。它與普通直方圖均衡化(Histogram Equalization，HE)的不同之處在于通過領(lǐng)域區(qū)域計(jì)算出的變換函數(shù)來調(diào)整每個(gè)像素。直方圖均衡化推導(dǎo)如下式：

其中，nk表示離散形式的灰度圖灰度級(jí)別為rk的像素?cái)?shù)量，Pr(rk)表示rk的概率密度，sk為像素rk經(jīng)過變換函數(shù)T()變換后的灰度值。本文將灰度圖做歸一化處理以簡(jiǎn)化計(jì)算，因此式⑵中0<=rk,sk<=1。再將求得的歸一化之后的灰度級(jí)sk逐一映射成8-bit灰度級(jí)別。

CLAHE的計(jì)算基于HE，通過計(jì)算多個(gè)直方圖，每個(gè)直方圖對(duì)應(yīng)于圖像的不同部分，并利用這些直方圖重新校準(zhǔn)圖像的灰度值。同時(shí)，CLAHE對(duì)圖像灰度圖對(duì)比度的限制，對(duì)子塊中統(tǒng)計(jì)的直方圖的閾值進(jìn)行設(shè)置，將超過閾值的分布均勻分散到概率密度分布上。經(jīng)CLAHE 預(yù)處理之后的CT 圖像如圖1 所示，CLAHE避免了過度放大圖像中概率密度函數(shù)值過大的區(qū)域，從而避免了將直方圖強(qiáng)烈地峰值化，導(dǎo)致無關(guān)的噪聲被放大。

圖1 經(jīng)CLAHE預(yù)處理后樣本

2.2 Attention-ResUNe（t簡(jiǎn)稱AR-UNet）網(wǎng)絡(luò)結(jié)構(gòu)

在肝臟腫瘤分割任務(wù)中，U-Net編碼器、解碼器結(jié)構(gòu)存在特征提取不足、特征提取模塊的結(jié)構(gòu)過于冗余造成了過多的訓(xùn)練參數(shù)，以及跳躍連接直接傳輸淺層卷積提取的特征與造成的圖像特征模糊等問題。對(duì)此本文對(duì)U-Net進(jìn)行改進(jìn)，提出了AR-UNet，進(jìn)行肝臟腫瘤分割。

AR-UNet 其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。本文修改了U-Net 的編碼器、解碼器結(jié)構(gòu)。不同于其他將殘差模塊應(yīng)用于跳躍連接階段的改進(jìn)網(wǎng)絡(luò)，本文利用殘差網(wǎng)絡(luò)中恒等映射的優(yōu)點(diǎn)加強(qiáng)特征傳輸?shù)膬?yōu)點(diǎn)[7]，在U-Net的收縮、擴(kuò)張路徑利用殘差單元取代了原始U-Net 的卷積操作。為了加強(qiáng)特征通道的權(quán)重和特征的上下文信息，使得模型聚焦于特征向量的有效信息，本文在每個(gè)殘差單元中融入混合注意力機(jī)制[8]。

圖2 Attention-ResUNet網(wǎng)絡(luò)架構(gòu)

AR-UNet 重新設(shè)計(jì)U-Net 中的特征提取模塊，以提高模型的學(xué)習(xí)效率，同時(shí)保證通過跳躍連接的傳輸?shù)奶卣鞲蛹?xì)化。原始U-Net 收縮、擴(kuò)張路徑的兩層卷積核的情況下，直接引入殘差塊會(huì)導(dǎo)致殘差映射退化成y=w1x+x，以及下層路徑中，過多的卷積核造成網(wǎng)絡(luò)結(jié)構(gòu)的冗余。在原始U-Net 中編碼器最底層中，其卷積核的數(shù)量達(dá)到了1024個(gè)。

為了繼承U-Net設(shè)計(jì)思想，不論收縮、擴(kuò)展路徑都是兩層卷積核的形式的特征提取模塊。在圖2 中，黑色矩形塊表示了加入注意力機(jī)制的殘差模塊。為了不使殘差映射退化，本文結(jié)合了殘差網(wǎng)絡(luò)中的瓶頸層設(shè)計(jì)思想替換每一層的卷積核。瓶頸層的設(shè)計(jì)如圖3所示，以圖2 Attention-ResUNet 網(wǎng)絡(luò)架構(gòu)中編碼器第三層為例代表的操作。每一層通過的1×1 卷積對(duì)數(shù)據(jù)進(jìn)行降維，再通過的3×3卷積進(jìn)行特征提取。最后為了恢復(fù)特征通道數(shù)，再將特征經(jīng)過stride為1的1×1卷積進(jìn)行升維。在升維操作后，通過融合注意力機(jī)制來提高模型的表征能力。在瓶頸層的末端，通過串行執(zhí)行通道注意力模塊[9]以及空間注意力模塊[10]，使得模型能夠增強(qiáng)有效特征的通道同時(shí)聚焦于特征的有效空間信息。因此，本文以瓶頸層的設(shè)計(jì)代替了原始的特征提取模塊。輸入特征為上層特征經(jīng)過下采樣得到的特征，并經(jīng)過殘差函數(shù)F()的計(jì)算。

圖3 Attention-ResUNet瓶頸層結(jié)構(gòu)

為了進(jìn)一步細(xì)化特征F，提取的特征經(jīng)過注意力機(jī)制模塊如圖4所示。

圖4 注意力機(jī)制模塊

經(jīng)過通道注意力模塊將空間維度進(jìn)行壓縮，得到特征通道權(quán)重的映射Mc，Mc計(jì)算如下：

其中，σ表示Sigmoid 激活函數(shù)。W0，W1為共享權(quán)重，本文W0,W1∈，r為縮放因子對(duì)特征進(jìn)行壓縮，用于減小參數(shù)，簡(jiǎn)化計(jì)算量。再經(jīng)過點(diǎn)乘操作，對(duì)特征重新校準(zhǔn)。求得的重新校準(zhǔn)的特征可用式⑷計(jì)算：

經(jīng)過通道注意力模塊提取后得到特征F'，再經(jīng)過后續(xù)的空間注意力模塊，對(duì)模型的空間信息進(jìn)行校準(zhǔn)?？臻g注意力模塊通過對(duì)特征F'進(jìn)行最大池化和平均池化操作，分別求得兩個(gè)特征如下：

最后利用空間注意力機(jī)制，空間注意力映射Ms可用式⑺計(jì)算：

其中，[;]表示連接操作，f7×7表示卷積核為7×7 的卷積操作。進(jìn)而求得的空間映射Ms與F'累乘操作，得到經(jīng)過通道校準(zhǔn)以及聚焦空間信息的特征F''：

將特征F''與恒等映射累加，即為l層輸出特征。

本文通過改進(jìn)U-Net 的特征提取模塊，來使網(wǎng)絡(luò)在肝臟腫瘤分割任務(wù)上取得更優(yōu)秀的表現(xiàn)。通過改進(jìn)的瓶頸層來替代直連的卷積操作有以下優(yōu)點(diǎn)：

⑴引入的殘差結(jié)構(gòu)，增強(qiáng)上下文信息的提取。

⑵可以減少訓(xùn)練參數(shù)，改善U-Net 冗余結(jié)構(gòu)，節(jié)約訓(xùn)練時(shí)間。

⑶通過通道、空間注意力機(jī)制對(duì)特征重新校準(zhǔn)，一方面可以使得模型聚焦于特征的有效通道以及熱點(diǎn)區(qū)域，另一方面特征經(jīng)過注意力模塊處理后也避免了在跳躍連接時(shí)低分辨率的特征信息與深層抽象特征融合造成的特征模糊問題。

3 結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

在LiTS 數(shù)據(jù)集上本文選取10 名患者(共3255 張圖像)的數(shù)據(jù)用于驗(yàn)證，20患者(共8404張圖像)用于測(cè)試。其他101 名患者(共46979 人圖像)用于數(shù)據(jù)增強(qiáng)，然后用于訓(xùn)練。在3D-IRCADb 數(shù)據(jù)集上在來自2 名患者的數(shù)據(jù)(共254 張圖像)用于驗(yàn)證，2 名患者(共349張圖像)進(jìn)行測(cè)試。16 名患者(共2269 張圖像)用于數(shù)據(jù)增強(qiáng)，然后用于訓(xùn)練。

3.2 實(shí)驗(yàn)環(huán)境與配置

AR-UNet 的優(yōu)化器選取Adam，初始學(xué)習(xí)率設(shè)置為1e-5，權(quán)重衰減系數(shù)設(shè)置為0.0001，β1 設(shè)置為0.9，β2設(shè)置為0.999。實(shí)驗(yàn)平臺(tái)采用Ubuntu 16.04操作系統(tǒng)，搭載24GB 顯存的GeForce RTX 3090GPU 進(jìn)行實(shí)驗(yàn)評(píng)估，利用開源深度學(xué)習(xí)框架Tensorflow1.14.0實(shí)現(xiàn)。

3.3 AR-UNet實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的有效性，將AR-UNet實(shí)驗(yàn)結(jié)果與其他主流分割方法得到的結(jié)果做對(duì)比，對(duì)比數(shù)據(jù)如表1、表2所示。

表2 LiTS數(shù)據(jù)集分割結(jié)果

從表中數(shù)據(jù)可知，對(duì)于肝臟腫瘤分割，在3DIRCADb數(shù)據(jù)集中，AR-UNet在VOE、ASD、MSD 三個(gè)評(píng)價(jià)指標(biāo)中達(dá)到了38.2%，1.622mm 和5.847mm 的最優(yōu)性能。得益于AR-UNet高效的特征提取模塊，在肝臟腫瘤分布復(fù)雜、數(shù)量不定的樣本中，AR-UNet 具有接近專家真實(shí)標(biāo)注結(jié)果的分割性能。

在LiTS數(shù)據(jù)集上對(duì)于Dice和MSD 的評(píng)價(jià)指標(biāo)分別達(dá)到了83.7%和4.693mm最優(yōu)性能。由于本文提出的AR-UNet基于二維卷積操作實(shí)現(xiàn)，在一定程度上忽略了三維體素間的上下文信息聯(lián)系，因此對(duì)于RVD指標(biāo)上相較于基于體素的三維卷積實(shí)現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)稍有差距。根據(jù)圖5 中的結(jié)果圖對(duì)比，本文方法可以有效地分割出肝臟區(qū)域中的腫瘤主要區(qū)域以及大部分細(xì)節(jié)復(fù)雜的邊緣區(qū)域。得益于AR-UNet中引入的殘差模塊以及注意力機(jī)制模塊，AR-UNet相較于其他分割網(wǎng)絡(luò)對(duì)于腫瘤的邊緣區(qū)域能夠?qū)崿F(xiàn)有效的提取。

圖5 AR-UNet與其他分割網(wǎng)絡(luò)結(jié)果對(duì)比

4 結(jié)論

本文根據(jù)CT 圖像中肝臟腫瘤分割任務(wù)的特點(diǎn)，提出一種基于AR-UNet 網(wǎng)絡(luò)的分割網(wǎng)絡(luò)。首先對(duì)分割任務(wù)樣本集進(jìn)行數(shù)據(jù)CLAHE 預(yù)處理，來增強(qiáng)目標(biāo)區(qū)域與背景的對(duì)比度，然后利用本文方法對(duì)肝臟區(qū)域進(jìn)行初分割，提取ROI，最后對(duì)利用AR-UNet 對(duì)ROI提取腫瘤區(qū)域。在不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法在肝臟腫瘤分割任務(wù)上表現(xiàn)優(yōu)秀，并且模型具有泛化能力?；贏R-UNet 網(wǎng)絡(luò)模型在腫瘤分布復(fù)雜的場(chǎng)景仍然有改進(jìn)空間。為了進(jìn)一步提高分割的準(zhǔn)確率，本文的后續(xù)工作將關(guān)注空間體素以及對(duì)于模型結(jié)構(gòu)的改進(jìn)，進(jìn)一步提高特征的利用，提升網(wǎng)絡(luò)分割性能。