李蘭蘭，胡益煌，王大彪，徐 斌，李 娟

(1.福州大學(xué) 物理與信息工程學(xué)院 福建省媒體信息智能處理與無線傳輸重點(diǎn)實驗室，福建 福州 350108；2.福州大學(xué) 石油化工學(xué)院，福建 福州 350108；3.中山大學(xué)附屬第六醫(yī)院 內(nèi)鏡外科 廣東省結(jié)直腸盆底疾病研究重點(diǎn)實驗室，廣東 廣州 510655)

0 引 言

對于結(jié)直腸癌的病灶分割已經(jīng)成為重要的研究問題[1-3]。U-Net是一種最為常用的醫(yī)學(xué)分割網(wǎng)絡(luò)模型，具有編碼器-解碼器的結(jié)構(gòu)[4]。為了進(jìn)一步提高U-Net的性能，許多學(xué)者對U-Net進(jìn)行改進(jìn)。例如，Guo等[5]將VGG模塊作為U-Net的編碼器，在結(jié)直腸息肉分割任務(wù)中獲得了較高的分割精度；Abedalla等[6]將在ImageNet上預(yù)訓(xùn)練過的ResNet作為編碼器部分，在胸部X射線圖像氣胸分割問題中取得了很好的效果；Li等[7]基于DenseNet模型設(shè)計編碼器，提高了肝臟和肝腫瘤分割的精度；Oktay等[8]在U-Net框架下添加門注意力模塊，旨在選擇出對當(dāng)前任務(wù)更關(guān)鍵的特征，在腹部CT多標(biāo)簽分割問題中得到了很好的應(yīng)用。

上述方法設(shè)計了不同的網(wǎng)絡(luò)結(jié)構(gòu)用于醫(yī)學(xué)圖像分割，然而這些網(wǎng)絡(luò)算法存在著一些局限性：①門注意力機(jī)制在取得較好分割效果的同時，模型參數(shù)量也在大幅上漲，耗費(fèi)的硬件資源和時間較多；②VGGNet、ResNet和DenseNet雖然模型越來越復(fù)雜，特征的提取能力越來越強(qiáng)，但是局限于提取更優(yōu)秀的深層特征和淺層特征[9]，不能夠充分學(xué)習(xí)圖像的全局特征和局部特征，從而導(dǎo)致不能很好分割病灶區(qū)域。

基于上述問題，本文改進(jìn)了語境引導(dǎo)網(wǎng)絡(luò)(context guided network，CG-Net)，在網(wǎng)絡(luò)中引入深度可分離卷積，使得整體改進(jìn)的模型在輕量性和高性能之間取得平衡。在編碼模塊中加入高效金字塔通道注意力(efficient pyramid channel attention，EPCA)模塊學(xué)習(xí)多尺度全局特征，并采用殘差思想與語境引導(dǎo)塊提取的局部特征相結(jié)合，學(xué)習(xí)豐富高級和低級語義特征。

1 基于改進(jìn)CG-Net的結(jié)直腸癌病灶區(qū)域分割

1.1 CG-Net簡介

基于輕量化語義分割的思想下，Wu等[10]提出了一種新穎的語境引導(dǎo)網(wǎng)絡(luò)，它是一種輕量級、高效的語義切分網(wǎng)絡(luò)。它的上下文引導(dǎo)(context guided，CG)塊，首先是一個1×1的卷積，而后并行卷積。一個并行卷積是3×3的卷積用于提取局部特征，另一個并行卷積是3×3的空洞卷積用于提取局部上下文特征，最后將特征在通道上進(jìn)行整合加權(quán)用于優(yōu)化全局上下文特征，能夠同時學(xué)習(xí)局部特征和周圍上下文的聯(lián)合特征，并進(jìn)一步優(yōu)化聯(lián)合特征與全局上下文特征。CG-Net經(jīng)過精心設(shè)計，所采用的3×3卷積是基于深度卷積，能夠減少參數(shù)數(shù)量并節(jié)省內(nèi)存占用。在參數(shù)數(shù)目相同的情況下，CG-Net的性能能夠明顯優(yōu)于現(xiàn)有的分割網(wǎng)絡(luò)。

1.2 改進(jìn)算法

改進(jìn)算法基于CG-Net，在CG塊中加入EPCA模塊，提高多尺度全局特征的表達(dá)性。引入深度可分離卷積，在模型參數(shù)量和性能間取得一個平衡，并采用殘差思想與CG塊提取的局部特征結(jié)合，學(xué)習(xí)低層和高層特征，從而組合成本文提出的高效金字塔語境引導(dǎo)(efficient pyramid context guided，EPCG)塊，將本文提出的網(wǎng)絡(luò)稱為EPCG-Net。算法流程如圖1所示。

圖1 算法流程

改進(jìn)算法主要步驟包括：

(1)數(shù)據(jù)處理：對獲得的MRI圖像進(jìn)行預(yù)處理和數(shù)據(jù)增強(qiáng)操作。

(2)網(wǎng)絡(luò)搭建與訓(xùn)練：神經(jīng)網(wǎng)絡(luò)基于CG-Net，在CG塊中加入EPCA模塊，采用殘差思想與語境引導(dǎo)塊提取的局部特征結(jié)合，進(jìn)行訓(xùn)練。

(3)預(yù)測分割：輸入測試數(shù)據(jù)，讀取訓(xùn)練時保存好的模型權(quán)重并執(zhí)行預(yù)測。將預(yù)測結(jié)果與Label進(jìn)行對比評價。

1.2.1 EPCG模塊

借鑒CG-Net網(wǎng)絡(luò)的思路，提出EPCG模塊。在該模塊中首先采用1×1的卷積操作，然后將卷積操作后的向量分別送入3×3的卷積和3×3的空洞深度可分離卷積，接著將普通卷積和空洞深度可分離卷積的兩個張量進(jìn)行通道疊加，隨后對合并的張量進(jìn)行BatchNorm批歸一化，在歸一化輸出后加入PReLU激活函數(shù)。3×3的普通卷積用于提取局部特征，3×3的空洞卷積用于提取局部上下文特征，隨著空洞率提高，提取的上下文特征范圍會逐漸提高，利用深度可分離卷積減少深度卷積引起的性能下降，參數(shù)量又不會增加太多，取得參數(shù)量和性能的一個平衡；通過PReLU函數(shù)激活使網(wǎng)絡(luò)具有非線性映射學(xué)習(xí)能力。將激活后的張量通過EPCA模塊，最后為了緩解梯度消失，增強(qiáng)網(wǎng)絡(luò)性能，采用殘差的思想，將處理后的張量與初始輸入張量進(jìn)行相加。EPCG模塊如圖2所示。

圖2 EPCG模塊

通道注意力機(jī)制允許網(wǎng)絡(luò)有選擇地對每個通道的重要性進(jìn)行加權(quán)，能夠幫助網(wǎng)絡(luò)更好的學(xué)習(xí)需要的特征。設(shè)X∈RC×H×W表示輸入特征圖，其中C、H、W分別表示其通道數(shù)、高度和寬度。SE塊由兩部分組成：壓縮和激勵，分別用于編碼全局信息和自適應(yīng)地重新分配通道關(guān)系權(quán)重。通過使用全局平均池化來生成通道級描述，該全局平均池化將全局空間信息嵌入到通道描述中。全局平均池化運(yùn)算符可以通過以下公式表示

(1)

SE模塊中第c個通道的關(guān)注權(quán)重可以表示為

wc=σ(W1δ(W0(gc)))

(2)

圖3 SEWeight模塊

在高效金字塔拆分注意力(efficient pyramid split attention，EPSA)模塊中[12]，輸入特征先將通道進(jìn)行平均劃分，然后把切分好的特征張量送入分組卷積。但是這會導(dǎo)致提取不同尺度特征所包含信息量不足，不能充分發(fā)揮注意力機(jī)制的效果。因此引出EPCA注意力模塊，首先進(jìn)入分組卷積模塊(GConv Module)將輸入張量并行進(jìn)行不同尺度的組卷積操作得到多尺度特征Fi(i=0，1，2，3)， 旨在提取不同尺度的特征，每個尺度的卷積組數(shù)根據(jù)卷積核大小按式(7)關(guān)系遞增，以減少不同尺度卷積帶來的參數(shù)量，提高網(wǎng)絡(luò)效率。而后將多尺度特征在通道上重新連接得到重構(gòu)特征張量F。 通過SEWeight模塊提取多尺度特征張量的通道關(guān)注度權(quán)重來構(gòu)建跨維交互，利用Softmax運(yùn)算重新校準(zhǔn)相應(yīng)通道的關(guān)注權(quán)重得到AttWeight， 從而建立了通道依賴關(guān)系，將逐元素乘積的運(yùn)算應(yīng)用于重新校準(zhǔn)的權(quán)重和對應(yīng)的特征映射。最后得到更豐富的多尺度特征信息的重構(gòu)特征圖作為輸出output。 EPCA模塊如圖4所示，其算法流程如算法1所示。Fi、F、AttWeight、output之間的關(guān)系如以下公式所示

圖4 EPCA模塊

F=Cat([F1，…，F(xiàn)i])i=1，2，3，4

(3)

(4)

AttWeight=([AttWeight1，…，AttWeighti])i=0，1，2，3

(5)

output=F?AttWeight

(6)

算法1：EPCA算法流程

Input：輸入張量數(shù)據(jù)Input

Output：輸入張量數(shù)據(jù)Output

(1)通過Gconv Module得到多尺度特征張量F

(2)fori=1,2,3,4do

(3) 將Fi通過式(4)計算得到通道重構(gòu)關(guān)注權(quán)重AttWeighti

(4)endfor

(5)合并得到AttWeight

(6)Output=F?AttWeight

(7)returnOutput

圖5 GConv模塊

(7)

其中，G為分組的組數(shù)，K為對應(yīng)的卷積核大小。

1.2.2 EPCG-Net網(wǎng)絡(luò)

表1 網(wǎng)絡(luò)詳細(xì)體系結(jié)構(gòu)

圖6 整體網(wǎng)絡(luò)結(jié)構(gòu)

2 實 驗

為了驗證改進(jìn)模型的性能，通過中山大學(xué)附屬第六醫(yī)院提供的腹部MRI圖像數(shù)據(jù)來對改進(jìn)模型進(jìn)行驗證比較。本文所使用的網(wǎng)絡(luò)模型基于Python3.8語言環(huán)境和PyTorch 1.8版本深度學(xué)習(xí)平臺，在AMD(R)R7-4800H CPU@2.90 GHz，16 G內(nèi)存，顯卡為NVIDIA RTX 2060電腦上運(yùn)行，通過Adam優(yōu)化器訓(xùn)練模型，學(xué)習(xí)速率固定為0.001，epoch為 150。

2.1 數(shù)據(jù)集與預(yù)處理

(8)

其中，σ是高斯標(biāo)準(zhǔn)差，LoG(x，y) 是高斯拉普拉斯濾波器濾波后的像素點(diǎn)。

如圖7是經(jīng)過高斯拉普拉斯濾波處理前后的圖像對比。

圖7 預(yù)處理前后對比

2.2 性能評價指標(biāo)和損失函數(shù)

本文以中山大學(xué)附屬第六醫(yī)院經(jīng)驗豐富的醫(yī)生提供的病灶區(qū)域分割結(jié)果作為金標(biāo)準(zhǔn)，分別從以下指標(biāo)做出評價：準(zhǔn)確率(Accuracy，Acc)、靈敏度(Sensitivity，Sen)、特異度(Specificity，Spe)、Dice[13]系數(shù)和mIoU[14]系數(shù)。這些評價指標(biāo)有以下公式表達(dá)

(9)

(10)

(11)

(12)

(13)

其中，TP、TN、FP、FN分別表示真陽性、真陰性、假陽性和假陰性的像素點(diǎn)或數(shù)量，k+1表示類別個數(shù)，下標(biāo)i表示對應(yīng)類別。

對于網(wǎng)絡(luò)模型大小的評價指標(biāo)有浮點(diǎn)運(yùn)算數(shù)(FLOPs)和模型參數(shù)(Parameters)。對于FLOPs來說，有以下公式：

對于卷積層

FLOPs=H×W×(Cin×K2)×Cout

(14)

其中，H和W對應(yīng)輸入特征的高度和寬度，Cin和Cout對應(yīng)輸入和輸出通道，K代表卷積核大小。

對于全連接層

FLOPs=Cin×Cout

(15)

其中，Cin和Cout對應(yīng)全連接函數(shù)輸入和輸出通道大小。

在本文中，F(xiàn)LOPs是基于256×256×3的網(wǎng)絡(luò)輸入圖像尺寸來計算的。

本文擬采用兩種類型的損失函數(shù)進(jìn)行組合，分別為二元交叉熵?fù)p失函數(shù)(binary cross entropy loss，BCELoss)和Dice損失函數(shù)(DiceLoss)[15]。兩個損失函數(shù)定義如下所示

(16)

(17)

由于DiceLoss屬于復(fù)雜損失函數(shù)，雖然可以提高分割的性能，但是極容易造成網(wǎng)絡(luò)訓(xùn)練出現(xiàn)梯度消失的問題。因此本文采用對兩個損失函數(shù)進(jìn)行加權(quán)的方法組合，定義如下

(18)

實驗中，α取0.9。

由于模型訓(xùn)練時采用批處理操作，因此實際訓(xùn)練中使用的損失函數(shù)形式為

(19)

其中，N代表每批圖像的數(shù)量。

2.3 實驗結(jié)果

為了探究第二部分EPCG塊數(shù)量M和第三部分EPCG塊數(shù)量N對分割結(jié)果的影響，我們利用不同M和N的組合，在指標(biāo)方面定性分析網(wǎng)絡(luò)的性能。一般來說，深層網(wǎng)絡(luò)的性能要好于淺層網(wǎng)絡(luò)，但代價是增加了計算成本和模型規(guī)模；與此同時過深的網(wǎng)絡(luò)容易出現(xiàn)學(xué)習(xí)退化現(xiàn)象，導(dǎo)致性能下降。實驗結(jié)果見表2，我們可以發(fā)現(xiàn)，當(dāng)固定N時，分割精度并不隨著M的增加而增加或者出現(xiàn)了小幅下降。例如，N=12，將M從3改為6，Acc下降0.3個百分點(diǎn)，Sen下降4個百分點(diǎn)。因此，我們將M數(shù)量設(shè)置為3。此外，通過設(shè)置不同的N，我們在精度和模型大小之間進(jìn)行了折衷。當(dāng)M=3，N=9時，我們的方法在腹部數(shù)據(jù)集上獲得了0.819的最高Dice和0.790的最高mIoU。

表2 具有不同M、N的網(wǎng)絡(luò)性能

2.4 消融實驗

在中山大學(xué)附屬六院提供的腹部數(shù)據(jù)集上進(jìn)行消融實驗，介于以上實驗結(jié)果，將EPCG塊的數(shù)量M定為3，N定

為9。定量分析結(jié)果見表3。我們分別對EPCG塊中的EPCA注意力機(jī)制、EPCG塊中的空洞卷積部分、EPCG塊中的深度可分離卷積部分、EPCG塊殘差相連和模塊部分二和部分三之間的殘差連接進(jìn)行消融實驗。消融實驗分別為：①為一個基礎(chǔ)網(wǎng)絡(luò)模型；②在網(wǎng)絡(luò)模塊中加上EPCA注意力機(jī)制；③在網(wǎng)絡(luò)的模塊中加入空洞卷積；④將空洞卷積進(jìn)一步修改為深度可分離卷積；⑤網(wǎng)絡(luò)模塊里加入殘差連接；⑥在模塊之間加入殘差連接，即最終的EPCG-Net。由表格數(shù)據(jù)可以看出實驗①～⑥的性能隨著模塊的加入而提升，實驗⑥的Dice、mIoU、Acc和Sen在消融實驗中取得了0.819、0.790、0.887和0.774的最優(yōu)值。

表3 消融實驗

綜合上述分析，EPCG-Net網(wǎng)絡(luò)中的各模塊均對性能的提升有一定貢獻(xiàn)。

2.5 比較實驗

為了進(jìn)一步驗證EPCG-Net的有效性，我們將EPCG-Net與目前經(jīng)典分割網(wǎng)絡(luò)U-Net及其變體進(jìn)行性能對比。同樣是在中山大學(xué)附屬六院提供的腹部數(shù)據(jù)集上進(jìn)行，為了方便比較，我們對網(wǎng)絡(luò)進(jìn)行了定量分析和定性分析。表4給出了實驗的評價指標(biāo)結(jié)果，可以看到EPCG-Net取得了與AttU-Net相當(dāng)?shù)男阅?，但是模型參?shù)量和浮點(diǎn)數(shù)大小卻遠(yuǎn)遠(yuǎn)小于AttU-Net；與基礎(chǔ)U-Net相比，EPCG-Net的模型參數(shù)量和浮點(diǎn)數(shù)大小也大幅減小。與U-Net、ResU-Net和DenseU-Net相比，Dice分別提高了6.9%、3.9%和0.3%，mIoU分別提高了7.8%、4.2%和0.6%。在Acc、Sen和Spe這3個指標(biāo)上，EPCG-Net與其余網(wǎng)絡(luò)相比也具有較大的優(yōu)勢。同時可以看到，當(dāng)EPCG-Net取M3N21的時候，由于網(wǎng)絡(luò)復(fù)雜度變高、深度出現(xiàn)了過深的情況導(dǎo)致網(wǎng)絡(luò)性能出現(xiàn)了下降。

表4 與其它網(wǎng)絡(luò)在腹部數(shù)據(jù)集上的分割結(jié)果

在數(shù)據(jù)集上的損失函數(shù)收斂情況如圖8所示，可以看出EPCG-Net(M3N9)的損失函數(shù)收斂速度較快，且收斂的過程中波動幅度明顯低于所比較的網(wǎng)絡(luò)，對比其它網(wǎng)絡(luò)最終收斂的損失值也低一些。通過損失函數(shù)的表現(xiàn)可以看出改進(jìn)的網(wǎng)絡(luò)具有良好的性能。

圖8 損失函數(shù)收斂結(jié)果

在數(shù)據(jù)集上的定性分割結(jié)果如圖9所示，可以看到CG-Net因為缺失多尺度金字塔注意力機(jī)制等結(jié)構(gòu)在分割上出現(xiàn)了一定漏判，而U-Net及其變體出現(xiàn)了一定程度的誤判。同樣可以看出EPCG-Net取M3N21的時候由于網(wǎng)絡(luò)復(fù)雜度過大等原因在分割視覺效果上也出現(xiàn)了下降。定性分割結(jié)果與定量指標(biāo)結(jié)果指向一致，EPCG-Net的分割結(jié)果能較好地描述真實的金標(biāo)準(zhǔn)。

圖9 在腹部測試集上的定性結(jié)果

綜上所述，EPCG-Net能夠取得較為優(yōu)異的分割效果，而且能夠在模型輕量化和性能之間取得一個較好的平衡。

2.6 實驗分析

本文提出了EPCG-Net算法，以解決分割網(wǎng)絡(luò)參數(shù)量過大的問題以及模型輕量化導(dǎo)致的性能下降問題。在輕量化分割CG-Net網(wǎng)絡(luò)的啟發(fā)下，對CG-Net深度輕量化神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，在編碼塊加入EPCA注意力模塊，以此來學(xué)習(xí)豐富全局特征，采用殘差思想將注意力模塊與編碼塊結(jié)合提出EPCG模塊，幫助網(wǎng)絡(luò)學(xué)習(xí)全局和局部特征信息。改進(jìn)設(shè)計的網(wǎng)絡(luò)應(yīng)用于結(jié)直腸癌MRI圖像病灶分割，實現(xiàn)了較好的分割性能和輕量化，具有一定的臨床實際應(yīng)用潛力。從表4定量分析可以看出，相比于原CG-Net網(wǎng)絡(luò)在病灶分割性能上有一定提升，由此驗證EPCG-Net的改進(jìn)方法是有效的。U-Net網(wǎng)絡(luò)在編碼層和解碼層之間加入了跳躍連接，從而達(dá)到因采樣卷積造成的特征損失而進(jìn)行特征補(bǔ)充的作用，但是簡單的跳躍連接不能夠很好結(jié)合深層和淺層特征，因此EPCG-Net引入殘差連接提高模型的學(xué)習(xí)能力，在Dice和mIoU上分別比U-Net有較大提高。雖然ResU-Net加入了殘差塊以及DenseU-Net引入了密集連接相對提高了性能，但是模型的參數(shù)量也隨之提高，EPCG-Net由于引入了深度可分離卷積和分組卷積使得模型參數(shù)量大幅減少。隨著注意力機(jī)制在深度學(xué)習(xí)的快速發(fā)展，基于門注意力機(jī)制的AttU-Net開始出現(xiàn)，門注意力機(jī)制使得模型在訓(xùn)練時會學(xué)會抑制不相關(guān)的區(qū)域，注重有用的顯著特征，性能得到顯著提升，但是隨之而來的模型參數(shù)量也明顯提高。EPCG-Net憑借改進(jìn)高效金字塔注意力機(jī)制不僅能夠?qū)W習(xí)豐富的多尺度特征通道信息也極大程度減小了參數(shù)量。和AttU-Net相比，網(wǎng)絡(luò)性能略有提升，但是模型參數(shù)量和浮點(diǎn)數(shù)大小有了大幅度下降。以上結(jié)果驗證，EPCG-Net在性能和輕量化之間取得了一個較好的平衡。消融實驗結(jié)果表明(見表3)，實驗②的性能提升驗證了EPCA的有效性，說明EPCA的多尺度特征學(xué)習(xí)能夠?qū)W習(xí)分割目標(biāo)的尺度變化。實驗⑤和⑥驗證了殘差連接是有效的。已有研究結(jié)果表明，分割細(xì)節(jié)修復(fù)是更困難的任務(wù)[16]。綜上所述，由殘差連接構(gòu)成的模塊主要學(xué)習(xí)分割目標(biāo)的尺度變化和分割細(xì)節(jié)是性能提升的主要原因。在對數(shù)據(jù)集和網(wǎng)絡(luò)進(jìn)行定性分析可以看出(如圖6所示)，EPCG-Net在對病灶的分割程度上有著較好的視覺效果，在小病灶和病灶細(xì)節(jié)上，改進(jìn)網(wǎng)絡(luò)有著不俗的表現(xiàn)。這是因為EPCG塊中的高效金字塔通道注意力機(jī)制能提取多尺度的特征和通道之間緊密的聯(lián)系，由EPCG塊到模塊部分的殘差連接使得網(wǎng)絡(luò)學(xué)習(xí)能力有一定的增強(qiáng)。AttU-Net雖然也有著良好的視覺分割效果，但是模型參數(shù)量和浮點(diǎn)數(shù)大小卻大幅增加。CG-Net運(yùn)用了SE注意力模塊，能夠一定程度學(xué)習(xí)到特征間關(guān)系，但是容易出現(xiàn)漏判的情況。綜合來看，提出的EPCG-Net在定性上也取得了不錯的成績。

3 結(jié)束語

針對分割模型參數(shù)量過大以及輕量級網(wǎng)絡(luò)導(dǎo)致的性能下降問題，提出了一種基于CG-Net改進(jìn)的輕量級分割網(wǎng)絡(luò)算法。為了更好發(fā)掘空間信息，網(wǎng)絡(luò)先進(jìn)行了特征的初步提?。辉诙?、三部分中，EPCG塊的空洞卷積采用了深度可分離卷積來減少跨通道的計算成本和避免網(wǎng)絡(luò)性能的過度下降；注意力機(jī)制采用了分組卷積從而節(jié)省了大量的內(nèi)存空間；同時二、三部分的首層輸入是通過組合前一部分的首尾塊，使得特征得到了重用激勵并減少了梯度消失的情況。在中山大學(xué)附屬第六醫(yī)院的數(shù)據(jù)集上進(jìn)行實驗，結(jié)果表明提出的改進(jìn)網(wǎng)絡(luò)在性能和輕量性上取得了良好的平衡。