劉明坤，張俊華，李宗桂

云南大學(xué) 信息學(xué)院，昆明 650500

研究表明，全球大約有50%的人存在甲狀腺結(jié)節(jié)病癥[1]，而甲狀腺結(jié)節(jié)癌變的幾率約為5%～15%，嚴(yán)重威脅著人類的健康[2-4]。

甲狀腺結(jié)節(jié)性疾病一般通過醫(yī)生手工對超聲影像進(jìn)行標(biāo)定和劃分結(jié)節(jié)區(qū)域來診斷[5]。然而超聲圖像一般存在大量偽影且固有斑點噪聲大，對比度和分辨率較低[6]，不同型號及類型的超聲設(shè)備采集的超聲圖像也存在較大差異，并且甲狀腺結(jié)節(jié)無標(biāo)準(zhǔn)形態(tài)，這些問題給醫(yī)生準(zhǔn)確分割不同患者的甲狀腺結(jié)節(jié)輪廓帶來挑戰(zhàn)。在此過程中因不同醫(yī)生操作經(jīng)驗不同，還會出現(xiàn)觀察者誤差。因此對甲狀腺結(jié)節(jié)超聲圖像進(jìn)行準(zhǔn)確的分割對提高診斷相關(guān)疾病的效率有重要意義。

近年來已有不少自動或半自動甲狀腺結(jié)節(jié)超聲圖像分割方法。Koundal 等人[7]提出了一種利用中性點域的距離和正則化水平集的方法對甲狀腺超聲圖像進(jìn)行斑點抑制和結(jié)節(jié)分割，但水平集演化參數(shù)的設(shè)定和中性點區(qū)域的劃分需要人工進(jìn)行，主觀性強(qiáng)。Ma等人[8]使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN），通過甲狀腺邊緣像素點對甲狀腺和甲狀腺結(jié)節(jié)進(jìn)行分類，根據(jù)分類結(jié)果生成分割概率圖，但性能不理想。Li等人[9]使用全卷積網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）對甲狀腺結(jié)節(jié)超聲圖像進(jìn)行分割，全卷積網(wǎng)絡(luò)只考慮各個像素間的分類，忽略了空間規(guī)整，缺乏空間一致性，同時上采樣的結(jié)果模糊平滑，對圖像中細(xì)節(jié)不敏感，致使分割誤差較大。Wang 等人[10]使用快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（faster region-convolutional neural network，F(xiàn)aster R-CNN）[11]對甲狀腺乳頭狀癌超聲圖像進(jìn)行識別，F(xiàn)aster R-CNN中感興趣區(qū)域池化層（region of interesting pooling，ROI Pooling）將特征圖按固定尺寸進(jìn)行池化時，對特征圖邊界坐標(biāo)浮點數(shù)進(jìn)行取整，映射到原始圖像中就會產(chǎn)生較大的像素點差別，導(dǎo)致識別精度較差。Ying等人[12]使用基于U型卷積神經(jīng)網(wǎng)絡(luò)（U-Net）的改進(jìn)網(wǎng)絡(luò)對甲狀腺結(jié)節(jié)超聲圖像進(jìn)行分割，U-Net網(wǎng)絡(luò)在單一尺度上進(jìn)行預(yù)測，并不能完全解決尺度變化的問題，其網(wǎng)絡(luò)層數(shù)過少也很容易產(chǎn)生過擬合的現(xiàn)象，且在分割一些不明顯的甲狀腺結(jié)節(jié)的情況下仍會產(chǎn)生較大的誤差。

為了解決以上問題，本文提出一種改進(jìn)的掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（mask region-convolutional neural network，Mask R-CNN），對原主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，增強(qiáng)了其特征提取能力。改進(jìn)的Mask R-CNN 實現(xiàn)了對甲狀腺結(jié)節(jié)超聲圖像的自動精確分割，避免了人為因素的影響。

1 原始Mask R-CNN網(wǎng)絡(luò)

原始Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由主干網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)（region proposal network，RPN）、感興趣區(qū)域匹配層（region of interesting align，ROI Align）和全連接網(wǎng)絡(luò)組成。輸入圖像經(jīng)過主干網(wǎng)絡(luò)進(jìn)行特征提取，然后將特征圖輸入到RPN網(wǎng)絡(luò)中生成候選區(qū)域，并送入ROI Align得到對齊后最佳候選框，最后通過全連接網(wǎng)絡(luò)構(gòu)成分類預(yù)測、候選框預(yù)測和掩碼預(yù)測。

圖1 原始Mask R-CNN網(wǎng)絡(luò)Fig.1 Original Mask R-CNN network

1.1 主干網(wǎng)絡(luò)

本文中原始Mask R-CNN 的主干網(wǎng)絡(luò)是由殘差網(wǎng)絡(luò)（residual network 101，ResNet101）[13]和特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）[14]構(gòu)成，其包含三個支路：一是從底而上的ResNet101支路；二是從頂而下的上采樣支路；三是橫向連接。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 主干網(wǎng)絡(luò)Fig.2 Back bonenetwork

其中從底而上的路徑即為ResNet101 的前向傳播過程，特征圖在此過程中經(jīng)過某些層時會發(fā)生尺寸變化，故將不改變特征圖尺寸的特征層劃分為同一層級，在此過程中每一層級的寬度從下自上依次為C1=512，C2=256，C3=128，C4=64，C5=32。每次進(jìn)行橫向連接所使用的特征圖，就是將同一層級的最后一層輸出特征圖進(jìn)行256×1×1的卷積，不改變圖像尺寸并將特征圖通道數(shù)都設(shè)置為256，以便進(jìn)行特征融合，而所有層級的輸出構(gòu)成FPN網(wǎng)絡(luò)的從底向上支路。

從頂而下的路徑使用上采樣的方法，P5 層是C5 層進(jìn)行1×1 的卷積得到的，P6 層為P5 層經(jīng)過最大池化操作獲得。橫向連接是將同尺寸的上采樣輸出特征圖與自底而上路徑的每層級輸出進(jìn)行融合，然后通過一個3×3的卷積，用來消除混疊效應(yīng)，最后輸出特征圖。

1.2 區(qū)域建議網(wǎng)絡(luò)

RPN 網(wǎng)絡(luò)在得到的特征圖上生成多種尺寸的滑動窗口，滑動窗口通過卷積進(jìn)行滑動并在特征圖上選定多個候選目標(biāo)，再通過分類器和回歸器，判定目標(biāo)屬于前景或背景并確定最佳候選框位置。

1.3 感興趣區(qū)域匹配層

獲取候選框后，ROI Align 層根據(jù)候選框的位置坐標(biāo)，在特征圖中將相應(yīng)區(qū)域池化為固定尺寸的特征圖，以便輸入全連接網(wǎng)絡(luò)進(jìn)行分類、候選框回歸及掩膜預(yù)測。因目標(biāo)位置的四個坐標(biāo)值為浮點數(shù)，故采用雙線性插值的方法替代了在ROI Pooling 的候選框提取過程中將坐標(biāo)值四舍五入取整的方法，很好地解決了ROI Pooling操作中目標(biāo)位置不匹配的問題。

1.4 生成分類邊框及掩膜

全連接網(wǎng)絡(luò)由兩個分支組成，如圖3 所示，一個分支利用最后得到的特征圖，通過全卷積網(wǎng)絡(luò)對掩膜進(jìn)行像素級分割預(yù)測。另一個分支利用特征圖及最佳候選區(qū)域?qū)崿F(xiàn)目標(biāo)的分類預(yù)測。

圖3 全連接網(wǎng)絡(luò)Fig.3 Full connected network

掩膜預(yù)測支路通過5 次14×14 的卷積運(yùn)算，再使用2×2 反卷積生成28×28 的特征圖，最后經(jīng)過1×1 卷積和激活函數(shù)得到28×28的輸出特征圖，該圖中每個點代表某類別的前景背景置信度，用0.5 的置信度閾值得到該類別物體掩膜。

分類邊框預(yù)測支路通過7×7的卷積運(yùn)算，再經(jīng)過兩個1 024特征向量的全連接層，完成分類和邊框回歸。

2 改進(jìn)的Mask R-CNN

原始Mask R-CNN 網(wǎng)絡(luò)用于分割甲狀腺結(jié)節(jié)超聲圖像時存在以下三個弊端：

（1）對甲狀腺結(jié)節(jié)超聲圖像中細(xì)微特征的提取能力較差，細(xì)節(jié)部位分割精度較低。

（2）輸入圖像的底層信息與高層信息融合路徑過長，導(dǎo)致融合特征圖中底層信息大量丟失，影響分割精度。

（3）輸入圖像進(jìn)行上采樣和下采樣時會造成信息丟失，使得底層信息和高層信息量并不對等，從而導(dǎo)致信息量較弱的特征信息的作用變小，并不能有效利用全局特征信息。

針對以上問題，本文對原Mask R-CNN的主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，其網(wǎng)絡(luò)模型如圖4所示。

圖4 改進(jìn)后主干網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Improved backbone network structure

首先在原Mask R-CNN 的主干網(wǎng)絡(luò)ResNet101 結(jié)構(gòu)中加入了一種改進(jìn)的注意力模塊，以增強(qiáng)ResNet101的細(xì)微特征提取能力。然后在主干網(wǎng)絡(luò)FPN 結(jié)構(gòu)的基礎(chǔ)上增加了一條由下至上的支路，通過減少底層信息的傳輸路徑來有效地保留信息，提高底層信息的傳輸效率，使得底層信息能夠被網(wǎng)絡(luò)有效地利用。再將所增加支路輸出的各個尺度特征進(jìn)行融合，以均衡原FPN的上采樣操作和所增加支路的下采樣操作帶來的信息丟失。最后將融合后的特征圖恢復(fù)至原輸入特征圖尺度，再輸入網(wǎng)絡(luò)中進(jìn)行后續(xù)操作。通過提高網(wǎng)絡(luò)特征提取能力，并將多層特征融合得到多尺度特征圖，能使網(wǎng)絡(luò)充分利用圖像的全局信息，解決多尺度檢測問題。

2.1 改進(jìn)的ResNet101結(jié)構(gòu)

本文在ResNet101 的C2～C5 每一層級的最后添加了一種改進(jìn)的注意力機(jī)制模塊。改進(jìn)的注意力機(jī)制模塊由擠壓激勵網(wǎng)絡(luò)（squeeze-and-excitation networks，SENet）模塊[15]和空間注意力模塊（spatial attention module）[16]兩個主要部分構(gòu)成，故本文稱其為SESNet（squeeze-excitationand-spatial networks，SESNet）。改進(jìn)的ResNet 101 結(jié)構(gòu)如圖4（a）所示，C1為輸入圖像，故不在其后增加注意力機(jī)制。

SENet模塊是一種通道注意力模塊，其核心思想是通過網(wǎng)絡(luò)根據(jù)損失函數(shù)自動學(xué)習(xí)不同位置特征的權(quán)重，提高有效特征的權(quán)重，降低無效或效果較小的特征的權(quán)重，從而使訓(xùn)練模型具有更高的分割精度。

設(shè)F∈RC×H×W為輸入特征圖，首先進(jìn)行特征壓縮：

式中，uc表示輸入特征圖F中的第c個二維矩陣，該式表明該層c個特征圖的數(shù)值分布情況，Zc表示得到的全局信息。

然后將得到的全局信息進(jìn)行特征權(quán)重學(xué)習(xí)：

式中，F(xiàn)sq為特征壓縮后的特征圖，MSE為第c層特征圖的權(quán)重，的目的是為了減少通道個數(shù)從而降低計算量。W1Zc即為一個全連接操作，起到降維作用，后通過ReLu 激活函數(shù)；W2Zc為第二個全連接操作，使其恢復(fù)初始維度，最后經(jīng)過sigmoid 激活。該步驟中兩個全連接層的作用是用于融合各通道的特征圖信息。

最后將學(xué)習(xí)到的特征權(quán)重值MSE與輸入特征圖F進(jìn)行逐元素相乘，表達(dá)式如下：

空間注意力模塊利用像素間的空間關(guān)系生成空間注意圖，能夠關(guān)注在各個特征通道內(nèi)不同位置像素的權(quán)重值大小。

空間注意力的計算公式如下：

其中，f7×7為7×7 的卷積核，AvgPool(F)為平均池化運(yùn)算，MaxPool(F)為最大池化運(yùn)算。

然后將SENet模塊的輸出特征圖F′與空間維度權(quán)重值MS(F′)進(jìn)行逐元素相乘，表達(dá)式如下：

圖5即為SESNet示意圖，將SENet模塊與空間注意力模塊進(jìn)行連接，輸入特征圖先后通過SENet模塊和空間注意力模塊。

圖5 SESNet示意圖Fig.5 Schematic diagram of SESNet

本文提出的SESNet的計算方式如下：

式中，F(xiàn)為輸入特征圖，F(xiàn)′為SENet 模塊的輸出特征圖，F(xiàn)′為SESNet的最終輸出特征圖，?為逐元素相乘。

特征圖經(jīng)過SESNet 時不會改變特征圖尺寸，只通過像素的特征權(quán)重的大小，讓網(wǎng)絡(luò)自動調(diào)整保留的特征圖數(shù)據(jù)，然后將特征值權(quán)重與特征圖融合，強(qiáng)化特征圖中有效特征，再輸入后續(xù)網(wǎng)絡(luò)中。特征圖經(jīng)過SESNet處理后，能夠使特征圖中高層特征信息更加明顯，使后續(xù)處理的精度結(jié)果更高。

2.2 改進(jìn)的FPN結(jié)構(gòu)

為提高各尺度特征圖的信息傳播與融合[17]，增強(qiáng)底層信息在全局特征中的作用，本文在原FPN的基礎(chǔ)上增添一條由下而上的支路，縮短了底層信息與高層信息的融合路徑，如圖4（b）所示。

本文使用FPN網(wǎng)絡(luò)的P系列層映射，D系列層為新增融合路徑，D2是C2進(jìn)行256×1×1卷積后的特征層，可以充分保留原始圖像中的底層信息。然后將D2通過步幅為2 的3×3 卷積層進(jìn)行下采樣得到D3，再將D3 與P3逐元素相加，通過3×3 的卷積消除混疊效應(yīng)，最后輸出。各層依次如上法迭代，迭代公式如式（8）所示，D系列層寬度依次為D2=256，D3=128，D4=64，D5=32。

新增的D系列層充分保留了底層信息，與P系列層相加之后可以得到具有豐富底層信息與高層信息的輸出特征圖。

2.3 改進(jìn)的輸出結(jié)構(gòu)

新增的第三支路可以將底層信息與高層信息進(jìn)行融合，但僅限于橫向連接的各層之間。且上采樣和下采樣會導(dǎo)致特征信息缺失，并不能有效利用全局特征信息。

本文將新增第三支路后的FPN 的多尺度輸出特征進(jìn)行融合，平均所有尺度特征圖的信息，充分保留其語義及位置信息，如圖4（c）所示。首先選取中間層N4 層的尺寸作為融合尺寸，然后將N2、N3通過步長為2的3×3 卷積進(jìn)行下采樣，將N5、N6 通過×2 操作的上采樣，得到同一尺寸的特征圖。再將各特征圖進(jìn)行逐元素相加后求均值得到Ni。其公式如下：

式中，i為層數(shù)，imin為系列層中最小層數(shù)，imax為系列層中最大層數(shù)。

再將融合后特征圖Ni通過步長為2 的3×3 卷積進(jìn)行下采樣得到N5、N6，通過×2 操作的上采樣得到N2、N3，通過1×1的卷積得到N4，最后將得到的多尺度特征圖再次輸出。

通過將輸出特征圖融合后再輸出，可以均衡不同尺寸特征圖間的信息差異，并再次強(qiáng)化有效特征。

3 實驗分析

3.1 實驗環(huán)境

本實驗使用CPU為CoreTMi7-8700k 3.7 GHz，顯卡為NVIDIA RTX 2080s，顯存為8 GB。軟件環(huán)境為基于Keras的學(xué)習(xí)框架，并以Tensorflow為支撐來實現(xiàn)。

3.2 數(shù)據(jù)集

本實驗數(shù)據(jù)由云南省某醫(yī)院提供，包括來自不同設(shè)備和不同灰度且擴(kuò)展名為.png 格式的已消除病人信息的甲狀腺結(jié)節(jié)超聲圖像。共有1 000張甲狀腺結(jié)節(jié)超聲圖像，包括正常的甲狀腺結(jié)節(jié)和已發(fā)生病變的甲狀腺結(jié)節(jié)的圖像，訓(xùn)練標(biāo)簽由多名專業(yè)醫(yī)生共同標(biāo)注，減小了觀察者誤差。

3.3 模型訓(xùn)練

本實驗將1 000張甲狀腺結(jié)節(jié)圖像經(jīng)過旋轉(zhuǎn)、縮放、平移、裁剪等數(shù)據(jù)增強(qiáng)方式后擴(kuò)充到3 000 張。將其中2 400張圖像作為訓(xùn)練集，其余600張作為測試集。使用Adam 優(yōu)化器，超參數(shù)設(shè)置為學(xué)習(xí)率0.001，batch_size=16，訓(xùn)練輪次200輪。實驗過程對訓(xùn)練損失最小的權(quán)重文件進(jìn)行保存并用于測試。

3.4 評價指標(biāo)

（1）采用Dice系數(shù)[18]為評價指標(biāo)。Dice系數(shù)主要用來評估兩個不同樣本間的相似程度，即判斷兩個樣本中重合部分占總元素的比例，所占比例越高，模型精度越高。

Dice系數(shù)的計算公式如下：

式中，A表示原圖中甲狀腺結(jié)節(jié)的面積，B表示掩膜預(yù)測的甲狀腺結(jié)節(jié)面積。

本實驗中首先通過訓(xùn)練得到模型，后用模型根據(jù)測試圖像生成標(biāo)簽，最后用生成標(biāo)簽與原標(biāo)簽計算Dice系數(shù)，根據(jù)其相似程度來評估模型的性能。Dice系數(shù)越接近1，則表明甲狀腺結(jié)節(jié)超聲圖像分割精度越高。

（2）使用精確度（precision，P）、召回率（recall，R）和F1分?jǐn)?shù)對分割結(jié)果進(jìn)行評價。

其公式如下：

式中，TP表示正確分割甲狀腺結(jié)節(jié)的部分，F(xiàn)P表示將黑色背景預(yù)測為甲狀腺結(jié)節(jié)的部分，F(xiàn)N表示將甲狀腺結(jié)節(jié)預(yù)測為黑色背景的部分。

4 實驗結(jié)果及分析

4.1 模型分割評估

本文設(shè)計了注意力機(jī)制的消融實驗，在原Mask RCNN 主干網(wǎng)絡(luò)ResNet101 的C2～C5 層級后分別加入SESNet。為評估改進(jìn)的注意力機(jī)制性能，本文還對SESNet 與SENet 和CBAM 進(jìn)行了對比實驗，分別將三種注意力機(jī)制加入到原Mask R-CNN 網(wǎng)絡(luò)的C2～C5 層級后進(jìn)行比較。實驗結(jié)果如表1所示。

表1 注意力機(jī)制實驗Table 1 Attention mechanism experiment

由消融實驗結(jié)果可知，與在主干網(wǎng)絡(luò)ResNet101 的C2～C5 層級的其他位置加入SESNet 相比，在C2～C5 層級都加入SESNet時，分割精度最高，且改進(jìn)后的注意力機(jī)制性能優(yōu)于SENet與CBAM。

本文進(jìn)一步通過消融實驗來對所提出模型進(jìn)行性能評估。采用的對比模型如下：

模型1 原始Mask R-CNN網(wǎng)絡(luò)。

模型2 在原Mask R-CNN 基礎(chǔ)上，只在主干網(wǎng)絡(luò)ResNet101的C2～C5層級都加入SESNet。

模型3 在原Mask R-CNN 基礎(chǔ)上，只在主干網(wǎng)絡(luò)FPN中增添第三支路。

模型4 在原Mask R-CNN 基礎(chǔ)上，只將主干網(wǎng)絡(luò)的輸出融合后再輸出。

模型5 改進(jìn)的Mask R-CNN。

分割結(jié)果如表2所示。

表2 各模型分割結(jié)果Table 2 Segmentation results of each model

由表2可知，在Mask R-CNN原網(wǎng)絡(luò)基礎(chǔ)上分別改進(jìn)ResNet101 結(jié)構(gòu)、FPN 結(jié)構(gòu)和輸出結(jié)構(gòu)后，Dice 系數(shù)、P、R和F1分?jǐn)?shù)都有所提高。改進(jìn)后的Mask R-CNN分割平均Dice系數(shù)達(dá)到0.914 8。

4.2 不同分割算法的比較

為了進(jìn)一步驗證本文改進(jìn)模型的性能，將同一數(shù)據(jù)集應(yīng)用于FCN32s、FCN8s、U-Net、原Mask R-CNN四種網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并對分割精度進(jìn)行評估。

不同網(wǎng)絡(luò)的分割結(jié)果如表3所示。

表3 各模型分割結(jié)果Table 3 Segmentation results of each model

由表3可知，本文提出的改進(jìn)Mask R-CNN網(wǎng)絡(luò)的平均Dice系數(shù)、平均精確度P、平均召回率R以及平均F1分?jǐn)?shù)的數(shù)值結(jié)果與上述算法相比均有顯著提升，具有更高的性能。

如圖6所示，本文提出的主干網(wǎng)絡(luò)結(jié)構(gòu)能夠充分利用圖像中的全局信息，從而使改進(jìn)Mask R-CNN網(wǎng)絡(luò)的分割精度優(yōu)于原網(wǎng)絡(luò)。

圖6 不同網(wǎng)絡(luò)的甲狀腺結(jié)節(jié)超聲圖像分割結(jié)果Fig.6 Ultrasonic image segmentation results of thyroid nodule in different networks

5 結(jié)束語

本文提出了一種改進(jìn)的Mask R-CNN網(wǎng)絡(luò)，對其主干網(wǎng)絡(luò)進(jìn)行如下改進(jìn)：（1）對所提取特征的通道信息和空間信息按權(quán)重進(jìn)行分配，以突出分割目標(biāo)的特征；（2）對多個尺度的特征圖進(jìn)行融合，以使其具有充分的全局信息；（3）對融合后輸出的特征圖進(jìn)行再融合，以均衡特征信息的不對等。實驗結(jié)果表明，本文改進(jìn)后的Mask R-CNN 網(wǎng)絡(luò)能夠有效提升對甲狀腺結(jié)節(jié)超聲圖像的分割精度，可以輔助醫(yī)生做出高效的診斷。