王亞剛，郗怡媛，2，潘曉英，2+

1.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，西安710121

2.西安郵電大學(xué) 陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，西安710121

1 引言

結(jié)腸癌是世界范圍內(nèi)發(fā)病率最高的三大癌癥之一，也是導(dǎo)致癌癥死亡的常見(jiàn)病因。2012年，國(guó)際癌癥研究機(jī)構(gòu)在全世界登記了1 370 600 例新病例和693 900例死亡病歷[1]。當(dāng)疾病發(fā)展到晚期時(shí)，結(jié)腸癌的5年生存率低于7%，但在早期診斷的病例中，如果治療成功，其5 年生存率就會(huì)提高到90%以上[2]。結(jié)腸癌早期篩查的黃金標(biāo)準(zhǔn)就是使用結(jié)腸鏡檢測(cè)腸道中的息肉[3]，每提升1%的息肉檢出率，腸癌發(fā)病率將會(huì)降低3%[4]。在傳統(tǒng)的息肉檢測(cè)方法中需要操作者達(dá)到高度的手眼協(xié)調(diào)，盡管如此，還是會(huì)有25%的息肉在視頻檢查中被漏檢[5]。因此，采用計(jì)算機(jī)輔助診斷系統(tǒng)來(lái)降低息肉漏檢率就顯得尤為重要。

結(jié)腸鏡下的息肉自動(dòng)檢測(cè)方法有很多，大致可以分為兩類：基于紋理、顏色的方法以及基于形狀的方法[6]。文獻(xiàn)[7]提出一種基于紋理檢測(cè)腸道息肉的方法，使用窗谷堆積中值深度（window median depth of valleys accumulation，WM-DOVA）能量圖來(lái)獲得與息肉相關(guān)的連續(xù)邊界，進(jìn)而定位息肉區(qū)域。文獻(xiàn)[8]基于息肉的形狀，采用主成分追蹤的方法對(duì)圖像進(jìn)行低秩稀疏分解，再通過(guò)Chan-Vese算法對(duì)息肉圖像進(jìn)行分割?？偟膩?lái)說(shuō)，這兩類方法無(wú)法同時(shí)將息肉區(qū)域包含的所有特征進(jìn)行有效結(jié)合，只是單一地考慮特征的一部分，會(huì)導(dǎo)致分割結(jié)果存在一定的局限性。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，深度學(xué)習(xí)技術(shù)已被成功地應(yīng)用于結(jié)腸鏡視頻中的息肉檢測(cè)。文獻(xiàn)[9]采用深度卷積神經(jīng)網(wǎng)絡(luò)作為模型，以交叉熵作為模型的最優(yōu)損失函數(shù)來(lái)檢測(cè)結(jié)腸鏡下的息肉。Nguyen等[10]提出一種基于編碼器-解碼器網(wǎng)絡(luò)的息肉圖像分割方法，有效提高了結(jié)腸鏡下的息肉檢出率并為后續(xù)網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)提供了重要思路。Wang等[11]提出了一種16層的語(yǔ)義分割SegNet網(wǎng)絡(luò)以進(jìn)一步提高息肉分割的精度及網(wǎng)絡(luò)的魯棒性。2015年，Park等[12]采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同尺度下的特征進(jìn)行學(xué)習(xí)，再通過(guò)全連接網(wǎng)絡(luò)將結(jié)腸鏡圖像中的像素分為息肉像素和非息肉像素。2018年，Xiao等[13]研究使用DeepLabv3與長(zhǎng)短期記憶網(wǎng)絡(luò)相結(jié)合的方法對(duì)腸道息肉進(jìn)行分割，與現(xiàn)有的DeepLabv3 模型相比，分割效果有一定提升但總體精度仍然較低。

與傳統(tǒng)方法相比，現(xiàn)有的深度學(xué)習(xí)技術(shù)在息肉檢測(cè)方面表現(xiàn)更好，能夠較為全面地提取息肉區(qū)域包含的特征。但也存在一些問(wèn)題：（1）結(jié)腸鏡視頻拍攝過(guò)程中由于腸道粘液導(dǎo)致的息肉反光現(xiàn)象會(huì)對(duì)分割結(jié)果造成影響[8]；（2）目前已采用的由人工設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)存在繁瑣且人工調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)使得網(wǎng)絡(luò)性能不足的問(wèn)題[14]。

針對(duì)上述存在的問(wèn)題，本文提出一種基于改進(jìn)DeepLabv3+網(wǎng)絡(luò)的腸道息肉分割方法，將其應(yīng)用到結(jié)腸鏡下的息肉圖像分割問(wèn)題中。與現(xiàn)有的基于深度學(xué)習(xí)的息肉分割方法相比，本文在以下兩方面提出創(chuàng)新：

（1）在數(shù)據(jù)預(yù)處理方面，首先對(duì)息肉圖像進(jìn)行去反光處理，解決圖像反光區(qū)域?qū)Ψ指罱Y(jié)果產(chǎn)生的影響；再將通過(guò)Grab Cut算法得到的粗分割結(jié)果與去反光處理后的圖像進(jìn)行疊加，以增強(qiáng)息肉位置的信號(hào)強(qiáng)度。

（2）在網(wǎng)絡(luò)結(jié)構(gòu)方面，首先在DeepLabv3+網(wǎng)絡(luò)的編碼器部分引入通過(guò)神經(jīng)架構(gòu)搜索（neural architecture search，NAS）得到的最優(yōu)密集預(yù)測(cè)單元（dense prediction cell，DPC），多尺度捕獲圖像特征信息；然后在解碼器部分采用3層深度可分離卷積，實(shí)現(xiàn)對(duì)空間信息和深度信息的去耦，有效減少上采樣過(guò)程中的信息丟失，提高結(jié)腸鏡下的息肉圖像分割精度。

Fig.1 Grab Cut algorithm theory圖1 Grab Cut 算法原理

2 基于Grab Cut的息肉區(qū)域預(yù)提取

Grab Cut 是由微軟公司提出的一種圖像分割算法，是對(duì)Rother 等人提出的Graph Cut 算法的改進(jìn)和擴(kuò)展[15]。算法原理如圖1所示，首先以用戶給定的目標(biāo)區(qū)域邊界作為初始信息，將框外像素視為已知背景像素，內(nèi)部像素標(biāo)記為未知像素；然后采用K-means算法對(duì)前景與背景進(jìn)行聚類，根據(jù)聚類后的顏色分布，來(lái)獲取每個(gè)像素的新標(biāo)簽；最后將這些標(biāo)簽與對(duì)應(yīng)像素作為下一次迭代的輸入。經(jīng)過(guò)數(shù)次迭代后直至模型收斂，得到最終的分割結(jié)果[16]。

本文采用Grab Cut 算法對(duì)結(jié)腸鏡圖像中的息肉區(qū)域進(jìn)行預(yù)提取，獲取息肉位置的粗分割結(jié)果，并將其與原圖疊加以增強(qiáng)息肉位置的信號(hào)強(qiáng)度。

3 基于改進(jìn)DeepLabv3+網(wǎng)絡(luò)的腸道息肉分割算法

3.1 DeepLabv3+網(wǎng)絡(luò)

目前，大量基于深度學(xué)習(xí)的圖像分割研究證明了基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型在圖像語(yǔ)義分割應(yīng)用中的有效性[17]。

DeepLabv3+是目前最新的語(yǔ)義分割網(wǎng)絡(luò)之一，它采用具有多尺度的卷積層以及編碼器-解碼器結(jié)構(gòu)相結(jié)合的方式提高分割準(zhǔn)確率。如圖2所示，編碼器部分首先在Xception 模塊中利用不同通道的可分離卷積層提取圖像特征，再通過(guò)空間金字塔結(jié)構(gòu)（atrous spatial pyramid pooling，ASPP）中不同速率的并行空洞卷積捕獲到該特征空間信息，并通過(guò)1×1卷積進(jìn)行通道壓縮。

Fig.2 DeepLabv3+network model圖2 DeepLabv3+網(wǎng)絡(luò)模型

在解碼器部分，首先對(duì)提取到的多尺度特征信息進(jìn)行4倍雙線性插值上采樣，再與Xception中提取到的原始特征進(jìn)行結(jié)合，然后利用3×3 卷積對(duì)合并后總的特征信息進(jìn)行簡(jiǎn)單特征融合，最后對(duì)特征采用4倍雙線性插值上采樣得到分割結(jié)果。

圖3 為DeepLabv3+的息肉圖像分割結(jié)果，從圖中可以看出，該網(wǎng)絡(luò)可以較好地獲取到息肉邊界，但是息肉內(nèi)部存在著分割不完全的現(xiàn)象。原因有二：一是ASPP架構(gòu)在該數(shù)據(jù)集上表現(xiàn)不理想；二是解碼器部分未能對(duì)疊加后的特征進(jìn)行充分融合。針對(duì)上述問(wèn)題，本文對(duì)DeepLabv3+網(wǎng)絡(luò)進(jìn)行了改進(jìn)。

Fig.3 DeepLabv3+segmentation results圖3 DeepLabv3+分割結(jié)果

3.2 改進(jìn)的DeepLabv3+網(wǎng)絡(luò)

與原始DeepLabv3+網(wǎng)絡(luò)相比，本文在以下兩方面進(jìn)行改進(jìn)。首先將基于神經(jīng)架構(gòu)搜索的密集預(yù)測(cè)單元引入DeepLabv3+網(wǎng)絡(luò)，在編碼過(guò)程中通過(guò)最優(yōu)DPC架構(gòu)捕獲多尺度特征信息；然后在解碼器中，將特征融合部分的3×3 卷積改進(jìn)為3層深度可分離卷積，以實(shí)現(xiàn)對(duì)空間信息和深度信息的去耦，減少上采樣過(guò)程中的信息丟失的問(wèn)題。

神經(jīng)架構(gòu)搜索是一種通過(guò)訓(xùn)練網(wǎng)絡(luò)控制器來(lái)生成網(wǎng)絡(luò)架構(gòu)的算法。與傳統(tǒng)的由人工設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)的方法相比，神經(jīng)架構(gòu)搜索無(wú)需反復(fù)手工設(shè)計(jì)實(shí)驗(yàn)，且由該算法得到的網(wǎng)絡(luò)架構(gòu)目前在多個(gè)數(shù)據(jù)集上表現(xiàn)出了優(yōu)于手工設(shè)計(jì)架構(gòu)的卓越性能。文獻(xiàn)[18]通過(guò)在一周的時(shí)間內(nèi)搜索370 個(gè)GPU 上的2.8×104個(gè)密集預(yù)測(cè)單元，得到了一種最優(yōu)的DPC架構(gòu)，它在多個(gè)數(shù)據(jù)集的表現(xiàn)上均優(yōu)于ASPP 模型。該架構(gòu)包括1×1卷積、采樣率分別為6×3、18×15、6×21、1×1、1×6，內(nèi)核為3 的卷積以及不同尺度的平均池化層。如圖4中的DPC模塊所示，將5種不同采樣率的卷積層進(jìn)行多種組合，以提取圖像多尺度特征，將各個(gè)分支結(jié)果結(jié)合作為DPC架構(gòu)的輸出。如圖5所示，通過(guò)每個(gè)操作的L1 正則化權(quán)重可以看出采樣率為1×6的卷積對(duì)輸出貢獻(xiàn)最大。

Fig.4 Improved DeepLabv3+network model圖4 改進(jìn)的DeepLabv3+網(wǎng)絡(luò)模型

Fig.5 L1 regularization weights for each operation圖5 單個(gè)操作L1正則化權(quán)重

本文在解碼器部分采用3 層深度可分離卷積對(duì)深度信息和空間信息去耦，以逐步獲取精細(xì)的分割結(jié)果。深度可分離卷積將原始卷積在保持通道分離的情況下分為深度卷積和一個(gè)1×1 的逐點(diǎn)卷積。深度卷積的一個(gè)卷積核只對(duì)一個(gè)通道操作，即每個(gè)通道獨(dú)立進(jìn)行卷積運(yùn)算。逐點(diǎn)卷積將上一步得到的多個(gè)特征圖在深度方向上加權(quán)組合。與傳統(tǒng)卷積相比將深度信息和空間信息拆分處理，能夠?qū)崿F(xiàn)對(duì)空間信息和深度信息的去耦，有效減少上采樣過(guò)程中的信息丟失[19]。如圖6 所示，在612 張圖像的CVCClinicDB數(shù)據(jù)集上，分別采用1～7層深度可分離卷積訓(xùn)練DeepLabv3+網(wǎng)絡(luò)，通過(guò)實(shí)驗(yàn)最終平均交并比（mean intersection over union，MIoU）對(duì)比可知采用3層深度可分離卷積的網(wǎng)絡(luò)性能最優(yōu)。

Fig.6 Impact of network layer selection on MIoU圖6 網(wǎng)絡(luò)層數(shù)選擇對(duì)MIoU的影響

表1 展示了不同網(wǎng)絡(luò)結(jié)構(gòu)所對(duì)應(yīng)的結(jié)果對(duì)比?？梢钥闯觯隓PC 架構(gòu)和深度可分離卷積都能夠有效提高分割精度。

Table 1 Network structure comparison results表1 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比結(jié)果

4 基于改進(jìn)DeepLabv3+網(wǎng)絡(luò)的腸道息肉分割算法流程

圖7介紹了基于改進(jìn)DeepLabv3+網(wǎng)絡(luò)的腸道息肉分割算法的主要技術(shù)流程。本研究流程可分為數(shù)據(jù)預(yù)處理、模型訓(xùn)練以及結(jié)果對(duì)比分析三個(gè)階段。

數(shù)據(jù)預(yù)處理部分主要包括：（1）對(duì)息肉圖像的去反光處理；（2）通過(guò)Grab Cut 算法得到息肉的粗分割結(jié)果；（3）將粗分割結(jié)果與原圖疊加得到疊加后的Image圖像；（4）單通道標(biāo)簽的制作；（5）訓(xùn)練集、測(cè)試集的劃分以及格式轉(zhuǎn)換。

在模型訓(xùn)練部分將預(yù)處理后的適用于TensorFlow深度學(xué)習(xí)框架的TF格式圖像輸入改進(jìn)的DeepLabv3+網(wǎng)絡(luò)中，根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)及圖像參數(shù)調(diào)整網(wǎng)絡(luò)訓(xùn)練參數(shù)。網(wǎng)絡(luò)在編碼器部分捕獲多尺度特征得到特征映射圖，在解碼器部分將其恢復(fù)到原始空間分辨率，最后保存得到的分割模型參數(shù)。

Fig.7 Flow chart of improved DeepLabv3+network in intestinal polyp segmentation圖7 改進(jìn)DeepLabv3+網(wǎng)絡(luò)的息肉分割算法流程圖

在結(jié)果對(duì)比分析部分，將待分割息肉圖像經(jīng)過(guò)數(shù)據(jù)預(yù)處理部分的圖像去反光、獲取粗分割結(jié)果并與原圖疊加以及數(shù)據(jù)格式的轉(zhuǎn)換后，輸入分割模型中，得到驗(yàn)證集的分割結(jié)果。采用5折交叉驗(yàn)證的方法，將分割結(jié)果與待分割圖像標(biāo)簽進(jìn)行匹配計(jì)算，通過(guò)MIoU 等5 個(gè)指標(biāo)來(lái)評(píng)價(jià)分割結(jié)果，并與其他方法比較，得到最終結(jié)論。

5 實(shí)驗(yàn)

5.1 數(shù)據(jù)集與預(yù)處理

本實(shí)驗(yàn)采用CVC-ClinicDB 數(shù)據(jù)集，該數(shù)據(jù)集是由醫(yī)學(xué)圖像計(jì)算與計(jì)算機(jī)輔助干預(yù)國(guó)際會(huì)議（Medical Image Computing and Computer-Assisted Intervention，MICCAI）于2015 年發(fā)布的一個(gè)公共數(shù)據(jù)集，數(shù)據(jù)集包含612 張384×288 大小的結(jié)腸鏡檢查圖像，以及與息肉圖像相對(duì)應(yīng)的Ground truth。

數(shù)據(jù)預(yù)處理部分包含兩個(gè)階段：一是對(duì)圖像進(jìn)行去反光處理；二是對(duì)處理后的圖像進(jìn)行粗分割并將結(jié)果與原圖疊加以提高目標(biāo)區(qū)域的信號(hào)強(qiáng)度。

由于人體腹腔中存在大量粘液，在結(jié)腸檢查時(shí)會(huì)引起反光，表現(xiàn)在結(jié)腸鏡圖像中為白色區(qū)域[20]。該區(qū)域在圖像分割時(shí)會(huì)極大地影響分割精度。為了降低此影響，對(duì)息肉圖像進(jìn)行去反光處理。首先定位圖像中的高強(qiáng)度值像素點(diǎn)，對(duì)圖像中所有像素進(jìn)行平均強(qiáng)度計(jì)算，根據(jù)計(jì)算結(jié)果設(shè)置閾值為0.8，將強(qiáng)度值大于閾值的像素點(diǎn)識(shí)別為鏡面反光像素并加以存儲(chǔ)；然后在原圖像的各個(gè)通道上進(jìn)行中值濾波，中值濾波是一種非線性濾波，與其他濾波方法相比，它能夠很好地保護(hù)圖像的邊緣信息，且不會(huì)造成圖像模糊而導(dǎo)致特征丟失[21]，多次實(shí)驗(yàn)最終選取濾波核大小為25；最后，將檢測(cè)到的反光像素替換為相應(yīng)的中值濾波值，結(jié)果如圖8所示。

Fig.8 Comparison of image de-reflection processing圖8 圖像去反光處理對(duì)比

接下來(lái)使用迭代的Grab Cut 算法得到息肉區(qū)域的粗分割結(jié)果并與原圖疊加。結(jié)果如圖9所示，其中圖9（a）為經(jīng)過(guò)去反光處理的息肉圖像，圖9（b）為算法得到的息肉初步輪廓，疊加后的圖像如圖9（c）所示。

Fig.9 Grab Cut processed image results圖9 Grab Cut處理圖像結(jié)果

5.2 參數(shù)設(shè)置

實(shí)驗(yàn)在nvidia dgx-1服務(wù)器，TensorFlow1.10.0環(huán)境下進(jìn)行，該服務(wù)器配置8 臺(tái)Tesla V100 GPU，每塊顯卡內(nèi)存為512 GB。實(shí)驗(yàn)將輸入圖像與特征圖之比設(shè)為8，取采樣步長(zhǎng)為（12，24，36），將網(wǎng)絡(luò)分類數(shù)設(shè)為2以區(qū)分息肉區(qū)域與非息肉區(qū)域，圖像輸入大小為385×385，批處理大小為4。

5.3 評(píng)價(jià)指標(biāo)

本文采用5個(gè)指標(biāo)對(duì)分割結(jié)果進(jìn)行評(píng)價(jià)：平均交并比、Dice系數(shù)（dice coefficient，Dice）、敏感度（sensitivity，Sens）、精確率（precision，Prec）以及F1值（F1-score，F(xiàn)1）。

其中，TP為被正確分割的息肉區(qū)域像素?cái)?shù)目；FP為被錯(cuò)誤分割為息肉區(qū)域的背景像素?cái)?shù)目；FN為錯(cuò)誤標(biāo)記為背景的息肉像素?cái)?shù)目；X為改進(jìn)的DeepLabv3+網(wǎng)絡(luò)分割結(jié)果集；Y為原始息肉圖像的標(biāo)注結(jié)果集。

5.4 實(shí)驗(yàn)結(jié)果與分析

5.4.1 不同處理方法對(duì)結(jié)果的影響

實(shí)驗(yàn)隨機(jī)取數(shù)據(jù)集中的80%作為訓(xùn)練集，10%作為測(cè)試集，10%為驗(yàn)證集，并采用5 折交叉驗(yàn)證。為了驗(yàn)證數(shù)據(jù)預(yù)處理方法及網(wǎng)絡(luò)改進(jìn)對(duì)分割結(jié)果產(chǎn)生的影響，將原始未處理圖像、去反光圖像、Grab Cut粗分割結(jié)果、預(yù)處理圖像（去反光+粗分割結(jié)果疊加）與原始DeepLabv3+、改進(jìn)DeepLabv3+網(wǎng)絡(luò)分別進(jìn)行結(jié)合，得到多組實(shí)驗(yàn)結(jié)果，表2 展示了不同方法對(duì)分割結(jié)果的影響。

Table 2 Comparison of results with different methods表2 不同處理方法結(jié)果對(duì)比

實(shí)驗(yàn)結(jié)果表明，與直接采用原始DeepLabv3+網(wǎng)絡(luò)對(duì)未處理圖像進(jìn)行分割相比，本文所采用的方法在各項(xiàng)指標(biāo)的數(shù)值上分別提升了0.050(Dice)、0.060(Sens)、0.064(Prec)、0.062(F1)、0.074(MIoU)。同時(shí)，從其他對(duì)比實(shí)驗(yàn)中也能夠看出，采用兩步圖像預(yù)處理方法以及網(wǎng)絡(luò)的改進(jìn)均不同程度地提升了分割精度，證明了本文提出方法的有效性。息肉圖像驗(yàn)證集部分分割結(jié)果如圖10所示。

Fig.10 Results of partial segmentation圖10 部分分割結(jié)果

5.4.2 不同算法對(duì)比結(jié)果

為了驗(yàn)證本文所提出網(wǎng)絡(luò)的性能，使用5種已有的算法與之進(jìn)行比較，算法對(duì)比結(jié)果如表3所示。

Table 3 Comparison of different algorithms segmentation results表3 不同算法分割結(jié)果對(duì)比

對(duì)比發(fā)現(xiàn)，本文所提出的方法在平均交并比、Dice系數(shù)、敏感度、精確率以及F1值上都不同程度地優(yōu)于其他算法。與原DeepLabv3+網(wǎng)絡(luò)相比，密集預(yù)測(cè)單元與深度可分離卷積相結(jié)合，捕獲多尺度特征信息的同時(shí)在解碼器部分對(duì)解碼的信息進(jìn)行去耦，減少了分割過(guò)程中的不完全分割現(xiàn)象。證明本文方法對(duì)腸道息肉圖像分割在精度上有一定提升，對(duì)深度學(xué)習(xí)在腸道息肉圖像的處理和分析具有借鑒意義。

6 總結(jié)與展望

本文提出了一種基于改進(jìn)DeepLabv3+網(wǎng)絡(luò)的腸道息肉分割算法，在數(shù)據(jù)預(yù)處理部分采用中值濾波去反光處理減少反光像素對(duì)分割結(jié)果的影響，然后疊加Grab Cut 圖像層以增強(qiáng)息肉位置信號(hào)強(qiáng)度。在網(wǎng)絡(luò)結(jié)構(gòu)部分，將通過(guò)神經(jīng)架構(gòu)搜索得到的最優(yōu)密集預(yù)測(cè)單元引入該網(wǎng)絡(luò)，并在解碼器部分使用3層深度可分離卷積，解決圖像分割不完全的問(wèn)題同時(shí)提高分割精度。實(shí)驗(yàn)最終的MIoU 值達(dá)到0.947，其余指標(biāo)也均高于0.935。不過(guò)仍有很多問(wèn)題需要完善，如算法的計(jì)算量較大、復(fù)雜度較高等。未來(lái)將通過(guò)算法優(yōu)化及數(shù)據(jù)處理進(jìn)一步提高結(jié)腸鏡下的息肉圖像分割效果，將計(jì)算機(jī)智能輔診系統(tǒng)更好地應(yīng)用到醫(yī)學(xué)診斷中。