程立英, 劉祖琛, 谷利茹, 江龍濤, 王曉偉, 王玉蓮

(沈陽(yáng)師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院, 沈陽(yáng) 110034)

結(jié)直腸癌是源于結(jié)直腸黏膜上皮的惡性腫瘤,是臨床上最常見(jiàn)的惡性腫瘤之一[1]。目前世界各國(guó)結(jié)直腸癌發(fā)病率和死亡率逐漸增加,根據(jù)2019年國(guó)家癌癥中心發(fā)布的全國(guó)癌癥統(tǒng)計(jì)數(shù)據(jù),結(jié)直腸癌在我國(guó)十大最常見(jiàn)癌癥中排名第3,僅次于肺癌和胃癌[2]。對(duì)結(jié)直腸癌患者采取有效手段進(jìn)行早期診斷和治療有助于提高患者的生存率。結(jié)直腸癌在早期的表現(xiàn)通常為息肉,結(jié)腸鏡檢查也是結(jié)直腸癌篩查的金標(biāo)準(zhǔn)。目前防止結(jié)直腸癌的有效方法是患者通過(guò)結(jié)腸鏡篩查并進(jìn)行必要的腸息肉摘除[3]。因此,提前發(fā)現(xiàn)息肉并在息肉轉(zhuǎn)化為癌細(xì)胞前將其摘除尤為重要。結(jié)腸鏡篩查主要依賴醫(yī)生臨床經(jīng)驗(yàn),僅依靠醫(yī)生主觀診斷仍可能有息肉漏檢的概率。采用計(jì)算機(jī)智能分析輔助醫(yī)生結(jié)腸鏡篩查是提高息肉檢出率、降低漏檢率的有效手段[2]?，F(xiàn)有的息肉檢測(cè)算法取得了一定的研究成果,但依舊會(huì)出現(xiàn)檢測(cè)精度較低、速度慢、假陽(yáng)性率高等問(wèn)題[4]。本文利用深度學(xué)習(xí)的方法可以準(zhǔn)確、高效地對(duì)結(jié)腸鏡圖像進(jìn)行處理,檢測(cè)圖像中是否存在息肉,并對(duì)檢測(cè)到的息肉進(jìn)行有效提取,以解決息肉外觀高變異性造成的假陽(yáng)性率高的問(wèn)題。

1 結(jié)腸息肉智能檢測(cè)技術(shù)

結(jié)腸息肉是一種結(jié)腸表面的突起,從扁平到有蒂,以不同的形狀出現(xiàn)。當(dāng)扁平息肉通過(guò)其基部附著在結(jié)腸壁上時(shí),帶蒂的息肉附著在莖上。結(jié)腸息肉分為炎性息肉、增生性息肉和腺瘤性息肉。腺瘤性息肉是結(jié)直腸癌的癌前病變,通過(guò)結(jié)腸鏡檢查可以發(fā)現(xiàn)腺瘤性息肉,但由于其在內(nèi)鏡檢查過(guò)程中不敏感,很難僅從外觀上區(qū)分結(jié)腸息肉的類型。如圖1所示,是從不同的結(jié)腸鏡檢查視頻中提取出的8個(gè)不同的結(jié)腸息肉實(shí)例。

圖1 來(lái)自CVC-ClinicDB的8個(gè)不同的息肉實(shí)例Fig.1 Eight different polyp instances from CVC-ClinicDB

傳統(tǒng)機(jī)器學(xué)習(xí)算法已被應(yīng)用于結(jié)腸鏡圖像智能分析。Yuan等[5]將自下而上與自上而下機(jī)制結(jié)合的顯著性檢測(cè)算法用于息肉區(qū)域自動(dòng)識(shí)別;Tajbakhsh等[6]利用形狀和上下文信息在結(jié)腸鏡圖像序列中進(jìn)行智能檢測(cè)。傳統(tǒng)算法需要根據(jù)息肉特征人為進(jìn)行特征設(shè)計(jì),并制定某種規(guī)則或者利用分類器檢測(cè)息肉。人為特征設(shè)計(jì)的依據(jù)主要來(lái)自醫(yī)生的經(jīng)驗(yàn),受息肉極大差異性、醫(yī)生閱歷和主觀性的影響,人為特征設(shè)計(jì)難以準(zhǔn)確適應(yīng)檢測(cè)工作。

近年來(lái),深度學(xué)習(xí)技術(shù)在圖像檢測(cè)、醫(yī)學(xué)圖像處理等多個(gè)領(lǐng)域中表現(xiàn)出了遠(yuǎn)超傳統(tǒng)檢測(cè)方法的性能[7]。將卷積神經(jīng)網(wǎng)絡(luò)引入結(jié)腸鏡圖像目標(biāo)識(shí)別,輔助醫(yī)生盡早發(fā)現(xiàn)并對(duì)息肉進(jìn)行及時(shí)處理,可以大大降低腸息肉癌變的概率[8]。Yuan等[9]將旋轉(zhuǎn)不變性和圖像相似度引入算法,提出了用于內(nèi)窺鏡圖像識(shí)別的 RIIS-DenseNet網(wǎng)絡(luò);Fang等[10]將邊緣信息引入算法,將網(wǎng)絡(luò)分為區(qū)域提取和邊緣提取2大分支,通過(guò)分支網(wǎng)絡(luò)信息交互進(jìn)行腸息肉信息的提取,但由于腸息肉成像差異大、息肉類型多樣等導(dǎo)致檢測(cè)結(jié)果假陽(yáng)性高。

本文針對(duì)以上問(wèn)題,利用U-net++網(wǎng)絡(luò)對(duì)結(jié)腸鏡圖像中結(jié)腸息肉進(jìn)行檢測(cè),提出一種引入注意力機(jī)制的U-net++改進(jìn)模型,采用端到端的結(jié)構(gòu),并針對(duì)不同網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)研究,對(duì)各種網(wǎng)絡(luò)模型在結(jié)腸息肉檢測(cè)結(jié)果進(jìn)行精度和損失度對(duì)比分析。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證,引入注意力機(jī)制的U-net++改進(jìn)網(wǎng)絡(luò)模型能夠快速精確地檢測(cè)結(jié)腸息肉,可以更好地輔助醫(yī)生進(jìn)行臨床決策和干預(yù),具有重要的研究意義和臨床應(yīng)用價(jià)值。

2 基于U-net++網(wǎng)絡(luò)的腸息肉識(shí)別算法

2.1 U-net++網(wǎng)絡(luò)的基本原理

在傳統(tǒng)的U-net網(wǎng)絡(luò)中,跳躍連接(Skip connection)是一種利用特征拼接提高神經(jīng)網(wǎng)絡(luò)性能的方法,使用該技術(shù)在一定程度上可以將粗細(xì)粒度的特征進(jìn)行融合,但是融合之后會(huì)產(chǎn)生語(yǔ)義鴻溝的問(wèn)題[11]。為了解決跳躍連接引起的語(yǔ)義鴻溝,提出了如圖2所示的U-net++網(wǎng)絡(luò)架構(gòu)。在圖2中,最外側(cè)一層是原始的U-net網(wǎng)絡(luò),中間圓圈部分均表示在跳躍連接上的密集卷積塊,每個(gè)圓圈都代表2個(gè)連續(xù)的卷積操作,上方表示深監(jiān)督(deep supervision)[11]。該架構(gòu)是一種基于嵌套密集跳躍連接的分割體系結(jié)構(gòu),它將多個(gè)不同層次的U型網(wǎng)絡(luò)集合起來(lái),使整個(gè)架構(gòu)可以在不同的層次分別提取圖像各自層次的特征,再將這些不同層次的特征結(jié)合在一起[12]。它是一種不受跳接限制的新型分割體系結(jié)構(gòu),該結(jié)構(gòu)將跳轉(zhuǎn)連接設(shè)計(jì)在集成編解碼器網(wǎng)絡(luò)的高分辨率功能圖和解碼器網(wǎng)絡(luò)相應(yīng)語(yǔ)義豐富的功能圖之前,這樣的設(shè)計(jì)減少了編碼和代碼子網(wǎng)絡(luò)的功能圖之間的間隔[13]。在豐富模型時(shí),該模型可以在解碼器和編碼器網(wǎng)絡(luò)的功能映射中有效捕捉前景對(duì)象的細(xì)節(jié),隨著網(wǎng)絡(luò)層數(shù)的增加,提取到的圖像信息更加精確。

圖2 U-net++網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 U-net++ network architecture

2.2 注意力機(jī)制

注意力機(jī)制(attention mechanism)于20世紀(jì)90年代被科學(xué)家研究發(fā)現(xiàn)并被作為一種信號(hào)處理機(jī)制應(yīng)用到視覺(jué)研究中,如今已被引入人工智能領(lǐng)域并取得了很大的成功[14]。注意力機(jī)制源于人腦和人眼的感知機(jī)制,在深度學(xué)習(xí)任務(wù)中可以解釋為從大量信息中篩選出需要重點(diǎn)關(guān)注的信息,表現(xiàn)為對(duì)數(shù)據(jù)進(jìn)行加權(quán)變換,并對(duì)需要關(guān)注的部分賦予高權(quán)重[12]。注意力機(jī)制模塊(SE模塊)主要由Squeeze和Excitation 2個(gè)操作構(gòu)成,見(jiàn)圖3。

圖3 SE模塊Fig.3 SE module

目前,已有一些學(xué)者將注意力機(jī)制嵌入編碼解碼的網(wǎng)絡(luò)結(jié)構(gòu)中。Oktay等[15]在U-net的跳躍連接上嵌入了注意力機(jī)制,用以突出跳躍傳遞過(guò)程中的顯著特征;對(duì)Wang等[16]在編碼器與解碼器連接的最后一層中間的bottleneck處,嵌入了4個(gè)不同的SE模塊用以對(duì)最具特征的語(yǔ)義信息進(jìn)行編碼。以上研究均證明,在U型網(wǎng)絡(luò)結(jié)構(gòu)上嵌入注意力機(jī)制可以有效地提升網(wǎng)絡(luò)性能,提高分割精度。

2.3 引入注意力機(jī)制的U-net++改進(jìn)網(wǎng)絡(luò)模型

在醫(yī)學(xué)圖像病灶檢測(cè)研究中,許多基于U-net結(jié)構(gòu)的改進(jìn)算法都取得了良好的效果[8]。U-net的U型結(jié)構(gòu)及跳躍連接,可以學(xué)習(xí)到圖像中低層次與高層次之間的信息并進(jìn)行整合,在小數(shù)據(jù)集上也可以取得很好的效果,因而U-net的結(jié)構(gòu)成為醫(yī)學(xué)圖像分割任務(wù)的首選[12]。但是將U-net直接應(yīng)用于結(jié)腸息肉的檢測(cè),跳躍連接過(guò)長(zhǎng)會(huì)造成編碼和解碼之間的信息損失,U-net++的密集嵌套連接解決了信息損失的問(wèn)題。由于編碼解碼的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)注意力較為分散的模型,在網(wǎng)絡(luò)解碼的過(guò)程中所有輸入通道的權(quán)重都是相同的,不能給予需要分割的目標(biāo)區(qū)域重點(diǎn)關(guān)注[11]。

因此,本文通過(guò)引入注意力機(jī)制,對(duì)U-net++網(wǎng)絡(luò)進(jìn)行改進(jìn),使得模型更加專注于待分割圖像的關(guān)鍵區(qū)域,改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 結(jié)合注意力機(jī)制改進(jìn)的U-net++結(jié)構(gòu)圖Fig.4 Improved U-net++ structure diagram combined with attention mechanism

3 實(shí)驗(yàn)結(jié)果和分析

本文深度學(xué)習(xí)網(wǎng)絡(luò)算法主要采用Python 3.7語(yǔ)言編程,在PyCharm Community Edition 2020.2.3 x64平臺(tái)下運(yùn)行,實(shí)驗(yàn)配置電腦為64位Windows 10操作系統(tǒng),處理器為Intel(R) Core(TM) i7-8750U CPU @ 2.70GHz。本文利用相似程度(dice similarity index,DSI)、召回率(recall)、錯(cuò)誤率(volumetric overlap error,VOE)和相對(duì)體積差異(relative volume difference,RVD)4個(gè)指標(biāo)對(duì)不同網(wǎng)絡(luò)模型實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)。

進(jìn)行息肉檢測(cè)的數(shù)據(jù)來(lái)自開(kāi)源數(shù)據(jù)集ETIS中1 200張結(jié)腸息肉圖像,選取600張圖像作為訓(xùn)練數(shù)據(jù),其余600張圖像作為測(cè)試數(shù)據(jù)。利用U-net++和引入注意力機(jī)制改進(jìn)后的U-net++網(wǎng)絡(luò)分別進(jìn)行25輪、60輪和100輪的模型訓(xùn)練,模型訓(xùn)練統(tǒng)一輪數(shù)和每輪步數(shù),即epochs=1,steps_per_epoch=300。

3.1 U-net++實(shí)驗(yàn)結(jié)果

表1為U-net++模型的實(shí)驗(yàn)數(shù)據(jù),表示相同腸息肉數(shù)據(jù)集分別在U-net++模型運(yùn)行25輪、60輪和100輪數(shù)下的訓(xùn)練結(jié)果。

表1 U-net++模型不同訓(xùn)練輪數(shù)的實(shí)驗(yàn)數(shù)據(jù)Table 1 Data for the U-net++ model of different epochs

表1的數(shù)據(jù)表明,在U-net++模型中設(shè)置步長(zhǎng)為300,其他條件不變時(shí),訓(xùn)練的輪數(shù)越多,所需時(shí)間(ETA)就越長(zhǎng),損失精度(LOSS)越低,準(zhǔn)確精度(ACC)越高。經(jīng)驗(yàn)證,當(dāng)訓(xùn)練輪數(shù)達(dá)到100輪以上時(shí),息肉圖像會(huì)被誤分割為背景,出現(xiàn)明顯的過(guò)分割現(xiàn)象,影響最終的分割效果。

3.2 引入注意力機(jī)制改進(jìn)的U-net++實(shí)驗(yàn)結(jié)果

表2為改進(jìn)后U-net++模型的數(shù)據(jù),表示該模型分別在25輪、60輪、100輪數(shù)下進(jìn)行訓(xùn)練的結(jié)果。

表2 改進(jìn)后U-net++模型不同訓(xùn)練輪數(shù)的實(shí)驗(yàn)數(shù)據(jù)Table 2 Data for the improved U-net++ model of different epochs

從表2改進(jìn)后U-net++模型的評(píng)估參數(shù)可以看出,參量總數(shù)(total params)和訓(xùn)練總數(shù)(trainable params)不變。在其他條件相同的情況下,引入注意力機(jī)制改進(jìn)后的U-net++模型與U-net++模型相比,檢測(cè)任務(wù)的訓(xùn)練時(shí)間(ETA)更短,損失度(LOSS)更小,精度(ACC)更高。

3.3 基于深度學(xué)習(xí)的結(jié)腸息肉檢測(cè)結(jié)果及分析

本節(jié)從600張結(jié)腸息肉測(cè)試圖像中選取第71到88張圖像作為示例,設(shè)置模型統(tǒng)一輪數(shù)epochs為100,每輪步數(shù)為300。圖5為U-net++網(wǎng)絡(luò)和改進(jìn)后的U-net++網(wǎng)絡(luò)對(duì)ETIS數(shù)據(jù)集中結(jié)腸息肉圖像經(jīng)過(guò)100輪訓(xùn)練后的分割結(jié)果示例。

(a) U-net++分割結(jié)果(b) 改進(jìn)后的U-net++分割結(jié)果

從圖5的分割結(jié)果中可以看出,在相同運(yùn)行環(huán)境、均訓(xùn)練100輪的條件下,圖5(b)的結(jié)果表明引入注意力機(jī)制改進(jìn)后的U-net++網(wǎng)絡(luò)模型對(duì)于結(jié)腸息肉檢測(cè)任務(wù)的分割效果更好。

表3直觀地利用4個(gè)指標(biāo)數(shù)據(jù)評(píng)估了深度學(xué)習(xí)的U-net++網(wǎng)絡(luò)模型和本文提出的引入注意力機(jī)制改進(jìn)的U-net++網(wǎng)絡(luò)模型在結(jié)腸息肉數(shù)據(jù)集檢測(cè)任務(wù)上的性能指標(biāo)。

表3 改進(jìn)前后模型的評(píng)估參數(shù)Table 3 Evaluation parameters of the model before and after improvement

對(duì)表3中各個(gè)網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果的數(shù)據(jù)進(jìn)行比較可以看出,引入注意力機(jī)制改進(jìn)的U-net++模型網(wǎng)絡(luò)相對(duì)U-net++網(wǎng)絡(luò),相似程度(DSI)提升了0.014 6,模型的錯(cuò)誤率(VOE)降低了0.003 4,相對(duì)體積差異(RVD)降低了0.000 9,召回率(Recall)提升了0.003 64。實(shí)驗(yàn)數(shù)據(jù)表明,引入注意力機(jī)制改進(jìn)了U-net++模型,提高了結(jié)腸息肉檢測(cè)準(zhǔn)確性。

4 結(jié) 語(yǔ)

本文基于深度學(xué)習(xí)算法,結(jié)合結(jié)腸息肉特征和不同網(wǎng)絡(luò)的優(yōu)點(diǎn)和局限性,通過(guò)對(duì)U-net++網(wǎng)絡(luò)在結(jié)腸息肉檢測(cè)任務(wù)實(shí)驗(yàn)分析,引入注意力機(jī)制對(duì)U-net++網(wǎng)絡(luò)進(jìn)行改進(jìn)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證,本文構(gòu)建出一種性能優(yōu)于以往且分割效果更好的網(wǎng)絡(luò)模型,提高了對(duì)結(jié)腸鏡息肉的檢測(cè)精度,減少了圖像損失度,從而達(dá)到快速準(zhǔn)確檢測(cè)結(jié)腸息肉的效果,對(duì)預(yù)防和診斷結(jié)腸癌具有重要的臨床應(yīng)用意義。