吳 俊

(宣城職業(yè)技術(shù)學(xué)院護(hù)理系,安徽 宣城 242000)

0 引 言

醫(yī)學(xué)圖像的自動(dòng)分割是指在正常人體組織結(jié)構(gòu)和病灶等部位的醫(yī)學(xué)影像圖中提取感興趣區(qū)域。目前常見的影像圖圖像分割技術(shù)為人工分割、半人工分割、自動(dòng)分割。深度神經(jīng)網(wǎng)絡(luò)避免了傳統(tǒng)圖像分割中計(jì)算復(fù)雜等問題,成為了目前影像圖像分割中最成熟的方法。Unet網(wǎng)絡(luò)是一種在醫(yī)學(xué)圖像分割領(lǐng)域最常用到的網(wǎng)絡(luò)結(jié)構(gòu),現(xiàn)階段Unet網(wǎng)絡(luò)已經(jīng)被優(yōu)化為Attention-Unet,Dense-Unet等。高翾等學(xué)者分析了深度學(xué)習(xí)方法的原理及其在醫(yī)學(xué)影像學(xué)領(lǐng)域的研究現(xiàn)狀,著重討論了其在醫(yī)學(xué)影像學(xué)領(lǐng)域運(yùn)用的影響因素[3]。蔣啟紅等研究人員分析了目前影像組學(xué)在肝細(xì)胞癌診療中的研究進(jìn)展,包括肝細(xì)胞癌的診斷及鑒別診斷、基因表型及分子標(biāo)記物的預(yù)測(cè)、療效監(jiān)測(cè)及預(yù)后預(yù)測(cè)、基于深度學(xué)習(xí)應(yīng)用方面的研究[4]。鑒于醫(yī)學(xué)影像圖語義簡單、多模態(tài)、數(shù)據(jù)量少等特點(diǎn),研究以腦部腫瘤影像為例,提出應(yīng)用改進(jìn)Unet網(wǎng)絡(luò)進(jìn)行圖像分割,旨在為影像圖像分析提供建設(shè)性的參考意見。

1 改進(jìn)Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割

1.1 密集跳躍連接和殘差網(wǎng)絡(luò)改進(jìn)

跳躍鏈接對(duì)完整空間分辨能力的恢復(fù)具有的積極的意義,它使得全卷積的方法在語義分割中具有較高的適用性。跳躍連接在密集網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)等神經(jīng)網(wǎng)絡(luò)中有著廣泛的應(yīng)用。傳統(tǒng)的L神經(jīng)網(wǎng)絡(luò)的連接個(gè)數(shù)為L,密集跳躍連接的連接L×(L+1)/2,每層和前面所有層進(jìn)行緊密連接,即密集連接。密集跳躍連接認(rèn)為,輸入為每個(gè)圖層前面圖層的要素圖,而每個(gè)圖層的要素圖可作為輸入傳遞給后續(xù)的圖層[5-7]。密集跳躍連接的正向傳播還包括跨層連接xl,計(jì)算公式為式(1):

xl=Hl([x0,x1,…xl])

(1)

式(1)中,[x0,x1,…xl]是指所有前面層的輸出串聯(lián)值,Hl是指l層的非線性變換。密集跳躍連接能極大程度避免學(xué)習(xí)復(fù)雜特征,通過低級(jí)和高級(jí)特征兩者之間的信息流得到更好的性能。與此同時(shí),密集跳躍連接能處理梯度消失的問題,這能強(qiáng)化特征的傳播。

目前殘差網(wǎng)絡(luò)在網(wǎng)格深度優(yōu)化方面,訓(xùn)練集的準(zhǔn)確率會(huì)隨著網(wǎng)絡(luò)層數(shù)的增加而增加,這種現(xiàn)象被稱為退化問題[8-10]。為了優(yōu)化梯度爆炸和梯度消失問題,研究提出了一種結(jié)合注意力機(jī)制、殘差網(wǎng)絡(luò)、軟閾值函數(shù)的改進(jìn)殘差網(wǎng)絡(luò)。改進(jìn)的殘差網(wǎng)絡(luò)通過注意力機(jī)制關(guān)注到非重要特征和軟閾值函數(shù)設(shè)置0方式,能有效從圖像中獲取有價(jià)值的特征。設(shè)置閾值階段需滿足正數(shù)、小于輸入的最大值兩個(gè)條件。軟閾值的計(jì)算公式為式(2):

(2)

式(2)中,x和y分別指輸入值和輸出值,τ是指閾值。根據(jù)軟閾值化導(dǎo)數(shù)公式可知,導(dǎo)數(shù)值為0和1,這和Relu函數(shù)的性質(zhì)相似。軟閾值化不僅能降低深度學(xué)習(xí)算法中的梯度彌散和梯度消散,還能避免網(wǎng)絡(luò)噪聲的影響。

圖1 注意力機(jī)制和改進(jìn)殘差模塊的示意圖

研究采用的注意力機(jī)制為Squeeze-and- Excitation Networks(SENet)模型,該模型將小型網(wǎng)絡(luò)學(xué)習(xí)獲得的權(quán)值系數(shù)應(yīng)用在各個(gè)特征通道的加權(quán)。首先,利用Squeeze操作完成特征映射聚合,并形成channel描述符。然后利用Excitation操作完成對(duì)channel描述符的重新加權(quán),使得無用的信息能夠快速被排除和保障有用的信息。最后,通過scale操作的reweight channel完成特征圖輸入的加權(quán)。SENet模型的具體來說,輸入包含W*H*C的特征圖,其一,完成Squeeze操作。通過global average 池化層對(duì)特征圖進(jìn)行壓縮處理,得到輸出結(jié)果為1*1*C。其二,完成Excitation操作。通過全連接層+Relu+全連接層+Sigmoid對(duì)特征圖進(jìn)行非線性或線性變換得到每個(gè)channel的weight。采用兩個(gè)全連接層的目的是學(xué)習(xí)到每個(gè)channel的相關(guān)性。依據(jù)前人的研究經(jīng)驗(yàn),壓縮比例設(shè)置為16時(shí),計(jì)算量和整體性能最為平衡。其三,利用channel的weight 進(jìn)行處理,完成對(duì)特征圖的加權(quán)。注意力機(jī)制的結(jié)構(gòu)如圖1(a)所示。改進(jìn)的殘差網(wǎng)絡(luò)為多層殘差,每一層都包括一個(gè)3×3的卷積層、歸一化層FRN(Filter Response NormaLization)、激活層TLU(Thresholded Linear Unit),具體結(jié)構(gòu)如圖1(b)所示。

1.2 改進(jìn)Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割

腦部腫瘤分割目前的挑戰(zhàn)主要來源兩種,分別是采集圖像過程中核磁共振成像(Nuclear Magnetic Resonance Imaging,NMRI)中普遍存在噪聲和運(yùn)動(dòng)偽影和腫瘤的解剖變異和正常組織提升了分割難度。但相較于電子計(jì)算機(jī)斷層掃描圖像,NMIR圖像的圖像分割具有以下優(yōu)點(diǎn)。其一,NMRI圖像的三維圖像能獲取冠狀面、軸面、矢狀面的信息,最大程度確保相鄰切片間腦組織的信息連續(xù)性。其二,NMRI圖像通過多模態(tài)成像給每個(gè)體素提供多種模態(tài)信息。Unet網(wǎng)絡(luò)的核心思想是借助連續(xù)層擴(kuò)充普通的收縮網(wǎng)絡(luò),包括特征提取和上采樣兩個(gè)部分,能將領(lǐng)域內(nèi)的狀態(tài)信息傳遞給更高分辨率層,這通過更大數(shù)量的特征通道實(shí)現(xiàn)。但Unet網(wǎng)絡(luò)的層數(shù)越深越容易導(dǎo)致網(wǎng)絡(luò)性能的退化,且不能很好排除拍攝角度或病灶區(qū)域等噪聲[11-13]。研究提出一種改進(jìn)Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割方法,即殘差-密集跳躍連接-Unet網(wǎng)絡(luò)。將原始卷積模塊優(yōu)化為密集跳躍連接和殘差模塊,具體表現(xiàn)為解碼路徑、跳躍連接、編碼路徑,這不僅能提高網(wǎng)絡(luò)的性能,也能提升特征的采集率。網(wǎng)絡(luò)仍然為傳統(tǒng)的Unet網(wǎng)絡(luò)結(jié)構(gòu),即端對(duì)端的網(wǎng)絡(luò)結(jié)構(gòu)。編碼器組成為最大池化層和多個(gè)殘差模塊。每個(gè)殘差塊包括2個(gè)3×3的卷積層,2個(gè)FRN,2個(gè)TLU,1個(gè)軟閾值函數(shù),1個(gè)注意力機(jī)制。最大池化層設(shè)置為2×2,能對(duì)特定維度進(jìn)行池化處理,大小設(shè)置為2×2,。跳躍連接采用密集跳躍連接,其可分為短連接和長連接。長連接可對(duì)同一行首尾的殘差塊進(jìn)行連接;短連接能完成同一行中間部分的殘差塊連接。解碼器通過殘差塊、上采樣層組成,其中,上采樣的尺寸為2×2。

表1 改進(jìn)Unet網(wǎng)絡(luò)的改進(jìn)策略

卷積網(wǎng)絡(luò)訓(xùn)練分為向前傳播、損失計(jì)算、反向傳播、權(quán)重更新四個(gè)環(huán)節(jié)。目前常見的深度學(xué)習(xí)訓(xùn)練模型為批量歸一化 BN(Batch Normalization)層,但BN層在訓(xùn)練過程中過度依賴訓(xùn)練批次。當(dāng)訓(xùn)練批次較小時(shí),模型的性能較差[14-15]。但受限于硬件條件的限制,當(dāng)訓(xùn)練模型較大時(shí),訓(xùn)練批次難以增大。研究采用FRN作為標(biāo)準(zhǔn)層,FRN層包含激活層TLU和歸一化層FRN。FRN標(biāo)準(zhǔn)層能防止訓(xùn)練模型過程中對(duì)訓(xùn)練批次的依賴,且在較大訓(xùn)練模型的情況下表現(xiàn)出較大的優(yōu)勢(shì)。訓(xùn)練模型過程中,FRN層能很好完成縮放和平移。但由于FRN缺乏均值操作,這會(huì)造成歸一化處理的最終結(jié)果偏向0,基于此,研究采用閾值化的Relu 函數(shù),計(jì)算表達(dá)式為式(3):

z=max(y,τ)=Relu(y-τ)+t

(3)

式(3)中,可學(xué)習(xí)的參數(shù)為t。

模型的損失函數(shù)為結(jié)合Dice系數(shù)損失和交叉熵?fù)p失的混合損失函數(shù)。混合損失函數(shù)Loss的計(jì)算公式為式(4):

(4)

式(4)中,N指表示訓(xùn)練批次中的像素的數(shù)量,C是指類的數(shù)量,第n個(gè)像素和第c類的預(yù)測(cè)概率用pn,c指代,第n個(gè)像素和第c類的目標(biāo)標(biāo)簽用yn,c指代。

2 改進(jìn)Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割效果

研究選取BraTS2018數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)進(jìn)行腫瘤影像圖像分割效果分析,數(shù)據(jù)集包括低級(jí)別和高級(jí)別膠質(zhì)瘤兩種患者的NMRI圖像,數(shù)據(jù)集包括背景、壞死、水腫、增強(qiáng)腫瘤四個(gè)標(biāo)簽。為了便于圖像分割效果評(píng)價(jià),研究劃分為三個(gè)二元子區(qū)域,分別是增強(qiáng)腫瘤 (Enhancing tumor core,ET)、腫瘤核心(Tumor core,TC) 、全腫瘤(The whole tumor ,WT) 區(qū)域。設(shè)置訓(xùn)練批次為80,學(xué)習(xí)率為0.001。低級(jí)別和高級(jí)別膠質(zhì)瘤患者的分割圖如圖2所示。從圖中可知,Unet網(wǎng)絡(luò)能實(shí)現(xiàn)分割背景和分割任務(wù),但整體腫瘤區(qū)域邊緣模糊,部分腫瘤區(qū)域分割出現(xiàn)錯(cuò)誤,分割效果一般。殘差-Unet網(wǎng)絡(luò)的分割效果在邊緣分割方面較為理想,但存在過度分割的現(xiàn)象。而研究提出的殘差-密集跳躍連接-Unet網(wǎng)絡(luò)具有極高的分割效率,能降低特征信息的丟失,有效分割出邊界區(qū)域。

研究采用Hausdorff距離、敏感度、特異性、Dice系數(shù)四個(gè)評(píng)價(jià)指標(biāo)對(duì)腫瘤分割效果進(jìn)行評(píng)價(jià),結(jié)果如圖3所示。整體來看,相較于Unet、殘差-Unet兩種網(wǎng)絡(luò),殘差-密集跳躍-Unet在Hausdorff距離、敏感度、特異性、Dice四個(gè)指標(biāo)方面均具有極高的性能,這是因?yàn)檠芯克岢龅姆椒▽⒔獯a器和編碼器改進(jìn)成了殘差網(wǎng)絡(luò),且通過密集跳躍連接避免學(xué)習(xí)復(fù)雜特征進(jìn)而降低參數(shù)的數(shù)量,解決梯度消失的問題。分割結(jié)果顯示,WT,TC,ET的Dice分別為0.846,0.813,0.804。而對(duì)于Unet、殘差-Unet兩種網(wǎng)絡(luò)來說,殘差-Unet網(wǎng)絡(luò)的性能更優(yōu)于Unet網(wǎng)絡(luò),這主要表現(xiàn)為特異性、Dice,Hausdorff距離。

為了進(jìn)一步驗(yàn)證所提出的腫瘤影像圖像分割效果,研究采用的對(duì)比影像圖像分割方法為標(biāo)記不確定的密集連接神經(jīng)網(wǎng)絡(luò)(方法1)、注意力信息和上下文信息的神經(jīng)網(wǎng)絡(luò)(方法2)、測(cè)試時(shí)間增強(qiáng)的神經(jīng)網(wǎng)絡(luò)(方法3),結(jié)果如圖4所示。相較于其他影像圖像分割算法,殘差-密集跳躍-Unet網(wǎng)絡(luò)(新方法)的Hausdorff距離、敏感度、特異性、Dice四個(gè)指標(biāo)均更佳。Hausdorff距離的降低值范圍為0.139～1.061,靈敏度的提升取值范圍為0.006～0.999,特異性的提升取值范圍為0.017～0.092,Dice的提升取值范圍為0.013～0.110。因此,研究所提出的腫瘤影像圖像分割方法分割效果更為精細(xì),其不僅能避免上下文信息遺漏,也能很好地處理過擬合和欠擬合的現(xiàn)象。

圖3 三種網(wǎng)絡(luò)的腫瘤影像圖像分割效果

圖4 四種影像圖像分割方法的對(duì)比效果

3 結(jié) 論

現(xiàn)階段自動(dòng)分割憑借著優(yōu)秀的計(jì)算機(jī)圖像處理技術(shù)能提升分割速度,但成像技術(shù)中的噪聲多、對(duì)比度低等問題給醫(yī)學(xué)圖像分割帶來了極大的挑戰(zhàn)。研究提出一種改進(jìn)Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割。殘差-密集跳躍連接-Unet網(wǎng)絡(luò)在WT,TC,ET區(qū)域的Dice分別為0.846,0.813,0.804,特異性分別為0.868,0.887,0.829,靈敏度分別為0.888,0.925,0.832,Hausdorff距離分別為2.545,1.621,2.624。Hausdorff距離的降低值范圍為0.139～1.061,靈敏度的提升取值范圍為0.006～0.999,特異性的提升取值范圍為0.017～0.092,Dice的提升取值范圍為0.013～0.110。殘差-密集跳躍連接-Unet網(wǎng)絡(luò)能降低特征信息的丟失和快速分割出邊界區(qū)域,值得廣泛應(yīng)用于臨床醫(yī)學(xué)影像圖像的分割。