亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        融合類激活映射和視野注意力的皮膚病變分割

        2023-11-20 10:58:36梁鳳梅劉建霞
        關(guān)鍵詞:視野像素皮膚

        張 宇,梁鳳梅,劉建霞

        太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院,山西 晉中 030600

        皮膚癌是常見癌癥之一。擁有高轉(zhuǎn)移率的黑色素瘤作為最致命的皮膚癌,發(fā)病率也最高,罹患該病的患者早期診斷治愈后存活率超95%,但晚期發(fā)現(xiàn)后5年存活率低于15%[1]。因此,皮膚病變的早期快速診斷與及時(shí)治療對(duì)患者和醫(yī)學(xué)研究都是至關(guān)重要的。

        皮膚鏡檢查被廣泛用于皮膚病變的無創(chuàng)早期診斷。然而,僅根據(jù)皮膚科醫(yī)生經(jīng)驗(yàn)對(duì)黑色素瘤進(jìn)行檢測(cè),主觀性相對(duì)較強(qiáng)且檢測(cè)過程耗時(shí)。近年來,隨著計(jì)算機(jī)視覺的發(fā)展,醫(yī)學(xué)圖像分割已成為計(jì)算機(jī)輔助診斷的重要組成部分,它可以幫助醫(yī)生快速準(zhǔn)確地診斷皮膚鏡圖像,提供醫(yī)學(xué)圖像的專業(yè)解釋[2]。但是,由于圖像對(duì)比度低、病變大小不一、顏色多變等因素的存在,導(dǎo)致病變邊界模糊,分割精度較低;此外,氣泡、頭發(fā)、標(biāo)尺標(biāo)記、血管和照明等不同程度的干擾對(duì)分割皮膚病變圖像造成了較大的困難。

        皮膚病變圖像的計(jì)算機(jī)輔助分割方法分為無監(jiān)督法和有監(jiān)督法兩大類,傳統(tǒng)無監(jiān)督的分割方法主要有聚類、閾值分割[3]、區(qū)域生長法[4]和活動(dòng)輪廓模型[5]等,但其獲得的病變分割結(jié)果精度有待提高。近年來,有監(jiān)督的深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)方法已廣泛應(yīng)用于各個(gè)領(lǐng)域,尤其在醫(yī)學(xué)圖像分割領(lǐng)域。端到端的編碼解碼結(jié)構(gòu)是醫(yī)學(xué)圖像分割中最常見的,基于CNN 的皮膚病變分割方法被廣泛提出。Bi等人[6]提出了一種分級(jí)分割方法,利用淺層全卷積網(wǎng)絡(luò)學(xué)習(xí)位置信息,通過深層網(wǎng)絡(luò)學(xué)習(xí)病變邊界等細(xì)節(jié)信息。Chen 等人[7]提出了基于DCNN 的圖像分割方法DeepLab,后又在其基礎(chǔ)上提出了DeepLabV2、Deep-LabV3 和DeepLab V3+[8]網(wǎng)絡(luò),其中DeepLab V3+模型主要由提取多尺度信息的空洞空間金字塔池化(atrous spatial pyramid pooling,ASPP)模塊[9]和細(xì)化分割結(jié)果的解碼器結(jié)構(gòu)組成,該模型在圖像語義分割中表現(xiàn)出較好的效果。Abraham 等人[10]提出一種基于Tversky 指數(shù)的新?lián)p失函數(shù),結(jié)合U-Net 提高了皮膚病變分割精度,證明了損失函數(shù)的重要性。此外,基于注意力的網(wǎng)絡(luò)已廣泛用于計(jì)算機(jī)視覺中的不同任務(wù),Tong等人[11]結(jié)合三重注意力機(jī)制,提出一種皮膚病變分割的U-Net擴(kuò)展網(wǎng)絡(luò),證明了注意力可改善網(wǎng)絡(luò)的語義分割結(jié)果。王雪等人[12]將多尺度特征模塊融入U(xiǎn)-Net 中,捕獲病變中多尺度信息。Ashraf 等人[13]通過將三種深度學(xué)習(xí)模型相結(jié)合,對(duì)皮膚鏡圖像進(jìn)行復(fù)雜的前后處理,同時(shí)結(jié)合測(cè)試時(shí)增強(qiáng)和條件隨機(jī)場(chǎng)模塊提高了病變分割精度。盡管現(xiàn)有的深度學(xué)習(xí)方法在皮膚病變分割方面表現(xiàn)出一定的性能,但臨床中要實(shí)現(xiàn)皮膚病變自動(dòng)分割診斷,仍需高精度的病變邊緣分割作為支撐,也就是說,皮膚病變精確分割仍是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。

        損失函數(shù)是深度學(xué)習(xí)模型中的重要組成部分,而在醫(yī)學(xué)圖像分割任務(wù)中最常采用交叉熵?fù)p失[14]或Dice 損失函數(shù)[15],合理選擇或改進(jìn)損失函數(shù)可有效優(yōu)化網(wǎng)絡(luò)模型。在圖像分割任務(wù)中,將對(duì)分割結(jié)果優(yōu)化貢獻(xiàn)大的像素點(diǎn)(如邊界像素)稱為硬像素,其在訓(xùn)練過程中可產(chǎn)生較大誤差。與之對(duì)應(yīng)的容易被識(shí)別的像素點(diǎn)(如內(nèi)部病變和背景像素)稱為易像素[16-17],其在訓(xùn)練中產(chǎn)生誤差較小。而在皮膚病變圖像中硬像素和易像素之間存在嚴(yán)重的不平衡,使網(wǎng)絡(luò)無法精確監(jiān)督病變邊界像素,導(dǎo)致分割結(jié)果邊界模糊。

        針對(duì)以上難點(diǎn),本文對(duì)DeepLab V3+模型做部分改進(jìn)以提高分割精度和邊緣檢測(cè)精度:(1)生成病變圖像類激活映射圖,輸入到網(wǎng)絡(luò)作先驗(yàn)信息;(2)利用視野注意力機(jī)制實(shí)現(xiàn)局部跨視野交互,提高網(wǎng)絡(luò)對(duì)多視野中有益視野信息的關(guān)注;(3)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu),優(yōu)化分割模型;(4)改進(jìn)損失函數(shù),提高對(duì)硬像素誤差的關(guān)注。

        1 算法原理與網(wǎng)絡(luò)結(jié)構(gòu)

        1.1 類激活映射

        深度學(xué)習(xí)模型在不斷更新參數(shù)尋找最優(yōu)解的過程中,訓(xùn)練會(huì)陷入低學(xué)習(xí)率區(qū)而導(dǎo)致耗時(shí)。皮膚病變區(qū)域通常只占皮膚鏡圖像的一小部分,圖像中大部分是正常皮膚組織,且多帶干擾因素,如頭發(fā)、標(biāo)尺、血液、血管和氣泡等。為解決以上問題,本文將皮膚病變圖像的類激活映射[18](classification activation mapping,CAM)作為先驗(yàn)信息,融合到網(wǎng)絡(luò)編碼器中。

        類激活映射是一種可視化卷積神經(jīng)網(wǎng)絡(luò)工具,本文將關(guān)注的地方用暖色調(diào)顯示,弱關(guān)注的地方用冷色調(diào)顯示。改進(jìn)Xception[19]網(wǎng)絡(luò)來生成類激活映射圖,將其預(yù)先在ImageNet 數(shù)據(jù)集上訓(xùn)練完成,且不參與整個(gè)模型的訓(xùn)練過程。為避免在生成CAM過程中丟失小病變信息和病變細(xì)節(jié)信息,去除Xception網(wǎng)絡(luò)模型的最后一層池化層,如圖1 所示,在其后接全局平均池化層(global average pooling,GAP),GAP 首先把網(wǎng)絡(luò)生成的特征圖轉(zhuǎn)化為特征向量,不同的特征映射圖分別生成不同的特征向量值W1,W2,W3,…,Wn(如圖1),然后用這些特征向量值對(duì)相應(yīng)的特征映射圖進(jìn)行加權(quán),最后用熱力圖將加權(quán)后的特征映射按通道歸一化生成類激活映射圖。

        圖1 CAM結(jié)構(gòu)圖Fig.1 CAM structure

        本文使用的DeepLab V3+模型中特征提取模塊也為Xception網(wǎng)絡(luò),故生成的類激活映射與改進(jìn)后的空間金字塔生成的特征映射分辨率相同,因此可直接融合到網(wǎng)絡(luò)中作為先驗(yàn)信息。

        1.2 視野注意力機(jī)制

        視野(感受野)在深度學(xué)習(xí)網(wǎng)絡(luò)中扮演重要角色,它反映輸出特征圖在輸入圖像中映射的具體區(qū)域大小。小視野特征圖像包含局部信息,大視野特征圖則包含全局上下文信息,但同時(shí)也包含一些無用信息。本文對(duì)ASPP 模塊進(jìn)行改進(jìn),原結(jié)構(gòu)將不同感受野處理后的特征圖直接拼接,忽略了它們之間的內(nèi)部相關(guān)性,無法自適應(yīng)地調(diào)整各視野間的特征響應(yīng)值,導(dǎo)致網(wǎng)絡(luò)無法精確提取病變輪廓,使得邊緣分割不準(zhǔn)等問題產(chǎn)生。為解決以上問題,本文對(duì)高效通道注意力(efficient channel attention,ECA)模塊[20]進(jìn)行改進(jìn)并應(yīng)用于ASPP模塊上,設(shè)計(jì)出一種融合視野注意力的空洞空間金字塔池化模塊(receptive field attention ASPP,F(xiàn)-ASPP),具體結(jié)構(gòu)如圖2所示。

        圖2 F-ASPP模塊結(jié)構(gòu)圖Fig.2 Structure diagram of F-ASPP module

        實(shí)際中ECA模塊只采用全局平均池化來捕獲不同通道間關(guān)系,其主要強(qiáng)調(diào)整體背景信息,而全局最大池化(global max pooling,GMP)可反映細(xì)節(jié)特征紋理,在特征提取中同樣重要,故本文在進(jìn)行視野注意力權(quán)重計(jì)算時(shí),將5 個(gè)不同視野生成的特征立方體塊Fn∈RH×W×C同時(shí)進(jìn)行全局平均池化和最大池化,計(jì)算過程如式(1)和(2):

        其中,H、W、C分別代表不同視野特征塊的長、寬和通道,F(xiàn)n(i,j,k)代表視野塊中的特定位置的像素值。

        然后將不同視野塊生成的最大池化和平均池化特征圖分別拼接為Fmp∈R1×1×5和Fap∈R1×1×5(見圖2),并通過共享權(quán)值1D 卷積層轉(zhuǎn)化為特征向量,計(jì)算過程如式(3),這樣通過極少的參數(shù),可獲得不同視野下特征圖之間的相關(guān)性;在網(wǎng)絡(luò)模型有監(jiān)督訓(xùn)練的過程中會(huì)不斷更新1D卷積層的參數(shù),直至達(dá)到最優(yōu)解,進(jìn)而自適應(yīng)的調(diào)整不同視野特征圖所占權(quán)重。再將處理后的Fmp和Fap按視野求和并用Sigmoid函數(shù)激活生成最終的權(quán)重值,最后將其與對(duì)應(yīng)視野塊中的每個(gè)通道進(jìn)行加權(quán),生成帶視野注意力的特征圖,實(shí)現(xiàn)局部跨視野交互,增加網(wǎng)絡(luò)對(duì)不同病變大小的感知度和對(duì)不同區(qū)域病變邊界的敏感性。

        式中,Conv1D(·)為一維卷積層,其卷積核大小為3,σ(·)為激活函數(shù)。

        同時(shí),為減小模型參數(shù)量,將原ASPP模塊中的3×3空洞卷積換為3×1 和1×3 的級(jí)聯(lián)對(duì)稱空洞卷積,如圖2中左半部分所示,相比原結(jié)構(gòu)此部分減少了33%的計(jì)算量。

        1.3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

        圖3 為本文網(wǎng)絡(luò)結(jié)構(gòu)的整體框架圖,以DeepLab V3+為主網(wǎng)絡(luò),主網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)選擇改進(jìn)Xception網(wǎng)絡(luò),其生成的特征圖的分辨率與CAM分辨率大小相同,同時(shí)將其末尾的兩個(gè)深度可分離卷積替換為可分離的空洞卷積,這樣可補(bǔ)償去除下采樣層帶來的感受野減少的問題。再將CAM圖與F-ASPP提取后的特征圖連接,然后采用1×1 卷積層、批量歸一化層和ReLU 激活函數(shù)(圖3融合層)進(jìn)行信息融合,即融合先驗(yàn)信息與深層特征信息。最后將融合后的特征圖提供給網(wǎng)絡(luò)的解碼器,以實(shí)現(xiàn)更準(zhǔn)確的病變分割。

        圖3 網(wǎng)絡(luò)結(jié)構(gòu)整體框架圖Fig.3 Overall framework diagram of network structure

        相對(duì)低分辨率表征來說,高分辨率表征包含更精細(xì)的空間信息,為充分保留高分辨率表征所特有的特征細(xì)節(jié),本設(shè)計(jì)增加了兩個(gè)解碼器與編碼器之間的跨層融合,分別加在1/2 下采樣和1/8 下采樣之后,見圖3 中點(diǎn)畫線。最后通過二倍上采樣恢復(fù)原始圖像分辨率和空間細(xì)節(jié)信息完成解碼過程,輸出最終分割結(jié)果,以上進(jìn)行的拼接操作中的特征圖分辨率均相同。

        1.4 混合損失函數(shù)

        在網(wǎng)絡(luò)訓(xùn)練中,由于皮膚病變圖像中硬像素和易像素之間存在嚴(yán)重的不平衡,若僅使用Dice損失函數(shù)雖然對(duì)類不平衡數(shù)據(jù)有很強(qiáng)的兼容性,但它對(duì)硬像素和易像素的關(guān)注度相同,無法精確監(jiān)督病變邊界像素,最終會(huì)導(dǎo)致分割結(jié)果邊界模糊,為進(jìn)一步優(yōu)化網(wǎng)絡(luò),本文采用改進(jìn)后的混合損失函數(shù),具體如式(4):

        其中,N表示像素?cái)?shù),pi表示第i個(gè)像素屬于病變的預(yù)測(cè)概率,yi表示第i個(gè)像素的真實(shí)標(biāo)簽,ε表示平滑因子;Lrank為排序損失函數(shù),λ為Lrank損失函數(shù)的權(quán)重值。

        由于硬像素在訓(xùn)練過程中易產(chǎn)生較大的誤差,合理處理后可為監(jiān)督學(xué)習(xí)過程提供更多信息,而易像素在訓(xùn)練過程中產(chǎn)生誤差較小,故在損失函數(shù)中融合排序損失來對(duì)硬像素和易像素增加額外的罰分約束。排序損失根據(jù)每批前向傳播后的誤差,分別對(duì)病變(正例)和背景(反例)的像素進(jìn)行排序,根據(jù)排序動(dòng)態(tài)選擇病變和背景中誤差最大的前k個(gè)像素作為本區(qū)域硬像素,考慮每一對(duì)病變和背景像素點(diǎn),如果病變像素的預(yù)測(cè)值小于背景,則記一個(gè)“罰分”,若相等,則記0.5個(gè)“罰分”,計(jì)算過程如式(6)。這樣可制約硬像素帶來的更多誤差,進(jìn)而精確監(jiān)督病變邊界,提升網(wǎng)絡(luò)性能。

        其中,Ⅱ(*)為指示函數(shù),在是否符合*中條件時(shí)分別等于1和0,f(H+i)和f(Hj)是輸入圖像的第i個(gè)病變硬像素和第j個(gè)背景硬像素的預(yù)測(cè)值。

        2 實(shí)驗(yàn)與分析

        2.1 實(shí)驗(yàn)設(shè)置

        2.1.1 數(shù)據(jù)集和預(yù)處理

        本文主要使用2017 年國際皮膚成像合作組織(ISIC-2017)制作的皮膚病變分割挑戰(zhàn)數(shù)據(jù)集[21],它分別包含2 000 組訓(xùn)練、150 組驗(yàn)證和600 組測(cè)試集圖像,每組數(shù)據(jù)都包含原圖像、專家手動(dòng)標(biāo)注分割金標(biāo)準(zhǔn)(二值圖像)等,且數(shù)據(jù)集中的圖像均為分辨率在450×600 像素以上不等的RGB彩色圖像。

        為提高模型訓(xùn)練性能和降低計(jì)算成本,需對(duì)訓(xùn)練集中原圖片擴(kuò)充和縮放,故在訓(xùn)練前對(duì)圖像作如下增強(qiáng)操作:從每張訓(xùn)練圖像的中心以原始圖像大小的50%到100%的比例隨機(jī)裁剪,并在垂直和水平方向上隨機(jī)旋轉(zhuǎn),在圖像分辨率的[0.01,0.1]范圍內(nèi)進(jìn)行仿射平移,從0°到10°內(nèi)隨機(jī)旋轉(zhuǎn)等,最后將增強(qiáng)后的圖像調(diào)整為224×224進(jìn)行訓(xùn)練,且將原圖像對(duì)應(yīng)的二值標(biāo)簽作相同操作,這樣將訓(xùn)練集擴(kuò)充到40 000組圖像。

        同時(shí),選擇由IEEE EMBS 國際年會(huì)組織提供的PH2[22]數(shù)據(jù)集來驗(yàn)證本文所提算法的泛化性,其包含200組皮膚鏡圖像,且每組圖像均包含原圖像和經(jīng)專家標(biāo)注的診斷金標(biāo)準(zhǔn)(二值圖像)等。此數(shù)據(jù)集僅用于測(cè)試,不參與模型的訓(xùn)練過程。

        2.1.2 性能評(píng)價(jià)指標(biāo)

        本文使用Jaccard 指數(shù)(JA)和準(zhǔn)確率(Acc)作為模型優(yōu)劣的評(píng)價(jià)指標(biāo),JA指數(shù)表示預(yù)測(cè)結(jié)果與真實(shí)結(jié)果的相似性與差異性,JA 值越大,相似性越高,說明預(yù)測(cè)結(jié)果在細(xì)節(jié)(邊緣)等方面與真實(shí)結(jié)果更相近;Acc表示模型判斷病變與非病變區(qū)域的能力。同時(shí)采用Dice系數(shù)、靈敏度Se和特異性Sp作為補(bǔ)充評(píng)價(jià)指標(biāo),其定義如下:

        上式均依據(jù)混淆矩陣計(jì)算得到,其中TP為真陽性,TP為假陽性,F(xiàn)N為假陰性,TN為真陰性。

        2.2 實(shí)驗(yàn)參數(shù)配置

        本實(shí)驗(yàn)所用設(shè)備CPU型號(hào)為AMD Ryzen74800H,顯卡為NVIDIA GTX1660Ti,運(yùn)行內(nèi)存為16 GB,深度學(xué)習(xí)框架為pytorch-1.7.1。

        訓(xùn)練細(xì)節(jié):改進(jìn)Xception網(wǎng)絡(luò)預(yù)先在ImageNet數(shù)據(jù)集[23]上訓(xùn)練好參數(shù),而主網(wǎng)絡(luò)中的Xception在MSCOCO[24]上進(jìn)行預(yù)訓(xùn)練,其余需要訓(xùn)練的卷積核均采用HE 初始化法初始化參數(shù)。訓(xùn)練階段優(yōu)化算法為Adam,一次訓(xùn)練所選取的樣本數(shù)為8,epoch 為150,初始學(xué)習(xí)率設(shè)置為0.001,在連續(xù)5次迭代后損失函數(shù)都沒有變化則學(xué)習(xí)率衰減為原來的一半。改進(jìn)后的損失函數(shù)的超參數(shù)設(shè)置為λ=0.1,k=40。

        2.3 對(duì)比實(shí)驗(yàn)結(jié)果及分析

        2.3.1 與基礎(chǔ)網(wǎng)絡(luò)比較

        為檢驗(yàn)本文算法的有效性,將該算法與U-Net、SegNet 和DeepLab V3+這三種基于語義分割的基礎(chǔ)網(wǎng)絡(luò)在ISIC-2017和PH2數(shù)據(jù)集上分別進(jìn)行對(duì)比實(shí)驗(yàn)。此三種算法均采用端到端的編碼解碼器結(jié)構(gòu),屬于具有代表性的基礎(chǔ)分割網(wǎng)絡(luò)。對(duì)比結(jié)果如表1所示,表中最后一行為本文算法分別在兩個(gè)不同數(shù)據(jù)集上各指標(biāo)的表現(xiàn)結(jié)果,與其他三種基礎(chǔ)網(wǎng)絡(luò)相比,本文算法在兩個(gè)數(shù)據(jù)集上各指標(biāo)均遠(yuǎn)高于基礎(chǔ)網(wǎng)絡(luò),表明此算法成功提高了皮膚病變分割精度,綜合分割性能較基礎(chǔ)網(wǎng)絡(luò)更優(yōu),且有較好的泛化性。

        表1 在不同數(shù)據(jù)集上與基礎(chǔ)網(wǎng)絡(luò)比較結(jié)果Table 1 Compare results with basic network on different datasets

        為更直觀反映本文算法的有效性,選擇基礎(chǔ)網(wǎng)絡(luò)(U-Net、SegNet 和DeepLab V3+)和本文算法在ISIC-2017數(shù)據(jù)集上的部分典型分割結(jié)果圖進(jìn)行比較,結(jié)果如圖4所示,白色為病變區(qū)域,黑色為背景。其中(a)為輸入圖像,(b)為真實(shí)標(biāo)簽,(c)~(e)分別為各算法的結(jié)果圖,(f)為本文算法的結(jié)果圖,圖中紅色矩形框所標(biāo)注部分為較其他算法分割效果顯著提高的部分(下同)??v觀圖4 可知,與其他算法相比,本文算法對(duì)較小病變或特大病變的分割敏感性更強(qiáng),對(duì)邊緣輪廓感知更準(zhǔn)確(如病例1和病例2);針對(duì)病變與膚色接近(病例3)和有干擾因素的病變(病例4),本文算法可確保病變區(qū)域分割準(zhǔn)確;針對(duì)邊緣模糊雜亂無章的病變情況(病例5),本文算法比其他算法分割結(jié)果更精確。通過對(duì)比,進(jìn)一步證明本文算法在皮膚病變分割領(lǐng)域的優(yōu)越性。

        圖4 不同算法分割結(jié)果圖對(duì)比Fig.4 Comparison of segmentation results of different algorithms

        2.3.2 與其他先進(jìn)方法比較

        為進(jìn)一步驗(yàn)證算法的有效性,將本文算法與近幾年發(fā)布的先進(jìn)皮膚病變分割網(wǎng)絡(luò)分別在ISIC-2017和PH2數(shù)據(jù)集上進(jìn)行對(duì)比,對(duì)比算法的評(píng)價(jià)指標(biāo)均來自各算法的原文獻(xiàn)。對(duì)比結(jié)果如表2 所示,結(jié)果表明,在ISIC-2017數(shù)據(jù)集上,本文算法的JA、Acc和Se參數(shù)分別高于目前最先進(jìn)的Ashraf 等人[13]提出的融合前后處理的病變分割算法2.1、8.4和5.6個(gè)百分點(diǎn),而由于Ashraf等人算法犧牲Acc精度來提升Dice系數(shù),故本文算法的Dice系數(shù)略低于此算法,但在可接受范圍內(nèi)。且本文算法的JA參數(shù)和Acc在所對(duì)比的近幾年先進(jìn)算法中效果最佳,分別達(dá)到0.826 和0.952,屬于目前最優(yōu)水平。同時(shí),在PH2 數(shù)據(jù)集上對(duì)比也有相同表現(xiàn),本文算法的JA、Dice系數(shù)和Acc 指標(biāo)均高于近幾年先進(jìn)算法,分別達(dá)到了0.892、0.942和0.965,為目前最優(yōu)水平,表明該算法有一定的泛化能力。

        表2 在ISIC-2017和PH2數(shù)據(jù)集上與先進(jìn)算法比較結(jié)果Table 2 Comparison results with basic networks and advanced algorithms on ISIC-2017and PH2 datasets

        同時(shí),為可視化所提算法與其他先進(jìn)算法的對(duì)比結(jié)果,在ISIC-2017數(shù)據(jù)集上,選擇所對(duì)比方法中最近兩年的先進(jìn)算法(Tong等人[11]和Ashraf等人[13]),將其與本文算法的分割結(jié)果圖進(jìn)行對(duì)比。結(jié)果圖分別如圖5 和圖6,其中(a)為輸入圖像,(b)為真實(shí)標(biāo)簽,(c)為所對(duì)比算法的分割結(jié)果圖,此結(jié)果圖均來自各算法的原文獻(xiàn),(d)列為本文算法結(jié)果圖??v觀對(duì)比結(jié)果圖可以看出,在準(zhǔn)確分割病變情況下,本文算法對(duì)病變的邊緣輪廓分割更精確;對(duì)于分割有誤的病例(如圖6第1個(gè)病例),相比其他算法也呈現(xiàn)出較好的分割效果,充分體現(xiàn)了本文算法的先進(jìn)性。

        圖5 與文獻(xiàn)[11]所提算法分割結(jié)果圖對(duì)比Fig.5 Comparison of segmentation results with reference[11]

        圖6 與文獻(xiàn)[13]所提算法分割結(jié)果圖對(duì)比Fig.6 Comparison of segmentation results with reference[13]

        綜合表1、表2和圖4~圖6可以發(fā)現(xiàn),本文算法在皮膚病變分割領(lǐng)域的整體性能優(yōu)于其他先進(jìn)算法,尤其是JA和Acc指標(biāo)在兩個(gè)數(shù)據(jù)集上提升均最為明顯,表明該算法對(duì)皮膚病變分割的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果更接近,邊緣分割更精確,在目前皮膚病變領(lǐng)域綜合分割性能具有相對(duì)優(yōu)勢(shì)。

        2.4 分解實(shí)驗(yàn)及分析

        2.4.1 CAM可視化實(shí)驗(yàn)

        為更直觀反映所提CAM 對(duì)分割網(wǎng)絡(luò)的有效性,選取部分原圖像的CAM可視化結(jié)果與分割金標(biāo)準(zhǔn)進(jìn)行對(duì)比,結(jié)果如圖7所示,為方便對(duì)比,將圖像分辨率做微小調(diào)整。

        圖7 CAM可視化對(duì)比結(jié)果圖Fig.7 CAM visualization comparison results

        從對(duì)比結(jié)果圖可知,針對(duì)較小(第一列)、較大(第二列)、病變與膚色接近(第三列)和有干擾(第四列)的不同病變情況,與二值標(biāo)簽相比,所提模塊均可生成較準(zhǔn)確的病變激活映射圖,在網(wǎng)絡(luò)訓(xùn)練過程中可限制弱關(guān)注區(qū)域,為網(wǎng)絡(luò)尋找全局最優(yōu)解提供先驗(yàn)指導(dǎo),獲得病變的準(zhǔn)確位置信息,因此算法融合CAM有益于分割精度提升。

        2.4.2 視野權(quán)重計(jì)算方法對(duì)比

        為驗(yàn)證所提視野注意力機(jī)制模塊中,同時(shí)使用全局平均池化(GAP)和全局最大池化(GMP)計(jì)算特征權(quán)重的有效性,在ISIC-2017數(shù)據(jù)集上作了3組對(duì)比實(shí)驗(yàn),即僅用GAP、僅用GMP 和兩者兼用對(duì)不同視野特征立體塊進(jìn)行特征權(quán)重計(jì)算,并選擇JA和Acc作為評(píng)價(jià)指標(biāo),實(shí)驗(yàn)結(jié)果如表3所示。

        表3 不同方法計(jì)算視野權(quán)重因子對(duì)比Table 3 Comparison of visual field weighting factors calculated by different methods

        從表3 中結(jié)果可知,同時(shí)使用GAP 和GMP 計(jì)算視野塊特征權(quán)重時(shí),JA 參數(shù)和Acc 最高,病變分割效果最佳,故本文算法在視野注意力機(jī)制中同時(shí)使用GAP 和GMP計(jì)算特征權(quán)重最有效。

        2.4.3 消融實(shí)驗(yàn)及分析

        此部分將原DeepLab V3+網(wǎng)絡(luò)應(yīng)用改進(jìn)Xception網(wǎng)絡(luò)并增加兩條編碼解碼器間跳躍連接,損失函數(shù)僅采用Dice損失,作為基準(zhǔn)網(wǎng)絡(luò)(模型1),在ISIC-2017數(shù)據(jù)集上做了5組消融實(shí)驗(yàn)。其中模型2是在模型1的基礎(chǔ)上增加CAM模塊,模型3在模型1的基礎(chǔ)上增加F-ASPP模塊,模型4在模型1基礎(chǔ)上增加排序損失,模型2、3和4分別為了驗(yàn)證本文提出的類激活映射作先驗(yàn)信息、視野注意力機(jī)制和混合損失函數(shù)對(duì)模型分割性能提升的有效性及每個(gè)模塊對(duì)最終結(jié)果的具體影響,模型5為本文最終使用的模型。消融實(shí)驗(yàn)結(jié)果如表4所示。

        表4 ISIC-2017數(shù)據(jù)集上消融實(shí)驗(yàn)結(jié)果Table 4 Ablation experimental results on ISIC-2017 dataset

        對(duì)比結(jié)果表明,相比基準(zhǔn)網(wǎng)絡(luò)模型1,模型2 的Acc提高了0.011,JA參數(shù)也有所提高,表明該模型的整體像素分割性能提升,結(jié)合2.4.1小節(jié)對(duì)比結(jié)果,進(jìn)一步證明使用CAM作網(wǎng)絡(luò)先驗(yàn)信息可為網(wǎng)絡(luò)提供準(zhǔn)確的定位信息并消除病變圖像的部分干擾;模型3 比基準(zhǔn)模型1 的JA 參數(shù)提高了0.023,表明模型對(duì)病變分割的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果更貼合,重合度更高,結(jié)合圖4 中對(duì)較小或較大的病變分割結(jié)果對(duì)比圖,進(jìn)一步證明了融合F-ASPP模塊后的模型可自適應(yīng)地調(diào)整不同視野提取的特征圖,增加網(wǎng)絡(luò)對(duì)不同病變大小的感知度和敏感性;而模型4相比基準(zhǔn)各參數(shù)均有小幅提升,證明了所提損失函數(shù)更關(guān)注硬像素的誤差。在集成這幾個(gè)模塊的最終模型5中,JA參數(shù)和準(zhǔn)確率最高,其JA參數(shù)比基準(zhǔn)網(wǎng)絡(luò)提高了4.0個(gè)百分點(diǎn),準(zhǔn)確率比基準(zhǔn)網(wǎng)絡(luò)提高2.1個(gè)百分點(diǎn),表明所提模型在不同模塊作用下病變分割預(yù)測(cè)結(jié)果與標(biāo)準(zhǔn)更相似,綜合分割性能更好,進(jìn)一步證明本文所提的模塊針對(duì)皮膚病分割均是有效的。

        2.5 損失函數(shù)超參數(shù)設(shè)置

        所提損失函數(shù)中有兩個(gè)重要的超參數(shù),分別為選定硬像素個(gè)數(shù)k和Lrank損失的權(quán)重因子λ,為研究這兩參數(shù)對(duì)分割結(jié)果的影響,本文將k分別設(shè)置為10、30、40、50 和100,λ分別設(shè)置為0.05、0.1、0.2 和0.3 做了大量實(shí)驗(yàn),并以JA參數(shù)作為評(píng)價(jià)指標(biāo),結(jié)果如圖8所示,實(shí)驗(yàn)結(jié)果表明,當(dāng)λ=0.1,k=40 時(shí),JA參數(shù)比其他各組實(shí)驗(yàn)都高,達(dá)到0.826,分割效果最好,故本設(shè)計(jì)中損失函數(shù)的超參數(shù)選取該組值。

        圖8 損失函數(shù)超參數(shù)設(shè)置結(jié)果圖Fig.8 Loss function superparameter setting result diagram

        3 結(jié)束語

        本文針對(duì)復(fù)雜多變、形態(tài)不一的皮膚病變,提出一種基于DeepLab V3+網(wǎng)絡(luò)改進(jìn)的皮膚病變分割模型。該改進(jìn)模型首先生成類激活映射圖,作為先驗(yàn)信息融合到網(wǎng)絡(luò)編碼階段,為網(wǎng)絡(luò)提供準(zhǔn)確的定位信息并消除毛發(fā)等干擾對(duì)分割造成的影響;結(jié)合高效通道注意力(ECA)模塊對(duì)ASPP 模塊進(jìn)行改進(jìn),提出一種融合視野注意力的空洞空間金字塔模塊(F-ASPP),自適應(yīng)地調(diào)整各視野間的特征響應(yīng)值,實(shí)現(xiàn)局部跨視野交互;最后在損失函數(shù)中增加排序損失,優(yōu)化分割網(wǎng)絡(luò)。通過在ISIC-2017 和PH2 數(shù)據(jù)集上的實(shí)驗(yàn)表明,本文所提網(wǎng)絡(luò)對(duì)不同尺度病變和病變邊緣的分割敏感度更高,綜合分割性能最優(yōu),為臨床上快速準(zhǔn)確診斷皮膚病變和后續(xù)治療提供了有力依據(jù)。

        在未來的工作中,除了考慮如何將所提模型的分割結(jié)果合理應(yīng)用于皮膚病變自動(dòng)分類中,提高分類準(zhǔn)確度,同時(shí)應(yīng)適當(dāng)對(duì)網(wǎng)絡(luò)進(jìn)行剪枝,選擇合適的嵌入式設(shè)備與皮膚鏡設(shè)備連接,制作可在臨床實(shí)際中應(yīng)用的皮膚病變自動(dòng)分割儀器,提高醫(yī)生診斷病變和后續(xù)治療的效率。

        猜你喜歡
        視野像素皮膚
        趙運(yùn)哲作品
        藝術(shù)家(2023年8期)2023-11-02 02:05:28
        第二層皮膚
        像素前線之“幻影”2000
        皮膚“出油”或許就能減肥
        高頻超聲在皮膚惡性腫瘤中的應(yīng)用
        居· 視野
        中華民居(2020年3期)2020-07-24 01:48:04
        “像素”仙人掌
        我愛洗澡,皮膚好好
        高像素不是全部
        CHIP新電腦(2016年3期)2016-03-10 14:22:03
        視野
        科學(xué)家(2015年2期)2015-04-09 02:46:46
        日韩人妻免费一区二区三区| 精品人妻人人做人人爽夜夜爽| 最新69国产成人精品视频免费| 激情五月婷婷一区二区| 麻豆tv入口在线看| 亚洲最大中文字幕无码网站| 国产精品久久久久亚洲| 男女啪啪啪的高清视频| 中文字幕在线观看| 国产精品视频二区不卡| 欧美日韩激情在线一区二区| 精品国产日韩亚洲一区在线| 日本一卡二卡3卡四卡免费观影2022| 全部孕妇毛片| 国产一区二区三区韩国| 99久久婷婷国产精品综合网站| 色综合久久无码五十路人妻| 国产精品成人99一区无码| 国产丝袜精品丝袜一区二区| 国产亚洲中文字幕一区| 国产a国产片国产| 中文无码成人免费视频在线观看| 国产精品一级av一区二区| 国产亚洲av成人噜噜噜他| 狠狠色狠狠色综合| 四虎成人免费| 日韩一区二区三区天堂| 久久精品国产成人午夜福利| 国产精品_国产精品_k频道 | 日本欧美小视频| 国产一区二区三区乱码在线| 亚洲av成人精品一区二区三区 | 在线观看 国产一区二区三区| 亚洲精品无人区| 国产精品久久久久久2021| 亚洲一区二区av免费观看| 欧美成人午夜免费影院手机在线看 | 亚洲av色图一区二区三区| 大肉大捧一进一出视频| 久久久久欧洲AV成人无码国产| 9l国产自产一区二区三区|