張 宇，梁鳳梅，劉建霞

太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 晉中 030600

皮膚癌是常見癌癥之一。擁有高轉(zhuǎn)移率的黑色素瘤作為最致命的皮膚癌，發(fā)病率也最高，罹患該病的患者早期診斷治愈后存活率超95%，但晚期發(fā)現(xiàn)后5年存活率低于15%[1]。因此，皮膚病變的早期快速診斷與及時(shí)治療對(duì)患者和醫(yī)學(xué)研究都是至關(guān)重要的。

皮膚鏡檢查被廣泛用于皮膚病變的無創(chuàng)早期診斷。然而，僅根據(jù)皮膚科醫(yī)生經(jīng)驗(yàn)對(duì)黑色素瘤進(jìn)行檢測(cè)，主觀性相對(duì)較強(qiáng)且檢測(cè)過程耗時(shí)。近年來，隨著計(jì)算機(jī)視覺的發(fā)展，醫(yī)學(xué)圖像分割已成為計(jì)算機(jī)輔助診斷的重要組成部分，它可以幫助醫(yī)生快速準(zhǔn)確地診斷皮膚鏡圖像，提供醫(yī)學(xué)圖像的專業(yè)解釋[2]。但是，由于圖像對(duì)比度低、病變大小不一、顏色多變等因素的存在，導(dǎo)致病變邊界模糊，分割精度較低；此外，氣泡、頭發(fā)、標(biāo)尺標(biāo)記、血管和照明等不同程度的干擾對(duì)分割皮膚病變圖像造成了較大的困難。

皮膚病變圖像的計(jì)算機(jī)輔助分割方法分為無監(jiān)督法和有監(jiān)督法兩大類，傳統(tǒng)無監(jiān)督的分割方法主要有聚類、閾值分割[3]、區(qū)域生長法[4]和活動(dòng)輪廓模型[5]等，但其獲得的病變分割結(jié)果精度有待提高。近年來，有監(jiān)督的深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）方法已廣泛應(yīng)用于各個(gè)領(lǐng)域，尤其在醫(yī)學(xué)圖像分割領(lǐng)域。端到端的編碼解碼結(jié)構(gòu)是醫(yī)學(xué)圖像分割中最常見的，基于CNN 的皮膚病變分割方法被廣泛提出。Bi等人[6]提出了一種分級(jí)分割方法，利用淺層全卷積網(wǎng)絡(luò)學(xué)習(xí)位置信息，通過深層網(wǎng)絡(luò)學(xué)習(xí)病變邊界等細(xì)節(jié)信息。Chen 等人[7]提出了基于DCNN 的圖像分割方法DeepLab，后又在其基礎(chǔ)上提出了DeepLabV2、Deep-LabV3 和DeepLab V3+[8]網(wǎng)絡(luò)，其中DeepLab V3+模型主要由提取多尺度信息的空洞空間金字塔池化（atrous spatial pyramid pooling，ASPP）模塊[9]和細(xì)化分割結(jié)果的解碼器結(jié)構(gòu)組成，該模型在圖像語義分割中表現(xiàn)出較好的效果。Abraham 等人[10]提出一種基于Tversky 指數(shù)的新?lián)p失函數(shù)，結(jié)合U-Net 提高了皮膚病變分割精度，證明了損失函數(shù)的重要性。此外，基于注意力的網(wǎng)絡(luò)已廣泛用于計(jì)算機(jī)視覺中的不同任務(wù)，Tong等人[11]結(jié)合三重注意力機(jī)制，提出一種皮膚病變分割的U-Net擴(kuò)展網(wǎng)絡(luò)，證明了注意力可改善網(wǎng)絡(luò)的語義分割結(jié)果。王雪等人[12]將多尺度特征模塊融入U(xiǎn)-Net 中，捕獲病變中多尺度信息。Ashraf 等人[13]通過將三種深度學(xué)習(xí)模型相結(jié)合，對(duì)皮膚鏡圖像進(jìn)行復(fù)雜的前后處理，同時(shí)結(jié)合測(cè)試時(shí)增強(qiáng)和條件隨機(jī)場(chǎng)模塊提高了病變分割精度。盡管現(xiàn)有的深度學(xué)習(xí)方法在皮膚病變分割方面表現(xiàn)出一定的性能，但臨床中要實(shí)現(xiàn)皮膚病變自動(dòng)分割診斷，仍需高精度的病變邊緣分割作為支撐，也就是說，皮膚病變精確分割仍是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。

損失函數(shù)是深度學(xué)習(xí)模型中的重要組成部分，而在醫(yī)學(xué)圖像分割任務(wù)中最常采用交叉熵?fù)p失[14]或Dice 損失函數(shù)[15]，合理選擇或改進(jìn)損失函數(shù)可有效優(yōu)化網(wǎng)絡(luò)模型。在圖像分割任務(wù)中，將對(duì)分割結(jié)果優(yōu)化貢獻(xiàn)大的像素點(diǎn)（如邊界像素）稱為硬像素，其在訓(xùn)練過程中可產(chǎn)生較大誤差。與之對(duì)應(yīng)的容易被識(shí)別的像素點(diǎn)（如內(nèi)部病變和背景像素）稱為易像素[16-17]，其在訓(xùn)練中產(chǎn)生誤差較小。而在皮膚病變圖像中硬像素和易像素之間存在嚴(yán)重的不平衡，使網(wǎng)絡(luò)無法精確監(jiān)督病變邊界像素，導(dǎo)致分割結(jié)果邊界模糊。

針對(duì)以上難點(diǎn)，本文對(duì)DeepLab V3+模型做部分改進(jìn)以提高分割精度和邊緣檢測(cè)精度：（1）生成病變圖像類激活映射圖，輸入到網(wǎng)絡(luò)作先驗(yàn)信息；（2）利用視野注意力機(jī)制實(shí)現(xiàn)局部跨視野交互，提高網(wǎng)絡(luò)對(duì)多視野中有益視野信息的關(guān)注；（3）調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，優(yōu)化分割模型；（4）改進(jìn)損失函數(shù)，提高對(duì)硬像素誤差的關(guān)注。

1 算法原理與網(wǎng)絡(luò)結(jié)構(gòu)

1.1 類激活映射

深度學(xué)習(xí)模型在不斷更新參數(shù)尋找最優(yōu)解的過程中，訓(xùn)練會(huì)陷入低學(xué)習(xí)率區(qū)而導(dǎo)致耗時(shí)。皮膚病變區(qū)域通常只占皮膚鏡圖像的一小部分，圖像中大部分是正常皮膚組織，且多帶干擾因素，如頭發(fā)、標(biāo)尺、血液、血管和氣泡等。為解決以上問題，本文將皮膚病變圖像的類激活映射[18]（classification activation mapping，CAM）作為先驗(yàn)信息，融合到網(wǎng)絡(luò)編碼器中。

類激活映射是一種可視化卷積神經(jīng)網(wǎng)絡(luò)工具，本文將關(guān)注的地方用暖色調(diào)顯示，弱關(guān)注的地方用冷色調(diào)顯示。改進(jìn)Xception[19]網(wǎng)絡(luò)來生成類激活映射圖，將其預(yù)先在ImageNet 數(shù)據(jù)集上訓(xùn)練完成，且不參與整個(gè)模型的訓(xùn)練過程。為避免在生成CAM過程中丟失小病變信息和病變細(xì)節(jié)信息，去除Xception網(wǎng)絡(luò)模型的最后一層池化層，如圖1 所示，在其后接全局平均池化層（global average pooling，GAP），GAP 首先把網(wǎng)絡(luò)生成的特征圖轉(zhuǎn)化為特征向量，不同的特征映射圖分別生成不同的特征向量值W1，W2，W3，…，Wn（如圖1），然后用這些特征向量值對(duì)相應(yīng)的特征映射圖進(jìn)行加權(quán)，最后用熱力圖將加權(quán)后的特征映射按通道歸一化生成類激活映射圖。

圖1 CAM結(jié)構(gòu)圖Fig.1 CAM structure

本文使用的DeepLab V3+模型中特征提取模塊也為Xception網(wǎng)絡(luò)，故生成的類激活映射與改進(jìn)后的空間金字塔生成的特征映射分辨率相同，因此可直接融合到網(wǎng)絡(luò)中作為先驗(yàn)信息。

1.2 視野注意力機(jī)制

視野（感受野）在深度學(xué)習(xí)網(wǎng)絡(luò)中扮演重要角色，它反映輸出特征圖在輸入圖像中映射的具體區(qū)域大小。小視野特征圖像包含局部信息，大視野特征圖則包含全局上下文信息，但同時(shí)也包含一些無用信息。本文對(duì)ASPP 模塊進(jìn)行改進(jìn)，原結(jié)構(gòu)將不同感受野處理后的特征圖直接拼接，忽略了它們之間的內(nèi)部相關(guān)性，無法自適應(yīng)地調(diào)整各視野間的特征響應(yīng)值，導(dǎo)致網(wǎng)絡(luò)無法精確提取病變輪廓，使得邊緣分割不準(zhǔn)等問題產(chǎn)生。為解決以上問題，本文對(duì)高效通道注意力（efficient channel attention，ECA）模塊[20]進(jìn)行改進(jìn)并應(yīng)用于ASPP模塊上，設(shè)計(jì)出一種融合視野注意力的空洞空間金字塔池化模塊（receptive field attention ASPP，F(xiàn)-ASPP），具體結(jié)構(gòu)如圖2所示。

圖2 F-ASPP模塊結(jié)構(gòu)圖Fig.2 Structure diagram of F-ASPP module

實(shí)際中ECA模塊只采用全局平均池化來捕獲不同通道間關(guān)系，其主要強(qiáng)調(diào)整體背景信息，而全局最大池化（global max pooling，GMP）可反映細(xì)節(jié)特征紋理，在特征提取中同樣重要，故本文在進(jìn)行視野注意力權(quán)重計(jì)算時(shí)，將5 個(gè)不同視野生成的特征立方體塊Fn∈RH×W×C同時(shí)進(jìn)行全局平均池化和最大池化，計(jì)算過程如式（1）和（2）：

其中，H、W、C分別代表不同視野特征塊的長、寬和通道，F(xiàn)n(i,j,k)代表視野塊中的特定位置的像素值。

然后將不同視野塊生成的最大池化和平均池化特征圖分別拼接為Fmp∈R1×1×5和Fap∈R1×1×5（見圖2），并通過共享權(quán)值1D 卷積層轉(zhuǎn)化為特征向量，計(jì)算過程如式（3），這樣通過極少的參數(shù)，可獲得不同視野下特征圖之間的相關(guān)性；在網(wǎng)絡(luò)模型有監(jiān)督訓(xùn)練的過程中會(huì)不斷更新1D卷積層的參數(shù)，直至達(dá)到最優(yōu)解，進(jìn)而自適應(yīng)的調(diào)整不同視野特征圖所占權(quán)重。再將處理后的Fmp和Fap按視野求和并用Sigmoid函數(shù)激活生成最終的權(quán)重值，最后將其與對(duì)應(yīng)視野塊中的每個(gè)通道進(jìn)行加權(quán)，生成帶視野注意力的特征圖，實(shí)現(xiàn)局部跨視野交互，增加網(wǎng)絡(luò)對(duì)不同病變大小的感知度和對(duì)不同區(qū)域病變邊界的敏感性。

式中，Conv1D(·)為一維卷積層，其卷積核大小為3，σ(·)為激活函數(shù)。

同時(shí)，為減小模型參數(shù)量，將原ASPP模塊中的3×3空洞卷積換為3×1 和1×3 的級(jí)聯(lián)對(duì)稱空洞卷積，如圖2中左半部分所示，相比原結(jié)構(gòu)此部分減少了33%的計(jì)算量。

1.3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

圖3 為本文網(wǎng)絡(luò)結(jié)構(gòu)的整體框架圖，以DeepLab V3+為主網(wǎng)絡(luò)，主網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)選擇改進(jìn)Xception網(wǎng)絡(luò)，其生成的特征圖的分辨率與CAM分辨率大小相同，同時(shí)將其末尾的兩個(gè)深度可分離卷積替換為可分離的空洞卷積，這樣可補(bǔ)償去除下采樣層帶來的感受野減少的問題。再將CAM圖與F-ASPP提取后的特征圖連接，然后采用1×1 卷積層、批量歸一化層和ReLU 激活函數(shù)（圖3融合層）進(jìn)行信息融合，即融合先驗(yàn)信息與深層特征信息。最后將融合后的特征圖提供給網(wǎng)絡(luò)的解碼器，以實(shí)現(xiàn)更準(zhǔn)確的病變分割。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)整體框架圖Fig.3 Overall framework diagram of network structure

相對(duì)低分辨率表征來說，高分辨率表征包含更精細(xì)的空間信息，為充分保留高分辨率表征所特有的特征細(xì)節(jié)，本設(shè)計(jì)增加了兩個(gè)解碼器與編碼器之間的跨層融合，分別加在1/2 下采樣和1/8 下采樣之后，見圖3 中點(diǎn)畫線。最后通過二倍上采樣恢復(fù)原始圖像分辨率和空間細(xì)節(jié)信息完成解碼過程，輸出最終分割結(jié)果，以上進(jìn)行的拼接操作中的特征圖分辨率均相同。

1.4 混合損失函數(shù)

在網(wǎng)絡(luò)訓(xùn)練中，由于皮膚病變圖像中硬像素和易像素之間存在嚴(yán)重的不平衡，若僅使用Dice損失函數(shù)雖然對(duì)類不平衡數(shù)據(jù)有很強(qiáng)的兼容性，但它對(duì)硬像素和易像素的關(guān)注度相同，無法精確監(jiān)督病變邊界像素，最終會(huì)導(dǎo)致分割結(jié)果邊界模糊，為進(jìn)一步優(yōu)化網(wǎng)絡(luò)，本文采用改進(jìn)后的混合損失函數(shù)，具體如式（4）：

其中，N表示像素?cái)?shù)，pi表示第i個(gè)像素屬于病變的預(yù)測(cè)概率，yi表示第i個(gè)像素的真實(shí)標(biāo)簽，ε表示平滑因子；Lrank為排序損失函數(shù)，λ為Lrank損失函數(shù)的權(quán)重值。

由于硬像素在訓(xùn)練過程中易產(chǎn)生較大的誤差，合理處理后可為監(jiān)督學(xué)習(xí)過程提供更多信息，而易像素在訓(xùn)練過程中產(chǎn)生誤差較小，故在損失函數(shù)中融合排序損失來對(duì)硬像素和易像素增加額外的罰分約束。排序損失根據(jù)每批前向傳播后的誤差，分別對(duì)病變（正例）和背景（反例）的像素進(jìn)行排序，根據(jù)排序動(dòng)態(tài)選擇病變和背景中誤差最大的前k個(gè)像素作為本區(qū)域硬像素，考慮每一對(duì)病變和背景像素點(diǎn)，如果病變像素的預(yù)測(cè)值小于背景，則記一個(gè)“罰分”，若相等，則記0.5個(gè)“罰分”，計(jì)算過程如式（6）。這樣可制約硬像素帶來的更多誤差，進(jìn)而精確監(jiān)督病變邊界，提升網(wǎng)絡(luò)性能。

其中，Ⅱ(*)為指示函數(shù)，在是否符合*中條件時(shí)分別等于1和0，f(H+i)和f(Hj)是輸入圖像的第i個(gè)病變硬像素和第j個(gè)背景硬像素的預(yù)測(cè)值。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集和預(yù)處理

本文主要使用2017 年國際皮膚成像合作組織（ISIC-2017）制作的皮膚病變分割挑戰(zhàn)數(shù)據(jù)集[21]，它分別包含2 000 組訓(xùn)練、150 組驗(yàn)證和600 組測(cè)試集圖像，每組數(shù)據(jù)都包含原圖像、專家手動(dòng)標(biāo)注分割金標(biāo)準(zhǔn)（二值圖像）等，且數(shù)據(jù)集中的圖像均為分辨率在450×600 像素以上不等的RGB彩色圖像。

為提高模型訓(xùn)練性能和降低計(jì)算成本，需對(duì)訓(xùn)練集中原圖片擴(kuò)充和縮放，故在訓(xùn)練前對(duì)圖像作如下增強(qiáng)操作：從每張訓(xùn)練圖像的中心以原始圖像大小的50%到100%的比例隨機(jī)裁剪，并在垂直和水平方向上隨機(jī)旋轉(zhuǎn)，在圖像分辨率的[0.01，0.1]范圍內(nèi)進(jìn)行仿射平移，從0°到10°內(nèi)隨機(jī)旋轉(zhuǎn)等，最后將增強(qiáng)后的圖像調(diào)整為224×224進(jìn)行訓(xùn)練，且將原圖像對(duì)應(yīng)的二值標(biāo)簽作相同操作，這樣將訓(xùn)練集擴(kuò)充到40 000組圖像。

同時(shí)，選擇由IEEE EMBS 國際年會(huì)組織提供的PH2[22]數(shù)據(jù)集來驗(yàn)證本文所提算法的泛化性，其包含200組皮膚鏡圖像，且每組圖像均包含原圖像和經(jīng)專家標(biāo)注的診斷金標(biāo)準(zhǔn)（二值圖像）等。此數(shù)據(jù)集僅用于測(cè)試，不參與模型的訓(xùn)練過程。

2.1.2 性能評(píng)價(jià)指標(biāo)

本文使用Jaccard 指數(shù)（JA）和準(zhǔn)確率（Acc）作為模型優(yōu)劣的評(píng)價(jià)指標(biāo)，JA指數(shù)表示預(yù)測(cè)結(jié)果與真實(shí)結(jié)果的相似性與差異性，JA 值越大，相似性越高，說明預(yù)測(cè)結(jié)果在細(xì)節(jié)（邊緣）等方面與真實(shí)結(jié)果更相近；Acc表示模型判斷病變與非病變區(qū)域的能力。同時(shí)采用Dice系數(shù)、靈敏度Se和特異性Sp作為補(bǔ)充評(píng)價(jià)指標(biāo)，其定義如下：

上式均依據(jù)混淆矩陣計(jì)算得到，其中TP為真陽性，TP為假陽性，F(xiàn)N為假陰性，TN為真陰性。

2.2 實(shí)驗(yàn)參數(shù)配置

本實(shí)驗(yàn)所用設(shè)備CPU型號(hào)為AMD Ryzen74800H，顯卡為NVIDIA GTX1660Ti，運(yùn)行內(nèi)存為16 GB，深度學(xué)習(xí)框架為pytorch-1.7.1。

訓(xùn)練細(xì)節(jié)：改進(jìn)Xception網(wǎng)絡(luò)預(yù)先在ImageNet數(shù)據(jù)集[23]上訓(xùn)練好參數(shù)，而主網(wǎng)絡(luò)中的Xception在MSCOCO[24]上進(jìn)行預(yù)訓(xùn)練，其余需要訓(xùn)練的卷積核均采用HE 初始化法初始化參數(shù)。訓(xùn)練階段優(yōu)化算法為Adam，一次訓(xùn)練所選取的樣本數(shù)為8，epoch 為150，初始學(xué)習(xí)率設(shè)置為0.001，在連續(xù)5次迭代后損失函數(shù)都沒有變化則學(xué)習(xí)率衰減為原來的一半。改進(jìn)后的損失函數(shù)的超參數(shù)設(shè)置為λ=0.1，k=40。

2.3 對(duì)比實(shí)驗(yàn)結(jié)果及分析

2.3.1 與基礎(chǔ)網(wǎng)絡(luò)比較

為檢驗(yàn)本文算法的有效性，將該算法與U-Net、SegNet 和DeepLab V3+這三種基于語義分割的基礎(chǔ)網(wǎng)絡(luò)在ISIC-2017和PH2數(shù)據(jù)集上分別進(jìn)行對(duì)比實(shí)驗(yàn)。此三種算法均采用端到端的編碼解碼器結(jié)構(gòu)，屬于具有代表性的基礎(chǔ)分割網(wǎng)絡(luò)。對(duì)比結(jié)果如表1所示，表中最后一行為本文算法分別在兩個(gè)不同數(shù)據(jù)集上各指標(biāo)的表現(xiàn)結(jié)果，與其他三種基礎(chǔ)網(wǎng)絡(luò)相比，本文算法在兩個(gè)數(shù)據(jù)集上各指標(biāo)均遠(yuǎn)高于基礎(chǔ)網(wǎng)絡(luò)，表明此算法成功提高了皮膚病變分割精度，綜合分割性能較基礎(chǔ)網(wǎng)絡(luò)更優(yōu)，且有較好的泛化性。

表1 在不同數(shù)據(jù)集上與基礎(chǔ)網(wǎng)絡(luò)比較結(jié)果Table 1 Compare results with basic network on different datasets

為更直觀反映本文算法的有效性，選擇基礎(chǔ)網(wǎng)絡(luò)（U-Net、SegNet 和DeepLab V3+）和本文算法在ISIC-2017數(shù)據(jù)集上的部分典型分割結(jié)果圖進(jìn)行比較，結(jié)果如圖4所示，白色為病變區(qū)域，黑色為背景。其中（a）為輸入圖像，（b）為真實(shí)標(biāo)簽，（c）～（e）分別為各算法的結(jié)果圖，（f）為本文算法的結(jié)果圖，圖中紅色矩形框所標(biāo)注部分為較其他算法分割效果顯著提高的部分（下同）?？v觀圖4 可知，與其他算法相比，本文算法對(duì)較小病變或特大病變的分割敏感性更強(qiáng)，對(duì)邊緣輪廓感知更準(zhǔn)確（如病例1和病例2）；針對(duì)病變與膚色接近（病例3）和有干擾因素的病變（病例4），本文算法可確保病變區(qū)域分割準(zhǔn)確；針對(duì)邊緣模糊雜亂無章的病變情況（病例5），本文算法比其他算法分割結(jié)果更精確。通過對(duì)比，進(jìn)一步證明本文算法在皮膚病變分割領(lǐng)域的優(yōu)越性。

圖4 不同算法分割結(jié)果圖對(duì)比Fig.4 Comparison of segmentation results of different algorithms

2.3.2 與其他先進(jìn)方法比較

為進(jìn)一步驗(yàn)證算法的有效性，將本文算法與近幾年發(fā)布的先進(jìn)皮膚病變分割網(wǎng)絡(luò)分別在ISIC-2017和PH2數(shù)據(jù)集上進(jìn)行對(duì)比，對(duì)比算法的評(píng)價(jià)指標(biāo)均來自各算法的原文獻(xiàn)。對(duì)比結(jié)果如表2 所示，結(jié)果表明，在ISIC-2017數(shù)據(jù)集上，本文算法的JA、Acc和Se參數(shù)分別高于目前最先進(jìn)的Ashraf 等人[13]提出的融合前后處理的病變分割算法2.1、8.4和5.6個(gè)百分點(diǎn)，而由于Ashraf等人算法犧牲Acc精度來提升Dice系數(shù)，故本文算法的Dice系數(shù)略低于此算法，但在可接受范圍內(nèi)。且本文算法的JA參數(shù)和Acc在所對(duì)比的近幾年先進(jìn)算法中效果最佳，分別達(dá)到0.826 和0.952，屬于目前最優(yōu)水平。同時(shí)，在PH2 數(shù)據(jù)集上對(duì)比也有相同表現(xiàn)，本文算法的JA、Dice系數(shù)和Acc 指標(biāo)均高于近幾年先進(jìn)算法，分別達(dá)到了0.892、0.942和0.965，為目前最優(yōu)水平，表明該算法有一定的泛化能力。

表2 在ISIC-2017和PH2數(shù)據(jù)集上與先進(jìn)算法比較結(jié)果Table 2 Comparison results with basic networks and advanced algorithms on ISIC-2017and PH2 datasets

同時(shí)，為可視化所提算法與其他先進(jìn)算法的對(duì)比結(jié)果，在ISIC-2017數(shù)據(jù)集上，選擇所對(duì)比方法中最近兩年的先進(jìn)算法（Tong等人[11]和Ashraf等人[13]），將其與本文算法的分割結(jié)果圖進(jìn)行對(duì)比。結(jié)果圖分別如圖5 和圖6，其中（a）為輸入圖像，（b）為真實(shí)標(biāo)簽，（c）為所對(duì)比算法的分割結(jié)果圖，此結(jié)果圖均來自各算法的原文獻(xiàn)，（d）列為本文算法結(jié)果圖?？v觀對(duì)比結(jié)果圖可以看出，在準(zhǔn)確分割病變情況下，本文算法對(duì)病變的邊緣輪廓分割更精確；對(duì)于分割有誤的病例（如圖6第1個(gè)病例），相比其他算法也呈現(xiàn)出較好的分割效果，充分體現(xiàn)了本文算法的先進(jìn)性。

圖5 與文獻(xiàn)[11]所提算法分割結(jié)果圖對(duì)比Fig.5 Comparison of segmentation results with reference[11]

圖6 與文獻(xiàn)[13]所提算法分割結(jié)果圖對(duì)比Fig.6 Comparison of segmentation results with reference[13]

綜合表1、表2和圖4～圖6可以發(fā)現(xiàn)，本文算法在皮膚病變分割領(lǐng)域的整體性能優(yōu)于其他先進(jìn)算法，尤其是JA和Acc指標(biāo)在兩個(gè)數(shù)據(jù)集上提升均最為明顯，表明該算法對(duì)皮膚病變分割的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果更接近，邊緣分割更精確，在目前皮膚病變領(lǐng)域綜合分割性能具有相對(duì)優(yōu)勢(shì)。

2.4 分解實(shí)驗(yàn)及分析

2.4.1 CAM可視化實(shí)驗(yàn)

為更直觀反映所提CAM 對(duì)分割網(wǎng)絡(luò)的有效性，選取部分原圖像的CAM可視化結(jié)果與分割金標(biāo)準(zhǔn)進(jìn)行對(duì)比，結(jié)果如圖7所示，為方便對(duì)比，將圖像分辨率做微小調(diào)整。

圖7 CAM可視化對(duì)比結(jié)果圖Fig.7 CAM visualization comparison results

從對(duì)比結(jié)果圖可知，針對(duì)較小（第一列）、較大（第二列）、病變與膚色接近（第三列）和有干擾（第四列）的不同病變情況，與二值標(biāo)簽相比，所提模塊均可生成較準(zhǔn)確的病變激活映射圖，在網(wǎng)絡(luò)訓(xùn)練過程中可限制弱關(guān)注區(qū)域，為網(wǎng)絡(luò)尋找全局最優(yōu)解提供先驗(yàn)指導(dǎo)，獲得病變的準(zhǔn)確位置信息，因此算法融合CAM有益于分割精度提升。

2.4.2 視野權(quán)重計(jì)算方法對(duì)比

為驗(yàn)證所提視野注意力機(jī)制模塊中，同時(shí)使用全局平均池化（GAP）和全局最大池化（GMP）計(jì)算特征權(quán)重的有效性，在ISIC-2017數(shù)據(jù)集上作了3組對(duì)比實(shí)驗(yàn)，即僅用GAP、僅用GMP 和兩者兼用對(duì)不同視野特征立體塊進(jìn)行特征權(quán)重計(jì)算，并選擇JA和Acc作為評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同方法計(jì)算視野權(quán)重因子對(duì)比Table 3 Comparison of visual field weighting factors calculated by different methods

從表3 中結(jié)果可知，同時(shí)使用GAP 和GMP 計(jì)算視野塊特征權(quán)重時(shí)，JA 參數(shù)和Acc 最高，病變分割效果最佳，故本文算法在視野注意力機(jī)制中同時(shí)使用GAP 和GMP計(jì)算特征權(quán)重最有效。

2.4.3 消融實(shí)驗(yàn)及分析

此部分將原DeepLab V3+網(wǎng)絡(luò)應(yīng)用改進(jìn)Xception網(wǎng)絡(luò)并增加兩條編碼解碼器間跳躍連接，損失函數(shù)僅采用Dice損失，作為基準(zhǔn)網(wǎng)絡(luò)（模型1），在ISIC-2017數(shù)據(jù)集上做了5組消融實(shí)驗(yàn)。其中模型2是在模型1的基礎(chǔ)上增加CAM模塊，模型3在模型1的基礎(chǔ)上增加F-ASPP模塊，模型4在模型1基礎(chǔ)上增加排序損失，模型2、3和4分別為了驗(yàn)證本文提出的類激活映射作先驗(yàn)信息、視野注意力機(jī)制和混合損失函數(shù)對(duì)模型分割性能提升的有效性及每個(gè)模塊對(duì)最終結(jié)果的具體影響，模型5為本文最終使用的模型。消融實(shí)驗(yàn)結(jié)果如表4所示。

表4 ISIC-2017數(shù)據(jù)集上消融實(shí)驗(yàn)結(jié)果Table 4 Ablation experimental results on ISIC-2017 dataset

對(duì)比結(jié)果表明，相比基準(zhǔn)網(wǎng)絡(luò)模型1，模型2 的Acc提高了0.011，JA參數(shù)也有所提高，表明該模型的整體像素分割性能提升，結(jié)合2.4.1小節(jié)對(duì)比結(jié)果，進(jìn)一步證明使用CAM作網(wǎng)絡(luò)先驗(yàn)信息可為網(wǎng)絡(luò)提供準(zhǔn)確的定位信息并消除病變圖像的部分干擾；模型3 比基準(zhǔn)模型1 的JA 參數(shù)提高了0.023，表明模型對(duì)病變分割的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果更貼合，重合度更高，結(jié)合圖4 中對(duì)較小或較大的病變分割結(jié)果對(duì)比圖，進(jìn)一步證明了融合F-ASPP模塊后的模型可自適應(yīng)地調(diào)整不同視野提取的特征圖，增加網(wǎng)絡(luò)對(duì)不同病變大小的感知度和敏感性；而模型4相比基準(zhǔn)各參數(shù)均有小幅提升，證明了所提損失函數(shù)更關(guān)注硬像素的誤差。在集成這幾個(gè)模塊的最終模型5中，JA參數(shù)和準(zhǔn)確率最高，其JA參數(shù)比基準(zhǔn)網(wǎng)絡(luò)提高了4.0個(gè)百分點(diǎn)，準(zhǔn)確率比基準(zhǔn)網(wǎng)絡(luò)提高2.1個(gè)百分點(diǎn)，表明所提模型在不同模塊作用下病變分割預(yù)測(cè)結(jié)果與標(biāo)準(zhǔn)更相似，綜合分割性能更好，進(jìn)一步證明本文所提的模塊針對(duì)皮膚病分割均是有效的。

2.5 損失函數(shù)超參數(shù)設(shè)置

所提損失函數(shù)中有兩個(gè)重要的超參數(shù)，分別為選定硬像素個(gè)數(shù)k和Lrank損失的權(quán)重因子λ，為研究這兩參數(shù)對(duì)分割結(jié)果的影響，本文將k分別設(shè)置為10、30、40、50 和100，λ分別設(shè)置為0.05、0.1、0.2 和0.3 做了大量實(shí)驗(yàn)，并以JA參數(shù)作為評(píng)價(jià)指標(biāo)，結(jié)果如圖8所示，實(shí)驗(yàn)結(jié)果表明，當(dāng)λ=0.1，k=40 時(shí)，JA參數(shù)比其他各組實(shí)驗(yàn)都高，達(dá)到0.826，分割效果最好，故本設(shè)計(jì)中損失函數(shù)的超參數(shù)選取該組值。

圖8 損失函數(shù)超參數(shù)設(shè)置結(jié)果圖Fig.8 Loss function superparameter setting result diagram

3 結(jié)束語

本文針對(duì)復(fù)雜多變、形態(tài)不一的皮膚病變，提出一種基于DeepLab V3+網(wǎng)絡(luò)改進(jìn)的皮膚病變分割模型。該改進(jìn)模型首先生成類激活映射圖，作為先驗(yàn)信息融合到網(wǎng)絡(luò)編碼階段，為網(wǎng)絡(luò)提供準(zhǔn)確的定位信息并消除毛發(fā)等干擾對(duì)分割造成的影響；結(jié)合高效通道注意力（ECA）模塊對(duì)ASPP 模塊進(jìn)行改進(jìn)，提出一種融合視野注意力的空洞空間金字塔模塊（F-ASPP），自適應(yīng)地調(diào)整各視野間的特征響應(yīng)值，實(shí)現(xiàn)局部跨視野交互；最后在損失函數(shù)中增加排序損失，優(yōu)化分割網(wǎng)絡(luò)。通過在ISIC-2017 和PH2 數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文所提網(wǎng)絡(luò)對(duì)不同尺度病變和病變邊緣的分割敏感度更高，綜合分割性能最優(yōu)，為臨床上快速準(zhǔn)確診斷皮膚病變和后續(xù)治療提供了有力依據(jù)。

在未來的工作中，除了考慮如何將所提模型的分割結(jié)果合理應(yīng)用于皮膚病變自動(dòng)分類中，提高分類準(zhǔn)確度，同時(shí)應(yīng)適當(dāng)對(duì)網(wǎng)絡(luò)進(jìn)行剪枝，選擇合適的嵌入式設(shè)備與皮膚鏡設(shè)備連接，制作可在臨床實(shí)際中應(yīng)用的皮膚病變自動(dòng)分割儀器，提高醫(yī)生診斷病變和后續(xù)治療的效率。