李家琛，劉 彥，王一諾，張俊然

(1.四川大學(xué) 電氣工程學(xué)院，四川 成都 610000； 2.四川大學(xué) “醫(yī)學(xué)+信息”中心，四川 成都 610000)

0 引 言

由于皮膚表面的毛發(fā)遮擋，皮膚病變與正常區(qū)域之間的對比度較低，病灶區(qū)域的邊界模糊，加上拍攝視角、設(shè)備等差異導(dǎo)致圖像的背景顏色變化較大，如圖1所示，第一行是皮膚鏡下生成的皮膚病圖像，第二行是對應(yīng)的專家標(biāo)注，這些都為病灶區(qū)域的準(zhǔn)確分割帶來挑戰(zhàn)。目前臨床中，醫(yī)生多采用手動分割皮膚鏡圖像，這種方法對醫(yī)生的臨床經(jīng)驗要求較高，需要耗費(fèi)大量時間而且不同醫(yī)生對病變的分割存在主觀性，會造成分割誤差。

圖1 皮膚病圖像和專家標(biāo)注圖像

為了實(shí)現(xiàn)自動皮膚病變分割，研究人員使用例如基于閾值，基于邊緣檢測或基于區(qū)域的傳統(tǒng)方法。然而，不同來源圖像的色彩差異是對傳統(tǒng)技術(shù)的嚴(yán)重限制，基于特征的技術(shù)對圖像提取特征(如顏色、形狀、紋理等特征)，然后使用SVM等傳統(tǒng)的機(jī)器學(xué)習(xí)進(jìn)行像素級分類，過程繁瑣且耗時，很多時候無法準(zhǔn)確分割皮膚病變[1]。

隨著深度學(xué)習(xí)的發(fā)展，U-net[2]、U-net ++[3]等網(wǎng)絡(luò)在小樣本的醫(yī)學(xué)圖像分割中表現(xiàn)良好。崔等[4]在預(yù)處理時采取了毛發(fā)移除的處理，以解決血管、毛發(fā)等遮擋病灶區(qū)域的問題。Jafari等[5]提出的DRU-NET將殘差網(wǎng)絡(luò)(ResNet)和密集連接網(wǎng)絡(luò)(DenseNet)相結(jié)合，具有更少的模型參數(shù)，可以提高分割精度。但是以上方法不能很好地處理皮膚病變形態(tài)差異較大和邊緣模糊的問題，造成分割精度不高。

本文針對皮膚病變區(qū)域的大小不一和邊界模糊的問題，提出了一種基于U型結(jié)構(gòu)的多尺度模型，在原本簡單的跳躍連接中加入Bi-Directional ConvLSTM[6]，通過將編碼層高分辨率的特征圖和從反卷積層提取的包含更多語義信息的特征圖融合，來補(bǔ)償編碼期間丟失的位置信息。在編碼的最后一層利用了密集空洞空間金字塔池化模塊(DenseASPP)[7]擴(kuò)大感受野，同時獲取多尺度信息以提高網(wǎng)絡(luò)對不同大小病灶的識別能力。最后加入通道注意力機(jī)制，通過網(wǎng)絡(luò)自動獲取到每個特征通道的重要程度，最終達(dá)到最佳分割效果。

1 網(wǎng)絡(luò)結(jié)構(gòu)

本文基于MCGU-Net[8]提出了改進(jìn)的多尺度網(wǎng)絡(luò)。如圖2所示，網(wǎng)絡(luò)主要包括編碼模塊、密集空洞空間金字塔池化模塊(DenseASPP)和解碼模塊。編碼層采用4次下采樣，每次卷積之后加上BN層和Relu激活函數(shù)。解碼層利用反卷積進(jìn)行上采樣，在跳躍連接中加入Bi-Directional ConvLSTM。

圖2 本文算法網(wǎng)絡(luò)結(jié)構(gòu)

1.1 密集空洞空間金字塔池化模塊

皮膚病變的大小不一，U-net使用多個池化層來增加輸出神經(jīng)元的感受野大小，同時也導(dǎo)致特征圖的尺寸減小，上采樣至原圖時很難識別出較小病變的位置。針對特征圖尺寸與感受野大小之間的矛盾，本文選擇在編碼的最后一層加入密集連接的空間金字塔池模塊(DenseASPP)，利用并行空洞卷積得到多尺度信息，以識別不同大小的病灶。

結(jié)構(gòu)如圖3所示，空洞卷積層以級聯(lián)方式連接，其中每一層的膨脹率逐層增加。每層空洞卷積的輸出都要與輸入特征圖和來自前一層的空洞卷積輸出進(jìn)行級聯(lián)，然后輸入到下一層。將輸入為x，卷積核大小為K，膨脹率為d的空洞卷積用HK,d(x)表示，則每一層空洞卷積層可以通過如下公式表示

圖3 密集空洞空間金字塔池化模塊結(jié)構(gòu)

yl=HK,dl([yl-1,yl-2,…,y0])

(1)

其中，dl表示第l層的膨脹率，[…]表示級聯(lián)操作， [yl-1,yl-2,…,y0] 表示連接來自前面所有層的輸出。

空洞卷積[9]能夠在不增加卷積核參數(shù)的情況下實(shí)現(xiàn)更大的感受野。對于膨脹率為d，卷積核尺寸為K的空洞卷積，其等效感受野的大小為

R=(d-1)×(K-1)+K

(2)

并行空洞卷積來自ASPP[10]的思想，將不同膨脹率的空洞卷積所生成的特征圖進(jìn)行級聯(lián)，以使輸出特征圖中的神經(jīng)元包含多個感受野，可以達(dá)到獲取多尺度信息的目的。但是空洞卷積接收到了更大的感受野，同時也丟失了大量信息，膨脹率越大，計算時候丟失的信息越多。

DenseASPP可以有效地解決信息丟失的問題，空洞卷積感受野如圖4所示，在一維的情況下，如圖4(a)所示，對于膨脹率為6的空洞卷積，13個像素被計算，只有3個像素被保留。對于二維圖像分割，被舍棄的信息會更多。但是如果將兩個空洞卷積組合起來，如圖4(b)所示，膨脹率為3和膨脹率為6的空洞卷積分別產(chǎn)生感受野大小為7和13，組合之后等效感受野大小為19，其中7個像素被保留。由此可見，采用密集連接的方式，較大擴(kuò)張率的卷積可從較小擴(kuò)張率卷積中獲得幫助，使得采樣更為密集，不僅可以進(jìn)一步擴(kuò)大感受野，而且可以得到更多的上下文信息。級聯(lián)兩個空洞卷積層的等效感受野大小為

圖4 空洞卷積感受野

K=K1+K2-1

(3)

其中，K1和K2分別代表不同膨脹率的空洞卷積等效的感受野大小。

Maoke等[7]采用膨脹率為3、6、12、18、24的空洞卷積級聯(lián)，得到更大的感受野，以適應(yīng)于高分辨率的街景數(shù)據(jù)。但是皮膚病變數(shù)據(jù)不適合用過大膨脹率的空洞卷積，過大的感受野會導(dǎo)致提取到大量無用信息，忽略掉有用特征，造成小病變無法識別和大病變邊緣分割模糊等問題，因此本文選取3、5、7、9膨脹率的空洞卷積進(jìn)行組合。通過在編碼器最后一層并行密集不同膨脹率的空洞卷積，使得模型獲取到不同尺度的上下文信息。同時為了防止通道數(shù)過多導(dǎo)致模型過大，在每一個擴(kuò)張層之前添加1×1卷積層，以將特征圖的通道數(shù)降至其原始通道數(shù)的一半(在此模型中為128)。然后將經(jīng)過每一個空洞卷積層之后的特征圖級聯(lián)，輸入到解碼路徑中。

1.2 雙向卷積LSTM(Bi-Directional ConvLSTM)

由于皮膚病變的邊緣較模糊，編碼器-解碼器模型在編碼層中丟失了位置信息，通過簡單的跳躍連接，可以在一定程度上補(bǔ)償空間位置的丟失，但是兩個特征圖不在同一語義層次，不能有效融合特征信息，導(dǎo)致生成粗糙的皮膚病變分割結(jié)果。上采樣得到的特征圖是之前下采樣的特征圖經(jīng)過動態(tài)變化產(chǎn)生的，在時序上存在一定的聯(lián)系，考慮到LSTM可以將同一對象不同時間聯(lián)系起來，將LSTM用到跳躍連接中，能更有效地融合特征圖，但是由于模型中僅使用完全連接，沒有考慮空間相關(guān)性，對于分割問題可能沒有良好的效果。因此本文在跳躍連接中采用ConvLSTM[6]，將FC-LSTM中的全連接替換成卷積，利用卷積對特征圖提取特征。ConvLSTM由輸入門it，輸出門ot，忘記門ft和存儲單元Ct組成。輸入、輸出和忘記門充當(dāng)控制門，以訪問、更新和清除存儲單元。ConvLSTM的公式如下

(4)

(5)

(6)

(7)

Ht=οt°tanh(Ct)

(8)

圖5 Bi-Directional ConvLSTM結(jié)構(gòu)

1.3 擠壓和激勵模塊(SE)

我們在網(wǎng)絡(luò)第一次上采樣之前隨機(jī)選取了16張通道特征圖，如圖6所示，可以看出每個通道表現(xiàn)的特征差異較大，對于后續(xù)上采、卷積及最后的分割效果會產(chǎn)生不一樣的影響。

圖6 不同通道的特征

但是網(wǎng)絡(luò)在輸出特征圖時對每個通道產(chǎn)生同樣的關(guān)注，由此可以想到，通過給每個通道分配不同的權(quán)重，加強(qiáng)某些有利于分割的特征可以提高分割精度。本文采用SE[12]注意力機(jī)制，通過上下文選通機(jī)制來捕獲卷積層通道之間的顯式關(guān)系，從而改善了表示網(wǎng)絡(luò)的能力。這些模塊通過為特征圖中的每個通道分配權(quán)重來對特征圖進(jìn)行編碼。

由于Gu等[13]實(shí)驗結(jié)果表明在編碼器上施加注意力可能會導(dǎo)致某些潛在有用的功能在早期被抑制，因此本文僅在解碼路徑中添加注意力機(jī)制，如圖7所示，SE塊包括擠壓(Squeeze)和激勵(Excitation)兩部分。第一步是擠壓，通過使用整個通道上下文的全局平均池化(GAP)，將輸入特征映射到SE塊，降低特征維度到1×1×C。第二步是激勵，通過全連接層和非線性學(xué)習(xí)得到特征圖各通道的權(quán)重值。最后將輸入的特征圖乘以各通道的權(quán)重輸出到下一個網(wǎng)絡(luò)層中。

圖7 SE結(jié)構(gòu)

2 實(shí)驗結(jié)果與分析

2.1 數(shù)據(jù)集

實(shí)驗數(shù)據(jù)取自國際皮膚影像協(xié)作組織(ISIC)2018年發(fā)布的皮膚病數(shù)據(jù)集[14]。該數(shù)據(jù)集是已知公開的最大的皮膚病數(shù)據(jù)集，共有2594張皮膚鏡圖像和對應(yīng)的圖像標(biāo)簽，涉及的病變類型包括痣，脂溢性角化病和惡性黑色素瘤。

2.2 實(shí)驗預(yù)處理

數(shù)據(jù)集分為3部分，使用1815幅圖像進(jìn)行訓(xùn)練，259幅圖像進(jìn)行驗證和520幅圖像進(jìn)行測試。每張圖片的尺寸在720×540到6708×4439之間。我們將圖像統(tǒng)一調(diào)整大小為256×256。

2.3 評價指標(biāo)

為評價分割網(wǎng)絡(luò)的性能，本文采用以下評價指標(biāo)：

(1)Dice系數(shù)

(9)

(2)Jaccard相似指數(shù)

(10)

式中：AP表示分割結(jié)果，GT表示專家標(biāo)注。

(3)Accuracy

(11)

(4)Precision

(12)

(5)Specificity

(13)

(6)Sensitivity

(14)

式中：TP代表真陽性的區(qū)域，TN代表真陰性的區(qū)域，F(xiàn)P代表假陽性的區(qū)域，F(xiàn)N代表假陰性的區(qū)域。

(7)AUC

ROC曲線下的面積，取值范圍為0～1，越接近1，代表分割性能越好。

2.4 損失函數(shù)

在醫(yī)學(xué)圖像領(lǐng)域，一般將Dice_loss函數(shù)作為損失函數(shù)，可以解決數(shù)據(jù)中類不平衡的問題，其公式如下所示

(15)

式中：X和Y分別代表預(yù)測結(jié)果和Ground truth。

在使用Dice_loss時，對皮膚病變中的小目標(biāo)是十分不利的，因為在只存在前景和背景的情況之下，小目標(biāo)一旦有部分像素預(yù)測錯誤，就會導(dǎo)致Dice大幅度的變動，從而導(dǎo)致梯度變化劇烈，訓(xùn)練不穩(wěn)定。

因此訓(xùn)練過程采用GDL(generalised dice loss)，在Dice_loss基礎(chǔ)上增加了w=[w1,w2]， 給前景和背景類別加權(quán)，計算公式如下

(16)

這樣，GDL就能達(dá)到病灶區(qū)域和Dice系數(shù)之間的平衡。

2.5 實(shí)驗訓(xùn)練過程

實(shí)驗采用Intel(R) Core(TM) i3-10100F的CPU和NVIDIA GTX-1080Ti的GPU，內(nèi)存11 GB。

訓(xùn)練中采用Adam優(yōu)化器，批處理大小(batchsize)設(shè)為5，初始學(xué)習(xí)率lr設(shè)為10-4，訓(xùn)練過程中檢測驗證集中的Dice指標(biāo)，若7個迭代次數(shù)(epoch)無改善，則將學(xué)習(xí)率調(diào)整為原來的1/10。epoch設(shè)置為300，防止過擬合，實(shí)驗采用早停法，若20個epoch內(nèi)Dice指標(biāo)沒有得到提高則停止訓(xùn)練。

為了減輕小數(shù)據(jù)集的問題，在實(shí)驗訓(xùn)練中采用動態(tài)數(shù)據(jù)增強(qiáng)，使用了原始圖像的各種類型的轉(zhuǎn)換，例如旋轉(zhuǎn)、平移、翻轉(zhuǎn)等。訓(xùn)練結(jié)果在180個epoch左右達(dá)到最好分割效果。

2.6 實(shí)驗后處理

為了使最后的分割效果達(dá)到最佳，在預(yù)測階段將測試集的圖片分別以原圖，旋轉(zhuǎn)90°、180°、270°進(jìn)行預(yù)測，然后旋轉(zhuǎn)至原圖角度，將4張圖片每個像素點(diǎn)取平均，實(shí)驗結(jié)果表明對分割精度有一定的提升。

2.7 實(shí)驗結(jié)果

本文分別進(jìn)行了消融實(shí)驗和對比實(shí)驗，見表1和表2。表1顯示的是基于U-net加入不同模塊之后對于皮膚病分割的效果對比，隨機(jī)選取兩張皮膚病變分割結(jié)果如圖8所示，從表中可以看出，加入密集連接的空間金字塔池(DenseASPP)模塊后對于分割性能有明顯的提升。病變的位置、形狀和比例可能會有很大的變化，從圖8(c)和圖8(d)第一行可以看出，增加DenseASPP模塊可以有效增加真陽性區(qū)域，第二行對于小目標(biāo)的分割，該模塊也可以使得分割結(jié)果更貼近專家標(biāo)注，實(shí)驗結(jié)果表明加入多尺度模塊可以提升不同大小病灶的分割精度。

表1 不同改進(jìn)方法在ISIC2018皮膚病圖像分割任務(wù)上的實(shí)驗結(jié)果

本文同時加入密集連接的空間金字塔池(DenseASPP)模塊和雙向卷積LSTM(Bi-Directional ConvLSTM)可以進(jìn)一步提升分割結(jié)果，從圖8(d)和圖8(e)也可以看出，加入B-ConvLSTM之后，通過將編碼層具有更高分辨率的特征圖和從反卷積層提取的包含更多語義信息的特征圖融合起來得到更有效的特征信息，來補(bǔ)償編碼期間丟失的位置信息，分割邊緣更貼近專家標(biāo)注，分割精度比不加入該模塊有提升。

從表1可以看出，本文同時加入密集連接的空間金字塔池(DenseASPP)模塊、雙向卷積LSTM(Bi-Directional ConvLSTM)以及軟注意力機(jī)制可以使分割精度有進(jìn)一步的提高。網(wǎng)絡(luò)每一層輸出的特征圖質(zhì)量取決于有效的特征學(xué)習(xí)，SE塊的自適應(yīng)特征學(xué)習(xí)通過關(guān)注有效信息特征和抑制冗余無效特征，從圖8(e)和圖8(f)可以看出，增加通道注意力機(jī)制之后輪廓的分割更加清晰，貼近專家標(biāo)注。本文提出的模型在Dice、Jaccard和準(zhǔn)確率指標(biāo)上相對于U-net分別提高了4.32%、6.46%、1.63%，驗證了該模型的優(yōu)越性。

圖8 不同模塊皮膚病變分割結(jié)果

不同分割模型對于2018皮膚病數(shù)據(jù)集的分割結(jié)果見表2，為了比較各個模型之間的性能，所有實(shí)驗采取相同的訓(xùn)練策略。從表中可以看出，相對于U-net和U-net++，本文提出的模型在分割精度(Dice系數(shù))上分別有4.32%和3.23%的提升，比MCGU-Net也有更好的分割效果。

表2 不同模型在ISIC2018皮膚病圖像分割任務(wù)上的實(shí)驗結(jié)果

圖9是不同分割模型在皮膚病數(shù)據(jù)集上的分割效果。從圖中可以看出，針對第一行皮膚病灶，模型普遍存在分割區(qū)域過大的情況，本文提出的模型能夠有效改善，分割病灶邊緣更加清晰。對于第二行圖片，MCGU-Net分割結(jié)果有明顯的假陽性區(qū)域，真陽性區(qū)域過小，本文模型在有效減少假陽性區(qū)域的同時，顯著減少假陰性區(qū)域，從而使分割效果達(dá)到最佳。

圖9 不同網(wǎng)絡(luò)皮膚病變分割結(jié)果

本文對預(yù)測圖片通過設(shè)置閾值進(jìn)行二分處理，閾值選取對于圖像分割精度有一定影響，本文通過實(shí)驗確定了閾值選為0.6時，能得到最高的分割精度，Dice系數(shù)達(dá)到0.895。Dang等[16]提出了兩種自適應(yīng)閾值方法，以基于顏色模型的歸一化來評估皮膚病變分割的閾值，對于提取的ROI的細(xì)分有一定的效果。未來閾值的自動選取仍是可以繼續(xù)研究的方向，可以使得該算法適應(yīng)于不同的數(shù)據(jù)集。

3 結(jié)束語

本文基于U型結(jié)構(gòu)提出了一種綜合多尺度卷積神經(jīng)網(wǎng)絡(luò)，通過加入B-ConvLSTM代替跳躍連接，將編碼層具有更高分辨率的特征圖和從反卷積層提取的包含更多語義信息的特征圖融合獲取更有效特征信息，利用并行空洞卷積獲取多尺度信息，添加注意力機(jī)制，為每個通道賦予不同的權(quán)重系數(shù)，從而來強(qiáng)化重要的特征，并對非重要的特征進(jìn)行抑制，最終實(shí)現(xiàn)更精準(zhǔn)的病灶分割。實(shí)驗結(jié)果表明，該模型優(yōu)于目前的分割模型，能夠有效地提高皮膚病分割精度，在醫(yī)療圖像領(lǐng)域有一定的參考意義，未來也會在該領(lǐng)域進(jìn)行更多研究，將其擴(kuò)展到更多的醫(yī)學(xué)圖像分割任務(wù)中。