陳 虎

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，武漢 430074)

0 引言

黑色素瘤是皮膚癌中最致命的一種，也是皮膚癌患者中死亡率最高的種類之一，過去幾年中，每年有近60 000名患者死亡。但如果盡早發(fā)現(xiàn)，黑色素瘤患者的存活率能超過95%。目前，皮膚病的檢測(cè)方法主要是皮膚鏡技術(shù)，這是一種消除皮膚表面反射、增強(qiáng)深層皮膚可視化的成像技術(shù)。但由于皮膚病的診斷需要技術(shù)高超的專業(yè)醫(yī)生，且該診斷費(fèi)時(shí)費(fèi)力，帶有醫(yī)師的部分主觀看法，故而計(jì)算機(jī)輔助診斷(Computer Aided Diagnosis，CAD)在皮膚病的診斷中有其存在的價(jià)值，而皮膚病圖像的分割就是其中重要的一環(huán)。

近幾十年，很多學(xué)者研究了各種各樣的算法來對(duì)醫(yī)學(xué)圖像進(jìn)行分割，大體上可分為閾值處理、主動(dòng)輪廓模型、區(qū)域增長(zhǎng)與分裂等傳統(tǒng)方法及卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)、全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)等自動(dòng)或半自動(dòng)分割方法。傳統(tǒng)分割方法需要手工分割出目標(biāo)區(qū)域，過程煩瑣復(fù)雜，容易出現(xiàn)錯(cuò)誤。學(xué)者們大多把注意力投向機(jī)器學(xué)習(xí)的自動(dòng)或半自動(dòng)算法上。Long等人[1]首先提出了一種用于語義分割的FCN，用卷積層替換DCNN中全連接層，采取反卷積層進(jìn)行上采樣以獲得逐像素的分類結(jié)果。在醫(yī)學(xué)圖像分割領(lǐng)域，Ronneberger等人[2]在FCN的基礎(chǔ)上提出了U-Net網(wǎng)絡(luò)結(jié)構(gòu)模型，用于生物細(xì)胞圖像分割。后來，學(xué)者又使用了U-Net網(wǎng)絡(luò)變體，將其應(yīng)用于肝臟、心臟、腦等圖像的分割，取得了令人欣喜的結(jié)果。

本研究所提出的方法在U-Net的基礎(chǔ)上進(jìn)行了改進(jìn)，取得了不錯(cuò)效果的循環(huán)模塊、殘差模塊及注意力機(jī)制，相比普通U-Net網(wǎng)絡(luò)有以下幾點(diǎn)改進(jìn)：殘差單元有助于訓(xùn)練深度架構(gòu)；遞歸殘差卷積層替代普通卷積層，可以使圖像特征更好地保留，提高分割精度；注意力機(jī)制可以讓網(wǎng)絡(luò)分割醫(yī)學(xué)圖像時(shí)更專注目標(biāo)區(qū)域，弱化背景區(qū)域，從而提高目標(biāo)分割精度。

1 改進(jìn)的U-Net網(wǎng)絡(luò)

圖1 改進(jìn)的U-net網(wǎng)絡(luò)Fig.1 Improved U-net

與U-Net網(wǎng)絡(luò)不同的是，本網(wǎng)絡(luò)在編碼和解碼單元中使用帶有殘差單元的循環(huán)卷積層(Recurrent Convolutional Layers，RCL)代替卷積層，有助于延長(zhǎng)模型的深度；RCL單元能有效保留圖像中的特征，它在基于CNN的醫(yī)學(xué)成像分割方法中得到了證明[4]。由于模型中的功能積累，提出的模型在訓(xùn)練和測(cè)試階段都顯示出了良好的性能。時(shí)間步的使用使圖像特征保留得更好，有助于提取低級(jí)圖像的特征，該功能有助于提高醫(yī)學(xué)成像分割任務(wù)的精度。以下逐個(gè)介紹網(wǎng)絡(luò)框架中的模塊：

1.1 循環(huán)網(wǎng)絡(luò)模塊

循環(huán)網(wǎng)絡(luò)模塊是一種含有隱藏狀態(tài)的神經(jīng)網(wǎng)絡(luò)，存在時(shí)間相關(guān)性。假設(shè)Xt∈Rn×d是樣本數(shù)為n，特征數(shù)為d的序列中時(shí)間步t的小批量輸入，Ht∈Rn×h是該時(shí)間步的隱藏變量，也稱為隱藏狀態(tài)，隱藏層權(quán)重參數(shù)是Wxh∈Rd×h，隱藏層偏差參數(shù)是bh∈R1×h，h為隱藏單元個(gè)數(shù)，隱藏層的激活函數(shù)為φ，將此激活函數(shù)設(shè)置為ReLU。將上一時(shí)間步的隱藏變量Ht-1與權(quán)重參數(shù)Whh∈Rh×h結(jié)合。t時(shí)間步的隱藏變量的計(jì)算由當(dāng)前時(shí)間步的輸入和上一時(shí)間步t-1的隱藏變量共同決定，表達(dá)式為：

Ht=φ(XtWxh+Ht-1Whh+bh)

(1)

由上式可知，以前時(shí)刻的輸出對(duì)當(dāng)前時(shí)刻的輸出也會(huì)有影響。在時(shí)間步t的輸出計(jì)算公式為：

Ot=HtWhq+bq

(2)

其中，Ot是輸出層輸出，Whq∈Rh×q是輸出層的權(quán)重，bq∈R1×q是輸出層偏差。如圖2展示了網(wǎng)絡(luò)在3個(gè)相鄰時(shí)間步的計(jì)算過程。實(shí)驗(yàn)中結(jié)合精確度與效率，將時(shí)間步t設(shè)為3。

圖2 循環(huán)模塊結(jié)構(gòu)圖Fig.2 Structure chart of circulation module

1.2 殘差網(wǎng)絡(luò)模塊

殘差模塊由直接映射部分和殘差部分組成，其表達(dá)式為：

基建工程是一項(xiàng)龐大而繁雜的工程，它不僅歷時(shí)較長(zhǎng)，耗資巨大，而且在施工過程中，所涉及的單位、人員也比較多，所需專業(yè)面也非常廣?；n案作為工程項(xiàng)目建設(shè)的第一手資料，可以為企業(yè)各環(huán)節(jié)的工作提供重要依據(jù)，減少資源浪費(fèi)現(xiàn)象，有效維護(hù)企業(yè)權(quán)益，促進(jìn)企業(yè)健康持續(xù)的發(fā)展。

xl+1=xl+F(xl,Wl)

(3)

其中，xl表示殘差網(wǎng)絡(luò)第l層的輸入，xl+1表示殘差網(wǎng)絡(luò)第l+1層的輸入，F(xiàn)(xl,Wl)表示殘差部分。其結(jié)構(gòu)如圖3所示。在卷積網(wǎng)絡(luò)中，當(dāng)xl和xl+1層的特征圖數(shù)量不相等時(shí)，需要使用1×1卷積進(jìn)行升維或降維，這時(shí)殘差模塊的表達(dá)式變?yōu)椋?/p>

圖3 殘差模塊Fig.3 Residual module

xl+1=h(xl)+F(xl,Wl)

(4)

圖4 加入11卷積層的殘差模塊Fig.4 Residual module added with 11 convolution layer

殘差模塊的加入使網(wǎng)絡(luò)不會(huì)出現(xiàn)梯度消失的問題且網(wǎng)絡(luò)深度加深，利用自身映射來促進(jìn)訓(xùn)練過程[5]。

1.3 注意力機(jī)制

注意力機(jī)制的應(yīng)用在網(wǎng)絡(luò)中的位置如圖1中的紅色區(qū)域，它將編碼過程中提取的不同分辨率特征進(jìn)行調(diào)整，用來控制不同空間位置處特征的重要性，輸出的調(diào)整后的編碼特征再與對(duì)應(yīng)解碼部分的特征進(jìn)行拼接，該模塊的結(jié)構(gòu)如圖5所示。其中xl是注意門提取到的編碼過程中第l層的特征圖；g代表門控向量，它包含上下文信息，以修剪低級(jí)特征響應(yīng)。網(wǎng)絡(luò)選擇加性注意門模塊，雖然在計(jì)算上更麻煩，但實(shí)驗(yàn)證明加性注意力門比乘法注意力門獲得的注意力系數(shù)αi要更精確[6]。加性注意力門的計(jì)算公式如下：

圖5 注意力門模塊結(jié)構(gòu)圖Fig.5 Structure chart of attention gate module

(5)

(6)

其中σ1是Relu函數(shù)，σ2是Sigmoid函數(shù)，Wg、Wx、φ都是卷積操作，bg、bφ都是對(duì)應(yīng)卷積的偏置項(xiàng)，αi∈[0,1]是注意力系數(shù)，它一般在目標(biāo)區(qū)域取得較大的值，在背景區(qū)域取得較小的值。Fint一般比Fg、Fl要小。注意力門的輸出是輸入特征圖和注意系數(shù)的逐元素相乘。

注意力門的使用可以使模型更專注于局部區(qū)域，提高對(duì)前景像素的敏感度；可以替代圖像分割框架中目標(biāo)區(qū)域定位模塊，從而減小網(wǎng)絡(luò)參數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)簡(jiǎn)介及預(yù)處理過程

數(shù)據(jù)來自“ISIC 2018：針對(duì)黑色素瘤檢測(cè)的皮膚病變分析”大型挑戰(zhàn)數(shù)據(jù)集(International Skin Imaging Cooperation ，ISIC)[7-8]。訓(xùn)練數(shù)據(jù)包括2594個(gè)圖像及其對(duì)應(yīng)的腫瘤分割的標(biāo)簽，該標(biāo)簽由皮膚癌專家進(jìn)行注釋與標(biāo)記，并由公認(rèn)的黑色素瘤專家審查。圖像的尺寸大小不一樣，按照7∶1∶2的比例隨機(jī)將這2 594張圖像分為1 815張訓(xùn)練集、259張驗(yàn)證集和520張測(cè)試集。在訓(xùn)練數(shù)據(jù)集中加入適量標(biāo)準(zhǔn)差為0.2的高斯噪聲，這類似于將輸入數(shù)據(jù)做隨機(jī)化處理，防止過擬合問題的發(fā)生，有助于提升訓(xùn)練網(wǎng)絡(luò)的效果。利用隨機(jī)的旋轉(zhuǎn)、翻轉(zhuǎn)、平移等數(shù)據(jù)增強(qiáng)方法來對(duì)訓(xùn)練數(shù)據(jù)集及其標(biāo)簽進(jìn)行數(shù)據(jù)擴(kuò)充[9]，并增強(qiáng)訓(xùn)練數(shù)據(jù)集圖片的亮度、對(duì)比度和色調(diào)，進(jìn)一步提升圖片質(zhì)量。對(duì)所有圖片做歸一化處理，使圖像像素均值為0，方差為1，其作用是防止訓(xùn)練過程中出現(xiàn)梯度爆炸問題導(dǎo)致訓(xùn)練不收斂。

2.2 評(píng)價(jià)指標(biāo)

為了檢測(cè)提出網(wǎng)絡(luò)的分割效果，使用了七種評(píng)價(jià)指標(biāo)，包括正確率(accuracy，AC)、敏感度(sensitivity，SE)、特異性(specificity，SP)、準(zhǔn)確率(precision，PC)、F1分?jǐn)?shù)(F1-score)、jaccard相似度(Jaccard similarity，JS)和Dice系數(shù)(Dice coefficient，DC)。為了得到以上的評(píng)價(jià)指標(biāo)，需要使用一些其他的變量：真正例(True Positive，TP)，真反例(True Negative，TN)，假正例(False Positive，F(xiàn)P)，假反例(False Negative，F(xiàn)N)，其中分割結(jié)果與圖像標(biāo)簽的混淆矩陣關(guān)系如表1所示。最終評(píng)價(jià)指標(biāo)的計(jì)算公式為：

表1 混淆矩陣Tab.1 Confusion matrix

(7)

(8)

(9)

(10)

(11)

(12)

(13)

其中，GT是分割圖像的標(biāo)簽，SR是網(wǎng)絡(luò)分割的結(jié)果。

2.3 訓(xùn)練算法

深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法有隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)、自適應(yīng)梯度下降(Adaptive Subgradient,Adagrad)及自適應(yīng)動(dòng)量估計(jì)(Adaptive Moment Estimation，Adam)等不同方法。挑選收斂速度較快的Adam算法作為實(shí)驗(yàn)算法，經(jīng)實(shí)驗(yàn)得到的最適宜學(xué)習(xí)率初始值為2×10-4。

2.4 訓(xùn)練損失函數(shù)

訓(xùn)練過程中使用二進(jìn)制交叉熵?fù)p失函數(shù)(Binary Cross EntropyLoss，BCE)，該損失函數(shù)表達(dá)式為：

loss(Xi,Yi)=-wi[YilogXi+(1-Yi)log(1-Xi)]

(14)

式中，Xi,Yi,wi分別代表每個(gè)像素的預(yù)測(cè)值，每個(gè)像素的標(biāo)簽值和每個(gè)像素點(diǎn)對(duì)應(yīng)的權(quán)重值。

2.5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用改進(jìn)的U-Net網(wǎng)絡(luò)將皮膚病圖像分割為病變部分和背景區(qū)域。網(wǎng)絡(luò)訓(xùn)練過程使用何凱明初始化(Kaiming initialization)[10]，預(yù)處理對(duì)原始皮膚病圖像做隨機(jī)的翻轉(zhuǎn)、旋轉(zhuǎn)與平移，并將圖像的尺寸調(diào)整為256×256，選擇線性修正單元(ReLU)作為激活函數(shù)。使用2.2節(jié)中的評(píng)價(jià)指標(biāo)來對(duì)網(wǎng)絡(luò)框架進(jìn)行評(píng)估，將網(wǎng)絡(luò)與標(biāo)準(zhǔn)U-Net網(wǎng)絡(luò)、結(jié)合殘差模塊的U-Net網(wǎng)絡(luò)及結(jié)合注意力門模塊的U-Net網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。

通過多次實(shí)驗(yàn)驗(yàn)證得出進(jìn)行200輪訓(xùn)練時(shí)網(wǎng)絡(luò)的訓(xùn)練效果最佳，將ISIC 2018實(shí)驗(yàn)數(shù)據(jù)集放入以上不同的網(wǎng)絡(luò)中，得到最終的實(shí)驗(yàn)結(jié)果如表2：

表2 實(shí)驗(yàn)結(jié)果表Tab.2 Experiment results

由得到的數(shù)據(jù)可知，方法在正確率、敏感度、F1系數(shù)、jaccard相似度和Dice系數(shù)上均比其他方法高，體現(xiàn)了此方法對(duì)腫瘤目標(biāo)定位的精確性。

圖6是此方法分割皮膚癌測(cè)試圖像得到的實(shí)驗(yàn)結(jié)果圖像。

圖6 分割測(cè)試圖像結(jié)果Fig.6 Results of segmentation testing image

由分割結(jié)果可看出此方法對(duì)皮膚癌圖像分割較為精準(zhǔn)，但在含有毛發(fā)干擾情況時(shí)，網(wǎng)絡(luò)會(huì)出現(xiàn)誤差。如第三行的圖像，算法會(huì)將皮膚癌區(qū)域中像素值較小的部位誤認(rèn)為是背景區(qū)域，這都是算法有待提高的地方。

3 結(jié)語

在U-Net網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，將殘差模塊、循環(huán)模塊及注意力機(jī)制加入其中，增強(qiáng)了網(wǎng)絡(luò)對(duì)目標(biāo)區(qū)域的定位能力，保證了特征的提取；網(wǎng)絡(luò)層數(shù)的增加提高了網(wǎng)絡(luò)整體的魯棒性；特征的精確提取與保留在整體上提升了分割精確度。后續(xù)研究中，將深入研究如何讓網(wǎng)絡(luò)區(qū)分出腫瘤目標(biāo)與人體自身毛發(fā)等理化特征，進(jìn)一步優(yōu)化圖像預(yù)處理過程，并結(jié)合圖像，提取更高質(zhì)量的特征，以提高分割的精確度。