何雪英，韓忠義，魏本征

(山東中醫(yī)藥大學(xué) 理工學(xué)院，濟(jì)南 250355)(*通信作者電子郵箱hxy0104@163.com)

0 引言

皮膚作為人體最大的器官，通常直接暴露在空氣中，使得皮膚病成為人類最常見的疾病之一，全世界30%～70%的人有與皮膚有關(guān)的健康問題[1]，僅在美國，每年就有540萬新的皮膚癌病例[2]。黑素瘤(melanoma)作為一種致死率最高的惡性皮膚腫瘤，每年導(dǎo)致的死亡人數(shù)就超過9 000[3]。早期發(fā)現(xiàn)可以將黑素瘤的5年存活率由14%提高至99%左右, 因而皮膚病的早期診斷、早期治療至關(guān)重要。

臨床上，皮膚病的早期診斷除一般的視覺篩查外，基于皮膚影像的皮膚病診斷是最常使用的一種診療手段。相比其他皮膚影像，皮膚鏡通過消除皮膚表面的反射，可以將更深層次的肉眼無法辨別的病變特征可視化，和肉眼檢查相比，可以將診斷敏感性提高10%～30%[4]，在一定程度上降低了活檢率。但基于人工的皮膚鏡圖像分析不僅耗時(shí)、費(fèi)力，診斷結(jié)果易受醫(yī)生經(jīng)驗(yàn)等主觀因素影響。借助于計(jì)算機(jī)輔助診斷(Computer-Aided Diagnosis, CAD)系統(tǒng)，實(shí)現(xiàn)基于皮膚鏡圖像的皮膚病的自動(dòng)識(shí)別分類，可以提高診斷的效率和準(zhǔn)確率。而精準(zhǔn)地細(xì)分類，使得醫(yī)生可以根據(jù)不同病變的特殊臨床表現(xiàn)有針對(duì)性地制定最佳治療方案, 因而具有重要的現(xiàn)實(shí)意義和臨床研究價(jià)值。

然而，基于皮膚鏡圖像的皮膚病的自動(dòng)識(shí)別分類是一項(xiàng)非常有挑戰(zhàn)性的工作：一方面，各種分類識(shí)別算法模型存在一定的局限性，總體識(shí)別率還有待進(jìn)一步提高；另一方面，皮膚鏡圖像會(huì)包含諸如光照不均、黑框、毛發(fā)、皮膚紋理等噪聲，也在一定程度上影響了皮膚病變的識(shí)別，但更重要的是，皮膚病變的臨床和病理類型繁雜，病灶外觀的類間相似度高，類內(nèi)差異性大，如圖1所示, 而且當(dāng)病灶發(fā)生病變時(shí)，外觀變化比較大，甚至可以演化為其他病變類型，給皮膚病的識(shí)別分類帶來了巨大的困難。

圖1 三類色素性皮膚病變

色素性皮膚病是由于黑素細(xì)胞和黑素生成異常造成的一類常見皮膚疾病，色素的減少或增多會(huì)引起皮膚顏色的改變，因此，色素性皮膚病的識(shí)別分類難度更大。本文自動(dòng)分類的三類色素性皮膚病變：黑素瘤、色素痣(nevus)和脂溢性角化病(seborrheic keratosis)，就是三類臨床上極易混淆的病變類型，如圖1所示。它們均屬于皮膚表面發(fā)生的色素性損傷，其中黑素瘤屬于惡性程度極高的一類腫瘤，色素痣屬于良性腫瘤。由于二者均是來源于黑色素細(xì)胞的一類腫瘤，臨床表現(xiàn)往往非常相似，尤其是當(dāng)色素痣發(fā)生病變時(shí)，更加難區(qū)分。脂溢性角化病也是一種良性腫瘤，但由于增生的表皮細(xì)胞內(nèi)常常有黑色素的沉著，發(fā)生炎癥或受刺激的損害與惡性黑色素瘤非常相似，臨床上通常需要通過組織病理檢查來鑒別。

有關(guān)自動(dòng)分類色素性皮膚病變圖像的研究早在1987年就已出現(xiàn)在文獻(xiàn)[5]中。隨著皮膚鏡技術(shù)和機(jī)器學(xué)習(xí)算法的發(fā)展，基于皮膚鏡圖像分析和傳統(tǒng)機(jī)器學(xué)習(xí)算法的皮膚病分類逐漸成為了一種趨勢(shì)：文獻(xiàn)[6]在分割病灶后，提取形狀、顏色、紋理等特征信息，運(yùn)用集成分類器實(shí)現(xiàn)黑素瘤的檢測(cè)； Barata等[7]對(duì)比說明了顏色和紋理特征在黑素瘤檢測(cè)中的不同作用； Sheha等[8]從分割的感興趣區(qū)域提取幾何和色度特征，利用Fisher和t檢驗(yàn)方法選取最優(yōu)特征用于人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分類，實(shí)現(xiàn)了色素性皮膚病的診斷。值得注意的是，這些方法涉及一系列的圖像預(yù)處理、特征提取和選擇等繁雜且效率低下的問題，特征的設(shè)計(jì)受限于領(lǐng)域?qū)＜业膶I(yè)知識(shí)，要提取出具有區(qū)分性的高質(zhì)量特征往往存在一定的困難，有意義和有代表性的高質(zhì)量特征是皮膚病識(shí)別分類成功的關(guān)鍵因素。

隨著深度學(xué)習(xí)的發(fā)展，尤其是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)在計(jì)算機(jī)視覺領(lǐng)域的成功應(yīng)用[9]，為CNN在醫(yī)學(xué)圖像處理領(lǐng)域中的應(yīng)用奠定了基礎(chǔ)。深度學(xué)習(xí)是“端到端”的模型，直接學(xué)習(xí)從原始輸入到期望輸出的映射，避免了傳統(tǒng)機(jī)器學(xué)習(xí)算法中復(fù)雜的特征提取過程，而且能夠提取具有代表性的高層特征，尤其在細(xì)粒度圖像識(shí)別方面具有極大的優(yōu)勢(shì)和潛力。斯坦福大學(xué)人工智能實(shí)驗(yàn)室采用深度學(xué)習(xí)方法對(duì)皮膚鏡圖像和臨床皮損圖像進(jìn)行自動(dòng)分類，充分利用細(xì)粒度標(biāo)簽的優(yōu)勢(shì)訓(xùn)練CNN-PA(CNN-Partitioning Algorithm)模型，對(duì)129 450幅皮膚鏡和臨床皮損圖像進(jìn)行3分類和9分類，精度分別可達(dá)72.1%和55.4%，利用3類和9類標(biāo)簽訓(xùn)練的CNN粗分類結(jié)果分別為69.4%和48.9%，而兩位皮膚病專家在相應(yīng)分類任務(wù)上的平均識(shí)別結(jié)果分別為65.8%和54.15%，代表了皮膚圖像自動(dòng)分析領(lǐng)域的最新研究進(jìn)展，相關(guān)研究成果[10]2017年1月發(fā)表在Nature上，本文的研究在一定程度上受到該研究的啟發(fā)。文獻(xiàn)[11]結(jié)合深度學(xué)習(xí)和機(jī)器學(xué)習(xí)方法，設(shè)計(jì)了一個(gè)用于皮膚病灶分割和分類的系統(tǒng)； Mishra等[12]在總結(jié)對(duì)比基于皮膚鏡圖像的各種分割算法的基礎(chǔ)上，進(jìn)行了黑素瘤的檢測(cè)； 文獻(xiàn)[13]利用VGG16網(wǎng)絡(luò)，采用三種不同的遷移學(xué)習(xí)策略，實(shí)現(xiàn)了皮膚鏡圖像的二分類任務(wù)，取得了較好的結(jié)果； Li等[14]利用兩個(gè)全卷積殘差網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)了皮膚病灶的分割和分類； 文獻(xiàn)[15-17]采用常用的深度學(xué)習(xí)模型實(shí)現(xiàn)了黑素瘤的檢測(cè)。然而，這些方法大都集中在皮膚病發(fā)病率較高的國家，且主要針對(duì)黑素瘤檢測(cè)相關(guān)的二分類識(shí)別，我國在這方面的研究相對(duì)較少，還缺少一個(gè)完整的針對(duì)色素性皮膚病的識(shí)別分類系統(tǒng)。

基于以上問題，本文訓(xùn)練了一個(gè)結(jié)構(gòu)化的深度卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了基于皮膚鏡圖像的色素性皮膚病的自動(dòng)識(shí)別分類。通過給不同類別設(shè)置有差異的損失函數(shù)權(quán)重來緩解數(shù)據(jù)集中存在的類別不平衡問題，提高模型的識(shí)別率，算法流程如圖2所示。采用數(shù)據(jù)增強(qiáng)方法[18]和遷移學(xué)習(xí)[19]來避免深度學(xué)習(xí)模型在受樣本量限制時(shí)易出現(xiàn)的過擬合問題。

圖2 模型流程

1 數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)

缺乏大規(guī)模的訓(xùn)練數(shù)據(jù)，是CNN應(yīng)用于醫(yī)學(xué)圖像分類面臨的主要挑戰(zhàn)之一。深度卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的表達(dá)能力，需要大規(guī)模的有標(biāo)記樣本來驅(qū)動(dòng)模型訓(xùn)練，才能防止過擬合。本文所采用的數(shù)據(jù)集中，訓(xùn)練集僅包含2 000幅標(biāo)記圖像，為避免過擬合，本文采用了常用的兩種解決方案：

1)數(shù)據(jù)增強(qiáng)。使用不小于0.5倍原圖大小的正方形在原圖的隨機(jī)位置處摳取圖像塊；對(duì)圖像進(jìn)行隨機(jī)的水平和垂直翻轉(zhuǎn)及鏡像。通過數(shù)據(jù)增強(qiáng)擴(kuò)充了訓(xùn)練樣本的數(shù)量，增加了訓(xùn)練樣本的多樣性，不僅能夠避免過擬合，還可以提高模型的識(shí)別性能。

2)遷移學(xué)習(xí)。通過遷移學(xué)習(xí)，模型可以獲得優(yōu)化的初始參數(shù)，從而加快訓(xùn)練的速度，提高模型的識(shí)別率和泛化能力。本文使用ImageNet(約128萬幅自然圖像，1 000種類別)上預(yù)訓(xùn)練好的VGG19模型，遷移到我們的數(shù)據(jù)集上進(jìn)行微調(diào)訓(xùn)練。本文將模型輸出類別數(shù)設(shè)置為3。

2 深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是一類特殊的人工神經(jīng)網(wǎng)絡(luò)，作為最常使用的深度學(xué)習(xí)模型之一，被廣泛應(yīng)用于圖像處理相關(guān)領(lǐng)域。以二維或三維圖像直接作為網(wǎng)絡(luò)的輸入，通過多個(gè)隱層結(jié)構(gòu)的變換，實(shí)現(xiàn)高層次特征的提取。這種端到端的自動(dòng)學(xué)習(xí)特征的過程，避免了人工提取特征的繁雜和局限。相比全連接的神經(jīng)網(wǎng)絡(luò)，訓(xùn)練更簡單，泛化能力更好。

通過初步實(shí)驗(yàn)，對(duì)比目前常用的深度卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet、ResNet、GoogLeNet等，以VGGNet[20]作為本文模型的基礎(chǔ)架構(gòu)，如圖3所示。該模型在ILSVRC2014競賽中獲得定位任務(wù)的第1名和分類任務(wù)的第2名，具備良好的穩(wěn)定性和泛化性，被廣泛應(yīng)用于細(xì)粒度圖像定位與檢索[21]。

圖3 VGG19結(jié)構(gòu)

2.1 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

輸入層 負(fù)責(zé)從數(shù)據(jù)集載入圖像，產(chǎn)生一個(gè)輸出向量作為卷積層的輸入。本文模型加載增強(qiáng)后的數(shù)據(jù)集，RGB3通道皮膚鏡圖像，圖像進(jìn)行歸一化預(yù)處理，減去訓(xùn)練集圖像像素均值，自動(dòng)縮減為224×224大小，以適應(yīng)VGGNet。

卷積層 卷積層的單元組織為特征圖(feature map)，每個(gè)單元通過一定大小的卷積核作用于上一層特征圖的局部區(qū)域，局部區(qū)域的加權(quán)和經(jīng)過ReLU非線性單元處理，獲取圖像的局部特征。同一特征圖的所有單元共享一個(gè)卷積核，而同一層的不同特征使用不同的卷積核。

本文的VGG19模型包含5個(gè)卷積塊(block)，第1、2塊內(nèi)有2個(gè)卷積層，其余3塊內(nèi)有4個(gè)卷積層，所有卷積都使用ReLU非線性激活函數(shù)。5個(gè)block的卷積核數(shù)量分別為64、128、256、512、512，每塊內(nèi)的卷積核數(shù)目相同。卷積層全部為3×3的小卷積核，采用保持輸入輸出大小相同的技巧(stride、padding均設(shè)為1)，在增強(qiáng)網(wǎng)絡(luò)容量和模型深度的同時(shí)減少了卷積參數(shù)的數(shù)量，降低了計(jì)算復(fù)雜度。

池化層 通過將語義上相似的特征點(diǎn)合并，實(shí)現(xiàn)特征降采樣，以減小下一層的輸入大小，從而減少網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)，減小計(jì)算量。常見的策略有最大池化(Max-pooling)、平均池化(Mean-pooling)和隨機(jī)池化(stochastic pooling)。本文模型中每個(gè)block后面都連接一個(gè)最大池化層，大小為2×2。

此外，學(xué)習(xí)率為0.001，訓(xùn)練epoch為100。

2.2 加權(quán)Softmax損失函數(shù)

(1)

Softmax分類器的損失函數(shù)如式(2)所示：

(2)

其中1{yi=j}為指示性函數(shù)。其取值規(guī)則為：

由于不同類別的訓(xùn)練樣本數(shù)目之間的偏差造成的數(shù)據(jù)不平衡，是醫(yī)學(xué)圖像處理過程中普遍存在的問題。不平衡的訓(xùn)練樣本會(huì)導(dǎo)致訓(xùn)練模型側(cè)重樣本數(shù)目較多的類別，而“輕視”樣本數(shù)目較少的類別，這樣模型在測(cè)試數(shù)據(jù)上的泛化能力就會(huì)受到影響。

本文通過在Softmax損失函數(shù)中設(shè)置權(quán)重系數(shù)w，讓小類樣本乘以較大的權(quán)重，大類樣本乘以較小的權(quán)重，來緩解本文數(shù)據(jù)集中存在的類別不平衡問題，從而提高模型的識(shí)別率。加權(quán)Softmax損失函數(shù)可表示為式(3)：

(3)

其中：wj=M/Mj表示損失函數(shù)的權(quán)重，M表示訓(xùn)練樣本的總數(shù)量，Mj表示訓(xùn)練樣本所屬類別的樣本數(shù)量。最后通過隨機(jī)梯度下降法最小化誤差函數(shù)。

3 實(shí)驗(yàn)與結(jié)果

3.1 數(shù)據(jù)集

本文采用ISIC(International Skin Imaging Collaboration)Archive公開數(shù)據(jù)集ISIC2017 (https://isic-archive.com/)，該數(shù)據(jù)集包括3個(gè)獨(dú)立的皮膚鏡圖像數(shù)據(jù)集：訓(xùn)練集(2 000幅)、驗(yàn)證集(600幅)和測(cè)試集(150幅)，每個(gè)數(shù)據(jù)集包含三種類型的色素性皮損圖像：黑素瘤、色素痣和脂溢性角化病。三種類型的皮膚鏡腫瘤圖像在三個(gè)數(shù)據(jù)集中的具體分布情況見表1, 實(shí)驗(yàn)在數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集上開展。

表1 3種類別的腫瘤圖像在三個(gè)數(shù)據(jù)集上分布情況

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

為全面衡量模型的分類性能，除了采用識(shí)別正確率(accuracy)這一常用評(píng)價(jià)標(biāo)準(zhǔn)外，同時(shí)考慮皮膚病識(shí)別的召回率，即敏感性(sensitivity)。

敏感性的計(jì)算公式：

其中：q表示類別個(gè)數(shù)，TP表示真正例(True Positive)，F(xiàn)N表示假反例(False Negative)。當(dāng)accuracy和SE的取值都較大時(shí)，說明模型具有較好的識(shí)別分類性能。

3.3 實(shí)驗(yàn)和結(jié)果

為保證模型對(duì)未知數(shù)據(jù)的泛化能力，增強(qiáng)后的訓(xùn)練集、驗(yàn)證集和測(cè)試集仍為三個(gè)獨(dú)立的數(shù)據(jù)集，互不交叉。訓(xùn)練過程中利用驗(yàn)證集實(shí)時(shí)評(píng)測(cè)模型的預(yù)測(cè)性能，調(diào)節(jié)參數(shù)，優(yōu)化模型，最后選取驗(yàn)證集準(zhǔn)確率最高的那一輪訓(xùn)練結(jié)果作為最終的模型，用于測(cè)試集數(shù)據(jù)的預(yù)測(cè)。

為驗(yàn)證本文模型的有效性，另外選擇ResNet-34[22]和GoogLeNet[23]兩種模型作對(duì)比實(shí)驗(yàn)。為驗(yàn)證設(shè)置類別權(quán)重對(duì)緩解類別不平衡問題的效果，在各個(gè)模型上分別采用設(shè)置權(quán)重和不設(shè)置權(quán)重兩種訓(xùn)練策略。本文模型在Lenovo ThinkStation，Intel i7 CPU，NVIDIA Quadro K2200GPU上訓(xùn)練，使用PyTorch框架。

本文模型與其他深度學(xué)習(xí)模型在兩種訓(xùn)練策略上的實(shí)驗(yàn)對(duì)比結(jié)果見表2，其中w表示訓(xùn)練過程中設(shè)置的不同類別的權(quán)重。由表2可知本文方法的識(shí)別正確率和敏感性值均高于其他方法的對(duì)應(yīng)值，并且在不設(shè)置權(quán)重時(shí)，本文模型的識(shí)別正確率和敏感性結(jié)果也均高于其他模型的對(duì)應(yīng)結(jié)果，表明本文方法的有效性。對(duì)比每類方法設(shè)置權(quán)重和不設(shè)置權(quán)重的結(jié)果可知，敏感性均有所提高，識(shí)別正確率除ResNet外也均有所提升，表明設(shè)置權(quán)重能夠一定程度上緩解類別不平衡問題。

表2 不同模型在兩種訓(xùn)練策略下的對(duì)比結(jié)果

三種模型采用兩種訓(xùn)練策略時(shí)，每一類的具體識(shí)別結(jié)果對(duì)比見圖4。由圖4可知：本文方法大幅提高了黑色素瘤識(shí)別的正確率，同時(shí)在均衡另外兩類的識(shí)別正確率的基礎(chǔ)上，提高了它們的平均識(shí)別正確率，進(jìn)一步表明本文方法的有效性。另外，由圖4還可以看出，黑素瘤的總體識(shí)別正確率偏低，溢脂性角化病和色素痣的識(shí)別正確率普遍較高，這和本文數(shù)據(jù)集的分布有一定的關(guān)系，同時(shí)也說明黑素瘤與另外兩類病變的極度相似性。并且，所有方法的識(shí)別正確率均普遍偏低，也表明了色素性皮膚病變的區(qū)分難度較大。

圖4 不同方法下每類的識(shí)別正確率比較

4 結(jié)語

本文研究了色素性皮膚病的計(jì)算機(jī)輔助診斷，訓(xùn)練了一個(gè)結(jié)構(gòu)化的深度卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了基于皮膚鏡圖像的色素性皮膚病的自動(dòng)識(shí)別分類。本文的深度學(xué)習(xí)模型準(zhǔn)確率更高，同時(shí)避免了人工提取特征的復(fù)雜性和局限性。通過給不同類別樣本設(shè)置不同的損失權(quán)重系數(shù)，在一定程度上緩解了數(shù)據(jù)不平衡帶來的問題，提高了模型的性能。采用的數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)方法有效避免了模型在訓(xùn)練樣本不足時(shí)易出現(xiàn)的過擬合問題。實(shí)驗(yàn)證明本文方法具有較高的識(shí)別正確率和敏感性，在一定程度上滿足了更高要求的臨床需求。