王 慧，戚倩倩，李 雪，孫衛(wèi)佳，劉 瑩，姚春麗

1.長春工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院，長春 130012

2.吉林大學(xué)第二醫(yī)院 皮膚科，長春 130041

皮膚腫瘤是一種常見的皮膚增生性疾病，種類很多，臨床上分為良性腫瘤和惡性腫瘤[1]。皮膚惡性腫瘤有侵襲周圍組織器官及轉(zhuǎn)移的風(fēng)險，早期診斷、及時治療可提高治愈率及生存率。圖1 列出了常見的皮膚良性腫瘤和惡性腫瘤，以及這些疾病患者的皮損圖像。良性腫瘤包括色素痣、脂溢性角化病、皮膚纖維瘤等；常見的皮膚惡性腫瘤包括基底細(xì)胞癌、鱗狀細(xì)胞癌、惡性黑色素瘤等[2]。

圖1 皮膚腫瘤分類及癥狀圖像Fig.1 Skin lesion classification and symptom images

在皮膚惡性腫瘤中基底細(xì)胞癌最為常見，其次為皮膚鱗狀細(xì)胞癌、惡性黑色素瘤?；准?xì)胞癌生長緩慢，極少發(fā)生轉(zhuǎn)移，但具有侵襲性生長的特點[3]。鱗狀細(xì)胞癌具有轉(zhuǎn)移的風(fēng)險，且高危型鱗狀細(xì)胞癌轉(zhuǎn)移有一定的致死率[4]。但絕大多數(shù)的皮膚惡性腫瘤致死病例都是惡性黑色素瘤造成的[5]，早期診斷可極大提高生存率[6]。癌癥篩查和早期診斷是減輕癌癥疾病負(fù)擔(dān)的關(guān)鍵公共衛(wèi)生戰(zhàn)略措施[7]，因此早期診斷、及時治療對改善皮膚惡性腫瘤的預(yù)后至關(guān)重要。但由于部分惡性腫瘤早期臨床表現(xiàn)與一些良性的皮膚腫瘤或皮膚疾病存在一定相似性，如早期惡性黑色素瘤、色素型基底細(xì)胞癌與色素痣，單從臨床表現(xiàn)較難鑒別，缺少經(jīng)驗的醫(yī)生易誤診、漏診，導(dǎo)致皮膚惡性腫瘤的臨床診斷精度低，誤診率高，診療效率低下。應(yīng)用皮膚鏡等輔助檢查措施可一定程度上提高確診率，具有無創(chuàng)、快速的優(yōu)點，但存在組織穿透性有限，結(jié)果判定主觀性強等缺點[8]。目前診斷的金標(biāo)準(zhǔn)仍是皮膚組織活檢病理檢查，但存在專業(yè)人員培養(yǎng)周期長、需要有創(chuàng)操作、耗時、花費高等局限性[9]，因此對于早期的皮膚惡性腫瘤，尋找快速精準(zhǔn)的診斷方法具有重要意義。

隨著人工智能的興起，計算機診斷皮膚疾病成為可能，我國多家醫(yī)院也開始著力于開展有關(guān)人工智能（artificial intelligence，AI）診斷皮膚疾病的研究[10-11]。計算機在提高皮膚科醫(yī)師診斷水平，促進學(xué)科建設(shè)和發(fā)展等方面擁有巨大潛能[12]。人工智能系統(tǒng)可以支持皮膚科醫(yī)生的日常臨床實踐，提高醫(yī)生的診斷效率[13]，同時計算機可以給醫(yī)生提供診斷意見，醫(yī)生也可以結(jié)合臨床和組織病理特征，必要時為人工智能提供臨床信息用于訓(xùn)練，提高系統(tǒng)的正確診斷率。但目前皮膚圖像分類領(lǐng)域內(nèi)的綜述類文章對數(shù)據(jù)集的收集以及不同模型實驗效果整理不夠全面，因此本文針對近幾年的皮膚腫瘤圖像分類方法及相關(guān)數(shù)據(jù)集進行了詳細(xì)的歸納總結(jié)。

1 主要評價數(shù)據(jù)集

在皮膚圖像分類中，常用的公開數(shù)據(jù)集有ISIC數(shù)據(jù)集、PH2數(shù)據(jù)集、MED-NODE數(shù)據(jù)集、七點皮膚病數(shù)據(jù)集以及來源于搜索引擎各種公開的醫(yī)學(xué)圖像等。以下對皮膚疾病數(shù)據(jù)集進行總結(jié)。

（1）ISIC數(shù)據(jù)集

ISIC數(shù)據(jù)集由國際皮膚成像合作組織（The International Skin Imaging Collaboration）提供。從2016 年開始，該組織與領(lǐng)先的計算機視覺會議一起為計算機科學(xué)界贊助了年度挑戰(zhàn)賽，這些挑戰(zhàn)賽在規(guī)模、復(fù)雜性和參與度等方面都在不斷增長，因此ISIC 數(shù)據(jù)集是目前最大、使用頻率最高的公開皮膚疾病數(shù)據(jù)集。該數(shù)據(jù)集包含ISIC2016～ISIC2020共5個數(shù)據(jù)集，其中ISIC2016～ISIC2018 均包含分割、特征檢測、疾病分類三個挑戰(zhàn)，ISIC2019 和ISIC2020 僅包含分類任務(wù)。該數(shù)據(jù)集的訓(xùn)練集和測試集均為通過人工驗證、CC-0 許可的高質(zhì)量圖像和元數(shù)據(jù)。

（2）ISIC2016數(shù)據(jù)集

ISIC2016 數(shù)據(jù)集[14]包含2 類疾病共1 279 張圖像以及類別標(biāo)簽和GroundTruth，測試集包含379張圖像。皮膚疾病圖像顏色深度均為24 位，GroundTruth 顏色深度均為8位，圖像尺寸為722×542～4 288×2 848不等。類別標(biāo)簽以表格形式存儲，使用該數(shù)據(jù)時需要進行預(yù)處理。

（3）ISIC2017數(shù)據(jù)集

ISIC2017 數(shù)據(jù)集[15]包含黑色素瘤、脂溢性角化病、良性痣3類疾病、2 750張圖像、GroundTruth以及類別標(biāo)簽。其中訓(xùn)練集圖像有2 000 張，驗證集和測試集分別有150 張圖像和600 張圖像，皮膚疾病圖像顏色深度均為24 位，圖像尺寸為767×576～6 621×4 441 不等。驗證集和測試集還包括未標(biāo)注的超像素圖像。與ISIC2016相同，類別標(biāo)簽為表格存儲，在訓(xùn)練模型前需要對數(shù)據(jù)集進行預(yù)處理。

（4）ISIC2018數(shù)據(jù)集

ISIC2018 數(shù)據(jù)集[16]中分類和分割包含有不同數(shù)量的疾病圖像，對于分割任務(wù)，共有2 594張圖像作為訓(xùn)練集，驗證集和測試集分別有100 和1 000 張圖像。對于分類任務(wù)，共包含12 500 張圖像，其中訓(xùn)練集共包含10 015 張圖像7 類疾病，分別為光化性角化?。?27）、基底細(xì)胞癌（514）、良性角化病（1 099）、皮膚纖維瘤（115）、黑色素瘤（1 113）、黑色素細(xì)胞性痣（6 705）、血管性皮膚病變（142）。這些圖像由HAM10000[17]數(shù)據(jù)集提供，均為24位顏色深度，尺寸為600×450。驗證集和測試集分別為193 和1 512 張圖像。分類任務(wù)數(shù)據(jù)集中7 類圖像混合在同一個文件夾中，標(biāo)簽以表格存儲，需要預(yù)處理。

（5）ISIC2019數(shù)據(jù)集

ISIC2019數(shù)據(jù)集共包含8類疾病，25 331張圖像，這些數(shù)據(jù)分別來自于HAM10000、BCN20000[18]和ISIC2017數(shù)據(jù)集。測試集共有8 238 張圖像。其中圖像深度均為24位，各個圖像尺寸不同。與ISIC2016～ISIC2018不同，ISIC2019 僅有分類任務(wù)，分別為使用元數(shù)據(jù)進行分類和不使用元數(shù)據(jù)進行分類。數(shù)據(jù)集標(biāo)簽除了標(biāo)明圖像的類別，同時還包括年齡、性別以及解剖部位的信息。同ISIC2018，這些數(shù)據(jù)以表格形式存儲，所有圖像在同一個文件夾中，需要預(yù)處理。

（6）ISIC2020數(shù)據(jù)集

ISIC2020 數(shù)據(jù)集[19]包含來自2 000 多個患者的共33 126例良性和惡性2類皮膚病變皮膚鏡訓(xùn)練圖像。圖像來自巴塞羅那醫(yī)院、維也納醫(yī)科大學(xué)、斯隆·凱特琳紀(jì)念癌癥中心、澳大利亞黑素瘤研究所、昆士蘭大學(xué)和雅典大學(xué)醫(yī)學(xué)院。該數(shù)據(jù)集是針對2020年夏季在Kaggle舉辦的SIIM-ISIC黑色素瘤分類挑戰(zhàn)賽策劃的。所有圖像均為24位顏色深度，且尺寸不相同，所有圖像在同一個文件夾中，數(shù)據(jù)以表格形式存儲，需要預(yù)處理。

（7）PH2數(shù)據(jù)集

PH2數(shù)據(jù)集[20]是在葡萄牙馬托西諾斯Pedro Hispano醫(yī)院皮膚科服務(wù)處獲得的皮膚鏡圖像數(shù)據(jù)集?？偣舶?00例皮膚鏡檢查的黑素細(xì)胞病變，其中有80張普通痣、80張非典型痣和40例黑色素瘤。PH2數(shù)據(jù)集包括所有圖像的醫(yī)學(xué)注釋，即病變的醫(yī)學(xué)分割、臨床和組織學(xué)診斷以及幾種皮膚鏡檢查標(biāo)準(zhǔn)的評估。PH2數(shù)據(jù)集圖像尺寸介于760×560～770×580之間，顏色深度為24位，每張圖像都分別存儲在一個文件夾中，需要進行預(yù)處理。

（8）七點皮膚病數(shù)據(jù)集

七點皮膚病數(shù)據(jù)集[21]用于評估計算機對七點皮膚病變惡性程度的預(yù)測結(jié)果。該數(shù)據(jù)集包括20 類2 045張臨床和皮膚鏡彩色圖像，以及為訓(xùn)練和評估計算機輔助診斷系統(tǒng)而定制的相應(yīng)結(jié)構(gòu)化元數(shù)據(jù)。這些圖像尺寸均為768×512，顏色深度為24位。數(shù)據(jù)集將疾病放在34個文件夾中，使用時需將圖像按類別分開。

（9）MED-NODE數(shù)據(jù)集

MED-NODE數(shù)據(jù)集[22]來自于格羅寧根大學(xué)醫(yī)學(xué)中心皮膚科，共包含2 類170 張圖像，分別為70 例黑色素瘤和100例良性痣。數(shù)據(jù)集包含各種尺寸圖像，顏色深度均為24位，這些疾病按類別分別放在兩個文件夾中，圖片和標(biāo)簽可直接提取，不需要預(yù)處理。

（10）Dermofit Image Library數(shù)據(jù)集

Dermofit Image Library 數(shù)據(jù)集[23]來源于愛丁堡大學(xué)，該數(shù)據(jù)集包含了10 個不同類別的共1 300 張圖像，包括黑色素瘤、脂溢性角化病和基底細(xì)胞癌。每張圖像都有一個基于專家意見（包括皮膚科醫(yī)生和皮膚病理學(xué)家）的標(biāo)準(zhǔn)診斷。每個病變都對應(yīng)一個GroundTruth。

（11）SNU數(shù)據(jù)集

SNU數(shù)據(jù)集[24]來自于首爾國立大學(xué)本當(dāng)醫(yī)院、印加大學(xué)桑吉派克醫(yī)院和哈利姆大學(xué)東灘醫(yī)院，包含134類共2 201個不同尺寸圖像。數(shù)據(jù)集按照疾病類別存儲圖像，可直接讀取，不需要預(yù)處理。

（12）XiangyaDerm數(shù)據(jù)集

XiangyaDerm數(shù)據(jù)集[25]是一個大規(guī)模的以亞洲為主的帶有Bounding Box的皮膚病數(shù)據(jù)集。它包含107 565張臨床圖像，涵蓋541種皮膚病。該數(shù)據(jù)集中的每張圖片都是由專業(yè)醫(yī)生標(biāo)注的，該數(shù)據(jù)集為非公開數(shù)據(jù)集。

（13）網(wǎng)站數(shù)據(jù)集

數(shù)據(jù)集除上述幾類外還可在各種皮膚疾病網(wǎng)站獲得。表1列出了一些公開的皮膚疾病相關(guān)網(wǎng)站如Derm-NetNZ、DermIS、Dermatology Atlas等，這些網(wǎng)站上的圖像主要為臨床圖像，在獲取時具有一定困難，且需要進行預(yù)處理。

皮膚疾病數(shù)據(jù)集總結(jié)如表1所示。

表1 相關(guān)數(shù)據(jù)集Table 1 Related datasets

2 主要評價指標(biāo)

皮膚腫瘤圖像自動分類模型評估指標(biāo)主要有準(zhǔn)確率、精確度、靈敏度、特異度、F1值、ROC曲線、AUC值。計算這些指標(biāo)需要分別計算真陽性（true positive，TP）、真陰性（true negative，TN）、假陽性（false positive，F(xiàn)P）和假陰性（false negative，F(xiàn)N），其概念如下：

真陽性：實為正例，分類器預(yù)測為正例的數(shù)目。

真陰性：實為反例，分類器預(yù)測為反例的數(shù)目。

假陽性：實為反例，分類器預(yù)測為正例的數(shù)目。

假陰性：實為正例，分類器預(yù)測為反例的數(shù)目。

（1）準(zhǔn)確率（Accuracy）

準(zhǔn)確率為預(yù)測正確的數(shù)量占總數(shù)量的百分比。其計算公式如下：

準(zhǔn)確率衡量的是分類器的分類準(zhǔn)確程度，準(zhǔn)確率值越大表示分類器分類結(jié)果與真實確診結(jié)果越接近。

（2）精確度（Precision）

精確度為在所有被預(yù)測為正例的數(shù)目中實際為正例的概率。其計算公式如下：

（3）靈敏度（Sensitivity）

靈敏度又叫召回率（recall）或真陽性率（true positive rate，TPR），為實際為正例的數(shù)目中被正確預(yù)測為正例的數(shù)目。其計算公式如下：

（4）特異度（Specificity）

特異度為實際為反例的數(shù)目中被正確預(yù)測為反例的數(shù)目。其計算公式如下：

（5）F1值（F-Measure）

F1 值是兼顧精確度和召回率的指標(biāo)。F1 值越高，模型性能越好。其計算公式如下：

（6）ROC曲線（receiver operating characteristic）

ROC 曲線將誤判率（false positive rate，F(xiàn)PR）作為x軸，靈敏度作為y軸。靈敏度是所有實際為正例的樣本中，被正確判斷為正例的樣本比率。誤判率是所有實際為反例的樣本中，被錯誤判斷為正例的樣本比率。誤判率的計算公式如下：

（7）AUC值（area under curve）

AUC為ROC曲線下面積，表示處于ROC曲線下方的面積大小。AUC越大，模型分類效果越好，通常AUC值介于0.5 到1.0 之間。AUC 值是一個概率值，表示隨機挑選一個正樣本以及一個負(fù)樣本，分類器判定正樣本分值高于負(fù)樣本分值的概率就是AUC值。

3 計算機皮膚腫瘤圖像自動分類方法

皮膚腫瘤AI輔助診斷的核心為皮膚腫瘤圖像的計算機自動分類，常見分類流程如圖2所示。當(dāng)前皮膚分類算法大體可以分成基于傳統(tǒng)機器學(xué)習(xí)的皮膚圖像自動分類方法和基于深度學(xué)習(xí)的皮膚圖像自動分類方法以及兩者結(jié)合等幾種方式。

圖2 皮膚腫瘤分類流程Fig.2 Flow chart of skin lesion classification

3.1 使用傳統(tǒng)機器學(xué)習(xí)算法

使用傳統(tǒng)機器學(xué)習(xí)算法對皮膚疾病分類主要通過對圖像的紋理、顏色、形狀等特征進行提取量化，之后使用分類算法對提取到的特征進行分類，最終得到分類結(jié)果。其主要流程如圖3所示。為準(zhǔn)確提取到特征，在特征提取步驟之前通常會對圖像進行預(yù)處理，例如去掉噪聲干擾（如毛發(fā)、偽影等）或?qū)Σ≡钸M行分割和邊界檢測，可以減少周圍健康皮膚對特征提取步驟的影響。對于傳統(tǒng)機器學(xué)習(xí)分類算法，則通常使用支持向量機（support vector machine，SVM）[26]和隨機森林（random forest，RF）[27]等方式。

圖3 使用傳統(tǒng)機器學(xué)習(xí)算法分類流程圖Fig.3 Flow chart of traditional machine learning algorithm classification

支持向量機是一種小樣本學(xué)習(xí)方法，其泛化錯誤率低，具有良好的學(xué)習(xí)能力。Chatterjee等人[28]提出基于遞歸特征消除（recursive feature elimination，RFE）的技術(shù)來識別每種疾病。在分類之前，根據(jù)ABCDE 準(zhǔn)則[29]分析皮膚病變的形狀、邊緣不規(guī)則性、紋理和顏色，使用不同的圖像處理工具提取不同的定量特征，之后使用SVM 進行分類，并采用分層結(jié)構(gòu)分類模型對該框架的性能進行評估。但是經(jīng)典的SVM 只適用于二分類算法，在皮膚多分類方面仍具有局限性。對于多分類問題，該團隊利用交叉相關(guān)技術(shù)，在類似視覺影響的基礎(chǔ)上，從皮膚疾病的明顯區(qū)域提取空間和光譜特征，選取適當(dāng)?shù)暮诵膱D像塊進行分析，實現(xiàn)皮膚疾病的多類別分類[30]，取得了較高的性能指標(biāo)，但本質(zhì)上是通過多次SVM進一步分出疾病亞類，最終只能區(qū)分4種不同疾病，對于更多種類的疾病則需要重新設(shè)計并訓(xùn)練更多的分類器。

不同于SVM，隨機森林算法由多個決策樹組成，能有效地在大數(shù)據(jù)集上運行。Dhivyaa等人[31]首先使用區(qū)域生長法對病灶區(qū)域進行初步分割，再使用ABCDE 準(zhǔn)則提取圖像特征，之后根據(jù)這些特征去設(shè)計不同的決策樹，最終使用隨機森林算法實現(xiàn)皮膚病變圖像分類，并用不同的數(shù)據(jù)集進行比較。與SVM 相比，該模型計算復(fù)雜度較低，設(shè)計靈活，可將皮膚疾病分為兩類或兩類以上。但是對于具有噪聲的圖像（例如被毛發(fā)遮擋的疾?。┤菀桩a(chǎn)生過擬合現(xiàn)象，且設(shè)計隨機森林時，可能存在多個相似的決策樹，對結(jié)果造成影響。Murugan 等人[32]則將SVM 與隨機森林結(jié)合起來，對不同特征提取方式提取到的特征進行分類，研究結(jié)果顯示使用灰度共生矩陣（grey-level co-occurrence matrix，GLCM）提取到的特征進行分類，其表現(xiàn)效果要優(yōu)于其他特征提取方式，在ISIC數(shù)據(jù)集上最高達到了89.31%的準(zhǔn)確率。

盡管不同的機器學(xué)習(xí)方式在皮膚分類上取得了較大進展，有些優(yōu)秀的算法甚至超越了人類專家的水平[33]，但傳統(tǒng)的機器學(xué)習(xí)算法是基于統(tǒng)計學(xué)原理的，不同的場景不同算法的表現(xiàn)也有很大差距，而且經(jīng)典機器學(xué)習(xí)算法通常需要復(fù)雜的特征工程，適應(yīng)性較差。

基于傳統(tǒng)機器學(xué)習(xí)的皮膚圖像自動分類代表性算法如表2所示。

表2 基于傳統(tǒng)機器學(xué)習(xí)的皮膚圖像自動分類研究Table 2 Research on skin image classification based on machine learning

3.2 使用深度學(xué)習(xí)網(wǎng)絡(luò)模型

使用基于深度學(xué)習(xí)的方法對皮膚腫瘤圖像進行分類可以極大地提高準(zhǔn)確性，且具有很強的適應(yīng)性。同時深度學(xué)習(xí)網(wǎng)絡(luò)靈活性更強，可以從不同角度創(chuàng)新。圖4展示了當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)模型分類的基本流程，在訓(xùn)練網(wǎng)絡(luò)前通常會對圖像進行數(shù)據(jù)增強（旋轉(zhuǎn)、拉伸、翻轉(zhuǎn)等）和歸一化等預(yù)處理操作，之后將圖像輸入到主干網(wǎng)絡(luò)進行特征提取，在主干網(wǎng)絡(luò)后接全連接層可以將提取到的特征轉(zhuǎn)換為分類結(jié)果。此外，也有學(xué)者使用分割-分類多階段模型對皮膚疾病進行分類，在分類前通常將圖像傳入分割網(wǎng)絡(luò)分割出病灶區(qū)域，之后將分割出的區(qū)域與疾病圖像點乘得到僅有病灶的圖像，這樣做可以排除病灶外皮膚區(qū)域?qū)Ψ诸惥W(wǎng)絡(luò)的干擾，從而提高分類網(wǎng)絡(luò)的準(zhǔn)確率。下面將對各種深度學(xué)習(xí)分類方式進行介紹。

圖4 使用深度學(xué)習(xí)算法分類流程圖Fig.4 Flow chart of deep learning algorithm classification

3.2.1 使用單個模型分類

ResNet[34]，在皮膚分類領(lǐng)域中是一種主流的網(wǎng)絡(luò)模型[35-36]，與人類專家相比具有較高的準(zhǔn)確率[37]。基于ResNet50在皮膚分類任務(wù)上的分類能力，Han等人[38]在網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上增加注意力機制。該研究算法在F1值指標(biāo)上表現(xiàn)出更好的效果，超越了非皮膚科醫(yī)生，準(zhǔn)確率與皮膚科的醫(yī)生相當(dāng)。Tschandl 等人[39]用ResNet34進行了皮膚惡性腫瘤的多分類任務(wù)和二分類任務(wù)。Han等人[40]使用ResNet152模型對12種皮膚病的臨床圖像進行分類。

盡管ResNet 具有強大的性能，但深層的網(wǎng)絡(luò)需要更長時間的訓(xùn)練。不局限于ResNet，針對于皮膚分類任務(wù)，學(xué)者們提出了不同的網(wǎng)絡(luò)模型進行實驗。Jinnai 等人[41]提出了一種基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)，結(jié)果表明該模型分類的精度優(yōu)于皮膚科醫(yī)生，但是該研究的數(shù)據(jù)來源單一，可能存在偏差，并且提出的模型局部紋理識別能力較弱，難以識別低分辨率的圖像。Han等人[42]使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）對多達134 種疾病進行分類，結(jié)果表明CNN 在分析模糊、難以辨別的圖像方面比皮膚科醫(yī)生更有效，然而訓(xùn)練模型使用的圖像質(zhì)量高，在實際應(yīng)用中效果會因為圖像質(zhì)量不佳而下降。Fujisawa 等人[43]使用GoogLeNet[44]進行圖像分類，但該模型在孔隙瘤和脂溢性角化病兩種疾病上的分類效果不佳。Liu 等人[45]則提出了一種多級關(guān)系捕獲網(wǎng)絡(luò)（multi-level relationship capture network，MRCN），使用區(qū)域相關(guān)學(xué)習(xí)模塊來模擬中心病變區(qū)域中不同重要區(qū)域之間的關(guān)系。同時，使用跨圖像學(xué)習(xí)模塊來模擬多幅圖像之間的深度語義相關(guān)性。該模型在三個具有挑戰(zhàn)性的數(shù)據(jù)集上進行了全面的實驗，實驗結(jié)果表明了MRCN優(yōu)越的性能。

隨著各種計算機視覺領(lǐng)域的模型提出，目前使用單個模型進行分類的技術(shù)已經(jīng)趨于成熟，且易于實現(xiàn)，同時準(zhǔn)確率較高。但對于不同的數(shù)據(jù)集，數(shù)據(jù)分布差異大，模型容易受到噪聲，如毛發(fā)、光線等多種因素影響，因此在多種數(shù)據(jù)集之間，單個模型表現(xiàn)可能相差較大，預(yù)測結(jié)果不具有穩(wěn)定性。

使用單個模型分類的代表性算法總結(jié)如表3所示。

表3 使用單個模型分類研究總結(jié)Table 3 Research on classification using individual models

3.2.2 比較多種模型效果

在不同數(shù)據(jù)集上，不同的模型表現(xiàn)可能存在較大差異，通常學(xué)者會比較多種模型的效果最終選取效果較好的模型。Kimeswenger 等人[46]基于兩種方法實現(xiàn)神經(jīng)網(wǎng)絡(luò)體系，分別是加入SELU 的Baseline 和多實例學(xué)習(xí)（multiple instance learning，MIL）體系結(jié)構(gòu)，最終通過比較每種網(wǎng)絡(luò)的結(jié)果得出具有注意力機制的MIL 結(jié)構(gòu)效果更好。通過使用四種不同的網(wǎng)絡(luò)模型，Huang 等人[47]實現(xiàn)了基底細(xì)胞癌和脂溢性角化病的分類。同樣，Singhal 等人[48]也比較了四種不同網(wǎng)絡(luò)模型在皮膚疾病七分類上的表現(xiàn)，之后選取表現(xiàn)最好的模型作為最終模型。上述Huang 與Singhal 等人的研究中，最終得出的結(jié)論都是Inception ResNet v2[49]在數(shù)據(jù)集上與其他模型相比的表現(xiàn)更好。在Huang等人[50]的研究中，通過比較多個模型最終得到DenseNet[51]在良惡性二分類任務(wù)中效果更好，EfficientNet[52]在多分類任務(wù)上綜合表現(xiàn)更好。Xie等人[53]在自己建立的湘雅數(shù)據(jù)集上比較了五種不同的模型，最終發(fā)現(xiàn)Xception[54]的表現(xiàn)最好。Mijwil[55]在其研究中使用三種不同體系結(jié)構(gòu)，在ISIC2019 和ISIC2020 數(shù)據(jù)集上進行測試，最終實驗結(jié)果表明Inception v3的表現(xiàn)更好。

在上述實驗中，盡管都是皮膚疾病分類的任務(wù)，但學(xué)者們在不同數(shù)據(jù)集上得出了不同的結(jié)論，說明數(shù)據(jù)分布不同，不同網(wǎng)絡(luò)模型表現(xiàn)可能也存在差異。但上述各實驗結(jié)論中表現(xiàn)最好的模型都具有相同的特點——更寬的網(wǎng)絡(luò)。通常來說，加深網(wǎng)絡(luò)深度可以提升網(wǎng)絡(luò)的表達能力，增加感受野（如VGGNet[56]和ResNet 等），而更寬的網(wǎng)絡(luò)則能使網(wǎng)絡(luò)學(xué)習(xí)豐富的特征（如DenseNet、EfficientNet、InceptionNet 等），對于皮膚疾病圖像分類，病灶通常位于圖像中央，且各類疾病具有高度相似性，因此提取更豐富的特征辨別各類疾病間細(xì)微差距相比于增加感受野更能提高網(wǎng)絡(luò)的分類準(zhǔn)確率。

通過使用多種不同深度學(xué)習(xí)網(wǎng)絡(luò)模型分別來完成分類任務(wù)，然后進行比較，得出最好的分類模型。這種方式通常用于篩選分類任務(wù)中的主干網(wǎng)絡(luò)，但本質(zhì)上仍然屬于使用單個網(wǎng)絡(luò)進行分類，若通過多個網(wǎng)絡(luò)合作進行分類，其穩(wěn)定性相比于單個網(wǎng)絡(luò)會更高。

比較多種模型效果的代表性算法總結(jié)如表4所示。

表4 比較多種模型效果研究Table 4 Research on comparing effects of multiple models

3.2.3 分割-分類多階段模型

分割-分類多階段模型模擬了醫(yī)生診斷皮膚疾病時的流程，相比于單個分類網(wǎng)絡(luò)，往往能取得更好的效果。Al-Masni等人[57]提出了一種二階段診斷模型，首先使用全分辨率卷積神經(jīng)網(wǎng)絡(luò)（full resolution convolutional network，F(xiàn)rCN）進行分割，再使用四種不同的分類網(wǎng)絡(luò)進行分類。但該研究使用兩個級聯(lián)網(wǎng)絡(luò)完成，因此需要為每個階段準(zhǔn)備訓(xùn)練數(shù)據(jù)。Jiang 等人[58]提出一種分類模型和后續(xù)語義分割模型組成的框架。但是研究使用的全視野數(shù)字切片（whole slide image，WSI）數(shù)據(jù)受系統(tǒng)成本、存儲等限制，在世界范圍的疾病診斷應(yīng)用內(nèi)進展緩慢。Khouloud 等人[59]則提出了一種檢測黑色素瘤的深度學(xué)習(xí)模型，該模型由分割網(wǎng)絡(luò)W-Net和分類網(wǎng)絡(luò)Inception ResNet 兩部分，實驗表明該模型的分割和分類能力表現(xiàn)優(yōu)秀，具有更高的準(zhǔn)確性。Khan 等人[60]也提出了包括分割和分類兩個階段的深度學(xué)習(xí)框架，分別在不同的數(shù)據(jù)集上進行測試，獲得了良好的分類效果，但是該模型對紋理、顏色和背景等方面要求較高。除了分割模型，YOLO[61]作為目標(biāo)檢測模型，也可以提取包含病灶在內(nèi)的矩形區(qū)域，Nersisson 等人[62]融合YOLO 和CNN 提出了新的分類網(wǎng)絡(luò)，該網(wǎng)絡(luò)先使用YOLO 提取病灶區(qū)域，之后再使用CNN 完成皮膚疾病的分類。該研究在ISIC2016 數(shù)據(jù)集上達到了94%的準(zhǔn)確率，并且在處理有毛發(fā)、汗液的圖像時基本不受影響，魯棒性強。Liu等人[63]模擬醫(yī)生學(xué)習(xí)和診斷過程提出了臨床啟發(fā)網(wǎng)絡(luò)（clinical-inspired network，CIN）。該網(wǎng)絡(luò)由病變區(qū)域分割模塊、病變特征注意模塊和病變區(qū)分模塊三部分組成，并在ISIC2016 和ISIC2017 數(shù)據(jù)集上測試，獲得了較高的準(zhǔn)確率。

使用多個網(wǎng)絡(luò)共同完成分類任務(wù)具有更高的穩(wěn)定性，例如對病灶先進行分割，一定程度上減輕了數(shù)據(jù)分布差異對模型造成的影響，但多個網(wǎng)絡(luò)的訓(xùn)練成本高，網(wǎng)絡(luò)參數(shù)大，對硬件要求高，難以普及。

分割-分類多階段模型的代表性算法總結(jié)如表5所示。

表5 分割-分類多階段模型研究總結(jié)Table 5 Summary of research on segmentation-classification multi-stage models

3.2.4 其他分類方式

從醫(yī)學(xué)數(shù)據(jù)集不足的角度出發(fā)，使用生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）擴充數(shù)據(jù)集往往也能提升網(wǎng)絡(luò)預(yù)測效果。Zhao 等人[64]提出了基于Self-Attention-StyleGAN 的皮膚癌圖像生成分類網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用生成對抗網(wǎng)絡(luò)生成圖像，之后進行分類。該模型的平衡多類精度在ISIC2019 數(shù)據(jù)集上達到了94.71%。Gao等人[65]設(shè)計了一種正則化的對抗訓(xùn)練框架，在2D皮膚癌分類和3D 危及器官分割任務(wù)上，以較少的訓(xùn)練開銷獲得了優(yōu)于最先進自動增強方法的性能。盡管GAN可以大幅擴充數(shù)據(jù)集，提高準(zhǔn)確性，但與分割-分類模型相同，GAN增加了訓(xùn)練的成本。

不局限于數(shù)據(jù)集，作為訓(xùn)練時評估模型表現(xiàn)好壞的損失函數(shù)同樣對模型的訓(xùn)練效果有著巨大影響。Lei等人[66]模擬醫(yī)學(xué)生比較疾病之間異同點來學(xué)習(xí)和識別一種疾病的方式，提出了一種三元組模型及三元組損失，該損失讓三元組的學(xué)習(xí)更加穩(wěn)定。Barata等人[67]模擬醫(yī)生看病時結(jié)合以往經(jīng)驗的方式引入了基于內(nèi)容的圖像檢索（content-based image retrieval，CBIR）技術(shù)，并提出由交叉熵?fù)p失、三重態(tài)損失、對比損失和蒸餾損失四部分組成的損失函數(shù)，取得了良好的結(jié)果。Zhu 等人[68]受小樣本學(xué)習(xí)（few-shot learning，F(xiàn)SL）的啟發(fā)，將FSL 運用到皮膚疾病分類中，提出查詢相對（query-relative，QR）損失解決交叉熵?fù)p失與Episode Training 不兼容導(dǎo)致模型效果不佳的問題。修改損失函數(shù)雖然對模型的訓(xùn)練不產(chǎn)生直接的時間消耗，但損失函數(shù)與網(wǎng)絡(luò)處理方式通常是相對應(yīng)的，不具有泛化性。

開發(fā)輕量級的網(wǎng)絡(luò)模型進行皮膚疾病分類也是重要的研究方向之一，它可以嵌入到移動設(shè)備，使得患者在醫(yī)生診斷前獲得較為精確的檢測結(jié)果，之后醫(yī)生也可以參考該結(jié)果進行診斷。Toaar等人[69]提出了一種基于自動編碼器、脈沖神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的模型。該模型的分類網(wǎng)絡(luò)使用MobileNetv2[70]，可以大大節(jié)省參數(shù)量，使其可以應(yīng)用在智能手機上，同時自動編碼器和脈沖神經(jīng)網(wǎng)絡(luò)彌補了MobileNetv2 準(zhǔn)確率不高的問題。Srinivasu等人[71]在MobileNetv2的基礎(chǔ)上加入了LSTM[72]機制，在HAM10000 數(shù)據(jù)集上達到了85%的準(zhǔn)確率，并將該模型應(yīng)用到手機上。Iqbal 等人[73]設(shè)計了一種輕量級的皮膚分類網(wǎng)絡(luò)CSLNet，該網(wǎng)絡(luò)具有高效率和高性能。該研究中提出的算法在ISIC 數(shù)據(jù)集上的表現(xiàn)優(yōu)于最先進的算法。

輕量級模型訓(xùn)練時間短，可以嵌入到移動設(shè)備，具有相當(dāng)大的研究前景，但在設(shè)計輕量級模型時同時保證準(zhǔn)確率與泛化能力具有一定的挑戰(zhàn)性。

其他分類方式的代表性算法總結(jié)如表6所示。

表6 其他分類方式研究Table 6 Research on other classification methods

3.3 深度學(xué)習(xí)模型與傳統(tǒng)機器學(xué)習(xí)算法結(jié)合

除了上述提到的深度學(xué)習(xí)的方式與傳統(tǒng)機器學(xué)習(xí)算法的方式，也有學(xué)者嘗試將兩種方法結(jié)合起來對皮膚疾病圖像進行分類。在傳統(tǒng)機器學(xué)習(xí)分類流程的基礎(chǔ)上使用深度學(xué)習(xí)網(wǎng)絡(luò)替代特征提取部分，而預(yù)處理部分也需要換成深度學(xué)習(xí)方式中的預(yù)處理。將深度學(xué)習(xí)模型與傳統(tǒng)機器學(xué)習(xí)算法結(jié)合的方式包含了兩種分類方式的優(yōu)點，不僅省略了傳統(tǒng)機器學(xué)習(xí)算法中復(fù)雜的特征工程的操作，而且將深度學(xué)習(xí)中全連接層換成傳統(tǒng)機器學(xué)習(xí)中的算法也可以進一步提高算法的分類速度。使用兩種方式分類的流程圖如圖5所示。

圖5 結(jié)合深度學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)算法分類流程圖Fig.5 Flow chart of combining deep learning with traditional machine learning algorithm classification

Dorj 等人[74]利用經(jīng)過預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型進行特征提取，利用ECOC-SVM 分類器對皮膚惡性腫瘤進行分類。該模型準(zhǔn)確率、靈敏度、特異度均超過90%，表現(xiàn)優(yōu)于其他模型。Minagawa等人[75]使用灰度算法對亮度和顏色平衡進行標(biāo)準(zhǔn)化，之后將預(yù)處理后的圖像使用深度神經(jīng)網(wǎng)絡(luò)進行分類。Tyagi等人[76]將卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與粒子群算法相結(jié)合，提出一種基于皮膚鏡圖像的疾病預(yù)測與分類智能預(yù)測模型，該模型在ISIC2016 上的分類準(zhǔn)確率高達99.46%，其他指標(biāo)也均在97%以上。Khan 等人[77]提出一種使用深度學(xué)習(xí)特征和改進的飛蛾火焰優(yōu)化（improved moth-flame optimization，IMFO）算法進行皮膚病變分割和分類，該方法融合了多種機器學(xué)習(xí)算法和特征分析方式，實現(xiàn)了分割-分類兩階段的模型，在ISIC2016～ISIC2018 數(shù)據(jù)集上的準(zhǔn)確率均超過90%。由于該模型使用了較多的技術(shù)，整個分類流程需要花費較長的計算時間。在Adla 等人[78]的研究中，首先使用深度學(xué)習(xí)的方式提取圖像的特征，然后使用基于燕子群算法的卷積稀疏自動編碼器（convolutional sparse auto-encoder，CSAE）進行分類，取得了優(yōu)良的結(jié)果，該算法在ISIC2017上的準(zhǔn)確率高達98.5%。

使用傳統(tǒng)機器學(xué)習(xí)算法與深度學(xué)習(xí)網(wǎng)絡(luò)模型進行結(jié)合的方式適用于各種不同情況的疾病分類，傳統(tǒng)機器學(xué)習(xí)算法與深度學(xué)習(xí)的結(jié)合保證了模型的預(yù)測速度以及較高的準(zhǔn)確率，同時可以通過深度學(xué)習(xí)提取特征的方式解決復(fù)雜的特征工程問題。但是將兩種方式結(jié)合仍然存在一定困難，如何通過深度學(xué)習(xí)網(wǎng)絡(luò)生成適用于機器學(xué)習(xí)處理的特征是一項挑戰(zhàn)。同時該方向也一直是學(xué)術(shù)界積極探索的問題，目前相關(guān)的研究較少，具有很高的研究價值。

深度學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)算法結(jié)合分類的代表性算法總結(jié)如表7所示。

表7 深度學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)算法結(jié)合分類研究Table 7 Research on combination of deep learning and machine learning algorithms for classification

4 總結(jié)

4.1 不同模型在典型數(shù)據(jù)集上的表現(xiàn)

本文總結(jié)了許多學(xué)者提出的不同模型，下面選取四個不同的典型數(shù)據(jù)集，分別是ISBI2016（ISIC2016）、ISIC2017、ISIC2018（HAM10000）和ISIC2019數(shù)據(jù)集，評估指標(biāo)選取準(zhǔn)確率、精確度、靈敏度、特異度進行分析。

不同實驗中數(shù)據(jù)集的訓(xùn)練集和測試集劃分不同，因此相同的模型在同一數(shù)據(jù)集上也可能產(chǎn)生不同結(jié)果。此外訓(xùn)練輪數(shù)、Batchsize、學(xué)習(xí)率等超參數(shù)的設(shè)置對網(wǎng)絡(luò)訓(xùn)練結(jié)果也會產(chǎn)生較大影響。圖6～圖9 展示了不同模型在數(shù)據(jù)集的表現(xiàn)。

圖6 不同模型在ISIC2016數(shù)據(jù)集上的比較Fig.6 Comparison of different models on ISIC2016 dataset

圖7 不同模型在ISIC2017數(shù)據(jù)集上的比較Fig.7 Comparison of different models on ISIC2017 dataset

圖8 不同模型在ISIC2018數(shù)據(jù)集上的比較Fig.8 Comparison of different models on ISIC2018 dataset

從圖6～圖9中可以看出，使用多種網(wǎng)絡(luò)共同合作的方式準(zhǔn)確率和靈敏度高于使用單個模型，說明多個網(wǎng)絡(luò)合作更適用于圖像分類任務(wù)。對于ISIC2018數(shù)據(jù)集，其相關(guān)研究的文獻更多，說明目前的皮膚疾病分類任務(wù)數(shù)據(jù)集主要以ISIC2018（HAM10000）為主。而ISIC2019相關(guān)的研究不多，作為較新的數(shù)據(jù)集，其數(shù)據(jù)量比ISIC2018 更大，可能會在今后的研究中成為主要數(shù)據(jù)集。此外，從ISIC2016到ISIC2019數(shù)據(jù)集，模型的綜合效果逐年下降，這是因為ISIC2016數(shù)據(jù)集的圖像和種類較少，分類相對簡單。而ISIC2019 數(shù)據(jù)集共有8 類，數(shù)據(jù)集總量為ISIC2016的20倍左右，因此挑戰(zhàn)性更大。

圖9 不同模型在ISIC2019數(shù)據(jù)集上的比較Fig.9 Comparison of different models on ISIC2019 dataset

4.2 不同方法的適用范圍

表8總結(jié)了不同方法/機制的優(yōu)點、局限性以及適用范圍。當(dāng)前皮膚疾病分類任務(wù)更傾向于使用深度學(xué)習(xí)的方式。對于使用深度學(xué)習(xí)框架，單個分類網(wǎng)絡(luò)的框架已經(jīng)較為成熟，易于實現(xiàn)，但是這種方式受輸入圖像影響較大，例如臨床圖像中的病灶小，不在中心等位置，可能導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時受到較大噪聲的干擾，影響分類結(jié)果。使用多個網(wǎng)絡(luò)比較更適用于篩選出合適的網(wǎng)絡(luò)模型作為Backbone 或Baseline，并在此基礎(chǔ)上進行創(chuàng)新。而使用網(wǎng)絡(luò)類似于分割-分類多階段的模型完成圖像分類保證了更高的穩(wěn)定性，同時修改更具有靈活性。使用GAN對數(shù)據(jù)集擴充可以有效解決醫(yī)學(xué)領(lǐng)域皮膚疾病數(shù)據(jù)集少的問題，但是生成圖像的質(zhì)量難以保證。損失函數(shù)的創(chuàng)新可能為模型帶來不錯的提升，但設(shè)計起來相對困難，泛化能力比交叉熵?fù)p失弱。輕量級的模型具有更強的實用性，但同時保證較少的參數(shù)量和較強的泛化能力仍是一項巨大挑戰(zhàn)。知識蒸餾（knowledge distillation）作為當(dāng)前研究熱點，可以結(jié)合上述所有深度學(xué)習(xí)模型進行創(chuàng)新，具有相當(dāng)大的潛力。結(jié)合深度學(xué)習(xí)與機器學(xué)習(xí)的方式雖然也是學(xué)術(shù)界積極研究的問題，但該方向仍然存在一定困難。

表8 不同方法/機制的特點和適用范圍Table 8 Features and application scope of different methods/mechanisms

4.3 研究趨勢

對于數(shù)據(jù)集來說，當(dāng)前研究的數(shù)據(jù)集主要傾向于ISIC2018 數(shù)據(jù)集，而關(guān)于ISIC2019 和ISIC2020 的實驗相關(guān)研究較少。此外，Wang 等人[79]認(rèn)為當(dāng)前的皮膚圖像分類都采用標(biāo)注好類型的數(shù)據(jù)集，這無疑需要消耗大量的人工和精力去制作精良的數(shù)據(jù)集，因此他們提出了一種基于自監(jiān)督拓?fù)渚垲惥W(wǎng)絡(luò)的未標(biāo)記皮膚損傷分類。該方法可以在沒有先驗分類結(jié)果的情況下自動對未標(biāo)記的醫(yī)學(xué)圖像進行分類，并且充分的實驗證明了他們提出的STCN 模型能夠有效地解決未標(biāo)記的醫(yī)學(xué)圖像分類任務(wù)。

從分類模型來看，傳統(tǒng)的機器學(xué)習(xí)和單個網(wǎng)絡(luò)模型的研究在近年來較少，因為這兩種方法的發(fā)展已經(jīng)較為成熟，此外這兩種方法在分類準(zhǔn)確性上具有一定的局限性。在未來發(fā)展上，皮膚分類模型將趨向于準(zhǔn)確率更高，模型更輕量。對于更高的準(zhǔn)確率，使用遷移學(xué)習(xí)往往能帶來更好的效果，除了載入預(yù)訓(xùn)練權(quán)重，領(lǐng)域自適應(yīng)（domain adaptation）作為遷移學(xué)習(xí)中的一部分，旨在把分布不同的源域和目標(biāo)域的數(shù)據(jù)，映射到一個特征空間中，使其在該空間中的距離盡可能近，這也是目前研究的熱點之一。但是在領(lǐng)域遷移時，域內(nèi)和域間類別不平衡的問題成為一項挑戰(zhàn)，Yoon等人[80]則提出一種分類和對比語義對齊（classification and contrastive semantic alignment，CCSA）的方式來解決域內(nèi)與域間數(shù)據(jù)不平衡的問題，為了鼓勵從少數(shù)類中學(xué)習(xí)，損失使用采樣的類概率來加權(quán)分類和對齊損失。Bayasi 等人[81]提出了一種用于多域?qū)W習(xí)（multi-domain learning，MDL）的持續(xù)學(xué)習(xí)（continual learning，CL）方法，即一種新的剪枝策略，該策略會檢測每個域中造成錯誤分類的相關(guān)單元，并釋放這些單元，以便它們專門用于新域的后續(xù)學(xué)習(xí)。此外，作者有效地將剪枝和訓(xùn)練階段合并為一個步驟，從而減少與重新訓(xùn)練網(wǎng)絡(luò)后對于網(wǎng)絡(luò)剪枝的相關(guān)計算成本。

此外，也有不少學(xué)者結(jié)合當(dāng)前熱點技術(shù)等對皮膚疾病圖像進行分類。強化學(xué)習(xí)是一類學(xué)習(xí)、預(yù)測、決策的框架，它與環(huán)境交互，是一種針對序列問題的算法，相比于監(jiān)督學(xué)習(xí)，強化學(xué)習(xí)考慮的是長期回報，這種長遠(yuǎn)的眼光對于找到最優(yōu)解非常關(guān)鍵。例如Akrout 等人[82]引入強化學(xué)習(xí)技術(shù)，將其與CNN結(jié)合提出一種問答（question answering，QA）模型，該模型提高了視覺癥狀檢查器的分類置信度和準(zhǔn)確性，同時減少了提出的平均問題數(shù)。聯(lián)邦學(xué)習(xí)能夠在滿足用戶隱私保護、數(shù)據(jù)安全和政府法規(guī)的要求下，在多參與方或多計算結(jié)點之間開展高效率的機器學(xué)習(xí)框架。Bdair等人[83]提出一種半監(jiān)督的聯(lián)邦學(xué)習(xí)方法，并提出了對等匿名化（peer anonymization，PA）技術(shù)來改善隱私，在提高性能的同時降低了通信成本。知識蒸餾是一種壓縮模型的方法，由教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)組成，通過精簡、參數(shù)量小的學(xué)生網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜、泛化能力強的教師網(wǎng)絡(luò)的輸出，使得學(xué)生網(wǎng)絡(luò)能夠有效地學(xué)習(xí)教師網(wǎng)絡(luò)的泛化能力。Van Molle等人[84]使用知識蒸餾技術(shù)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，并將其運用到皮膚疾病分類上，取得了良好的效果。Transformer是一種利用注意力機制來提高訓(xùn)練速度的模型，被廣泛應(yīng)用于自然語言處理中，最近有研究證實其在計算機視覺領(lǐng)域也有巨大潛力。Shamshad 等人[85]對Transformer 在醫(yī)學(xué)領(lǐng)域中的應(yīng)用進行了詳細(xì)的總結(jié)。Wu等人[86]引用自然語言分析中的Transformer 技術(shù)與分類網(wǎng)絡(luò)結(jié)合，在全視野數(shù)字切片上進行分類，實驗結(jié)果表示該方法優(yōu)于其他全視野數(shù)字切片方法。

除了模型和技術(shù)上的創(chuàng)新，結(jié)合醫(yī)學(xué)知識去分析疾病類別同樣也是一種新的方向。例如Kinyanjui 等人[87]提出了一種估計皮膚病基準(zhǔn)數(shù)據(jù)集中膚色的方法，并研究模型性能是否依賴于該度量。Pacheco等人[88]使用元數(shù)據(jù)（例如病人的年齡、性別等）進行輔助分類，他們使用了五種不同的網(wǎng)絡(luò)，并加入他們提出的元數(shù)據(jù)處理塊，使得網(wǎng)絡(luò)的分類結(jié)果有所提升。

盡管深度學(xué)習(xí)在皮膚腫瘤圖像分類領(lǐng)域取得巨大進展，許多模型與方法已經(jīng)較為成熟甚至投入實際使用，但目前的研究仍然存在以下問題或改進方向：

（1）在醫(yī)學(xué)領(lǐng)域，數(shù)據(jù)集缺乏仍然是一項重要的問題，而制作一份精良的醫(yī)學(xué)數(shù)據(jù)集不僅需要專業(yè)的人員操作，同時需要消耗巨大的成本。使用自監(jiān)督技術(shù)標(biāo)注數(shù)據(jù)集能大大降低時間和人工的消耗。此外，使用生成對抗網(wǎng)絡(luò)可以生成逼真的圖像，也可以解決醫(yī)學(xué)圖像數(shù)據(jù)少的問題。

（2）現(xiàn)有的分類模型大部分都局限于單一模型對單張圖像直接進行分析，若結(jié)合其他信息，如患者年齡、膚色、性別、各類別圖像之間的異同點、其他模型的軟預(yù)測結(jié)果等，可能會對模型的提升有更大幫助。不局限于計算機視覺領(lǐng)域，引入其他領(lǐng)域的技術(shù)如Transformer、強化學(xué)習(xí)、聯(lián)邦學(xué)習(xí)進行皮膚疾病分類也是當(dāng)前的研究熱點之一，且目前相關(guān)研究較少，值得深入探索。

（3）隨著深度學(xué)習(xí)的發(fā)展，會有越來越多性能優(yōu)異的模型被提出，相比于追求高的準(zhǔn)確率，輕量級的模型在醫(yī)學(xué)領(lǐng)域的實用價值更大，不管是嵌入在移動設(shè)備端，或是在云端計算機上運算，輕量級模型能在保證不降低過多準(zhǔn)確率的情況下大幅提升效率。領(lǐng)域自適應(yīng)、知識蒸餾、網(wǎng)絡(luò)剪枝、輕量級模型等技術(shù)具有巨大的研究價值。

5 結(jié)束語

皮膚惡性腫瘤對患者的生活質(zhì)量及生命健康威脅巨大，但是惡性腫瘤又與一些良性腫瘤臨床表現(xiàn)相似，容易導(dǎo)致醫(yī)生的誤診，使用AI 輔助醫(yī)生的方式可以提高醫(yī)生的診斷效率和精確度，可在醫(yī)療領(lǐng)域中發(fā)揮重大作用?；谄つw腫瘤圖像自動分類的臨床輔助診斷模型，可有效提高皮膚科醫(yī)生的臨床診斷效率和準(zhǔn)確率，縮短診斷周期，達到各級醫(yī)院的診斷均質(zhì)化，具有重要的實用價值。

本文對國內(nèi)外皮膚腫瘤圖像自動分類方法進行了歸納總結(jié)，在有關(guān)人機的對比實驗中，無論傳統(tǒng)機器學(xué)習(xí)算法還是深度學(xué)習(xí)算法對皮膚腫瘤分類效果都比一般醫(yī)生要好，和專家水平相當(dāng)。且計算機具有很強的計算能力，因此使用計算機輔助醫(yī)學(xué)診斷是未來醫(yī)療的趨勢。相比于傳統(tǒng)機器學(xué)習(xí)算法，深度學(xué)習(xí)方法在提取圖像特征中具有較強優(yōu)勢，準(zhǔn)確率更高，因此多數(shù)的皮膚圖像分類任務(wù)都是使用基于深度學(xué)習(xí)的方法實現(xiàn)的。而深度學(xué)習(xí)算法有很多種模型，不同的模型各有優(yōu)勢，在不同任務(wù)中表現(xiàn)的效果不同，因此使用多種網(wǎng)絡(luò)模型組合完成任務(wù)也是實現(xiàn)圖像分類任務(wù)的方法之一。同時，隨著算力的不斷提升，也會有更多新的模型被提出，這些網(wǎng)絡(luò)模型在醫(yī)學(xué)圖像分類領(lǐng)域中也會有較好的表現(xiàn)。