趙 宸，帥仁俊，馬 力，劉文佳，吳夢麟

1.南京工業(yè)大學 計算機科學與技術學院，南京211816

2.南京市衛(wèi)生信息中心，南京210003

3.南京醫(yī)科大學附屬常州第二人民醫(yī)院，江蘇 常州213003

與其他類型的癌癥相比，皮膚癌的高發(fā)病率使之成為了世界上最嚴重的健康問題之一[1]。近五十年來，全世界黑色素瘤的發(fā)病率在急劇上升。對于黑色素瘤患者來說，五年以內生存率為95%，而晚期則只有15%，這種非常顯著的差異突出了及時地識別并發(fā)現(xiàn)黑色素瘤對于患者維持生命的重要性。因此，及時發(fā)現(xiàn)皮膚癌是降低皮膚癌發(fā)病率的關鍵因素[2]。

皮膚鏡是一種用來消除皮膚表面反射的成像技術。當表面反射被消除時，深層皮膚癌病變的可視化得到增強[3]。這種技術與標準攝影相比可以產生較高的診斷準確率。為了改善皮膚癌病變疾病的診斷效果，在臨床中引入了皮膚鏡檢查以協(xié)助皮膚科醫(yī)生進行診斷[4]。但在臨床醫(yī)學中，醫(yī)生對于皮膚鏡的病變圖像（尤其是黑色素瘤）的肉眼識別率存在一定的誤差，而且對于黑色素瘤的識別要求醫(yī)生有一定的技術與經驗。皮膚癌病變識別的容錯率較低，誤識別會對患者產生非常嚴重的后果[5]。

隨著計算機技術的迅速發(fā)展，人工智能和深度學習技術得到了廣泛的應用，尤其是在圖像處理方面取得了很大的進步，深度卷積神經網絡（DCNNS）能夠精確地檢測、分割識別醫(yī)學圖像中的區(qū)域與對象[6]。深度學習技術在醫(yī)學臨床應用越來越廣泛，不僅僅是模式識別領域中的圖像分類，在圖像生成方面也達到了很好的效果[7-8]。

Milton[9]提出了一種基于深度學習模型的集成神經網絡，包括PNASNet-5-large、Inception-ResNetv2、SeNet154和Inceptionv4。在將皮膚鏡檢查圖像輸入網絡之前，需要對其進行處理和適當增強。在ISIC2018數(shù)據(jù)集上，準確性為0.76。但樣本量不足，準確度較低。Akram 等[10]提出了一個基于集成的深度神經網絡，并在ISIC2018皮膚癌病變數(shù)據(jù)集中進行了分類測試。該方法集成了圖像深層的特征信息，生成了最具區(qū)別性的特征向量，并保留了原始特征空間。Hu等[11]提出了一種綜合分類方法，該方法結合了基于屏蔽和深度卷積殘差網絡的數(shù)據(jù)增強，通過一系列實驗驗證了該方法的有效性。該模型使用更少的訓練樣本在皮膚疾病數(shù)據(jù)集上獲得了更好的分類結果。

Rashid 等[12]將生成對抗網絡（GAN）應用于皮膚癌病變圖像數(shù)據(jù)的增強，并且GAN 的鑒別器還充當了最終分類器，從ISIC2018挑戰(zhàn)數(shù)據(jù)集中進行識別7個皮膚癌病變類別。作者還利用遷移學習來微調DenseNet和ResNet 架構，并將其分類性能與基于GAN 的數(shù)據(jù)增強模型進行比較。所提出的方法在平衡精度得分方面獲得了顯著的性能提升。Baur 等[13]提出了一種深層識別的GAN（DDGAN）。合成了逼真的256×256 皮膚病灶圖像，并對DDGAN、DC-GAN和LAPGAN進行了比較，表明DDGAN 和LAPGAN 都可以學習數(shù)據(jù)集的分布并合成逼真的樣本。

Baur等[14]利用了漸進式增長的概念，該概念與其他GAN體系結構（如DC-GAN和LAPGAN）在數(shù)量和質量上都進行了比較。結果表明，借助漸進式生長，可以合成皮膚癌病變的高度真實的皮膚鏡圖像，即使是專業(yè)的皮膚科醫(yī)生也很難將其與真實的皮膚病區(qū)分開。Bissoto等[15]采用pix2pixHD GAN進行圖像合成。他們不是從隨機噪聲中生成圖像，而是從語義圖和實例圖合成圖像。為了反映GAN 系列生成網絡對圖像模式識別的重要性，Bissoto等[16]從6個方面總結和比較了近年來的GAN：架構貢獻、條件技術、法線和約束貢獻、損失函數(shù)、圖像到圖像的轉換以及驗證指標。結果表明，StyleGAN對黑色素瘤生成的影響比其他GAN更現(xiàn)實和更合適。Gong等[17]利用StyleGAN 生成高質量圖像，以解決ISIC2019 數(shù)據(jù)集的最小和不均勻分布，并提高了CNN的分類準確性。他們的方法提高了皮膚鏡圖像分類的準確性?；赟tyleGAN 在增強皮膚癌數(shù)據(jù)方面的出色表現(xiàn)，選擇優(yōu)化改進StyleGAN并將其用于皮膚癌分類項目。

從以上文獻來看，當前皮膚癌病變圖像合成研究中最重要的挑戰(zhàn)之一是通過上述方法生成的圖像的分辨率和質量較差，且神經網絡的魯棒性低?？尚枰冗M的GAN架構生成高分辨率圖像應用于皮膚癌病變圖像合成。

為解決上述問題，本文提出了一種基于自注意力樣式的生成對抗網絡（self-attention style-based GAN，SA-StyleGAN）與SE-ResNeXt-50 相結合的皮膚癌病變圖像生成與分類的框架。使用SA-StyleGAN 擴展數(shù)據(jù)集樣本，通過合成新的樣本圖像來增加模型生成圖像的多樣性以及不確定性。對于圖像分類，使用遷移學習方法在預訓練的SE-ResNeXt-50 上構建分類器。使用改進的損失函數(shù)可以減少類別內的樣本距離，擴大不同皮膚癌病變圖像類別之間的樣本距離，更好地分析ISIC2019圖像的特征并最終產生更好的分類模型。

1 研究方法

在本文中，提出了一種基于自注意力的樣式生成對抗網絡（SA-StyleGAN）與SE-ResNeXt-50相結合的皮膚癌病變圖像生成與分類的框架。首先對ISIC2019 數(shù)據(jù)集的樣本圖像使用SA-StyleGAN進行樣本擴充，之后將所有樣本圖像送入已經過ImageNet數(shù)據(jù)集預訓練過且經過遷移學習的SE-ResNeXt-50進行分類，最后得到分類的結果以及各項結果性能指標。所提出模型的總體框架如圖1所示。

圖1 生成與分類模型框架流程圖Fig.1 Framework flowchart of generation and classification model

提出的皮膚癌病變樣本圖像聲稱與分類框架包括三個主要部分：

（1）根據(jù)基于樣式對抗生成網絡的基本架構，提出了SA-StyleGAN，以生成高質量的皮膚癌病變樣本圖像，并提供給SE-ResNeXt-50分類模型進行分類。

（2）將Angular SoftMax（A-SoftMax）損失函數(shù)與SE-ResNeXt-50 分類神經網絡相結合，解決樣本不平衡造成的數(shù)據(jù)影響，來平衡不同類別樣本的權重，從而可以改善分類模型的性能。

（3）使用遷移學習來訓練SE-ResNeXt-50 模型，以提供適當?shù)念A訓練神經網絡模型參數(shù)來對ISIC2019 皮膚癌病變圖像進行分類，并獲得出色的平衡多類別準確性（BMA）。

圖2顯示了皮膚癌病變樣本圖像生成，分類過程與遷移學習模型結構示意圖。使用SA-StyleGAN平衡，擴充數(shù)據(jù)集樣本，從而通過合成新的樣本圖像來增加模型不確定性，來均衡不同類別樣本的權重。對于圖像分類，使用遷移學習方法在預訓練的SE-ResNeXt-50上構建分類器，通過預訓練的模型對樣本進行分類，最終得到分類結果以及各項性能指標。

圖2 皮膚癌病變樣本圖像生成、分類過程與遷移學習模型結構示意圖Fig.2 Structure diagram of skin cancer lesion sample generative classification with transfer learning

1.1 基于樣式的生成對抗網絡（StyleGAN）

基于樣式的生成對抗網絡（StyleGAN）是由Karras等[18]提出的。與其他對抗生成網絡不同，StyleGAN中的樣式（用Gram矩陣表示）借用了樣式轉換并實現(xiàn)了無監(jiān)督的高度可控圖像生成。

StyleGAN包括三個部分：潛碼（latent code）和非線性映射網絡（nonlinear mapping network），噪聲（noise）以及生成網絡（synthesis network）。這三個部分將在下面詳細描述。

1.1.1 潛碼和非線性映射網絡

潛在代碼中的每個維度對應于皮膚癌病變圖像中所關注的特征，例如區(qū)域、顏色和頭發(fā)。當要更改病變圖像特征時，必須找到相應的尺寸并調整潛碼的值。初始潛碼(z1,z2∈Z) 經過正則化后進入非線性映射網絡，并獲得非線性映射（8 層MLP）后，得到了w1,w2∈W。此時，圖像尺寸不變。經過仿射變換和解耦合后，獲得y=(ys,yb)代表樣式的樣式，并用于完成綜合網絡中的自適應實例規(guī)范化（AdaIN）。

為了進一步實現(xiàn)解耦合，使用了混合正則化操作。在訓練期間，圖像的一部分由兩個潛在代碼生成（也就是說，圖像由兩個潛在代碼生成的各種樣式控制）。該方法可以防止相鄰皮膚癌病變類型的相關性。

1.1.2 噪聲

生成網絡在每次卷積后，將噪聲添加到皮膚癌病變圖像中的每個像素，以實現(xiàn)多樣性和隨機性。該噪聲僅影響需要變化的皮膚癌病變，而不會改變圖像中皮膚的良性皮膚和關鍵特征。

1.1.3 生成網絡

在合成網絡中，對原始病變圖像進行卷積并逐步取樣。在此過程中，y=(ys,yb)用于表示來自非線性映射網絡的皮膚樣式，并接受噪聲以完成卷積，AdaIN 和采樣操作。AdaIN公式如下：

其中，μ(xi)和σ(xi)是通過使用每個通道的特征圖中的所有像素獲得的平均值和方差（即，特征圖更改為平均值0和方差1），而特定的ith 是第i層的特征圖像。

1.2 基于自注意力樣式的生成對抗網絡（SAStyleGAN）

StyleGAN為高分辨率圖像的合成以及對合成圖像的樣式和特征的精細控制做出了巨大貢獻。但這種結構主要設計用于具有連續(xù)信息和樣式明顯變化的圖像。皮膚癌病變圖像與這些圖像之間存在顯著差異。本文致力于通過更改樣式控制方法并根據(jù)原始Style-GAN簡化生成器和鑒別器體系結構來解決這些問題。

皮膚癌病變的圖案，顏色和樣式遠沒有其他圖像豐富，而且它們的變化不像人臉圖像那樣連續(xù)。由于此限制，將復雜的GAN 架構直接應用于皮膚癌病變圖像的合成是不合適的。在原始StyleGAN 的基礎上，本文對樣式控制方法進行了一些修改，并簡化了生成器和鑒別器的結構。擬議的修改如下：

（1）本文放棄了混合正則化工具。皮膚病灶混合的樣式會導致樣式在生成的圖像中重疊，這很難區(qū)分和處理。因此，在修改的模型中僅使用一個潛在代碼。由于在臨床醫(yī)學中，不同皮膚病變的形狀紋理較為相似，所以生成的病變圖像的質量需要足夠高。圖3 為使用了初始StyleGAN 兩個潛在代碼和使用了本文SA-Style-GAN一個潛在代碼生成的樣本對比圖。

圖3 使用了初始StyleGAN兩個潛在代碼和使用了本文SA-StyleGAN一個潛在代碼生成的樣本對比圖Fig.3 Sample comparison diagram generated by using two latent codes of initial StyleGAN and one latent code generated by proposed SA-StyleGAN

可以看出，在使用StyleGAN初始的兩潛在代碼時，生成的皮膚病變樣本圖像會產生類似風格遷移的扭曲，很難被歸類，是屬于質量較低的樣本。而本文使用的單潛在代碼則可以有效地消除樣本圖像扭曲不清晰等問題，為分類器提供高質量的樣本圖像，也為醫(yī)學皮膚領域提供更有意義的參考價值。

（2）本文修改了StyleGAN 生成器的結構。由于皮膚病變圖像風格和色彩的單一性，對于皮膚分類器而言，224×224 相比于256×256 的樣本在分類器中神經網絡參數(shù)量更少，為了減少高分辨率帶給生成器的計算壓力，在保證生成樣本質量的情況下提高生成器的處理效率，將生成器的最后一個模塊的尺寸設置為224×224。

圖4 為使用StyleGAN 初始噪聲部分和本文SAStyleGAN改進噪聲部分的結果詳細對比。

圖4 使用StyleGAN初始噪聲部分和本文SA-StyleGAN改進噪聲部分的結果詳細對比圖Fig.4 Detailed comparison of results of original noise part of StyleGAN and improved noise part of proposed SA-StyleGAN

在使用初始StyleGAN 噪聲部分來生成樣本圖像時，噪聲會導致生成的圖像包含許多不必要的噪點，為減少噪聲對生成器的影響，在每個綜合網絡模塊中，除了第一層（兩次添加噪聲模塊）外，其他層僅添加一次噪聲模塊。即在第二個3×3 卷積層之前添加一個噪聲模塊，在第二個3×3 卷積層之后添加一個噪聲模塊，依此類推。

通過圖4可看出，使用本文SA-StyleGAN改進的噪聲部分生成的樣本幾乎沒有噪點，樣本質量更優(yōu)。由于皮膚病變樣本圖像各類別病變較為相似，顏色風格相近且單一，同一類型病變不同發(fā)展時期特殊性導致的外形難以區(qū)分等特殊性，皮膚科臨床醫(yī)學對于樣本的質量與細節(jié)要求較高，本文的改進噪聲部分可為皮膚科臨床區(qū)分病變類型提供更真實客觀的樣本。

（3）修改了StyleGAN 鑒別器的結構。如圖3 所示，合成網絡單元的不同模塊被級聯(lián)，并且在一個訓練周期之后直接從初始輸入生成預定大小的圖像。然后將生成的圖像直接輸入到鑒別器。鑒別器由幾個鑒別器塊組成，每個鑒別器塊具有三個卷積層和兩個平均池化層。此外，判別結果在退出和最后兩個完全連接的層之后輸出。

（4）增加自我注意力模塊的最佳位置是在中高層特征圖上（生成256×256像素的皮膚癌病變圖像的情況下為27 和28 層）。盡管使用了漸進式訓練和使用了自我注意機制，但由于高分辨率的不穩(wěn)定訓練行為，生成的樣本仍遭受一些偽影的影響。為了減輕不穩(wěn)定的訓練行為，使用了兩個時間尺度的更新規(guī)則。為上一層的特征圖，其中Nj是特征圖中的位置數(shù)。使用的權重αj計算模型在特征圖x中jth的位置，其中Wk是1×1卷積模塊。

使用權重αj，通過加權平均將所有位置的特征分組來獲取全局特征（global attention pooling）。

第i個位置zi的最終重定義的特征為：

其中，Wv執(zhí)行特征變換以捕獲通道方面的依賴關系。逐個廣播元素添加用于將全局上下文特征聚合到每個位置的特征。

本文生成的皮膚癌病變圖像特征來自于在合成網絡中學習到的各種圖像的特征以及最初在混合規(guī)則中設置的潛在代碼。合成網絡學習到的主要特征是：（1）皮膚癌病變圖像中的頭發(fā)，（2）皮膚癌病變的顏色，以及（3）皮膚癌病變的形狀和面積。引入噪聲后，可以從合成網絡的卷積層逐層學習皮膚癌病變圖像的樣式，并將其與接收到的噪聲結合起來以生成新的皮膚癌病變圖像，并進一步擴大ISIC2019的隨機性和多樣性。圖5 顯示了SA-StyleGAN的網絡結構。

圖5 SA-StyleGAN的結構示意圖Fig.5 Structure diagram of SA-StyleGAN

1.3 遷移學習

遷移學習是一種機器學習方法，使用現(xiàn)有知識來解決不同但相關的領域問題[19]。遷移學習的目的是利用現(xiàn)有數(shù)據(jù)對模型進行訓練，然后將預訓練的模型直接應用于目標數(shù)據(jù)集的訓練[20]。使用SE-ResNeXt-50在1 000個類別的ImageNet數(shù)據(jù)集[21]上預先訓練了模型參數(shù)，之后調整了卷積層的預訓練參數(shù)來初始化網絡參數(shù)。通過遷移學習可以顯著提高分割模型的精度。

1.4 SE-ResNeXt-50

SE（Squeeze-and-Excitation）模塊[22]可通過顯式建模通道之間的相互依賴關系，自適應地重新校準各通道的特征響應。這些塊可以堆疊在一起，形成SENet 架構，在不同的數(shù)據(jù)集都有很好的泛化能力，并為現(xiàn)有的卷積神經網絡帶來顯著的性能改善。

圖6 是SE 模塊的結構示意圖。給定一個輸入x∈，其特征通道數(shù)為c1，通過一系列卷積等一般變換(Ftr()) 后得到一個特征通道數(shù)為c2的輸入uc。之后是壓縮（Squeeze）操作Fsq(?)，把每個輸入的皮膚癌病變特征圖的空間維度從H×W壓縮到1。之后通過全局平均池化層完成，順著空間維度來進行特征c1壓縮，將每個二維的特征通道變成一個具有整體卷積層的感受野實數(shù)zc：

圖6 特征壓縮與激發(fā)模塊結構示意圖Fig.6 Structure diagram of SE module

zc表征著在特征通道上響應的全局分布，而且使得靠近輸入的層也可以獲得整體的感受野，之后將輸出的維度和輸入的特征通道數(shù)相匹配。

激發(fā)操作（Excitation）Fex(?,w) 是通過一個bottleneck結構來捕捉不同通道的內部依賴，來分析得到特征通道的裁剪系數(shù)sc。通過參數(shù)w來為每個特征通道生成權重，δ為sigmoid激活函數(shù)。

最后是重置權重的操作，本文將激發(fā)操作的輸出權重看作是經過特征選擇后的每個特征通道的重要程度，然后通過Fscale()逐通道加權到先前的特征上，完成在通道維度上的對原始特征的重標定。

ResNeXt[23]是一種簡單、高度模塊化的圖像具有多分支結構的分類網絡結構，通過重復一個聚合了一組具有相同拓撲結構轉換的構建塊來進行構建。

如圖7 所示，ResNeXt 的主要結構由四種Residual block（RB）構成，首先經過7×7 的卷積層與3×3 的最大池化層，之后分別經過3個RB1、4個RB2、6個RB3、3個RB4，在經過最后的全局平均池化全連接層后，得到最后的皮膚癌病變分類結果。ResNeXt結構如圖8所示。

圖7 四種殘差塊（RB）的結構示意圖Fig.7 Structure diagram of four residual block（RB）

圖8 ResNeXt的結構示意圖Fig.8 Structure diagram of ResNeXt

為了提高模型的準確率，傳統(tǒng)的方法主要是增加網絡的深度或寬度，但是隨著超參數(shù)數(shù)量的增加，網絡設計的難度和時間空間復雜度也會增加。因此本文提出的SE-ResNeXt結構可以在不增加參數(shù)復雜度的前提下提高準確率，同時還減少了超參數(shù)的數(shù)量。從工程應用場景上來分析，本生成分類模型主要的應用場景為醫(yī)院皮膚科信息科室，主要用于高效區(qū)分各種難以區(qū)分的臨床皮膚病變病例，及時地對患者的病情進行識別分析，提高黑色素瘤患者的存活率，如圖9。

圖9 初始ResNeXt與改進ResNeXt的對比圖Fig.9 Comparison of initial ResNeXt and improved ResNeXt

本文使用了Angular SoftMax（A-SoftMax）損失[24]作為分類模型的損失函數(shù)，它引入了歸一化權重，零偏置和角余量的概念。可以擴大不同類樣本間的距離，縮小同類樣本間的距離。A-SoftMax損失公式如下：

2 實驗結果與分析

2.1 數(shù)據(jù)集

本文實驗所采用的數(shù)據(jù)集是國際皮膚影像協(xié)作組織ISIC2019 挑戰(zhàn)賽[25-27]公開使用的皮膚病圖像數(shù)據(jù)集，該數(shù)據(jù)集包括25 331 張訓練圖片和8 239 張測試圖片。實驗過程中，本文隨機從5 066 張訓練圖片中抽取其20%作為驗證集，參考其驗證結果來對模型進行調節(jié)，將剩下的20 265張圖像80%作為訓練數(shù)據(jù)集，在訓練過程中對訓練數(shù)據(jù)使用SA-StyleGAN進行數(shù)據(jù)樣本擴充，對驗證集和測試集數(shù)據(jù)不做數(shù)據(jù)增強操作。最后在測試集上進行測試得到最終的分類結果，根據(jù)其輸出來計算分類評估指標。

2.2 預處理

本文使用訓練集中每種類型皮膚癌病變的數(shù)據(jù)來生成更多的樣本，并將其納入實驗中。通過SA-StyleGAN對8 種類型的皮膚癌病變圖像分別生成1 000 張圖片，并邀請專業(yè)的檢查專家對其進行區(qū)分。結果表明，生成的皮膚癌病變圖像與真實的ISIC2019圖像相差不大，可以作為訓練數(shù)據(jù)集。

2.3 性能指標

2.3.1 生成圖像結果性能指標

Inception score（IS）[28]是GAN生成的圖像質量的量度，它使用預訓練的初始網絡[29]通過計算來提取生成的圖像特征：

DKL()、p(y|x)、p(y)、y、x分別表示KL 散度公式、樣本的條件標簽分布、從所有樣本獲得的邊際分布、給定圖片以及圖片中的主要對象。高值表示樣本圖像類似于特定的ImageNet類別。

Fréchet inception distance（FID）[30]將一組生成的圖像嵌入到由特定起始層或任何CNN[29]表示的特征空間中。它使用連續(xù)的多元高斯分布來表示實際數(shù)據(jù)和生成數(shù)據(jù)的嵌入特征分布，并且這兩個高斯分布之間的Fréchet距離是通過以下公式計算的：

μr和Cr分別表示實際數(shù)據(jù)的均值和協(xié)方差，而μg和Cg分別表示所生成數(shù)據(jù)的均值和協(xié)方差。由于FID具有良好的可識別性、魯棒性和計算效率，因此它是GAN的良好度量。

2.3.2 分類結果性能指標

為了全面評估模型的分類性能，使用了均衡權重多類精確度（BMA）、敏感度（SE）、平均精度（AP）、特異性（SP）、骰子系數(shù)（DC）、曲線下面積（AUC）作為評估指標。

NTP、NTN、NFP、NFN、p、r、TPR、FPR、C分別表示真陽性、真陰性、假陽性、假陰性、精度、召回率、真陽性率、假陽性率，ISIC2019中皮膚癌病變的類別數(shù)。

2.4 結果與分析

為了更好地驗證本文的實驗結果，使用SA-StyleGAN、StyleGAN[18]、PGAN[31]、DC-GAN[32]、LAPGAN[33]和GAN[34]分別生成1 000 了個皮膚癌病變圖像，然后對樣品進行20次評估。實驗結果如表1和圖10所示。

表1 各模型生成的皮膚癌病變圖像性能指標對比Table 1 Comparison of performance indexes of skin cancer lesion images generated by each model

圖10 不同對抗生成網絡生成的樣本圖像Fig.10 Sample images generated by different generative adversarial networks

由表1可知，由SA-StyleGAN生成的皮膚癌樣本圖像的IS值（越高越好）最高，達到3.37。比其他五種方法的IS值分別高0.26、1.02、0.89、1.23、1.84，所提出方法的FID值（越低越好）最低，達到0.83，比其他五種方法分別低1.78、0.52、1.01、1.59、3.04。精確度和查全率的值都在0 到1 的范圍內，接近1 的值表示良好的結果。與其他五個模型相比，SA-StyleGAN 在四個指標上得分最高，這表明SA-StyleGAN 生成的圖像質量更高，且網絡性能更出色。

圖11顯示了SA-StyleGAN生成的一些皮膚癌病變圖像。

圖11 SA-StyleGAN生成的皮膚癌病變圖像Fig.11 Skin cancer lesion images generated by SA-StyleGAN

在經過100 個epoch 后，整個模型產生了良好的結果，測試損失達到最小，相應的測試BMA 為0.947 1。表2 顯示了不同類型皮膚癌病變的BMA、AUC、AP、SE、SP、DC的結果。

表2 在ISIC2019數(shù)據(jù)集上的分類結果Table 2 Classification results in ISIC2019 test dataset

表3 顯示了不同神經網絡在ISIC2019 數(shù)據(jù)集分類時的參數(shù)以及訓練時間和分類結果，可以看出本文使用的SE-ResNeXt-50在獲得了最高精度的情況下，參數(shù)量較少且訓練時間較短，在保證高精確分類結果的同時，也兼?zhèn)淞烁咝У倪\算效率。

表3 不同神經網絡在ISIC2019數(shù)據(jù)集分類時的參數(shù)以及訓練時間和分類結果Table 3 Classification results in ISIC2019 test dataset

混淆矩陣（也稱為誤差矩陣）是準確性評估的標準格式。皮膚癌病變分類模型輸出分為八類，因此用8×8矩陣表示，圖12顯示了ISIC2019分類結果的混淆矩陣。

圖12 分類結果的均值混淆矩陣Fig.12 Confusion matrix of average classification results

本文在不同的神經網絡與數(shù)據(jù)集中對SA-StyleGAN進行了測試，測試的結果如表4～6所示。

表4 不同神經網絡在ISIC2019數(shù)據(jù)集中分類的結果Table 4 Classification results of different neural networks in ISIC2019 data set

表5 在ISIC2019中使用SA-StyleGAN進行樣本擴充后的分類結果Table 5 Classification results of using SA-StyleGAN for sample augmentation in ISIC2019

通過表4～6 可以看出，在ISIC2019 中，不同的神經網絡在使用了本文提出的SA-StyleGAN 進行數(shù)據(jù)及樣本擴充之后得到的分類結果比沒有使用時的分類結果有顯著的提升，CNN、RNN-CNN、ResNet、DenseNet、SE-ResNeXt-50 使用了SA-StyleGAN 的結果比沒有使用的結果分別高2.12、3.42、2.06、2.12、3.92 個百分點。在ImageNet數(shù)據(jù)集中的分類結果表示，SA-StyleGAN在其他分類任務數(shù)據(jù)集中也可以得到很好的效果來輔助分類。

表6 在ImageNet中使用SA-StyleGAN進行樣本擴充后的分類結果Table 6 Classification results of using SA-StyleGAN for sample augmentation in ImageNet

表7表明，本文方法的BMA比Guissous等[35]提出的DenseNet-Inception-v3高6.71個百分點，比Pacheco等[36]提出的基于CNN 的整體分類模型高4.61 個百分點，比Nahata等[37]提出的Inception-ResNet高3.71個百分點，比基于Gessert 等[38]提出的深度學習模型集合的分類模型高3.21個百分點。與現(xiàn)有研究相比，本文提出方法得到了更精確的分類BMA，且生成了高質量的皮膚癌病變樣本圖像。

表7 在ISIC2019數(shù)據(jù)集上本文方法與最新現(xiàn)有研究的結果對比Table 7 Comparison of results of proposed method with the latest existing research on ISIC2019 data set

在本文中，使用SE-ResNeXt-50解決了當神經網絡層數(shù)增加時由反向傳播引起的梯度消失。在引入角余量，歸一化權重和零偏差之后，新?lián)p失函數(shù)在ISIC2019分類任務中實現(xiàn)了良好的分類精度。實現(xiàn)了最大的類內樣本距離小于最小的類內樣本距離的識別標準，減少了數(shù)據(jù)集內的類內不平衡的情況。使用SA-StyleGAN來生成高質量的皮膚癌病變圖像并擴展ISIC2019 數(shù)據(jù)集，從而有效減少皮膚癌病變數(shù)據(jù)集樣本類別內的樣本失衡。遷移學習用于將ImageNet數(shù)據(jù)集的預訓練加權參數(shù)遷移到SE-ResNeXt-50來處理ISIC2019數(shù)據(jù)集，從而提高了模型的學習效率和BMA的收斂速度。

當對模型進行測試和仿真時，有必要在發(fā)現(xiàn)難以區(qū)分的皮膚癌病變圖像時將人工智能系統(tǒng)與皮膚科醫(yī)生的臨床經驗相結合。計算機輔助診斷的意義在于良好的療效和預后。它也可以協(xié)助醫(yī)生進行臨床病理判斷和診斷。

3 結束語

本文提出了一種新的皮膚癌病變圖像生成與分類框架，使用SA-StyleGAN來進行皮膚癌病變數(shù)據(jù)集樣本擴充，解決了現(xiàn)有皮膚癌病變圖像數(shù)據(jù)集各類樣本數(shù)量、權重不均衡，圖像不清晰且質量差的問題，為分類模型提供了高質量的訓練樣本圖像。本文SA-StyleGAN在ISIC2019 皮膚癌病變數(shù)據(jù)集的實驗生成樣本圖像的各項性能指標都顯著優(yōu)于現(xiàn)有的其他對抗生成網絡。本文使用的SE-ResNeXt-50 分類模型可以更好地處理樣本圖像不同層次的圖像信息，降低了神經網絡分類任務的難度。本文的工作可以幫助皮膚科醫(yī)生進行診斷，并為基于人工智能的皮膚鏡圖像分析提供有價值的參考。在未來的工作中，將致力于將本文的生成與分類框架用于其他樣本數(shù)量不足且樣本圖像質量較差的疾病數(shù)據(jù)集，另一個重點將是進一步加強和改進自動分類系統(tǒng)。將致力于將該計算機輔助診斷系統(tǒng)移植到移動設備上，更好地為患者和皮膚科醫(yī)生服務。