蔡立志 章 偉 陳敏剛 王乃琪

1(上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心上海市計(jì)算機(jī)軟件評(píng)測(cè)重點(diǎn)實(shí)驗(yàn)室 上海 201112) 2(華東理工大學(xué)信息科學(xué)與工程學(xué)院 上海 200237)

0 引 言

皮膚癌是惡性皮膚腫瘤的統(tǒng)稱,是由于癌細(xì)胞的失控生長(zhǎng)引起的,并感染轉(zhuǎn)移到身體其他部位,包括惡性黑色素瘤、基底細(xì)胞癌、鱗狀細(xì)胞癌等。在過去幾十年里,皮膚癌特別是黑色素瘤的發(fā)病率一直呈現(xiàn)出逐漸上升的趨勢(shì)[1]。2012年,美國(guó)有76 250例新發(fā)黑色素瘤病例,估計(jì)因此而死亡的病例高達(dá)9 180例[2],2018年美國(guó)癌癥協(xié)會(huì)最新發(fā)布的癌癥統(tǒng)計(jì)報(bào)告數(shù)據(jù)顯示[1],2018年美國(guó)新增91 270例黑色素瘤病例,相較于2012年增加了19.70%,新增死亡病例9 320例,較于2012年增長(zhǎng)1.53%。在國(guó)際上,皮膚腫瘤的威脅也不容小覷,全世界每年發(fā)生132 000種黑色素瘤皮膚癌[3],并且在過去30年中,在大多數(shù)發(fā)達(dá)國(guó)家中,其發(fā)病率和死亡率都在增加[4]。我國(guó)的皮膚癌發(fā)病率處于較低水平,但近年來皮膚腫瘤的發(fā)病率也急劇上升,每年都在以3%～5%的比例逐漸上升,年新增病例約兩萬人[5]。

預(yù)防和及早發(fā)現(xiàn)對(duì)于逆轉(zhuǎn)這一趨勢(shì)至關(guān)重要[6]。研究表明,在早期發(fā)現(xiàn)和診斷皮膚癌,可以通過簡(jiǎn)單的切除治愈,患者5年內(nèi)的存活率提高到95%以上,而等到晚期則面臨高于80%的死亡風(fēng)險(xiǎn)[7-8]。因此,臨床中準(zhǔn)確區(qū)分惡性皮膚癌變與良性痣等良性病變至關(guān)重要。

利用深度神經(jīng)網(wǎng)絡(luò)分類識(shí)別皮膚癌圖像是當(dāng)前的研究熱點(diǎn),但是這些方法要么僅僅采用精調(diào)預(yù)訓(xùn)練通用圖像分類模型,而沒有充分考慮任務(wù)圖像的自身特征,要么利用簡(jiǎn)單的特征融合,不能很好地應(yīng)對(duì)皮膚癌多病癥細(xì)粒度類別分類的挑戰(zhàn)。本文結(jié)合通用圖像分類模型和圖像分類子領(lǐng)域中細(xì)粒度圖像分類問題深入研究皮膚癌圖像分類,并結(jié)合源數(shù)據(jù)集ISIC中病癥圖像對(duì)應(yīng)的元數(shù)據(jù)特征分析驗(yàn)證分類模型結(jié)合元數(shù)據(jù)的分類效果。本文的貢獻(xiàn)包括:

梳理計(jì)算機(jī)輔助皮膚癌診斷的各類方法,對(duì)深度神經(jīng)網(wǎng)絡(luò)在皮膚癌圖像分類的應(yīng)用進(jìn)行實(shí)驗(yàn)研究,使用遷移學(xué)習(xí)對(duì)比當(dāng)前各卷積神經(jīng)網(wǎng)絡(luò)模型分類能力,并以此作為基準(zhǔn)實(shí)驗(yàn)。

研究皮膚癌病損圖像類別類間相似性特征,將圖像細(xì)粒度分類引入醫(yī)療圖像分類診斷,結(jié)合細(xì)粒度分類模型NTS-Net作為診斷模型,提供端到端的模型訓(xùn)練,對(duì)比上述基準(zhǔn)實(shí)驗(yàn),分類結(jié)果顯著提升。

結(jié)合原始數(shù)據(jù)集ISIC的圖像元數(shù)據(jù)特征,將診斷模型特征與元數(shù)據(jù)(metadata)特征融合探索元數(shù)據(jù)特征對(duì)于分類的影響。

1 相關(guān)工作

當(dāng)前皮膚癌診斷方式包括醫(yī)生肉眼診斷、活體病理分析、皮膚鏡檢測(cè)、傳統(tǒng)計(jì)算機(jī)輔助診斷、基于深度學(xué)習(xí)的計(jì)算機(jī)輔助診斷。一般臨床實(shí)踐診斷是直接依靠皮膚科醫(yī)生的肉眼來進(jìn)行判斷的,但這種臨床診斷極易受到醫(yī)生臨床經(jīng)驗(yàn)的主觀因素以及實(shí)際診斷環(huán)境等客觀因素的影響。同時(shí),活體病理分析方法又過于費(fèi)時(shí)費(fèi)力[9]。相比而言,基于皮膚鏡的臨床檢查則具有更好的實(shí)際效果,相應(yīng)診斷結(jié)果的靈敏度增加了10%～30%[10]。皮膚鏡[11]是一種無創(chuàng)性的皮膚成像技術(shù),它可以通過可視化增強(qiáng)病變區(qū)域肉眼無法辨別的顏色、形態(tài)、紋理等特征來表征圖像。將臨床上的皮膚病學(xué)和皮膚病理學(xué)規(guī)則聯(lián)系起來,為皮膚科的醫(yī)生提供了一種額外的診斷途徑,是早期診斷、篩查、計(jì)算機(jī)輔助檢測(cè)的主要載體[12]。常見的對(duì)于診斷皮膚鏡圖像的方法有ABCD準(zhǔn)則[13]、模式分析法[14]、孟氏法[15]和七點(diǎn)特征法[16]。這些規(guī)則主要對(duì)應(yīng)皮損區(qū)域各種形態(tài)學(xué)特征。但是,皮膚鏡檢查仍有一些不足,例如無法自動(dòng)識(shí)別皮損區(qū)和非皮損區(qū)、難以區(qū)分高度視覺特征相似病變等[17]。

于是研究人員提出基于皮膚鏡檢查規(guī)則的計(jì)算機(jī)輔助診斷系統(tǒng),原理是先對(duì)病變區(qū)進(jìn)行分割,然后從病變區(qū)域及其邊界提取手工特征,最后進(jìn)行分類識(shí)別。在傳統(tǒng)計(jì)算機(jī)輔助診斷系統(tǒng)中的主要挑戰(zhàn)是病變區(qū)域分割和從原始數(shù)據(jù)中選擇有效的特征。具體來說,任務(wù)難度是準(zhǔn)確地檢測(cè)病變的邊界,因?yàn)橛胁煌沫h(huán)境因素,如毛發(fā)、光照效應(yīng)、低的病變對(duì)比度、不對(duì)稱和不規(guī)則的邊界、切口邊緣等。在特征提取步驟中,提取了形狀、顏色、紋理、梯度等多種類型的特征。但是,對(duì)分類的顯著特征并沒有明確的認(rèn)識(shí)。獲取到特征數(shù)據(jù)后,將所選特征與相應(yīng)標(biāo)簽一起用于訓(xùn)練分類器,例如,支持向量機(jī)、隨機(jī)森林或者多層感知器[18-19]。之后可以將訓(xùn)練后的模型用于對(duì)新的皮膚病變圖像進(jìn)行分類。這類方法的不足是由于皮膚鏡圖像的高度變化、偽影和訓(xùn)練數(shù)據(jù)不足而導(dǎo)致缺乏泛化能力。

目前,深度神經(jīng)網(wǎng)絡(luò)(DNN),尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)[20-21]在對(duì)象檢測(cè)和自然圖像分類等任務(wù)方面優(yōu)于傳統(tǒng)特征工程方法,其分類、檢測(cè)和分割的能力已經(jīng)在許多醫(yī)學(xué)圖像分析任務(wù)中取得突破。Kawahara等[22]提出了一種基于AlexNet[20]的全卷積神經(jīng)網(wǎng)絡(luò),對(duì)原始數(shù)據(jù)圖像進(jìn)行多尺度特征提取,并對(duì)10個(gè)類別的皮膚疾病圖像進(jìn)行診斷分類。文中并未對(duì)皮膚圖像做病損區(qū)域的分割以及其他復(fù)雜的預(yù)處理,但結(jié)果相較于之前的方法有了明顯的提升。Pomponiu等[23]提出了一種基于知識(shí)遷移思想的模型Deepmole,該模型首先利用自然圖片來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),然后把該網(wǎng)絡(luò)當(dāng)作特征提取器直接在皮膚鏡圖像上提取相關(guān)的特征,并最后進(jìn)行分類操作。實(shí)驗(yàn)結(jié)果證明,Deepmole對(duì)于皮膚病變的類別診斷上的準(zhǔn)確率要明顯優(yōu)于其他常規(guī)方法。2017年2月,斯坦福大學(xué)Sebastian Thrun研究團(tuán)隊(duì)采用深度學(xué)習(xí)方法對(duì)皮膚鏡和臨床皮損圖像進(jìn)行自動(dòng)分類,并在Nature上發(fā)表了相關(guān)研究成果[7]。但是這些方法要么僅僅依靠從自然圖像數(shù)據(jù)集(例如ImageNet[24])訓(xùn)練特征提取器,而沒有充分考慮皮膚癌圖像的自身特征,要么僅利用通用卷積神經(jīng)網(wǎng)絡(luò)模型,不能很好地應(yīng)對(duì)醫(yī)療圖像識(shí)別任務(wù)的挑戰(zhàn)。所以,卷積神經(jīng)網(wǎng)絡(luò)仍有很大潛力空間來進(jìn)一步提高皮膚癌圖像識(shí)別的精度。

2 細(xì)粒度圖像分類

2.1 細(xì)粒度圖像

細(xì)粒度圖像分類,又被稱作子類別圖像分類,是近年來計(jì)算機(jī)視覺、模式識(shí)別等領(lǐng)域一個(gè)非常熱門的研究課題。其目的是對(duì)屬于同一基礎(chǔ)類別的圖像(汽車、狗、花、鳥等)進(jìn)行更加細(xì)致的子類劃分,但由于子類別間細(xì)微的類間差異,較之普通的圖像分類任務(wù),細(xì)粒度圖像分類難度更大。因此,要想順利地對(duì)兩個(gè)極為相似的對(duì)象進(jìn)行細(xì)粒度分類,最重要的是在圖像中找到能夠區(qū)分這兩個(gè)對(duì)象的區(qū)分性的區(qū)域塊,并能夠?qū)@些有區(qū)分性的區(qū)域塊的特征進(jìn)行較好的表示,如圖1所示。

圖1 自然圖像、細(xì)粒度圖像、皮膚癌圖像分類識(shí)別

在真實(shí)的現(xiàn)實(shí)場(chǎng)景應(yīng)用中,有非常多的細(xì)粒度圖像識(shí)別和細(xì)粒度圖像檢索的任務(wù)。2016年,美國(guó)大自然保護(hù)協(xié)會(huì)在kaggle[25]上發(fā)布的比賽要求對(duì)甲板上的6種魚類進(jìn)行識(shí)別和分類,很顯然這就是一個(gè)細(xì)粒度圖像識(shí)別任務(wù)。2018年、2019年,kaggle上發(fā)布根據(jù)鯨魚露出來的尾巴進(jìn)行個(gè)體級(jí)別的分類任務(wù),相對(duì)于子類的分類來說,個(gè)體級(jí)別的分類是更細(xì)粒度的分類問題。此外在新零售的場(chǎng)景中,我們也會(huì)有非常多的細(xì)粒度圖像的識(shí)別需求,例如對(duì)貨架或者購(gòu)物車中不同商品的分類檢測(cè)就是一種圖像細(xì)粒度識(shí)別任務(wù)。

對(duì)于醫(yī)療AI領(lǐng)域而言,需要關(guān)注的是醫(yī)療圖片與自然圖片的區(qū)別,自然圖像分類檢測(cè)所面臨的問題是更深的網(wǎng)絡(luò)以提高網(wǎng)絡(luò)的特征表示能力,更快的檢測(cè)速度達(dá)到較好的實(shí)時(shí)性以及更好的檢測(cè)效果;而醫(yī)療圖像的分類檢測(cè),基本是針對(duì)某一個(gè)特定特征(如結(jié)核、腫瘤)的檢測(cè)識(shí)別,本身就具有很強(qiáng)的類間相似性,更偏向于細(xì)粒度圖像分類的方向。

在皮膚癌圖像分類檢測(cè)任務(wù)中,多數(shù)是直接采用通用的卷積網(wǎng)絡(luò)進(jìn)行醫(yī)療圖像分類,或者是采用遷移學(xué)習(xí)的思想進(jìn)行模型的微調(diào)。這些分類網(wǎng)絡(luò)具有較強(qiáng)的特征表示能力,因此在常規(guī)圖像分類中能取得較好的效果。然而在細(xì)粒度分類中,不同類別之間的差異其實(shí)十分細(xì)微,因而整體的分類效果并不理想。在本文中,我們將細(xì)粒度特征結(jié)合到皮膚癌圖像分類中,使用名為NTS-Net[26]的細(xì)粒度模型,最后結(jié)合皮膚癌圖像的metadata特征優(yōu)化模型。

2.2 模型分析

在本文中,我們將圖像細(xì)粒度分類引入皮膚癌圖像分類中,結(jié)合自監(jiān)督分類模型NTS-Net,采用多代理合作學(xué)習(xí)方法來解決準(zhǔn)確識(shí)別圖像中信息區(qū)域的問題,訓(xùn)練出一個(gè)端到端的分類檢測(cè)模型。

Navigator-Teacher-Scrutinizer Network模型結(jié)構(gòu)如圖2所示。

圖2 Navigator-Teacher-Scrutinizer Network模型結(jié)構(gòu)

Navigator部分作用是向后續(xù)的Scrutinizer部分提出圖像中的建議區(qū)域,Navigator采用信息量標(biāo)識(shí)圖像中的區(qū)域,并從中挑選出最大信息值對(duì)應(yīng)的區(qū)域,稱為建議區(qū)域(Proposed region)。

Teacher評(píng)估Navigator的建議區(qū)域并提供反饋,對(duì)于每個(gè)建議區(qū)域,Teacher評(píng)估其屬于真實(shí)類別標(biāo)簽(Ground-truth class)的概率,使用置信度反饋回Navigator部分,使得Navigator能獲取較大信息值的區(qū)域。

Scrutinizer起到最終的分類作用,該部分會(huì)結(jié)合原圖像和經(jīng)過Teacher評(píng)估后Navigator提出的建議區(qū)域兩個(gè)來源獲取分類特征,將兩部分特征作為最后輸入分類器中的分類特征。

NTS-Net模型依賴于一個(gè)假設(shè)條件:對(duì)于細(xì)粒度圖像分類任務(wù),圖像A中的信息豐富區(qū)Ri域?qū)?yīng)類別高置信度,符號(hào)表示為:

R1,R2∈A,

C(R1)>C(R2),I(R1)>I(R2)

(1)

式中:I代表信息量度量函數(shù);C代表置信度評(píng)價(jià)函數(shù)。

I(R1)≥I(R2)≥…≥I(Ri)≥…≥I(RA)

(2)

式中:A表示anchors個(gè)數(shù)。

為了減少Navigator生成區(qū)域的冗余,模型采用非極大性抑制算法(NMS)。接著采取前M個(gè)信息區(qū)域{R1,R2,…,RM}并將它們輸入Teacher network以獲得每個(gè)區(qū)域R的分類置信列表{C(R1),C(R2),…,C(RM)}。最后優(yōu)化Navigator network使得{I(R1),I(R2),…,I(RM)}和{C(R1),C(R2),…,C(RM)}具有相同的順序。每個(gè)建議區(qū)域通過最小化真實(shí)標(biāo)簽和預(yù)測(cè)值之間的交叉熵?fù)p失來優(yōu)化Teacher網(wǎng)絡(luò)。Navigator結(jié)構(gòu)如圖3所示。

圖3 Navigator網(wǎng)絡(luò)結(jié)構(gòu)

圖4 Navigator和Teacher網(wǎng)絡(luò)結(jié)構(gòu)

使用Teacher網(wǎng)絡(luò)代表Conf(Ri),網(wǎng)絡(luò)結(jié)構(gòu)類似于在特征向量連接全連接層以及Softmax分類預(yù)測(cè)。判斷輸入?yún)^(qū)域?qū)儆谀繕?biāo)標(biāo)簽的概率。

Navigator網(wǎng)絡(luò)的Loss為:

(3)

Teacher網(wǎng)絡(luò)的Loss為:

(4)

Scrutinizer是最終的分類預(yù)測(cè)網(wǎng)絡(luò),Scrutinizer網(wǎng)絡(luò)進(jìn)行結(jié)果預(yù)測(cè)時(shí)會(huì)結(jié)合經(jīng)過Teacher網(wǎng)絡(luò)評(píng)估的由Navigator網(wǎng)絡(luò)提交的信息建議區(qū)域特征和原圖特征一起輸入分類器中。實(shí)際上,這樣的分類方式可以在不需要圖像中位置信息標(biāo)簽的基礎(chǔ)上自動(dòng)識(shí)別圖像中細(xì)粒度識(shí)別關(guān)鍵區(qū)域并提取特征用于分類。Scrutinizer結(jié)構(gòu)如圖5所示。

圖5 Scrutinizer網(wǎng)絡(luò)結(jié)構(gòu)

Scrutinizer網(wǎng)絡(luò)的Loss為:

Ls=-logS(X,R1,R2,…)

(5)

在模型具體結(jié)構(gòu)上,特征提取使用的是ResNet50網(wǎng)絡(luò)主體,即圖5中的Feature Extractor部分。原圖經(jīng)過ResNet50后得到特征映射圖,在此基礎(chǔ)上添加兩層卷積層,新添加卷積層參數(shù)Wi代表Navigator網(wǎng)絡(luò)參數(shù),輸出為多尺度的建議區(qū)域圖像的區(qū)域信息I。Teacher網(wǎng)絡(luò)同樣是在ResNet模型卷積基的基礎(chǔ)上添加Softmax層分類,該部分模型參數(shù)為Wc。同時(shí),輸入Teacher網(wǎng)絡(luò)的圖像并非原圖,而是將上一個(gè)Navigator網(wǎng)絡(luò)生成的建議區(qū)域上采樣到原圖大小后輸入。網(wǎng)絡(luò)根據(jù)分類置信度C反饋回Navigator中各建議區(qū)域的信息量I。Scrutinizer網(wǎng)絡(luò)的作用是分類,與Teacher的分類不同在于它會(huì)融合全圖信息和建議區(qū)域信息,該部分模型參數(shù)為分類器Softmax參數(shù)Ws。

2.3 Metadata特征融合

上述方法是基于CNN模型,從中輸出/提取深層特征用于分類。盡管此類方法在分類準(zhǔn)確率上已取得較大提升,但是仍有空間可以進(jìn)一步提高分類精度。研究CNN自動(dòng)學(xué)習(xí)的特征與其他特征融合后的分類能力是一個(gè)重要的方向,即基于特征融合的思想。

我們將特征融合的方式分為兩類,即像素級(jí)融合、特征級(jí)融合,如圖6所示。

圖6 像素級(jí)和特征級(jí)融合

(1) 像素級(jí)融合:如圖6(a)所示。圖像融合的這種配置是最低級(jí)別的技術(shù),通常是將來自不同來源的多個(gè)圖像以像素方式組合為一個(gè)圖像,然后將其輸入到對(duì)象檢測(cè)系統(tǒng)中以生成最終結(jié)果。像素級(jí)融合的主要優(yōu)勢(shì)之一是其計(jì)算復(fù)雜度低且易于實(shí)現(xiàn)。

(2) 特征級(jí)融合:如圖6(b)所示,是相比于圖6(a)更高級(jí)的融合系統(tǒng)。將不同特征提取器獲取的特征輸送到一個(gè)下游系統(tǒng)中,以產(chǎn)生最終結(jié)果。這里的特征提取器可以是傳統(tǒng)特征工程提取的特征或者基于CNN模型學(xué)習(xí)的特征。

在本文中我們采用第二種基于特征融合的方式,這里將用到數(shù)據(jù)集標(biāo)簽中的3個(gè)維度的特征:位置、年齡、性別。

提取數(shù)據(jù)集中的除類別外的其他標(biāo)簽信息作為元數(shù)據(jù)特征,融合NTS-Net特征和元數(shù)據(jù)特征。圖7展示在細(xì)粒度圖像分類的基礎(chǔ)上,融合元數(shù)據(jù)特征構(gòu)建的分類網(wǎng)絡(luò)。

圖7 元數(shù)據(jù)特征融合網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

本文研究是針對(duì)ISIC 2019數(shù)據(jù)集中的8種不同類型病癥的皮膚鏡圖像自動(dòng)診斷類別,分別是:光化性角化病(Actinic keratosis)、基底細(xì)胞癌(Basal cell carcinoma)、良性角化病(Benign keratosis)、皮膚纖維瘤(Dermatofibroma)、黑色素瘤(Melanoma)、黑色素細(xì)胞痣/痣(Nevus)、鱗狀細(xì)胞癌(Squamous cell carcinoma)和血管病變(Vascular lesionC)。如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集

3.2 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)分為三組,基于ImageNet遷移學(xué)習(xí)模型(Exp 1)、NTS-Net細(xì)粒度分類模型(Exp 2)、基于Metadata特征融合模型(Exp 3)。

Exp 1為基于ImageNet預(yù)訓(xùn)練網(wǎng)絡(luò)模型遷移學(xué)習(xí)皮膚癌圖像分類。包括基于VGG[Exp 1-1]、ResNet[Exp 1-2]、InceptionV3[Exp 1-3]。對(duì)預(yù)訓(xùn)練模型的結(jié)構(gòu)調(diào)整,首先去掉預(yù)訓(xùn)練模型的原始分類器(通常為最后一個(gè)FC層和所有輸出層)。然后選擇一個(gè)合適的分類器,本文構(gòu)建新的全連接層接在卷積層后,并在其后面輸出Softmax分類預(yù)測(cè)值,實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 基于遷移學(xué)習(xí)模型混淆矩陣和ROC曲線

Exp 2為NTS-Net細(xì)粒度模型應(yīng)用于皮膚癌圖像分類實(shí)驗(yàn)。模型optimizer使用SGD,initial learning rate設(shè)為0.001,weight_decay設(shè)為1E-4;momentum設(shè)為0.9;區(qū)域建議數(shù)量M設(shè)置為6,使用的前K個(gè)信息區(qū)域K個(gè)數(shù)設(shè)為4;batch-size為16。

實(shí)驗(yàn)結(jié)果如圖9和表2所示。

表2 NTS模型和ResNet模型實(shí)驗(yàn)結(jié)果對(duì)比

圖9 NTS-Net模型混淆矩陣和ROC曲線

Exp 3為NTS-Net細(xì)粒度模型融合metadata特征分類實(shí)驗(yàn)。表3展示三組實(shí)驗(yàn)?zāi)Ｐ驮u(píng)價(jià)指標(biāo)。

表3 NTS模型和元數(shù)據(jù)特征融合模型實(shí)驗(yàn)結(jié)果對(duì)比

4 結(jié) 語(yǔ)

以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法在醫(yī)療圖像分類識(shí)別領(lǐng)域有著廣闊的前景,以遷移學(xué)習(xí)為基礎(chǔ)針對(duì)特定類別圖像的分類任務(wù)需要進(jìn)一步探究。本文所提出的將圖像細(xì)粒度分類方法應(yīng)用于醫(yī)療圖像分類任務(wù)中取得了較好的結(jié)果,但是仍有不足的地方,后續(xù)提升分類精度的方式將關(guān)注于細(xì)粒度圖像特征的提取和分類。