代闖闖 欒海晶 楊雪瑩 過曉冰 牛北方 陸忠華③

(*中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 北京 100190)

(**中國科學(xué)院大學(xué) 北京 100049)

(***聯(lián)想研究院 北京 100094)

0 引言

卷積神經(jīng)網(wǎng)絡(luò)是受生物學(xué)上感受野機(jī)制啟發(fā)而提出的[1-2]。在20 世紀(jì)末,卷積神經(jīng)網(wǎng)絡(luò)LeNet-5[3-5]應(yīng)用到手寫數(shù)字識(shí)別領(lǐng)域,除此之外,基于LeNet-5的手寫數(shù)字識(shí)別系統(tǒng)被美國很多銀行所使用,用于識(shí)別支票上的手寫數(shù)字。目前,隨著計(jì)算能力的提高,在基于圖像處理的深度學(xué)習(xí)領(lǐng)域中,新的網(wǎng)絡(luò)模型不斷被提出并得到應(yīng)用。2012 年,AlexNet[6-8]模型的提出證明了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)在復(fù)雜模型下的有效性,該模型結(jié)合圖形處理器(graphics processing unit,GPU)進(jìn)行并行訓(xùn)練可在有限時(shí)間內(nèi)得到預(yù)期的效果[9],并贏得了2012 年ImageNet 圖像分類競賽的冠軍[10]。隨著AlexNet 結(jié)構(gòu)的進(jìn)一步發(fā)展,2014 年,ILSVRC 競賽中VGG[11-13]模型應(yīng)運(yùn)而生,僅次于本次競賽中的冠軍GoogLeNet[14-15]。然而,VGG 模型在多個(gè)遷移學(xué)習(xí)任務(wù)中的表現(xiàn)要優(yōu)于GoogLeNet,并且從圖像中提取CNN 特征,VGG 模型是首選算法。GoogLeNet模型的提出則證明隨著卷積層數(shù)的增加和網(wǎng)絡(luò)結(jié)構(gòu)的深入,模型的學(xué)習(xí)效果會(huì)更佳[16],因此獲得了2014 年ImageNet 圖像分類競賽的冠軍。2015 年,深度殘差網(wǎng)絡(luò)的提出使得更加簡化的卷積結(jié)構(gòu)和更深的網(wǎng)絡(luò)得到應(yīng)用[17]。

近年來,隨著人工智能和大數(shù)據(jù)科學(xué)的發(fā)展,新的深度學(xué)習(xí)模型尤其是卷積神經(jīng)網(wǎng)絡(luò)模型得到不斷發(fā)展[10,16-17],深度學(xué)習(xí)在圖像識(shí)別問題中得到越來越多的應(yīng)用。深度學(xué)習(xí)方法受數(shù)據(jù)驅(qū)動(dòng)在醫(yī)療領(lǐng)域得到應(yīng)用,因?yàn)榛诓煌尼t(yī)療領(lǐng)域,各數(shù)據(jù)來源和疾病特征不同,需要對現(xiàn)有的模型和分析框架做相應(yīng)的調(diào)整,一些像素過大的圖片數(shù)據(jù)如CT 掃描作為輸入時(shí)需要進(jìn)行信息壓縮或者特征提取再進(jìn)一步使用網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)[18],有關(guān)分類診斷如黑色素瘤的良性或惡性的判別需要借助皮膚癌領(lǐng)域?qū)τ诩膊〉募?xì)分知識(shí)[19-20]。

1 神經(jīng)網(wǎng)絡(luò)模型介紹

1.1 AlexNet

AlexNet 是Hinton 和他的學(xué)生Alex Krizhevsky在圖像分類挑戰(zhàn)上提出的一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型,用來對ImageNet 上120 萬張高清圖像中的1000類進(jìn)行分類,在測試集上實(shí)現(xiàn)了37.5%的top1 錯(cuò)誤率,17.0%的top5 錯(cuò)誤率。AlexNet 是卷積神經(jīng)網(wǎng)絡(luò)在圖像分類上的一個(gè)經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu),具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)

AlexNet 模型中使用了修正線性單元(rectified linear unit,ReLU),ReLU 函數(shù)的公式如下:

ReLU 函數(shù)曲線如圖2 所示。

圖2 ReLU 函數(shù)曲線

通過式(1)和圖2 可以看出,ReLU 函數(shù)非常簡單,在x＜0 處取值為0,在其他地方取值為x。ReLU代替了傳統(tǒng)的Tanh 和Logistic 等激活函數(shù),運(yùn)算速度快,能夠很好地解決梯度消失的問題[21-22]。ReLU函數(shù)最先在Hinton 的ImageNet 的論文中[10]提出,截至目前,已得到了廣泛的應(yīng)用。然而,ReLU 函數(shù)在網(wǎng)絡(luò)模型訓(xùn)練過程中最大的缺點(diǎn)是容易出現(xiàn)“死亡現(xiàn)象”,即如果反向傳播過程中有一個(gè)參數(shù)為零,則會(huì)導(dǎo)致其后的參數(shù)均無法進(jìn)行更新,隨后提出的Leak ReLU、PreLU、Random ReLU 等改進(jìn)版本的激活函數(shù)則可很好地解決這個(gè)問題。

1.2 GoogLeNet

隨著當(dāng)前深度學(xué)習(xí)的網(wǎng)絡(luò)規(guī)模的擴(kuò)大以及訓(xùn)練參數(shù)的增多,在訓(xùn)練過程中容易出現(xiàn)過擬合的現(xiàn)象。除此之外,深度學(xué)習(xí)涉及的數(shù)據(jù)計(jì)算量巨大,且隨著卷積層數(shù)的增加使得數(shù)據(jù)計(jì)算量上升至指數(shù)級(jí)別,因此僅單純地追求模型識(shí)別準(zhǔn)確率的提高而盲目增加網(wǎng)絡(luò)規(guī)模是不可取的,需要著眼于特征提取模塊的設(shè)計(jì),在基本的特征提取單元上進(jìn)行一些優(yōu)化操作,然后運(yùn)用優(yōu)化后的特征提取模塊去構(gòu)建網(wǎng)絡(luò),可能會(huì)有利于模型準(zhǔn)確率的提高。GoogLeNet 提出了Inception module 的概念,Inception 模塊同時(shí)使用1 ×1、3 ×3、5 ×5 等大小不同的卷積核,并將得到的特征映射在深度上拼接起來作為輸出特征映射,一方面使得網(wǎng)絡(luò)層具有更加強(qiáng)大的特征提取功能,另一方面使得網(wǎng)絡(luò)層更深、更寬,結(jié)構(gòu)變得更加稀疏,但參數(shù)量沒有增加,計(jì)算量維持在一定范圍內(nèi)[23-26]。Inception 是一種網(wǎng)中網(wǎng)的結(jié)構(gòu),即原來的結(jié)點(diǎn)也是一個(gè)網(wǎng)絡(luò)。Inception 一直在不斷發(fā)展,目前已經(jīng)提出了V1[16]、V2、V3[27]、V4。Inception V1 的結(jié)構(gòu)如圖3 所示,模塊中的前置1 ×1 卷積可用來減少特征映射的深度,起到了降維的作用。

圖3 Inception V1 的模塊結(jié)構(gòu)

GoogLeNet 是由上圖中的Inception 模塊所構(gòu)建的模型,包含9 個(gè)Inception 模塊、5 個(gè)池化層、一些卷積層和全連接層構(gòu)成,一共22 層網(wǎng)絡(luò),如圖4 所示。GoogLeNet 由于網(wǎng)絡(luò)的卷積核可共享,計(jì)算梯度可累加,因此不會(huì)出現(xiàn)梯度消失的現(xiàn)象,其典型代表應(yīng)為ResNet[17,28]。

圖4 GoogLeNet 網(wǎng)絡(luò)結(jié)構(gòu)[27]

2 數(shù)據(jù)預(yù)處理及預(yù)分類

本研究將基于皮膚病圖像數(shù)據(jù)集的特點(diǎn)以及皮膚病的病理特征,提出分割、篩選、分類和分析的框架進(jìn)行皮膚病的分類。首先對原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理及預(yù)分類,預(yù)處理包括對原始圖像的光強(qiáng)調(diào)節(jié)、亮度歸一和切片,預(yù)分類是指通過一個(gè)CNN 分類器將圖像塊分成皮膚、毛發(fā)、背景、器官4 類;再對皮膚類圖像塊進(jìn)行疾病的細(xì)分類,分別通過基于AlexNet、GoogLeNet、多二分類器和隨機(jī)森林[29]的方法得到相應(yīng)圖像塊的概率向量;最后根據(jù)圖像塊的概率向量從不同的角度進(jìn)行信息的整合及預(yù)測,最終對相應(yīng)的圖像做確切診斷。整體研究流程如圖5所示。

圖5 研究整體流程

由于醫(yī)學(xué)影像數(shù)據(jù)具有來源復(fù)雜以及數(shù)據(jù)采集不夠規(guī)范的特點(diǎn),將圖像預(yù)處理劃分為如下3步:(1)亮度歸一化調(diào)節(jié);(2)圖像塊分割;(3)圖像塊分類篩選。非線性變換的亮度調(diào)整減輕了圖像采集過程中外部光線因素的不利影響,可提高對圖像識(shí)別的準(zhǔn)確率。圖像塊分割是指對原始影像數(shù)據(jù)進(jìn)行切片處理,根據(jù)一致性的規(guī)則從每張圖片中切割出若干小的分塊(256 ×256 像素,RGB 三通道),完成數(shù)據(jù)的規(guī)范化,使得不同像素的醫(yī)學(xué)影像能夠適用于同一個(gè)模型。圖像塊分類篩選指的是使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練識(shí)別醫(yī)學(xué)影像分割的有效部分,排除干擾信息。本研究使用CNN 對圖像塊進(jìn)行訓(xùn)練,篩選出皮膚面積占比大于3/4 的有效圖像塊用于進(jìn)一步的疾病分類。

對經(jīng)預(yù)處理后篩選出的包含皮膚信息的圖像塊,使用CNN 進(jìn)行分類,可將其分為白癜風(fēng)、痤瘡、銀屑病、健康4 類。使用經(jīng)歸一化的四維概率向量表示每一個(gè)圖像塊經(jīng)過CNN 預(yù)測后的結(jié)果。研究中使用Caffe[30]深度學(xué)習(xí)框架,并在多個(gè)經(jīng)典的CNN 和自定義的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了測試,最終選取GoogLeNet 和AlexNet 作為本研究的核心網(wǎng)絡(luò),調(diào)整了網(wǎng)絡(luò)訓(xùn)練中的softmax-loss 層,修改參數(shù)權(quán)重提升整個(gè)網(wǎng)絡(luò)對皮膚病診斷的敏感度。針對某一病例,均對應(yīng)多個(gè)圖像信息,因此需對疾病分類CNN 得到的結(jié)果進(jìn)行信息的整合。

2.1 數(shù)據(jù)預(yù)處理

2.1.1 數(shù)據(jù)集簡介

數(shù)據(jù)集由128 張2000～4000 像素不等的病人皮膚照片組成。病人的皮膚照片包括了銀屑病、痤瘡和白癜風(fēng)等3 種皮膚病。圖6 是病人的側(cè)面照片的示例圖。

圖6 示例圖

2.1.2 預(yù)處理步驟

(1) 亮度調(diào)整

在進(jìn)行圖像采集時(shí),不同的光線采集條件會(huì)對所采集圖像的顏色、亮度等特征產(chǎn)生干擾,因此需對圖像亮度進(jìn)行歸一化處理。經(jīng)過實(shí)驗(yàn)驗(yàn)證,當(dāng)亮度歸一化比例取0.62 時(shí)效果最好。亮度調(diào)整的示意圖如圖7 所示。

圖7 亮度歸一化

(2) 數(shù)據(jù)集的擴(kuò)充及實(shí)現(xiàn)

由于深度學(xué)習(xí)需要海量數(shù)據(jù)進(jìn)行模型訓(xùn)練,因此本實(shí)驗(yàn)利用常規(guī)圖像擴(kuò)充技術(shù)進(jìn)行數(shù)據(jù)擴(kuò)增。數(shù)據(jù)的擴(kuò)增主要包括圖像的旋轉(zhuǎn)、鏡像、縮放和平移等,本研究中采用了鏡像和旋轉(zhuǎn)兩種方法對常規(guī)圖像進(jìn)行集合擴(kuò)增。

(3) 圖片剪裁

由于初始數(shù)據(jù)集中圖片的大小不等,且某些網(wǎng)絡(luò)的結(jié)構(gòu)對輸入圖片的大小也有嚴(yán)格的要求,實(shí)驗(yàn)中會(huì)將初始寬高在2000～4000 像素不等的圖片裁剪成256 ×256 的分塊。圖片剪裁操作的示意圖如圖8 所示。

圖8 圖片分割

在圖像塊中,如圖9 中包含背景圖像塊、圖10中健康皮膚的圖像塊和圖11 中包含其他無關(guān)信息的圖像塊,會(huì)對判別結(jié)果產(chǎn)生誤導(dǎo),實(shí)驗(yàn)中需要將它們從訓(xùn)練集中剔除。

圖9 包含背景的圖像塊

圖10 健康皮膚的圖像塊

圖11 其他無關(guān)信息的圖像塊

2.2 數(shù)據(jù)預(yù)分類

對經(jīng)預(yù)處理后的圖像塊進(jìn)行疾病的細(xì)分類,本研究采用隨機(jī)森林和普通的卷積神經(jīng)網(wǎng)絡(luò)等方法并交叉驗(yàn)證其穩(wěn)定性,最終確定GoogLeNet 作為預(yù)分類的分類模型。經(jīng)多次實(shí)驗(yàn)與交叉驗(yàn)證,測試集準(zhǔn)確率穩(wěn)定在94%左右,實(shí)驗(yàn)的混淆矩陣和準(zhǔn)確率如表1 所示。

表1 預(yù)分類實(shí)驗(yàn)結(jié)果

經(jīng)圖像塊預(yù)分類后,可得到包含患者皮膚信息的有效圖像塊樣本。經(jīng)人工篩選標(biāo)記得到健康、銀屑病、痤瘡、白癜風(fēng)4 類皮膚圖像塊樣本。然后將數(shù)據(jù)集劃分為訓(xùn)練集和測試集,訓(xùn)練集每類包含682個(gè)樣本,測試集每類包含76 個(gè)樣本。

3 皮膚病分類的多二分類器設(shè)計(jì)

針對皮膚病的多分類問題,若要通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練獲得一個(gè)良好的結(jié)果,則需設(shè)計(jì)一個(gè)合適的神經(jīng)網(wǎng)絡(luò)。隨著深度學(xué)習(xí)的快速發(fā)展,網(wǎng)絡(luò)結(jié)構(gòu)也不斷更迭,本文旨在不改變網(wǎng)絡(luò)結(jié)構(gòu)的前提下,盡可能提高分類器的準(zhǔn)確率。卷積神經(jīng)網(wǎng)絡(luò)相對于其他的分類器來說,可看作是一個(gè)特征提取的過程,而一般的分類器往往是通過某些已經(jīng)發(fā)現(xiàn)的特征來進(jìn)行分類。如果將具有某些共同特征的元素歸到同一類,再進(jìn)行訓(xùn)練,這些共同的特征可能會(huì)更容易地被提取出來,因此擬通過這個(gè)網(wǎng)絡(luò)來訓(xùn)練多個(gè)二分類器從而實(shí)現(xiàn)對初始多分類器的優(yōu)化。

多個(gè)二分類器類似于二叉樹的模型,先將數(shù)據(jù)分成兩類,再對每一類構(gòu)建二分類器,得到的一個(gè)“二叉樹”如圖12 所示。將皮膚病分類(白癜風(fēng)、痤瘡、銀屑病、健康)的四分類的問題,標(biāo)簽記為1(白癜風(fēng))、2(痤瘡)、3(銀屑病)、4(健康),第一個(gè)分類器先區(qū)分1(白癜風(fēng))、2(痤瘡)和3(銀屑病)、4(健康),再構(gòu)建2 個(gè)分類器分別區(qū)分1(白癜風(fēng))和2(痤瘡)、3(銀屑病)和4(健康),一個(gè)數(shù)據(jù)經(jīng)過2 個(gè)分類器即可獲得最終結(jié)果。然而該方法卻存在很多不足之處,由于圖像種類繁多,為每個(gè)二分類器單獨(dú)設(shè)計(jì)網(wǎng)絡(luò)不太現(xiàn)實(shí),數(shù)據(jù)量的變化對網(wǎng)絡(luò)的訓(xùn)練有很大的影響,在數(shù)據(jù)量不足的時(shí)候很容易過擬合?；谏窠?jīng)網(wǎng)絡(luò)的多二分類器訓(xùn)練中若某個(gè)網(wǎng)絡(luò)中的二分類器出現(xiàn)分類錯(cuò)誤,該分類器就無法獲得正確的分類結(jié)果。

圖12 多個(gè)二分類器

為降低分類時(shí)的錯(cuò)誤率,隨后提出一種改進(jìn)的方法。該方法的主要思想是首先獲得一個(gè)二叉樹,針對該二叉樹的每一層只構(gòu)造一個(gè)分類器,每個(gè)分類器都使用所有的數(shù)據(jù)集,使得每一個(gè)節(jié)點(diǎn)的孩子節(jié)點(diǎn)在其所在層對應(yīng)的分類器都屬于不同類別,具體如圖13 所示。對于最后一層若不包含所有標(biāo)簽類別,將剩余標(biāo)簽隨意加入兩類中的一類。以四分類為例,則只需要構(gòu)造2 個(gè)二分類器,第1 個(gè)用于區(qū)分1(白癜風(fēng))、2(痤瘡)和3(銀屑病)、4(健康);第2 個(gè)用于區(qū)分1(白癜風(fēng))、3(銀屑病)和2(痤瘡)、4(健康);經(jīng)過2 個(gè)分類器就可以得到結(jié)果。假如第1 個(gè)分類器將1(白癜風(fēng))、2(痤瘡)標(biāo)記為0,3(銀屑病)、4(健康)標(biāo)記為1;第2 個(gè)分類器將1(白癜風(fēng))、3(銀屑病)標(biāo)記為0,2(痤瘡)、4(健康)標(biāo)記為1。若一個(gè)數(shù)據(jù),第1 個(gè)分類器將其標(biāo)記為1,第2個(gè)分類器也將其標(biāo)記為1,則不對應(yīng)任何的情況,對于此問題,本研究提出了如下2 種解決方法。

圖13 改進(jìn)的多個(gè)二分類器

(1) 對無法分類得出結(jié)果的數(shù)據(jù)再進(jìn)一步分類。既然是不對應(yīng)任何結(jié)果的情況,那么至少有一個(gè)分類器在分類時(shí)出現(xiàn)了錯(cuò)誤。那么由多個(gè)二分類器構(gòu)成的分類器則對這個(gè)數(shù)據(jù)不太適用,可以將這個(gè)難以識(shí)別的數(shù)據(jù)再放入多分類器進(jìn)行判別。

(2) 對無法分類得出結(jié)果的數(shù)據(jù)不做處理,由于這個(gè)數(shù)據(jù)在某個(gè)網(wǎng)絡(luò)中出現(xiàn)了錯(cuò)誤,則多分類網(wǎng)絡(luò)在處理這個(gè)數(shù)據(jù)的時(shí)候很可能會(huì)出現(xiàn)錯(cuò)誤,實(shí)驗(yàn)中可再定義出一類記為無法判斷,不做任何處理。

這2 種處理方法各有優(yōu)劣,第1 種不會(huì)出現(xiàn)無法判斷的情況,每一個(gè)數(shù)據(jù)都能給出一個(gè)結(jié)果,而第2 種方法簡單高效,可以對復(fù)雜特征減少誤判,后續(xù)的研究將對這2 種方案分別進(jìn)行具體實(shí)驗(yàn)分析。

4 實(shí)驗(yàn)結(jié)果分析

4.1 AlexNet—實(shí)驗(yàn)結(jié)果分析

在訓(xùn)練皮膚病四分類(健康、銀屑病、痤瘡、白癜風(fēng))的CNN 時(shí),首先嘗試了卷積神經(jīng)網(wǎng)絡(luò)Alex-Net。數(shù)據(jù)集中的訓(xùn)練集每類包含682 個(gè)樣本,測試集每類包含76 個(gè)樣本,該卷積神經(jīng)網(wǎng)絡(luò)的四分類結(jié)果如表2 所示。綜合實(shí)驗(yàn)結(jié)果計(jì)算得到網(wǎng)絡(luò)的準(zhǔn)確率是0.8750。

表2 AlexNet 網(wǎng)絡(luò)四分類結(jié)果

為了提高準(zhǔn)確率,將數(shù)據(jù)集隨機(jī)分為三類(去掉健康皮膚的分類)和四類進(jìn)行十折交叉驗(yàn)證,三分類實(shí)驗(yàn)結(jié)果為0.8202、0.8465、0.8596、0.8070、0.8356、0.8465、0.8421、0.8246、0.8133、0.8202,平均準(zhǔn)確率為0.8320;四分類實(shí)驗(yàn)結(jié)果為0.9049、0.8721、0.9049、0.9114、0.9102、0.9245、0.9213、0.9245、0.9278、0.9235、平均值為0.9125。該實(shí)驗(yàn)表明實(shí)驗(yàn)結(jié)果過分依賴于數(shù)據(jù)集的選取,可能是數(shù)據(jù)集少,不完善所造成的結(jié)果。

為進(jìn)一步提高準(zhǔn)確率,實(shí)驗(yàn)隨后使用了多二分類的方法,訓(xùn)練3 個(gè)二分類網(wǎng)絡(luò)后,針對無法判斷分類結(jié)果的數(shù)據(jù)再使用上述的四分類器,最終的實(shí)驗(yàn)結(jié)果如表3 所示,計(jì)算實(shí)驗(yàn)結(jié)果準(zhǔn)確率為0.9177;如果將無法判斷的部分不做處理,得到的結(jié)果如表4所示,計(jì)算實(shí)驗(yàn)結(jié)果準(zhǔn)確率為0.9377。

表3 AlexNet 多二分類和四分類實(shí)驗(yàn)結(jié)果

表4 AlexNet 網(wǎng)絡(luò)多二分類實(shí)驗(yàn)結(jié)果

通過上面的結(jié)果可以發(fā)現(xiàn),使用這個(gè)方法對結(jié)果的提升還是比較明顯的,在舍棄數(shù)據(jù)的情況下也可將準(zhǔn)確率提升至93%。

4.2 GoogLeNet-實(shí)驗(yàn)結(jié)果分析

在訓(xùn)練皮膚病四分類(健康、銀屑病、痤瘡、白癜風(fēng))的CNN 時(shí),實(shí)驗(yàn)又嘗試了卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet,當(dāng)使用GoogLeNet 網(wǎng)絡(luò)時(shí)的四分類結(jié)果如表5 所示,計(jì)算實(shí)驗(yàn)結(jié)果準(zhǔn)確率為0.8849。

表5 GoogLeNet 網(wǎng)絡(luò)四分類結(jié)果

為進(jìn)一步提高準(zhǔn)確率,實(shí)驗(yàn)隨后又使用了多二分類的方法,在訓(xùn)練3 個(gè)二分類網(wǎng)絡(luò)后,針對無法判斷分類結(jié)果的數(shù)據(jù)再運(yùn)用四分類器,最終的實(shí)驗(yàn)結(jié)果如表6 所示,計(jì)算實(shí)驗(yàn)結(jié)果準(zhǔn)確率為0.88196;如果將無法判斷的數(shù)據(jù)不做處理,得到的結(jié)果如表7所示,計(jì)算實(shí)驗(yàn)結(jié)果準(zhǔn)確率為0.9242。在運(yùn)用GoogLeNet 進(jìn)行測試后,發(fā)現(xiàn)在舍棄一部分?jǐn)?shù)據(jù)后準(zhǔn)確率仍能得到顯著提高,即使舍棄數(shù)據(jù)僅占一小部分的比例。

表6 GoogLeNet 多二分類和四分類實(shí)驗(yàn)結(jié)果

表7 GoogLeNet 多二分類實(shí)驗(yàn)結(jié)果

4.3 實(shí)驗(yàn)分析

綜合來看,多二分類器下AlexNet 和GoogLeNet模型對于準(zhǔn)確率的提升效果一致。與普通的分類器相比,多二分類器能夠快速發(fā)現(xiàn)數(shù)據(jù)集的共同特征,在第1 種策略數(shù)據(jù)出錯(cuò)時(shí)至少要有2 個(gè)二分類器出錯(cuò),降低了誤判的概率,準(zhǔn)確率會(huì)比直接運(yùn)用四分類器時(shí)高。第2 種策略舍棄的那部分?jǐn)?shù)據(jù),必定是某個(gè)二分類器錯(cuò)判的數(shù)據(jù),也是模型不易判斷的數(shù)據(jù),該部分?jǐn)?shù)據(jù)在判斷的時(shí)候準(zhǔn)確率會(huì)較低,舍棄數(shù)據(jù)后準(zhǔn)確率會(huì)得到提升。與使用AlexNet 的結(jié)果相比,GoogLeNet 的準(zhǔn)確率反而較低,所以不是網(wǎng)絡(luò)的結(jié)構(gòu)越復(fù)雜,效果越好。GoogLeNet 雖然在結(jié)構(gòu)上做了不少優(yōu)化,但是其二十幾層的深度要求更多的數(shù)據(jù)去訓(xùn)練,否則帶來的過擬合現(xiàn)象會(huì)降低測試集的準(zhǔn)確率,因?yàn)楸緦?shí)驗(yàn)數(shù)據(jù)相對較少,很容易出現(xiàn)過擬合現(xiàn)象。

5 皮膚病診斷

經(jīng)過對圖像塊的分類,得到了對于每個(gè)圖像塊的疾病概率,需將圖像的所有圖像塊信息進(jìn)行整合以獲取最終的分類結(jié)果。通過對圖像塊的疾病分類預(yù)測得到每個(gè)圖像塊對應(yīng)的概率向量如下:

Patch 1: (P11,P12,P13,P14)

Patch 2: (P21,P22,P23,P24)

Patch 3: (P31,P32,P33,P34)

Patchn: (Pn1,Pn2,Pn3,Pn4)

其中P11、P12、P13、P14分別是第i個(gè)圖像塊被判別為健康、銀屑病、痤瘡、白癜風(fēng)的概率。然后用式(2)分別算出當(dāng)前患者患有銀屑病、痤瘡、白癜風(fēng)的歸一化概率。

將最大概率所對應(yīng)的皮膚病類別判定為患者所患的疾病類型。圖14 是運(yùn)用混淆矩陣的方法來展示處理后的效果圖。

圖14 皮膚病分類

其中(i,j) 位置上的圖是實(shí)際第i類樣本的圖像塊在第j類疾病上對應(yīng)的概率累計(jì)值的統(tǒng)計(jì)直方圖。通過觀察(x,x)、(y,y)、(z,z) 位置上的直方圖,每個(gè)樣本值都較高并均接近于1,說明patches信息的整合是很有效的。

除了“混淆矩陣”的方法之外,本方法還采用了受試者工作特征(receiver operating characteristic,ROC)曲線來評價(jià)分類器的效果,如圖15 所示。在ROC 曲線中代表白癜風(fēng)的曲線與坐標(biāo)軸圍成的面積(即AUC 統(tǒng)計(jì)量)是0.9707;代表痤瘡的曲線與坐標(biāo)軸圍成的面積(即AUC 統(tǒng)計(jì)量)是0.9668;表示銀屑病的曲線與坐標(biāo)軸圍成的面積(即AUC 統(tǒng)計(jì)量)是0.9234。

圖15 ROC 曲線

對概率累計(jì)值取softmax 的診斷分類方法準(zhǔn)確率可達(dá)到90.9836%,現(xiàn)實(shí)情況下,閾值的選取會(huì)影響分類器的真陽率(true positive rate,TPR)、假陽率(false positive rate,FPR),TPR、FPR 計(jì)算公式分別如式(3)、式(4)所示。

準(zhǔn)確率并不是唯一的分類器評價(jià)標(biāo)準(zhǔn)。某些情況下TPR 和FPR 的重要程度不同,由于某一種錯(cuò)誤判斷需要承擔(dān)的風(fēng)險(xiǎn)和代價(jià)很大,所以不能將提高診斷準(zhǔn)確率作為唯一標(biāo)準(zhǔn),得到高的TPR 才是至關(guān)重要。

下圖是在皮膚病分類診斷問題中,考察歸一化的概率累計(jì)得分在閾值λ 變動(dòng)下TPR、FPR 和TPRFPR 的變化如圖16 所示(其中從上到下分別對應(yīng)白癜風(fēng)、痤瘡、銀屑病)。

圖16 TPR、FPR、TPR-FPR 變化曲線圖

在現(xiàn)實(shí)問題中,可通過構(gòu)造一個(gè)關(guān)于TPR、FPR的函數(shù)用優(yōu)化方法確定閾值。記閾值為λ,目標(biāo)是選取合適的閾值使得TPR 比較大并控制FPR,可如下表示:

maxλf(TPRλ,FPRλ)

其中f關(guān)于TPR 單調(diào)遞增,關(guān)于FPR 單調(diào)遞減,可以如式(5)所示。

最佳閾值λ 的范圍和參數(shù)t的函數(shù)關(guān)系如圖17所示,其中兩條線段分別是最佳閾值的上下界。

圖17 最佳閾值變化折線圖

6 結(jié)論

本研究構(gòu)建了從原始的醫(yī)學(xué)圖像數(shù)據(jù)預(yù)處理到疾病分類判斷的完整流程,并在三類常見皮膚病的診斷問題中得到檢驗(yàn)。目前的工作仍存在很多問題與不足:(1)分類器過分依賴于計(jì)算資源;(2)使用的數(shù)據(jù)集過小,覆蓋的疾病種類有限,過多的網(wǎng)絡(luò)參數(shù)容易產(chǎn)生過擬合的問題;(3)基于圖像的疾病分類判斷未充分利用其他輔助信息,例如病人基本信息、化驗(yàn)信息等;(4)未使用三類常見皮膚病的分類結(jié)果來研究這些疾病間的聯(lián)系。

數(shù)據(jù)驅(qū)動(dòng)的醫(yī)療輔助診斷方興未艾,相信在未來,隨著聯(lián)邦學(xué)習(xí)、集成學(xué)習(xí)等相關(guān)研究應(yīng)用到醫(yī)療影像診斷領(lǐng)域中,其在保護(hù)數(shù)據(jù)隱私的前提下會(huì)取得更大的進(jìn)展和應(yīng)用。