張馳名,王慶鳳,劉志勤,黃 俊,周 瑩,劉啟榆,徐衛(wèi)云

(1.西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,四川 綿陽 621010; 2.綿陽市中心醫(yī)院,四川 綿陽 621010)

0 概述

近年來,隨著深度學(xué)習(xí)技術(shù)在自然場(chǎng)景圖像識(shí)別方面取得重大進(jìn)展,人工智能被應(yīng)用在分類難度更大、精度要求更高的醫(yī)學(xué)影像分析中,并逐步發(fā)展成為一個(gè)深度交叉融合的前沿領(lǐng)域[1],受到國家的高度重視與戰(zhàn)略扶持[2]。與傳統(tǒng)手工提取圖像特征的方法相比,深度學(xué)習(xí)方法能顯著提高對(duì)象分割、檢測(cè)和識(shí)別等方面的量化能力[1],有效解決許多醫(yī)學(xué)圖像分析和輔助診斷問題,在醫(yī)學(xué)影像計(jì)算機(jī)輔助診斷(Computer Aid Diagnosis,CAD)中表現(xiàn)出巨大潛力,如全乳超聲中的乳房解剖分割[3]、胎兒超聲標(biāo)準(zhǔn)平面檢索[4]以及X光胸片中的常見疾病識(shí)別診斷[5]等,尤其對(duì)細(xì)粒度皮膚癌篩查[6]和胸片肺炎診斷[7]的水平甚至超過專業(yè)醫(yī)生。

目前,肺癌是全世界發(fā)病率和致死率最高的惡性腫瘤之一[8]。由于早期肺癌患者的5年生存率為54%,而晚期治療生存率僅有4%[9],因此國內(nèi)外專家通過對(duì)肺結(jié)節(jié)的早期定性定量診斷及治療來降低患者死亡率。肺部小結(jié)節(jié)被定義為在肺癌篩查過程中,通過胸部CT掃描發(fā)現(xiàn)的直徑小于3 cm的“點(diǎn)”,其良惡性是診斷原發(fā)性肺癌的關(guān)鍵指標(biāo)。一方面,臨床外科切除的肺結(jié)節(jié)中約30%為良性[10],假陽性率較高導(dǎo)致過度治療,不僅浪費(fèi)醫(yī)療資源,而且徒增病人心理和生理上的痛苦;另一方面,若未早期診斷出結(jié)節(jié)惡性并及時(shí)進(jìn)行干預(yù)治療,可能導(dǎo)致患者病程惡化快、愈后差、存活率低。因此,及時(shí)有效地診斷肺結(jié)節(jié)良惡性,不僅可以避免不必要的介入性檢查和手術(shù),而且還可以提高患者的生存率,同時(shí)也是精準(zhǔn)治療肺癌的關(guān)鍵。

本文將深度神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)相結(jié)合,提出一種肺結(jié)節(jié)診斷方法。在此基礎(chǔ)上,采用漸進(jìn)式微調(diào)(Progressive Fine-Tuning,PFT) 策略調(diào)整遷移學(xué)習(xí)網(wǎng)絡(luò),以提高診斷準(zhǔn)確率。

1 相關(guān)工作

目前胸部CT掃描圖像主要由放射科醫(yī)生逐層閱讀,不僅費(fèi)力耗時(shí),而且極度依賴于醫(yī)生的主觀判斷,誤診漏診難以避免,而CAD可有效避免此類問題。已有的肺結(jié)節(jié)良惡性CAD診斷工作主要包括手工提取特征和使用深度學(xué)習(xí)特征[11]。例如:文獻(xiàn)[12]手工提取Haralick特征、Gabor特征和局部二元模式訓(xùn)練支持向量機(jī)進(jìn)行肺結(jié)節(jié)分類;文獻(xiàn)[13]采用降噪自編碼方法提取肺結(jié)節(jié)的深度特征進(jìn)行良惡性分類,在細(xì)粒度分類方面其量化性能超過傳統(tǒng)形態(tài)和紋理底層特征學(xué)習(xí)方法;文獻(xiàn)[14]使用多視角卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)提取不同深度特征后進(jìn)行特征融合再分類,效果優(yōu)于單一視角的特征提取方式;文獻(xiàn)[15]提出一種多尺度CNN網(wǎng)絡(luò),聚合多種不同感受野上的特征來獲得性能增益。醫(yī)學(xué)影像數(shù)據(jù)的標(biāo)注需要專業(yè)知識(shí),成本昂貴,獲得大規(guī)模標(biāo)注數(shù)據(jù)十分困難。而缺乏足夠的訓(xùn)練數(shù)據(jù),神經(jīng)網(wǎng)絡(luò)將面臨難以訓(xùn)練、易過擬合等問題。因此,使深度神經(jīng)網(wǎng)絡(luò)有效利用非常有限的醫(yī)學(xué)數(shù)據(jù),提高肺結(jié)節(jié)良惡性診斷的精準(zhǔn)度,是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)。

遷移學(xué)習(xí)[16]將源域?qū)W習(xí)到的知識(shí)作為先驗(yàn)信息遷移到其他任務(wù)中,因其資源利用率高、訓(xùn)練成本低的特點(diǎn),是解決小數(shù)據(jù)集學(xué)習(xí)困難的一種有效方案。目前國內(nèi)許多學(xué)者將其與神經(jīng)網(wǎng)絡(luò)相結(jié)合,在各個(gè)領(lǐng)域展開研究。文獻(xiàn)[17]將深度學(xué)習(xí)和遷移學(xué)習(xí)相結(jié)合,提出一種迭代競(jìng)爭微調(diào)方法,通過探究網(wǎng)絡(luò)可行微調(diào)深度在多任務(wù)圖像分類任務(wù)中取得了較好的效果。文獻(xiàn)[18]在跨領(lǐng)域圖像分類中采用深度稀疏辨別遷移模型實(shí)現(xiàn)良好的分類性能。文獻(xiàn)[19]基于遷移學(xué)習(xí)和特征融合,有效地對(duì)航空器圖像進(jìn)行分類。上述研究表明,遷移學(xué)習(xí)在深度神經(jīng)網(wǎng)絡(luò)中具有巨大的潛力。

醫(yī)學(xué)影像遷移學(xué)習(xí)策略主要分為2類[20]:1)將預(yù)訓(xùn)練CNN作為特征提取器,例如文獻(xiàn)[7]固定網(wǎng)絡(luò)卷積層參數(shù),將胸部X光圖像輸入預(yù)訓(xùn)練模型,僅對(duì)全連接分類層微調(diào);2)使用目標(biāo)數(shù)據(jù)集微調(diào)整個(gè)網(wǎng)絡(luò),例如文獻(xiàn)[21]將遷移學(xué)習(xí)微調(diào)網(wǎng)絡(luò)應(yīng)用于腹腔淋巴結(jié)檢測(cè)和間質(zhì)性肺病分類2個(gè)特定的CAD任務(wù),并在腹腔淋巴結(jié)中取得了當(dāng)前一流的診斷結(jié)果。

目前,遷移學(xué)習(xí)在肺結(jié)節(jié)良惡性診斷中未被廣泛使用,并且缺乏具有針對(duì)性的應(yīng)用實(shí)例。因此,本文將遷移學(xué)習(xí)應(yīng)用于肺結(jié)節(jié)小數(shù)據(jù)集，在此基礎(chǔ)上,提出一種漸進(jìn)式微調(diào)的遷移學(xué)習(xí)策略,重點(diǎn)探討其對(duì)遷移學(xué)習(xí)網(wǎng)絡(luò)調(diào)整效果。

2 深度遷移學(xué)習(xí)

2.1 深度卷積神經(jīng)網(wǎng)絡(luò)

在2012年ImageNet 大賽上,AlexNet[22]網(wǎng)絡(luò)強(qiáng)勢(shì)奪冠引發(fā)了一場(chǎng)機(jī)器學(xué)習(xí)變革。此后,深度神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別和分類等領(lǐng)域都取得了矚目的成績。相對(duì)于傳統(tǒng)淺層網(wǎng)絡(luò),深度網(wǎng)絡(luò)的隱藏層數(shù)大幅增加,如VGG[23]系列網(wǎng)絡(luò)通過卷積層和池化層的線性堆疊達(dá)到深層次的網(wǎng)絡(luò)結(jié)構(gòu)。之后,為解決網(wǎng)絡(luò)過深帶來梯度彌散和訓(xùn)練困難的問題,Inception[24]和Resnet[25]系列網(wǎng)絡(luò)通過模塊堆疊的方式,不僅大幅加快訓(xùn)練時(shí)間,還使得深度網(wǎng)絡(luò)層數(shù)高達(dá)上百層。

深度神經(jīng)網(wǎng)絡(luò)雖然在特征提取和泛化性方面取得了較好的成績,但由于其參數(shù)量巨大、具有數(shù)據(jù)驅(qū)動(dòng)性,因此大規(guī)模準(zhǔn)確的注釋數(shù)據(jù)集對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到準(zhǔn)確、可泛化的特征至關(guān)重要。例如,ImageNet[26]數(shù)據(jù)集包含1 000個(gè)類、一千萬張自然圖片,為深度神經(jīng)網(wǎng)絡(luò)在自然圖像上的發(fā)展提供了強(qiáng)有力的支持。而肺結(jié)節(jié)數(shù)據(jù)集大小普遍在100張～1 000張左右,不足ImageNet的萬分之一,使深度神經(jīng)網(wǎng)絡(luò)出現(xiàn)訓(xùn)練困難、易過擬合等問題,無法達(dá)到醫(yī)學(xué)精準(zhǔn)診斷的需要。

2.2 漸進(jìn)式微調(diào)策略

針對(duì)深度神經(jīng)網(wǎng)絡(luò)在少量肺結(jié)節(jié)數(shù)據(jù)上學(xué)習(xí)困難的問題,本文采用遷移學(xué)習(xí),使神經(jīng)網(wǎng)絡(luò)先在大數(shù)據(jù)量、粗粒度的自然圖像數(shù)據(jù)集中學(xué)習(xí)特征知識(shí),擬合網(wǎng)絡(luò)參數(shù),再將特征信息遷移至小標(biāo)簽樣本、細(xì)粒度的肺結(jié)節(jié)圖像分類任務(wù)上,其流程如圖1所示。網(wǎng)絡(luò)從源域大數(shù)據(jù)中學(xué)習(xí)特征知識(shí)進(jìn)而轉(zhuǎn)換為相應(yīng)的權(quán)重參數(shù),之后在目標(biāo)域的學(xué)習(xí)任務(wù)中共享模型結(jié)構(gòu)和先驗(yàn)參數(shù),即預(yù)訓(xùn)練網(wǎng)絡(luò)。但預(yù)訓(xùn)練網(wǎng)絡(luò)的最后一層與具體數(shù)據(jù)集密切相關(guān),每一個(gè)輸出節(jié)點(diǎn)都對(duì)應(yīng)一個(gè)特定的類別。因此,在實(shí)現(xiàn)網(wǎng)絡(luò)層遷移后需重構(gòu)分類層,以滿足新任務(wù)的需要。

圖1 ImageNet-肺結(jié)節(jié)遷移學(xué)習(xí)流程Fig.1 Transfer learning process from ImageNet to pulmonary nodule

本文將網(wǎng)絡(luò)在ImageNet自然圖像(源域)上學(xué)習(xí)到的特征抽取能力作為先驗(yàn)知識(shí)遷移到肺結(jié)節(jié)小數(shù)據(jù)集(目標(biāo)域)。由于醫(yī)學(xué)圖像與自然圖像相似性低,網(wǎng)絡(luò)難以通過已學(xué)習(xí)到的特征知識(shí)準(zhǔn)確歸納醫(yī)學(xué)病理特征,導(dǎo)致識(shí)別準(zhǔn)確率低[27],因此需將預(yù)訓(xùn)練網(wǎng)絡(luò)在新目標(biāo)任務(wù)數(shù)據(jù)集上再訓(xùn)練,使網(wǎng)絡(luò)針對(duì)目標(biāo)樣本自適應(yīng)地調(diào)整網(wǎng)絡(luò)參數(shù),從而提高醫(yī)學(xué)圖像具體病理的語義概括能力,該過程稱之為網(wǎng)絡(luò)微調(diào)。

文獻(xiàn)[28]指出在CNN的特征遷移過程中,通過自然圖像訓(xùn)練網(wǎng)絡(luò)一般存在相同的特征即在第1層和第2層學(xué)習(xí)到的特征具有普遍性,基本是顏色、邊緣、形狀等低層次特征,但隨著網(wǎng)絡(luò)層數(shù)的增加,檢測(cè)到的特征更加特殊抽象,具有局部稀疏性以區(qū)分特定類。從普遍特征到特殊特征,卷積網(wǎng)絡(luò)對(duì)圖像的特征提取過程存在一個(gè)特征特殊化的過渡,而傳統(tǒng)遷移學(xué)習(xí)策略并未進(jìn)一步探究特征漸變性與樣本數(shù)據(jù)量、特征相似度的關(guān)系,即微調(diào)的有效深度。肺結(jié)節(jié)數(shù)據(jù)量小,微調(diào)層數(shù)過多可能會(huì)導(dǎo)致網(wǎng)絡(luò)過度擬合、泛化性差;而自然圖像與肺結(jié)節(jié)數(shù)據(jù)相似性低,淺層微調(diào)可能使網(wǎng)絡(luò)無法準(zhǔn)確歸納結(jié)節(jié)病理特征,表達(dá)性差。因此,本文基于網(wǎng)絡(luò)低層次特征具有普遍性的特點(diǎn),在遷移學(xué)習(xí)的基礎(chǔ)上提出一種漸進(jìn)式微調(diào)策略,如圖2所示。

圖2 漸進(jìn)式微調(diào)策略Fig.2 Progressive Fine-Tuning strategy

漸進(jìn)式微調(diào)策略的具體步驟為:

步驟1訓(xùn)練隨機(jī)初始化的新全連接層。

步驟2在網(wǎng)絡(luò)具有良好的非線性特征分類器的基礎(chǔ)上,逐層釋放卷積層并微調(diào)可訓(xùn)練層,直至訓(xùn)練整個(gè)網(wǎng)絡(luò)。

步驟3定量分析各層微調(diào)后曲線下面積(Area Under Curve,AUC)值變化,確定微調(diào)的有效深度,選取最佳診斷網(wǎng)絡(luò)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)與預(yù)處理

3.1.1 LIDC數(shù)據(jù)集

LIDC[29]數(shù)據(jù)集包含1 010名患者胸部CT掃描序列,其中每張CT圖像均由4名經(jīng)驗(yàn)豐富的胸部放射科醫(yī)師進(jìn)行閱讀并標(biāo)注良惡性。本文共選取1 392個(gè)結(jié)節(jié),針對(duì)每個(gè)結(jié)節(jié)提取64像素×64像素大小的感興趣區(qū)域(Region of Interest,ROI),如圖3所示。

圖3 肺結(jié)節(jié)ROI示意圖Fig.3 Schematic diagram of pulmonary nodule ROI

3.1.2 數(shù)據(jù)預(yù)處理

在醫(yī)學(xué)領(lǐng)域中普遍存在數(shù)據(jù)不平衡問題,本文數(shù)據(jù)集的不平衡形式為正負(fù)樣本不平衡,這會(huì)導(dǎo)致CNN在特征提取過程中更關(guān)注多數(shù)類樣本的特征,忽視少數(shù)類樣本,但在醫(yī)學(xué)圖像中,較少的疾病樣本卻包含了較多重要的病理信息。文獻(xiàn)[30]指出CNN學(xué)習(xí)到的特征具有平移和縮放不變性,但沒有旋轉(zhuǎn)不變性。對(duì)于肺結(jié)節(jié),旋轉(zhuǎn)并不會(huì)改變其良惡性特征。因此,本文使用旋轉(zhuǎn)、水平和豎直翻轉(zhuǎn)變換的隨機(jī)組合對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng),通過增加肺結(jié)節(jié)樣本數(shù)來平衡正負(fù)樣本,同時(shí)使網(wǎng)絡(luò)可以學(xué)到更多圖像特征。

本文使用5折交叉驗(yàn)證來評(píng)估網(wǎng)絡(luò)的分類性能。將數(shù)據(jù)集分為5份,每輪驗(yàn)證中,4份用于網(wǎng)絡(luò)訓(xùn)練與超參數(shù)調(diào)優(yōu),訓(xùn)練集中的結(jié)節(jié)數(shù)為974個(gè)(618個(gè)良性結(jié)節(jié)和356個(gè)惡性結(jié)節(jié)),驗(yàn)證集中的結(jié)節(jié)數(shù)為140個(gè)(89個(gè)良性結(jié)節(jié)和51個(gè)惡性結(jié)節(jié)),1份用于網(wǎng)絡(luò)測(cè)試,測(cè)試集結(jié)節(jié)數(shù)為278個(gè)(176個(gè)良性結(jié)節(jié)和102個(gè)惡性結(jié)節(jié))。由于訓(xùn)練集良性結(jié)節(jié)數(shù)目約是惡性結(jié)節(jié)的2倍,因此為平衡正負(fù)樣本,訓(xùn)練集中所有的惡性結(jié)節(jié)隨機(jī)組合增強(qiáng)次數(shù)為良性結(jié)節(jié)的2倍,驗(yàn)證集與測(cè)試集不使用數(shù)據(jù)增強(qiáng)。

3.2 實(shí)驗(yàn)設(shè)置

本文使用深度學(xué)習(xí)庫 Keras與Tensorflow,在NVIDIA 1080TI GPU的服務(wù)器上進(jìn)行實(shí)驗(yàn)。在實(shí)驗(yàn)中,預(yù)訓(xùn)練網(wǎng)絡(luò)的最后一個(gè)1 000分類全連接層被一個(gè)新的二分類Softmax層取代,如圖1所示。網(wǎng)絡(luò)預(yù)訓(xùn)練源域?yàn)?ImageNet數(shù)據(jù)集,訓(xùn)練采用Adam為優(yōu)化函數(shù),其默認(rèn)參數(shù)與文獻(xiàn)[31]相同。為了便于描述,將設(shè)置網(wǎng)絡(luò)層參數(shù)不可訓(xùn)練稱為凍結(jié)(即學(xué)習(xí)速率為0,參數(shù)不更新),參數(shù)由不可訓(xùn)練轉(zhuǎn)變?yōu)榭捎?xùn)練狀態(tài)稱為釋放。

網(wǎng)絡(luò)使用二分類Softmax層取代在源域訓(xùn)練1 000分類的Softmax層,計(jì)算公式如下:

(1)

其中,c為網(wǎng)絡(luò)最后一層神經(jīng)元總數(shù),即分類數(shù),ηi為第i個(gè)神經(jīng)元的線性輸出,經(jīng)過Sigmoid激活函數(shù)后,其輸出預(yù)測(cè)值si被映射到 (0,1)。

訓(xùn)練過程中選取二分類交叉熵(Binary Cross-Entropy,BCE)作為損失函數(shù):

(2)

在臨床輔助診斷中,僅靠分類精度難以準(zhǔn)確反映分類網(wǎng)絡(luò)性能的強(qiáng)弱。為了客觀、準(zhǔn)確、全面地評(píng)估網(wǎng)絡(luò)的診斷性能,本文選用國際常用的受試者操作特征(Receiver Operating Characteristics,ROC)曲線作為主要評(píng)判指標(biāo),根據(jù)ROC的AUC值進(jìn)一步定量分析分類性能。其中,ROC曲線的橫坐標(biāo)為當(dāng)前被錯(cuò)誤分到正樣本類別中真實(shí)的負(fù)樣本所占所有負(fù)樣本總數(shù)的比例(False Positive Rate,FPR),縱坐標(biāo)為當(dāng)前分到正樣本中真實(shí)的正樣本所占所有正樣本的比例(True Positive Rate,TPR),AUC值越接近1,則網(wǎng)絡(luò)的診斷性能越好。

3.3 實(shí)驗(yàn)結(jié)果

為證實(shí)漸進(jìn)式微調(diào)策略在肺結(jié)節(jié)良惡性診斷中的有效性,本文通過漸進(jìn)式微調(diào)策略訓(xùn)練VGG16[23]網(wǎng)絡(luò),并與傳統(tǒng)遷移學(xué)習(xí)策略、隨機(jī)初始化等訓(xùn)練網(wǎng)絡(luò)進(jìn)行對(duì)比,結(jié)果如圖4所示。其中,VGG16網(wǎng)絡(luò)的學(xué)習(xí)速率為1×10-4。

圖4 VGG16網(wǎng)絡(luò)經(jīng)不同策略調(diào)整后的ROC曲線Fig.4 ROC curve of VGG16 network adjusted by different strategies

全連接層微調(diào)(Fc1～Fc3)[5]使用CNN提取特征并訓(xùn)練一個(gè)非線性分類器,但因自然圖像與醫(yī)學(xué)圖像跨領(lǐng)域性強(qiáng)、相似性低,所以預(yù)訓(xùn)練網(wǎng)絡(luò)無法準(zhǔn)確歸納肺結(jié)節(jié)特征,其AUC值低于隨機(jī)初始化訓(xùn)練網(wǎng)絡(luò)。而由于肺結(jié)節(jié)數(shù)據(jù)的缺乏,難以支撐網(wǎng)絡(luò)隨機(jī)初始化訓(xùn)練,因此采用隨機(jī)初始化訓(xùn)練策略的網(wǎng)絡(luò)擬合結(jié)果同樣欠佳。

由于肺結(jié)節(jié)數(shù)據(jù)量小而深度網(wǎng)絡(luò)參數(shù)量巨大,且最后一個(gè)全連接層為隨機(jī)初始化參數(shù),因此一開始直接微調(diào)整個(gè)網(wǎng)絡(luò)(Conv1～Fc3)[18]是不合適的。此外,遷移學(xué)習(xí)-微調(diào)依賴于數(shù)據(jù)源相似程度和目標(biāo)域的數(shù)據(jù)量[25]。因此,本文采用漸進(jìn)式微調(diào),在網(wǎng)絡(luò)具有良好非線性特征分類器的基礎(chǔ)上逐層釋放、微調(diào)卷積層,通過定量分析各層微調(diào)后的AUC值,確定微調(diào)的最佳深度,實(shí)現(xiàn)網(wǎng)絡(luò)診斷性能最優(yōu)。

漸進(jìn)式微調(diào)過程中AUC值隨微調(diào)層的變化關(guān)系如圖5所示?？梢钥闯?網(wǎng)絡(luò)性能有大幅提升。其中,經(jīng)微調(diào)最后3個(gè)卷積層(Conv11～Fc3)后的網(wǎng)絡(luò)診斷性能就已超過隨機(jī)初始化訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。當(dāng)漸進(jìn)式微調(diào)到Conv4時(shí),網(wǎng)絡(luò)的精準(zhǔn)度最佳,即在不改變?cè)缙诰矸e層(Conv1～Conv3)低層次、強(qiáng)泛化性特征的基礎(chǔ)上,使網(wǎng)絡(luò)(Conv4～Fc3)高層次特征知識(shí)針對(duì)肺結(jié)節(jié)病理特征自適應(yīng)調(diào)整,一方面能有效緩解因數(shù)據(jù)量小帶來的過度擬合問題,另一方面避免因遷移再訓(xùn)練層過少導(dǎo)致網(wǎng)絡(luò)結(jié)節(jié)病理特征表達(dá)性差的問題。因此,Conv4～Fc3為網(wǎng)絡(luò)的有效微調(diào)深度,繼續(xù)訓(xùn)練早期卷積層(Conv1～Conv3),則會(huì)使其學(xué)習(xí)的普遍性特征特殊化,又難以從小數(shù)據(jù)集中學(xué)習(xí)到準(zhǔn)確、可泛化的新特征,過度擬合導(dǎo)致網(wǎng)絡(luò)診斷性能下降。

圖5 VGG16漸進(jìn)式微調(diào)AUC圖Fig.5 AUC chart of VGG16 adjusted by Progressive Fine-Tuning

如表1所示,相對(duì)于其他遷移學(xué)習(xí)策略與零基礎(chǔ)訓(xùn)練網(wǎng)絡(luò),漸進(jìn)式微調(diào)策略有助于網(wǎng)絡(luò)在肺結(jié)節(jié)小數(shù)據(jù)良惡性診斷中實(shí)現(xiàn)精準(zhǔn)診療。

表1 不同學(xué)習(xí)策略網(wǎng)絡(luò)診斷性能比較Table 1 Performance comparison of network diagnosis with different learning strategies

3.4 可視化分析

3.4.1 梯度加權(quán)類激活映射圖

在醫(yī)學(xué)影像中,深度神經(jīng)網(wǎng)絡(luò)的可解釋性十分重要,是臨床診斷的重要組成部分,有助于建立臨床醫(yī)生對(duì)輔助診斷的信任,使放射科醫(yī)生能夠提供更快、更準(zhǔn)確的診斷結(jié)果。因此,本文通過梯度加權(quán)類激活映射圖(Gradient-weighted Class Activation Mapping,Grad-CAM)[32]直觀展示CNN診斷決策時(shí)所依賴的關(guān)鍵病理特征區(qū)域。

首先將圖像輸入網(wǎng)絡(luò)并提取最終卷積層的特征圖權(quán)重:

然后將所有特征圖與對(duì)應(yīng)類別的權(quán)重進(jìn)行加權(quán)求和,最后通過Relu激活函數(shù),只考慮對(duì)類別c有正影響的像素點(diǎn),得到類別c的熱力圖,計(jì)算公式如下:

上述生成熱力圖的過程如圖6所示。

圖6 Grad-CAM生成過程Fig.6 Generation process of Grad-CAM

圖7顯示了網(wǎng)絡(luò)進(jìn)行特定病理分類時(shí)所依賴的關(guān)鍵區(qū)域,為預(yù)測(cè)結(jié)果提供相應(yīng)的視覺支持。結(jié)果表明,漸進(jìn)式微調(diào)網(wǎng)絡(luò)能夠準(zhǔn)確定位肺結(jié)節(jié),以結(jié)節(jié)病灶區(qū)域?yàn)橹行?輻射周邊的其他關(guān)鍵病理特征,如分葉征、毛刺征等。然而一個(gè)好的預(yù)測(cè)解釋是針對(duì)不同的感興趣類別產(chǎn)生區(qū)別性的可視化,因此,本文為良性和惡性類分別創(chuàng)建了Grad-CAM可視化熱力圖。如圖7(a)所示,當(dāng)感興類別為良性時(shí),網(wǎng)絡(luò)熱力圖突出顯示了結(jié)節(jié)病癥區(qū)域,但當(dāng)以惡性類別為導(dǎo)向時(shí),圖中良性結(jié)節(jié)并未引起網(wǎng)絡(luò)注意,無熱力圖激活,表明網(wǎng)絡(luò)能正確辨別結(jié)節(jié)良惡性語義病理特征。

圖7 良/惡結(jié)節(jié)區(qū)別性Grad-CAMFig.7 Distinctive Grad-CAM of benign/malignant nodules

為進(jìn)一步分析網(wǎng)絡(luò)注意力區(qū)域如何定性的改變,對(duì)VGG16不同卷積層提取的特征圖使用Grad-CAM可視化,結(jié)果如圖8所示。其漸變結(jié)果表明,深層次的特征圖顯示了更高的語義信息,具有局部抽象性,而淺層的特征則保留了更多的空間信息,具有普遍性。本文漸進(jìn)式微調(diào)策略也遵循了上述規(guī)律,即在不改變低層次普遍性空間信息的基礎(chǔ)上使高層次語義特征針對(duì)肺結(jié)節(jié)病理特征自適應(yīng)調(diào)整,因此,網(wǎng)絡(luò)能更有效提取結(jié)節(jié)區(qū)別性病理特征。

圖8 VGG16不同卷積層的Grad-CAMFig.8 Grad-CAM of different convolutional layers of VGG16

3.4.2 t-SNE算法實(shí)驗(yàn)結(jié)果

深度神經(jīng)網(wǎng)絡(luò)通過對(duì)數(shù)據(jù)特征的提取與表征進(jìn)行結(jié)節(jié)良惡性分類,為更深入了解網(wǎng)絡(luò)學(xué)習(xí)的特征分布,本文將t-SNE[33]算法應(yīng)用于網(wǎng)絡(luò)最后一個(gè)全連接層,提取每個(gè)結(jié)節(jié)的嵌入式表示,采用多維縮放將嵌入式表示投影到二維平面上。非線性降維算法t-SNE通過數(shù)據(jù)多維特征的相似性尋找數(shù)據(jù)中的規(guī)律。投影結(jié)果如圖9所示,近距離結(jié)節(jié)在網(wǎng)絡(luò)中具有相近的特征表現(xiàn)形式。其中具有明確、區(qū)別性特征的結(jié)節(jié)簇可以被網(wǎng)絡(luò)較好識(shí)別,如區(qū)域I(小體積良性結(jié)節(jié))和區(qū)域II(惡性結(jié)節(jié))的可視化結(jié)果,其邊緣不規(guī)則,分葉、毛刺等特征明顯。而區(qū)域III內(nèi)結(jié)節(jié)大多介于兩者之間,特征錯(cuò)綜復(fù)雜,其可視化結(jié)果顯示了網(wǎng)絡(luò)錯(cuò)誤診斷的結(jié)節(jié)。其中,被誤診為良性的惡性結(jié)節(jié)其區(qū)別性特征表現(xiàn)不明顯,此類結(jié)節(jié)十分具有挑戰(zhàn)性,人工診斷同樣難以識(shí)別,后期可通過增加此類結(jié)節(jié)的訓(xùn)練樣本,使網(wǎng)絡(luò)學(xué)習(xí)更多的病理特征多樣性來提高診斷率。

圖9 t-SNE算法投影結(jié)果Fig.9 Projection results of t-SNE algorithm

3.5 漸進(jìn)式微調(diào)策略優(yōu)異性對(duì)比分析

為進(jìn)一步闡明本文方法在肺結(jié)節(jié)診斷方面的優(yōu)異性,本文對(duì)神經(jīng)網(wǎng)絡(luò)ResNet50[25]和Inceptionv3[24]采用通過PFT策略確定其有效微調(diào)深度,選取最佳診斷網(wǎng)絡(luò)。之后與其他基于深度學(xué)習(xí)的肺結(jié)節(jié)診斷方法進(jìn)行比較,并以網(wǎng)絡(luò)診斷的分類準(zhǔn)確率、敏感度、特異性和AUC值作為評(píng)價(jià)標(biāo)準(zhǔn)。由于ResNet50、Inceptiov3層數(shù)高達(dá)百層,若與VGG16網(wǎng)絡(luò)相同逐層微調(diào)則過于繁瑣與費(fèi)時(shí),因此本文根據(jù)其設(shè)計(jì)理念,以ResNet50的Identity block和Convolutional block模塊[25]、Inceptionv3的Inception模塊[24]為基礎(chǔ),逐模塊漸進(jìn)微調(diào)。不同方法肺結(jié)節(jié)診斷性能如表2所示。

表2 不同肺結(jié)節(jié)診斷方法的診斷性能比較Table 2 Performance comparison of different pulmonary nodule diagnosis methods

從表2可以看出,文獻(xiàn)[13-14]方法雖然分別使用了多尺度和多視角神經(jīng)網(wǎng)絡(luò)技術(shù),但由于在小數(shù)據(jù)集上從零開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)并不容易,且對(duì)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)要求較高,其性能表現(xiàn)不佳。而本文策略一方面可應(yīng)用于具有較強(qiáng)特征提取能力的先進(jìn)深度神經(jīng)網(wǎng)絡(luò),另一方面可在特征知識(shí)遷移的基礎(chǔ)上對(duì)網(wǎng)絡(luò)進(jìn)行有效微調(diào),因此,基于PFT策略的VGG16、Resnet50、Inceptionv3方法其肺結(jié)節(jié)診斷性能均超過其他3種零基礎(chǔ)訓(xùn)練的深度學(xué)習(xí)方法。其中,Resnet50診斷性能優(yōu)于 VGG16和Inceptionv3,其準(zhǔn)確率為91.44%,敏感度為90.17%,特異性為94.18%,AUC值為0.962 1,能滿足高要求的臨床需要。

4 結(jié)束語

本文利用遷移學(xué)習(xí)解決深度網(wǎng)絡(luò)在少量肺結(jié)節(jié)醫(yī)學(xué)數(shù)據(jù)中學(xué)習(xí)困難的問題,提出一種肺結(jié)節(jié)良惡性診斷方法。在此基礎(chǔ)上,采用漸進(jìn)式微調(diào)策略改善遷移學(xué)習(xí)網(wǎng)絡(luò)性能,并結(jié)合Grad-CAM和t-SNE算法提供支撐疾病分類的視覺解釋,加深對(duì)預(yù)測(cè)結(jié)果的信任和理解。實(shí)驗(yàn)結(jié)果表明,該方法準(zhǔn)確率可達(dá)91.44%,與文獻(xiàn)[12-14]提出的診斷方法相比,其診斷性能最優(yōu),滿足臨床應(yīng)用需求。雖然本文僅關(guān)注肺結(jié)節(jié)良惡性診斷問題,但該策略也可結(jié)合GoogleNet等深度網(wǎng)絡(luò)學(xué)習(xí)其他領(lǐng)域小數(shù)據(jù)集。下一步將研究針對(duì)關(guān)鍵性特征表現(xiàn)不明顯和特征錯(cuò)綜復(fù)雜的肺結(jié)節(jié)分類方法。