張 麗 強(qiáng) 彥 張小龍 王三虎

1(太原理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 山西 太原 030024)2(賓夕法尼亞州立大學(xué)信息科學(xué)與技術(shù)學(xué)院 賓西法尼亞州 尤尼弗西蒂帕克 16802)3(呂梁學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系 山西 呂梁 033000)

0 引 言

肺癌已成為全世界發(fā)病率與致死率最高的惡性腫瘤之一[1]。肺癌死亡率逐年增高的最主要原因是其早期的病變特征不易被發(fā)現(xiàn)，一經(jīng)確診，治愈率很低。計(jì)算機(jī)輔助診斷(CAD)系統(tǒng)[2]能通過(guò)幫助放射科醫(yī)師做出正確的分類(lèi)決策并降低手動(dòng)讀取掃描所產(chǎn)生的成本，顯著提高基于計(jì)算機(jī)斷層掃描(CT)的篩查程序的可行性。本文應(yīng)用基于同步深度監(jiān)督的多尺度肺結(jié)節(jié)分類(lèi)方法顯著提高了CAD系統(tǒng)決策的準(zhǔn)確率。

1 相關(guān)工作

計(jì)算機(jī)輔助診斷方法在肺癌早期篩查中發(fā)揮著重要作用。Li等[3]提出了一種改進(jìn)的隨機(jī)森林(RF)算法用于肺結(jié)節(jié)良惡性分類(lèi)，在LIDC數(shù)據(jù)集上達(dá)到了0.90的準(zhǔn)確率，這是傳統(tǒng)的計(jì)算機(jī)輔助診斷方法。近年來(lái)，深度學(xué)習(xí)已經(jīng)成功應(yīng)用于語(yǔ)音識(shí)別、圖像識(shí)別[4-6]等領(lǐng)域，在醫(yī)學(xué)圖像處理中深度學(xué)習(xí)技術(shù)也得到廣泛的應(yīng)用[7-8]，其中卷積神經(jīng)網(wǎng)絡(luò)(CNN)在肺部醫(yī)學(xué)圖像處理中取得一定的研究成果，使用CNN的一個(gè)顯著優(yōu)點(diǎn)是它們不需要從圖像中手工提取任何類(lèi)型的特征，而是直接從數(shù)據(jù)中學(xué)習(xí)辨別特征。Shen等[9]使用2層卷積神經(jīng)網(wǎng)絡(luò)在不同尺度的多個(gè)結(jié)節(jié)上成功地對(duì)惡性肺結(jié)節(jié)進(jìn)行分類(lèi)。Ciompi等[10]使用現(xiàn)有的預(yù)訓(xùn)練CNN(稱(chēng)為OverFeat[11]，具有8個(gè)加權(quán)層)對(duì)周?chē)Y(jié)節(jié)進(jìn)行分類(lèi)。Setio等[12]在不同的結(jié)節(jié)視圖(軸向、冠狀、矢狀和六個(gè)對(duì)角線平面)上使用9個(gè)獨(dú)立的CNN(每個(gè)有三個(gè)卷積層)進(jìn)行分類(lèi)，以確定結(jié)節(jié)的存在。通過(guò)將CNN輸出與完全連接的層融合來(lái)獲得最終的分類(lèi)結(jié)果。

盡管目前的CNN模型在肺部醫(yī)學(xué)圖像處理中取得一定的研究成果，但針對(duì)肺結(jié)節(jié)占肺部CT影像面積小且結(jié)節(jié)大小不一的特點(diǎn)，選擇適當(dāng)?shù)木W(wǎng)絡(luò)架構(gòu)提取特定輸入數(shù)據(jù)特征仍是一個(gè)巨大的挑戰(zhàn)。AlexNet[13]由Hinton提出并在2012年ImageNet競(jìng)賽中成功使用，與其他結(jié)構(gòu)復(fù)雜的深度CNN架構(gòu)相比(例如GoogLeNet、VGG等)，AlexNet是一種結(jié)構(gòu)簡(jiǎn)單的CNN架構(gòu)，易于訓(xùn)練和優(yōu)化，但它并不是針對(duì)醫(yī)學(xué)圖像的網(wǎng)絡(luò)模型。針對(duì)肺部結(jié)節(jié)的特征，本文改進(jìn)了典型的AlexNet模型以適應(yīng)肺部醫(yī)學(xué)圖像的分析與處理。但是改進(jìn)的AlexNet模型并不能直接處理肺結(jié)節(jié)的多尺度現(xiàn)象，并且容易產(chǎn)生梯度消失、過(guò)擬合等現(xiàn)象。Chen等[14]提出了空間金字塔模型(PSR)來(lái)捕獲局部特征的絕對(duì)和相對(duì)空間關(guān)系，在遙感圖像分類(lèi)中表現(xiàn)出優(yōu)異的性能。He等[15]提出了空間金字塔池化策略，用于物體檢測(cè)和分類(lèi)任務(wù)。Lee等[16]提出深度監(jiān)督網(wǎng)絡(luò)，通過(guò)對(duì)隱藏層使用監(jiān)督功能，在MNIST、CIFAR-10、CIFAR-100及SVHN等數(shù)據(jù)集中均取得良好的分類(lèi)效果。鑒于此，本文提出了基于同步深度監(jiān)督的多尺度肺結(jié)節(jié)分類(lèi)方法。

2 方 法

本文充分考慮肺結(jié)節(jié)的圖像特征，改進(jìn)了AlexNet架構(gòu)，減小了卷積核尺寸，舍棄了部分池化層，使其能夠作為一種簡(jiǎn)單有效的醫(yī)學(xué)圖像分類(lèi)模型。在該網(wǎng)絡(luò)模型中為每個(gè)隱藏層引入“伴隨”目標(biāo)函數(shù)，為隱藏層提供集成的同步監(jiān)督，以減少分類(lèi)錯(cuò)誤并提高隱藏層學(xué)習(xí)過(guò)程的直接性和透明度。為了處理多尺度肺結(jié)節(jié)現(xiàn)象，本文將空間金字塔池化作為一種有效的多尺度池化操作添加到網(wǎng)絡(luò)架構(gòu)中，以允許該模型能夠處理多尺度信息并有效提取對(duì)肺結(jié)節(jié)分類(lèi)有強(qiáng)影響的特征。整體模型架構(gòu)如圖1所示。

圖1 整體模型架構(gòu)圖

2.1 改進(jìn)的AlexNet模型

AlexNet主要由卷積層、池化層、整流線性單元(ReLU)層和完全連接層組成。AlexNet較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)是因?yàn)槠涫褂昧薘eLu激活函數(shù)和DropOut正則化技術(shù)。如式(1)所示，ReLU具有半波整流器功能，其可以顯著加速訓(xùn)練階段并防止過(guò)度擬合。AlexNet通過(guò)引入多種權(quán)值組合的DropOut方法控制過(guò)擬合，在訓(xùn)練過(guò)程中，通過(guò)將多個(gè)輸入神經(jīng)元或隱藏神經(jīng)元隨機(jī)設(shè)置為零來(lái)減少神經(jīng)元間復(fù)雜的互適應(yīng)。

f(x)=max(x,0)

(1)

傳統(tǒng)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型主要用于分辨率較高、圖片尺寸較大的圖片識(shí)別。受限于肺部ROI圖像的大小，原AlexNet模型的卷積核過(guò)大，不適合處理肺部醫(yī)學(xué)影像數(shù)據(jù)，因此要針對(duì)本文中數(shù)據(jù)源的特點(diǎn)，對(duì)AlexNet模型進(jìn)行針對(duì)性改進(jìn)。改進(jìn)后的AlexNet模型對(duì)比如表1所示。

表1 AlexNet模型改進(jìn)前后對(duì)比

續(xù)表1

2.2 同步深度監(jiān)督策略——SDS

改進(jìn)的AlexNet架構(gòu)是一種有效的端到端肺部醫(yī)學(xué)影像數(shù)據(jù)分類(lèi)框架，但當(dāng)前框架存在三個(gè)明顯的問(wèn)題。第一個(gè)問(wèn)題是在整個(gè)分類(lèi)過(guò)程中，中間層的不透明性使得訓(xùn)練過(guò)程難以觀察。第二個(gè)問(wèn)題涉及學(xué)習(xí)特征的魯棒性和判別能力，特別是在網(wǎng)絡(luò)的后一層，會(huì)嚴(yán)重影響性能。第三個(gè)問(wèn)題是在梯度“爆炸”和“消失”的情況下，訓(xùn)練效果差。為了更好地處理當(dāng)前改進(jìn)的AlexNet架構(gòu)中存在的問(wèn)題，將同步深度監(jiān)督策略納入到改進(jìn)的AlexNet架構(gòu)中。這種方法可以同時(shí)最小化分類(lèi)錯(cuò)誤并提高隱藏層學(xué)習(xí)過(guò)程的直接性和透明度。SDS的核心思想旨在為隱藏層提供集成的同步監(jiān)督，這與僅在輸出層提供監(jiān)督并將該監(jiān)督傳播回早期層的標(biāo)準(zhǔn)方法形成對(duì)比。SDS為每個(gè)隱藏層引入“伴隨”目標(biāo)函數(shù)，這些伴隨目標(biāo)函數(shù)可以被視為學(xué)習(xí)過(guò)程中的附加約束。圖2表示SDS的執(zhí)行過(guò)程。

為了更好地理解融合SDS策略的AlexNet架構(gòu)，下面給出了一個(gè)例子。假設(shè)輸入樣值Xi∈Rn表示原始輸入數(shù)據(jù),yi∈{1,2,…,K}表示樣本Xi所對(duì)應(yīng)的標(biāo)簽。假設(shè)改進(jìn)的AlexNet架構(gòu)中總共有M個(gè)層，其權(quán)重組合是W=(W(1),W(2),…,W(M))。改進(jìn)的AlexNet架構(gòu)的每個(gè)隱藏層中的分類(lèi)器，相應(yīng)的權(quán)重是w=(W(1),W(2),…,W(M-1))。在改進(jìn)的AlexNet架構(gòu)中，權(quán)重參數(shù)和濾波器之間的關(guān)系分別為：

Z(m)=f(Q(m))，Z(0)=X

(2)

Q(m)=W(m)×Z(m-1)

(3)

式中：m指網(wǎng)絡(luò)中的特定層;W(M)，m=1,2,…,M是要學(xué)習(xí)的網(wǎng)絡(luò)權(quán)重;Z(m-1)為第m-1層的特征圖，Q(m)為先前特征圖上的卷積響應(yīng);f()為Q上的池化函數(shù)。本文網(wǎng)絡(luò)架構(gòu)的總目標(biāo)函數(shù)如下式：

F(W)=P(W)+Q(W)

(4)

式中：P(W)和Q(W)分別為輸出目標(biāo)和總伴隨目標(biāo)，其定義如下：

(5)

(6)

式中：M表示網(wǎng)絡(luò)總層數(shù)，w(out)是指輸出層的分類(lèi)器權(quán)重。改進(jìn)的AlexNet架構(gòu)的最終組合目標(biāo)函數(shù)定義如下：

(7)

式(7)中輸出層L(W,w(out))的總損失為：

(8)

在式(7)中，作為隱藏層的伴隨損失l(W,w(m))為：

(9)

式(8)和式(9)都是預(yù)測(cè)誤差的鉸鏈損失，可以看出，改進(jìn)的AlexNet架構(gòu)不僅學(xué)習(xí)卷積核W*，而且在每個(gè)隱藏層中強(qiáng)制執(zhí)行約束，以直接進(jìn)行良好的標(biāo)簽預(yù)測(cè)，并強(qiáng)烈推動(dòng)每個(gè)單獨(dú)的層具有辨別力和敏感性。注意，對(duì)于每個(gè)l(W,w(m))，w(m)直接取決于Z(m)，其取決于W1,W2，…,Wm直到第m層。在訓(xùn)練過(guò)程中，常把式(7)中的第二項(xiàng)設(shè)置為零。這樣，在輸出層產(chǎn)生良好分類(lèi)結(jié)果的總體目標(biāo)不會(huì)改變，并且伴隨目標(biāo)只是作為代理或正規(guī)化。為了實(shí)現(xiàn)該目標(biāo)，通常在式(6)的第二項(xiàng)中設(shè)置閾值r。該伴隨函數(shù)的工作機(jī)制是當(dāng)隱藏層的(伴隨目標(biāo))總值達(dá)到或低于r時(shí)，整體功能和伴隨目標(biāo)函數(shù)的鉸鏈損失消失，并不在學(xué)習(xí)過(guò)程中發(fā)揮作用。平衡參數(shù)αm為輸出目標(biāo)和伴隨目標(biāo)間的平衡參數(shù)。

總而言之，通過(guò)改進(jìn)每個(gè)隱藏層中的分類(lèi)器，同步深度監(jiān)督(SDS)將隱藏層的特征質(zhì)量同步執(zhí)行優(yōu)化，舍棄弱影響冗余特征，有效解決了梯度消失現(xiàn)象，減少過(guò)擬合，具有較好的分類(lèi)性能。

2.3 多尺度空間金字塔池化策略——MSPP

本文使用肺部影像公開(kāi)數(shù)據(jù)集LIDC-IDRI[17]，其中標(biāo)注的肺結(jié)節(jié)大小范圍為3～30 mm，像素級(jí)別的范圍為6×6～60×60像素，為保證大規(guī)模數(shù)據(jù)下批量訓(xùn)練及數(shù)據(jù)的原始性，將圖片調(diào)整為32×32、48×48、64×64像素3個(gè)尺度。如圖3所示。

(1) 三個(gè)尺度的良性結(jié)節(jié) (2) 三個(gè)尺度的惡性結(jié)節(jié)圖3 多尺度ROI圖

常用的CNN都需要輸入的圖像尺寸是固定的，這是由CNN的結(jié)構(gòu)決定的。

在以往的肺結(jié)節(jié)分類(lèi)任務(wù)中，往往采用特定大小ROI作為網(wǎng)絡(luò)輸入，但這種做法降低了分類(lèi)結(jié)果的準(zhǔn)確度。也有采用多尺度ROI作為輸入，但需要設(shè)計(jì)多個(gè)網(wǎng)絡(luò)模型，這增加了訓(xùn)練的復(fù)雜度。

本文使用了空間金字塔池化策略，用來(lái)處理多尺度卷積特征圖以生成固定長(zhǎng)度的池化表示。即在最后一個(gè)卷積層conv4后加入MSPP層。MSPP層對(duì)特征進(jìn)行池化，并產(chǎn)生固定長(zhǎng)度的輸出，將此輸出作為全連接層的輸入?？臻g金字塔的輸出是一個(gè)k×M維向量，M代表金字塔塊的數(shù)量，k代表最后一層卷積層的卷積核的數(shù)量。這個(gè)固定維度的向量就是全連接層的輸入。本文使用四個(gè)尺度的圖像輸入到同一個(gè)深度網(wǎng)絡(luò)，當(dāng)輸入圖像處于不同的空間尺度時(shí)，帶有相同大小卷積核的網(wǎng)絡(luò)就可以在不同的尺度上抽取特征，最后生成固定維度的向量。MSPP網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 MSPP網(wǎng)絡(luò)結(jié)構(gòu)圖

如圖4所示，將最后一層卷積后產(chǎn)生的特征圖輸入空間金字塔池化層中，該金字塔層由4層組成，都使用全局池化進(jìn)行特征映射。第1層為1×1，將特征映射的整個(gè)區(qū)域r11匯集到R1中。第2層為2×2，將特征映射區(qū)域r21、r22、r23、r24匯集到R2中。同理，將第3層和第4層將特征映射區(qū)域分別匯集到R3、R4中。因此，每個(gè)特征圖通過(guò)空間金字塔池合并為30個(gè)單元。由于前一層具有64個(gè)特征圖，因此空間金字塔池化層的輸出被連接以形成30×64維向量，然后，將該矢量送入全連接層以進(jìn)行后續(xù)的分類(lèi)。

將MSPP策略納入改進(jìn)的AlexNet-SDS架構(gòu)，可以使網(wǎng)絡(luò)模型適用于多尺度圖像同時(shí)輸入到同一個(gè)網(wǎng)絡(luò)中，它能在輸入尺寸任意的情況下產(chǎn)生固定大小的輸出，并將卷積特征匯集在任意比例區(qū)域中以生成固定長(zhǎng)度表示。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集描述

本實(shí)驗(yàn)基于來(lái)自LIDC-IDRI數(shù)據(jù)庫(kù)，包含1 010組醫(yī)療記錄和1 018套胸部CT圖像，共有244 527個(gè)胸部CT圖像，每個(gè)圖像由4位經(jīng)驗(yàn)豐富的放射科醫(yī)師進(jìn)行標(biāo)記。每組數(shù)據(jù)中的標(biāo)記信息以XML格式存儲(chǔ)，包含輪廓坐標(biāo)和肺結(jié)節(jié)的惡性程度。放射科醫(yī)師將肺結(jié)節(jié)的惡性程度M量化為1、2、3、4、5五個(gè)等級(jí)，分別表示極不可能、適度不可能、不確定、適度懷疑、高度懷疑。

3.2 實(shí)驗(yàn)方案

為了提高準(zhǔn)確性，選取至少有三個(gè)醫(yī)師同時(shí)標(biāo)注惡性度的結(jié)節(jié)，并取其平均值。去除了平均值為3的結(jié)節(jié)，若平均值低于3，則認(rèn)為該結(jié)節(jié)屬于良性結(jié)節(jié)；若平均值高于3，則認(rèn)為該結(jié)節(jié)屬于惡性結(jié)節(jié)。共得到1 265個(gè)結(jié)節(jié)，其中良性結(jié)節(jié)779，惡性結(jié)節(jié)486。為了增強(qiáng)數(shù)據(jù)集，將預(yù)處理后的ROI圖像分別進(jìn)行90°、180°、270°旋轉(zhuǎn)及水平和垂直翻轉(zhuǎn)。使用10折交叉驗(yàn)證，經(jīng)過(guò)大量實(shí)驗(yàn)調(diào)整，將初始學(xué)習(xí)率設(shè)置為0.3，并使用動(dòng)態(tài)學(xué)習(xí)率；動(dòng)量和權(quán)重衰減分別設(shè)置為0.9和0.000 5。平衡參數(shù)αm設(shè)置為0.001。在訓(xùn)練期間增加了L2范數(shù)權(quán)重衰減緩解過(guò)擬合。在實(shí)驗(yàn)中分別使用兩種分類(lèi)器，具有徑向基函數(shù)核的SVM分類(lèi)器和RF分類(lèi)器。

3.3 評(píng)價(jià)標(biāo)準(zhǔn)

在肺結(jié)節(jié)分類(lèi)實(shí)驗(yàn)中，通常使用準(zhǔn)確性、靈敏度、特異度、ROC曲線等作為評(píng)價(jià)指標(biāo)[18]。評(píng)估分類(lèi)指數(shù)的公式如表2所示，其中：TP代表真陽(yáng)性，TN代表真陰性，F(xiàn)P代表假陽(yáng)性，F(xiàn)N代表假陰性。ROC曲線指受試者工作特征曲線,是反映敏感性和特異性連續(xù)變量的綜合指標(biāo),曲線下面積越大，診斷準(zhǔn)確性越高。最后實(shí)驗(yàn)結(jié)果是在重復(fù)運(yùn)行基礎(chǔ)上由平均值和標(biāo)準(zhǔn)差的形式給出。

表2 評(píng)價(jià)指標(biāo)計(jì)算公式

3.4 模型性能比較

為了評(píng)估本文所提出的方法的性能，與最近發(fā)表的論文中使用基于LIDC數(shù)據(jù)集的肺結(jié)節(jié)傳統(tǒng)分類(lèi)方法及深度學(xué)習(xí)分類(lèi)方法進(jìn)行比較，結(jié)果列于表3和圖5中。

表3 基于LIDC數(shù)據(jù)集的肺結(jié)節(jié)分類(lèi)不同算法比較

圖5 不同模型的ROC曲線圖

從表3可以看出，本文提出的方法精度為93.68，與其他方法相比有更好的肺結(jié)節(jié)分類(lèi)性能，同時(shí)也說(shuō)明改進(jìn)的AlexNet網(wǎng)絡(luò)融合SDS策略能有效提高肺結(jié)節(jié)分類(lèi)性能，其精確度能達(dá)到92.07。本文提出的方法與傳統(tǒng)的分類(lèi)方法(Improved-RF)相比，精確度提升了8.82；與其他深度網(wǎng)絡(luò)(Setio-CNN，Overfeat)相比，精確度分別提升了7.22、11.65。

從圖5中可以看出，不同診斷方法的結(jié)果存在一定的差異性，本文方法的ROC曲線較其他方法更靠近坐標(biāo)左上方，AUC值最大，在肺結(jié)節(jié)良惡性診斷上具有明顯的優(yōu)勢(shì)。

3.5 不同分類(lèi)器同步監(jiān)督結(jié)果比較

不同分類(lèi)器同步監(jiān)督結(jié)果比較如圖6所示。

圖6 不同分類(lèi)器性能比較

可以看出，兩種分類(lèi)器均能達(dá)到較好的效果，但RF分類(lèi)器的分類(lèi)精度更高。兩個(gè)分類(lèi)器的整體性能表明加入同步監(jiān)督策略可以使分類(lèi)結(jié)果更加準(zhǔn)確。這歸功于分層同步監(jiān)督策略選擇強(qiáng)影響特征，消除了許多弱影響冗余特征。

3.6 多層次池化結(jié)果比較

為了研究MSPP層數(shù)對(duì)本文方法的影響，保持其他參數(shù)不變。設(shè)置MSPP層的數(shù)量分別為1層、2層、3層和4層。當(dāng)MSPP層為1層時(shí)，設(shè)置局部空間塊為1×1，即得到1個(gè)塊。當(dāng)MSPP層為2層時(shí)，第1層塊數(shù)保持不變，設(shè)置第2層局部空間塊為2×2，即第2層得到4個(gè)塊。當(dāng)MSPP層為3層時(shí)，第1～2層塊數(shù)保持不變，設(shè)置第3層局部空間塊為3×3，即得到9個(gè)塊。當(dāng)MSPP層為4層時(shí)，第1～3層塊數(shù)保持不變，設(shè)置第4層局部空間塊為4×4，即得到16個(gè)塊，結(jié)果如圖7所示。

圖7 多層次池化結(jié)果比較

可以看出，隨著訓(xùn)練次數(shù)的增加，當(dāng)金字塔層數(shù)為4層時(shí)分類(lèi)精確度最高；金字塔為3層時(shí)的精度與4層很接近；但是金字塔層數(shù)為1時(shí)，精度明顯降低，最高只有89.61%。由此證明，金字塔層數(shù)對(duì)提高模型精確度有著至關(guān)重要的影響。

4 結(jié) 語(yǔ)

本文提出了一種基于同步深度監(jiān)督的多尺度肺結(jié)節(jié)分類(lèi)方法，該方法改進(jìn)了經(jīng)典的AlexNet模型使其更適用于醫(yī)學(xué)圖像分類(lèi)，融合了同步深度監(jiān)督策略，解決了梯度消失現(xiàn)象，減少了過(guò)擬合；應(yīng)用SPP策略，解決了不同尺度圖像不能輸入同一模型進(jìn)行訓(xùn)練的難題，實(shí)現(xiàn)了多尺度肺結(jié)節(jié)ROI圖像端到端的分類(lèi)診斷，提高了肺結(jié)節(jié)分類(lèi)精度。通過(guò)實(shí)驗(yàn)證明，本文方法優(yōu)于當(dāng)前幾種比較流行的深度分類(lèi)方法以及傳統(tǒng)分類(lèi)算法。在下一步工作中，嘗試在3D-CNN模型中融入同步深度監(jiān)督策略，從而實(shí)現(xiàn)更精確的肺結(jié)節(jié)惡性度分類(lèi)。