李 維，趙曉樂，段彥隆，劉利軍，黃青松,2+

1.昆明理工大學信息工程與自動化學院，昆明 650500

2.云南省計算機技術應用重點實驗室，昆明 650500

1 引言

肺癌是目前所有惡性腫瘤中發(fā)病率和死亡率最高的癌癥之一，據(jù)國家癌癥中心2018年的公布結果顯示，由于吸煙、被動吸煙以及空氣污染等因素，肺癌在我國的發(fā)病率最高。由于肺癌早期無明顯癥狀，大多以肺結節(jié)形式存在，導致肺癌臨床確診時往往已處于中晚期，若能早期發(fā)現(xiàn)肺結節(jié)將會提高肺癌患者五年的生存率，因此肺結節(jié)的早期篩查對診斷、治療肺癌起著重要的作用[1-2]。隨著低劑量薄層CT、64排螺旋CT等技術在醫(yī)院的普及與應用，肺部CT切片增多，肺結節(jié)檢出量增多，導致醫(yī)生工作量增大，漏檢率增高。因此，如何降低醫(yī)生閱片量，減少漏檢率，在肺結節(jié)的檢測和診斷中具有重要意義[3]。由于肺中可能伴隨其他異常且肺結節(jié)在肺內(nèi)表現(xiàn)復雜，傳統(tǒng)方法對肺結節(jié)的檢測與診斷具有一定的難度[4]。近年來隨著人工智能等前沿技術在醫(yī)療領域的應用，已有越來越多的研究者將深度學習等方法用在肺結節(jié)的早期診斷中。由于通過深層卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）可以端到端地提取出圖像的細粒度特征和更高層抽象語義信息[5]，且能提取出有效的醫(yī)學圖像特征信息[6]，減少了肺實質(zhì)分割和手工設計特征帶來的誤差，目前在醫(yī)學圖像檢測分析方面已經(jīng)取得了一定成果[7-9]。肺結節(jié)以三維立體形式存在，傳統(tǒng)的肺結節(jié)特征提取方法往往是基于單層肺結節(jié)切片進行的，盡管肺結節(jié)切片間隔在毫米量級，但是對于長徑通常不超過30 mm的肺結節(jié)而言，相鄰切片在細粒度上依然存在一定差異。本文針對傳統(tǒng)方法檢測肺結節(jié)精準度不高，難以提取準確的肺結節(jié)特征信息等問題，提出了一種基于卷積神經(jīng)網(wǎng)絡多層面二階特征融合模型（multilevel second-order feature fusion model based on convolutional neural network，CMSFF），對肺結節(jié)進行特征學習。該方法通過改進的卷積神經(jīng)網(wǎng)絡構建CMSFF模型，對多個層面的肺結節(jié)進行特征提取，通過兩個階段進行特征融合，實現(xiàn)肺部CT圖像的粗粒度特征學習和肺結節(jié)的細粒度特征學習。實驗結果表明，該方法能夠提取出更精確和完善的肺結節(jié)特征表達，提高了肺結節(jié)惡性程度分類準確率。

2 相關工作

通常對肺部結節(jié)的計算機輔助檢測（computer aided detection，CAD）技術流程包括：圖像預處理、肺實質(zhì)分割、候選肺結節(jié)提取、假陽性結節(jié)去除、結節(jié)檢測性能分析[10]。由于大多數(shù)假陽性結節(jié)是由血管區(qū)域引起的，經(jīng)典的3D線性濾波器移除肺部區(qū)域血管[11]的方法不能很好地濾除噪音的干擾，因此Liu等[1]采用基于幾何和統(tǒng)計特征結合的方法初始候選結節(jié)，大大降低了假陽性結節(jié)率。早期對肺結節(jié)惡性程度的診斷主要通過設置閾值，并觀察結節(jié)不同時間結節(jié)體積的變化，最后通過一種標準公式來評估出結節(jié)增長率的方式進行診斷[12-14]，然而這些方法對患者歷史診斷數(shù)據(jù)依賴性強，因此難以實際應用。除了針對肺結節(jié)形狀、體積等特征之外，也有研究者針對結節(jié)的細粒度特征進行研究，如Way等[15]對結節(jié)的光滑度、分葉征和毛刺征等特點進行良惡性診斷。Orozco等[16]利用有監(jiān)督的二分類支持向量機（support vector machine，SVM）算法，通過對CT圖像進行兩次小波計算并選擇特征作為SVM的輸入，實現(xiàn)對肺結節(jié)的檢測，而Firmino等[17]使用分水嶺和定向梯度直方圖（histogram of oriented gradients，HOG）技術來分離結節(jié)與其周圍結構來提取肺結節(jié)的特征信息，最終得到了較好的分類結果。盡管肺結節(jié)的基本形狀特征可以用來作為診斷其良惡性的重要依據(jù)[10]，然而由于肺結節(jié)特征復雜且表現(xiàn)各異，只關注形狀等基礎視覺特征差異則會丟失許多細粒度信息。

隨著深度學習方法的發(fā)展與應用，目前已有研究人員利用深度學習強大的特征學習和特征表達能力，對肺部CT圖像進行研究。如Ciompi等[18]采用OverFeat的預訓練CNN的輸出來描述2D視圖的肺結節(jié)，最終AUC（area under curve）達到了0.868。Yang等[19]采用雙通道模型的卷積神經(jīng)網(wǎng)絡結構進行肺結節(jié)分類，AUC值為0.821 6。Pinheiro等[20]采用集群智能訓練的卷積神經(jīng)網(wǎng)絡模型對肺結節(jié)進行檢測和分類，與常規(guī)的反向傳播訓練模型相比，該模型在結節(jié)分類中實現(xiàn)了更高的性能。Setio等[8]設計并構建一個多視圖架構，融合兩次的特征信息來抑制假陽性結節(jié)，從而達到了不錯的效果。Zhang等[21]利用殘差網(wǎng)絡融合多尺度的肺結節(jié)特征進行分類，達到了0.901的AUC值。有監(jiān)督的深度學習方法可以直接通過不斷訓練模型的特征學習能力，來自動識別與過濾掉圖像中的噪聲干擾部分，從而提高了肺結節(jié)檢測的準確度，同時減少了傳統(tǒng)方法中對數(shù)據(jù)預處理的繁瑣工作。然而胸部CT圖像中的肺結節(jié)周圍環(huán)境過于復雜，以及肺結節(jié)形態(tài)的多樣性導致現(xiàn)有方法提取到的肺結節(jié)特征信息仍然存在一定的噪音干擾。盡管3D線性濾波器[11]可以將肺結節(jié)周圍的支氣管精確地移除掉，但是無法準確地移除肺結節(jié)周圍的毛細血管、組織器官等干擾因素。

針對傳統(tǒng)方法提取的特征具有局限性，不能靈活地泛化，以及現(xiàn)有深度學習方法不能很好地避免噪音的干擾等問題[22-23]，本文提出采用深度神經(jīng)網(wǎng)絡對多層面的肺結節(jié)進行特征提取，不僅可以通過淺層神經(jīng)網(wǎng)絡提取肺結節(jié)底層的幾何形狀、灰度特征、紋理等特征信息，還能通過深層的網(wǎng)絡提取出高層的抽象語義信息。

3 CNN多層面二階特征融合模型

肺部CT切片間隔通常在1～3 mm之間[24]，因此相鄰結節(jié)切片位置形狀變化不大，但相鄰切片上結節(jié)周圍的血管等組織器官變化較大（比如同一個結節(jié)的連續(xù)相鄰切片，結節(jié)周圍的同一位置會出現(xiàn)有血管和無血管的情況，如圖1所示）。本文對于肺部CT圖像中肺結節(jié)細粒度的研究，提出采用基于卷積神經(jīng)網(wǎng)絡多層面二階特征融合模型（CMSFF），目的是提取出肺結節(jié)全面、準確的特征信息，提高肺結節(jié)惡性程度分類準確率。特征提取模型的總體框架如圖2所示，分為特征提取子模塊M1和特征融合子模塊M2。子模塊M1中共有3個并行的卷積操作，每個卷積操作分為5個層，其中除第一層conv1外，剩余4層均由不同數(shù)量的子層構成。子模塊M2中則是多層面ROI圖像塊的特征融合過程。特征融合分為不同層級的特征融合[25]與相同尺度的特征融合兩個階段。模型的輸入是同一個肺結節(jié)的連續(xù)3張不同ROI（region of interest）圖像塊，輸出是肺結節(jié)的特征向量F。在模型最后的輸出F，添加兩層全連接層，進行分類，最終輸出肺結節(jié)的惡性程度評估結果。

Fig.1 Comparison of surrounding environment of different sections of the same nodule圖1 同一結節(jié)不同切片周圍環(huán)境對比

Fig.2 General framework of pulmonary nodule feature extraction based on CMSFF圖2 基于CMSFF肺結節(jié)特征提取總體框架

3.1 CNN多層面特征提取子模塊

醫(yī)學圖像中病灶區(qū)域較小，通常與人體組織器官之間具有較高的相似性，相比自然圖像，醫(yī)學圖像往往更關注細粒度層面的特征信息。然而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡的特征信息在卷積層和全連接層進行傳遞時，存在信息的丟失與損耗。為了減少特征提取過程中信息的丟失與損耗，保留更完整的特征信息，本文在子模塊M1中引入由He等[26]提出的殘差網(wǎng)絡ResNet50的網(wǎng)絡模型。該網(wǎng)絡模型可以通過殘差映射函數(shù)更高效地學習前一層輸入輸出的差異部分，在網(wǎng)絡收斂到一定程度時，輸入信息可以跳過部分層次的網(wǎng)絡，然后與經(jīng)過卷積后的輸出相加，達到充分訓練底層網(wǎng)絡的效果，解決了網(wǎng)絡退化問題和梯度消失問題，保護了信息的完整性，同時網(wǎng)絡只需要學習輸入、輸出差別的那一部分，簡化了學習目標和特征提取的復雜度。

基于卷積神經(jīng)網(wǎng)絡的多層面特征提取子模塊M1是整個肺結節(jié)特征提取模型的基礎，通過該模塊對多層面的肺結節(jié)進行初步特征提取，可同時得到同一個肺結節(jié)不同切片的特征表達。其中子模塊M1由3個并行的神經(jīng)網(wǎng)絡構成，網(wǎng)絡部分均采用ResNet50的前49層。前49層激活函數(shù)全部使用ReLU[27]。

本文的特征提取子模塊M1采用ResNet50進行圖像的卷積操作，M1接收一個三元組的ROI圖像塊輸入和肺結節(jié)惡性程度標簽。每一層圖像卷積得到的輸出分別標記為其中*表示所抽取的切片編號{1,2,3}，如圖3（a）上半部分所示。由于第一層卷積conv1得到的輸出過大，在模型訓練時會嚴重影響訓練速度。其次，這一層得到的低層語義信息相比存在較大差距，對模型訓練效果影響不大，因此在接下來的特征融合計算中舍棄對的直接使用。通過對3張圖像塊的特征提取，分別得到4層對應的特征表達，由于每一層都處于網(wǎng)絡的不同深度，因此每一層的輸出都包含了不同的語義信息。其中s*_f5是頂層卷積得到的特征信息，相比低層特征s*_f2，其含有的語義信息更抽象，更能表達肺結節(jié)的細粒度特征。

3.2 CNN多層面特征融合子模塊

Fig.3 Feature extraction and fusion of pulmonary nodules圖3 肺結節(jié)的特征提取與融合

盡管通過M1模塊已經(jīng)得到了肺結節(jié)圖像塊的頂層特征s*_f5，并且得到的頂層特征包含的語義比較豐富，但是頂層特征包含的ROI輪廓、灰度等信息通常卻較為粗略。而在包含語義信息相對較少的低層特征中所包含的ROI輪廓、灰度等信息較為精確[25]。針對肺結節(jié)的特征提取，抽象的高層語義信息固然重要，但是并不能忽略肺結節(jié)的輪廓、灰度等特征的變化。因此加入低層的特征信息進行多層級特征融合，保留更完整的特征信息，使提取到的語義信息更具魯棒性。一個三維肺結節(jié)的不同切面，其攜帶的特征信息有一定的差異，因此從3D的視角進行特征的提取，將3個層面的圖片特征進行融合，這也符合放射科醫(yī)生臨床診斷流程。

本文所提出的二階特征的融合分為兩個步驟。首先利用M1子模塊中提取的同一張圖片4個不同層級特征信息進行融合，然后將最終得到的3張圖片特征信息進行二次融合。

第一步：在特征融合時，首先將conv5x層的輸出s*_f5用f[6]=1的卷積核進行卷積，輸出為s*_f6；然后將s*_f4進行f[7]=1的卷積，并將s*_f6進行上采樣Upsample，目的是使得到的向量的維度與s*_f4維度相同，最后將兩者進行融合，融合方式通過加法合并，得到s*_f7，如圖3（b）、圖3（c）所示。s*_f3層執(zhí)行同樣的操作得到s*_f8，對于s*_f2層，執(zhí)行上述操作之后并進行s=2的最大池化操作，得到s*_f9，其中convLm2(Lm2={6,7,8,9})均為卷積核的卷積操作。于是由淺及深地得到融合后的特征信息s*_f9，該層包含了圖像中所關注目標的輪廓、灰度等特征信息，以及更抽象的高層語義信息，提取得到的肺結節(jié)的特征表達更加完善與準確。

第二步：將第一步融合后的特征s*_f9分別經(jīng)過f[10]=1的卷積核進行卷積，得到特征s*_f10；此時的3個特征s*_f10具有相同的尺度，即高h、寬w和通道數(shù)c均相同：h1=h2=h3,w1=w2=w3,c1=c2=c3。因此將3個向量在通道方向進行合并，得到一個維度為h1×w1×3c1的特征向量F。

至此特征的提取與融合部分完成。將向量F經(jīng)過全局平均池化層和全連接層展開，最終通過Softmax函數(shù)得到肺結節(jié)惡性程度的評估結果。其中CMSFF模型的網(wǎng)絡結構如圖4所示。

3.3 CMSFF模型目標函數(shù)

在用神經(jīng)網(wǎng)絡訓練模型時，需要設計一個合適的目標函數(shù)才能提高準確率和所訓練模型的魯棒性。本節(jié)所提出的CMSFF模型是基于殘差網(wǎng)絡而設計，目標函數(shù)采用交叉熵函數(shù)。本節(jié)通過所提出模型對CT圖像中的肺結節(jié)進行特征提取，最終實現(xiàn)肺結節(jié)的惡性程度評估，交叉熵函數(shù)可用于分類問題中，能得到線性的梯度，有效地防止梯度的消失。殘差網(wǎng)絡的第l子層特征可以表示為該層之前的所有殘差函數(shù)輸出以及第一層的特征表達的總和，因此定義殘差網(wǎng)絡中第l子層的特征表達xl為：

其中，Wj表示第j個子層的權重參數(shù)，l∈(0,50)，此處為了表達方便省去了偏置項bj。則第i個樣本在殘差網(wǎng)絡中每個層L的特征表達如下：

其中，*表示輸入樣本的3個ROI圖像塊s1、s2、s3，Lm1表示模塊M1的層，并且Lm1∈{1,2,3,4,5}。另用Lm2表示模塊M2的層，Lm2={6,7,8,9,10}。于是模塊中涉及到的1×1的卷積操作convLm2表示如下：

其中，k∈{6,7,8}，upsample2D(·)表示執(zhí)行2D上采樣操作，且k的值為8時，對融合后的特征進行最大池化處理。將Lm2=10代入式（3）中，得到第10層的特征表達，對得到的3個特征表達進行融合：

Fig.4 Network structure diagram of CMSFF model圖4 CMSFF模型網(wǎng)絡結構圖

其中，sθ(·)表示Softmax函數(shù)，θ為模型的參數(shù)，將模型輸出φi代入其中，于是得到最終的目標函數(shù)為：

其中，式（7）的最后一項為L2正則化項，λ為正則化參數(shù)，w為模型中的所有權值。通過最小化該目標函數(shù)，對網(wǎng)絡參數(shù)進行迭代更新來訓練出一個肺結節(jié)惡性程度評估的CMSFF模型。

算法1肺結節(jié)惡性程度評估算法

輸出：惡性程度評估結果P。

4 實驗結果與分析

4.1 實驗數(shù)據(jù)的準備與處理

本文研究內(nèi)容所采用的數(shù)據(jù)集來自肺部影像數(shù)據(jù)庫（LIDC-IDRI）和SPIE等[28]提供的肺結節(jié)分類挑戰(zhàn)賽數(shù)據(jù)集（SPIE-AAPM-LungX）。

從圖5可以看出，胃蛋白酶在2 h酶解產(chǎn)物的降血糖功能達到最高水平，抑制率達到41.3%，隨后保持穩(wěn)定；中性蛋白酶酶解產(chǎn)物的降血糖功能隨時間變化波動較大，在3 h達到最高。三種酶中胃蛋白酶酶解產(chǎn)物降血糖功能顯著高于其他兩種酶，而中性酶和堿性酶產(chǎn)物降血糖功能沒有顯著差異。這一實驗結果與酶解鰱魚蛋白的降血糖功能研究結果稍有不同，其結果為中性蛋白酶解產(chǎn)物降血糖功能最強[18]，這一差異可能與實驗原料的氨基酸組成有關。

LIDC-IDRI數(shù)據(jù)集中共包含1 010例患者的所有肺部CT掃描成像結果，每一個病例文件中包含了以DICOM標準格式存儲的臨床CT掃描文件，同時用一個可擴展的標記性語言（XML）文件記錄每一個病例文件中的結節(jié)信息，包括患者的所有長徑大于3 mm的結節(jié)位置信息和病理描述信息評價級別。預處理得到的結節(jié)信息如表1所示。

Table 1 LIDC-IDRI data preprocessing information表1 LIDC-IDRI數(shù)據(jù)預處理信息

肺結節(jié)在一張切片上被定義為長徑在3～30 mm內(nèi)的類圓形病灶區(qū)域，因此一個3維結構的肺結節(jié)可通過連續(xù)多張切片表示出來[24]。由于結節(jié)大小尺寸不固定，同時為了減少切割出的ROI區(qū)域攜帶的噪音，本文在對實驗數(shù)據(jù)中肺結節(jié)的預處理時，切割出不同尺寸的ROI。具體方法是根據(jù)DICOM文件生成JPG圖像的DPI（dots per inch）值（DPI=96），計算得到肺結節(jié)在JPG圖像上的像素區(qū)間為（11，114），本文根據(jù)該尺寸在數(shù)據(jù)預處理時切割出能完全覆蓋肺結節(jié)區(qū)域的最小矩形，且取矩形的邊長為R∈{16×16,32×32,64×64,128×128}。經(jīng)過對肺結節(jié)的預處理，得到每個結節(jié)連續(xù)m個ROI圖像塊（如圖5所示），同時保留結節(jié)長徑最大的圖像塊所對應的原始CT圖像。統(tǒng)計實驗數(shù)據(jù)集中肺結節(jié)長徑大于3 mm的同一結節(jié)中連續(xù)m張ROI圖像塊，得到的m取值分布如圖6所示。因此本文在實驗中取m=4。由于m取1的情況下結節(jié)數(shù)量過少，因此實驗中直接舍棄；對于m取2和3的情況，通過復制原圖來達到m=4；對于m＞4的情況，則直接選用結節(jié)長徑最大的4張。

Fig.5 Cutting samples of different pulmonary nodules圖5 不同肺結節(jié)的切割樣例

Fig.6 Number of nodules corresponding to different m values圖6 不同m值對應的結節(jié)數(shù)量

實驗中采用的標簽數(shù)據(jù)由4名專家分別標注完成，因此對同一個結節(jié)的標注信息，最多存在4種結論。本文參考LUNA16數(shù)據(jù)集的構建方法，將肺結節(jié)惡性程度按等級劃分為3類：1、2為一類m1，3為一類m2，4、5為一類m3。重新統(tǒng)計肺結節(jié)：排除4名專家標注了2種數(shù)量均等的標簽信息，如表2所示，肺結節(jié)數(shù)量為2 333。于是得到肺結節(jié)惡性程度數(shù)據(jù)如表3所示。由于3種類別的惡性程度分布不均衡，在輸入樣本數(shù)據(jù)進行訓練時，對m1～m3采用過采樣，m1、m2、m3的過采樣權重分別為1.10、1.00、1.35。

Table 2 Distribution of malignant degree labeling among 4 experts表2 4名專家惡性程度標注情況分布

Table 3 Distribution table of malignant degree表3 惡性程度分布表

SPIE-AAPM-LungX數(shù)據(jù)集信息如表4所示，共包含22 489張圖片，70例肺CT影像，共83個候選結節(jié)（其中13例包括2個結節(jié)），42個良性結節(jié)，41個惡性結節(jié)。每個病例包含了以DICOM標準格式存儲的CT掃描文件。在相關的Excel文件中，包含每個結節(jié)的病例名稱，結節(jié)質(zhì)心的坐標和結節(jié)良、惡性二類標簽信息。

Table 4 SPIE-AAPM-LungX data information表4 SPIE-AAPM-LungX數(shù)據(jù)信息

4.2 實驗設計

本文的實驗環(huán)境如下：CPU Intel?Xeon?Silver 4110 CPU 2.10 GHz*2；GPU NVIDIA TITAN XP；內(nèi)存64 GB；操作系統(tǒng)Ubuntu Server 16.04 64-bit；編程語言python 3.6。

本文在模型的輸出后面，添加兩層全連接層，將輸入的肺結節(jié)進行惡性程度評估，以肺結節(jié)的惡性程度等級作為模型的輸出，并作為實驗的最終評價結果。采用真陽性率TPR（靈敏度）、假陽性率FPR以及TNR（特異度）、Precision（精確度）、F1值（F1 measure）[16]進行評價。用ROC曲線與橫軸和縱軸所圍成圖像的面積AUC作為肺結節(jié)良惡性分類的評價指標。其中縱軸真陽性率TPR（靈敏度）、橫軸假陽性率FPR以及特異度TNR計算定義如下：

AUC、Precision、F1值的計算公式如下：

其中，TP表示真陽性數(shù)量，F(xiàn)P表示假陰性數(shù)量，F(xiàn)N表示假陽性數(shù)量，TN表示真陰性數(shù)量，x、y分別是ROC曲線的坐標點FPR和TPR，m是坐標點的數(shù)量。

4.2.1 CMSFF模型的參數(shù)選擇

本文實驗，首先需要從原始胸部CT圖像中抽取一個肺結節(jié)所包含的3張長徑最大的切片，并根據(jù)標注的肺結節(jié)位置信息進行切割，得到3張ROI圖像塊。將得到的圖像塊輸入肺結節(jié)特征提取模型中提取特征信息，進行惡性程度的評估。在實驗過程中模型的主要參數(shù)設定如表5所示。

Table 5 Setting of experimental parameters表5 實驗參數(shù)設定

4.2.2 肺結節(jié)惡性程度分類對比實驗

本文實驗通過對胸部CT圖像進行特征提取，訓練出CMSFF模型，實現(xiàn)肺結節(jié)的惡性程度評估，實驗流程如圖7所示。

Fig.7 Experimental procedure for evaluating malignant degree of pulmonary nodules圖7 肺結節(jié)惡性程度評估實驗流程

本文對傳統(tǒng)方法、現(xiàn)有基于神經(jīng)網(wǎng)絡方法以及本文所提方法進行肺結節(jié)病理信息預測對比實驗。為了得到可靠穩(wěn)定的模型，實驗使用6折交叉驗證法，將整個樣本集劃分為6組，保留1組作為測試集，另5組作為訓練集輸入模型，每個分類器訓練和測試6次。取6組實驗的平均值作為實驗最終結果。實驗中對Firmino等[17]、Francesco等[18]和Zhang[21]的方法在LIDC-IDRI上進行對比。實驗結果如表6所示，本文方法的精確度為91.27%，靈敏度為89.48%，F(xiàn)1值為90.37%，精確度和靈敏度以及F1值均高于其他方法。由特異度值95.93%可知，實驗分類結果的假陽性率保持在較小比例。

Table 6 Comparative results of different methods and models in LIDC-IDRI表6 LIDC-IDRI數(shù)據(jù)集不同方法模型對比結果

為進一步驗證本文方法的魯棒性，在SPIEAAPM-LungX數(shù)據(jù)集上進行了一組對比實驗，實驗結果如表7所示。本文方法的精確度為91.09%，靈敏度為88.98%，特異度為92.74%，F(xiàn)1值為90.02%，精確度、靈敏度、特異度以及F1值同樣均高于其他方法，證明本文方法具有很強的魯棒性。

Table 7 Comparative results of different methods and models in SPIE-AAPM-LungX表7 SPIE-AAPM-LungX數(shù)據(jù)集不同方法模型對比結果

4種方法在LIDC數(shù)據(jù)集上的實驗結果ROC曲線圖如圖8，在SPIE-AAPM-LungX數(shù)據(jù)集上的實驗結果ROC曲線如圖9所示。在LIDC數(shù)據(jù)集和SPIEAAPM-LungX數(shù)據(jù)集上，CMSFF模型的AUC值分別為0.924和0.919，均高于其他幾種方法。從圖中可以直觀地看出，代表本文提出模型的實線均位于其他模型ROC曲線的左上方，可以看出本文方法對肺結節(jié)良惡性分類的性能優(yōu)于其他模型。實驗結果表明，CMSFF模型不僅通過淺層神經(jīng)網(wǎng)絡提取ROI圖像塊中肺結節(jié)底層的形狀、灰度特征、紋理等特征信息，還通過深層的網(wǎng)絡提取出高層的抽象語義信息。此外，特征的提取采用有監(jiān)督的神經(jīng)網(wǎng)絡所訓練出來的模型，模型經(jīng)過樣本數(shù)據(jù)進行參數(shù)的調(diào)整。對于全面、準確的肺結節(jié)特征信息具有較高的提取能力，進而提高了肺結節(jié)分類準確率。

Fig.8 ROC result curves of 4 models in LIDC-IDRI圖8 LIDC-IDRI數(shù)據(jù)集4種模型ROC曲線圖

Fig.9 ROC result curves of 4 models in SPIE-AAPM-LungX圖9 SPIE-AAPM-LungX數(shù)據(jù)集4種模型ROC曲線圖

4.2.3 輸入對比實驗

本文所提模型CMSFF的輸入為3個層面的ROI圖像塊，為了驗證從肺結節(jié)的3個層面提取其ROI特征信息的有效性，分別與單個層面的ROI圖像塊以及未進行病灶區(qū)域切割的原始CT圖像進行實驗結果的對比（單個層面的ROI輸入采用ResNet作為模型）。實驗結果如表8所示，從表中可以看出，基于3個層面的ROI圖像塊的AUC值，均高于單層面的ROI圖像塊與3層原始CT圖像的AUC值。在準確率與靈敏度方面，本文所采用的方法比單層ROI圖像塊分別提高了6.96個百分點和9.05個百分點，證明了多層面特征融合的有效性，比3層原始CT圖像分別提高了20.83個百分點和24.81個百分點，證明了3個層面的ROI圖像塊提取特征的準確性要高于原始CT圖像直接特征提取的方法。

Table 8 Comparison of different input images表8 不同輸入圖像對比

4.2.4 不同ROI尺寸對比實驗

針對肺結節(jié)的尺寸以及肺結節(jié)周圍過多的噪音，本文切割的ROI尺寸μ是以能完全覆蓋肺結節(jié)區(qū)域的最小矩形R∈{16×16,32×32,64×64,128×128}為標準。因此本實驗針對R值的選取進行實驗對比，結果如表9所示，在所有ROI尺寸的選擇中本文所采用的方法得到的AUC值是最優(yōu)的，其中μ2的方法采用了基于三維空間的紋理特征，將語義相關性和視覺相關性的度量作為基礎，通過決策樹的多分類模型來提高最終的實驗效果[29]，得到了不錯的結果。直接采用原始CT圖像尺寸μ5在神經(jīng)網(wǎng)絡中進行訓練，得到的AUC達到了0.82[30]。

Table 9 ROI comparison of different sizes表9 ROI不同尺寸對比

5 結束語

本文采用基于卷積神經(jīng)網(wǎng)絡的多層面二階特種融合方法對肺結節(jié)的惡性程度進行評估，針對不同肺結節(jié)預處理出不同尺寸的ROI圖像塊，對肺結節(jié)的多個層面進行基于殘差網(wǎng)絡的特征提取，通過兩個階段的特征融合獲得更精確的特征信息，同時弱化結節(jié)周圍噪音的干擾。實驗過程中，通過對輸入到模型中的圖像進行調(diào)整，最終驗證了采用三個層面的ROI圖像塊進行特征提取的有效性；通過所訓練模型對肺結節(jié)惡性程度進行評估，并且與現(xiàn)有的肺結節(jié)惡性程度評估的方法進行了實驗結果對比，最終驗證了所訓練模型提高了肺結節(jié)惡性程度分類準確率。在進一步的研究中，對殘差網(wǎng)絡提取到的不同層級的特征進行融合還可以繼續(xù)優(yōu)化，因為這些不同層級的特征表達的信息有一定的冗余，通過一些約束，減少冗余的特征信息，使提取到的特征信息更符合研究需要，增強網(wǎng)絡的魯棒性。