孫嬌嬌，龔 安，史海濤

(中國石油大學(華東) 計算機與通信工程學院，山東 青島 266580)

0 引 言

早期肺癌沒有明顯癥狀，這導致大多數(shù)肺癌一經(jīng)發(fā)現(xiàn)多屬于中晚期，具有較高的死亡率。低劑量CT通過高速、連續(xù)的橫斷面成像數(shù)據(jù)的采集，可以發(fā)現(xiàn)位于解剖學死角或因組織結(jié)構(gòu)重疊等原因造成的疑似病灶遺漏，可明顯提高肺內(nèi)病變結(jié)節(jié)的檢出能力，這對早期發(fā)現(xiàn)肺癌有重大意義[1]。隨著CT的出現(xiàn)及廣泛應用，帶來的問題也越來越明顯，一次全肺斷層掃描可產(chǎn)生數(shù)百張圖像數(shù)據(jù)，且圖像數(shù)量急劇增長，造成現(xiàn)階段國內(nèi)醫(yī)療影像醫(yī)生供不應求[2]。另一方面，醫(yī)生對CT影像進行的分析高度依賴經(jīng)驗，且具有相當?shù)闹饔^性，這使得CT讀片的準確率差異較大。

隨著計算機技術(shù)的不斷發(fā)展，計算機輔助檢測系統(tǒng)(CADe)在一定程度上能夠有效緩解以上問題。但其所用的檢測方法復雜，處理流程的每一步多依賴于上一步的結(jié)果，且特征提取多依賴于經(jīng)驗規(guī)則，使得檢測結(jié)果的假陽率較高。因此，研究肺結(jié)節(jié)檢測方法及優(yōu)化處理步驟成為當下研究的熱點問題之一。

近年來，深度學習技術(shù)不斷發(fā)展，使其在計算機視覺領(lǐng)域取得了顯著成果。其中，較為突出的特點是自動學習圖像特征及利用神經(jīng)網(wǎng)絡(luò)深層結(jié)構(gòu)內(nèi)部特征間的相互作用進行分類，而不需要復雜的圖像處理及模式識別過程。目前，深度學習用于肺結(jié)節(jié)檢測的研究處于起步階段，在圖像、視頻處理方面取得的成就證實了其可能性[3]。Tajbakhsh[4]，Van Ginneken[5]等在2015年初步探索了深度學習的功效，在涉及醫(yī)學數(shù)據(jù)的各種CADe任務(wù)中深度神經(jīng)網(wǎng)絡(luò)具有很大的應用潛力；Kumar[6]，Shen[7]等使用基礎(chǔ)的、已訓練好的卷積神經(jīng)網(wǎng)絡(luò)模型來分類肺結(jié)節(jié)，最好的一次分類準確率達到了85.82%；Meng等通過卷積神經(jīng)網(wǎng)絡(luò)Alex Net訓練模型，使用176個病人的CT圖像進行測試，在假陽率為5.62時取得了95%的高靈敏度，取得了實質(zhì)性進展，但假陽率偏高；Setio等使用二維多視圖卷積網(wǎng)絡(luò)學習肺結(jié)節(jié)特征，通過在不同方向平面提取許多2D貼片，結(jié)合相對較寬的體積空間信息進行檢測，在1.0假陽性率時達到了85.4%的檢測靈敏度[8]，很好地降低了假陽率，但靈敏度也隨之降低。

在保證低假陽率的同時提高肺結(jié)節(jié)的檢出率是待解決的最大問題。針對該問題，文中提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)[9]的肺結(jié)節(jié)檢測方法。利用CU-net從CT圖像中進行特征學習，選取候選區(qū)域；然后將定位后的圖像通過坐標值計算合并結(jié)節(jié)，提取3D像素塊作為CFaster-Rcnn模型的輸入對肺結(jié)節(jié)進行降假陽優(yōu)化處理。

1 方法描述

文中提出的基于卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)檢測方法主要有三個步驟：訓練圖像預處理；CU-net模型候選區(qū)域檢測；CFaster-Rcnn降假陽處理。其中CU-net模型與CFaster-Rcnn組成了深度卷積神經(jīng)網(wǎng)絡(luò)模型。方法流程見圖1。

圖1 卷積神經(jīng)網(wǎng)絡(luò)模型

1.1 圖像預處理

對CT圖像進行預處理，消除胸腔其他組織器官，減弱背景、噪聲的影響，如圖2所示。

圖2 原始CT圖像(左)與處理后圖像(右)

步驟如下：

(1)選擇CT圖像中間橢圓形區(qū)域，剖除部分胸腔外部空間。

(2)選取CT圖像組中每幅圖像CT值的最大、最小值。最大值和最小值的平均值為maxCT和minCT，取maxCT、minCT的平均值作為圖像組平均值meanCT，maxCT-minCT作為圖像組CT值范圍CTrange。(其中對每張圖像的最大最小值取平均值減弱了奇異值的影響)

(3)利用meanCT和CTrange對圖像組中心化和平均濾波后，按照標準肺部CT觀察方法，將CT值高于窗位+二分之一窗寬(maxHu)的像素置為maxHu，清除不在肺結(jié)節(jié)觀測范圍的其他胸腔內(nèi)組織結(jié)構(gòu)，從而達到分離肺部與胸腔其他組織結(jié)構(gòu)的目的。

1.2 CU-net模型

候選區(qū)域檢測及降假陽處理是肺結(jié)節(jié)檢測的重要環(huán)節(jié)。候選區(qū)域檢測的效果直接影響結(jié)節(jié)的召回率，而最理想的檢測方法是要達到100%的召回率。由于目標尺度小及形態(tài)特征不唯一，使得檢測出所有真結(jié)節(jié)的難度較大。針對該問題，文中使用的候選結(jié)節(jié)檢測方法為CU-net，該網(wǎng)絡(luò)沒有完全連接層，使用每個卷積的有效部分，輸入任何尺寸的圖像都可用。CU-net結(jié)構(gòu)見圖3。

這種端到端的網(wǎng)絡(luò)模型，可以針對目標本質(zhì)、形狀及其外觀間的復雜影響建模，能夠很好地解決目標形態(tài)不唯一或者異物遮擋的問題。最后一層使用卷積將每個分量特征向量映射到期望數(shù)量的類，恢復到輸入圖像尺寸，使其對每個像素產(chǎn)生預測，即使是尺度較小的目標也可以很好地進行檢測，最后輸出為標記好的圖像。

由于原始網(wǎng)絡(luò)層較深，計算量過大，所以會出現(xiàn)過擬合現(xiàn)象，因此在原始網(wǎng)絡(luò)的收縮部分添加了Batch-Normalization(BN)來解決梯度爆炸的問題。激活函數(shù)采用RReLu代替原有的ReLU，最后加上空間dropout策略。

圖3 CU-net結(jié)構(gòu)

1.3 CFaster-Rcnn

Faster-Rcnn在人臉識別[10]和行人行為檢測方面[11]取得了不錯的效果，但尚未在肺結(jié)節(jié)檢測中應用。肺結(jié)節(jié)檢測的很多特點與其相似，如目標尺度小、樣本特征多樣化、正樣本稀疏等。文中使用CFaster-Rcnn方法對候選區(qū)域進行降假陽處理,即對CU-net模型訓練結(jié)果進行優(yōu)化。降假陽處理實際就是利用循環(huán)Faster-Rcnn對檢測出的候選區(qū)域進一步進行識別分類，使用上一層Faster-Rcnn的輸出作為下一層的輸入，每一層都選取比上一層更難分的訓練數(shù)據(jù)以達到降假陽的效果。循環(huán)結(jié)構(gòu)如圖4所示。

圖4 CFaster-Rcnn結(jié)構(gòu)

Faster-Rcnn通過conv+relu+pooling層進行特征提取，將提取到的feature map用于RPN及全連接層。RPN網(wǎng)絡(luò)用于生成region proposals，該層通過softmax判斷anchors屬于foreground或者background，再利用bounding box regression修正anchors獲得精確的proposals[12]，im_info將anchors映射回原圖。

如圖5所示，外框為提取的foreground anchors，雖然其可被識別為肺結(jié)節(jié)，但是由于定位不準，文中采用foreground anchors定位對其進行微調(diào)，增加定位準確性。

圖5 區(qū)域檢測

圖6 區(qū)域定位

思路如下：

(1)平移。

(2)縮放。

當輸入的anchor與GT，即(tx,ty,tw,th)相差不大時，dx(A)，dy(A)，dw(A)，dh(A)可看為線性變換，使用線性回歸建模微調(diào)。平移量(tx,ty)與尺度因子(tw,th)如下：

給定輸入的特征向量X,學習一組參數(shù)W,使得經(jīng)過線性回歸后的值跟真實值Y(即GT)非常接近，即Y=WT。輸入的X是一張經(jīng)過卷積獲得的feature map，定義為Φ；同時還有訓練傳入的GT，輸出是dx(A)，dy(A)，dw(A)，dh(A)四個變換[13]。目標函數(shù)為:

其中，Φ(A)是對應anchor的feature map組成的特征向量；w是需要學習的參數(shù)；d(A)是得到的預測值(*表示x,y,w,h)。為了讓預測值(tx,ty,tw,th)與真實值最小，得到損失函數(shù)：

函數(shù)優(yōu)化目標為：

將得到的精確proposals及原始的feature maps輸入RoiPooling層，提取出proposal feature maps送入全連接層進行目標判定，其中full connection+softmax計算proposal的類別，輸出cls_prob概率向量。bbox_pred則是通過bounding box regression獲取每個proposals的位置偏移量。

2 實驗結(jié)果與分析

2.1 實驗環(huán)境和數(shù)據(jù)集

實驗環(huán)境為ubuntu16.04系統(tǒng)，Intel Core i7-6700K @ 4.00 GHz四核，16 GB內(nèi)存。使用Data Science Bowl 2017的DICOM格式的肺癌高風險患者的低劑量CT圖像作為數(shù)據(jù)集，分別包括1 397人(案例)的訓練集，198人(案例)的驗證集，506人(案例)的測試集。

根據(jù)數(shù)據(jù)集本身攜帶的數(shù)據(jù)信息，合作醫(yī)院手動標記了訓練集中的2 669個結(jié)節(jié)和驗證集中的355個結(jié)節(jié)，測試集也準備了標記過的圖像，標記結(jié)節(jié)數(shù)為405。其中最大的結(jié)節(jié)大于40毫米，結(jié)節(jié)大小的分布非常不平衡，小結(jié)節(jié)的數(shù)量遠遠大于大結(jié)節(jié)的數(shù)量，而根據(jù)專業(yè)意見，小于6毫米的結(jié)節(jié)通常沒有危險，而大結(jié)節(jié)則具有更強的癌癥指標。因此，在訓練集中增加了大結(jié)節(jié)的采樣頻率，大結(jié)節(jié)所占比例約為75%。

2.2 實驗設(shè)置

使用5-折交叉驗證法，將數(shù)據(jù)隨機劃分為五份，其中四份用作訓練集，一份用作驗證集。重復實驗五次。由于GPU內(nèi)存限制，在CT圖像中提取尺寸為128×128的像素塊，首先在通過CU-net模型檢測到的結(jié)節(jié)區(qū)域中選擇80%的像素塊，使其至少包含一個結(jié)節(jié)，剩余20%隨機分割，其中結(jié)節(jié)不一定位于提取像素的中心位置，但距離邊界需大于10個像素。在訓練網(wǎng)絡(luò)后，雖然可以直接驗證整個肺部掃描，但仍受GPU內(nèi)存限制，所以將肺部掃描分成幾個部分，每個部分為208×208，分別進行處理，然后合并結(jié)果。

2.3 結(jié)果與分析

文中實驗在進行結(jié)果優(yōu)化階段需要設(shè)置合適的循環(huán)次數(shù)。根據(jù)經(jīng)驗，第二層模型Free-response ROC可以比第一層的效果提升0.5～0.6，第三層能比第二層提升0.3～0.4，層數(shù)越多理論上效果越好，在相同假陽性個數(shù)時可靠性越強。但通過多次實驗對比發(fā)現(xiàn)，在層數(shù)增加的情況下，診斷準確率趨勢為先增后減，如圖7所示。這是由于在層次化訓練模型中，初始階段區(qū)分度較明顯，準確率會上升，但慢慢抽象的特征信息使得區(qū)分度降低，準確率下降。由圖7可以看出，當CFaster-Rcnn層數(shù)為3時，準確率最高。

圖7 模型層次

驗證集共包括198人(病例)數(shù)據(jù)，其中排除6個小于6毫米的結(jié)節(jié)后，共有349個結(jié)節(jié)。實驗通過受試者特征(free-response receiver operating characteristic，F(xiàn)ROC)曲線來分析其檢測性能，F(xiàn)ROC曲線可以反映肺結(jié)節(jié)檢出率和平均每幅圖像假陽性個數(shù)的關(guān)系[14]。如圖8所示，假陽性率為0.125，0.25，0.5，1，1.5，2，4時，平均召回率為0.896 2。

圖8 FORC圖(1)

使用訓練好的模型進行測試，最終生成4 597個結(jié)節(jié)，在3 024個真結(jié)節(jié)中檢測到了2 978個，召回率為98.5%。最后進行假陽性去除，圖9給出了FROC檢測性能曲線。在每一幅CT假陽性為1.65和4時，分別獲得了92.6%和96.5%的準確率。

圖9 FORC圖(2)

為了闡明文中卷積神經(jīng)網(wǎng)絡(luò)模型的優(yōu)越性，與其他基于深度學習的肺結(jié)節(jié)檢測方法進行比較。文獻[5]使用了多視角深度學習方法，在一定程度上優(yōu)于單尺度方法，在1.92的假陽率下，獲得了平均89%的靈敏度；文獻[6]使用Alex Net訓練模型，在假陽性為2.5時取得了約85%的靈敏度；文獻[7]使用多尺度方法，在相同假陽率下，其方法略優(yōu)于文獻[5]的方法。而文中方法在相同假陽率下的靈敏度明顯優(yōu)于其他方法，在1.92假陽率下，靈敏度約為93.1%，2.5的假陽率下靈敏度為94.35%。圖10中橫坐標SP表示真陰性率，1-SP表示誤診率，縱坐標SE表示靈敏度，也稱召喚率。該曲線反映了不同模型的診斷效率，曲線下的面積越大代表診斷效果越好，可以看出文中方法具有一定優(yōu)勢。

圖10 不同診斷模型ROC曲線

3 結(jié)束語

為了在保證肺結(jié)節(jié)檢測準確率的同時降低假陽率，將CU-net與3D CFaster-Rcnn相結(jié)合，提出一種深度卷積神經(jīng)網(wǎng)絡(luò)模型進行肺結(jié)節(jié)檢測。在使用CU-net全卷積神經(jīng)網(wǎng)絡(luò)進行候選區(qū)域檢測時達到了98.5%的召回率，之后使用模型進行降假陽處理，在假陽性為1.65時達到了92.6%的準確率。與其他模型進行對比后發(fā)現(xiàn)，在較低假陽率下，取得了較高的準確率。通過數(shù)據(jù)不難發(fā)現(xiàn)，在不考慮假陽性的情況下，肺結(jié)節(jié)的召回率很高，所以研究的重點還是在盡可能降低假陽性的情況下使準確率達到最高。后期可以考慮將候選區(qū)域檢測與降假陽步驟合并，在同一網(wǎng)絡(luò)模型下進行更精確的檢測[15]。