朱國策， 李朝鋒

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

應(yīng)用技術(shù)

基于卷積神經(jīng)網(wǎng)絡(luò)的胸片肺結(jié)節(jié)檢測*

朱國策， 李朝鋒

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122)

針對目前胸片的肺結(jié)節(jié)檢測方案的檢出率較低，且存在大量的假陽性的問題，提出了一種新的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的肺結(jié)節(jié)檢測方案。增強肺結(jié)節(jié)區(qū)域的圖像信號；選擇正、負樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，檢測結(jié)節(jié)時用滑動窗口的方法對增強后的圖片進行處理得到候選區(qū)域；根據(jù)候選區(qū)域的面積排除假陽性。方案中省略了傳統(tǒng)方法中的肺區(qū)分割步驟，避免了因此可能丟失的肺結(jié)節(jié)圖像。在日本放射技術(shù)學(xué)會(JSRT)數(shù)據(jù)庫上測試結(jié)果顯示，系統(tǒng)在平均每幅圖5.0個假陽性水平下敏感度為86 %，對不明顯和非常不明顯的結(jié)節(jié)檢出率達到了84 %，優(yōu)于當(dāng)前相關(guān)文獻報道的方法。

肺結(jié)節(jié)； 醫(yī)學(xué)圖像處理； 胸片； 卷積神經(jīng)網(wǎng)絡(luò)

0 引 言

肺結(jié)節(jié)計算機輔助檢測和診斷系統(tǒng)發(fā)展已久,對于當(dāng)前的檢測系統(tǒng)，最大挑戰(zhàn)是如何在提高結(jié)節(jié)檢測率的同時，降低檢測結(jié)果中的假陽性。文獻[1]采用了結(jié)節(jié)增強的技術(shù)提高了結(jié)節(jié)的檢出率；文獻[2]利用虛擬雙能減影的技術(shù)提高了結(jié)節(jié)的檢出率；文獻[3]利用基于左右肺區(qū)對稱原理去除肋骨結(jié)構(gòu)的影響降低了假陽性。

深度學(xué)習(xí)近年來迅猛發(fā)展，其中卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域取得了重要發(fā)展，尤其在圖像分類、目標(biāo)檢測等方面取得了很好的成績，保證了模型具有良好的泛化性能并獲得概率上的全局最優(yōu)[4,5]。

傳統(tǒng)的檢測系統(tǒng)大致包括圖像預(yù)處理、肺區(qū)分割和候選區(qū)域特征提取3個部分[6]。其中在肺區(qū)分割的同時也會將一部分的結(jié)節(jié)排除在外，使系統(tǒng)最終無法檢測到相應(yīng)的結(jié)節(jié)。本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的肺結(jié)節(jié)檢測方案。該方案省略了肺區(qū)分割操作，避免了因肺區(qū)分割可能丟失的肺結(jié)節(jié)。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)檢測方法

1.1 肺結(jié)節(jié)檢測

肺結(jié)節(jié)檢測方法包括3部分：1)圖像預(yù)處理；2)CNN模型建立；3)候選結(jié)節(jié)選取和篩選。首先用非銳化遮罩(unsharp mask,USM)銳化的方法對原圖進行銳化[7];然后用滑動窗口的方法切取小塊，下采樣后傳入CNN，得到該胸片上肺結(jié)節(jié)的疑似區(qū)域;最后在該區(qū)域中篩選出真結(jié)節(jié)，整體流程如圖1所示。

圖1 肺結(jié)節(jié)檢測系統(tǒng)流程

1.1.1 圖像預(yù)處理

圖像預(yù)處理的目的是使肺結(jié)節(jié)更加明顯。如圖2(a)中所示，圖中圓圈處為肺結(jié)節(jié)的位置，肺結(jié)節(jié)表現(xiàn)為一個低對比度的圓斑。使用非銳化遮罩(unsharp mask,USM)銳化的方法增強肺結(jié)節(jié)的圖像信號，得到圖2(b),可以發(fā)現(xiàn)，經(jīng)過USM銳化后的實驗結(jié)果增強了肺結(jié)節(jié)的對比度。

圖2 圖像預(yù)處理

1.1.2 卷積神經(jīng)網(wǎng)絡(luò)模型的建立

1)網(wǎng)絡(luò)結(jié)構(gòu)

用于檢測肺結(jié)節(jié)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，共有7層,包括1個輸入層，3個卷積層，1個池化層和1個輸出層。輸入層是從銳化后的胸片上切割出的229×229的圖像塊經(jīng)下采樣到32×32的塊。第一個卷積用20個不同的卷積核，然后是2×2的極大池化層，接著第二個卷積用了20×50個不同的卷積核，然后是2×2的極大值池化，接著第三個卷積用了50×1 000個不同的卷積核，最后是一個節(jié)點的輸出。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2)輸入層

所用網(wǎng)絡(luò)模型的輸入為32×32大小的圖像塊，從預(yù)處理后的圖像上切割大的塊之后需要將其下采樣到32×32。目的是在盡可能保留原圖像信息的同時又可以使網(wǎng)絡(luò)結(jié)構(gòu)更加簡單。

3)卷積層和池化層

卷積層通過卷積計算提取出輸入圖像的特征，第一個卷積層有20個不同的卷積核，卷積計算后得到20個不同特征圖，第二個卷積層有20×50個卷積核，因此，會得到50個不同的特征圖。卷積計算中的激活函數(shù)有很多種，其中最常用的為Sigmoid函數(shù)，也可以是修正線性單元(rectified linear units，ReLU)激活函數(shù)[8]

(1)

式中w為連接權(quán)值；α為前一層的輸出。本文前兩個卷積層采用線性激活函數(shù)，第三個卷積層采用ReLU激活函數(shù)。

池化層的輸入為卷積層計算得到的特征圖。特征圖經(jīng)過池化后維度大幅度的降低。本文采用極大池化

(2)

式中Pmax為最大池；M為特征圖；K為卷積核的數(shù)量。

4)輸出層

網(wǎng)絡(luò)模型的輸出只有一個節(jié)點，采用Sigmoid激活函數(shù)。

5)模型的訓(xùn)練

模型的輸出層采用的目標(biāo)函數(shù)如下

(3)

式中x為輸入圖像塊；w為各層的權(quán)值；f為疑似結(jié)節(jié)預(yù)測函數(shù)；y為圖像塊是否為真實肺結(jié)節(jié)，是，為“1”；否則，為“0”。訓(xùn)練數(shù)據(jù)標(biāo)簽設(shè)置如圖4所示。然后使用誤差反向傳播和梯度下降方法對權(quán)值進行調(diào)節(jié)。公式如下

(4)

(5)

w=w+αΔw

(6)

1.2 候選結(jié)節(jié)的選取和篩選

用滑動窗口的方法在胸片切取小塊測試，結(jié)果如圖5所示。圖5中每一個區(qū)域均為一個疑似肺結(jié)節(jié)的區(qū)域，仔細觀察可以發(fā)現(xiàn)，在有真結(jié)節(jié)的地方，疑似區(qū)域的面積較大。原因是本文用重采樣的方法選取的訓(xùn)練數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。如圖4所示，根據(jù)數(shù)據(jù)庫中給出的肺結(jié)節(jié)的位置切去一個正樣本，然后在此位置上、下、左、右各偏移一點的位置上切小塊作為正樣本，在正、負樣本嚴(yán)重不平衡的時候，通過重采樣的方法提高了正樣本的比例而且在處理疑似候選區(qū)域的時候，在肺結(jié)節(jié)的位置會獲得一個比較大的區(qū)域，有利于從大量的疑似候選區(qū)域中排除掉大量的假陽性并保留真結(jié)節(jié)。

圖4 訓(xùn)練數(shù)據(jù)標(biāo)簽設(shè)置

圖5 卷積神經(jīng)網(wǎng)絡(luò)檢測的結(jié)果

2 實驗結(jié)果和分析

2.1 實驗數(shù)據(jù)

為了更好地與其他相關(guān)研究結(jié)果比較，采用日本放射技術(shù)學(xué)會(JSRT)[9]提供的公共數(shù)據(jù)庫評估系統(tǒng)的性能。JSRT庫中的所有肺結(jié)節(jié)均經(jīng)過計算機斷層掃描(computed tomography,CT)確認，并由3位胸部放射科醫(yī)師一致認同。JSRT全庫共有247張，其中包含肺結(jié)節(jié)和不包含肺結(jié)節(jié)的分別是154例和93例。庫中每張圖片都是2 048像素×2 048像素的。每個像素是0.175 mm。庫中根據(jù)肺結(jié)節(jié)的明顯程度分為5類，包括：很明顯，明顯，不明顯，很不明顯，極其不明顯。實驗中,將前3類劃為容易的一類，后2類劃為困難一類,如表1所示。可以看出：JSRT庫中肺結(jié)節(jié)的大小差異很大，明顯程度也差異很大，有利于檢驗本文方法的泛化能力。

表1 肺結(jié)節(jié)分布

實驗通過受試者操作特征自由反應(yīng)(free-response receiver operating characteristic，F(xiàn)ROC)[10]曲線定量分析檢測系統(tǒng)的結(jié)節(jié)檢測性能，F(xiàn)ROC曲線可以反映肺結(jié)節(jié)檢出率和平均每幅圖像假陽性個數(shù)的關(guān)系。為了測試模型的性能，需要確認選取的可疑結(jié)節(jié)為真結(jié)節(jié)樣本，還是假結(jié)節(jié)樣本。則需明確定義真實結(jié)節(jié)選中的標(biāo)準(zhǔn)。JSRT數(shù)據(jù)庫中結(jié)節(jié)的大小從5～35 mm不等，參照文獻[11,12]中的方法，采用的標(biāo)準(zhǔn)是：如果選取的可疑結(jié)節(jié)的中心位置與真實結(jié)節(jié)中心位置的距離小于25 mm，即認為該可疑結(jié)節(jié)為真實結(jié)節(jié)，真實結(jié)節(jié)中心位置庫中已經(jīng)給出。檢測結(jié)果如圖6所示。

圖6 肺結(jié)節(jié)檢測結(jié)果展示

2.2 結(jié)節(jié)明顯程度對實驗結(jié)果的影響

圖7利用FROC曲線給出了系統(tǒng)對JSRT庫中所有結(jié)節(jié)和按照明顯度分類結(jié)節(jié)的檢測性能。肺結(jié)節(jié)檢出率在每幅圖像2.0個假陽性的水平下達到57 %。對于容易結(jié)節(jié)的檢出率達到60 %，對于困難的檢出率達到53 %。影像科醫(yī)師很難檢測出困難的結(jié)節(jié)，其檢出率只有44 %[13]。本文方法的檢出率優(yōu)于醫(yī)師的檢出率，具有很高的實用價值。

圖7 結(jié)節(jié)明顯程度對實驗結(jié)果的影響

2.3 輸入圖像塊大小對實驗結(jié)果的影響

系統(tǒng)為了簡化模型提高效率，將切出的圖像塊進行了下采樣。本文對比了幾個不同大小圖像塊對實驗結(jié)果的影響，如圖8所示。從圖8 FROC曲線中可以看出，當(dāng)塊的尺寸增大的時候，保存的原圖像的信息就越多，結(jié)果就越好，但增長到32×32大小的時候，結(jié)果趨于穩(wěn)定，為此實驗中選擇32×32大小的塊。

3 討論與比較

本文比較了相關(guān)報道文獻在JSRT數(shù)據(jù)庫上的性能，如表2所示，可以看出：在平均每幅圖5.0個假陽性水平下，本文方法檢出率達到86 %，優(yōu)于其他方法。

表2 基于JSRT數(shù)據(jù)庫肺結(jié)節(jié)不同研究檢測性能比較

4 結(jié)束語

提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的在胸片上檢測肺結(jié)節(jié)的方法。首先用USM銳化方法對胸片進行預(yù)處理，然后訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，用滑動窗口的方法檢測圖片中的區(qū)域得到大量疑似結(jié)節(jié)的區(qū)域，最后根據(jù)區(qū)域面積的大小篩除大量的假陽性。實驗結(jié)果表明：本文方法對于提高胸片上肺結(jié)節(jié)檢測的檢出率效果顯著。

[1] Chen S,Suzuki K,MacMahon H.Development and evaluation of a computer-aided diagnostic scheme for lung nodule detection in chest radiographs by means of two-stage nodule enhancement with support vector classification[J].Medical Physics,2011,38(4):1844-1858.

[2] Chen S,Suzuki K.Computerized detection of lung nodules by means of“virtual dual-energy”radiography[J].IEEE Transac-tions on Biomedical Engineering,2013,60(2):369-378.

[3] Yoshida H.Local contralateral subtraction based on bilateral symmetry of lung for reduction of false positives in computerized detection of pulmonary nodules[J].IEEE Transactions on Biome-dical Engineering,2004,51(5):778-789.

[4] Girshick R,Donahue J,Darrell T,et al.Region-based convolutional networks for accurate object detection and segmenta-tion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(1):142-158.

[5] 宣森炎,龔小謹(jǐn),劉濟林.基于聯(lián)合卷積和遞歸神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別[J].傳感器與微系統(tǒng),2014,33(8):30-33.

[6] Van Ginneken B,Romeny B M T H,Viergever M A.Computer-aided diagnosis in chest radiography:A survey[J].IEEE Tran-sactions on Medical Imaging,2001,20(12):1228-1241.

[7] Polesel A,Ramponi G,Mathews V J.Image enhancement via adaptive unsharp masking[J].IEEE Transactions on Image Processing,2000,9(3):505-510.

[8] Nair V,Hinton G E. Rectified linear units improve restricted Boltzmann machines[C]∥2010 Proceedings of the 27th International Conference on Machine Learning(ICML),Haifa,Israel,2010:807-814.

[9] Shiraishi J,Katsuragawa S,Ikezoe J,et al.Development of a digi-tal image database for chest radiographs with and without a lung nodule:Receiver operating characteristic analysis of radiologists’detection of pulmonary nodules[J].American Journal of Roentgenokogy,2000,174 (1):71-74.

[10] Egan J P,Greenberg G Z,Schulman A I.Operating characteristics,signal detectability,and the method of free response[J].The Journal of the Acoustical Society of America,1961,33(8):993-1007.

[11] Hardie R C,Rogers S K,Wilson T,et al.Performance analysis of a new computer aided detection system for identifying lung no-dules on chest radiographs[J].Medical Image Analysis,2008,12(3):240-258.

[12] 陳 寶,陳 勝,何 菁,等.基于虛擬雙能量減影軟組織胸片生成技術(shù)計算機輔助檢測肺結(jié)節(jié)[J].中國醫(yī)學(xué)影像技術(shù),2015,31(8):1276-1280.

[13] Schilham A M R,Van Ginneken B,Loog M.A computer-aided diagnosis system for detection of lung nodules in chest radiographs with an evaluation on a public database[J].Medical Image Ana-lysis,2006,10(2):247-258.

Lungnodulesdetectionviaconvolutionalneuralnetworksinchestradiographs*

ZHU Guo-ce， LI Chao-feng

(SchoolofInternetofThingsEngineering,JiangnanUniversity,Wuxi214122,China)

Aiming at the problem that detection rate of lung nodules detection scheme based on rabat is low and has a lot of false positives,propose a new nodules detection scheme based on convolutional neural network(CNN).In the scheme,enhance chest radiograph,and then pick positive and negative samples to train the CNN.Process the enhanced image using sliding windows method with the pre-trained network to get the region of interest(ROI),and exclude the false positives by using the size of the ROI at last.The proposed scheme omits the procedure of segmentation of lung field in traditional schemes.And this can avoid losing nodules which are excluded by the segmentation procedure.The JSRT database is used to evaluate the system.The scheme achieves a sensitivity of 86 % for all nodules and a detection rate of 84 % with 5.0 FPs per radiograph for very subtle and extremely sub-tle nodules which outperform the current reported methods.

lung nodules; medical image processing; chest radiographs(CXRs); convolutional neural network(CNN)

10.13873/J.1000—9787(2017)12—0153—04

TP 391.4

A

1000—9787(2017)12—0153—04

2017—01—06

國家自然科學(xué)基金資助項目(61170120)

朱國策(1990-)，男，碩士研究生，主要研究領(lǐng)域為醫(yī)學(xué)圖像處理，深度學(xué)習(xí)，人工智能,E—mail：zgcstu@126.com。李朝鋒，通訊作者，E—mail:wxlichaofeng@126.com。