秦子亮， 李朝鋒

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院 江蘇 無錫 214122)

基于卷積神經(jīng)網(wǎng)絡(luò)的胸片肺野自動分割*

秦子亮， 李朝鋒

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院江蘇無錫214122)

針對傳統(tǒng)胸片肺野分割方法需要人工干預(yù)、提取特征以及對先驗(yàn)知識的依賴性問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的胸片肺野自動分割方法，將X光胸片的分割問題轉(zhuǎn)換為圖像塊的分類問題。將原圖像分割成左、右肺，切塊處理后分別作為訓(xùn)練樣本，利用深度學(xué)習(xí)自動發(fā)現(xiàn)圖像塊中的潛在特征，對圖像塊進(jìn)行分類，并將結(jié)果映射成二值圖，得到初步分割結(jié)果，再對其進(jìn)行后處理，合并之后作為最終的分割結(jié)果。實(shí)驗(yàn)表明：此方法在公開的JSRT數(shù)據(jù)集上進(jìn)行測試，Jaccard指標(biāo)可達(dá)94.6 %，平均邊界距離(MBD)指標(biāo)達(dá)到1.10 mm，較現(xiàn)存分割算法更加出色。

卷積神經(jīng)網(wǎng)絡(luò); 肺野分割; 胸片; 分類

0 引 言

目前,很多分割方法被應(yīng)用到肺區(qū)分割[1]中?；谝?guī)則[2]的分割方法由于受各分離步驟的影響，難以分割出較理想的結(jié)果，魯棒性不強(qiáng)；Van Ginneken B等人[3]基于像素分類，通過提取特征訓(xùn)練模型實(shí)現(xiàn)分割目標(biāo)。但組合合適的特征需要大量的實(shí)驗(yàn)，且訓(xùn)練分類器計(jì)算量比較大；Guo S等人[4]采用基于形變模型的分割方法，方法對參數(shù)的選擇很敏感且只能用于單個物體的分割。Dawoud A[5]和羅海峰[6]均采用聯(lián)合多種分割方法[7]，解決了單種方法在分割時(shí)存在的不足，多種方法的聯(lián)合使用能夠起到互補(bǔ)作用而使分割效果更好。

本文針對傳統(tǒng)胸片肺野分割方法需要人工設(shè)置種子點(diǎn)、特征選取和組合以及對先驗(yàn)知識的依賴性等問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的X光胸片肺野自動分割方法。方法無需人工干預(yù)，即不必設(shè)置種子點(diǎn)及進(jìn)行特征選取，直接在原圖取塊后輸入到網(wǎng)絡(luò)中訓(xùn)練，利用深度學(xué)習(xí)[8]發(fā)現(xiàn)圖像塊中的潛在特征，對圖像塊進(jìn)行分類，分割出目標(biāo)對象，魯棒性強(qiáng)且可以精確地分割出X光胸片的輪廓。

1 改進(jìn)的CNN模型方法實(shí)現(xiàn)

本文的分割算法基本流程如圖1。在訓(xùn)練階段將256×256大小的原始圖像左、右肺分割成256×160大小，對左、右肺圖像以步長為4分別進(jìn)行n×n(本文實(shí)驗(yàn)中n取8，16和32)大小的切塊得到左、右肺訓(xùn)練樣本，然后將訓(xùn)練樣本輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練得到左、右肺模型(model)。測試時(shí)，如圖2所示，由于部分圖像肺區(qū)離圖像邊緣較近，導(dǎo)致測試結(jié)果超出邊界問題。為此，本文將256×256測試圖像周邊加黑邊至320×320大小(如圖1測試階段所示)，然后同樣分成左、右肺取步長為1的塊輸入到訓(xùn)練好的左、右肺model中進(jìn)行測試得到大小為289×161的左、右肺二值結(jié)果，最后對得到的結(jié)果去噪處理后，合并得到最終的分割結(jié)果。

圖1 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)流程

圖2 分割結(jié)果超出邊界實(shí)例演示

1.1 CNN結(jié)構(gòu)

如圖1訓(xùn)練階段所示，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)模型由6層組成。將原圖像分割成左、右肺的訓(xùn)練圖像，對左、右肺以步長為4取32×32(n=32)的圖像塊輸入到輸入層(左、右肺分別提取231363個訓(xùn)練樣本)。通過卷積層與次采樣層相互配合學(xué)習(xí)得到12個1×1的特征映射，將特征映射輸入到全連接層，通過線性回歸網(wǎng)絡(luò)得到每個圖像塊的類別。

1.2 卷積層

CNN中卷積層的網(wǎng)絡(luò)結(jié)構(gòu)采用卷積的離散型

(1)

式中Mβ為輸入特征的一個選擇；k為卷積核；γ為網(wǎng)絡(luò)的層數(shù)；b為每個輸出特征映射添加的偏置，對于特定的輸出映射，輸入的特征映射可以應(yīng)用不同的卷積核卷積得到；f為卷積層神經(jīng)元所用的激活函數(shù)，本文采用sigmoid。

1.3 次采樣層

考慮JSRT庫圖像的復(fù)雜性，選用2×2大小的均值池，且2次采用池化操作。

1.4 全連接層

本文模型在全連接層加入一層隱含層，神經(jīng)元個數(shù)設(shè)置為20，每一個特征均與20個節(jié)點(diǎn)進(jìn)行連接，這樣全連接層的輸入與隱含層共需要12×20=240個參數(shù)，通過加入20個隱含層節(jié)點(diǎn)更有利于反向傳導(dǎo)時(shí)卷積核權(quán)重的調(diào)節(jié)，對網(wǎng)絡(luò)訓(xùn)練提取圖像潛在特征更有效。每次將特征批量輸入到全連接層通過BP算法對權(quán)值進(jìn)行更新，最終通過迭代學(xué)習(xí)得到需要的模型。全連接層更新權(quán)值公式為

w(t+1)=w(t)+ηδ(t)x(t)

式中η為BP算法的學(xué)習(xí)率；δ(t)為后一層得到誤差項(xiàng)；x(t)為前一層神經(jīng)元的輸出。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)采用公開的JSRT胸片圖像數(shù)據(jù)集[9]，每幅胸片均有專家手工勾畫的肺野輪廓，原始圖像大小為2048×2048。為了與文獻(xiàn)結(jié)果比較并減少運(yùn)算時(shí)間，以原始胸片圖像降采樣為256×256進(jìn)行實(shí)驗(yàn)和性能評價(jià)，將JSRT胸片分為相等的2個奇、偶子集，交替用于訓(xùn)練集和測試集。肺野分割性能指標(biāo)包括Jaccard指標(biāo)(JI)和平均邊界距離(mean boundary distance,MBD)，其中

(2)

MBD(GTB,SMB)=

(3)

2.2 結(jié)果與分析

圖3反映了塊大小對Jaccard指標(biāo)的影響，曲線為手工勾畫的肺野輪廓。從圖3可以看出：當(dāng)取塊大小n增大時(shí)，分割得到的肺野輪廓更平滑、分割結(jié)果更準(zhǔn)確，原因是由于JSRT庫的復(fù)雜多樣性，當(dāng)取塊過小時(shí)，訓(xùn)練樣本會增大，則正、負(fù)樣本相似性增大，減弱了正、負(fù)樣本的表達(dá)能力，使圖像的語義信息丟失。塊大時(shí)不僅保證了正樣本與負(fù)樣本的差異性，而且還保證了圖像塊的語義信息的完整性。

圖3 塊大小對分割結(jié)果的影響

圖4為JSRT數(shù)據(jù)集中部分圖像肺野輪廓的對比，從分割效果看：二維OTSU受肋骨和胸膈角的影響，分割效果不理想；傳統(tǒng)CNN的分割結(jié)果也會受肋骨強(qiáng)邊界的細(xì)微影響；本文方法一定程度較好地解決了胸片中細(xì)小的胸膈角和受鎖骨影響的肺肩部區(qū)域準(zhǔn)確分割的困難。

圖4 分割結(jié)果對比

表1列出了本文方法和其他胸片肺野分割方法在JSRT數(shù)據(jù)集上的分割性能比較，文獻(xiàn)[13]與本文方法Jaccard指標(biāo)相當(dāng)，但文獻(xiàn)[13]在訓(xùn)練時(shí)需要人工設(shè)定種子點(diǎn)以及提取了HOG，Haar，LBP特征，而本文方法不需要設(shè)定種子點(diǎn)和提取特征。相比傳統(tǒng)CNN方法，本文方法能夠精確地挖掘出圖像塊的潛在特征，較好地完成了圖像塊的分類，而且MBD指標(biāo)優(yōu)于其他算法，說明本文方法分割出的肺野邊界與人工勾勒的輪廓更吻合，分割效果更好。

表1 肺野分割算法性能比較

2.3 CNN模型參數(shù)比較分析

2.3.1 卷積核大小對胸片肺野分割結(jié)果的影響

如果卷積核設(shè)置的過小，通過卷積提取的特征對分割結(jié)果的貢獻(xiàn)小，同樣，如果卷積核設(shè)置的過大，不能提取到有效的特征。因此，本文在實(shí)驗(yàn)中測試了卷積核尺寸的大小對輸出結(jié)果的影響。如表2所示。

表2 卷積核大小對胸片肺野分割結(jié)果的影響

表2中KS代表Size of convolution kernel，F(xiàn)M代表Feature map，PA代表pooling area。從表2中可以看出，通過改變卷積核大小對分割精度幾乎沒有影響?？紤]到后續(xù)試驗(yàn)要驗(yàn)證網(wǎng)絡(luò)深度對分割結(jié)果的影響，本文選擇了5×5大小卷積核。

2.3.2 網(wǎng)絡(luò)結(jié)構(gòu)深度對胸片肺野分割結(jié)果的影響

實(shí)驗(yàn)測試了網(wǎng)絡(luò)結(jié)構(gòu)深度對輸出結(jié)果的影響，如表3所示。

表3 網(wǎng)絡(luò)結(jié)構(gòu)深度對胸片肺野分割結(jié)果的影響

從表3中可以看出：當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)的深度增加時(shí)，Jaccard結(jié)果越好，說明隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，圖像的特征表現(xiàn)力越強(qiáng)，泛化能力越強(qiáng)。本文選用表3 Net4的網(wǎng)絡(luò)結(jié)構(gòu)模型。

2.3.3 輸入圖像尺寸

實(shí)驗(yàn)中，對肺區(qū)的分割實(shí)際上是對圖像塊的分類，所以圖像塊的尺寸不同可能會影響預(yù)測結(jié)果，同時(shí)對完整的圖像取塊和將圖像分割成左、右肺實(shí)驗(yàn)對結(jié)果也有很大的影響，表4給出了不同尺寸以及原圖像是否分割左、右肺的實(shí)驗(yàn)結(jié)果。

表4 塊尺寸以及左右肺分開對Jaccard的影響

從表4中可以看出：對于在256×256原圖像上取塊為8×8,16×16大小時(shí)，后者的Jaccard值較好，取塊32×32時(shí)，由于維度增大到1 024且數(shù)據(jù)量較大，訓(xùn)練時(shí)間大大增加，失去實(shí)際意義，所以取消了32×32取塊的實(shí)驗(yàn)。JSRT數(shù)據(jù)庫由于受胸片中細(xì)小的胸膈角、鎖骨影響的肺肩部區(qū)域以及脊柱的多樣性和復(fù)雜性的影響，而在原圖像上進(jìn)行切塊訓(xùn)練并不能很好地解決問題，而且極大的增加了訓(xùn)練時(shí)間，為了避免這些因素的影響，本文將原圖像分割成256×160大小的左、右肺進(jìn)行訓(xùn)練，對于JSRT數(shù)據(jù)庫圖像256×256分割成256×128即可較好地將左、右肺完整分割開。為了試驗(yàn)的嚴(yán)謹(jǐn)性有些數(shù)據(jù)庫的圖像左、右肺區(qū)域面積并不一樣，所以采用256×160大小的分割，同時(shí)避免了采用256×128測試結(jié)果超出邊界的問題。從表4中可以看出：左、右肺分開訓(xùn)練測試的結(jié)果要好于完整取塊的結(jié)果，且大大提高了實(shí)驗(yàn)效率，綜合考慮，本文選用32×32大小，左、右肺分開取塊。

3 結(jié)束語

研究了CNN在胸片肺野分割中的應(yīng)用，通過改變網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)深度等方面測試了CNN對胸片肺野分割的影響。提出的方法無需為原圖像提取特征和人工設(shè)置種子點(diǎn)及人工干預(yù),是一個自動的、無監(jiān)督的X光胸片分割系統(tǒng)，解決了人工選擇種子點(diǎn)的不穩(wěn)定性和選取特征困難等問題。同時(shí)也解決了胸膈角和受鎖骨影響的肺肩區(qū)域難以準(zhǔn)確分割的問題，而且大幅提高了分割精度。

[1] 梁文宇,龔 濤,吳宇翔.改進(jìn)的遺傳算法在醫(yī)學(xué)圖像中的應(yīng)用[J].傳感器與微系統(tǒng),2016,35(10):136-139.

[2] 張雪飛.一種改進(jìn)的多尺度梯度矢量流模型[J].微計(jì)算機(jī)應(yīng)用,2007,28(5):465-468.

[3] Van Ginneken B,Stegmann M B,Loog M.Segmentation of anatomical structures in chest radiographs using supervised methods:A comparative study on a public database[J].Medical Image Analysis,2006,10(1):19-40.

[4] Guo S,Fei B.A minimal path searching approach for active shape model (ASM)-based segmentation of the lung[C]∥SPIE Medical Imaging.International Society for Optics and Photonics,2009:72594B—1-72594B—8.

[5] Dawoud A.Lung segmentation in chest radiographs by fusing shape information in iterative thresholding[J].IET Computer Vision,2011,5(3):185-190.

[6] 羅海峰,翟榮存.基于小波變換與 Snake 模型的肺野圖像分割方法[J].計(jì)算機(jī)應(yīng)用與軟件,2013(11):176-179.

[7] 謝 昕,王建賓,胡鋒平.一種基于 PSO 與 OSTU 的改進(jìn)絮體分割算法[J].傳感器與微系統(tǒng),2015,34(1):131-134.

[8] Hinton G E,Ruslan R S.Reducing the dimensionality of data with neural network[J].Science,2006,313(5786):504-507.

[9] Shiraishi J,Katsuragawa S,Ikezoe J,et al.Development of a digital image database for chest radiographs with and without a lung nodule:Receiver operating characteristic analysis of radiologists' detection of pulmonary nodules[J].American Journal of Roentgenology,2000,174(1):71-74.

[10] Tan J H,Acharya U R,Lim C M,et al.An interactive lung field segmentation scheme with automated capability[J].Digital Signal Processing,2013,23(3):1022-1031.

[11] Shi Y,Qi F,Xue Z,et al.Segmenting lung fields in serial chest radiographs using both population-based and patient-specific shape statistics[J].IEEE Transactions on Medical Imaging,2008,27(4):481-494.

[12] Coppini G,Miniati M,Monti S,et al.A computer-aided diagnosis approach for emphysema recognition in chest radiography[J].Medical Engineering & Physics,2013,35(1):63-73.

[13] Shao Y,Gao Y,Guo Y,et al.Hierarchical lung field segmentation with joint shape and appearance sparse learning[J].IEEE Transactions on Medical Imaging,2014,33(9):1761-1780.

AutomaticsegmentationoflungfieldsinchestradiographsbasedonCNN*

QIN Zi-liang， LI Chao-feng

(SchoolofInternetofThingsEngineering,JiangnanUniversity,Wuxi214122,China)

Aiming at these limitations of traditional lung segmentation methods which manual feature extraction and prior knowledge are needed,a convolutional neural network(CNN) based auto-matically segment method for lung fields in chest X-ray (CXR) is proposed,original image is splited into the left and right lungs and cut blocks from them as the training samples,and then use deep CNN to automatically discovery the potential characteristics,and then classify the image blocks.Secondly the classified results are mapped into two-value images as the initial segmentation results.Lastly the initial results are merged to get the area of lung fields.Our experimental results on the public JSRT dataset show that Jaccard metric of our proposed method can reach94.6%,mean boundary distance(MBD) metric can reach1.10mm,and outperform current reported algorithms.

convolutional neural network(CNN); lung segmentation; chest radiograph; classification

10.13873/J.1000—9787(2017)10—0064—03

2016—11—23

國家自然科學(xué)基金資助項(xiàng)目(61170120)

TP 391.4

A

1000—9787(2017)10—0064—03

秦子亮(1988-)，男，碩士研究生，主要研究方向?yàn)樯疃葘W(xué)習(xí)，人工智能。