符堯,王俊峰,高琳,黃維維,袁萍
(1.四川大學(xué)計算機學(xué)院,成都 610065;2.西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院,綿陽 621010; 3.四川大學(xué)華西醫(yī)院,成都 610041;4.四川大學(xué)華西公共衛(wèi)生學(xué)院,成都 610041)
基于ASM和GrabCut的DR圖像肺實質(zhì)分割
符堯1,王俊峰1,高琳2,黃維維3,袁萍4
(1.四川大學(xué)計算機學(xué)院,成都 610065;2.西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院,綿陽 621010; 3.四川大學(xué)華西醫(yī)院,成都 610041;4.四川大學(xué)華西公共衛(wèi)生學(xué)院,成都 610041)
針對DR圖像肺實質(zhì)分割中分割精度與自動分割難以兩全的情況,提出一種由粗到精的肺實質(zhì)分割方法。該方法增強DR圖像邊界和組織的對比度;使用訓(xùn)練好的ASM模型匹配得到粗略肺部輪廓;使用模板匹配檢測出左右肋膈角、左右心膈角和左右肺尖的實際位置,并根據(jù)該實際位置線性調(diào)整肺部輪廓;根據(jù)調(diào)整后的肺部輪廓作為GrabCut的目標(biāo)輸入,迭代分割,得到肺實質(zhì)精確分割結(jié)果。通過對100張DR圖像進行測試,分割重疊率達到97.8%,平均邊界距離低至1.68。
肺實質(zhì)分割;主動形變模型;模板檢測;GrabCut
在當(dāng)前的醫(yī)學(xué)影像診斷方式中,數(shù)字X光照片(Digital Radiography,DR)最為流行,尤其是在肺部檢查中。其不僅能夠提供足夠的診斷信息,如心臟大小、肺部形狀、區(qū)域病變等信息,還具有輻射量小、廉價、數(shù)據(jù)存取便捷等優(yōu)點[1]。
在基于后前位(Posterior-Anterior,PA)DR圖像的計算機輔助診斷系統(tǒng)中,為了加快后續(xù)步驟的處理速度并提高病變區(qū)域的檢出精度,肺實質(zhì)分割是異常重要的首要步驟[2]。肺實質(zhì)分割經(jīng)歷了手動分割、半手動分割到全自動分割的發(fā)展過程,但由于人體組織邊緣成像的模糊性,自動分割難以得到理想的分割效果,精確分割依舊依賴于人工參與的交互式分割。如何實現(xiàn)精確地自動分割是當(dāng)前研究的熱點及難點[3]。
肺實質(zhì)分割方法主要有基于規(guī)則方法、基于像素分類方法、形變法和混合方法[4]。但當(dāng)前方法中,自動分割算法的分割精度較差,難以得到理想的分割結(jié)果,而交互式的分割算法由于有人工參與,人力成本較高,針對該問題,本文提出一種基于ASM和GrabCut的分割算法,實現(xiàn)肺實質(zhì)的精確的自動分割,效果較好。
Van Ginneken等[5]通過在JSRT數(shù)據(jù)集上的實驗,對主要幾種肺實質(zhì)分割算法進行了比較。其研究結(jié)果表明,對于后前位肺部DR片的分割,監(jiān)督方法具有較高的靈活性和通用性,且結(jié)合形變模型和像素分類的混合方法分割效果最好。但在實際過程中,由于醫(yī)學(xué)圖像成像設(shè)備、拍攝者體型等差異,基于像素的分類難以找到一個合適的分類閾值,普適性不足。而基于形變的分割與訓(xùn)練模型有較大關(guān)系,若DR圖像中存在肺部大小差異(拍攝者年齡、體型差異引起)、傾斜情況(成像時占位導(dǎo)致)、肺部面積缺失(大規(guī)模肺部病變),則形變模型難以得到良好的分割結(jié)果。
圖割(Graph Cut)是一種基于圖論的交互分割算法,已大量應(yīng)用于圖像分割領(lǐng)域。Sema Candemir[6]在美國國家醫(yī)學(xué)圖書館的肯尼亞肺結(jié)核項目中提出了結(jié)合肺部模型和Graph Cut的肺實質(zhì)分割算法。但Graph Cut則需要人工交互分割,無法滿足自動分割的要求。
因此本文提出一種基于ASM和GrabCut的肺實質(zhì)分割算法,在得到ASM模型的基礎(chǔ)上,通過模板檢測獲取肋膈角等關(guān)鍵組織的實際位置,調(diào)整ASM得到的肺部輪廓,再作為GrabCut的目標(biāo)輸入,最后得到肺實質(zhì)精確分割結(jié)果。
2.1 本文方法概要
為了實現(xiàn)DR片中肺實質(zhì)的精確自動分割,本文提出了一種由粗到精的分割方法,系統(tǒng)框圖如圖1所示。對于輸入的DR片,首先使用直方圖均衡化和高斯濾波增強圖像的對比度,突出肋膈角等局部組織細節(jié);再利用已訓(xùn)練好的ASM模型,獲得粗略的肺實質(zhì)輪廓;然后使用模板檢測,檢測出左右肋膈角、左右心膈角和左右肺尖的實際位置,并根據(jù)獲取到該坐標(biāo)調(diào)整粗略輪廓;最后,把調(diào)整后的肺部輪廓作為GrabCut的目標(biāo),其余作為背景,精確分割肺實質(zhì)。實驗證明,本文的方法具有良好的分割效果。
圖1 系統(tǒng)框圖
2.2 DR片預(yù)處理
考慮到后續(xù)的檢測步驟,存在模板檢測和GrabCut分割,而這些步驟與圖像的對比度有直接關(guān)系,因此在檢測之前,首先增強DR圖像。
本文首先使用直方圖均衡化加強圖像的對比度[7]。同時考慮到GrabCut中的目標(biāo)和背景是以高斯混合模型(Gaussian Mixture Model,GMM)的高斯分量作為分割的權(quán)值,來實現(xiàn)分割,因此采用高斯濾波來去除高斯噪聲。
預(yù)處理結(jié)果如圖2所示,其中圖A為原始圖像,圖a為原始圖像的直方圖,圖B為預(yù)處理后的圖像,圖b為處理后圖像的直方圖。
圖2 預(yù)處理結(jié)果
2.3 ASM獲取粗略肺部輪廓
Cootes等[8]提出的ASM是一種基于點分布模型(Point Distribution Model,PDM)的算法,其通過若干關(guān)鍵點(landmarks)的坐標(biāo)依次串聯(lián)成一個形狀變量,用以表示對象的形狀。本文使用ASM尋找粗略的肺部輪廓,實驗由模型訓(xùn)練和模型匹配組成。
2.4 模型訓(xùn)練
為了得到普適的肺部模型,本文訓(xùn)練數(shù)據(jù)由JSRT公開數(shù)據(jù)集和華西數(shù)據(jù)集組成。JSRT公開數(shù)據(jù)集的標(biāo)注信息來源于van Ginneken主頁提供的標(biāo)記坐標(biāo),共246張有標(biāo)記數(shù)據(jù)的DR片。而華西數(shù)據(jù)集由我們完成肺部輪廓標(biāo)注,共標(biāo)記完成200張DR胸片,含正常和異常的DR胸片。
然后根據(jù)肺部輪廓標(biāo)記坐標(biāo)和DR片,訓(xùn)練得到ASM模型。
2.5 模型匹配
讀取ASM模型,并輸入DR片,得到肺部粗略輪廓,粗略肺部輪廓如圖3所示。顯然,僅通過ASM,肺部輪廓的左右肺尖、左心膈角處的輪廓與實際肺部輪廓有較大差距。
2.6 基于模板匹配調(diào)整肺部輪廓
在肺部的組織結(jié)構(gòu)中,輪廓可根據(jù)左右肺尖、左右肋膈角和左右心膈角來定位[9],故本文首先提取左右肺尖、左右肋膈角和左右心膈角的模板圖像,然后在輸入DR片中搜查模板,作為輪廓調(diào)整的基準。
圖3 ASM獲取粗略肺部輪廓
為了減少模板匹配的運算量,加快運算速度,同時減少誤檢出的概率,本文根據(jù)ASM獲取的粗略輪廓,在粗略輪廓的肋膈角等周圍(200×200范圍)匹配模板,以獲取肋膈角等的精確位置。
在ASM粗略輪廓基礎(chǔ)上匹配出的結(jié)果如圖4所示,其中A為左肋膈角,B為左心膈角,C為左肺尖,D為右肋膈角,E為右心膈角,F(xiàn)為右肺尖。
圖4 模板檢測結(jié)果
在得到肺部關(guān)鍵組織的坐標(biāo)和肺部粗略輪廓的基礎(chǔ)上,本文提出一種線性的肺部輪廓調(diào)整算法。以圖5所示,具體為:
計算系數(shù)。圖5中曲線ab為ASM得到的粗略輪廓,點A為模板匹配得到的心膈角坐標(biāo),點B為模板匹配得到的肋膈角坐標(biāo),因此可得直線AB和直線ab。定義水平系數(shù)(LFactor)和垂直系數(shù)分布(VFactor)為:
(2)輪廓調(diào)整。
對于ASM中的每個點(P),其水平坐標(biāo)調(diào)整公式為:
垂直調(diào)整公式為:
其中Px、Py為點P的橫坐標(biāo)和縱坐標(biāo)。
圖5中曲線AB為調(diào)整后的肺部輪廓示例。
圖5 輪廓調(diào)整
(3)GrabCut精確分割
GrabCut[10]作為Graph Cut的改進,是一種高效、交互式的目標(biāo)/背景分割算法,該算法在圖割的基礎(chǔ)上,使用強約束和弱約束,結(jié)合紋理和邊界信息尋找全局最優(yōu)。其中強約束指僅包含目標(biāo)和背景的像素群,弱約束則包括邊界和區(qū)域信息。
對于一張有n個像素的給定圖像,需要找出f,其中f定義為:
其中xi為像素坐標(biāo)。
在得到目標(biāo)和背景GMM的Gibbs能力的基礎(chǔ)上,建立圖,然后通過max flow/min cut進行分割。
根據(jù)GrabCut的算法流程以及前面得到的調(diào)整后的肺部輪廓,分割算法如下:
①設(shè)定邊框。根據(jù)調(diào)整后的肺部輪廓,去框含整個輪廓,然后外圍擴展(50像素),得到GrabCut的外圍框。
②迭代分割。設(shè)定調(diào)整后偶肺部輪廓的內(nèi)部為目標(biāo),其余為背景,迭代分割,直至滿足③中的終止條件。
③終止。當(dāng)GrabCut分割結(jié)果與調(diào)整后的肺部輪廓滿足以下條件:
其中覆蓋率(OLR)為GrabCut分割結(jié)果與調(diào)整輪廓內(nèi)部的重疊面積(S0)與調(diào)整輪廓內(nèi)部面積(S)的比值,若OLR大于95%則終止迭代,得到精確的肺實質(zhì)。終止條件95%是一個經(jīng)驗值。
圖6為GrabCut分割結(jié)果,對比圖3的ASM結(jié)果,在左心膈角、左右肺尖處有了良好的改善。
圖6 GrabCut分割結(jié)果
本文實驗使用的數(shù)據(jù)集來源于十二五重大傳染病國家科技重大專項,該項目完成了30萬人的健康篩查,其中約20萬人拍攝了DR胸片。拍攝的DR胸片通過鄉(xiāng)鎮(zhèn)衛(wèi)生院放射科醫(yī)師、區(qū)縣CDC結(jié)核專家、四川大學(xué)華西醫(yī)院結(jié)核專家三級診斷,篩查出疑似活動性肺結(jié)核的DR片,最后,四川大學(xué)華西醫(yī)院結(jié)核專家在疑似活動性肺結(jié)核DR片上標(biāo)注出病變區(qū)域。
本文挑選了300張活動性肺結(jié)核DR片作為實驗材料。該批DR胸片全為后前位(PA位)拍攝的,拍攝者為20~60歲之間的體檢者,DR片的圖像格式為JPEG,位深度為8,尺寸不完全規(guī)則,在2000×2000像素到2500×2500像素之間,像素間的物理尺寸為0.14mm。
訓(xùn)練ASM模型時,選用了JSRT數(shù)據(jù)集和200張本文數(shù)據(jù)集中的DR片。
本文在VS 2010和OpenCV 2.3下實現(xiàn)了該算法。結(jié)果如前所示,可知,對于每個人肺部形狀不一致、拍攝角度傾斜等問題導(dǎo)致的分割不準確問題,本文跳出普通ASM形變模型調(diào)整的思路,使用GrabCut精確分割,得到良好的分割效果。同時由于對肋膈角等組織的模板檢測,在肺部邊緣的分割效果較好。
為了進一步驗證本文算法的性能,本文實現(xiàn)了van Ginneken的經(jīng)典ASM算法和Sema Candemir基于Graph Cut的肺實質(zhì)分割算法,采用重疊率(Ω)和平均輪廓距離(ACD)來評價分割結(jié)果,具體定義為:
其中TP為正確分割的區(qū)域;FP被分割為目標(biāo),但實際是背景的區(qū)域;FN為被分割為背景,但實際是目標(biāo)的區(qū)域。
對于平均輪廓距離,假設(shè)有輪廓A(假設(shè)為分割后的輪廓)和輪廓B(假設(shè)為原始輪廓),對于輪廓A上的每一點(假設(shè)輪廓是有一些離散點組成),ACD為輪廓A上的每一點到輪廓B的最短距離的均值。
表1 三種算法分割結(jié)果
分割結(jié)果如表1所示。相比于經(jīng)典的ASM算法[5]和Graph Cut算法[6],本文算法具有較高的分割準確率。
針對DR圖像肺實質(zhì)分割中,基于模型分割對于異常角度拍攝者分割效果較差,基于交互式分割成本過高等缺陷,本文提出一種結(jié)合ASM和GrabCut的分割算法,在結(jié)合基于先驗知識的形變分割基礎(chǔ)上,自動地分割肺實質(zhì),具有良好的效果。和已有的方法比較,本文方法具有更高的普適性和進度。
后續(xù)的研究主要集中在:算法運行速度的優(yōu)化;進一步提高分割的準確度等工作上。
[1] Suwatanapongched Thitiporn,Gierada David S,Slone Richard Metal.Variation in Diaphragm Position and Shape in AdultsWith Normal Pulmonary Function[J].CHEST,2003,123:2019~2027
[2] Shiraishi J,Katsuragawa S,Ikezoe J,et al.Development of a Digital Image Database for Chest Radiographs with and Without a Lung Nodule:Receiver Operating Characteristic Analysis of Radiologists'Detection of Pulmonary Nodules.AJR American Journal of Roentgenology[J].2000:174:71~4
[3] Stefan Jaeger,Alexandros Karargyris,Sema Candemir et al.Automatic screening for Tuberculosis in Chest Radiographs a Survey[J]. Quant Imaging Med Surg,2013,2:89~99
[4] van Ginneken B,ter Haar Romeny BM,et al.Computeraided Diagnosis in Chest Radiography:a Survey[J].IEEE Transactions on Medical Imaging,2001:20:1228~41
[5] Van Ginneken B,Stegmann MB,Loog M.Segmentation of Anatomical Structures in Chest Radiographs Using Supervised Methods:a Comparative Study on a Public Database[C].Med.Image Anal.2006:10:19~40
[6] Candemir S,Jaeger S,Palaniappan K,Antani SK,Thoma GR.Graph Cut Based Automatic Lung Boundary Detection in Chest Radiographs[C].1st Annual IEEE Healthcare Innovation Conference of the IEEE EMBSHouston,Texas USA,7~9 November,2012:31~34
[7] Sherrier RH,Johnson GA.Regionally Adaptive Histogram Equalization of the Chest.IEEE Trans Med Imaging[J],1987:6:1~7
[8] Cootes TF,Taylor CJ,Cooper DH,et al.Active Shape Models~Their Training and App lication[J].Computer Vision and Image Understanding.1995:61:38~59
[9] Sha Sha,Chen Jianer,Luo Sanding.A Fast Matching Algorithm Based on K-degree Template[C].Computer Science&Education, 2009.ICCSE'09.4th International Conference on 2009:1967~1971
[10] Shoudong Han,Wenbing Tao,DeshengWang et al.Image Segmentation Based on GrabCut Framework Integrating Multiscale Nonlinear Structure Tensor[J].Image Processing,IEEE Transactions on,2009,18:2289~2302
Lung Field Segmentation Based on ASM and GrabCut on DR Image
FU Yao1,WANG Jun-feng1,GAO Lin2,HUANGWei-wei3,YUAN Ping4
(1.College of Computer Science,Sichuan University,Chengdu 610065; 2.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010;3.West China Hospital,Sichuan University,Chengdu 610041; 4.West China School of Public Health,Sichuan University,Chengdu 610041)
In order to improve accuracy and ensure automatic segmentation at the same time on DR image,presents a novel segmentation scheme for lung field segmentation.Improves the contrast at the lung boundary and on tissue surface.Trains active shapemodel to fit the lung contour to output coarse lung contour.Then obtains actual landmarks of apex pulmonis,costophrenic angle cardiodiaphragmatic angle according to templatematching,and adjust lung contour with these actual landmarks.Based on the adjusted lung mask,proposes GrabCut to iterate segment lung field accurately.Applies the proposed approach for the analysis of 100 DRs,and the results show that be able to get overlap greater than 97.8%and mean absolute contour distance less than 1.68,and the approach provides a reliable lung segmentation scheme on DR images.
LungField Segmentation;Active Shape Model(ASM);Template Matching;GrabCut
1007-1423(2015)06-0025-06
10.3969/j.issn.1007-1423.2015.06.006
符堯(1990-),男,重慶人,碩士,研究方向為數(shù)據(jù)挖掘與醫(yī)學(xué)圖像處理
王俊峰(1976-),男,安徽蕪湖人,博士后,教授,研究方向為信息安全、空間信息網(wǎng)、醫(yī)學(xué)信息化
高琳(1976-),男,湖北襄陽人,博士,講師,CCF會員(E200018294M),研究方向為圖像處理、模式識別
黃維維(1982-),女,四川資陽人,本科,主治醫(yī)師,研究方向為呼吸與結(jié)核病學(xué)
袁萍(1960-),女,山西人,博士,教授,研究方向為疾病預(yù)防與控制
2015-01-13
2015-02-10
國家科技重大專項(No.2012ZX10004-901001)、四川省科技支撐計劃項目(No.2013SZ002、No.2014SZ0109)