廖劍平蔣雪晴朱偉芳金 超陳新建
1(南寧學(xué)院信息工程學(xué)院 南寧 530200)
2(蘇州大學(xué)電子信息學(xué)院 醫(yī)學(xué)影像處理與分析實(shí)驗(yàn)室 蘇州 215006)
醫(yī)學(xué)影像技術(shù)發(fā)展及分割特點(diǎn)
廖劍平1蔣雪晴2朱偉芳2金 超2陳新建2
1(南寧學(xué)院信息工程學(xué)院 南寧 530200)
2(蘇州大學(xué)電子信息學(xué)院 醫(yī)學(xué)影像處理與分析實(shí)驗(yàn)室 蘇州 215006)
醫(yī)學(xué)影像技術(shù)發(fā)展到越來越先進(jìn)成熟,但醫(yī)學(xué)圖像分割仍然是個(gè)難題。文章著重介紹醫(yī)學(xué)影像的發(fā)展歷程和醫(yī)學(xué)圖像分割技術(shù)的特點(diǎn):在已有算法中加入新概念或新方法的同時(shí),重視多種分割算法的有效結(jié)合。文章最后以主動(dòng)輪廓模型(Active Shape Mode,ASM)算法、圖割(Graph Cut,GC)算法以及圖割-主動(dòng)輪廓模型迭代(Iterative Graph-Cut-ASM,IGCASM)算法為例,進(jìn)一步說明醫(yī)學(xué)圖像分割算法的共同特點(diǎn)。
圖像分割;主動(dòng)輪廓模型;圖割;圖割-主動(dòng)輪廓模型迭代算法
在古代醫(yī)生只能憑借經(jīng)驗(yàn)通過望、聞、問、切等給病人診斷,這種定性分析的看病方法常常不能給予準(zhǔn)確診斷,也無法直觀清晰地將信息反饋給醫(yī)生和病人,因而常常造成誤診和無效溝通,以至于延誤治療,出現(xiàn)《扁鵲見蔡桓公》等一類著名的歷史悲劇。醫(yī)學(xué)影像技術(shù)的出現(xiàn)和飛躍發(fā)展,使醫(yī)生和病人可以通過影像清晰地了解病患身體的內(nèi)部情況,從而極大地提高了臨床診斷水平和疾病治療的效率??v觀醫(yī)學(xué)影像的發(fā)展歷程,其主要經(jīng)歷了以下幾個(gè)階段:
(1)19 世紀(jì)至 20 世紀(jì) 80 年代,醫(yī)學(xué)影像主要以 X-ray 成像(如圖1 所示 X-ray 胸透成像),CT 成像(如圖2 所示 CT 腦部成像),以及簡單的影像處理與分析系統(tǒng)(如圖3 所示圖像處理系統(tǒng))等結(jié)構(gòu)成像為主,這一階段影像的共同特點(diǎn)是可以清晰地看到病人身體器官的病變。
圖1 X-ray 成像Fig.1. X-ray imaging
圖2 CT 成像Fig.2. CT imaging
圖3 圖像處理系統(tǒng)Fig.3. The image processing system
(2)20 世紀(jì) 90 年代,隨著科學(xué)技術(shù)的發(fā)展,醫(yī)學(xué)影像有了質(zhì)的飛躍,其成像主要表現(xiàn)為fMRI 功能核磁共振成像(如圖4 所示)[1]、PET正電子斷層成像(如圖5 所示)[1]和 SPECT 單光子發(fā)射斷層成像(如圖6 所示)[2]等功能成像。這一時(shí)期的成像促進(jìn)了醫(yī)學(xué)診斷學(xué)向功能和形態(tài)相結(jié)合的方向發(fā)展。
圖4 fMRI 功能腦部核磁共振成像Fig.4. fMRI functional magnetic resonance imaging of the brain
圖5 PET 正電子斷層成像Fig.5. PET positron emission tomography image
圖6 SPECT 單光電子發(fā)射斷層成像Fig.6. SPECT single photon emission tomography image
(3)進(jìn)入21世紀(jì),醫(yī)學(xué)影像發(fā)展為與分子生物學(xué)、化學(xué)、物理學(xué)、放射醫(yī)學(xué)、核醫(yī)學(xué)以及計(jì)算機(jī)科學(xué)相結(jié)合的分子成像,主要體現(xiàn)為:光學(xué)成像、核磁共振成像和核素成像(如圖7 所示)[3],這些成像可以實(shí)時(shí)地探查細(xì)胞和分子水平的變化,將影像學(xué)診斷引入分子基因水平。
圖7 分子成像Fig.7. Molecular imaging
由此可見,醫(yī)學(xué)影像經(jīng)歷了結(jié)構(gòu)成像、功能成像和分子成像等飛躍發(fā)展,其成像技術(shù)越來越先進(jìn)并趨于成熟,被廣泛應(yīng)用于臨床醫(yī)學(xué)并促進(jìn)醫(yī)學(xué)診斷學(xué)的快速發(fā)展。
隨著醫(yī)學(xué)影像的發(fā)展及其在臨床醫(yī)學(xué)中的成功應(yīng)用,醫(yī)學(xué)影像處理的意義將越來越重大。而圖像分割是醫(yī)學(xué)影像處理的關(guān)鍵技術(shù)之一,其在影像醫(yī)學(xué)中發(fā)揮著越來越大的作用[4]。圖像分割,顧名思義指的是將圖像中感興趣區(qū)域提取出來,為后續(xù)的定量、定性分析提供基礎(chǔ),圖8所示為腎皮質(zhì)圖像的分割。分割后的圖像被廣泛應(yīng)用于各種場合,如組織的定量分析、疾病診斷、病變組織的定位、解剖結(jié)構(gòu)的學(xué)習(xí)、治療規(guī)劃、功能成像數(shù)據(jù)的局部體效應(yīng)校正和計(jì)算機(jī)指導(dǎo)手術(shù)等[5]。
圖8 腎皮質(zhì)圖像分割Fig.8. Renal cortex segmentation
醫(yī)學(xué)圖像分割至今仍然沒有獲得圓滿的解決,一個(gè)重要的原因是醫(yī)學(xué)圖像復(fù)雜而多樣。由于醫(yī)學(xué)圖像的成像原理和組織本身的特性差異,圖像的形成受到諸如不均勻的組織器官、磁場的作用,常常導(dǎo)致其成像灰度不均勻(如圖9 所示);成像設(shè)備局限性而引入的噪聲(如圖10 所示);局部體效應(yīng)易造成組織邊緣模糊,病變組織致使病變邊緣不明確(如圖11 所示)等等,以至于醫(yī)學(xué)圖像與普通圖像相比較,不可避免地出現(xiàn)模糊、不均勻性等特點(diǎn),從而給醫(yī)學(xué)圖像分割帶來了重重困難。因此,我們有必要針對圖像分割方法進(jìn)行研究。
圖9 灰度不均勻Fig.9. Uneven gray
圖10 噪聲Fig.10. Noise
圖11 邊緣模糊Fig.11. Fuzzy edges
近幾年來,為了解決醫(yī)學(xué)圖像的分割問題,很多研究人員做了大量的工作,提出了很多實(shí)用的分割算法[5-7]。這些醫(yī)學(xué)圖像分割算法常常具有以下幾個(gè)共有特點(diǎn):(1)分割算法面向具體的分割任務(wù),但這些分割任務(wù)沒有通用的方法;(2)更加重視多種分割算法的有效結(jié)合以彌補(bǔ)單一算法的局限性;(3)需要利用醫(yī)學(xué)中大量的領(lǐng)域知識,如人體內(nèi)臟器官結(jié)構(gòu)和相對位置關(guān)系等不同對象的灰度分布情況、解剖知識以及不同對象間的空間幾何關(guān)系,還有各種成像設(shè)備的特點(diǎn)等。下面我們簡單介紹幾種常見算法:主動(dòng)輪廓模型方法(Active Shape Mode,ASM)、圖割算法(Graph Cut,GC)方法以及兩者有效融合的一種方法,以進(jìn)一步說明醫(yī)學(xué)圖像分割算法的特點(diǎn)。
主動(dòng)輪廓模型 ASM 方法[8,9,13-15]是一種基于統(tǒng)計(jì)模型的特征匹配方法,它以目標(biāo)物體的輪廓作為訓(xùn)練樣本構(gòu)造模型。首先,使用人機(jī)交互方式提取目標(biāo)輪廓的特征點(diǎn)集合,形成訓(xùn)練集;然后用點(diǎn)分布模型進(jìn)行描述,構(gòu)造樣本的統(tǒng)計(jì)模型。統(tǒng)計(jì)模型建立后,ASM 方法利用局部紋理模型在目標(biāo)圖像中搜索特征點(diǎn)的最佳位置,同時(shí)根據(jù)搜索結(jié)果調(diào)整統(tǒng)計(jì)模型的參數(shù),使模型與目標(biāo)物體實(shí)際輪廓逐步逼近,從而達(dá)到準(zhǔn)確定位目標(biāo)的目的[7]。
3.1 構(gòu)建樣本全局模型
圖12 標(biāo)記特征點(diǎn)的腳踝圖像Fig.12. Ankle image with feature points marked
設(shè)有 N 張訓(xùn)練樣本集圖像,給每張圖像標(biāo)注 k 個(gè)特征點(diǎn),如圖12 為標(biāo)記了特征點(diǎn)的腳踝圖像。由于每張圖像的獲取可能受到不同角度、距離遠(yuǎn)近不一和姿態(tài)變換等外部非形狀因素干擾造成特征點(diǎn)坐標(biāo)框架不一,出現(xiàn)如圖13 這樣意義不大的散圖,所以有必要對一系列的點(diǎn)分布模型通過適當(dāng)?shù)钠揭啤⑿D(zhuǎn)和縮放變換等歸一化操作,從而改變數(shù)據(jù)雜亂無章的狀態(tài),減少非形狀因素的影響(如圖14 所示)。從圖14 可以看出,歸一化后的圖像能明顯地體現(xiàn)出腳踝形狀的主輪廓,不同部位的點(diǎn)只在主輪廓相應(yīng)點(diǎn)的附近“簇?fù)怼狈植肌3S玫臍w一化方法為Procrust 方法。
圖13 未歸一化的腳踝樣本輪廓圖Fig.13. The un-aligned ankle contours
圖14 歸一化后的腳踝樣本輪廓圖Fig.14. The aligned ankle contours
歸一化后的形狀向量集記為:
接著通過主成分分析(Principle Component Analysis)處理,獲取 ASM 的全局輪廓模型,具體步驟如下:
(1)計(jì)算平均形態(tài)向量:
(2)計(jì)算形狀向量協(xié)方差矩陣:
(3)對協(xié)方差矩陣 S 進(jìn)行特征分解并使其特征值按從大到小排序,即 λjλj+1,λj≠0,j=1, 2,, 2k,選擇前 t 個(gè)特征向量 P=(p1, p2,, pt),使得
其中,η 為所選特征占總特征的比例,一般為95%。最終獲取全局形狀模型為:
其中,b 為主分量參數(shù),b=(b1, b2,, bt) ,滿足
3.2 創(chuàng)建局部紋理模型
ASM 方法中另一個(gè)重要模型是局部紋理模型,它與每一個(gè)特征點(diǎn)一一對應(yīng),通過平均紋理和協(xié)方差矩陣兩個(gè)參數(shù)來具體刻畫該點(diǎn)的灰度分布情況。該模型的構(gòu)建過程大致如下:
(1)如圖15 所示,在第 i 幅訓(xùn)練圖像的第 j個(gè)特征點(diǎn),找到其前后兩個(gè)特征點(diǎn) j—1 和 j+1,并沿著這兩點(diǎn)連線的法線方向,在 j 點(diǎn)的兩側(cè)分別找 m 個(gè)點(diǎn),構(gòu)成 2m+1 長度的向量,這 2m+1的向量包含的像素灰度值即為該點(diǎn)的灰度信息,記為:
求導(dǎo)得到該點(diǎn)的局部紋理特征,記為:
為降低各種非形狀因素的影響,歸一化為:
(2)用類似于公式(2)和(3),求局部紋理特征的平均值和協(xié)方差矩陣,即可作為局部紋理模型。
圖15 法線方向上的灰度信息Fig.15. The gray scale information in the normal direction
3.3 搜索最佳候選點(diǎn)
在搜索某個(gè)特征點(diǎn)的最佳候選點(diǎn)時(shí),可在局部紋理模型中,沿法線方向采樣 n 個(gè)灰度信息(n>m),這樣搜索就轉(zhuǎn)換為尋找采樣灰度向量與模型向量的匹配位置了,其馬氏距離的計(jì)算公式為:
圖割 GC 算法[11-15]也稱為最大流最小割算法,其基本原理是將原始圖像 I(x, y)映射為加權(quán)圖 G=(V, E)。其中 V 是像素集 P 和源點(diǎn) s、匯點(diǎn) t 的集合,即 V=P∪{s, t}。存在兩個(gè)子集 VS 和 VT,滿足條件:VS∪VT=V,VS∩VT=φ,且 s∈VS,t∈VT。當(dāng)像素 p∈VS 時(shí),給其設(shè)置標(biāo)記 fp=1;當(dāng) p∈VT 時(shí),fp=0。令
為一個(gè)二值向量,則每一個(gè)二值向量都可以唯一對應(yīng) G 的一個(gè)割集 C,圖像分割(如圖16(a)綠色曲線所示)問題就轉(zhuǎn)化為對圖的切割(如圖16(b)黑色曲線所示)問題。
圖16 3×3 二維圖像圖割示例Fig.16. Illustration of 3 × 3-dimensional graph cut
其中,NP是與像素 p 相鄰的像素的集合,參數(shù)λ0。且
基于圖割理論的分割方法是能量最小化圖像分割的一種,它能很好地把握圖像的全局特征,同時(shí)利用了圖像的像素灰度信息和區(qū)域邊緣信息,能較好地處理圖像分割的精度問題,如圖17 所示,其中,圖(a)為原始圖像,圖(b)為利用圖割算法獲取的左肺葉分割圖像。
圖17 圖割算法分割圖像示例Fig.17. Examples for graph cut image segmentation
迭代圖割與主動(dòng)輪廓模型(Iterative Graph-Cut-ASM,IGCASM)算法是一種有效融合圖割和主動(dòng)輪廓模型的混合分割算法[13],算法對圖割能量函數(shù)進(jìn)行了改進(jìn),除前面兩項(xiàng)外,加上三維輪廓項(xiàng) Sp(fp),即將公式(11)改為:
接下來,將 GC 和 ASM 相結(jié)合,成為IGCASM 算法[13],該算法有效地將 ASM 中的多統(tǒng)計(jì)輪廓信息與 GC 方法中的全局最優(yōu)分割相結(jié)合。
最后,IGCASM 方法通過兩個(gè)數(shù)據(jù)集測試,分別為 20 個(gè)病人中獲取的臨床腹部 CT 掃描圖像。分別測試 4 個(gè)組織(肝,左右腎和脾)的分割。
實(shí)驗(yàn)分別包括對多對象單切片和三維圖像使用 ASM 模型的分割和混合 IGCASM 模型的分割,實(shí)驗(yàn)分割結(jié)果詳見圖18~21。其中,圖20~21 左列為原始圖像,中列為金標(biāo)準(zhǔn)圖像,右列為使用 IGCASM 模型分割的結(jié)果。實(shí)驗(yàn)結(jié)果表明所提出的自動(dòng)解剖分割系統(tǒng)是可行的、有效的,且混合 IGCASM 模型比單獨(dú)的 ASM 模型具有更強(qiáng)的魯棒性和更高的精度,詳情可見 Chen等[13]的研究成果。
圖18 多對象單切片 ASM 分割結(jié)果(腹部器官 CT 圖像)Fig.18. Multi-object segmentation results of ASM on one slice
圖19 多對象三維 ASM 分割結(jié)果Fig.19. Three-dimensional multi-object segmentation results of ASM
圖20 多對象單切片 IGCASM 分割結(jié)果Fig.20. Multi-object segmentation results of IGCASM on one slice
圖21 多對象三維 IGCASM 分割結(jié)果Fig.21. Three-dimensional multi-object segmentation results of IGCASM
醫(yī)學(xué)影像經(jīng)歷了結(jié)構(gòu)成像、功能成像和分子成像等發(fā)展歷程,其成像技術(shù)越來越先進(jìn)成熟。盡管如此,由于醫(yī)學(xué)影像的復(fù)雜多樣性,醫(yī)學(xué)圖像的成像原理和組織本身的特性差異,圖像的形成受到諸如磁場偏移效應(yīng)、噪音、局部體效應(yīng)、組織蠕動(dòng)和病變等的影響,醫(yī)學(xué)圖像與普通圖像相比,更加模糊、不均勻,致使醫(yī)學(xué)影像分割困難重重,至今依然沒有獲得充分的解決。由于沒有通用方法,研究人員只能通過分割算法解決具體分割任務(wù)。為了獲得更滿意的分割結(jié)果,常常在算法中加入新的概念或新的方法,同時(shí),更加重視多種分割算法的有效結(jié)合。文本以 ASM 算法、GC 算法以及在此基礎(chǔ)上進(jìn)行改進(jìn)并結(jié)合兩種算法得到新的 IGCASM 算法為例,進(jìn)一步說明現(xiàn)代醫(yī)學(xué)圖像分割算法的共同特點(diǎn)。未來醫(yī)學(xué)影像處理還將研究更先進(jìn)的成像技術(shù)和更復(fù)雜實(shí)用的醫(yī)學(xué)圖像分割算法。
[1] 老年癡呆癥的診斷 [OL]. http://www.zhichidai. com/chidai/haimo/114_4.shtml.
[2] Malkevitch J. 數(shù)學(xué)與大腦 [OL]. http:// www.mysanco.cn/index.php?action=wenku_ item&class=wenku&id=97&bsh_bid=177865508.
[3] University of Pittsburgh. Molecular Imaging Center [OL]. http://www.rad.pitt.edu/?research/molecularimaging.html.
[4] Duncan JS, Ayache N. Medical image analysis: progress over two decades and the challenges ahead [J]. IEEE Transactions on Patter Analysis and Machine Intelligence, 2000, 22(1): 85-106.
[5] Pham DL, Xu CY, Prince JL. A survey of current methods in medical image segmentation [J]. Annual Review of Biomedical Engineering, 2000, 2: 315-338.
[6] Pal NR, Pal SK. A review on image segmentation techniques [J]. Pattern Recognition, 1993, 26(9): 1277-1294.
[7] Zhang YJ. A survey on evaluation methods for image segmentation [J]. Pattern Recognition, 1996, 29(8): 1335-1346.
[8] Cootes TF, Taylor CJ, Cooper DH, et al. Active shape models - their training and application [J]. Comput Vision and Image Understanding, 1995, 61: 38-59.
[9] Cootes TF, Edwards GJ, Taylor CJ. Active appearance models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23: 681-685.
[10] 王曄, 吳小俊, 王士同, 等. 基于改進(jìn)主動(dòng)形狀模型的人臉表情識別 [J]. 計(jì)算機(jī)工程與應(yīng)用, 2009, 45(6): 197-200.
[11] Lombaert H, Sun YY, Grady L, et al. A multilevel banded graph cuts method for fast image segmentation [C] // Proceedings of the 10th IEEE International Conference on Computer Vision, 2005: 259-265.
[12] 韓守東, 趙勇, 陶文兵, 等. 基于高斯超像素的快速 Graph Cuts 圖像分割方法 [J]. 自動(dòng)化學(xué)報(bào), 2011, 37(1): 11-20.
[13] Chen XJ, Bagci U. 3D automatic anatomy segmentation based on iterative graph-cut-ASM [J]. Medical Physics, 2011, 38(8): 4610-4622.
[14] Chen XJ, Udupa JK, Ba?ci U, et al. Medical image segmentation by combining graph cut and oriented active appearance models [J]. IEEE Transactions on Image Processing, 2011, 21(4): 2035-2046.
[15] Chen XJ, Udupa JK, Alavi A, et al. GC-ASM: synergistic integration of graph-cut and active shape model strategies for image segmentation [J]. Computer Vision and Image Understanding, 2013, 117(5): 513-524.
Recent Progress of Medical Image Processing and Analysis
LIAO Jianping1JIANG Xueqing2ZHU Weifang2JIN Chao2CHEN Xinjian2
1( College of Information Engineering, Nanning University, Nanning 530200, China )
2( Medical Image Processing, Analysis and Visualization Lab, School of Electronic and Information Engineering, Soochow University, Suzhou 215006, China )
With the development of medical imaging, its processing and analysis techniques becomes more and more advanced and mature. However, the segmentation of medical image is still a great challenge. In this paper, the recent progress of medical imaging and the characteristics of the recent medical image segmentation techniques were discussed: emphasis on the effective integration of multiple segmentation algorithms. Active shape model (ASM), graph cut (GC) and iterative graph-cut active shape model (IGCASM) methods were used as examples to further illustrate the characteristics of medical image segmentation.
image segmentation; active shape models; graph cuts; graph-cut active shape model
R 445
A
2014-06-19
廖建平,講師,研究方向?yàn)閳D像處理與分析;蔣雪晴,碩士,研究方向?yàn)獒t(yī)學(xué)影像處理與分析;朱偉芳,副教授,研究方向?yàn)獒t(yī)學(xué)影像處理與分析;金超,碩士,研究方向?yàn)獒t(yī)學(xué)影像處理與分析;陳新建(通訊作者),特聘教授,研究方向?yàn)獒t(yī)學(xué)影像處理與分析,E-mail:xjchen@suda.edu.cn。