林麗群, 王衛(wèi)星
(福州大學(xué)物理與信息工程學(xué)院,福建 福州 350116)
現(xiàn)今,醫(yī)學(xué)圖像分割在臨床診斷、病理分析等醫(yī)學(xué)研究和實(shí)踐領(lǐng)域具有廣泛的應(yīng)用和研究?jī)r(jià)值. 尤其是近年來(lái)全球癌癥發(fā)病總體呈上升趨勢(shì),對(duì)癌癥的提前診斷尤其重要. 在計(jì)算機(jī)輔助分析血細(xì)胞圖像方法中,精確分割是重要的環(huán)節(jié). 而血細(xì)胞圖像具有細(xì)胞重疊、頻繁嚴(yán)重粘連、細(xì)胞大小不等、細(xì)胞輪廓不清晰等特點(diǎn),難以準(zhǔn)確分割. 特別是,從復(fù)雜背景中如何提取細(xì)胞區(qū)域以及實(shí)現(xiàn)粘連細(xì)胞的分割,成為近年來(lái)研究的熱點(diǎn)和難點(diǎn).
自20世紀(jì)60年代以來(lái),國(guó)內(nèi)外許多學(xué)者開(kāi)始研究并提出了許多種分割方法. 近年來(lái),對(duì)細(xì)胞圖像分割的研究仍然很活躍. Micko等[1]采用快速?gòu)较驅(qū)ΨQ變換(FRST)算法進(jìn)行目標(biāo)和背景標(biāo)記提取,提出基于FRST標(biāo)記的改進(jìn)分水嶺算法進(jìn)行粘連細(xì)胞的分割; Aymen等[2]基于梯度距離變換結(jié)合凹點(diǎn)圖對(duì)分水嶺算法進(jìn)行改進(jìn),該算法可以對(duì)粘連細(xì)胞進(jìn)行分割,過(guò)分割現(xiàn)象得到了部分改善; Yasmeen等[3-4]也利用標(biāo)記分水嶺對(duì)粘連乳腺細(xì)胞進(jìn)行分割. 以上算法的分割準(zhǔn)確率不高,其主要原因可能是提取細(xì)胞區(qū)域時(shí)沒(méi)有完全抑制復(fù)雜背景的影響,以及分離粘連重疊細(xì)胞時(shí)分割線獲取不準(zhǔn)確. 王品等[5]提出一種結(jié)合小波多尺度區(qū)域生長(zhǎng)和雙策略去粘連模型的全自動(dòng)分割算法,可以有效克服復(fù)雜背景的影響,并且得到比較準(zhǔn)確的細(xì)胞輪廓和分割線,有較高的分割準(zhǔn)確率. Wang等[6]提出一種乳腺細(xì)胞圖像自動(dòng)分割和定量分析技術(shù),采用自適應(yīng)形態(tài)學(xué)運(yùn)算結(jié)合CSS角點(diǎn)檢測(cè)算法來(lái)分割粘連細(xì)胞,分割結(jié)果的精確度較高. 王衛(wèi)星等[7]應(yīng)用圖論的思想提出了一種圖論與數(shù)學(xué)形態(tài)學(xué)結(jié)合的圖像分割算法,該算法能夠很好地分割模糊且有粘連的細(xì)胞圖像.
同時(shí),基于圖論的分割方法是近些年來(lái)國(guó)內(nèi)外研究的熱點(diǎn)[8-10]. 2006年,Sharon等[11]提出基于圖論的分割方法,該算法分割結(jié)果精準(zhǔn)且效率高. 葉偉等[12]基于Mumford-Shah能量理論,把圖像中各區(qū)域的幾何性質(zhì)和區(qū)域間的結(jié)合程度利用起來(lái),實(shí)現(xiàn)了對(duì)圖論最小生成樹(shù)的圖像分割方法的改進(jìn). Anna等[13]采用基于圖論的最小生成樹(shù)的改進(jìn)算法,該算法通過(guò)減少圖中的頂點(diǎn)數(shù)從而提高圖像分割的速度. Banerjee等[14]利用最小生成樹(shù)算法結(jié)合聚類的分割算法,該算法對(duì)多光譜衛(wèi)星圖像的分割效果較好. Song等[15]采用圖論結(jié)合多尺度卷積網(wǎng)絡(luò)(MSCN)的方法,對(duì)粘連宮頸細(xì)胞圖像進(jìn)行分割,取得了較好的分割效果. 總之,上述大多數(shù)算法是針對(duì)特定的圖像分割, 效果較好,但對(duì)于模糊且粘連頻繁嚴(yán)重的細(xì)胞圖像來(lái)說(shuō),算法的適用性和分割效果不理想.
另外,F(xiàn)elzenszwalb和Huttenlocher[16]提出了“小而并之”的合并準(zhǔn)則,實(shí)現(xiàn)了最小生成樹(shù)(即MST)分割算法的改進(jìn),該方法效率較高. 但是它也有自身的缺點(diǎn),算法中預(yù)設(shè)的k值難以有效地人為控制,若其值過(guò)大,將產(chǎn)生過(guò)合并現(xiàn)象; 如若過(guò)小,將不能有效抑制小區(qū)域的生成,將產(chǎn)生較多的冗余區(qū)域[17]. 文[18]是在文[16]算法中引入了細(xì)胞尺寸和形狀的信息,從而在一定程度上改善了圖論算法過(guò)分割的缺陷. 本算法針對(duì)文[18]的方法從邊權(quán)函數(shù)、節(jié)點(diǎn)選取及合并機(jī)制三方面進(jìn)行了改進(jìn),提高算法的效率和分割效果.
由于采集圖像受到光線影響,使得細(xì)胞圖像與背景沒(méi)有很強(qiáng)的對(duì)比度,而且邊界比較模糊,很容易產(chǎn)生錯(cuò)誤分割,所以在進(jìn)行分割之前要對(duì)圖像進(jìn)行預(yù)處理. 針對(duì)血細(xì)胞涂片圖像,噪聲主要表現(xiàn)為細(xì)胞周圍的染色污染及顆粒噪聲,細(xì)胞邊緣模糊且其形狀呈圓形或橢圓形. 根據(jù)形態(tài)學(xué)去噪理論,可以選擇圓形結(jié)構(gòu)元素來(lái)處理圖像,去除噪聲,有效抑制細(xì)胞形狀的失真.
因此,根據(jù)血細(xì)胞圖像的特點(diǎn)采用改進(jìn)的類圓形掩膜算子的分?jǐn)?shù)階微分進(jìn)行預(yù)處理. 在Tiansi算子的基礎(chǔ)上,引出一種類圓形掩膜增強(qiáng)算子,該算子充分考慮到細(xì)胞形狀,避免增強(qiáng)過(guò)程中細(xì)胞形狀失真的情況.
根據(jù)G-L定義,對(duì)微分掩膜模板進(jìn)行改進(jìn). 通過(guò)把連續(xù)函數(shù)經(jīng)典整數(shù)階微分的階數(shù)延擴(kuò)到分?jǐn)?shù)集合,進(jìn)而求得其v階定義為[19]:
已知二維的圖像信號(hào)s(x,y),由式(1)G-L分?jǐn)?shù)階微分定義可推導(dǎo)出其ν階微分的差分表達(dá)式為:
通過(guò)上兩式可以看出,s(x,y)在x和y軸方向上的n+1項(xiàng)分?jǐn)?shù)階微分的近似值中的每一求和項(xiàng)的值都相同. 這n+1個(gè)非零系數(shù)值分別是:
當(dāng)v取分?jǐn)?shù)時(shí),這n+1個(gè)非零系數(shù)之和并不為零,這是造成它與整數(shù)階微分對(duì)信號(hào)呈不同特性的主要因素[20]. 同時(shí),這些系數(shù)也是構(gòu)建分?jǐn)?shù)階微分掩膜模板的基礎(chǔ).
圖1 改進(jìn)的類圓形掩膜算子Fig.1 Improved circular mask operator
將圖像映射成一個(gè)加權(quán)圖G(V,E), 主要采用最小生成樹(shù)的Krusal算法(即文[18])進(jìn)行分割,此方法分割效果好、算法結(jié)構(gòu)簡(jiǎn)單且計(jì)算效率高,但它仍然有許多缺點(diǎn),本研究分別從以下幾點(diǎn)對(duì)其改進(jìn).
在文[18]中,將像素點(diǎn)作為圖的節(jié)點(diǎn),利用節(jié)點(diǎn)和相鄰節(jié)點(diǎn)之間的相似度來(lái)構(gòu)造權(quán)重矩陣. 隨著圖像尺寸增大,像素點(diǎn)增多,權(quán)值矩陣維數(shù)也隨之增加,從而導(dǎo)致算法運(yùn)行緩慢. 而本算法選取分水嶺算法分割后的過(guò)分割區(qū)域作為圖的節(jié)點(diǎn),由于該區(qū)域的邊的連接數(shù)目比直接連接像素點(diǎn)的邊的數(shù)目要少得多,降低了算法的計(jì)算復(fù)雜度,提高了算法的運(yùn)行效率.
根據(jù)Felzenszwalb和Huttenlocher的算法準(zhǔn)則(簡(jiǎn)稱FH算法),僅僅將最小生成樹(shù)的邊權(quán)表示為兩個(gè)像素點(diǎn)之間顏色信息的絕對(duì)差值,而沒(méi)有考察到它們的空間位置信息. 若兩像素空間位置較遠(yuǎn),其相關(guān)性一般也會(huì)變?nèi)?,理?yīng)加大邊權(quán)懲罰. 文[18]只針對(duì)灰度圖像的邊權(quán)值進(jìn)行重新定義,而本研究分別針對(duì)灰度圖像和彩色圖像給出了權(quán)重函數(shù)的定義.
針對(duì)灰度圖像,對(duì)邊上的權(quán)值定義為:
其中:fi,fj分別為像素的灰度值;xi,xj,yi,yj為該點(diǎn)的橫縱坐標(biāo)分量. 該權(quán)重的定義不但考慮到灰度圖像的像素差值,也考慮到像素間的空間距離.
針對(duì)彩色圖像,對(duì)邊上的權(quán)值定義為:
其中:Hi,Hj,Si,Sj,Ii,Ij,分別為像素的紅綠藍(lán)分量;xi,xj,yi,yj為該點(diǎn)橫縱坐標(biāo)分量.
不妨假設(shè)圖像經(jīng)分水嶺算法分割后得到如圖2(a)所示的6個(gè)過(guò)分割區(qū)域{1, 2, 3, 4, 5, 6},所映射節(jié)點(diǎn)的邊集E={e1,e2,e3,e4,e5,e6,e7,e8,e9}={(1, 2), (1, 5), (2, 3), (2, 5), (3, 4), (3, 5), (4, 5), (4, 6), (5, 6)}的權(quán)重值分別為5、9、6、8、4、1、7、4、2,將過(guò)分割區(qū)域和邊的權(quán)重值一一映射得到初始的加權(quán)無(wú)向圖,如圖2(b)所示.
圖2 過(guò)分割區(qū)域映射的加權(quán)無(wú)向圖Fig.2 Over-segmented regions mapped into a weighted undirected graph
在文[18]中,預(yù)設(shè)的k值(即最小生成樹(shù)分割的權(quán)重閾值,用來(lái)控制分割區(qū)域的大小)難以有效地人為控制. 若其值越大,閾值函數(shù)τ(C)的值也越大,則判別公式D(Ci,Cj)的值越有可能為1,將產(chǎn)生過(guò)合并現(xiàn)象; 如若過(guò)小,將不能有效抑制小區(qū)域的生成,將產(chǎn)生較多的冗余區(qū)域. 為了克服上述缺陷,在原有基礎(chǔ)上再引入一個(gè)描述區(qū)域最小面積的變量p(即細(xì)胞面積大小),可用細(xì)胞邊界所圍區(qū)域中包含的像素個(gè)數(shù)來(lái)表示,若第i個(gè)區(qū)域的面積超出設(shè)定的范圍,則找到區(qū)域內(nèi)權(quán)重最大的邊將它斷開(kāi),這樣就將細(xì)胞的形狀控制在一定的范圍內(nèi),減少了文[18]算法產(chǎn)生的過(guò)分割.
假設(shè)過(guò)分割區(qū)域映射為節(jié)點(diǎn)而形成的圖大小為3×3,如圖3(a),不妨假設(shè)分割S中每一節(jié)點(diǎn)為一區(qū)域,設(shè)置p=3,按左到右的順序處理邊,其區(qū)域合并過(guò)程圖3所示.
圖3 區(qū)域合并過(guò)程圖Fig.3 Region merging process
從圖3中可以看出,通過(guò)Step 1得到了兩個(gè)合并的新區(qū)域,但仍有孤立的節(jié)點(diǎn)或面積小于p的區(qū)域存在. 經(jīng)過(guò)Step 2把小區(qū)域再合并到相鄰區(qū)域中,保證區(qū)域的最小面積為p,減少生成樹(shù)算法冗余區(qū)域,并且面積大于p的兩個(gè)不同區(qū)域合并的概率變小,可以避免過(guò)合并.
血細(xì)胞圖像來(lái)源于福建醫(yī)科大學(xué)附屬第一醫(yī)院,共采集35幅不同類型的血涂片細(xì)胞圖像,與文[18]對(duì)比列于圖4. 從圖4中可以看出,單用數(shù)學(xué)形態(tài)學(xué)去噪的預(yù)處理,雖能夠?yàn)V去染色污染和顆粒噪聲,但同時(shí)也進(jìn)一步模糊細(xì)胞的邊緣,導(dǎo)致圖4(d)中的一些細(xì)胞分割不夠理想,存在欠分割. 圖4(f)為文[18]的分割結(jié)果,圖4(g)為預(yù)處理后進(jìn)行分水嶺初分割的基礎(chǔ)上進(jìn)行文[18]算法再分割的結(jié)果,圖4(h)為本算法分割的結(jié)果,即在分水嶺分割基礎(chǔ)上,權(quán)重值定義的改進(jìn)及引入最小區(qū)域面積變量p的最小生成樹(shù)算法分割,并調(diào)整k值和p值以得到最優(yōu)的效果圖. 可以看出,在分水嶺初始分割基礎(chǔ)上再用改進(jìn)圖論算法的結(jié)果去除了多余的區(qū)域,且大大提高了算法的效率. 圖4(i)為本算法的最終效果圖,分離粘連細(xì)胞,大體上提取出細(xì)胞,而且濾除了雜質(zhì).
圖4 模糊且較多孔洞等噪聲的粘連細(xì)胞彩色圖像 #1的分割結(jié)果Fig.4 Split process of touching color cell image #1 containing many holes and noise
為驗(yàn)證本算法的實(shí)用性,做了35幅不同類型的血涂片細(xì)胞圖像的試驗(yàn),再選出有代表性的圖像進(jìn)一步分析(見(jiàn)圖5和圖6). 這兩幅圖像前景與背景較接近,圖5(a)中光線不均勻造成的孔洞比較多,圖6(a)內(nèi)的染色污染和顆粒噪聲比較多,且細(xì)胞的粘連情況較為嚴(yán)重,常用的圖像分割算法較難對(duì)這類圖像分割.
圖5 模糊且較多孔洞等噪聲的粘連細(xì)胞彩色圖像 #2的分割結(jié)果Fig.5 Split process of touching color cell image #2 containing many holes and noise
圖6 模糊且較多孔洞等噪聲的粘連細(xì)胞彩色圖像 #3的分割結(jié)果Fig.6 Split process of touching color cell image #3 containing many holes and noise
表1 相同的visual C++6.0平臺(tái)下運(yùn)行時(shí)間對(duì)比
從圖5和6可以看出,本算法結(jié)合改進(jìn)的分?jǐn)?shù)階微分去噪和分水嶺算法作為初分割,并經(jīng)改進(jìn)的最小生成樹(shù)算法再分割后,相比文[18]算法結(jié)果,粘連細(xì)胞欠分割現(xiàn)象得到了改善,并且去除了細(xì)小的冗余區(qū)域,同時(shí)也提高了算法的效率. 接下來(lái)用算法的運(yùn)行時(shí)間來(lái)衡量文[18]算法、本算法的效率,分別對(duì)圖4(a)、圖5(a)、圖6(a)的血涂片細(xì)胞圖像作對(duì)比,如表1所示.
從表1可以看出,在分水嶺分割基礎(chǔ)上的算法效率明顯提高. 這是因?yàn)榉炙畮X算法的時(shí)間復(fù)雜度與其圖像大小m×n線性相關(guān),運(yùn)行時(shí)間為O(m×n); 最小生成樹(shù)的時(shí)間復(fù)雜度與其映射圖的邊數(shù)E有關(guān),運(yùn)行時(shí)間為O(ElogE). 通過(guò)分水嶺算法的初分割,將過(guò)分割區(qū)域而不是像素點(diǎn)映射為節(jié)點(diǎn),大大減少了映射圖的邊數(shù),提高了算法效果.
圖5(d)和圖6(d)為本算法的最終效果圖. 可以看出,在去除染色污染和顆粒噪聲的同時(shí),并沒(méi)有使圖像模糊,整個(gè)圖像干凈整潔,符合人眼的視覺(jué)效果,而且達(dá)到較好提取細(xì)胞的預(yù)期目標(biāo). 為驗(yàn)證該算法的優(yōu)越性,選用邊界跟蹤和OTSU閾值這兩種經(jīng)典的細(xì)胞圖像分割算法與其比較,如圖5(e)、圖6(e)以及圖5(f)、圖6(f)中直接對(duì)原圖像處理. 從圖5(e)、圖6(e)中可以看出,未去除的噪聲嚴(yán)重干擾到圖像分割,由于光照不均造成細(xì)胞內(nèi)出現(xiàn)很多細(xì)小的虛假輪廓線,且細(xì)胞的分割效果十分不理想. 在圖5(f)、圖6(f)中,欠分割現(xiàn)象較明顯,孔洞問(wèn)題更加突出且需將彩色圖像灰度化,忽略了人眼更加敏感的色彩信息,不能滿足實(shí)際應(yīng)用.
為了更直觀地反映本算法較上述兩種經(jīng)典算法存在的差異性,用欠分割數(shù)、過(guò)分割數(shù)和總的目標(biāo)個(gè)數(shù)及錯(cuò)誤率四個(gè)方面指標(biāo)進(jìn)行客觀的比較. 例如表2對(duì)圖6的(d)~(f)圖像的分析,其細(xì)胞總數(shù)為55.
表2 三種算法分割效果的比較
從表2可以看出,本算法的四個(gè)分割指標(biāo)都較好,但欠分割細(xì)胞數(shù)仍有3,一些嚴(yán)重粘連的細(xì)胞未得到有效分割,這將是今后研究的重點(diǎn).
結(jié)合分水嶺和改進(jìn)的圖論進(jìn)行細(xì)胞圖像分割,算法先對(duì)血細(xì)胞圖像采用改進(jìn)的分?jǐn)?shù)階微分進(jìn)行增強(qiáng)預(yù)處理. 接著進(jìn)行分水嶺算法的初分割,分割后的過(guò)分割區(qū)映射為圖的節(jié)點(diǎn). 最后通過(guò)改進(jìn)的圖論,即最小生成樹(shù)(MST)算法進(jìn)行細(xì)胞圖像再分割. 同時(shí),引入?yún)^(qū)域最小面積p對(duì)其改進(jìn),改善分割效果. 實(shí)驗(yàn)結(jié)果表明,該算法有效抑制了分水嶺的過(guò)分割現(xiàn)象,并有效減少了最小生成樹(shù)算法中節(jié)點(diǎn)的數(shù)量,從而提高了算法的效率.
本算法仍然存在一些不足之處:
1) 在較好地分割細(xì)胞的同時(shí)在一定程度上減少了運(yùn)行時(shí)間,但是在分割的精度及效率上仍有一定的不足之處,需要進(jìn)一步的思考與研究;
2) 仍有一些粘連細(xì)胞未得到有效的分割,后續(xù)工作將從骨架化提取或者基于凹點(diǎn)匹配等方面進(jìn)行進(jìn)一步的分割.
[1] VETA M. Automatic nuclei segmentation in H & E stained breast cancer histopathology images[J]. Plos 0ne,2013, 8(7): e70221.
[2] MOUELHI A,SAYADI M,F(xiàn)NAIECH F,etal. Automatic image segmentation of nuclear stained breast tissue sections using color active contour modeI and an improved watershed method[J]. Biomedical Signal Processing and Control,2013,8(5):421-436.
[3] GEORGE Y M, BAGOURY B M, ZAYED H H,etal. Automated cell nuclei segmentation for breast fine needle aspiration oytology[J]. Signal Processing, 2013, 93 (10): 2 804-2 816.
[4] GEORGE Y M,ZAYED H H,ROUSHDY M I,etal. Remote computer-aided breast cancer detection and diagnosis system based on cytological images[J]. IEEE Systems Journal, 2014, 8(3): 949-964.
[5] 王品,胡先玲,謝文賓,等. 多尺度區(qū)域生長(zhǎng)與去粘連模型的乳腺細(xì)胞分割[J]. 儀器儀表學(xué)報(bào),2015, 36(7): 1 653-1 658.
[6] WANG P, HU X L, LI Y M,etal. Automatic cell nuclei segmentation and classification of breast cancer histopathology images[J]. Signal Processing, 2016, 122: 1-13.
[7] 王衛(wèi)星,田利平,王悅. 基于改進(jìn)的圖論最小生成樹(shù)及骨架距離直方圖分割細(xì)胞圖像[J]. 光學(xué)精密工程, 2013, 21(9): 2 464-2 470.
[8] WANG S,SISKIND J M. Image segmentation with ratio cut[J]. IEEE Trans on PAKI,2003,25(6):675-690.
[9] ZHANG Y,CHENG X P. Medical image segmentation based on watershed and graph theory[C]// 3rd International Congress on Image and Signal Processing (CISP). Yantai:[s.n.], 2010:1 419-1 422.
[10] VANHAMEL I,SAHLI H,PRATIKAKIS I. Nonlinear multiscale graph theory based segmentation of color images[J]. IEEE Conferences,2011:409-412.
[11] SHARON E,GALUN M,SHARON D,etal. Hierarchy and adaptivity in segmenting visual scenes[J]. Nature,2006,442:810-813.
[12] 葉偉,王遠(yuǎn)軍. 基于Mumford-Shah理論的最小生成樹(shù)圖像分割方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2009,21(8):1 127-1 133.
[13] ANNA F, JAROSAW G. New accelerated graph-based method of image segmentation applying minimum spanning tree[J]. IET Image Processing, 2014, 8(4): 239-250.
[14] BIPLAB B, SURENDER V, KRISHNA M B,etal. Unsupervised multi-spectral satellite image segmentation combining modified mean-shift and a new minimum spanning tree based clustering technique[J]. Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(3): 888-894.
[15] SONG Y Y, ZHANG L, CHEN S P,etal. Accurate segmentation of cervical cytoplasm and nuclei based on multiscale convolutional network and graph partitioning [J]. IEEE Transactions on Biomedical Engineering, 2015, 62(10): 2 421-2 433.
[16] FELZENSZWALB P F,HUTTENLOCHER D P. Efficient graph-based image segmentation[J]. International Journal of Computer Vision,2004,59(2): 167-181.
[17] 王衛(wèi)星,石紅玉. 結(jié)合閉合解摳圖及最小生成樹(shù)的圖論分割算法[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2014, 46 (9): 123-128.
[18] WANG W X, ZHANG X, CAO T,etal. Fuzzy and touching cell extraction on modified graph minimize spanning tree and skeleton distance mapping histogram[J]. Journal of Medical Imaging and Health Informatics, 2014, 4(3): 350-357.
[19] GAO C B, ZHOU J L, HU J R,etal. Edge detection of colour image based on quaternion fractional differential[J]. IET Image Processing, 2011, 5(3): 261-272.
[20] GAN Z, YANG H. Texture enhancement though multiscale mask based on RL fractional differential[C]//International Conference on Information Networking and Automation. [S.l.]: IEEE, 2010: V1-333-V1-337.