張東波,顏 霜,張 瑩,秦 海,王俊超

(1．湘潭大學(xué)信息工程學(xué)院,湖南湘潭 411105;2．機器人視覺感知與控制技術(shù)國家工程實驗室,湖南湘潭 411105)

局部二維結(jié)構(gòu)描述的HEp-2染色模式分類

張東波1,2,顏 霜1,張 瑩1,2,秦 海1,王俊超1

(1．湘潭大學(xué)信息工程學(xué)院,湖南湘潭 411105;2．機器人視覺感知與控制技術(shù)國家工程實驗室,湖南湘潭 411105)

Hep-2染色模式分類主要用于免疫疾病診斷,但已有方法受熒光成像環(huán)境,細胞圖像自身的視覺特性的影響,分類準(zhǔn)確率較低.本文提出一種新的適合于HEp-2染色模式分類的特征提取方法.在構(gòu)建了不同尺度下的高斯平滑圖像序列后,利用shape index實現(xiàn)圖像二維結(jié)構(gòu)的直觀描述,進而通過多灰度閾值圖像結(jié)構(gòu)的空間分解,使其同時具備對微觀二維圖像結(jié)構(gòu)和空間信息的描述能力.該方法在ICPR 和SNP HEp-2數(shù)據(jù)集的兩折交叉細胞級測試中,分別獲得89.83%和87.49%的準(zhǔn)確率,在ICPR的28折交叉細胞級和圖像級測試分別達到60.5%和70.56%的準(zhǔn)確率,明顯優(yōu)于LBP、CLBP 等方法,和CoALBP特征相當(dāng).

間接免疫熒光圖像;染色模式;空間分解

1 引言

間接免疫熒光(IIF)圖像分析是現(xiàn)代醫(yī)學(xué)對自身免疫疾病進行診斷的有效手段,不同的IIF熒光染色模式與不同的免疫疾病密切相關(guān).熒光染色模式的準(zhǔn)確分類目前仍然是一個非常困難的問題,原因在于受熒光成像環(huán)境影響,不同染色模式細胞圖像外觀差異變化大,而其中一些染色模式又具有非常相似的視覺特性.

HEp-2細胞染色模式分類采用的特征主要有形狀/形態(tài)學(xué)特征、紋理特征二類.例如G.V.Ponomarev[1]提取ROI染色細胞區(qū)域的數(shù)量,大小,形狀等形態(tài)學(xué)特征,R.Stoklasa[2]通過不同尺度形態(tài)學(xué)開運算描述細胞圖像中的峰值區(qū)域分布特性,同時借助地形學(xué)理論,對圖像灰度分布中呈現(xiàn)出來的類似山、谷形狀的表面信息進行統(tǒng)計.作為一種表面形狀描述子,該特征計算簡單,具有優(yōu)越的分類性能.此外,由于熒光響應(yīng)模式通常呈現(xiàn)出規(guī)律性的分布和空間關(guān)系,因此紋理特征也是一種非常有效的對HEp-2染色模式分類的特征,但全局紋理特征,例如灰度共生矩陣GLCM和離散余弦變換DCT[3],不能很好的描述圖像中的微觀結(jié)構(gòu)之間的空間關(guān)系,因此分類性能欠佳.近年來,局部紋理特征得到廣泛應(yīng)用,例如Haralick特征[2],LBP特征[4～7],SIFT特征[8],其中LBP特征具有計算成本低,容易實現(xiàn),魯棒性較好等優(yōu)點,且由于擅長描述圖像微觀結(jié)構(gòu),LBP及其改進的特征在HEp-2染色模式分類中得到有效應(yīng)用,例如R.Nosaka[7]考慮了成對LBPs之間空間關(guān)系提出的CoALBP特征,為了實現(xiàn)旋轉(zhuǎn)不變性,提高魯棒性,提出了RIC-LBP特征.I.Theodorakopoulos[8]結(jié)合SIFT與GoC-LBPs提取特征,其中,SIFT特征具有旋轉(zhuǎn)不變性,對光照變化,噪聲,平移以及縮放具有魯棒性,而GoC-LBPs特征考慮了各模式之間信息共現(xiàn)性,兩種特征的結(jié)合很好的描述了細胞圖像的灰度和紋理信息.S.Di.Cataldo[9]則提出了形態(tài)學(xué)與紋理特征結(jié)合的特征描述方法,其形態(tài)學(xué)特征考慮連通區(qū)域圓度(即面積/周長2)、數(shù)量、比值以及面積等等,紋理特征則考慮了全局紋理特征(GLCM,ZERN,EOH,RIGF)和局部紋理特征(LBPriu2,CLBP,CoLBP,RIC-LBP).組合特征雖然一定程度能夠提升分類性能,但同時加大了計算量,算法復(fù)雜,而性能提升非常有限.

由J.J.Koenderink提出的shape index[10]是一種能夠?qū)D像中的二維結(jié)構(gòu)進行直觀描述的特征,受此啟發(fā),本文基于shape index并結(jié)合尺度空間理論和基于灰度排序的空間分解提出了一種新的特征提取方法.該特征具備對圖像微觀二維結(jié)構(gòu)和空間信息的描述能力,實驗結(jié)果驗證了新特征的良好分類能力.

2 本文方法

為避免圖像尺度對統(tǒng)計特征的影響,細胞圖像均歸一成64×64的尺寸,同時為避免光照影響通過式(1)還做了灰度歸一化變換.

(1)

其中,mean(I)和std(I)分別是細胞圖像的均值和標(biāo)準(zhǔn)差,I是原圖像,I′預(yù)處理后圖像.

2.1 基于shape index的特征提取

Shape index是由Koenderink 和van Doorn[10]提出的一種圖像幾何測量方法.由于HEp-2圖像中的二維結(jié)構(gòu)有尺寸差異,因此有必要在高斯尺度空間框架內(nèi)計算shape index.圖像的高斯尺度空間,

L(x;σ)=(G*I′)(x;σ),x=(x,y)

(2)

其中,*表示卷積運算,G是高斯函數(shù)

(3)

其中σ為高斯核函數(shù)的尺度參數(shù).通過規(guī)范化尺度空間導(dǎo)數(shù)[11]可以計算圖像中的差分結(jié)構(gòu)

(4)

通過計算二階導(dǎo)數(shù)Lx2,Ly2,Lxy我們可以構(gòu)造出如下的Hessian矩陣:

(5)

Hessian矩陣是二階對稱矩陣,其特征值k1和k2可以用來衡量尺度σ下的二階曲率,由下式計算,

(6)

(7)

k1和k2稱之為主曲率,分別描述的是曲率在極大值和極小值方向的值,值得注意的是,k1和k2的值本身和極值曲率方向無關(guān),因此具有旋轉(zhuǎn)不變性.當(dāng)k1=k2=0時,此時的像素點區(qū)域平坦,無明顯信息結(jié)構(gòu).為了得到描述圖像二維結(jié)構(gòu)具有旋轉(zhuǎn)不變性的特征,定義如下shape index指標(biāo)s∈[-π/2,π/2],

(8)

指標(biāo)s具有旋轉(zhuǎn),灰度以及平移不變性,能描述連續(xù)圖像空間區(qū)間內(nèi)所有的二階形狀.當(dāng)s=0時,對應(yīng)的是一個鞍狀結(jié)構(gòu);當(dāng)s≠0時,則可以分別描述極大值、極小值、脊線和谷線等凹凸不一的曲面結(jié)構(gòu).

s指標(biāo)只能描述曲面結(jié)構(gòu)的形狀,而相同形狀的結(jié)構(gòu)在圖像中的可觀測性不一樣,有的易于觀測,有的和背景接近很難區(qū)分,因此二維結(jié)構(gòu)的顯著性需要另外用曲度值c(curvedness)進行區(qū)分

(9)

曲度描述的所描繪的形狀的強度,c值小意味著此形狀幾乎是平坦的且不明顯,c值大則意味著此形狀是顯著的.

聯(lián)合式(6)～(9)可以得到計算shape index的s和c的公式如下,

(10)

(11)

測量值s和c可看作一類簡明且有效的紋理描述方法,類似于SIFT特征構(gòu)建的梯度方向直方圖,我們可以將s看作梯度方向,c看作梯度值,作為直方圖統(tǒng)計時梯度方向的權(quán)重,借鑒這樣一種處理策略,我們不難實現(xiàn)圖像中和表面形狀有關(guān)的紋理信息描述.

為構(gòu)建多尺度描述下的shape index,本文采用了如下多尺度(nσ)的選擇原則

(12)

2.2 空間分解策略

shape index作為一種局部特征,為獲得良好的分辨能力,需要在特征描述時根據(jù)圖像特點對圖像空間做適當(dāng)?shù)姆纸庖员憧坍嬛匾目臻g信息.為獲得旋轉(zhuǎn)不變性,我們考慮了兩種基于灰度信息的空間分解策略.

2.2.1 基于環(huán)狀結(jié)構(gòu)的空間分解

第一種策略為同心環(huán)狀結(jié)構(gòu)空間分解策略,以點x0為中心,半徑為r的環(huán)狀區(qū)域D描述如下,

(13)

其中γ是高斯核函數(shù)寬度.通過上述公式,我們可以對到中心點距離為r的環(huán)狀區(qū)域中各點按高斯函數(shù)衰減特性賦予一定的權(quán)重.

為了提高特征描述能力,我們可以選擇多組參數(shù)ns以便實現(xiàn)對空間的多重分解,通過實驗我們最終選擇了三組參數(shù),即(r,γ)=(0,19),(6.7,8)和(7.8,4.1)(如圖2所示).該組參數(shù)可以描述具有交疊的同心環(huán)狀結(jié)構(gòu)空間,能較好的覆蓋了整個細胞圖像區(qū)域.

2.2.2 基于Ostu閾值分割的空間分解

首先根據(jù)Ostu方法得到一個參考閾值TH4,然后以TH4為中心,分別在小于和大于TH4的灰度區(qū)間再等間隔選擇3個閾值,總共得到7個分割閾值,通過7個閾值我們可以得到7個空間分解子圖(ns=7).圖3分別給出了Homogeneous,Fine Speckled,Coarse Speckled,Nucleolar,Centromere和Cytoplasmatic六類模式下的細胞示例的閾值分割結(jié)果.顯然,對于不同的染色模式,其7組閾值分割結(jié)果圖具有明顯不同的變化規(guī)律,其中隱含了豐富的染色模式內(nèi)部結(jié)構(gòu)信息.

2.3 直方圖構(gòu)建

為了建立基于shape index指標(biāo)的直方圖,在[-π/2,π/2]區(qū)間均勻選取nb個等級,且對這nb個區(qū)間分別取它們的中心值b,然后使用空間分解權(quán)值D和主曲率值c構(gòu)建直方圖.對于第一種空間分解策略,圖像中各點依據(jù)式(13)選取,而對于第二種空間分解策略,圖像中分割出來的前景區(qū)域各點的權(quán)重D都設(shè)為1,背景設(shè)為0,最后依據(jù)加權(quán)求和,計算整幅圖像在給定參數(shù)時的直方圖分布,計算公式如下,

(14)

實驗中,nb=18,參數(shù)b是這nb個區(qū)域中的中心值(取值范圍在[-17π/36,17π/36]).β是高斯核函數(shù)寬度.根據(jù)上述公式可以得到在不同尺度σ和不同空間結(jié)構(gòu)D下的shape index直方圖,通過拼接獲得整體直方圖特征向量.對于第一種和第二種空間分解策略,我們分別最終可以得到nδ·nb·ns=216和nδ·nb·ns=504維的特征向量.最后,為了對抗對比度變化,需要對特征向量做歸一化,根據(jù)實驗測試,本文采用的是L1歸一化方法.

3 實驗結(jié)果與分析

為驗證本文特征在HEp-2細胞模式分類中的效果,我們在公開的數(shù)據(jù)集ICPR2012[12]和SNP數(shù)據(jù)集[13]中進行測試,采用的分類器是LIBSVM工具箱[14],評價準(zhǔn)則用的是[12]推薦的兩折交叉法和28折交叉校驗.

LBP作為一種擅于對圖像微觀結(jié)構(gòu)進行描述的特征,其計算原理簡單,具有旋轉(zhuǎn)和光照不變性的顯著特點,因此是一種被廣泛采用的紋理特征描述形式,已有研究人員將其成功用于HEp-2細胞染色模式分類問題[7],并取得了良好的分類性能.我們在實驗中選擇了旋轉(zhuǎn)不變統(tǒng)一模式LBPriu2和完整局部二值模式CLBP兩種典型的LBP特征和本文特征進行了對比.為了找到合適的鄰域參數(shù)提取LBP特征,根據(jù)鄰域半徑R和鄰域點數(shù)P,我們選取了三組參數(shù)(P,R)=(8,1)、(8,2)、(16,2)分別對ICPR和SNP數(shù)據(jù)集進行了測試.當(dāng)(P,R)取(16,2)這一組參數(shù)時,不管是在ICPR還是SNP數(shù)據(jù)集,分類性能都要優(yōu)于其它兩組參數(shù),此外,由于CLBP特征不僅描述了鄰域中像素點之間的灰度大小關(guān)系,同時保留了其原有灰度信息,因此分類性能優(yōu)于LBPriu2特征,以(P,R)取(16,2)為例,在兩個數(shù)據(jù)集中CLBP-S-M特征分類準(zhǔn)確率分別比LBPriu2特征提升了10.69%和15.17%.

此外,為確定采用環(huán)狀空間分解策略時,相關(guān)參數(shù)r和γ的取值,我們分別按ns=1,2,3三種情況取了若干組參數(shù),并在ICPR數(shù)據(jù)集中作了測試.在所有組測試中,當(dāng)ns=3,即r和γ分別取(0,19),(6.7,8.0)和(7.8,4.1)時,獲得了最好的分類準(zhǔn)確率是88.26%.因此在后續(xù)實驗中,我們都是按此組參數(shù)來提取shape index+donut特征.

另外基準(zhǔn)尺度參數(shù)δbase和高斯核函數(shù)寬度參數(shù)β對于最終的shape index+Ostu特征分類性能也有重要影響,對于ICPR數(shù)據(jù)集,當(dāng)δbase=1.8,β=0.4時有最好分類性能89.83%,而對于SNP數(shù)據(jù)集,當(dāng)δbase=2.0,β=0.22時有最好分類性能87.49%.

表1給出了采用LBPriu2 特征,CLBP-S-M特征以及基于shape index采用不同空間分解策略的shape index+donut特征和shape index+Ostu特征在ICPR和SNP數(shù)據(jù)集中測得的兩折交叉校驗準(zhǔn)確率,其中shape index特征和CLBP-S-M分類性能相當(dāng),但是加入空間分解策略后的shape index+donut特征和shape index+Ostu特征明顯要優(yōu)于單純的shape index特征.shape index+Ostu特征分類準(zhǔn)確率在兩個數(shù)據(jù)集中都要優(yōu)于其它特征,其中采用第二種空間分解策略之所以高于第一種策略的環(huán)狀空間分解,是因為環(huán)狀空間分解人為弱化了相鄰像素之間的灰度相似關(guān)系,而基于Ostu閾值的空間分解,較好地保留了像素點之間的灰度相似關(guān)系,能夠更好地描述圖像中的二維結(jié)構(gòu),因此其獲得比環(huán)狀空間分解更好的分類準(zhǔn)確率.

表1 HEp-2細胞染色模式在各種特征下的分類準(zhǔn)確率(%)

ICPR數(shù)據(jù)集采自28張切片圖像,每一幅圖像的細胞染色模式基本屬于同一類,由于不同切片圖像具有獨立性,因此28折交叉校驗也是在ICPR數(shù)據(jù)集的測試中常用的評價準(zhǔn)則,通常我們使用其中27幅圖像中的細胞做訓(xùn)練集,剩下的一幅圖像中的細胞做測試集,依序處理做28次測試,并取其平均值作為最終測試結(jié)果.表2展示了使用28折交叉獲得的各類圖像細胞分類結(jié)果,其中標(biāo)明了用于做檢測的28幅圖像的染色細胞的實際類別和預(yù)測類別,每類的正確分類和錯誤分類的數(shù)量和百分比.表3展示了在做圖像級測試時的混淆矩陣,在圖像級測試時,以該圖像中細胞預(yù)測類別占多數(shù)的類作為該圖的預(yù)測類別.從表3可以發(fā)現(xiàn),在Homogeneous和Fine Speckled這兩類中有很大的誤分率,其中Homogeneous類有40%誤分為Fine Speckled類,Fine Speckled類有75%誤分為Homogeneous類,具體表現(xiàn)在圖像ID 21,ID 22中的Homogeneous被錯分為Fine Speckled的概率分別是57.28%,54.62%,而正確分類的概率分別是13.11%,35.29%;在圖像ID 9,ID 15,ID 23中,Fine Speckled被錯分為Homogeneous的概率分別是50%,46.03%,64.71%,而正確分類的概率分別是19.57%,17.46%,35.29%.可以看出這兩類的錯分率竟然到達了正確分類率的一半以上,原因在于這兩類的圖片非常相似,因此容易出現(xiàn)誤分.而Centromere與Cytoplasmatic和其它模式比具有較明顯的結(jié)構(gòu)差異,易于區(qū)分,因此具有較高的分類準(zhǔn)確率.

表2 ICPR數(shù)據(jù)集28折交叉校驗的準(zhǔn)確率(%)

表3 圖像級檢測時的混淆矩陣(%)

表4 其他方法與本文方法對比(%)

表4中給出了常規(guī)LBP和若干改進型的最新的LBP特征描述方法和本文方法的比較,結(jié)果是在采用28折交叉校驗時,分別在細胞級和圖像級基礎(chǔ)上測得的染色模式分類準(zhǔn)確率,其中CoALBP和本文方法要明顯優(yōu)于其它特征,CoALBP在細胞級和圖像級測試中,分別達到59.03%和71.4%的準(zhǔn)確率,而本文的shapeindex+Ostu特征同樣達到了60.50%和70.56%的準(zhǔn)確率,值得說明的是,CoALBP特征在2012年的ICPR競賽中獲得了第一名的成績,而本文提出的特征達到了和它相當(dāng)?shù)男阅?這也充分驗證了本文方法的有效性和分類性能.表5總結(jié)了本文最終采用的shapeindex+Ostu特征在兩個數(shù)據(jù)集上采用不同準(zhǔn)則的測試結(jié)果.

表5 本文最終算法測試結(jié)果總結(jié)(%)

4 總結(jié)

本文基于shape index對于圖像局部二維結(jié)構(gòu)的描述能力,結(jié)合尺度空間理論和基于灰度信息空間分解策略提出了一種新的適合于HEp-2細胞染色模式分類的方法.由于同時具備對二維圖像結(jié)構(gòu)和空間信息的描述能力,本文方法在ICPR 2012競賽數(shù)據(jù)集和SNP HEp-2數(shù)據(jù)集上獲得了非常好的分類效果,其分類性能優(yōu)于LBP、CLBP等紋理特征描述技術(shù),在ICPR測試數(shù)據(jù)集中達到了和競賽第一名CoALBP相當(dāng)?shù)臏?zhǔn)確率.

[1]Ponomarev G V,Arlazarov V L,Gelfand M S,et al.ANA HEp-2 cells image classification using number,size,shape and localization of targeted cell regions[J].Pattern Recognition,2014,47(7):2360-2366.

[2]Stoklasa R,Majtner T,Svoboda D.Efficientk-NN based HEp-2 cells classifier[J].Pattern Recognition,2014,47(7):2409-2418.

[3]Ul Islam I,Di Cataldo S,Bottino A G,et al.Classification of HEp-2 staining patterns in immune fluorescence images[A].International Conference on Bioinformatics Models,Methods and Algorithms[C].Barcelona,Spain:Springer,2013.1-9.

[4]Heikkil? M,Pietik?inen M,Schmid C.Description of interest regions with local binary patterns[J].Pattern Recognition,2009,42(3):425-436.

[5]Nosaka R,Suryanto C H,Fukui K.Rotation invariant co-occurrence among adjacent LBPs[A].Computer Vision-ACCV 2012 Workshops[C].Berlin:Springer Heidelberg,2013.15-25.

[6]Nosaka R,Ohkawa Y,Fukui K.Feature extraction based on co-occurrence of adjacent local binary patterns[A].Advances in Image and Video Technology[C].Berlin:Springer Heidelberg,2012.82-91.

[7]Nosaka R,Fukui K.Hep-2 cell classification using rotation invariant co-occurrence among local binary patterns[J].Pattern Recognition,2014,47(7):2428-2436.

[8]Theodorakopoulos I,Kastaniotis D,Economou G,et al.Hep-2 cells classification via fusion of morphological and textural features[A].Bioinformatics & Bioengineering (BIBE)[C].USA:IEEE Press,2012.689-694.

[9]Di Cataldo S,Bottino A,Islam I U,et al.Subclass discriminate analysis of morphological and textural features for HEp-2 staining pattern classification[J].Pattern Recognition,2014,47(7):2389-2399.

[10]Koenderink J J,van Doorn A J.Surface shape and curvature scales[J].Image and Vision Computing,1992,10(8):557-564.

[11]王永明,王貴錦.圖像局部不變性特征與描述[M].北京:國防工業(yè)出版社,2010.

[12]Foggia P,Percannella G,Soda P,et al.Benchmarking HEp-2 cells classification methods[J].IEEE Transactions on Medical Imaging,2013,32(10):1878-1889.

[13]Wiliem A,Wong Y,Sanderson C,et al.Classification of human epithelial type 2 cell indirect immune fluorescence images via codebook based descriptors[A].Applications of Computer Vision (WACV)[C].USA:IEEE Press,2013.95-102.

[14]Chang C C,Lin C J.LIBSVM:A library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,2(3):389-396.

張東波(通信作者) 男,1973年生于湖南邵陽,現(xiàn)為湘潭大學(xué)教授、碩士生導(dǎo)師.主要研究方向為模式識別、圖像處理和機器學(xué)習(xí).

E-mail:zhadonbo@163.com

顏 霜 女,1989年生于湖南湘潭,現(xiàn)為湘潭大學(xué)信息工程學(xué)院研究生.主要研究方向為圖像處理與模式識別.

E-mail:yanshuangxtu@163.com

HEp-2 Staining Pattern Classification by Local 2D Structure Description

ZHANG Dong-bo1,2,YAN Shuang1,ZHANG Yin1,2,QIN Hai1,WANG Jun-chao1

(1.CollegeofInformationEngineering,XiangtanUniversity,Xiangtan,Hunan411105,China; 2.RobotVisualPerception&ControlTechnologyNationalEngineeringLaboratory,Xiangtan,Hunan411105,China)

Hep-2 staining pattern classification is used for immune disease diagnosis.Due to the influence of imaging environment and the visual characteristics of cell images,the recognition accuracy of reported methods are still unsatisfied.A novel feature suitable for HEp-2 staining pattern classification is proposed.After constructing serial smoothing images with Gaussian scale parameter,the description ability of shape index is used to describe second-order image structure,moreover,the space structure can be presented by multi-threshold image segmentation.The proposed approach was tested in ICPR and SNPHEp-2 datasets by 2-flod cross validation in cell level,and achieved 89.83% and 87.49% accuracy for the two datasets respectively.Moreover,in 28 fold cross validation test of ICPR,the method achieved 60.5% and 70.56% accuracy in cell level and image level respectively.Experimental results show that the proposed method is superior to other popular texture descriptors,such as LBP and CLBP,and approximate to the performance of CoALBP feature.

indirect immune fluorescence (IIF) image;staining pattern;space decomposition

2015-04-14;

2015-08-15;責(zé)任編輯:覃懷銀

國家自然科學(xué)基金(No.60835004);湖南教育廳重點項目(No.14A137);湘潭大學(xué)控制科學(xué)與工程學(xué)科建設(shè)經(jīng)費資助

TP391.4

A

0372-2112 (2016)12-2817-06

??學(xué)報URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.12.001