呂侃徽　陳　珂

1(浙江金融職業(yè)學(xué)院信息技術(shù)系　浙江 杭州 310018)2(廣東石油化工學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系　廣東 茂名 525000)

?

基于特征匹配的微生物弱小目標(biāo)分割識(shí)別方法

呂侃徽1陳珂2

1(浙江金融職業(yè)學(xué)院信息技術(shù)系浙江 杭州 310018)2(廣東石油化工學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系廣東 茂名 525000)

摘要針對(duì)微生物桿菌在復(fù)雜背景下弱小目標(biāo)識(shí)別困難，檢測(cè)實(shí)時(shí)性不高等難題，提出基于OpenCV下的弱小目標(biāo)分割算子，并引入特征匹配，設(shè)計(jì)二者相融合的自動(dòng)圖像識(shí)別機(jī)制。該方案通過H-S分割與圖像融合，再結(jié)合形態(tài)學(xué)濾波與特征匹配，解決了微生物弱小目標(biāo)難識(shí)別的問題，計(jì)算量小。并基于經(jīng)過匯編優(yōu)化的OpenCV實(shí)現(xiàn)，解決了實(shí)時(shí)性要求高等難題。實(shí)驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)方法，該方案應(yīng)用在自動(dòng)微生物圖像識(shí)別上可以達(dá)到較好的效果，在工程上應(yīng)用是可行的。

關(guān)鍵詞弱小目標(biāo)分割算子特征匹配H-SOpenCV匯編優(yōu)化快速識(shí)別

0引言

隨著圖像處理理論與技術(shù)的進(jìn)步，對(duì)醫(yī)療健康重視程度的提高，圖像處理技術(shù)應(yīng)用于顯微圖像識(shí)別已成為研究熱點(diǎn)[1,2]。顯微圖像往往數(shù)量大，圖像背景復(fù)雜，目標(biāo)弱小，不易識(shí)別，這對(duì)圖像排查工作者在難度和工作量上都是極大的考驗(yàn)[3,4]。因此，對(duì)于復(fù)雜背景下，通過計(jì)算機(jī)視覺對(duì)弱小目標(biāo)的檢測(cè)快速性、精確性提出更高的要求。

目前，對(duì)桿菌的檢測(cè)和監(jiān)察主要以顯微鏡檢查為主。以暗紅色桿菌為例，暗紅色桿菌是本文的識(shí)別目標(biāo)。暗紅色桿菌,寬：0.2～0.6 um，長：1～10 um，直或彎曲[5-8]。泥氏染色，暗紅色為桿菌，以藍(lán)色作為背景。一般情況下，病理涂片的數(shù)量較多，需要相關(guān)的高精度檢測(cè)設(shè)備來替代醫(yī)生進(jìn)行診斷，避免了人工檢測(cè)帶來的誤差因素，提高檢測(cè)精度[9,10]。

根據(jù)國外專家學(xué)者對(duì)桿菌的識(shí)別的研究進(jìn)展，大多都是主要依靠圖像分割的方法分割出桿菌而識(shí)別出目標(biāo)，取得一定的研究成果。但存在桿菌染色不均，特征微弱和離焦模糊的問題，使得分割結(jié)果中伴有雜質(zhì)，為識(shí)別工作帶來較大干擾。為此，須解決兩個(gè)問題：(1) 桿菌識(shí)別的精度問題；(2) 桿菌識(shí)別的速度問題。然而大多數(shù)的研究停留在理論或?qū)嶒?yàn)初步驗(yàn)證(基于Matlab實(shí)現(xiàn))階段，往往不能滿足實(shí)際工程中實(shí)時(shí)性高的要求?；谝陨锨闆r，本文提出弱小目標(biāo)分割算子，并通過引入特征匹配，設(shè)計(jì)了二者相融合的自動(dòng)圖像識(shí)別機(jī)制。該方案基于H-S分割與圖像融合，通過結(jié)合形態(tài)學(xué)濾波與特征匹配，解決弱小目標(biāo)難識(shí)別的問題。同時(shí)整個(gè)方案計(jì)算量小并基于經(jīng)過匯編優(yōu)化的OpenCV實(shí)現(xiàn)，解決實(shí)時(shí)性要求高等難題。

1識(shí)別算法與原理

圖1為待檢測(cè)的桿菌,其寬：0.2～0.6 um，長：1～10 um，形狀表現(xiàn)為直或者彎曲。通過泥氏染色，桿菌保持紅色，背景轉(zhuǎn)變?yōu)樗{(lán)色。

圖1　大腸桿菌(40倍鏡)

在圖1中，很難分辨出桿菌，這是因?yàn)槠涮卣鞅憩F(xiàn)微弱，帶來識(shí)別困難的問題。對(duì)此，本文提出一種弱小目標(biāo)分割方法，特點(diǎn)在于加入了特征耦合。通過建立一個(gè)弱目標(biāo)分割算子結(jié)構(gòu)，基于HSV顏色空間的H通道減S通道，即H-S分割，分割出包含桿菌紅色區(qū)域，通過2V通道減S和H通道，將高亮區(qū)域分割出來。為去除染色不均帶來的影響，對(duì)高亮區(qū)域進(jìn)行取反并融合包含柑橘的紅色區(qū)域。然后，利用形態(tài)學(xué)濾波(開運(yùn)算)和特征匹配進(jìn)一步去除雜質(zhì)，從而得到疑似目標(biāo)。

1.1弱目標(biāo)分割算子結(jié)構(gòu)

在弱目標(biāo)分割算子結(jié)構(gòu)方面，設(shè)計(jì)主要考慮減小圖像全局分割后，含有大量雜質(zhì)帶來識(shí)別效果困難的問題。首先，從去除染色不均帶來的干擾的角度出發(fā)，分割出高亮區(qū)域和紅色區(qū)域，并將它們?nèi)诤?，去除干擾；其次，通過對(duì)圖像的自適應(yīng)分割，得到基本的疑似目標(biāo)(包括一些干擾)；然后，利用數(shù)學(xué)運(yùn)算方法即開運(yùn)算，根據(jù)桿菌形狀(長條狀)分離出單細(xì)胞，去除雜質(zhì)；接著根據(jù)桿菌存在面積大小的范圍，進(jìn)一步去除雜志干擾；最后進(jìn)行基于特征匹配的桿菌識(shí)別。弱小目標(biāo)分割算子結(jié)構(gòu)框架如圖2所示。

圖2　分割算子結(jié)構(gòu)

1.2特征匹配

在特征匹配過程中，為避免神經(jīng)網(wǎng)絡(luò)、遺傳算法等目標(biāo)識(shí)別過程中前期建庫工作量大而復(fù)雜，同時(shí)實(shí)時(shí)性不高的缺點(diǎn)，這里根據(jù)長條狀桿菌的特點(diǎn)，提取色調(diào)距離和色調(diào)離散度，結(jié)合桿菌的形狀度和面積來建立特征數(shù)據(jù)庫。

根據(jù)2 000幅含有桿菌的樣本圖像學(xué)習(xí)，提煉特征經(jīng)驗(yàn)值，結(jié)合醫(yī)學(xué)數(shù)據(jù)，得到如表1所示的特征匹配標(biāo)準(zhǔn)。根據(jù)特征建立數(shù)據(jù)庫相比傳統(tǒng)的識(shí)別方法，實(shí)時(shí)性較強(qiáng)。

表1　特征匹配標(biāo)準(zhǔn)

(1) 目標(biāo)與背景的色調(diào)距離

由于一些原因(曝光、染色)，來自不同視野和批次的圖像，存在一定的差異。這里定義目標(biāo)和背景之間的相對(duì)顏色距離為：

(1)

式中，juli_h為目標(biāo)與背景的H通道顏色距離，Omean為目標(biāo)強(qiáng)度均值，Bmean為背景強(qiáng)度均值。雜質(zhì)與桿菌顏色距離不同，相比于雜質(zhì)的黑或灰色，桿菌多趨近于紅色，背景呈現(xiàn)于藍(lán)色。顏色距離愈大，目標(biāo)為桿菌的可能性愈大。

(2) 目標(biāo)色調(diào)離散度

基于目標(biāo)桿菌的離散度較大，利用真目標(biāo)與假目標(biāo)梯度差之間的規(guī)律，與目標(biāo)為桿菌的可能行為正比。即色調(diào)梯度愈大，目標(biāo)為桿菌的可能性愈大，作為一種特征匹配標(biāo)準(zhǔn)。建立目標(biāo)色調(diào)離散度的表達(dá)式如下：

(2)

式中，lisandu_h為色調(diào)離散度，表示區(qū)域內(nèi)強(qiáng)度值梯度差，Pvalue為目標(biāo)區(qū)域H通道強(qiáng)度值，Mvalue為目標(biāo)區(qū)域H通道強(qiáng)度均值。

2OpenCV平臺(tái)下關(guān)鍵技術(shù)的實(shí)現(xiàn)

對(duì)于基于仿真軟件Matlab的弱目標(biāo)識(shí)別實(shí)驗(yàn)驗(yàn)證過程中，由于沒有專門的乘法器，而且在判斷語句的代碼中運(yùn)行效率比較低，開發(fā)出的識(shí)別算法往往在實(shí)時(shí)性方面不能達(dá)到高效的要求。本文實(shí)現(xiàn)的復(fù)雜背景下弱小目標(biāo)快速識(shí)別機(jī)制建立在Visual C++平臺(tái)和OpenCV開源視覺庫基礎(chǔ)上實(shí)現(xiàn)。 通過C函數(shù)直接調(diào)用和分配內(nèi)存，提高執(zhí)行效率和運(yùn)行速度，對(duì)函數(shù)進(jìn)行匯編和優(yōu)化，代碼效率高。有效調(diào)用OpenCV函數(shù)，并集成到識(shí)別系統(tǒng)中，增強(qiáng)識(shí)別機(jī)制的實(shí)時(shí)性，處理速度較Matlab仿真環(huán)境得到極大提高，其關(guān)鍵步驟實(shí)現(xiàn)如下所示：

(1) 載入圖像

調(diào)用cvLoadImage函數(shù)，實(shí)現(xiàn)內(nèi)存對(duì)圖像的載入，如IplImage* ipl = cvLoadImage( path, 1 )。path變量類型Cstring字符串，存儲(chǔ)圖像文件路徑。將圖像載入內(nèi)存，并顯示，如圖3所示。

圖3　載入待識(shí)別的圖像

(2) 分配圖像

對(duì)圖像的數(shù)據(jù)變量存儲(chǔ)，使用cvCreateImage函數(shù)分配圖像數(shù)據(jù)。使用像素深度為IPL_DEPTH_32F的圖像相比于像素深度為IPL_DEPTH_8U的圖像，顏色更豐富、更精準(zhǔn)，為后面的識(shí)別判斷的準(zhǔn)確性提供保障。

(3) 圖像轉(zhuǎn)換

采用cvConvertScale函數(shù)進(jìn)行圖像轉(zhuǎn)換，圖像能夠采用32位float型表示，豐富顯示更多圖像的信息，增加圖像的顯示的數(shù)值分布，便于圖像后期處理。因此在對(duì)圖像IPL_DEPTH_32F處理，結(jié)果更精確；對(duì)IPL_DEPTH_8U的圖像處理時(shí)間縮短。

(4) 圖像顏色空間轉(zhuǎn)換

考慮人眼的視覺習(xí)慣，使用cvCvtColor函數(shù)進(jìn)行轉(zhuǎn)換，采用cvSplit函數(shù)提取HSV顏色空間中單通道圖像，如下所示：

cvCvtColor(hsv, hsv, CV_BGR2HSV);

cvSplit(hsv, h, s, v, NULL);

//提取單通道

自此，圖像轉(zhuǎn)換至HSV空間效果。

(5) 圖像運(yùn)算

作為弱小目標(biāo)分割算子三部分：H-S分割、2V-H-S分割以及圖像融合。采用cvSub函數(shù)對(duì)圖像相減，圖像相加則采用cvAdd函數(shù)，圖像取反采用cvNot函數(shù)，調(diào)用cvThreshold函數(shù)進(jìn)行圖像自適應(yīng)閾值分割。圖像運(yùn)算后的二值圖，如圖4所示。

圖4　圖像運(yùn)算后的圖像

(6) 形態(tài)學(xué)濾波

形態(tài)學(xué)開運(yùn)算采用先腐蝕后膨脹，從粘連細(xì)胞中分離出單細(xì)胞，并去除雜質(zhì)和干擾，進(jìn)一步篩查可疑視野。形態(tài)學(xué)開運(yùn)算采用cvMorphologyEx函數(shù)，得到濾波后的二值圖。

(7) 面積濾波

對(duì)于分割出二值圖的白色區(qū)域即疑似目標(biāo)區(qū)域，進(jìn)行逐個(gè)掃描，統(tǒng)計(jì)面積。設(shè)定面積閾值，將閾值下區(qū)域填充。首先對(duì)二值圖白色區(qū)域統(tǒng)計(jì)個(gè)數(shù)；逐一掃描二值圖白色區(qū)域；通過函數(shù)tmparea得當(dāng)前二值圖白色區(qū)域面積；函數(shù)contour1結(jié)束掃描；得到圖5所示的面積濾波后的二值圖。

圖5　面積濾波后的圖像

(8) 特征提取

特征提取過程是需對(duì)色調(diào)距離、顏色調(diào)散度的均值和均方差求解。目標(biāo)區(qū)域R通道亮度均值和背景區(qū)域R通道亮度均值分別用cvAvg(r)和cvAvg(rb)來表示。色調(diào)距離是2種R通道亮度均值的函數(shù)表達(dá)式。

(9) 圖像釋放

釋放圖像資源，每處理一幅圖像，釋放一次，保證循環(huán)處理大批文件時(shí)，內(nèi)存不泄露，通過cvReleaseImage函數(shù)運(yùn)行實(shí)現(xiàn)。

3實(shí)驗(yàn)結(jié)果與分析

選取來自北京協(xié)和檢驗(yàn)洛奇臨床檢驗(yàn)所的2000幅結(jié)核桿菌圖像(非訓(xùn)練圖像)中的2幅圖像做為實(shí)驗(yàn)樣本，如圖6所示，40倍目鏡下采集得到桿菌樣本。

圖6　待識(shí)別圖像(含有桿菌)

3.1桿菌識(shí)別和雜質(zhì)的排除

基于本文算法，在計(jì)算機(jī)(1.99 GHz,內(nèi)存2 GB)上利用Visual C++和OpenCV編程對(duì)以上圖像樣本進(jìn)行圖像檢測(cè)。圖6的樣本表現(xiàn)為桿菌和雜質(zhì)共存的狀態(tài)。參考本文檢測(cè)流程，首先對(duì)圖像6進(jìn)行基于弱小目標(biāo)分割算子的二值化處理，處理結(jié)果如圖7所示。圖7中可以明顯看到2個(gè)白色區(qū)域，即為疑似桿菌區(qū)域，由此提取疑似區(qū)域的坐標(biāo)，并對(duì)疑似目標(biāo)提取分析，提取的結(jié)果如圖8所示。(a)、(b)是提取出的疑似桿菌區(qū)域，對(duì)其進(jìn)行特征提取，并匹配。計(jì)算得(a)、(b)的特征因子分別為{面積=30，伸長度=0.6，色調(diào)距離=46，色調(diào)離散度=61}、{面積=45，伸長度=0.6，色調(diào)距離=51，色調(diào)離散度=73}。參照表1所示，易判斷(b)為桿菌，而(a)為雜質(zhì)，由此可見單純依靠分割得到包含有雜質(zhì)的桿菌，不足以剔除雜質(zhì)的干擾。通過對(duì)分割后的目標(biāo)進(jìn)一步匹配判斷，能夠比較容易地排除圖7顯示的雜質(zhì)，說明采用本文提出的分割與特征匹配相結(jié)合的方法能夠排除雜質(zhì)的干擾，得到比較準(zhǔn)確的細(xì)小桿菌。

圖7　弱小目標(biāo)分割算子處理后的二值圖結(jié)果

圖8　疑似桿菌區(qū)域的提取

3.2檢測(cè)系統(tǒng)運(yùn)營的實(shí)效性

對(duì)本文提出的檢測(cè)快速識(shí)別系統(tǒng)的運(yùn)營時(shí)間進(jìn)行檢測(cè)，主要比較本文所用的OpenCV平臺(tái)與常用的Matlab實(shí)驗(yàn)平臺(tái)的運(yùn)營檢測(cè)時(shí)間。對(duì)圖6進(jìn)行分割識(shí)別，得到如圖9所示的運(yùn)行時(shí)間結(jié)果，比較圖9中的2個(gè)運(yùn)營環(huán)境下的時(shí)間，發(fā)現(xiàn)Matlab平臺(tái)下，使用時(shí)間為768.441 ms，而OpenCV平臺(tái)下使用時(shí)間僅為80.4 ms。說明本文算法在OpenCV環(huán)境下運(yùn)行表現(xiàn)出較高的實(shí)時(shí)性。

圖9　在Matlab、OpenCV環(huán)境運(yùn)行結(jié)果

為進(jìn)一步觀察和驗(yàn)證本算法在OpenCV平臺(tái)下運(yùn)營的實(shí)時(shí)性和高效性，對(duì)2000幀測(cè)試圖像，用本文的快速識(shí)別算法分別基于Matlab和Opencv 2個(gè)平臺(tái)實(shí)現(xiàn)，統(tǒng)計(jì)運(yùn)行時(shí)間。由表2可知，在Matlab、OpenCV環(huán)境運(yùn)行相同算法，預(yù)處理和特征提取判斷時(shí)間都相差很大，Matlab平均時(shí)間使用748 ms，而OpenCV僅使用85 ms，OpenCV明顯在速度上優(yōu)于Matlab。

表2　弱小目標(biāo)識(shí)別算法在Matlab、OpenCV下運(yùn)行時(shí)間對(duì)比

3.3弱小目標(biāo)檢測(cè)的穩(wěn)定性和準(zhǔn)確性

對(duì)本文提出的快速識(shí)別方法進(jìn)行大量的測(cè)試驗(yàn)證其穩(wěn)定性和準(zhǔn)確率，對(duì)北京協(xié)和檢驗(yàn)洛奇臨床檢驗(yàn)所的2000幅結(jié)核桿菌圖像進(jìn)行檢測(cè)，檢測(cè)結(jié)果如表3所示。本文的快速識(shí)別算法的漏檢率和誤檢率分別為4.5%和9.6%，明顯低于僅弱目標(biāo)圖像分割的方案的漏檢率12.5%和誤減率34%?？傻帽疚膶⑷跄繕?biāo)圖像分割與特征匹配相結(jié)合的方案在精度上遠(yuǎn)優(yōu)于單純依靠弱目標(biāo)圖像分割的方案，同時(shí)經(jīng)過2000張圖片的處理，表現(xiàn)出較好的檢測(cè)穩(wěn)定性。

表3　弱小目標(biāo)識(shí)別算法的漏檢率與誤檢率

4結(jié)語

本文針對(duì)復(fù)雜背景下弱小目標(biāo)難以識(shí)別，實(shí)時(shí)性要求高的問題，提出了一種基于弱小目標(biāo)分割耦合特征匹配的自動(dòng)圖像識(shí)別方案。該方案基于H-S分割與圖像融合，再結(jié)合形態(tài)學(xué)濾波與特征匹配，解決弱小目標(biāo)難識(shí)別的問題。該方案計(jì)算量小并基于經(jīng)過匯編優(yōu)化的OpenCV實(shí)現(xiàn)，解決實(shí)時(shí)性要求高等難題，相較于Matlab環(huán)境，具有更高的速度。該方案將目標(biāo)分割與特征匹配相結(jié)合，相比于單純依靠圖像分割，具有更高的精度。實(shí)驗(yàn)結(jié)果表明，該方案解決了復(fù)雜背景下弱小目標(biāo)難以識(shí)別，實(shí)時(shí)性要求高的問題，可以應(yīng)用于復(fù)雜背景下弱小目標(biāo)快速識(shí)別的工程領(lǐng)域，提高工作效率。

參考文獻(xiàn)

[1] 翟永平.基于顏色及梯度統(tǒng)計(jì)特征的結(jié)核桿菌目標(biāo)識(shí)別[J].國防科技大學(xué)學(xué)報(bào),2012,18(4):530-533.

[2] Plissiti M E,Nikou C,Charchanti A.Automated detection of cell nuclei in pap smear images using morphological reconstruction and clustering[J].IEEE Trans Inf Technol Biomed,2011,3(2):213-216.

[3] 孫涵漩.基于BP神經(jīng)網(wǎng)絡(luò)的結(jié)核桿菌目標(biāo)識(shí)別[J].中國體視學(xué)與圖像分析,2010,15(1):13-17.

[4] 鐘建軍.增權(quán)結(jié)核菌動(dòng)態(tài)顯微圖像智能識(shí)別關(guān)鍵技術(shù)研究[D].上海:東華大學(xué),2009.

[5] Xu X Y,Xu S Z,Jin L H,et al.Characteristic Analysis of Otsu Threshold and Its Applications[J].Pattern Recognition Letters,2011,7(32):956-961.

[6] MatIsa N A,Mashor M Y,Othman N H.An automated cervical precancerous diagnostic system[J].Artificial Intelligence in Medicine,2008,42(1):315-319.

[7] 谷成鳳.液基細(xì)胞學(xué)檢測(cè)和TBS分類在宮頸病變篩查中的應(yīng)用[J].成都醫(yī)學(xué)院學(xué)報(bào),2011,5(4):24-26.

[8] Plissiti M E,Nidou C,Charchanti A.Watershed-based segmentation of cell nuclei boundaries on Pap smear images[C]//2010 10th IEEE International Conference on Information Technology and Applications in Biomedicine(ITAB),2010:1-4.

[9] 張慶紅.TCT檢測(cè)在宮頸癌篩查中的應(yīng)用價(jià)值[J].中國社區(qū)醫(yī)師,2011,21(2):78-79.

[10] Mao S,Chan Y,Chu Y.Edge enhancement nucleus and cytoplast contour detector of cervical smear images[J].IEEE Transactions on Systems Man and Cybernetics,2012,3(2):235-239.

SEGMENTATION AND RECOGNITION METHOD FOR SMALL MICROORGANISM OBJECT BASED ON FEATURE MATCHING

Lü Kanhui1Chen Ke2

1(DepartmentofInformationTechnology,ZhejiangFinancialCollege,Hangzhou310018,Zhejiang,China)2(DepartmentofComputerScienceandTechnology,GuangdongUniversityofPetrochemicalTechnology,Maoming525000,Guangdong,China)

AbstractAiming at the problems of microorganism bacilli that their small objects is hard to be recognised in complex background and that low real-time property in detection, we presented the OpenCV-based small object segmentation operator, introduced feature matching, and designed an automatic image recognition mechanism integrating the above two. The solution, using H-S segmentation and image fusion, and combining morphology filtering and feature matching, solves the problem of difficulty recognition of small microorganism objects. The solution has small computation load and is implemented based on OpenCV with assembly optimisation. Experimental results showed that compared with traditional method, the solution achieved good effect in automatic microorganism image recognition, and was feasible in engineering application.

KeywordsSmall object segmentation operatorFeature matchingH-SOpenCVAssembly optimisationRapid recognition

收稿日期：2014-10-27。呂侃徽，講師，主研領(lǐng)域：計(jì)算機(jī)軟件技術(shù)，嵌入式系統(tǒng)，計(jì)算機(jī)網(wǎng)絡(luò)和計(jì)算機(jī)視覺。陳珂，副教授。

中圖分類號(hào)TP391

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.05.081