于　堃， 趙紅苗， 姬光榮， 鄭海永

(中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院， 山東 青島 266100)

?

結(jié)合顯著性與GrabCut的無(wú)角毛類浮游植物顯微圖像分割*

于堃， 趙紅苗， 姬光榮， 鄭海永**

(中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院， 山東 青島 266100)

摘要：針對(duì)無(wú)角毛類浮游植物顯微圖像，結(jié)合顯著區(qū)域檢測(cè)和GrabCut算法，提出一種新穎的浮游植物細(xì)胞自動(dòng)分割方法。首先，基于視覺(jué)注意機(jī)制的計(jì)算模型，檢測(cè)輸入圖像的顯著區(qū)域；然后，對(duì)生成的顯著圖進(jìn)行預(yù)分割以獲得浮游植物細(xì)胞的位置；再把細(xì)胞的位置信息用于初始化GrabCut算法，并迭代執(zhí)行GrabCut；最后，應(yīng)用去噪和平滑技術(shù)來(lái)輸出細(xì)胞。實(shí)驗(yàn)表明該方法提取的前景目標(biāo)形態(tài)完整、輪廓清晰、邊緣規(guī)則。

關(guān)鍵詞：浮游植物； 顯微圖像分割； 顯著圖； GrabCut

YU Kun, ZHAO Hong-Miao, JI Guang-Rong, et al. Combining saliency with GrabCut for phytoplankton microscopic image segmentation of non-setae species[J].Periodical of Ocean University of China, 2016, 46(3): 126-133.

海洋浮游植物(藻類)是海洋生態(tài)系統(tǒng)中的初級(jí)生產(chǎn)者，也是重要的海洋生物資源。快速有效的優(yōu)勢(shì)藻種鑒定是藻類監(jiān)測(cè)的一個(gè)關(guān)鍵性環(huán)節(jié)。

傳統(tǒng)的藻種鑒定主要依賴藻類學(xué)工作者借助顯微鏡觀察其形態(tài)以確定物種，這也是目前公認(rèn)準(zhǔn)確的分類手段。但是這一技術(shù)不但需要經(jīng)驗(yàn)豐富的藻類學(xué)專家，而且耗時(shí)費(fèi)力，難以滿足對(duì)大量樣品和現(xiàn)場(chǎng)及原位實(shí)時(shí)快速分析的要求。隨著現(xiàn)場(chǎng)及原位浮游植物成像系統(tǒng)的發(fā)展[1]，藻類顯微圖像分析研究越來(lái)越受到重視[2]。

準(zhǔn)確有效的圖像細(xì)胞分割對(duì)于藻類分析來(lái)說(shuō)至關(guān)重要。根據(jù)顯微圖像中角毛的特征，我們將浮游植物劃分為2類：角毛藻和無(wú)角毛類藻[3]。針對(duì)角毛藻，本課題組提出了一種灰度曲面方向角模型實(shí)現(xiàn)了有效的角毛分割[4]；本文針對(duì)無(wú)角毛類藻，結(jié)合顯著性與GrabCut算法，提出一種新穎的藻細(xì)胞自動(dòng)分割方法，為進(jìn)一步的藻類分析奠定基礎(chǔ)。

近年來(lái)，國(guó)內(nèi)外在浮游植物顯微圖像細(xì)胞分割方面已開(kāi)展了相關(guān)的研究。Jalba等[5]提出了一種標(biāo)記控制的分水嶺算法用于硅藻顯微圖像自動(dòng)分割，該方法改進(jìn)了ADIAC項(xiàng)目的初始分割結(jié)果[6]，并且被應(yīng)用于硅藻圖像分類系統(tǒng)中[7]。Blaschko等[8]針對(duì)流式影像儀采集的浮游生物圖像采用基于snake的分割方法得到輪廓和基于亮度的分割方法得到細(xì)節(jié)。Rodenacker等[9]利用閾值方法分割顯微圖像中的浮游生物。Sosik等[10]針對(duì)流式細(xì)胞儀采集的顯微圖像將基于閾值的邊緣檢測(cè)應(yīng)用于相位一致性方法中提取細(xì)胞特征。Luo等[11]采用Canny邊緣檢測(cè)及回歸方法作為分割校準(zhǔn)從顯微圖像中尋找圓形硅藻。Verikas等[12]應(yīng)用模糊c均值聚類算法來(lái)分割顯微圖像中的圓形微小原甲藻。

綜上可知，目前浮游植物顯微圖像細(xì)胞分割大多基于基本的邊緣(如Canny)和區(qū)域(如閾值和聚類)方法，并針對(duì)某些特定藻種類別開(kāi)展研究。在無(wú)角毛類藻顯微圖像中(如圖1(a))，藻細(xì)胞個(gè)體微小(通常達(dá)微米級(jí))，呈半透明狀，具有橫縱溝、尖頂刺等結(jié)構(gòu)特征，形態(tài)細(xì)節(jié)復(fù)雜多樣，以單體或細(xì)胞鏈形態(tài)生活；培養(yǎng)液背景經(jīng)常存在細(xì)胞殘骸、泥沙等雜質(zhì)；背景區(qū)域與前景目標(biāo)往往顏色相近；圖像拍攝時(shí)藻細(xì)胞的自由活動(dòng)易使其周圍產(chǎn)生渦旋狀的水漬噪聲。這些特點(diǎn)導(dǎo)致分割過(guò)程中容易出現(xiàn)“欠分割”或“過(guò)分割”現(xiàn)象，難以實(shí)現(xiàn)快速、準(zhǔn)確、高效的浮游植物顯微圖像細(xì)胞自動(dòng)分割。

交互式分割由于人為主觀因素的介入使得分割效果更加細(xì)致準(zhǔn)確，其中基于圖割理論的GrabCut算法因其簡(jiǎn)潔的交互性和良好的分割效果而得到廣泛應(yīng)用。對(duì)于交互式GrubCut算法而言，如果通過(guò)前景目標(biāo)的外邊界來(lái)初始化，就能夠得到更佳的自動(dòng)分割效果；而這種初始化可通過(guò)視覺(jué)注意的方式實(shí)現(xiàn)。浮游植物顯微成像過(guò)程中大多有人類視覺(jué)系統(tǒng)(Human Visual System，HVS)參與，而視覺(jué)注意的計(jì)算建模(顯著性檢測(cè))則是模擬HVS而設(shè)計(jì)的計(jì)算機(jī)視覺(jué)模型。

(從上到下依次是具刺膝溝藻、丹麥細(xì)柱藻、鏈狀裸甲藻、米氏凱倫藻、塔瑪亞歷山大藻、血紅阿卡藻。From top to bottom:Gonyaulaxspinifera,Leptocylindrusdanicus,Gymnodiniumcatenatum,Kareniamikimotoi,Alexandriumtamarense,Akashiwosanguinea.)

圖1無(wú)角毛類藻顯微圖像及其視覺(jué)顯著圖

Fig.1Microscopic images and the corresponding saliency

maps of non-setae phytoplankton

本文根據(jù)顯微圖像特點(diǎn)設(shè)計(jì)了一種結(jié)合顯著區(qū)域檢測(cè)的免交互式GrabCut分割算法，用于無(wú)角毛類藻顯微圖像細(xì)胞的自動(dòng)提取(如圖2)，實(shí)驗(yàn)驗(yàn)證了該方法的有效性。

1基于視覺(jué)注意機(jī)制的藻細(xì)胞區(qū)域定位

人類的眼睛可以在復(fù)雜的視覺(jué)場(chǎng)景中快速地注意到顯著或者感興趣的區(qū)域，而忽略不太重要的對(duì)象，稱為視覺(jué)注意機(jī)制，是HVS的內(nèi)在屬性[13]。視覺(jué)注意的方式可分為自底向上和自頂向下2種[14]：前者由圖像數(shù)據(jù)驅(qū)動(dòng)；后者由特定的視覺(jué)任務(wù)驅(qū)動(dòng)。

由于不同種類的藻細(xì)胞在形態(tài)特征上并無(wú)統(tǒng)一性，無(wú)法預(yù)設(shè)視覺(jué)任務(wù)，因此應(yīng)采用自底向上的視覺(jué)注意方式進(jìn)行建模。目前該領(lǐng)域的研究主要集中在顯著性(saliency)檢測(cè)方面。圖1(b)～(d)列舉了我們利用3種代表性算法針對(duì)浮游植物顯微圖像所做的顯著性檢測(cè)的結(jié)果(其中藻細(xì)胞圖像采集自暨南大學(xué)赤潮與水環(huán)境研究中心藻種室)?？梢园l(fā)現(xiàn)，SR法[15]得到的顯著圖視覺(jué)效果最差，細(xì)胞被隔離成許多孤立的碎塊，骨架也無(wú)法看清。FT法[16]的結(jié)果中，細(xì)胞內(nèi)部較暗，部分已湮沒(méi)在背景中，這是因?yàn)樵摲ㄖ挥?jì)算一階平均顏色，用某個(gè)像素和整個(gè)圖像平均色的色差來(lái)直接定義顯著性值，對(duì)于待檢測(cè)區(qū)域和背景對(duì)比度小的情況，可能會(huì)出現(xiàn)誤判，如鏈狀裸甲藻的細(xì)胞鏈連接處、血紅阿卡藻的橫溝處均出現(xiàn)了斷裂。SC法[17]效果相對(duì)較好，能判斷出藻的大致形態(tài)，但細(xì)胞內(nèi)部明暗不均，孔洞眾多，這是由于檢測(cè)時(shí)只保留了亮度信息，未考慮其他顏色通道的顯著性線索；另外SC法計(jì)算的是像素級(jí)顯著性，并不注重全局，在遇到橫溝和底刺等微小結(jié)構(gòu)時(shí)，生成的輪廓線極易斷裂。

圖2　整體算法流程圖

可見(jiàn)，針對(duì)生物形態(tài)學(xué)特點(diǎn)復(fù)雜的藻類顯微圖像，上述方法的檢測(cè)結(jié)果并不理想?？紤]到目前的成像系統(tǒng)大多根據(jù)人眼視覺(jué)原理研制，如果能夠充分利用藻類圖像中的視覺(jué)感知信息，并結(jié)合其生物形態(tài)特征，就可完整定位藻種目標(biāo)，為后續(xù)分割提供可靠的保障。

1980年，Treisman和Gelade提出了著名的特征整合理論。認(rèn)為在視覺(jué)注意初期，輸入信息被拆分為若干個(gè)特征，視網(wǎng)膜平行地加工處理各種特征；之后各特征將會(huì)逐步整合，形成顯著性圖。后來(lái)，Koch和Ullman根據(jù)選擇性視覺(jué)注意原理構(gòu)造出顯著性生物啟發(fā)模型，有效模擬了HVS的神經(jīng)機(jī)制。Itti將這一生物啟發(fā)模型和特征整合理論巧妙地結(jié)合起來(lái)，成功實(shí)現(xiàn)了視覺(jué)注意的計(jì)算模型[18-19]。通過(guò)構(gòu)建生物神經(jīng)框架來(lái)解釋人類視覺(jué)注意，將視覺(jué)生理功能適當(dāng)簡(jiǎn)化并用計(jì)算模型表示出來(lái)，從生物學(xué)角度模擬了人眼的視覺(jué)搜索過(guò)程。

本文在Itti計(jì)算模型的基礎(chǔ)上對(duì)其進(jìn)行了改進(jìn)。首先模擬視網(wǎng)膜與初級(jí)視皮層，提取藻種圖像的亮度、顏色和方向等早期視覺(jué)特征，生成底層特征圖；然后模擬中央-周圍拮抗感受野，通過(guò)“中央-周圍”差分(Center-surround difference)算子和歸一化操作，對(duì)這些底層特征圖進(jìn)行視覺(jué)顯著性度量，得到對(duì)應(yīng)的特征顯著圖；再模擬特征融合機(jī)制，對(duì)同一類特征的顯著圖進(jìn)行跨尺度融合，分別獲得亮度、顏色和方向特征的總體顯著圖；最后將各幅總體顯著圖疊加成最終的視覺(jué)顯著圖，如圖1(e)。

圖中最大的顯著區(qū)域即為藻細(xì)胞所在區(qū)域，亮度高且均勻，包含了完整的連通區(qū)域，比實(shí)際尺寸略大，可防止因檢測(cè)偏差導(dǎo)致的細(xì)胞輪廓缺失。圖中還有少量噪聲引起的偽顯著區(qū)域，但這不會(huì)影響最終分割，因?yàn)闄z測(cè)只是為了確定細(xì)胞位置并保留其完整輪廓，后面會(huì)進(jìn)一步精確處理。

2預(yù)分割

對(duì)于被判定為“顯著區(qū)域”的非藻種區(qū)域，可通過(guò)顯著性區(qū)域分割和形態(tài)學(xué)處理加以修正，排除不符合條件的候選區(qū)域。

首先采用灰度閾值分割對(duì)顯著圖進(jìn)行二值化，剝離顯著區(qū)域和非顯著區(qū)域。考慮到固定閾值分割不能對(duì)所有待處理圖像都適用，這里采用大津法[20]，依據(jù)概率統(tǒng)計(jì)和最小二乘法原理，自適應(yīng)地確定最佳閾值。顯著區(qū)域和非顯著區(qū)域之間灰度特性相差越大，兩部分間的類間方差就越大，反之，則越小。若誤把顯著區(qū)域像素劃分成非顯著區(qū)域像素，類間方差會(huì)比較小。當(dāng)類間方差取得最大值時(shí)，兩部分區(qū)域被錯(cuò)誤劃分的概率最小，此時(shí)的灰度值即最佳閾值。

然后相繼進(jìn)行形態(tài)學(xué)閉、開(kāi)運(yùn)算，獲得的圖像將只顯示場(chǎng)景中的主要物體。實(shí)際拍攝的顯微照片中，藻體一般是最大的可分辨物體，所以再對(duì)二值圖像使用最大輪廓提取法，用白色填充輪廓內(nèi)部，消除較大的噪聲。

此時(shí)，背景中只殘留少量弧形的細(xì)鏈狀噪聲，可通過(guò)形態(tài)學(xué)腐蝕加以去除，同時(shí)收縮原本較大的前景區(qū)域，使之趨近于實(shí)際大小。預(yù)分割結(jié)果見(jiàn)圖3(a)。

3利用免交互式GrabCut的目標(biāo)自動(dòng)提取

根據(jù)用戶是否參與分割過(guò)程，圖像分割算法分成有監(jiān)督和無(wú)監(jiān)督兩大類。無(wú)監(jiān)督分割沒(méi)有高層信息介入，很難準(zhǔn)確提取目標(biāo)。基于人機(jī)交互的有監(jiān)督分割，通過(guò)人為提供指示性線索進(jìn)行引導(dǎo)，可顯著提高分割質(zhì)量。

GraphCuts[21]是基于圖的全局最優(yōu)的有監(jiān)督分割算法。用戶需要手動(dòng)標(biāo)記一些前景和背景像素點(diǎn)作為種子點(diǎn)，分別用來(lái)建立顏色模型；然后算法將圖像映射成有向圖；再利用最大流最小割方法求解有向圖的最優(yōu)解。對(duì)于簡(jiǎn)單圖像，少量標(biāo)記就能取得不錯(cuò)的分割結(jié)果。可當(dāng)圖像內(nèi)容復(fù)雜時(shí)，就需多次標(biāo)記，并且若標(biāo)記的種子點(diǎn)不能完全確定前景和背景，分割精度會(huì)大為降低。

為彌補(bǔ)GraphCuts的不足之處，Carsten等提出了GrabCut[22]分割算法。它的基本思路與GraphCuts類似，最大的創(chuàng)新在于通過(guò)迭代來(lái)優(yōu)化同時(shí)包含了邊緣和區(qū)域信息的能量方程，把交互減少到只需在目標(biāo)外圍選取一個(gè)矩形窗。交互方式變得簡(jiǎn)便，但是仍需用戶參與。

為免去人工選取矩形窗的繁瑣，并改善分割效果，本文借鑒并優(yōu)化了GrabCut算法，將其應(yīng)用到藻細(xì)胞目標(biāo)的精提取。

3.1 算法初始化

對(duì)于有監(jiān)督圖像分割算法，初始化指的是通過(guò)人機(jī)交互，標(biāo)記出前景和背景像素。現(xiàn)已存在的人機(jī)交互方式有：(1)輪廓繪制前景物體的邊界；(2)畫(huà)筆標(biāo)記種子點(diǎn)；(3)確定目標(biāo)所在幾何區(qū)域。針對(duì)數(shù)量巨大的藻種圖像庫(kù)，單一的交互方式并不能奏效，并且手工輸入的效率低下，不能實(shí)時(shí)分割，更無(wú)法自動(dòng)批處理。本文采用掩碼圖像和矩形窗同時(shí)自動(dòng)初始化GrabCut，替代原有的人機(jī)交互，可稱之為“免交互式”(Non-interactive)模式。

具體而言，預(yù)分割結(jié)果中包含豐富的像素位置信息，可直接用來(lái)自定義初始掩碼圖像。掩碼圖像是和源圖像大小相同的單通道灰度圖，每個(gè)像素只能取“確定屬于背景”、“確定屬于前景”、“可能為背景”、“可能為前景”四種枚舉值。這里將二值圖像的白色區(qū)域像素設(shè)置為“可能為前景”，將黑色區(qū)域像素指定為“確定屬于背景”。GrabCut執(zhí)行時(shí)，掩碼圖像用來(lái)約束分割。

矩形窗的初始化，首先需要計(jì)算預(yù)分割結(jié)果中前景目標(biāo)的包圍盒。包圍盒定義為正好包含物體形狀且邊平行于坐標(biāo)軸的最小外接矩形，它可以緊密的描述和展現(xiàn)前景目標(biāo)所對(duì)應(yīng)的連通區(qū)域的范圍。通過(guò)逐行逐列遍歷二值圖像，可以找到目標(biāo)輪廓沿坐標(biāo)軸方向的4個(gè)切點(diǎn)，再利用其各自坐標(biāo)即可求取包圍盒的位置和尺寸。在包圍盒基礎(chǔ)上略微擴(kuò)大其外延即可確定矩形窗，默認(rèn)窗外區(qū)域全部為背景，窗內(nèi)區(qū)域?yàn)榭赡艿那熬啊＿m當(dāng)寬泛的矩形窗有助于避免誤分割。

GrabCut算法的耗時(shí)與輸入圖像的大小、場(chǎng)景復(fù)雜度以及提取對(duì)象的大小等因素有關(guān)，對(duì)大尺寸圖像的分割效率較低，而實(shí)驗(yàn)采用的藻類圖片都是由高分辨率顯微成像設(shè)備拍攝的。因此，可對(duì)輸入圖像進(jìn)行下采樣。

3.2 創(chuàng)建高斯混合模型

算法初始化后，需要依據(jù)標(biāo)記好的信息創(chuàng)建可描述前景和背景的高斯混合模型，并在迭代過(guò)程中及時(shí)更新該模型。

在RGB顏色空間下，設(shè)一幅圖像中任意像素點(diǎn)x=(r,g,b)T。那么單高斯模型的概率密度函數(shù)為：

(1)

其中μ、σ2為均值和方差，分別取值如下：

μ=E(x)

(2)

σ2=E[(x-E(x))2]=E[(x-μ)2]=E(xxT)-μμT

(3)

高斯混合模型可表示為n個(gè)單高斯模型的概率密度加權(quán)之和：

(4)

其中pi為第i個(gè)高斯模型的權(quán)值。

設(shè)前文被標(biāo)記的背景區(qū)域和可能的前景區(qū)域的像素點(diǎn)集分別為B、U，那么利用B、U可分別訓(xùn)練背景和前景的高斯混合模型。

高斯混合模型可全面表征圖像各像素點(diǎn)的特征。除均值和方差外，每個(gè)單高斯模型所占的權(quán)值也是重要的參數(shù)，表征了其在整個(gè)高斯混合模型中的比重。要建立包含n個(gè)單高斯模型的高斯混合模型，需要把圖像分成n類，每一類擬合成一個(gè)單高斯模型，每個(gè)單高斯模型的權(quán)值就等于對(duì)應(yīng)類中的像素個(gè)數(shù)與像素總數(shù)的比值。這里選取K均值聚類法對(duì)圖像進(jìn)行類的劃分，步驟為：

(1)選取n個(gè)像素點(diǎn)作為初始聚類中心。

(2)計(jì)算剩余像素點(diǎn)到n個(gè)聚類中心的距離，基于最小距離原則把它們歸入不同類中。

(3)更新當(dāng)前聚類中心的位置和總的誤差和。

(4)依據(jù)新的聚類中心，檢測(cè)哪些樣本需要移動(dòng)，計(jì)算其移動(dòng)后產(chǎn)生的誤差。

(5)判斷總體移動(dòng)后的誤差是否大于事先設(shè)定的閾值，如果是，返回第(3)步重新計(jì)算，否則直接退出。

K均值聚類是周而復(fù)始的聚類過(guò)程，在執(zhí)行中不斷優(yōu)化分類結(jié)果，這也說(shuō)明GrabCut是迭代的算法。結(jié)合大量的實(shí)驗(yàn)論證，本文選取的迭代次數(shù)為2。

3.3 Gibbs能量函數(shù)最小化

GrabCut把帶有標(biāo)記信息的圖像映射成有向圖，利用Gibbs能量函數(shù)描述有向圖中的區(qū)域和邊界性能：

(5)

式中xi、xj為節(jié)點(diǎn)i和j的標(biāo)記值(前景為1，背景為0)；E1為相似能量，表示各像素點(diǎn)和背景或者前景間的相似性；E2為優(yōu)先能量，表示相鄰像素間的相似關(guān)系。

由于每個(gè)高斯混合模型均可視為1個(gè)K維的協(xié)方差，可引入向量k=(k1,…,kn,…,kN)作為每個(gè)像素點(diǎn)的獨(dú)立高斯混合模型參數(shù)，其中kn∈{1,2,…,K}。于是，Gibbs能量函數(shù)可改寫(xiě)為：

E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)。

(6)

式中α為不透明度，α∈[0,1]，α=0時(shí)為背景，α=1時(shí)為前景；θ為前景與背景的灰度直方圖，θ={h(z,α),α=0,1}；z為灰度值數(shù)組，z=(z1,…,zn,…,zN)。

當(dāng)Gibbs能量函數(shù)取得最小值時(shí)，根據(jù)區(qū)域和邊界間的關(guān)系，設(shè)置有向圖中邊上的權(quán)值，可將圖像分割轉(zhuǎn)化為求解有向圖的二元?jiǎng)澐謫?wèn)題，再利用最大流最小割方法求取有向圖的最優(yōu)解，得到最優(yōu)分割結(jié)果。

4實(shí)驗(yàn)結(jié)果及分析

執(zhí)行GrabCut后，可得到二值分割圖像，其前景含有少量椒鹽噪點(diǎn)，需重新提取最大輪廓并填充內(nèi)部。此時(shí)內(nèi)部變得干凈，但輪廓粗糙，邊緣也不規(guī)整，可加入中值濾波器濾除輪廓的毛刺，同時(shí)保留邊緣銳利度。

圖3(b)是二值分割最終結(jié)果，提取的目標(biāo)形態(tài)細(xì)節(jié)完整，輪廓精細(xì)，邊緣平滑而清晰。無(wú)論是背景噪聲，還是藻體(如血紅阿卡藻)自身延伸出的虛擬邊界陰影，均被毫無(wú)保留地去除。對(duì)于前景和背景對(duì)比度較低的情況(如丹麥細(xì)柱藻)，分割效果也不錯(cuò)。

該二值結(jié)果能夠準(zhǔn)確反映細(xì)胞的位置、大小、形狀和邊緣，但是缺乏顏色等其他重要的特征信息。于是本文又對(duì)顏色信息進(jìn)行了還原。為便于觀察，這里只截取藻細(xì)胞感興趣區(qū)域(ROI)，并對(duì)其尺寸做了標(biāo)準(zhǔn)化處理(見(jiàn)圖4)。

圖3　二值分割結(jié)果

圖4　彩色前景分割圖

本文將免交互式GrabCut與3種應(yīng)用成熟的分割方法進(jìn)行了實(shí)驗(yàn)對(duì)比，分別是大津法(Otsu)、分水嶺算法[23](Watershed)和Canny[24]邊緣檢測(cè)算法，其中，在應(yīng)用大津法和Canny算子時(shí)，還采用了flood-fill算法和最大面積提取以進(jìn)行后續(xù)處理。結(jié)果示于圖3(c)～(e)。可以看出，Canny法分割效果最差，“過(guò)分割”嚴(yán)重；3種對(duì)比方法在分割丹麥細(xì)柱藻等橫縱溝特征復(fù)雜的藻種時(shí)，均出現(xiàn)了明顯的形態(tài)細(xì)節(jié)丟失。

為定量分析各方法的實(shí)驗(yàn)結(jié)果，以圖3(f)基準(zhǔn)圖像為依據(jù)，繪制離散點(diǎn)形式的PR曲線圖。PR曲線，指的是精度-召回率(Precision-Recall)曲線，精度P(0≤P≤1)可描述分類準(zhǔn)確率，召回率R(0≤R≤1)可衡量分類完整性，兩者結(jié)合能全面評(píng)價(jià)分類器性能和分類優(yōu)劣。對(duì)圖像分割而言，只有精度和召回率盡可能大，分割質(zhì)量才越高。反映在PR曲線上，坐標(biāo)點(diǎn)離(1,1)點(diǎn)更近，分割效果越好。但精度和召回率之間會(huì)相互抑制，一味提高一方，反而可能降低另一方。為解決二者間的矛盾，可采用F1-Measure作為綜合評(píng)價(jià)標(biāo)準(zhǔn)：

(7)

當(dāng)F1值較高時(shí)，說(shuō)明分割很有效。

如圖5，將分割結(jié)果以點(diǎn)的形式直觀地標(biāo)記在PR曲線圖上，每個(gè)標(biāo)記點(diǎn)都代表一幅二值分割圖像，不同方法的分割結(jié)果用了不同的標(biāo)記以示區(qū)分。仔細(xì)觀察各個(gè)標(biāo)記點(diǎn)的位置，可發(fā)現(xiàn)“○”比其他標(biāo)記點(diǎn)的分布更為集中，且更接近于右上角的(1,1)點(diǎn)。

圖5　PR曲線圖

表1給出了每種方法的F1-Measure以進(jìn)行全面細(xì)致的橫向比較。免交互式GrabCut的F1-Measure明顯高于其他方法，并一直保持較高數(shù)值。這說(shuō)明其分割效果更佳，能夠完整而準(zhǔn)確地分割不同種類和場(chǎng)景復(fù)雜度的藻種圖像；并且分割性能穩(wěn)定，應(yīng)對(duì)噪聲干擾的魯棒性較強(qiáng)。其他方法則發(fā)生了不同程度的波動(dòng)，如Canny法在分割血紅阿卡藻圖像時(shí)，出現(xiàn)了0.411 6的極低值。

表1　不同方法的F1-Measure值

Note: ①Segmentation methods；②Algal names；③Gonyaulaxspinifera；④Leptoculindrusdanicus；⑤Gymnodihiumcatenatum；⑥Kareniamikimotoi;⑦Alexandriumtamarense；⑧Akashiwosanguinea

5結(jié)語(yǔ)

經(jīng)典GrabCut算法需要用戶手動(dòng)選擇包含物體的矩形窗，難以實(shí)現(xiàn)精確分割的自動(dòng)化。本文借助基于目標(biāo)定位的預(yù)分割，對(duì)GrabCut進(jìn)行雙初始化，省去了人機(jī)交互的繁瑣。免交互式GrabCut比傳統(tǒng)方法在分割穩(wěn)定性和精準(zhǔn)度方面均有明顯提高，能有效實(shí)現(xiàn)藻細(xì)胞全程自動(dòng)提取，為藻種圖像現(xiàn)場(chǎng)原位實(shí)時(shí)處理及大規(guī)模樣本自動(dòng)處理提供了可能。

參考文獻(xiàn)：

[1]Erickson J S, Hashemi N, Sullivan J M, et al. In situ phytoplankton analysis:there’s plenty of room at the bottom [J]. Analytical Chemistry, 2012, 84(2): 839-850.

[2]Culverhouse P F, Williams R, Benfield M, et al. Automatic image analysis of plankton: future perspectives [J]. Marine Ecology Progress Series, 2006, 312: 297-309.

[3]郭春鋒, 姬光榮, 鄭海永. 有害赤潮顯微圖像識(shí)別的三級(jí)分類器設(shè)計(jì) [J]. 中國(guó)海洋大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 42(11): 117-122.

Guo C, Ji G, Zheng H. The design of three levels Classifiers on microscopic images recognition of harmful algae blooms [J]. Periodical of Ocean University of China, 2012, 42(11): 117-122.

[4]Zheng H, Zhao H, Sun X, et al. Automatic setae segmentation from chaetoceros microscopic images [J]. Microscopy Research and Technique, 2014, doi: 10. 1002/jemt. 22389.

[5]Jalba A C, Wilkinson M H F, Roerdink J B T M. Automatic segmentation of diatom images for classification [J]. Microscopy Research and Technique, 2004, 65: 72-85.

[6]Fischer S, Gilomen K, Bunke H. Identification of diatoms by grid graph matching [J]. Lecture Notes in Computer Science, 2002, 2396: 94-103.

[7]Dimitrovski I, Kocev D, Loskovska S, et al. Hierarchical classification of diatom images using ensembles of predictive clustering trees [J]. Ecological Informatics, 2012, 7(1): 19-29.

[8]Blaschko M B, Holness G, Mattar M A, et al. Automatic in situ identification of plankton [C]. Breckenridge: IEEE Computer Society, 2005: 79-86.

[9]Rodenacker K, Hense B, Jutting U, et al. Automatic analysis of aqueous specimens for phytoplankton structure recognition and population estimation [J]. Microscopy Research and Technique, 2006, 69(9): 708-720.

[10]Sosik H M, Olson R J. Automated taxonomic classification of phytoplankton sampled with imaging-in-flow cytometry [J]. Limnology and Oceanography: Methods, 2007, 5: 204-216.

[11]Luo Q, Gao Y, Luo J, et al. Automatic identification of diatoms with circular shape using texture analysis [J]. Journal of Software, 2011, 6(3): 428-435.

[12]Verikas A, Gelzinis A, Bacauskiene M, et al. Phase congruency-based detection of circular objects applied to analysis of phytoplankton images [J]. Pattern Recognition, 2012, 45(4): 1659-1670.

[13]Filipe S, Alexandre L A. From the human visual system to the computational models of visual attention: A survey [J]. Artificial Intelligence Review, 2013(6)： 1-47.

[14]Borji A, Itti L. State-of-the-art in visual attention modeling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 185-207.

[15]Hou X, Zhang L. Saliency detection: a spectral residual approach [C]. Minneapolis: IEEE Computer Society, 2007: 1-8.

[16]Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection [C]. Miami: IEEE Computer Society, 2009: 1597-1604.

[17]Zhai Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues [C]. Santa Barbara: Association for Computing Machinery, 2006: 815-824.

[18]Itti L, Koch C. A saliency-based search mechanism for overt and covert shifts of visual attention [J]. Vision Research, 2000, 40(10): 1489-1506.

[19]Itti L, Koch C. Computational modelling of visual attention [J]. Nature Reviews Neuroscience, 2001, 2(3): 194-203.

[20]Otsu N. Threshold selection method from gray-level histograms [J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, SMC-9(1): 62-66.

[21]Boykov Y, Jolly M P. Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images [C]. Vancouver: Institute of Electrical and Electronics Engineers, 2001: 105-112.

[22]Rother C, Kolmogorov V, Blake A. “Grabcut” - Interactive foreground extraction using iterated graph cuts [J]. ACM Transactions on Graphics, 2004, 23(3): 309-314.

[23]Vachier C, Meyer F. The viscous watershed transform [J]. Journal of Mathematical Imaging and Vision, 2005, 22(2-3): 251-267.

[24]Canny J. A computational approach to edge detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

責(zé)任編輯陳呈超

Combining Saliency with GrabCut for Phytoplankton Microscopic Image Segmentation of Non-Setae Species

YU Kun, ZHAO Hong-Miao, JI Guang-Rong, ZHENG Hai-Yong

(College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)

Abstract:For automatically identifying the species of phytoplankton by microscopic images, it is necessary to segment the phytoplankton cells. The segmentation effect of the cells directly determines the accuracy of identification result. In this paper, a novel non-interactive GrabCut method for automatic segmentation of non-setae phytoplankton cells from the microscopic images is proposed, which integrates saliency region detection with improved GrabCut algorithm. Firstly, through the computational model based on the visual attention mechanism, the visual features of the input image are measured and then fused into one saliency map. The generated saliency map reflects the salient region of the input image and can be used to establish the approximate position of the cell. Secondly, threshold segmentation and some morphological processing are carried out for this saliency map to produce the binary pre-segmentation result, so the rough outline of the cell is preliminarily obtained. Thirdly, the bounding box that surrounds the cellular region of the pre-segmentation image is automatically determined and then extended to a rectangular window. Meanwhile, because the black part of the pre-segmentation image must be background pixels, whereas the white part may belong to the foreground pixels, a grayscale mask image including the location information of the cell can be constructed by making different regional markers. Next, the rectangular window and grayscale mask image are both used to initialize GrabCut algorithm. GrabCut is executed through the iterations. However, the output image of GrabCut cannot be directly used as binary segmentation result. It needs to re-extract the largest contour to eliminate the sporadic noise, and apply the median filtering technique to smooth the boundary of the cell. Besides binary segmentation result, the color information of the input image is further restored to form colorful foreground segmentation result. All the regions of interest (ROI) in the two types of segmentation results are cut and made standardized treatment of their sizes. Finally, the segmentation effect of non-interactive GrabCut is qualitatively compared with that of three state-of-the-art segmentation methods. In order to quantitatively analyze the segmentation effect of various methods, Precision- Recall (PR) curve is drawn in the form of discrete points. In addition, this paper also gives the F1-Measure value of each method to implement a comprehensive and detailed horizontal comparison. The extensive experimental results demonstrate that the proposed method can accurately extract complete-morphology, clear-contour and regular-edge foreground objects, own stable segmentation performance for the microscopic images with different species and scene complexity, and have strong robustness to resist noise interference. Especially for the phytoplankton images with the cingulum or sulcus, the segmentation accuracy is very high. Overall, non-interactive GrabCut obviously outperforms the other common methods on microscopic image segmentation of non-setae phytoplankton species, and can realize real-time and in-situ automatic processing of massive sample images.

Key words:phytoplankton; microscopic image segmentation; saliency map; GrabCut

DOI：10.16441/j.cnki.hdxb.20140214

中圖法分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1672-5174(2016)03-126-08

作者簡(jiǎn)介：于堃(1986-)，男，博士生，主要從事計(jì)算機(jī)圖像處理研究。E-mail：yukunemail@163.com**通訊作者：E-mail：zhenghaiyong@ouc.edu.cn

收稿日期：2014-05-10；

修訂日期：2015-02-13

*基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目(61301240;61271406)資助

引用格式：于堃， 趙紅苗， 姬光榮， 等. 結(jié)合顯著與GrabCut的無(wú)角毛類浮游植物顯微圖像分割[J].中國(guó)海洋大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 46 (3): 126-133.

Supported by National Natural Science Foundation of China (61301240, 61271406)