曾憲華，易榮輝，何姍姍

(1.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065； 2.重慶郵電大學(xué) 計(jì)算智能重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

流形排序的交互式圖像分割

曾憲華1,2，易榮輝1,2，何姍姍1,2

(1.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065； 2.重慶郵電大學(xué) 計(jì)算智能重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

摘要：針對(duì)顯著目標(biāo)檢測(cè)難以獲得有效的目標(biāo)整體檢測(cè)導(dǎo)致目標(biāo)分割困難的問(wèn)題，采用一種在初始顯著圖的指導(dǎo)下添加有效交互信息的方式來(lái)獲得目標(biāo)的準(zhǔn)確分割。該方法利用邊界先驗(yàn)對(duì)超像素進(jìn)行流形排序獲得初始顯著圖，參照顯著圖對(duì)不顯著的目標(biāo)部分添加目標(biāo)標(biāo)記，顯著背景部分添加背景標(biāo)記，利用標(biāo)記信息對(duì)超像素重新進(jìn)行流形排序，將獲得的顯著圖與初始顯著圖融合，對(duì)融合后的顯著圖采用自適應(yīng)閾值法來(lái)獲得目標(biāo)的分割。在BSD圖像數(shù)據(jù)庫(kù)中的實(shí)驗(yàn)得到的平均正確分割率(TPR)和平均錯(cuò)誤分割率(FPR)優(yōu)于經(jīng)典的最大相似合并圖像分割算法(MSRM)，表明了該算法能有效分割出正確的目標(biāo)。

關(guān)鍵詞：流形排序；交互式圖像分割；顯著目標(biāo)；目標(biāo)檢測(cè)；顯著圖；背景標(biāo)記；目標(biāo)標(biāo)記

中文引用格式：曾憲華，易榮輝，何姍姍.流形排序的交互式圖像分割[J]. 智能系統(tǒng)學(xué)報(bào)， 2016, 11(1): 117-123.

英文引用格式：ZENG Xianhua, YI Ronghui, HE Shanshan,et al. Interactive image segmentation based on manifold ranking[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 117-123.

圖像分割是圖像處理中的一個(gè)重要環(huán)節(jié)，其主要的任務(wù)是將圖像劃分為若干具有一致性的不重疊區(qū)域。圖像分割按照是否需要用戶交互處理可以分為自動(dòng)圖像分割、半自動(dòng)圖像分割、純手動(dòng)分割。自動(dòng)圖像分割在沒(méi)有用戶先驗(yàn)指導(dǎo)的前提下對(duì)圖像進(jìn)行分割往往難以獲得可信賴的結(jié)果。半自動(dòng)圖像分割方法主要指的是交互式圖像分割方法，通過(guò)簡(jiǎn)單的用戶標(biāo)記，對(duì)較為復(fù)雜的圖像或者難以區(qū)分相似的前景和背景區(qū)域的圖像，具有較好的分割效果。

當(dāng)前，交互式圖像分割是一個(gè)熱點(diǎn)研究問(wèn)題，獲得了較大的發(fā)展，其中經(jīng)典的方法，如live wire算法[1-2]、snake算法[3]、隨機(jī)游走[4-5]、圖割算法[6-7]、最大相似區(qū)域合并算法[8]等。在交互式分割算法中，用戶通過(guò)人機(jī)交互，使用鼠標(biāo)在待分割圖像中進(jìn)行一定的目標(biāo)和背景標(biāo)記，給予圖像一定的分割指導(dǎo)先驗(yàn)信息，然后根據(jù)先驗(yàn)信息建立分割算法模型，這樣交互式分割算法獲得的分割目標(biāo)較為精確。

受顯著目標(biāo)檢測(cè)算法啟發(fā)，當(dāng)使用顯著目標(biāo)檢測(cè)[9-12]來(lái)獲得目標(biāo)的分割時(shí)，理想情況是通過(guò)自動(dòng)的方法獲得目標(biāo)的整體檢測(cè)，并能對(duì)目標(biāo)進(jìn)行有效分割。然而，當(dāng)背景環(huán)境較為復(fù)雜或者背景中有細(xì)小較為突出的物體時(shí)，顯著目標(biāo)檢測(cè)算法很容易失效，圖像中部分不顯著目標(biāo)部分被抑制，而部分顯著背景部分被突出，獲得有效完整的目標(biāo)分割將會(huì)是一件較為困難的事情。當(dāng)前，在顯著目標(biāo)檢測(cè)模型中，經(jīng)典的有Ma等[9]通過(guò)在LUV顏色空間計(jì)算像素與局部鄰域像素的差異來(lái)獲得顯著圖，然后利用模糊增長(zhǎng)來(lái)分割出顯著區(qū)域。Gopalakrishnan等[10]提出了基于顏色和方向分布建模的顯著區(qū)域檢測(cè)算法。該算法思想是利用顏色和方向視覺(jué)特征進(jìn)行基于分布建模的顯著性度量，并生成對(duì)應(yīng)的顯著圖，然后在其中選擇一個(gè)更能體現(xiàn)目標(biāo)顯著性的作為最終顯著圖。Wei等[11]提出基于邊界先驗(yàn)的顯著性檢測(cè)算法，該算法利用邊界先驗(yàn)和背景先驗(yàn)，將區(qū)域的顯著性定義為該區(qū)域到圖像四周的最短距離，通過(guò)對(duì)背景的檢測(cè)獲得相應(yīng)的目標(biāo)檢測(cè)。Yang等[12]提出一種基于流形排序的顯著性檢測(cè)算法，利用邊界先驗(yàn)對(duì)超像素進(jìn)行流形排序獲得初始顯著圖，然后再將顯著值高的部分作為目標(biāo)先驗(yàn)，再次對(duì)超像素進(jìn)行流形排序獲得顯著圖。

針對(duì)利用顯著目標(biāo)檢測(cè)算法難以獲得有效目標(biāo)整體檢測(cè)導(dǎo)致目標(biāo)分割困難的問(wèn)題，本文在文獻(xiàn)[12]的基礎(chǔ)上，提出了一種基于流形排序[14-15]的交互式圖像分割(interative image segmentation based on manifold ranking, IISMR)算法。該算法主要在如下兩點(diǎn)進(jìn)行改進(jìn)：1)使用交互的方式對(duì)超像素進(jìn)行流形排序來(lái)增強(qiáng)不顯著的目標(biāo)部分，抑制顯著的背景部分，能有效避免不顯著的目標(biāo)部分被誤分為背景，顯著背景部分被誤分為目標(biāo)；2)采用融合初始顯著圖和交互獲得的顯著圖來(lái)增強(qiáng)背景和目標(biāo)部分的差異，并使用一種自適應(yīng)的閾值來(lái)獲得此類(lèi)圖像的有效目標(biāo)分割。最后，本文算法在BSD圖像分割數(shù)據(jù)[16]中選取部分圖像進(jìn)行測(cè)試，以驗(yàn)證該算法的有效性。

1流形排序

流形排序由Zhou等[14-15]提出，可以看成是對(duì)假設(shè)具有流形分布結(jié)構(gòu)的數(shù)據(jù)進(jìn)行排序處理。流形排序過(guò)程具體描述如下。

給定數(shù)據(jù)集X={x1,x2,…,xk,xk+1,…,xn}屬于Rm×n。其中x1,x2,…,xk表示選出作為標(biāo)簽的數(shù)據(jù)，那么相應(yīng)的xk+1,…,xn表示未添加標(biāo)簽需要待排序的數(shù)據(jù)。使用：X→Rn表示一個(gè)排序函數(shù)，其中可以看成是一個(gè)排序向量=[1f2…n]T，k表示每個(gè)點(diǎn)xk分配的排序值，令y=[y1y2…yn]T，表示一個(gè)指示向量。當(dāng)xk是添加了標(biāo)簽的數(shù)據(jù)時(shí)，yk=1；當(dāng)xk是未添加標(biāo)簽的數(shù)據(jù)時(shí)，yk=0。

首先，對(duì)數(shù)據(jù)集X構(gòu)建K近鄰(K-nearest neighbor, K-NN)圖G(V,E)，V表示數(shù)據(jù)集X，其中E表示圖邊的權(quán)值，即數(shù)據(jù)之間的關(guān)聯(lián)度。

(1)

(2)

利用排序公式進(jìn)行迭代處理，當(dāng)排序得分收斂不再發(fā)生變化時(shí)停止，排序公式如式(3)所示。

(3)

(4)

式中：I因?yàn)?1-α)對(duì)數(shù)據(jù)之間相對(duì)排序關(guān)系沒(méi)有影響，流形排序最終收斂公式可以寫(xiě)成如式(5)所示。

(5)

相應(yīng)地，通過(guò)矩陣變換可以得到非標(biāo)準(zhǔn)化的流形排序公式

(6)

2基于流形排序的交互式圖像分割

本文采用顯著目標(biāo)檢測(cè)來(lái)獲得圖像的目標(biāo)分割，其中文獻(xiàn)[12]已經(jīng)表明流形排序能有效用于顯著目標(biāo)檢測(cè)。將超像素用于流形排序，能更加真實(shí)表示超像素之間相關(guān)性，通過(guò)對(duì)圖像中全局的超像素進(jìn)行流形排序能有效突出目標(biāo)中的顯著部分。但是對(duì)于目標(biāo)不顯著部分，或者顯著的背景部分，導(dǎo)致利用顯著目標(biāo)檢測(cè)來(lái)獲得完整的圖像目標(biāo)分割仍然比較困難。為了有效利用顯著圖來(lái)進(jìn)行目標(biāo)分割，通過(guò)交互的方式，突出不顯著目標(biāo)部分，抑制顯著背景部分，能較好地獲得目標(biāo)的圖像分割。

先采用簡(jiǎn)單線性迭代聚類(lèi)(simple linear interative clusterimg, SLIC)算法[13]對(duì)圖像進(jìn)行預(yù)處理，將圖像分割成許多小區(qū)域，這些由像素集合構(gòu)成小區(qū)域在顏色、亮度、紋理等特性上具有相似性，這種小區(qū)域稱之為超像素。該算法可以控制所分割的超像素?cái)?shù)目，獲得的超像素大小具有較為一致和較好的邊界貼合度，便于后面的排序處理。

然后對(duì)超像素進(jìn)行流形排序獲得初始顯著圖，在初始顯著圖的指導(dǎo)下有針對(duì)地在目標(biāo)不顯著部分添加背景標(biāo)記信息，增強(qiáng)目標(biāo)部分的顯著性，在較顯著的背景部分添加背景標(biāo)記信息，抑制背景部分的顯著性，利用標(biāo)記信息重新對(duì)超像素進(jìn)行流形排序，將獲得的顯著圖與初始顯著圖融合，形成背景與目標(biāo)灰度差異較大的顯著圖，然后通過(guò)自適應(yīng)閾值分割獲得目標(biāo)分割，并在BSD圖像數(shù)據(jù)庫(kù)中測(cè)試，能獲得較好的目標(biāo)分割結(jié)果。該算法(IISMR)流程如圖1所示。

圖1　IISMR算法流程Fig.1　The process of IISMR

2.1流形排序獲得初始顯著圖

(7)

式中：Ai表示超像素i近鄰的超像素，SAi表示Ai的近鄰的超像素，Ci和Cj表示對(duì)應(yīng)超像素兩點(diǎn)在CIELAB顏色空間的均值[12]，σ是一個(gè)控制權(quán)重的因子。

將圖像四邊邊界超像素集表示為{Xt,Xb,Xl,Xr}首先將圖像頂部邊界超像素Xt作為標(biāo)簽，然后利用非標(biāo)準(zhǔn)化的超像素流形排序公式(6)，求得歸一化的排序ft(xk),k=1,2，…，n,得到相應(yīng)的顯著目標(biāo)得分ft(xk)=1-ft(xk)，然后依次使用圖像下邊界Xb，左邊界Xl，右邊界Xr作為標(biāo)簽，得到歸一化排序得分fb(xk)、fl(xk)、fr(xk)，從而得到相應(yīng)的顯著目標(biāo)得分fb(xk)、fl(xk)、fr(xk)，xk∈X并按照式(8)將4個(gè)顯著目標(biāo)得分通過(guò)融合,歸一化獲得初始顯著目標(biāo)得分F1(xk)=[f1(x1)f1(x2) …f1(xn)]T。

(8)

式中：k=1,2,…，n。將排序得分F1(xk)×255映射到灰度圖像獲得初始顯著圖S1(xk)，xk∈X。

2.2目標(biāo)和背景標(biāo)記

現(xiàn)有顯著目標(biāo)檢測(cè)算法很難做到將目標(biāo)整體部分檢測(cè)出來(lái)，因?yàn)槟繕?biāo)可能存在不顯著部分，背景區(qū)域存在顯著部分。這樣圖像中不顯著的目標(biāo)部分則難以檢測(cè)，而一些屬于背景中突出部分被檢測(cè)出來(lái)，難以做到對(duì)目標(biāo)進(jìn)行有效的分割。本文為了利用顯著目標(biāo)檢測(cè)算法獲得目標(biāo)的有效分割，采用人工標(biāo)記的方法來(lái)突出不顯著的目標(biāo)區(qū)域，抑制突出的背景區(qū)域，通過(guò)獲得的初始顯著圖，對(duì)初始顯著圖中不顯著的目標(biāo)部分對(duì)應(yīng)的原始圖像部分進(jìn)行目標(biāo)標(biāo)記y+，y+=[y1y2…yp]表示標(biāo)記的超像素；對(duì)初始顯著圖中顯著的背景部分對(duì)應(yīng)的原始圖像部分進(jìn)行背景標(biāo)記y-，y-=[y1y2…yq]；未標(biāo)記的超像素由y0表示。那么新定義排序指示向量y由3部分構(gòu)成，如式(9)所示。

(9)

當(dāng)超像素為目標(biāo)標(biāo)記y+時(shí)，超像素xk對(duì)應(yīng)的指示向量yk=1；當(dāng)超像素標(biāo)記為背景時(shí)y-，超像素xk對(duì)應(yīng)的指示向量yk=-1；當(dāng)超像素未標(biāo)記y0時(shí)，相應(yīng)的超像素xk對(duì)應(yīng)的指示向量yk=0。這樣設(shè)定指示向量，使其在排序處理能有效增加背景和目標(biāo)的差異，并能有效抑制背景的顯著部分，同時(shí)通過(guò)初始顯著圖來(lái)添加標(biāo)記信息，能增加標(biāo)記信息的有效性，減少重復(fù)標(biāo)記處理。

2.3顯著圖融合

(10)

將目標(biāo)和背景標(biāo)記作為相應(yīng)處理的排序得分F2(xk)×255映射到灰度圖像獲得顯著圖S2(xk)，xk∈X。為有效利用初始顯著圖，本文將初始目標(biāo)排序得分進(jìn)行融合，能讓2幅顯著圖進(jìn)行有效互補(bǔ)，使其目標(biāo)部分能較為突出，顯著性較為光滑，背景部分的顯著性得到抑制，背景與目標(biāo)間差異較大，便于通過(guò)有效的閾值分割獲得目標(biāo)，其中融合公式如式(11)所示。

(11)

式中：λ是一個(gè)平衡項(xiàng)，讓2個(gè)歸一化的向量在融合時(shí)盡可能突出目標(biāo)，抑制背景。經(jīng)過(guò)大量實(shí)驗(yàn)表明λ=0.3較為合適。

2.4獲取目標(biāo)

本文將目標(biāo)排序得分映射到超像素對(duì)應(yīng)的顯著圖，通過(guò)融合后的顯著圖的灰度直方圖顯示，該圖像背景部分有明顯的波峰，目標(biāo)部分不光滑導(dǎo)致目標(biāo)部分的波峰不穩(wěn)定，并且離散幅度較大，常規(guī)的閾值方法難以獲得圖像的有效分割。本文采用一種結(jié)合背景波峰和最大相鄰灰度間距的方法來(lái)確定自適應(yīng)閾值。

圖像中背景部分和目標(biāo)部分灰度差異較大，同時(shí)背景部分灰度值較低，為了有效避免目標(biāo)波峰不穩(wěn)定的給確定閾值帶來(lái)的干擾，將閾值確定在某一個(gè)灰度值的子區(qū)間，然后利用背景和目標(biāo)灰度差異較大來(lái)尋找子區(qū)間中灰度值的直方圖不為0的最大間隔的2個(gè)相鄰灰度值，取這2個(gè)相鄰灰度值的平均值作為閾值。同時(shí)為了避免因背景和目標(biāo)部分波峰明顯，通過(guò)相鄰灰度子區(qū)間之差獲得的最大值不是有效的最大灰度間隔，對(duì)于這種情況本文重新限定閾值，即確定灰度子區(qū)間最大值，選擇離它最近的直方圖非0的灰度，計(jì)算兩者的灰度差。當(dāng)灰度差大于灰度子區(qū)間中直方圖的非0灰度差時(shí)，閾值則為灰度子區(qū)間的最大值。確定閾值后，將灰度圖像二值化獲得目標(biāo)分割，并將分割區(qū)域用原始目標(biāo)圖像體現(xiàn)。顯著圖中背景直方圖最大的灰度值如式(12)所示。

(12)

式中：R表示一個(gè)限定灰度;H(k)表示圖像中灰度為k的像素點(diǎn)個(gè)數(shù)。式(12)表示圖像中在[0,R]區(qū)間灰度值為k的像素最多，其中R=110。

直方圖中兩個(gè)相鄰的灰度值ki、kj(圖像中灰度ki、kj對(duì)應(yīng)的像素個(gè)數(shù)不為0)的最大間距如式(13)所示。

(13)

式(13)表示在灰度區(qū)間[k,R]中滿足灰度差Lij最大的像素個(gè)數(shù)不為0的兩個(gè)相鄰灰度值為ki、kj，并且ki>kj，那么閾值T=0.5(ki+kj)，當(dāng)(R-km)>max(ki-kj)時(shí)，則閾值T=R，km表示離R最近的像素個(gè)數(shù)不為0的灰度值。

2.5算法實(shí)現(xiàn)

輸入彩色圖像

輸出分割目標(biāo)

1)圖像預(yù)分割處理。首先使用SLIC算法獲得原始圖像的超像素集X={x1,x2,…,xk,xk+1,…,xn}。

2)超像素排序。構(gòu)建近鄰圖G(V,E)并通過(guò)式(7)獲得權(quán)重矩陣，通過(guò)背景先驗(yàn){Xt,Xb,Xl,Xr}利用式(6)獲得相應(yīng)的超像素歸一化排序得分向量ft(xk)，fb(xk)，fl(xk)，fr(xk)，k=1,2，…，n。

3)獲得顯著圖。利用獲得的超像素排序向量獲得相應(yīng)的顯著目標(biāo)得分ft(xk)，fb(xk)，fl(xk)，fr(xk)，k=1,2，…，n，并通過(guò)式(8)獲得初始顯著目標(biāo)得分F1(xk)，通過(guò)F1(xk)×255將其映射到灰度圖像中，得到初始顯著圖S1(xk)。

4)目標(biāo)和背景標(biāo)記。參照初始顯著圖對(duì)原始圖像添加目標(biāo)和背景標(biāo)記，并將目標(biāo)標(biāo)記的超像素指示向量y+=[y1y2…yp]標(biāo)記為1，并將背景標(biāo)記的超像素指示向量y-=[y1y2…yq]標(biāo)記為-1，其余未標(biāo)記的超像素指示向量y0標(biāo)記為0。

5)融合顯著圖。利用標(biāo)記信息得到新的顯著圖S2(xk)，將獲得的顯著圖S2(xk)與初始顯著圖S1(xk)和按照式(12)融合，得到最終顯著圖Sz(xk)。

6) 計(jì)算自適應(yīng)閾值。計(jì)算灰度k使直方圖H(k)在[0,R]取得最大值，獲得相鄰灰度值ki，kj，令其在區(qū)間[k,R]中滿足灰度差Lij最大，則閾值T=0.5(ki+kj)；當(dāng)(R-km)>max(ki-kj)時(shí)，閾值T=R。

7) 目標(biāo)獲取。通過(guò)閾值公式將融合后的圖像二值化，并將二值圖中目標(biāo)部分對(duì)應(yīng)的原始目標(biāo)部分提取出來(lái)得到分割目標(biāo)。

3實(shí)驗(yàn)結(jié)果與分析

本文在BSD數(shù)據(jù)庫(kù)中選取2組圖像進(jìn)行仿真實(shí)驗(yàn)，來(lái)驗(yàn)證本文算法的可行性。一組是本文算法對(duì)不同特征圖像的仿真實(shí)驗(yàn)；一組是通過(guò)本文算法與GC算法[6]，最大相似合并(maximal similarity based region merging, MSRM)算法[8]比較的仿真實(shí)驗(yàn)。實(shí)驗(yàn)通過(guò)在仿真軟件MATLAB2012b上編程實(shí)現(xiàn)。

3.1評(píng)價(jià)指標(biāo)

本文使用TPR(正確的分割率)和FPR(錯(cuò)誤的分割率)2種性能指標(biāo)來(lái)客觀評(píng)價(jià)分割精度[8]。TPR表示實(shí)際分割出來(lái)的目標(biāo)輪廓中與理想分割目標(biāo)輪廓內(nèi)交集的像素點(diǎn)數(shù)目，和理想分割目標(biāo)輪廓內(nèi)交集的像素點(diǎn)數(shù)目的比值。FPR表示實(shí)際分割出來(lái)的目標(biāo)輪廓中屬于理想圖像背景部分像素的數(shù)目，和理想圖像背景的像素?cái)?shù)目的比值。

3.2仿真實(shí)驗(yàn)

先采用SLIC算法對(duì)圖像進(jìn)行預(yù)分割處理，其中預(yù)分割獲得超像素?cái)?shù)目統(tǒng)一設(shè)為450個(gè)。本文算法為了獲得有效標(biāo)記信息，其中標(biāo)記信息是添加在超像素圖像中，這樣有助于避免錯(cuò)誤標(biāo)記。圖2表示本文的算法對(duì)不同特征的圖像進(jìn)行分割的結(jié)果。其中圖2(a)表示原始圖像,圖2(b)表示添加標(biāo)記的圖像,圖2(c)表示理想分割目標(biāo),圖2(d)表示本文算法的分割結(jié)果。從圖2看以看出本文算法獲得的目標(biāo)分割結(jié)果較好，表1客觀定性地列出了本文算法對(duì)圖2中圖像分割獲得TPR和FPR，可以看出本文算法分割獲得的圖像TPR較高，F(xiàn)PR較低。

圖2　圖像分割結(jié)果Fig.2　Image segmentation results

表1列出了圖一中各種特征圖像的TPR和FPR。

表1圖像分割結(jié)果性能指標(biāo)

Table 1The performance measures of the image segmentation

情能指標(biāo)工人犀牛猩猩老人女生鳥(niǎo)TPR/%95.5894.4596.4998.6292.0193.15FPR/%0.310.180.180.430.060

為了進(jìn)一步驗(yàn)證本文算法的可行性，這一組實(shí)驗(yàn)通過(guò)對(duì)比本文算法與GC算法、MSRM算法在相同標(biāo)記信息下的分割結(jié)果，并分別使用TPR和FPR從客觀角度分析這幾種算法的性能。其中，MSRM與本文方法都采用SLIC對(duì)其進(jìn)行預(yù)分割處理，其中預(yù)分割的超像素?cái)?shù)目都為450個(gè)。圖3表示本文算法與GC，MSRM算法的圖像對(duì)比分割結(jié)果。其中圖3(a)表示原始標(biāo)記圖像，圖3(b)表示GC算法，圖3(c)表示MSRM算法，圖3(d)表示本文算法。

圖3　圖像的分割結(jié)果Fig.3　Image segmentation results

從圖3可以看出，由于GC算法的局限性，分割效果不是特別理想，分割的目標(biāo)圖像中包含大量的細(xì)小背景部分。通過(guò)SLIC預(yù)處理的MSRM算法，需要對(duì)不同特征的目標(biāo)區(qū)域添加有效的標(biāo)記，獲得的分割結(jié)果才較為理想，如馬的后腿部因?yàn)闆](méi)有添加標(biāo)記信息，就沒(méi)有分割出來(lái)；老鷹的尾部與樹(shù)枝顏色及其相似，合并處理的時(shí)候該部分區(qū)域被認(rèn)為是背景部分，那么獲得的目標(biāo)就會(huì)存在缺失。MSRM對(duì)包含的目標(biāo)內(nèi)部區(qū)域的背景部分很容易將其作為目標(biāo)部分而合并到目標(biāo)圖像中，如瓶子的手柄部分。部分目標(biāo)區(qū)域也會(huì)被合并到背景區(qū)域中。最后，從圖3可以看出本文獲得的目標(biāo)分割效果較好，同時(shí)，本文算法獲得的目標(biāo)部分也包含少量背景部分，是因?yàn)閳D像預(yù)分割的SLIC算法將部分邊界的目標(biāo)部分與圖像背景部分顏色相似的區(qū)域分為同一個(gè)超像素，超像素作為一個(gè)整體分割會(huì)導(dǎo)致小部分邊界不光滑。表2列出來(lái)圖3中3種算法的TPR和FRP值。圖中MSRM和本文算法對(duì)蘑菇的分割具有相同的TPR和FPR，這是因?yàn)樗鼈兪且韵嗤袼刈鳛樘幚韺?duì)象。最后計(jì)算了3種算法的平均TPR和FPR，可以看出本文算法具有較高的TPR和較低FPR，優(yōu)于GC、MSRM算法，有效驗(yàn)證了本文算法的可行性。

表2對(duì)比圖像的分割結(jié)果性能指標(biāo)

Table 2The contrast of the image segmentation result performance indicators

圖像算法TPR/%FPR/%老鷹GC91.505.98MSRM90.200.06本文算法95.310.12馬GC85.0917.41MSRM85.730.15本文算法88.240.15黑熊GC94.571.60MSRM98.831.29本文算法98.401.21樹(shù)懶GC90.2312.40MSRM86.700.40本文算法88.800.58蘑菇GC92.941.19MSRM97.780.29本文算法97.780.29瓶子GC95.850.45MSRM98.931.48本文算法98.680.33GC(均值)91.706.51MSRM(均值)92.980.61本文方法(均值)94.530.45

4結(jié)束語(yǔ)

將顯著性目標(biāo)檢測(cè)用于圖像分割中，往往圖像中一些屬于背景中突出部分被檢測(cè)出來(lái)，而目標(biāo)部分則被抑制，利用這樣的顯著圖往往難以獲得目標(biāo)的有效分割。為了解決上述問(wèn)題，本文利用邊界先驗(yàn)對(duì)超像素進(jìn)行流形排序獲得初始顯著圖，隨后適當(dāng)利用初始顯著圖來(lái)指導(dǎo)標(biāo)記，通過(guò)交互的方式重新對(duì)超像素進(jìn)行流形排序獲得顯著圖，并將交互獲得的顯著圖與初始顯著圖融合得到背景與目標(biāo)差異較大的顯著圖，然后利用自適應(yīng)的閾值分割獲得目標(biāo)有效分割。在本文算法中，利用初始先驗(yàn)顯著圖的指導(dǎo)能減少無(wú)效標(biāo)記的次數(shù)，降低交互操作的繁瑣性，最后融合初始顯著圖和利用交互獲得的顯著圖，能有效突出整體部分，抑制背景部分。同時(shí)，本文使用SLIC算法對(duì)圖像進(jìn)行預(yù)處理，SLIC算法本身存在一定的局限性，在復(fù)雜邊界區(qū)域容易將小部分目標(biāo)和背景部分作為一個(gè)超像素，而本文算法是針對(duì)超像素的整體處理，最后獲得的目標(biāo)分割可能邊界會(huì)存在不光滑現(xiàn)象，后期研究希望對(duì)這方面問(wèn)題進(jìn)行有效改善。

參考文獻(xiàn):

[1]MORTENSEN E, MORSE B, BARRETT W, et al. Adaptive boundary detection using ‘live-wire’ two-dimensional dynamic programming[C]//Proceedings of Computers in Cardiology. Durham, North Carolina, UK, 1992: 635-638.

[2]HE Huiguang, TIAN Jie, LIN Yao, et al. A new interactive segmentation scheme based on fuzzy affinity and live-wire[C]//Proceedings of the 2ndInternational Conference on Fuzzy Systems and Knowledge Discovery. Changsha, China, 2005: 436-443.

[3]KASS M, WITKIN A, TERZOPOULOS D. Snakes: Active contour models[J]. International journal of computer vision, 1988, 1(4): 321-331.

[4]GRADY L, FUNKA-Lea G. Multi-label image segmentation for medical applications based on graph-theoretic electrical potentials[C]//Proceedings of the Computer Vision and Mathematical Methods in Medical and Biomedical Image Analysis. Prague, Czech Republic, 2004: 230-245.

[5]GRADY L, SINOP A K. Fast approximate random walker segmentation using eigenvector precomputation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA, 2008: 1-8.

[6]BOYKOV Y Y, JOLLY M P. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]//Proceedings of the 8thIEEE International Conference on Computer Vision. Vancouver, BC, Canada, 2001, 1: 105-112.

[7]LI Yin, SUN Jian, TANG C K, et al. Lazy snapping[J]. ACM transactions on graphics (TOG), 2004, 23(3): 303-308.

[8]NING Jifeng, ZHANG Lei, ZHANG D, et al. Interactive image segmentation by maximal similarity based region merging[J]. Pattern recognition, 2010, 43(2): 445-456.

[9]MA Yufei, ZHANG Hongjiang. Contrast-based image attention analysis by using fuzzy growing[C]//Proceedings of the 11thACM International Conference on Multimedia. New York, USA, 2003: 374-381.

[10]GOPALAKRISHNAN V, HU Yiqun, RAJAN D. Salient region detection by modeling distributions of color and orientation[J]. IEEE transactions on multimedia, 2009, 11(5): 892-905.

[11]WEI Yichen, WEN Fang, ZHU Wangjiang, et al. Geodesic saliency using background priors[C]//Proceedings of the 12thEuropean Conference on Computer Vision. Florence, Italy, 2012: 29-42.

[12]YANG Chuan, ZHANG Lihe, LU Huchuan, et al. Saliency detection via graph-based manifold ranking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Portland, OR, USA, 2013: 3166-3173.

[13]ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels, Technical Report on 149300[R]. EPFL, Lausanne, Switzerland, 2010.

[14]ZHOU Dengyong, WESTON J, GRETTON A, et al. Ranking on data manifolds[J]. Advances in neural information processing systems, 2004, 16: 169-176.

[15]ZHOU D, BOUSQUET O, LAL T N, et al. Learning with local and global consistency[J]. Advances in neural Information processing systems, 2004, 16: 321-328.

[16]ARBELAEZ P, FOWLKES C, MARTIN D. A database of human segment natural images and its application to evaluating segmentation algorithms and measuring ecological statistics [C]// Poceeding of the 18th International Conference on Computer Vision,Vancouver,B.C., Canada, 2001,416-423.

Interactive image segmentation based on manifold ranking

ZENG Xianhua1,2, YI Ronghui1,2, HE Shanshan1,2

(1. College of Computer Science and Technology, Chongqing University of Posts and Telecommunication, Chongqing 400065, China; 2. Chongqing Key Laboratory of Computational Intelligence, Chongqing University of Posts and Telecommunication, Chongqing 400065, China)

Abstract：The unsatisfactory results of salient object detection have made object segmentation difficult. In this study, we obtain accurate object segmentation by combining effective interactive information under the guidance of an initial saliency map. This method obtains the original saliency map using priori boundaries of the manifold ranking of the superpixels, and based on the obtained saliency map, marks the object labels of the non-salient object parts and the background labels of the salient background parts. Next, the superpixels for generating the new saliency map are re-sorted by manifold ranking with label information, and the newly obtained and original saliency maps are merged. Finally, object segmentation is achieved by adopting the adaptive threshold method for the merged saliency map. Image segmentation experiments with images from the Berkeley segmentation dataset (BSD) image database demonstrate that the proposed method can correctly segment objects from images and that the true positive rate (TPR) and the false positive rate (FPR) results are better than those achieved using the classical maximal similarity-based region merging (MSRM) image segmentation algorithm.

Keywords：manifold ranking; interactive image segmentation; saliency object; object detection; saliency map; background label; object label

DOI:10.11992/tis.201505037

收稿日期：2015-05-19. 網(wǎng)絡(luò)出版日期：2015-12-29.

基金項(xiàng)目：國(guó)家自然科學(xué)基金重點(diǎn)資助項(xiàng)目 (U1401252)；國(guó)家自然科學(xué)基金資助項(xiàng)目 ( 61075019, 61379114) ;重慶市基礎(chǔ)與前沿研究計(jì)劃資助項(xiàng)目 (cstc2015jcyjA40036).

通信作者：曾憲華. E-mail：xianhuazeng2005@163.com.

中圖分類(lèi)號(hào)：TP319.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-4785(2016)01-0117-07

作者簡(jiǎn)介：

曾憲華，男，1973年生，副教授，博士，中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)員，主要研究方向?yàn)榱餍螌W(xué)習(xí)、計(jì)算機(jī)視覺(jué)等。主持國(guó)家自然科學(xué)基金、重慶自然科學(xué)基金等省級(jí)以上項(xiàng)目3項(xiàng)。發(fā)表學(xué)術(shù)論文30余篇。

易榮輝，男，1988年生，碩士研究生，主要研究方向?yàn)榱餍螌W(xué)習(xí)、圖像分割等。

何姍姍，女，1992年生，碩士研究生，主要研究方向?yàn)榱餍螌W(xué)習(xí)、圖像分割等。

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20151229.0837.012.html