潘沛鑫，潘中良

華南師范大學(xué) 物理與電信工程學(xué)院，廣州510006

圖像分割是計(jì)算機(jī)視覺等領(lǐng)域中的一種必不可少的預(yù)處理工作，在目標(biāo)檢測與識(shí)別中能起到重要的作用。其中的主動(dòng)輪廓模型早已廣泛地應(yīng)用在圖像分割中，該模型能夠有效地提取圖像中的物體。例如，Lv等人[1]提出了基于模糊能量的主動(dòng)輪廓模型，該模型利用非局部權(quán)重來構(gòu)造局部能量項(xiàng)以進(jìn)行圖形分割。Ma等人[2]提出了結(jié)合隨機(jī)森林的主動(dòng)輪廓模型，該模型利用隨機(jī)森林作為特征學(xué)習(xí)的內(nèi)核，通過學(xué)習(xí)圖像中的局部和上下文信息來進(jìn)行圖像的分割。此外，人類視覺系統(tǒng)可以快速并準(zhǔn)確地識(shí)別圖像中的顯著物體[3]，因此顯著性檢測能夠迅速地從復(fù)雜的場景中提取出人們感興趣的部分。所以目前有許多顯著性區(qū)域檢測方法來提取目標(biāo)區(qū)域，例如，Cheng 等人[4]研究了基于全局對(duì)比度的顯著區(qū)域檢測算法，對(duì)基于直方圖統(tǒng)計(jì)的對(duì)比度以及基于區(qū)域?qū)Ρ榷鹊膬煞N顯著性檢測方法進(jìn)行了實(shí)現(xiàn)。Yang 等人[5]提出了一種基于流形排序算法的顯著性檢測方法，通過使用基于圖論的流形排序算法，并根據(jù)圖像的像素或區(qū)域的相似性來進(jìn)行排序，從而得到顯著性區(qū)域或目標(biāo)。

由于傳統(tǒng)的主動(dòng)輪廓模型主要是把圖像分割成多個(gè)區(qū)域，沒有凸顯圖像對(duì)象的一些重要信息，如人類感興趣的顯著性信息。因此，本文把基于圖論的顯著性檢測算法和基于圖像全局灰度信息的主動(dòng)輪廓模型結(jié)合起來，提出結(jié)合顯著性的主動(dòng)輪廓圖像分割。首先通過線性光譜聚類（Linear Spectral Clustering，LSC）的超像素分割算法[6]，獲得緊湊且形狀規(guī)則的超像素，并使用基于圖論的流形排序算法來獲得顯著性圖；然后將高斯混合模型（Gaussian Mixture Model，GMM）[7]和顯著性信息引入到主動(dòng)輪廓模型中，獲得新的能量泛函，利用GMM 模型計(jì)算曲線內(nèi)外的灰度值，并以顯著性區(qū)域邊界為初始邊界，通過水平集函數(shù)的演化方程指導(dǎo)圖像分割，來實(shí)現(xiàn)在復(fù)雜場景中的主動(dòng)輪廓分割。

1 使用超像素的顯著性檢測

1.1 線性光譜聚類

超像素的分割效果直接影響了后續(xù)算法的精度，為了得到更好的分割效果，采用LSC 線性光譜聚類算法[6]，該算法不僅可以捕獲重要的全局圖像屬性，而且在線性復(fù)雜度下以高存儲(chǔ)效率運(yùn)行。該算法是通過基于圖像像素之間的顏色相似度和空間接近度的相似性度量來進(jìn)行超像素分割。根據(jù)在高維特征空間中輸入空間中亮點(diǎn)之間的相似度等于兩個(gè)相應(yīng)向量之間的加權(quán)內(nèi)積，因此本文使用高維特征空間的簡單加權(quán)均值來代替復(fù)雜的基于特征的方法，來最小化和歸一化切割目標(biāo)函數(shù)。所以LSC算法避免了對(duì)復(fù)雜矩陣的計(jì)算，并且收斂條件可以得到滿足。

首先將圖像轉(zhuǎn)化到CIELAB顏色空間，把該彩色圖像用如下的五維向量表示：p=(lp,αp,βp,xp,yp),其中，lp、αp、βp表示像素的顏色分量值，xp、yp表示其位置坐標(biāo)。將每個(gè)像素點(diǎn)p映射為特征空間的十維向量φ(p)，然后在整個(gè)圖像上以水平間隔Vx和垂直間隔Vy均勻采樣K個(gè)種子像素。所以Vx/Vy就等于圖像的高寬比，其中K是用戶所輸入的所需超像素的數(shù)量。

將這些種子移到3×3的鄰域中的最低梯度上，以避開圖像中的噪點(diǎn)和邊界像素，并用這些種子初始化搜索中心Ck，以及用這些種子的特征向量初始化相應(yīng)聚類的初始加權(quán)均值mk；然后計(jì)算并搜索中心附近2vx×2vy范圍內(nèi)的像素點(diǎn)與聚類的加權(quán)均值mk的距離，將每個(gè)像素對(duì)應(yīng)的最小距離的聚類加權(quán)均值的k值作為該像素的標(biāo)簽，將每個(gè)像素分配給其加權(quán)均值最接近特征空間中像素矢量的聚類。

本文用p和q表示輸入空間中聚類的數(shù)據(jù)用點(diǎn)，φ表示將數(shù)據(jù)點(diǎn)映射到更高維空間的函數(shù)。定義相似性度量的目標(biāo)函數(shù)為：

式中，w(p)表示點(diǎn)p的權(quán)重，πk表示第幾個(gè)聚類，mk表示聚類的初始加權(quán)均值，第一次聚類分割完成后，將每個(gè)聚類的加權(quán)均值和搜索中心進(jìn)行相應(yīng)的更新；然后重復(fù)地迭代整個(gè)聚類過程直到收斂為止；最后把較小的像素點(diǎn)歸類到附近的像素。

1.2 基于圖論的顯著性檢測算法

顯著性檢測的任務(wù)就是識(shí)別場景中人們感興趣的區(qū)域，從而對(duì)圖像進(jìn)行預(yù)處理，以便做進(jìn)一步研究。本文采用Yang 等人[5]的基于圖論的流形排序算法來檢測顯著性，并改進(jìn)其超像素分割部分，采用的是前面介紹的LSC超像素分割算法，該算法相對(duì)于簡單線性迭代聚類算法[8]（Simple Linear Iteration Clustering，SLIC）而言能夠利用圖像結(jié)構(gòu)來生成更合理的分割結(jié)果，并且可以保留圖像的全局屬性。使流形排序的顯著性算法更加精確。

該顯著性檢測算法分成兩個(gè)階段，第一階段采用將圖的上、下、左、右邊界上的節(jié)點(diǎn)作為背景種子，即標(biāo)記數(shù)據(jù)，其他節(jié)點(diǎn)作為未標(biāo)記的數(shù)據(jù)。使用標(biāo)記的節(jié)點(diǎn)與其他所有區(qū)域的節(jié)點(diǎn)相關(guān)性進(jìn)行排序。由此可形成了四個(gè)顯著圖并使它們結(jié)合起來獲得第一步的顯著圖；然后將第一階段得到的顯著圖進(jìn)行圖像分割得到的前景目標(biāo)作為標(biāo)記數(shù)據(jù)，使用標(biāo)記節(jié)點(diǎn)與其他節(jié)點(diǎn)的相關(guān)性進(jìn)行排序得到最終的顯著性圖。

通過超像素構(gòu)造單層圖G=(V,E)，其中V是一組節(jié)點(diǎn)，E是一組無向邊。節(jié)點(diǎn)權(quán)重的定義為：

其中，ci和cj表示對(duì)應(yīng)于CIELAB顏色空間中的兩個(gè)節(jié)點(diǎn)的超像素的平均值，σ是控制權(quán)重強(qiáng)度的常數(shù)。通過權(quán)重就可以求出鄰接矩陣W。其流形排序的依據(jù)是：

其中，D是對(duì)角矩陣，D=diag{d11,d22,…,dnn}，W是鄰接矩陣，α=1/(1+u)，u控制平滑約束項(xiàng)和擬合約束項(xiàng)之間的平衡。平滑約束項(xiàng)能讓排序函數(shù)在附近點(diǎn)之間變化較小，擬合約束項(xiàng)能讓排序函數(shù)靠近初始種子點(diǎn)。y是一個(gè)指示向量，若yi=1，則表明該點(diǎn)是標(biāo)記節(jié)點(diǎn)。f*是一個(gè)排序向量，是一個(gè)N維向量（N是圖中節(jié)點(diǎn)總數(shù)）。在這個(gè)排序向量中的元素表示節(jié)點(diǎn)與背景種子點(diǎn)的相關(guān)性，其補(bǔ)碼是顯著性值；將向量進(jìn)行歸一化到區(qū)間[0，1]，利用邊界表示的顯著性圖表示為：

其中，i表示索引圖中的超像素節(jié)點(diǎn)，表示歸一化向量。因此根據(jù)上、下、左和右圖像邊界作為標(biāo)記節(jié)點(diǎn)，可以得到St、Sb、Sl、Sr這四個(gè)顯著圖。對(duì)這四個(gè)顯著性圖，通過以下公式進(jìn)行整合，從而就得到了第一階段的顯著圖：

在一階段，大部分的顯著性區(qū)域被檢測出來，所以在第二階段，將閾值設(shè)置為整個(gè)顯著圖上的平均顯著性進(jìn)行圖像分割，將分割后的前景目標(biāo)作為標(biāo)記數(shù)據(jù)，形成指示向量y，并利用式（4）計(jì)算得到排序向量f*，將其歸一化區(qū)間[0，1]。

重復(fù)進(jìn)行這一階段的操作，就形成了最終的顯著圖：

在基于圖論的顯著性檢測中，本文將超像素的數(shù)量設(shè)置為100，得到的超像素分割圖像如圖1所示。

圖1 LSC算法與SLIC算法的對(duì)比

在圖1中，圖1（a）為原圖，圖1（b）和圖1（c）是對(duì)圖1（a）分別使用SLIC 算法和LSC 算法進(jìn)行超像素分割的結(jié)果。從圖1中可以看出：對(duì)圖中的兩個(gè)棍子之間的部分，LSC 算法比SLIC 算法所生成的超像素分割的邊緣更貼近于目標(biāo)邊緣。

圖2 是使用基于圖論的流形排序的顯著性檢測算法所得到的顯著性圖。

圖2 顯著性圖

在圖2 中，圖2（b）是SLIC 算法通過使用流形排序所得到的顯著圖，圖2（c）是LSC算法通過使用流形排序算法得到的顯著圖。從圖2中可以看出：由LSC算法所得到的顯著性區(qū)域得到加強(qiáng)，特別是在圖中的這個(gè)人的腳步位置，而SLIC算法有一部分沒有檢測出來。

2 改進(jìn)的主動(dòng)輪廓模型

本文方法的總體流程如圖3所示，主要由顯著圖生成和GMM 模型以及主動(dòng)輪廓模型與兩者的融合等部分組成。

本文利用顯著性信息和GMM 模型改進(jìn)主動(dòng)輪模型的能量泛函，以獲得更好的分割效果。

2.1 結(jié)合GMM模型的主動(dòng)輪廓分割

圖3 結(jié)合顯著性的主動(dòng)輪廓模型

基于圖像全局灰度信息的CV 主動(dòng)輪廓模型[9]，根據(jù)曲線內(nèi)部和外部的灰度分布促進(jìn)水平集曲線的演變。對(duì)于強(qiáng)度均勻和對(duì)比度明顯的圖像，分割效果較好。但是，當(dāng)圖像的灰度分布不均勻時(shí)，曲線的演化速度將明顯變慢，分割效果也會(huì)變差。針對(duì)這一問題，本文將GMM模型引入到曲線演化過程中，優(yōu)化了能量函數(shù)中曲線內(nèi)部和外部的平均灰度。GMM模型是通過組合多個(gè)概率分布的多個(gè)高斯函數(shù)而形成的，可以用來描述灰度的復(fù)雜變化，因此，引入了GMM 模型來描述曲線內(nèi)部和外部的灰度分布，并且使用GMM模型的參數(shù)來優(yōu)化主動(dòng)輪廓模型的演化函數(shù)中的平均灰度，該方法也能提高曲線的抗干擾能力，并運(yùn)用水平集曲線實(shí)現(xiàn)正確的分割。

采用最大期望算法[10]（Expectation Maximization，EM）中參數(shù)計(jì)算的方法來對(duì)GMM模型參數(shù)進(jìn)行估計(jì)，由水平集演化函數(shù)來計(jì)算迭代結(jié)果，根據(jù)迭代結(jié)果中曲線內(nèi)部和外部的灰度分布來更新參數(shù)。所以，首先，初始化水平集的演化曲線，然后使用K-means[11]聚類算法將曲線內(nèi)部和外部的區(qū)域劃分為k個(gè)部分。分割后，每個(gè)部分的灰度分布可通過高斯函數(shù)近似。根據(jù)初始分割的k個(gè)部分，構(gòu)造了曲線的內(nèi)部GMM和外部GMM，計(jì)算內(nèi)部和外部中子模型在整個(gè)GMM 模型中的比例πk、平均灰度值μk以及灰度方差σk，根據(jù)計(jì)算所得到的結(jié)果和其他參數(shù)來構(gòu)建曲線內(nèi)外圖像的GMM 模型。構(gòu)建GMM模型的式子如下：

經(jīng)過GMM 模型優(yōu)化后，可以計(jì)算每個(gè)點(diǎn)的能量值，并獲得新的水平集演化結(jié)果。Ω(x,y)表示輸入的圖像，C(x,y)表示閉合曲線，將圖像域Ω分為兩個(gè)區(qū)域，即內(nèi)部區(qū)域Ω1，和外部區(qū)域Ω2。結(jié)合GMM 模型定義一個(gè)以分割閉合曲線為自變量函數(shù)的能量泛函，通過對(duì)此能量泛函的極小化，以及對(duì)自變量的尋優(yōu)過程，來實(shí)現(xiàn)對(duì)目標(biāo)的分割。改進(jìn)后的能量函數(shù)模型為定義：

其中，μ0(x,y) 表示圖像中某一點(diǎn)的灰度值，H(φ) 是Hesviside函數(shù)，H(φ)表示曲線的內(nèi)部區(qū)域和外部區(qū)域，?為梯度算子，φ是根據(jù)閉合曲線C構(gòu)造的水平集函數(shù)，當(dāng)點(diǎn)(x,y)在曲線C上時(shí)，φ(x,y)=0。當(dāng)點(diǎn)(x,y)在曲線的內(nèi)部時(shí)，φ(x,y)＞0 。當(dāng)點(diǎn)(x,y)在曲線的外部時(shí)，φ(x,y)＜0。

水平集函數(shù)的演化方程可以通過最小化式（9）的能量泛函得到，所以可以得出水平集函數(shù)的演化方程如下：

其中，δ(φ)表示一維Dirac函數(shù)，μ1和μ2表示曲線內(nèi)部和外部的灰度均值。以計(jì)算曲線外部的灰度均值μ2為例，首先計(jì)算第k個(gè)外部高斯子模型對(duì)灰度值為u的點(diǎn)的響應(yīng)度，從而可以獲得曲線外部不同像素點(diǎn)的動(dòng)態(tài)平均灰度值，由此就可以計(jì)算曲線外部的灰度均值，計(jì)算過程如下：

其中，θk是曲線外部第k個(gè)高斯子模型，φ(u|θk)表示該點(diǎn)屬于曲線的外部區(qū)域的第k個(gè)子模型的概率，u表示該點(diǎn)的灰度值，μk表示曲線外部第k個(gè)高斯子模型的平均灰度，σk表示曲線外部第k個(gè)高斯子模型的方差。

2.2 結(jié)合顯著性的主動(dòng)輪廓分割

顯著性檢測利用視覺注意機(jī)制從復(fù)雜場景中提取人們感興趣的顯著部分，在顯著圖中，目標(biāo)具有更高的信噪比，這使得它們易于檢測。傳統(tǒng)的主動(dòng)輪廓在分割比較復(fù)雜的圖像時(shí)，由于前景和背景之間相差不大，所以GMM 模型很難得出精確的結(jié)果，比如說當(dāng)使用GMM模型算出圖像中一個(gè)像素點(diǎn)屬于前景和背景的概率都是0.5，無論這個(gè)點(diǎn)分為目標(biāo)或者是背景，這時(shí)的損失（風(fēng)險(xiǎn)）都是最大的，怎樣劃分都是不合理的，所以在這時(shí)候使用高斯混合模型的主動(dòng)輪廓的能量泛函的作用不大，圖像分割的效果不佳，而將顯著性信息引入到主動(dòng)輪廓模型中，把圖像的顯著性加入到能量區(qū)域項(xiàng)中，以顯著性區(qū)域邊界為初始曲線，并通過顯著圖來估計(jì)GMM模型參數(shù)，其中第k個(gè)高斯模型的均值u(k)和協(xié)方差σk可通過計(jì)算其模型中包含的顯著值的均值和協(xié)方差得到。

經(jīng)過顯著性計(jì)算，用顯著性擬合的能量泛函定義如下：

其中，s1和s2為顯著性信息在曲線內(nèi)部和外部的灰度均值，一般情況下，在實(shí)際計(jì)算中，采用規(guī)范化的Heaviside函數(shù)和Dirac函數(shù)：

由此通過最小化能量泛函得到的水平集的演化方程為：

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文所提出的采用顯著性的主動(dòng)輪廓模型的圖像分割算法的有效性，本文進(jìn)行了大量的實(shí)驗(yàn)。在進(jìn)行實(shí)驗(yàn)時(shí)所使用的圖像是來自伯克利[12]的圖像庫以及MSRA[13]數(shù)據(jù)庫；MSRA數(shù)據(jù)庫中有1 000幅圖像，并且每幅圖像都有對(duì)應(yīng)的全分辨率的二值化真值圖；所使用的實(shí)驗(yàn)平臺(tái)是：Inter?CoreTMi7-7700 CPU @3.60 GHz 3.60 GHz 處理器，64 位Windows 10 操作系統(tǒng)，Matlab 2017a。

3.1 CV、GCV和本文算法的分割對(duì)比分析

對(duì)CV 模型[9]、GCV 模型（把結(jié)合GMM 模型的CV模型稱為GCV）、本文算法進(jìn)行實(shí)驗(yàn)比較。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 CV、GCV和本文算法的分割結(jié)果

由圖4 可以看出，使用本文算法的圖4（c）的分割效果明顯好于使用CV 模型和GCV 模型的圖4（a）和圖4（b）的效果。雖然加入GMM 模型以后，可以看出圖4（b）的曲線分割效果得到了提升，分割噪聲減少，但是會(huì)出現(xiàn)曲線不貼合圖像的邊緣，在標(biāo)記的方框內(nèi)也出現(xiàn)不同程度的噪聲。而從圖4（a）可以明顯看出CV 模型與其他兩個(gè)模型（GCV 模型和本文算法）相比分割噪聲較多，分割并不準(zhǔn)確。但是在本文算法的圖4（c）中可以明顯看出在加入顯著性信息之后，分割的效果更加精準(zhǔn)，分割曲線完全貼合圖像邊緣，因此分割效果得到了大幅的改善，在分割同時(shí)避免了眾多背景噪聲，能夠?qū)⒛繕?biāo)圖像有效地分割出來。

3.2 本文算法與其他模型的性能比較

為了驗(yàn)證本文所提出的采用顯著性的主動(dòng)輪廓模型的圖像分割方法對(duì)圖形分割的有效性，本文使用了MSRA1000 圖像數(shù)據(jù)庫中的一些圖像進(jìn)行了實(shí)驗(yàn)。對(duì)采用圖像全局灰度信息的CV 模型、基于因式分解的FACM[14]模型以及本文算法進(jìn)行了實(shí)驗(yàn)和測試，實(shí)驗(yàn)的比較結(jié)果如圖5所示。

如圖5所示，圖5（d）的分割效果明顯好于圖5（b）和圖5（c），圖5（d）的分割效果幾乎接近圖5（e）圖像分割的真值圖，在圖5（b）的基于圖像全局灰度信息CV模型的分割結(jié)果沒有體現(xiàn)魯棒性，在圖像的邊緣處會(huì)出現(xiàn)噪音，導(dǎo)致不精確分割。在圖5（c）的基于因式分解的FACM[14]模型中，在狗的頭部位置分割效果不精準(zhǔn)，在有花的圖像中亮度分配不均勻時(shí)，基于因式分解的FACM模型將后面的陽光識(shí)別為圖像對(duì)象導(dǎo)致圖像分割部準(zhǔn)確，所以加入顯著性信息能夠使得能量函數(shù)中區(qū)域項(xiàng)的可靠性增強(qiáng)，使得本文的算法能夠有效地分割復(fù)雜背景的圖像。

此外，評(píng)估指標(biāo)采用F值(F-Measure)[15]來評(píng)價(jià)對(duì)圖像分割的效果，并對(duì)每個(gè)模型分割的運(yùn)行的時(shí)間進(jìn)行了對(duì)比。F-Measure的計(jì)算公式如下：

式中，Rec表示的是召回率，該值反映圖像中的目標(biāo)被分割的完整性，Pre表示的是精確率，該值越高反映算法分割的結(jié)果中包含的背景越少，其計(jì)算公式為：

其中，Gt表示真值圖像，Bi表示算法分割后的二值圖像，但Rec和Pre指標(biāo)有時(shí)候會(huì)出現(xiàn)的矛盾的情況，這樣就需要綜合考慮，所以F-Measure就是Pre和Rec加權(quán)調(diào)和平均，F(xiàn)-Measure較高則表明在精確率較高的情況下召回率也較高，即表明本文算法能夠準(zhǔn)確完整地分割出圖像中的目標(biāo)。

本文對(duì)MSRA1000 圖像庫中的一些圖像進(jìn)行了實(shí)驗(yàn)，得到的結(jié)果如表1。

表1 主動(dòng)輪廓模型的分割結(jié)果對(duì)比

圖5 CV、FACM和本文算法的分割結(jié)果

在表1中，對(duì)每種算法的迭代次數(shù)都設(shè)置為100；平均運(yùn)行時(shí)間是指每種算法迭代100 次時(shí)的平均時(shí)間。由于本文加入了顯著性檢測使得運(yùn)行時(shí)間比其他兩個(gè)算法相對(duì)較長，但是本文利用顯著圖的二值圖像來初始化輪廓，而FACM模型的初始輪廓設(shè)為一個(gè)橢圓框，CV模型根據(jù)圖像的大小，其初始輪廓為圖像長寬的1/3 到2/3處的矩形框，因此本文算法的迭代次數(shù)大幅地減少，所以在實(shí)際應(yīng)用中，F(xiàn)ACM算法的運(yùn)行時(shí)間要遠(yuǎn)遠(yuǎn)大于本文算法，F(xiàn)ACM 算法是基于因式分解的主動(dòng)輪廓模型，該算法僅從對(duì)象區(qū)域中選擇組合權(quán)重來處理曲線的運(yùn)動(dòng)，所以需要多次迭代才能得到更好的分割效果。因此FACM模型運(yùn)行時(shí)間較長。從表1中，也能明顯地看出本文算法的F值明顯高于其他兩個(gè)模型，因此本文算法分割的性能更好。

4 結(jié)語

本文所提出的結(jié)合顯著性的主動(dòng)輪廓圖像分割方法，能夠有效地分割背景較為復(fù)雜的圖像，通過使用LSC超像素分割算法將圖像分割成塊狀小區(qū)域，并對(duì)分割后的超像素進(jìn)行流形排序以得到顯著性圖，在主動(dòng)輪廓模型中加入顯著性信息，用像素的顯著性值來擬合能量函數(shù)。在實(shí)驗(yàn)過程中，通過實(shí)驗(yàn)的對(duì)比驗(yàn)證了顯著性信息和GMM模型對(duì)主動(dòng)輪廓分割的有效性，實(shí)驗(yàn)結(jié)果表明本文算法在進(jìn)行圖像分割時(shí)具有較好的性能。下一步的工作主要是將對(duì)顯著性提取算法和主動(dòng)輪廓模型做進(jìn)一步的優(yōu)化，以提高分割效果和普適性，并將其應(yīng)用到實(shí)際的目標(biāo)檢測中。