張 微

(寶雞文理學(xué)院計算機(jī)科學(xué)系，陜西寶雞 721016)

圖像分割作為計算機(jī)視覺與圖像處理領(lǐng)域中極其重要的一項研究內(nèi)容，是圖像分析與理解的關(guān)鍵步驟，在圖像工程中占有非常重要的地位［1－7］。對圖像中感興趣的目標(biāo)進(jìn)行分割成為目前研究的熱點(diǎn)。然而，當(dāng)圖像受到噪聲、遮擋、陰影、復(fù)雜背景等因素影響時，圖像目標(biāo)的精確分割往往會變得很困難，得不到較好的分割結(jié)果。目前，大多數(shù)圖像分割方法是對圖像的底層特征(如顏色、強(qiáng)度等)進(jìn)行分割，但這并不足以克服上述困難。

形狀先驗是應(yīng)對上述問題的一種有效方式，得到了越來越多的關(guān)注［8］。在實(shí)際應(yīng)用中，待分割目標(biāo)的形狀通常是已知的，可以利用該已知信息來指導(dǎo)分割過程，使分割結(jié)果向理想的形狀靠近。目前，形狀先驗在馬爾科夫隨機(jī)場(markov random fields，MRFs)模型與圖割(graph cuts)框架中的應(yīng)用受到了廣泛的關(guān)注。文獻(xiàn)［9］將一種橢圓先驗形狀以參數(shù)曲線的形式加入到能量函數(shù)中，取得了較好的分割結(jié)果。但在通常情況下，待分割目標(biāo)并不能用簡單的參數(shù)形式表示，這使其在應(yīng)用中受到一定的限制。在文獻(xiàn)［10］中，形狀模板用水平集的形式表示，并以二階勢函數(shù)的形式加入到能量函數(shù)中。雖然形狀模板可以是任意的，但卻是單一固定的，并不能適應(yīng)形狀的變化。文獻(xiàn)［11］將通量最大約束引入MRF模型，與其他兩種約束共同構(gòu)成形狀先驗?zāi)芰亢瘮?shù)以改善分割結(jié)果。但該方法采用手工標(biāo)記作為形狀模板，方法也較為單一，并且沒有提及形狀的變化。在上述方法中并沒有將圖像的邊緣信息考慮進(jìn)來。圖像的邊緣也是圖像的基本特征之一，在圖像處理領(lǐng)域中有著廣泛應(yīng)用［12－13］。如果能夠?qū)D像的邊緣信息進(jìn)行有效的利用，那么在一定程度上可以幫助改善圖像目標(biāo)的分割效果。

本文在MRF中同時引入邊緣和形狀先驗信息，建立了一種融合邊緣和形狀先驗的MRF模型，并用于對圖像目標(biāo)的分割。形狀先驗先在包含多個形狀模版的訓(xùn)練集上定義，解決了形狀對齊問題。相比于單一形狀模版的情形，它更加靈活，能夠反應(yīng)出形狀的變化。圖像的邊緣信息再與形狀先驗相結(jié)合，轉(zhuǎn)化為勢函數(shù)的形式加入到能量函數(shù)中，最后通過graph cuts算法進(jìn)行能量最小化得到分割結(jié)果。實(shí)驗結(jié)果表明:邊緣和形狀先驗的引入可以較好地約束目標(biāo)邊界，減少遮擋、復(fù)雜背景等因素對分割結(jié)果的影響，取得較好的分割效果。

1 馬爾科夫隨機(jī)場目標(biāo)分割理論框架

圖像目標(biāo)分割問題可以被認(rèn)為是一個標(biāo)記問題。對于待分割圖像D，集合 P={1，…，m}對應(yīng)于圖像中的m個像素;L={l1，…，ln}是n個標(biāo)記的集合，對應(yīng)于n個待分割的目標(biāo)。目標(biāo)分割的目的是尋找某種程度上最優(yōu)的一個映射 φ:P→L，其中映射φ為P集合上隨機(jī)變量的一個場 F=(F1，…，F(xiàn)m)，F(xiàn)p表示像素p的隨機(jī)變量，從集合L上取值。向量f=(f1，…，fm)表示給隨機(jī)變量場標(biāo)記分配的一個配置或標(biāo)記，其中 fp表示分配給隨機(jī)變量Fp的標(biāo)記。集合P的鄰域系統(tǒng)可以記為N={Np|?p∈P}，其中Np表示像素p∈P的鄰域集合。

在MRF建模中給定觀測圖像D時，標(biāo)記f的后驗概率為Pr(f|D)。根據(jù)Hammersley-Clifford原理［14］，一個 MRF等價于一個 Gibbs隨機(jī)場(GRF)，以Gibbs分布的形式表示為

Gibbs能量函數(shù)可以進(jìn)一步表示為一階勢函數(shù)Vp(fp)和二階勢函數(shù)Vpq(fp，fq)之和的形式:

式(3)中:Vp(fp)衡量給定觀測圖像D時為像素p分配標(biāo)記fp的懲罰，該懲罰僅與像素p的特征有關(guān);Vpq(fp，fq)表示同時為像素p分配標(biāo)記fp與為其相鄰像素q∈Np分配標(biāo)記fq的懲罰，該懲罰通過相鄰像素間的相似性來描述相鄰像素間的相互作用關(guān)系。

最優(yōu)標(biāo)記f*通過最大化后驗概率獲得，等價于Gibbs能量函數(shù)的最小化。

由于本文僅考慮單一目標(biāo)(目標(biāo)/背景)的分割問題，標(biāo)記集合取值為L={0，1}，其中:0對應(yīng)背景;1對應(yīng)待分割的目標(biāo)。

2 融合邊緣和形狀先驗的馬爾科夫隨機(jī)場目標(biāo)分割模型

前面已經(jīng)給出了基于MRF的目標(biāo)分割理論框架，為了將邊緣和形狀先驗信息引入，能量函數(shù)可定義為3部分:

其中EA(f)，EB(f)和ES(f)分別表示外觀(appearance)先驗?zāi)芰宽棥⑦吘壞芰宽椧约靶螤钕闰災(zāi)芰宽?，分別采用一階或二階勢函數(shù)或兩者相結(jié)合的形式定義。

2.1 外觀先驗

式(5)中的EA(f)能量根據(jù)待分割目標(biāo)的特征信息來建模，采用一階與二階勢函數(shù)相結(jié)合的形式定義為如式(6)所示的形式。

式(7)中:Pr(dp|fp=i，θ)表示類概率密度函數(shù)，這里采用高斯混合模型來建模;dp表示像素p的特征向量;θ是高斯混合模型中的參數(shù)，通過極大似然法估計得到。

式(9)中:K(p，q)是一個非負(fù)權(quán)值，這里用它來懲罰相鄰像素之間的不連續(xù)性;dp表示像素p處的特征向量;γ用來衡量二階能量函數(shù)的相對重要性;σI可看作噪聲的估計值。

2.2 邊緣的引入

本文引入圖像的已知特征邊緣，通過對待分割目標(biāo)的邊界進(jìn)行約束，達(dá)到指導(dǎo)圖像目標(biāo)正確分割的目的。需要將其轉(zhuǎn)化為勢函數(shù)，加入到能量函數(shù)中，通過能量最小化過程，使結(jié)果向目標(biāo)邊緣收斂，那么目標(biāo)邊緣處的能量應(yīng)該是最小的。本研究先使用canny算子對圖像進(jìn)行邊緣提取，再對該結(jié)果做距離變換，計算像素 p到距離其最近的邊緣上點(diǎn)q的距離。除此之外，還將圖像梯度轉(zhuǎn)化為參數(shù)以調(diào)節(jié)該距離。對于圖像邊緣上的任意一個像素點(diǎn)p，其到自身的距離為0。因此，圖像的邊緣距離變換可以用符號B表示，如式(10)所示。

式(10)中:Bp表示圖像中任意一個像素點(diǎn)p的邊緣距離變換結(jié)果;μ用梯度幅值來調(diào)節(jié)像素點(diǎn)到距離其最近的邊緣上點(diǎn)的距離大小，且gradp是像素p處的梯度幅值，c是圖像中所有像素梯度幅值的均值。若像素p在邊緣附近，則其梯度幅值越大，其倒數(shù)值越小。dist(p，q)為像素點(diǎn)p和點(diǎn)q間的歐式距離。對于圖像中的任意一個像素點(diǎn)p，若其不在邊緣上，則可計算出距其最近邊緣上點(diǎn)之間的歐式距離。p距邊緣越近，則該距離變換值也就越小，反之則越大;若其在邊緣上，則該值為0。

邊緣能量項EB(f)采用如下的形式定義:

權(quán)值g(p，q)用來計算出相鄰像素點(diǎn)p和q的邊緣距離變換結(jié)果，該值越小，表明它們距離邊緣越近，屬于不同類別的概率越大。參數(shù)γ與式(9)相同，用來權(quán)衡二階勢函數(shù)的相對重要性。與外觀先驗中的二階勢函數(shù)類似，這里也考慮相鄰像素間的相互作用關(guān)系，若其標(biāo)記相同，則懲罰為0;反之，懲罰也會越大。顯然，越靠近目標(biāo)邊緣的點(diǎn)懲罰也會越小，反之越大。

邊緣這一已知圖像特征的利用增加了對目標(biāo)邊界的有效約束，能夠在一定程度上幫助目標(biāo)的準(zhǔn)確分割。

2.3 形狀先驗的表示及形狀對齊過程

從本文的論述可以看出:目標(biāo)分割實(shí)際上是根據(jù)圖像已知特征為像素分配標(biāo)記的過程。需要建模給定圖像 D時，標(biāo)記 f的后驗概率為Pr(f|D)。由貝葉斯定理可知:后驗概率滿足Pr(f|D)∝Pr(D|f)Pr(f)。其中，Pr(f)表示先驗概率分布，可以讓Pr(fp=1)和Pr(fp=0)分別表示像素p屬于目標(biāo)或背景的形狀先驗概率。形狀先驗在包含多個形狀模版的訓(xùn)練集上定義，這里的形狀模版采用二值的手工標(biāo)記。對于一個已對齊的形狀訓(xùn)練集 S={S1，S2，..Sn}，形狀先驗概率

形狀先驗?zāi)芰亢瘮?shù)可定義為其中一階勢函數(shù)VSp(fp)根據(jù)形狀先驗概率定義為

這里將形狀先驗引入，通過最小能量過程使分割結(jié)果向與形狀相似處收斂，從而提高分割精度，達(dá)到改善分割效果的目的。實(shí)際上，該過程也相當(dāng)于求解最大概率，式(15)中的形狀先驗對應(yīng)增加了像素被分為目標(biāo)的概率。

需要注意的是:形狀先驗的計算需要在一組已對齊的形狀訓(xùn)練集上進(jìn)行。本文實(shí)現(xiàn)形狀對齊的過程如下:先通過SURF［15］算法找到待對齊形狀間的特征點(diǎn)對;再采用RANSAC［16］算法去除匹配點(diǎn)對中錯誤匹配點(diǎn)對;最后利用剩余的匹配對計算變換矩陣，得到對齊后的形狀。圖1給出了對MSRC dataset［17］中人臉圖像的形狀模版進(jìn)行對齊的過程。從圖1中可以看出:當(dāng)使用RANSAC方法以后，形狀模版間的一些錯誤匹配點(diǎn)被消除。

圖1 形狀對齊過程示意圖

2.4 Graph cuts能量最小化

Graph cuts［18］是常用的能量最小化方法之一。對于目標(biāo)/背景分割問題，graph cuts可以有效地對E(f)進(jìn)行最小化，但二階勢函數(shù)Vpq必須是一個sub-modular函數(shù)，即 Vpq(0，0)+Vpq(1，1)≤Vpq(0，1)+Vpq(1，0)。由前面的討論可以明顯看出:本文能量函數(shù)滿足上述條件，可以通過graph cuts算法求出全局最優(yōu)解。

3 算法流程

對于給定的圖像集，本文算法過程可以描述為:

1)對待分割圖像進(jìn)行初始化，得到初始標(biāo)記f，估計參數(shù)θ，設(shè)定參數(shù)σI和γ，根據(jù)式(6)～(9)計算得到EA(f)。

2)采用graph cuts算法對能量函數(shù)EA(f)進(jìn)行最小化，得到分割結(jié)果f'，并將f'→f。

3)給定一個已對齊的形狀訓(xùn)練集S，計算形狀先驗概率分布，然后將形狀先驗與當(dāng)前的分割結(jié)果f對齊。根據(jù)式(15)～(16)計算，并將

4)提取圖像邊緣、梯度信息，根據(jù)式(10)～(13)計算 Bp，得到，將+，得到總能量函數(shù) E(f)=EA(f)+ES(f)+EB(f)。

5)用graph cuts算法對E(f)進(jìn)行最小化，得到最終分割結(jié)果f'。

4 實(shí)驗結(jié)果分析

本文算法的程序文件是在Windows 7系統(tǒng)中的Matlab R2010b環(huán)境下編程實(shí)現(xiàn)的。硬件環(huán)境:處理器為 i52.67GHz，內(nèi)存為4G。

本文算法分別在標(biāo)準(zhǔn)圖像庫Caltech leaves dataset［19］和 MSRC dataset上進(jìn)行測試。Caltech leaves dataset包含不同背景下不同形狀的葉子圖像，從中選擇66幅具有相似形狀的圖像進(jìn)行實(shí)驗，并對其進(jìn)行手工標(biāo)記。從中選擇33幅圖像的手工標(biāo)記作為形狀模版。由于本文考慮的情形較為簡單，可以將訓(xùn)練集中的形狀按照其質(zhì)心進(jìn)行平移來實(shí)現(xiàn)對齊，然后計算形狀先驗概率，其余33幅圖像用于測試。從MSRC dataset中選擇不同背景下具有相似形狀的人臉圖像進(jìn)行實(shí)驗。該類別中形狀模版間在尺度、位置上均有不同，采用本文2.3節(jié)中的方法實(shí)現(xiàn)對齊。從該類別30幅圖像中選擇10幅圖像的手工標(biāo)記作為形狀模版用于訓(xùn)練，其余20幅圖像用于測試。圖2給出了實(shí)驗中所用到的部分形狀模版及形狀先驗，其中每一行中的最后一幅圖像為形狀先驗?？梢钥吹?，用于實(shí)驗的形狀模版雖然較為相似，但仍有明顯的差異，增加了用形狀指導(dǎo)分割的難度。

圖2 形狀模版及形狀先驗

在實(shí)驗中，將式(9)中的參數(shù)σI設(shè)為相鄰像素間顏色特征差異的均值，這樣對于不同圖像，該參數(shù)值也會不同。為簡單起見，將參數(shù)γ的值固定為5。

圖3給出了部分形狀不同的葉子圖像的分割結(jié)果，同時包含了遮擋的情形。在相同初始化的情況下，將本文算法與未包含邊緣和形狀先驗的傳統(tǒng)圖割算法進(jìn)行比較。圖3(a)中，紅色和藍(lán)色的線分別表示目標(biāo)和背景的初始化標(biāo)記，圖3(b)和(c)中綠色的輪廓表示最終分割結(jié)果?？梢钥闯?待分割的圖像中包含復(fù)雜的背景，且目標(biāo)邊緣處及背景中都有與目標(biāo)顏色相近的部分，使得不添加先驗信息得到精確的分割結(jié)果較為困難。不同圖像中目標(biāo)的形狀也有較為明顯的差異，也為形狀先驗的加入增加了難度。若采用單一形狀模版，則不能適應(yīng)目標(biāo)形狀間的較大變化，而這里采用多個形狀模版能夠適應(yīng)更復(fù)雜的情形。

圖3 葉子圖像分割結(jié)果對比(圖像大小:448×296)

從分割結(jié)果可以看出:當(dāng)考慮邊緣和形狀先驗時，相比于未加入該信息的情形，分割結(jié)果有了明顯的改善。在邊緣信息的約束下，形狀先驗可以較好地適應(yīng)圖像中目標(biāo)形狀上的差異，在復(fù)雜背景和遮擋的情況下仍然可以起到約束的作用，并驅(qū)使目標(biāo)向理想的形狀靠近。此時邊緣信息和形狀先驗都起到了非常重要的作用。

圖4(a)給出了人臉圖像的原始圖像及初始化標(biāo)記。相比于前一種情形，待分割目標(biāo)不僅在位置、尺度上有差異，有的還有一定傾斜角度的變化，且圖像背景更為復(fù)雜，增加了目標(biāo)正確分割的難度。圖4(b)和(c)分別給出了傳統(tǒng)圖割算法和本文算法的分割結(jié)果。

從結(jié)果可以看出:相比于傳統(tǒng)圖割算法，本文算法同時考慮了邊緣和形狀信息，得到了較為完整的目標(biāo)分割結(jié)果。目標(biāo)顏色信息常與背景相似，導(dǎo)致背景中的部分被錯分為目標(biāo)。邊緣和形狀先驗的引入有效地解決了這類問題，且邊緣能夠增加對目標(biāo)邊界的約束，更好地適應(yīng)目標(biāo)在形狀上的變化。

圖4 人臉圖像分割結(jié)果對比(圖像大小:320×213)

表1給出了不同圖像庫下算法性能的比較，包括未包含邊緣和形狀先驗的傳統(tǒng)圖割算法與本文算法在分割錯誤率及運(yùn)行時間上的比較。同時還比較了本文算法中參數(shù)μ對最終分割結(jié)果的影響。當(dāng)參數(shù)時，相比于不考慮μ的情況，分割錯誤率仍有一定的減小，表明梯度幅值對邊緣距離變換結(jié)果具有一定的調(diào)節(jié)作用。將邊緣和形狀先驗相結(jié)合，在取得較好分割結(jié)果的同時，運(yùn)行時間并沒有大量增加，兩類信息都起到了約束目標(biāo)邊界的作用。

表1 算法性能比較

5 結(jié)束語

本文提出一種融合邊緣和形狀先驗的MRF目標(biāo)分割方法。該方法在多個形狀模版上計算形狀先驗概率，然后提取圖像的邊緣信息，分別將邊緣信息和形狀先驗轉(zhuǎn)化為能量函數(shù)的形式，最后通過圖割算法進(jìn)行能量最小化，得到最終分割結(jié)果。相比于未包含邊緣信息和形狀先驗的傳統(tǒng)圖割算法，該方法通過邊緣和形狀先驗約束目標(biāo)，可以有效地減小復(fù)雜背景和遮擋問題的影響，取得了較好的分割結(jié)果。

［1］Li Xuchao，Zhu Shanan.A survey of the markov random field method for image segmentation［J］.Journal of Image and Graphics，2007，5(12):789 －798.

［2］單改仙，甘平，孫露，等.照度不均的皮膚圖像分割方法的研究［J］.激光雜志，2013(3):23－25.

［3］郭鎖利，辛棟，劉延飛.近代圖像分割方法綜述［J］.四川兵工學(xué)報，2012(7):93－96.

［4］叢超.醫(yī)用心臟圖像分割算法的量化評估框架［J］.重慶理工大學(xué)學(xué)報:自然科學(xué)版，2013(7):71－75，112.

［5］趙杰，祁永梅，潘正勇.結(jié)合邊界和區(qū)域的水平集超聲圖像分割算法［J］.激光雜志，2013(6):46－48.

［6］董昌灝，閆鑌，曾磊，等.融合背景能量項的Graph-CutsPCBCT 圖像分割［J］.激光雜志，2013，34(4):25－27.

［7］李京娜，王國宏，王剛.基于光滑分割的局部脊波變換圖像去噪算法研究［J］.激光雜志，2012，33(6):25－27.

［8］張微.基于概率圖模型的圖像分類研究［D］.西安:陜西師范大學(xué)，2013.

［9］SlabaughL G，Unal G.Graph cuts segmentation using an elliptical shape prior［C］//Image Processing，2005.ICIP 2005.IEEE International Conference on.USA:IEEE，2005:II－1222－5.

［10］Freedman D，Zhang T.Interactive graph cut based segmentation with shape priors［C］//Computer Vision and Pattern Recognition，2005.CVPR 2005.IEEE Computer Society Conference on.USA:IEEE，2005:755 －762.

［11］Chittajallu D R，Shah S K，Kakdiaris I A.A shape-driven MRF model for the segmentation of organs in medical images［C］//Computer Vision and Pattern Recognition(CVPR)，2010 IEEE Conference on.USA:IEEE，2010:3233－3240.

［12］Martin D R，F(xiàn)owlkes C C，Malik J.Learning to detect natural image boundaries using local brightness，color，and texture cues［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2004，26(5):530 －549.

［13］Arbelaez P，Maire M，F(xiàn)owlkes C，et al.Contour detection and hierarchical image segmentation［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2011，33(5):898－916.

［14］Li S Z.Markov random field modeling in computer vision［M］.New York:Springer-Verlag New York，Inc.，1995:11－12.

［15］Bay H，Ess A，Tuytelaars T，et al.Speeded-up robust features(SURF)［J］.Computer vision and image understanding，2008，110(3):346 －359.

［16］Fischler M A，Bolles R C.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381 －395.

［17］Shotton J，Winn J，Rother C，et al.Textonboost:Joint appearance，shape and context modeling for multi-class object recognition and segmentation［C］//Computer Vision-ECCV 2006.Austria:Springer Berlin Heidelberg，2006:1－15.

［18］Boykov Y Y，Jolly M P.Interactive graph cuts for optimal boundary＆region segmentation of objects in ND images［C］//Computer Vision，2001.ICCV 2001.Proceedings.Eighth IEEE International Conference on.USA:IEEE，2001:105－112.

［19］Overgaard N C，F(xiàn)undana K，Heyden A.Pose Invariant Shape Prior Segmentation Using Continuous Cuts and Gradient Descent on Lie Groups［C］//Scale Space and Variational Methods in Computer Vision，SSVM 2009.Norway:Springer Berlin Heidelberg，2009:684 －695.