楊 勇，郭 玲，葉陽東

1.鄭州工業(yè)應(yīng)用技術(shù)學院 信息工程學院，河南 新鄭451100 2.鄭州大學 信息工程學院，鄭州450000 3.鄭州航空工業(yè)管理學院 檔案館，鄭州450046

自然圖像分割是計算機視覺領(lǐng)域的一項基本研究內(nèi)容，它能夠提供若干非重疊的區(qū)域、子區(qū)域、封閉光滑的曲線以及輪廓，因此，被廣泛地應(yīng)用于場景理解、模式識別、目標檢測、目標跟蹤、基于內(nèi)容的場景理解、特效電影、工業(yè)檢測等計算機視覺領(lǐng)域[1-2]。目前，關(guān)于自然圖像的分割方法可歸類為基于圖論的方法、基于聚類的方法、基于均值漂移的方法以及二叉樹分割的方法。

目前，在眾多圖像分割方法中，出現(xiàn)了大量利用概率密度函數(shù)進行特征聚類的方法，例如基于k-均值聚類、高斯混合建模、模糊c-均值、拉普拉斯建模等。然而，這些方法的缺點在于它們沒有使用先驗信息來增強空間的約束信息，即先驗分布概率πk不依賴于像素xi，因此分割結(jié)果對光照與噪聲影響比較敏感。為了克服這些缺點，一些先驗約束信息被添加到概率密度分割建模中，例如結(jié)構(gòu)信息、空間鄰域約束關(guān)系信息等。由于馬爾科夫模型能夠?qū)⑾闰灱s束信息與概率密度結(jié)合起來，因此基于馬爾科夫隨機場的分割方法受到了廣泛的關(guān)注與研究。為了滿足空間約束的要求，通常利用密度信息的似然項與基于馬爾科夫隨機場模型的先驗偏差項來共同完成空間約束的建模。通過分析發(fā)現(xiàn)，當前大多數(shù)基于概率密度圖像分割的方法都滿足于該框架。這里，值得注意的是相對于基于聚類的方法而言，該類方法不同之處在于假設(shè)先驗信息πi,k隨著像素xi的變化而變化。雖然該類方法在某種程度上減少了噪聲的干擾，但是在進行空間約束時其缺乏足夠的健壯性。

根據(jù)空間約束信息設(shè)計的方式不同，當前基于空間約束的圖像分割方法大致可分為兩大類：第一類，空間約束信息被施加于馬爾科夫隨機場的混合權(quán)重部分，這種分割思想的主要動機來源于直覺觀察，即空間鄰接像素應(yīng)該分配相同的類別標簽。Sanjay-Gopal等[3]首先提出了空間變化的有限混合模型（Spatially Variant Finite Mixture Model，SVFMM），它認為像素被分配的標簽可用最大期望最大似然的相關(guān)統(tǒng)計參數(shù)進行表示，并假設(shè)空間約束的先驗信息滿足馬爾科夫隨機場。雖然該方法能夠增強空間的平滑約束，但由于先驗信息與數(shù)據(jù)間的表達形式為半封閉形式，因此，導(dǎo)致迭代優(yōu)化過程不靈活，且計算復(fù)雜。Blekas等[4]提出了空間約束的有限混合模型（Spatially Constrained Finite Mixture Model，SC-FMM），空間約束信息通過新設(shè)計的凸二次規(guī)劃以及E-M過程進行優(yōu)化，雖能夠獲得較好的分割結(jié)果，但二次規(guī)劃過程計算復(fù)雜、內(nèi)存資源消耗過大。Nikou等[5]提出了類方向自適應(yīng)的空間變化有限模型（Directional Class-Adaptive Spatially Variant Finite Mixture Model，DCA-SVFMM），它設(shè)計了一組新的平滑先驗，通過引入幾個平衡參數(shù)允許空間平滑約束在類內(nèi)不同的方向發(fā)生變化，且它實現(xiàn)了所有統(tǒng)計參數(shù)在EM優(yōu)化的過程中為封閉形式，簡化了優(yōu)化過程，但在完成空間約束的過程中它丟失了部分邊界信息。Sfikas等[6]提出了邊界保留的空間變化有限混合模型（Edge Preserving Spatially Varying Finite Mixtures Model，EPSVFMM），利用學生-t概率密度分布對空間平滑約束進行描述，它能隱含描述非同質(zhì)區(qū)域間的邊界信息，雖該方法能夠提高空間約束的能力，但邊界信息的描述采用U變量映射，導(dǎo)致邊界信息涉及的統(tǒng)計參數(shù)過多，計算復(fù)雜，且缺乏顯性的邊界信息刻畫。

第二類方法，將空間約束信息施加于被分配的類別標簽，通過計算局部領(lǐng)域像素間被分配不同類別標簽時的懲罰來完成空間約束。Chen等[7]提出了最大后驗/最大似然方法，它認為圖像分割問題等價于類別標簽的最大后驗問題，通過4鄰域像素間的亮度差來刻畫空間的懲罰強度。該方法雖能夠得到較高的量化準確率，但分割區(qū)域?qū)?yīng)的邊界比較零散，且抗噪聲性能較差。Liu等[8]提出了多類分段恒定聚類中心描述與圖割優(yōu)化模型結(jié)合的自然圖像分割方法，通過引入測地線活動輪廓邊緣項來完成空間的平滑約束。雖然測地線的引入可提高邊界檢測的能力，但在計算分配標簽的懲罰強度時，采用隱含邊界信息來刻畫空間的約束，其描述能力不夠，極易導(dǎo)致邊界信息的丟失。

為了克服上述兩類方法其在抵制噪聲干擾方面的不足，本文提出了利用全變分流來提取顯著性邊界，并將邊界信息與帶空間約束信息的多變量混合泛化高斯（Multivariable Mixture Generalization Gaussian Distribution，M2GGD）相結(jié)合[9]，通過將待優(yōu)化模型的區(qū)域項和邊緣項，分別轉(zhuǎn)化為多層圖割模型的t-link以及n-link，并利用最大流/最小割算法，可求得全局近似最優(yōu)解。通過迭代優(yōu)化的方式完成自然圖像的分割，最終得到空間約束能力更強，抗噪性能更好的自然圖像分割結(jié)果，系統(tǒng)的具體框架流程如圖1所示。

1 基于全變分流的邊界提取

在圖像分割的過程中，邊界信息通常扮演著重要的作用，由于它不僅能夠刻畫不同目標區(qū)域間的邊界，而且可輔助用于提高高層視覺任務(wù)的區(qū)域理解及描述。由于自然圖像因為光照、陰影、擾動等外界因素的干擾，導(dǎo)致對自然圖像的邊界信息描述缺乏魯棒性，而邊界信息通常是描述多個非同質(zhì)目標區(qū)域之間的重要信息。Brox等[10]認為全變分流具有流值傳播速度的快慢與梯度成反比的特性，基于此本文提出了利用全變分流變化的累積梯度大小來提取圖像的顯著性邊界，進而用于增強圖像分割過程中空間的邊緣約束能力。

假設(shè)自然圖像為I，在實現(xiàn)圖像全變分流時采用各向同性非線性濾波實現(xiàn)擴散，則根據(jù)Brox提出的全變分流，本文通過修改對應(yīng)的全變分流累積梯度為：

圖1 系統(tǒng)的框架流程圖

s,0用于檢測全變分流流值變化的大小，如果s>0，則φ(s,0)=1，否則，φ(s,0)=0。為了在擴散的過程中增強邊界的同時，剔除部分噪聲的干擾，本文對?t In采用各向同性非線性擴散濾波[11]：

這里，g(·)是單調(diào)減函數(shù)，主要用于計算擴散濾波系數(shù)，調(diào)節(jié)參數(shù)α用于增強邊緣并減弱噪聲的影響，參數(shù)β為極小的正數(shù)，通常設(shè)置為1.0×10-3，主要用于防止分母被除以0。在公式（1）中，TMax為擴散濾波總的迭代次數(shù)，用于控制擴散濾波過程的穩(wěn)定收斂。為了在擴散濾波的過程中自適應(yīng)地決定迭代終止，可以采用相鄰兩次擴散濾波全變分流的變化來決定擴散收斂，形式化表達如下：

其中，ρ為比例因子，用于檢測全變分流擴散過程是否收斂，本文取值為0.995。通過上面公式（1）到公式（3）相結(jié)合，可以計算得到通過累積梯度規(guī)則化后的全變流邊，它可用于提高自然圖像分割的空間約束能力。

2 基于M2GGD的空間約束自然圖像建模與優(yōu)化

為了實現(xiàn)有效的自然圖像分割，通常在分割建模的過程中需設(shè)計合理可靠的空間約束信息。根據(jù)Kolmogorov等[12]提出的Graph Cut能量函數(shù)，可將空間約束信息施加于離散的類別標簽?？紤]到特征之間的空間約束信息，可將空間約束信息用于提高圖像分割的健壯性與抗噪聲能力。假設(shè)自然圖像有K類，在構(gòu)建能量函數(shù)的過程中，除了考慮自然圖像的邊界約束信息，同時，還需考慮K類概率密度函數(shù)的局部鄰域空間約束。因此，在構(gòu)建目標能量函數(shù)時需包含兩項信息：一項是數(shù)據(jù)項E1，主要用于描述顏色特征隸屬于空間約束類別的相似程度，另一項是平滑項E2，用于約束空間鄰域范圍內(nèi)特征像素間被分配不同類別標簽時的懲罰。即E=E1+γE2，其中γ為數(shù)據(jù)項與區(qū)域項的權(quán)重調(diào)節(jié)因子。在自然圖像I中，位于第i個像素位置的彩色紋理特征為xi（其中i∈{ }1,2,…,L，L為圖像的尺寸大?。赡茈`屬于K類中的空間約束數(shù)據(jù)項，E1可表示如下：

這里，f(xi|Θk)是第k類多變量泛化高斯概率密度函數(shù)（M2GGD），它具有比高斯函數(shù)更強的概率密度分布描述能力。在不同形狀調(diào)節(jié)參數(shù)βk的設(shè)置下，其概率分布函數(shù)的形狀具有可調(diào)性。其中，ωi,k為權(quán)重，d為顏色特征xi的維數(shù)，βk與Σk分別為第k類的均值向量與協(xié)方差矩陣。需特別注意，在βk分別取值為0.5和1.0時，多變量泛化高斯概率密度函數(shù)退化為拉普拉斯分布與Gaussian分布。且當βk≤1時，它能夠描述具有較尖尾巴型的概率密度分布，與之相反，它能夠描述概率密度分布趨向于均勻的矩形分布。為了方便描述，對于一維情形，其概率密度函數(shù)分布如圖2所示。

圖2 協(xié)方差矩陣為一維時，M2GGD密度分布函數(shù)

這里需特別說明，U()

Π為基于馬爾科夫隨機場的空間約束，為了提高圖像分割的抗噪聲能力，在t+1迭代時可將先驗信息與后驗信息相結(jié)合來提高U()

Π的空間約束能力，即：

且

在公式（6）中，μˉ全變分流與σˉ全變分流分別為公式（1）提取的全變分流邊對應(yīng)的均值與方差。Dis()?計算了局部區(qū)域Ωi內(nèi)特征xi與特征xj間歐氏距離。為了均衡特征之間的差異與全變分流邊的貢獻，引入了權(quán)重因子η1與η2，τ為抗噪聲常數(shù)。歸一化參數(shù)ξˉ可自適應(yīng)計算為：

其中，card(A)表示像素對集合A的總像素對個數(shù)。結(jié)合公式（5）與公式（6），可得在t+1次迭代時帶空間約束能力的能量函數(shù)為：

公式（7）對應(yīng)的能量函數(shù)，其全局近似最優(yōu)化解是NP難問題。由于相關(guān)統(tǒng)計參數(shù)的計算需采用迭代的方式進行優(yōu)化，設(shè)t次迭代時已知，則t+1次的更新可采用E()

t+1對各個統(tǒng)計量求偏導(dǎo)數(shù)等于0計算得到。則，可得：

由公式（8）～（11）可以得到公式（7）對應(yīng)的相關(guān)統(tǒng)計參數(shù)的優(yōu)化解，但其中公式（6）對應(yīng)的邊界約束信息出現(xiàn)丟失，為了獲得公式（7）對應(yīng)的全局近似最優(yōu)解，可采用兩步優(yōu)化的方式進行求解，第一步，對公式（7）中的利用最大期望最大似然進行優(yōu)化求解，得到優(yōu)化后的相關(guān)統(tǒng)計參數(shù)統(tǒng)計。第二步，采用更新后的相關(guān)統(tǒng)計參數(shù)，將公式（7）中更新后的與分別轉(zhuǎn)化多層圖割模型[13]，其中轉(zhuǎn)化為對應(yīng)的t-link，轉(zhuǎn)化為對應(yīng)的n-link。

對于具有K類的多層圖割模型，實際上，它具有K-1層。例如，如圖3所示的一張自然圖像有4類，對應(yīng)的多層圖割模型只有3層。對于每一層，對于相同位置的兩個像素之間的邊具有相同的n-link，而任意相鄰層之間的相同位置的t-link邊則不同。在k-1層與k層之間的t-link邊描述了像素到k類的相似度（區(qū)域項），而n-link顯示了平滑約束（邊緣項）。為了優(yōu)化更新后的區(qū)域項與邊緣項，對應(yīng)的多層圖割模型可以構(gòu)建如下。假設(shè)G=(Ψ,?）是多層圖割模型，是頂點的集合，?是邊的集合。為了方便描述，令A(yù)是具有相同n-link的2維圖層，然后G可以被定義為，這里a是像素在2維圖層A中的坐標，且它位于第l層第a個坐標位置，可以表示為Va,l。于是，頂點集Ψ可定義為：

對于邊集?，它可被切分成兩類集合，一類是t-link邊集，另一類是n-link邊集。假設(shè)t-link邊集為link邊集為。

而Ξ2對應(yīng)于邊緣項，它可被表示為：

對于構(gòu)建完成的多層圖割模型，可利用最大流/最小割進行優(yōu)化求解，通過標簽分配得到對應(yīng)的自然圖像分割結(jié)果，上述優(yōu)化過程的執(zhí)行算法可概括如下：

（1）初始化輸入自然圖像的類別數(shù)K，利用K-means++[14]算法初始化形狀調(diào)節(jié)參數(shù)，均值向量，協(xié)方差矩陣，并利用全變分流提取對應(yīng)的累積梯度，即全變分流邊，且初始迭代次數(shù)為t設(shè)置為0。

（4）利用分割后的標簽圖更新K各自對應(yīng)的統(tǒng)計參數(shù)，同時，檢測分割前后兩次標簽圖的變化大小，如果變化比例較小，則認為分割過程達到穩(wěn)定，并轉(zhuǎn)到步驟（3），否則，轉(zhuǎn)到步驟（5）。

（5）輸出自然圖像分割的結(jié)果，如標簽均值圖或區(qū)域的輪廓等。

3 實驗對比與分析

為了對本文提出自然圖像分割方法的性能進行量化分析與質(zhì)量評估，本文在第三代智能英特爾酷睿TMi7-3612QM四核處理器（2.1 GHz，睿頻可達3.1 GHz），NVIDA GeForce710M獨立顯卡芯片（2 GB獨立顯卡），4 GB DDR3內(nèi)存的筆記本上，采用4種自然圖像分割方法進行對比分析，主要包括：SC-FMM方法[4]、DCASVFMM方法[5]、EP-SVFMM方法[6]以及FR-SCGMM方法[16]。為了驗證本文方法的有效性，在實驗對比分析前需要將本文的相關(guān)統(tǒng)計參數(shù)進行設(shè)置。為了去除噪聲的干擾，同時增強邊緣，擴散濾波系數(shù)α設(shè)置為0.7，數(shù)據(jù)項與邊緣項的調(diào)和參數(shù)γ賦值為2.0。

由于不同的人具有不同的視覺感知模式，通常，對于任意一張自然圖像其最終分割的理想結(jié)果并不是唯一的。為了客觀地度量不同方法的分割量化結(jié)果，本文選擇了兩種不同的量化方法進行度量，主要包括信息變化準則[17]（VOI）和概率隨機檢索[15]（PRI），這兩種量化方法不同于早期依靠人眼直覺觀察的方法，它們更加泛化且不受應(yīng)用環(huán)境的限制。對于VOI度量，它的量化定義如下：

這里需要注意，Stest表示待測試量化的分割圖像結(jié)果，通常一張測試圖像需要與幾張人工分割的結(jié)果進行對比，假設(shè)有K張地面真實的人工分割結(jié)果T={S1,S2,…,SK}，函數(shù)H和I分別代表互信息和熵，通常它們用于度量兩個聚類之間的距離。

對于PRI度量，它可被定義為：

針對自然圖像中包含的邊界信息能夠輔助提高圖像分割的效果，圖4選擇了兩張人工合成的標簽圖像，如圖4（a）所示它們具有不同的亮度值。第一行對應(yīng)的標簽圖像，其包含的亮度值具有較低的對比度，相比而言，第二行合成的標簽圖像具有較高的亮度值對比度。圖4（b）顯示了兩張原圖像分別采用高斯噪聲（均值為0.0，方差為0.3）和高斯噪聲（均值為0.0，方差為0.5）污染后邊界的提取能力。通過觀察發(fā)現(xiàn)，第一行原圖像在噪聲污染后對應(yīng)的邊界變得更加模糊，且出現(xiàn)了部分丟失。而第二行的邊界相對變化較小，但同樣出現(xiàn)了模糊。利用本文提出的全變分流提取的邊，由圖4（c）可見，它能夠很好地刻畫圖像中非同質(zhì)密度區(qū)域間的邊界，且提取了圖像的主要邊界信息。因此，利用全變分流提取圖像的邊界信息，其具有較強的圖像結(jié)構(gòu)描述能力。

圖4 不同噪聲污染情況下，本文方法提取的全變分流邊界

圖5 針對噪聲污染圖像，5種分割方法的健壯性對比測試

為了對本文提出方法的抗噪性能進行測試，圖5采用另外4種自然圖像分割方法作對比分析。在使用高斯噪聲（均值為0.0，方差為0.3）干擾的情況下，由全變分流提取的邊圖5（g）與分割的結(jié)果圖5（h）所示，本文提出的方法能夠很好地將顯著的邊界信息抽取出來，且在全變分流邊界的輔助下，如圖5（h）所示，獲得的標簽分割結(jié)果更加接近于地面真實結(jié)果。相比而言，SCFMM方法、DCA-SVFMM方法以及EP-SVFMM方法，它們對應(yīng)的分割結(jié)果區(qū)域都不同程度地受到了噪聲的干擾，且出現(xiàn)了很多離散、零碎、無意義的噪聲區(qū)域，這極大地限制了最終圖像分割的結(jié)果難以應(yīng)用于高層計算機視覺領(lǐng)域。雖然FR-SCGMM方法分割的區(qū)域相對較完整，但是出現(xiàn)了部分區(qū)域的尖角信息被平滑掉了。此外，為了進一步測試本文提出方法的有效性與可靠性，圖6提供了多張自然場景圖像用于進一步實驗對比分析，由分割 的標簽區(qū)域如 圖6（b）～（f）所示，本文提出方法的分割區(qū) 域整體效果更 好，且標簽 區(qū)域基本能夠 分割出非同質(zhì)的 顏色區(qū)域，與 此同時分割 出的標簽區(qū)域 面積更大，具有 更好的整體性。與此同時，從圖6（g）所示，本文提取的全 變分流邊，具 有描述不同 區(qū)域之間邊界 的能力，這可進 一步說明本文 提出的方法 具有較好的分 割整體性與健壯 性。

圖6 在自然彩色圖像上，5種對比方法的分割效果對比

同時，為了進一步對本文對比的4種分割方法的性能進行客觀量化與對比分析，圖7采用概率隨機檢索PRI[15]與信息熵變化VOI[17]進行量化計算。在對比分析評估前需特別注意，PRI值越大說明分割結(jié)果更加接近于地面真實的分割結(jié)果，且分割性能更優(yōu)，相反，說明分割性能較差。而VOI值越小，說明對比方法的分割效果更好，較大則說明分割效果較差。此外，在統(tǒng)計量化分析前，隨機選取了25張自然彩色圖像用于量化統(tǒng)計分析，并按準確率值升序排列。由圖7（a）、（b）所示的量化準確率曲線所示，本文方法所對應(yīng)的PRI值相對要高于SC-FMM方法、DCA-SVFMM方法、EP-SVFMM方法以及FR-SCGMM方法，而對應(yīng)的VOI值都低于SC-FMM方法、DCA-SVFMM方法、EP-SVFMM方法以及FRSCGMM方法，這說明本文提出的分割方法具有更好的整體分割性能。此外，為了更加清晰可見各種分割方法的整體量化結(jié)果，表1與表2分別計算了5種對比方法各自的均值與方差，由表所示，本文提出方法的PRI均值均大于其他3種對比方法，總體均值達到0.935，且對應(yīng)的VOI值為0.536，均小于其他4種對比方法，這說明本文提出方法的分割效果更好。此外，對應(yīng)的方差分別為0.044與0.251，這說明本文提出的方法具有較高的分割準確率。換而言之，本文方法獲得的最終分割，其具有更好的視覺分割效果，且最終分割結(jié)果更加接近于地面真實的分割結(jié)果。

圖7 5種分割方法按升序的量化準確率曲線對比

表1 PRI量化統(tǒng)計值

表2 VOI量化統(tǒng)計值

4 結(jié)語

本文提出了一種將全變分流邊與M2GGD概率密度相結(jié)合的自然圖像分割方法。通過利用全變分流來提取邊界信息，它能夠很好地描述圖像中非同質(zhì)目標區(qū)域間的邊界，且邊界提取過程具有較強的抗噪聲能力。為了提高圖像分割的效果以及健壯性，通過對多變量混合泛化高斯的數(shù)據(jù)項設(shè)計新的先驗空間約束，結(jié)合全變流邊信息，可極大地提高圖像分割的整體性與視覺效果。通過在自然彩色圖像與合成的圖像上進行分析測試，驗證了本文提出的方法其最終分割的結(jié)果接近于地面真實的人工標記分割結(jié)果，且具有較高的分割準確率，將來可被擴展應(yīng)用于場景理解、模式識別、醫(yī)學圖像分析、基于內(nèi)容的圖像檢索等相關(guān)應(yīng)用領(lǐng)域。