魏明樺，鄭金貴

1.福建農(nóng)林大學(xué) 作物科學(xué)學(xué)院，福州 350007

2.福州職業(yè)技術(shù)學(xué)院 信息技術(shù)工程系，福州 350108

1 引言

圖像分割是機(jī)器視覺與圖像處理學(xué)科的基礎(chǔ)問題，原始圖像像素點(diǎn)通過圖像分割轉(zhuǎn)化成若干個區(qū)域，不但能夠消除大量的冗余信息，還能夠提升后續(xù)圖像處理的性能[1-3]。分割后的圖像區(qū)域帶有自身的尺度約束，使其產(chǎn)生更有意義的性能，而這些性能可以更多地應(yīng)用至機(jī)器視覺的各項應(yīng)用中[4-6]。因此，圖像分割擁有較強(qiáng)的應(yīng)用價值。

圖像分割有早期的閾值分割[7]、Graphcut分割[8]、超像素分割等方法[9]，近幾年朝著不同的方向發(fā)展。有學(xué)者通過融合特征構(gòu)建圖割算法[10]，也有學(xué)者采用可變組件模型的Hoiem算法[11]，還有更為細(xì)致的超像素分割與區(qū)域合并算法[12]，以及基于PFE（piecewiseflatembedding）的多標(biāo)簽圖割算法[13]，另外還有學(xué)者通過深度神經(jīng)網(wǎng)絡(luò)構(gòu)建圖像分割方法[14]。相比于傳統(tǒng)方法，近幾年提出來的層級分割算法產(chǎn)生了更優(yōu)的效果[15]。實際上，按照人類的視覺信息分組過程，層級分割模擬人類視覺，將某個像素點(diǎn)組成的區(qū)域看作是一個層級，從底向上組成層級樹，最終形成復(fù)雜的分割目標(biāo)。人類視覺系統(tǒng)的層次分割規(guī)律模擬至圖像分割上產(chǎn)生的層級分割算法，是當(dāng)前效果顯著，且意義重大的圖像分割算法之一。

當(dāng)前最常用的層級圖像分割算法為超度量輪廓圖（ultrametric contour map,UCM）圖像分割算法[16]。該算法通過方向性分水嶺變換算法將原始圖像中的輪廓信號變換為超度量輪廓圖，再在UCM上迭代地完成相鄰區(qū)域融合以形成圖像的層級分割。然而，該算法在圖像輪廓的提取上，采用分水嶺算法的變換上，以及UCM層級樹的劃分上還存在較多模糊區(qū)域，使其針對色彩范圍大、紋理碎片多的圖像分割不佳，對輪廓適應(yīng)性弱、層級匹配能力較弱且分割碎片較多等。為了解決傳統(tǒng)UCM算法的不足之處，本文提出一種自適應(yīng)目標(biāo)與內(nèi)容匹配的改進(jìn)UCM層級分割圖像算法，該算法使用“輪廓盒子（edge boxes）”提取圖像關(guān)鍵輪廓，然后使用加權(quán)分水嶺算法合并區(qū)域，并采用動態(tài)規(guī)劃的方式自適應(yīng)完成目標(biāo)與內(nèi)容匹配，重新調(diào)整UCM層級樹的尺度，最終完成調(diào)整尺度后的UCM層級圖像分割。

本文的創(chuàng)新點(diǎn)如下：

（1）提出了加權(quán)分水嶺算法，該算法解決了原始算法對圖像輪廓適應(yīng)性弱的問題；

（2）提出了自適應(yīng)目標(biāo)與內(nèi)容匹配的方法，通過動態(tài)規(guī)劃的方式重新調(diào)整UCM層級樹的尺度，使得相同尺度的層級區(qū)域劃分至同一個類別，減少了分割碎片，保證了層級匹配。

2 基于UCM的層級圖像分割算法及其改進(jìn)

UCM層級分割算法首先采用gPb輪廓檢測算子[17]提取圖像關(guān)鍵輪廓，隨后使用有向分水嶺（oriented watershed,OWT）算法將輪廓信號變換為超度量輪廓圖，然后使用UCM算法完成目標(biāo)分割。實際上，由于gPb輪廓算子的計算開銷較大，計算過程比較復(fù)雜。在本文的改進(jìn)UCM層級圖像分割算法中，首先采用“輪廓盒子”[18]提取到圖像的關(guān)鍵輪廓，該方法能夠快速提取到圖像輪廓，大幅度降低圖像分割的時間復(fù)雜度；然后采用改進(jìn)的加權(quán)WT算法將輪廓信號變換為超度量輪廓圖，通過加權(quán)WT算法能夠有效消除傳統(tǒng)OWT算法產(chǎn)生的“偽輪廓”，讓UCM算法更為精確。

2.1 加權(quán)WT算法

在傳統(tǒng)UCM算法中，采用的有向分水嶺（OWT）算法對分水嶺的邊緣完成直線擬合，通過有向的方式可以使分水嶺邊上的每個像素均有一個方向，在進(jìn)行分水嶺賦值過程中將會以一定的邊緣概率選擇相應(yīng)方向上的邊緣，OWT算法能夠很好地解決傳統(tǒng)WT算法產(chǎn)生的“偽輪廓”問題[19]。然而，OWT算法要求輸入的輪廓帶有方向性，但是并不能滿足所有的邊緣檢測算子，適應(yīng)性較弱。因此，本文結(jié)合OWT算法提出了一種改進(jìn)的加權(quán)WT算法，該算法能夠滿足絕大多數(shù)邊緣檢測算子，適應(yīng)性強(qiáng)，且同時能夠有效地解決“偽輪廓”問題。在加權(quán)WT算法中，分為賦值和抑制兩個階段：

（1）賦值階段。由于傳統(tǒng)WT算法將會產(chǎn)生過多的微小碎片分割，首先將原始邊緣E(x,y)通過高斯模糊σ=1后獲得Ef(x,y)；然后采用WT算法，獲得邊緣的基礎(chǔ)分水嶺分割圖Sw(x,y)，使用Sw(x,y)=1表示點(diǎn)(x,y)處對應(yīng)的像素屬于分水嶺的邊，因此分水嶺的邊即可按照原始邊緣檢測分布，通過下式給出的判斷進(jìn)行分水嶺邊的賦值：

經(jīng)過上式計算獲得具有軟邊緣的分水嶺邊緣圖像Ew(x,y)，實際上還是會增強(qiáng)一些邊緣的強(qiáng)度。

（2）抑制階段。在抑制階段中，首先將提取的輪廓Ef(x,y)進(jìn)行非最大值抑制，獲得非最大抑制輪廓Enms(x,y)。圖1給出了抑制后的輪廓結(jié)果。由于Enms(x,y)是按照原始輪廓圖的邊緣進(jìn)行分布的，其并不會產(chǎn)生額外的邊界，從而該輪廓圖可以用于重新加權(quán)分水嶺邊緣的強(qiáng)度值。實際上，通過對分水嶺輪廓Ew(x,y)和非最大抑制輪廓Enms(x,y)進(jìn)行加權(quán)求和，以獲得分水嶺軟邊輪廓圖：

其中，Sw(x,y)=1用于給出限制條件，讓該加權(quán)求和的過程僅發(fā)生在求解的分水嶺邊緣上。圖1給出了加權(quán)WT算法過程與結(jié)果圖。本文改進(jìn)的加權(quán)WT算法能夠通過更為簡便的非最大抑制和加權(quán)運(yùn)算消除“偽輪廓”的影響，同時也不會對輪廓圖有特定方向的要求。在實驗中，α、β的值是根據(jù)BSDS500驗證集上的優(yōu)化計算得到的。在加權(quán)分水嶺算法中，需要通過非最大抑制輪廓來抑制分水嶺輪廓圖像中的細(xì)節(jié)噪聲。根據(jù)圖1中的結(jié)果可以看出，非極大抑制輪廓能夠保留給出原始分水嶺輪廓圖像中的許多紋理細(xì)節(jié)，而分水嶺輪廓的圖像在大輪廓上的結(jié)果較為明顯。在實驗中，應(yīng)該保證權(quán)重α+β=1，為了分別確定兩個不同的權(quán)重，可以通過觀察原始分水嶺輪廓的強(qiáng)度，當(dāng)大輪廓強(qiáng)度過大，而小輪廓幾乎被抑制掉時，α選擇的范圍是α∈[0.35,0.50]，而當(dāng)大輪廓強(qiáng)度一般，小輪廓的部分細(xì)節(jié)還在的情況時，α選擇的范圍是α∈[0.50,0.65]，非極大抑制輪廓的權(quán)重則通過分水嶺輪廓的等式關(guān)系來確定。在圖1的情況下，由于大輪廓的強(qiáng)度較大，選擇α=0.4,β=0.6。

2.2 UCM算法

通過加權(quán)WT算法構(gòu)建的邊緣強(qiáng)度給出了各個像素點(diǎn)滿足真正輪廓的概率，這樣就可以通過邊緣圖的分布來刻畫出圖像分割的層級性?；诖说腢CM算法通過定義在閉合的、非交叉的，帶有權(quán)重的層級輪廓關(guān)系，進(jìn)而完成輪廓信號變換為超度量輪廓圖(UCM)。其中，等級低的層級與弱邊緣相關(guān)聯(lián)，形成圖像的多分割；等級高的層級與強(qiáng)邊緣相關(guān)聯(lián)，形成圖像的欠分割。由于在層級變換過程中可以產(chǎn)生出不同尺度的分割區(qū)域，可以在分割過程中，通過多個層級的區(qū)域信息作為先驗知識，并確定采用哪個層級完成分割任務(wù)。UCM算法可以對每個層級編碼成樹，并對輪廓的強(qiáng)度設(shè)置閾值，通過閾值分割保留閾值之上的輪廓，產(chǎn)生一系列封閉輪廓。對于在UCM中生成的嵌套輪廓，可以通過移除交叉邊緣來完成兩個嵌套區(qū)域的融合。

Fig.1 Procedure and results of weighted watershed algorithm圖1 加權(quán)WT算法過程與結(jié)果圖

UCM通過圖論來構(gòu)建完整的層級區(qū)域樹，并通過貪心算法來實現(xiàn)。在UCM中，假設(shè)初始定義的圖為G=(P0,K0,W(K0))。其中，圖的節(jié)點(diǎn)是層級輪廓的初始區(qū)域P0，節(jié)點(diǎn)之間的邊K0，用于分開兩個相鄰的區(qū)域，邊上的權(quán)重W(K0)是兩個相鄰區(qū)域的距離度量。通過無向圖的定義，可以采用UCM計算出各個輪廓的平均強(qiáng)度，然后將各個邊按照權(quán)重進(jìn)行排序，以迭代的方式，融合當(dāng)前權(quán)重最小的兩個區(qū)域，并移除它們的交叉邊緣。迭代完成的條件是直到整幅輪廓產(chǎn)生的區(qū)域樹的根節(jié)點(diǎn)是整幅圖像，葉子節(jié)點(diǎn)是初始分割P0，上層層級的區(qū)域總是由下層層級的子區(qū)域組合而成。

根據(jù)上述給出的過程，本文構(gòu)建了一個以Edge boxes-加權(quán)WT-UCM的改進(jìn)層級圖像分割算法。圖2給出了采用該方法進(jìn)行圖像分割的一個實例。如圖2（c）所示，通過加權(quán)WT-UCM的過程，可以從圖像輪廓圖上獲得包含有全部層級分割信息的UCM，進(jìn)而求出了該UCM下的圖像分割結(jié)果，如圖2（d）。圖2（e）中給出了取閾值θ=0.4后產(chǎn)生的不同UCM結(jié)果，圖2（f）中給出了相應(yīng)的圖像分割結(jié)果。

Fig.2 Example on improved edge boxes-weighted watershed-UCM algorithm圖2 Edge boxes-加權(quán)WT-UCM的圖像分割算法

3 自適應(yīng)的目標(biāo)與內(nèi)容匹配UCM分割算法

UCM層級樹是通過區(qū)域間的合并獲得的，然而，很難通過實際的角度去處理這些合并以及構(gòu)建UCM層級樹。實際上，圖像的一個分割過程可以被表達(dá)成一個關(guān)于每個像素點(diǎn)的標(biāo)簽矩陣，UCM層級樹則需要更負(fù)責(zé)的標(biāo)簽表達(dá)方式。在本研究中，UCM被用于自適應(yīng)的層級目標(biāo)和內(nèi)容的自適應(yīng)匹配中來，因此構(gòu)建UCM層級樹的剪枝過程成為了分割中的重要部分，因為剪枝后的部分對圖像分割意義重大。由于UCM層級樹是基于低等級的特征構(gòu)造出來，例如，邊緣、顏色或紋理特征。實際上，這些特征目標(biāo)的尺度并不能夠直接形成連貫，因此在層級豎行將會產(chǎn)生一定的差異性。本文提出的方法能夠從UCM層級樹的中等級特征中學(xué)習(xí)到目標(biāo)的尺度概念。本文算法的目的是盡可能多地利用UCM層級樹的中等級特征的特性，而盡量避免獲得UCM層級樹中的高等級特征。中等級特征能夠為算法在分割圖像過程中獲得超越尺度的限制，讓分割的結(jié)果表現(xiàn)在各個中級特征尺度下，分割的效果更為平滑。在這些基礎(chǔ)的分析之上，本文算法需要首先以低等級的特征構(gòu)造出UCM層級樹，然后在UCM層級樹上探索并構(gòu)建出中等級特征，以最大程度獲得層級圖像分割圖像的一部分。另外，本文的自適應(yīng)匹配算法旨在提供一個在所有圖像中的全局自適應(yīng)匹配過程，也就是說，當(dāng)改變待分割圖像的時候，依然能夠通過該算法提供尺度的層級來保證層級樹中的中等級特征，保證算法對所有圖像分割的有效性。當(dāng)UCM層級分割算法包含有圖像中的大量多尺度分解時，此時并不需要提取如此豐富的UCM層級知識，因為當(dāng)前形成的UCM層級并不是完全按照分割目標(biāo)與分割內(nèi)容相匹配來完成的。簡單來說，去掉其中一個UCM層級將會造成某些輪廓出現(xiàn)欠分割，同時另一些輪廓出現(xiàn)過分割。在本章中，提出另一個可以自適應(yīng)匹配分割層級的算法，該算法能夠使得圖像的UCM層級在實際使用過程中更為容易。首先將UCM層級的尺度標(biāo)上標(biāo)簽，然后采用自適應(yīng)匹配的策略完成對目標(biāo)和內(nèi)容的匹配。

3.1 UCM層級尺度打標(biāo)簽

使用τ表示圖像經(jīng)過UCM層級分割后產(chǎn)生的層級樹，且vi是層級樹上第i個節(jié)點(diǎn)，與圖像分割片段相對應(yīng)。在層級樹τ中，本文的任務(wù)是尋找樹的切片過程ξ，該切片過程能夠?qū)⒄麄€層級樹的所有節(jié)點(diǎn)（UCM層級）劃分為三部分：L-、L、L+。該三部分分別表示欠分割層級、適合分割層級和過分割層級。圖3給出了一個將UCM層級樹劃分的例子。

Fig.3 Example of UCM hierarchical tree slice圖3 UCM層級樹劃分例子

UCM層級樹劃分的問題可以看作是三類別標(biāo)簽的分類問題。對于每個節(jié)點(diǎn)vi，使用x(vi)∈{-1,0,1}表示它的類別標(biāo)簽，其中的-1、0、1可以分別表示對應(yīng)的L-、L、L+分類?，F(xiàn)在假設(shè)有映射函數(shù)f(vi):vi→[-1,1]用于提供檢測UCM層級樹之間的間隔尺度。其中，負(fù)值表示的是欠分割的層級，0表示的是合適分割的層級，正值表示的是過分割的層級。f(vi)的實際輸出值構(gòu)成了是否適合層級分割的偏差值，后面給出求解f(vi)的學(xué)習(xí)算法過程。

層級樹的各個節(jié)點(diǎn)vi的打標(biāo)簽過程可以通過貪婪地求解每個節(jié)點(diǎn)的最優(yōu)得分類別來完成。然而，并不是任何的標(biāo)簽都能夠表達(dá)出層級樹的合理劃分。根據(jù)文獻(xiàn)[20]中對層級樹劃分的定義來看，層級樹的劃分包含有一組節(jié)點(diǎn)，且這些節(jié)點(diǎn)將會組成任意一條路徑Pn,n∈{1,2,…,N}，且所有路徑都是從葉子節(jié)點(diǎn)開始到根節(jié)點(diǎn)結(jié)束v0，并且路徑中僅僅包含該組所有節(jié)點(diǎn)一次。在圖3（a）中用綠色的線條給出了一條路徑的例子。

其中，#(v)表示的是層級樹節(jié)點(diǎn)v的能量大小，λ是兩個能量項之間的權(quán)重值，l(vi)為節(jié)點(diǎn)標(biāo)簽vi∈{L-,L+}定義的損失函數(shù)，該損失函數(shù)通過x(vi)和f(vi)之間符號的一致性來定義：

損失函數(shù)通過下面兩個對立的條件進(jìn)行懲罰，從而解決優(yōu)化問題：

（1）具有正值得分的過分割對應(yīng)的層級區(qū)域；

（2）具有負(fù)值得分的欠分割對應(yīng)的層級區(qū)域。

在本文中，通過動態(tài)規(guī)劃方法解決該優(yōu)化問題。

3.1.1 動態(tài)規(guī)劃方法推理

UCM層級樹打標(biāo)簽的優(yōu)化問題是帶受限條件的結(jié)構(gòu)化問題（式（3）），可以通過迭代的動態(tài)規(guī)劃方法解決該優(yōu)化問題。對于任意子樹的根節(jié)點(diǎn)v，它的最優(yōu)劃分L(v)或者是節(jié)點(diǎn)本身，或者是它所有孩子節(jié)點(diǎn)vc的最優(yōu)劃分組合，最優(yōu)劃分依賴于能量更低的孩子節(jié)點(diǎn)組成的劃分路徑。因此，該優(yōu)化問題存在更優(yōu)的子結(jié)構(gòu)，且能夠輕易地適應(yīng)動態(tài)規(guī)劃的框架，因此采用動態(tài)規(guī)劃方法可以求解最優(yōu)的全局方案。

該優(yōu)化問題是針對UCM層級樹自底向上求解。對于每個子樹的當(dāng)前根節(jié)點(diǎn)v，其相應(yīng)的能量v∈L(v)可以被計算出來，并且其所有孩子節(jié)點(diǎn)的最優(yōu)劃分的能量也需要被計算出來用于對比。算法可以來回遍歷，并且所有的最優(yōu)化劃分與子節(jié)點(diǎn)的最優(yōu)化劃分之間的能量比較可以在算法到達(dá)根節(jié)點(diǎn)之前完成。當(dāng)算法迭代到根節(jié)點(diǎn)時，即可獲取UCM層級樹的全局最優(yōu)劃分結(jié)果，即式（3）的最優(yōu)結(jié)果。采用動態(tài)規(guī)劃算法求解該優(yōu)化問題效率較高，可以在O(N)的時間復(fù)雜度內(nèi)完成全局最優(yōu)劃分的求解。

動態(tài)規(guī)劃方法推理過程如下所示：

輸入：UCM層級樹節(jié)點(diǎn)vi。

3.1.2 預(yù)測層級區(qū)域的尺度

為了預(yù)測某個UCM層級區(qū)域的尺度屬于欠分割、適合分割或過分割，采用當(dāng)前機(jī)器視覺系統(tǒng)的一般方法，通過人類標(biāo)注數(shù)據(jù)學(xué)習(xí)出一個預(yù)測器，再采用該預(yù)測器對UCM層級區(qū)域完成預(yù)測。為了達(dá)到學(xué)習(xí)預(yù)測器的目的，定義了一個判斷過程用于比較當(dāng)前圖像層級區(qū)域r與相應(yīng)的人類標(biāo)準(zhǔn)的圖像層級區(qū)域g的尺度。在比較和判斷中，計算層級區(qū)域r與層級區(qū)域g的重復(fù)率(interaction of unit,IoU)，重復(fù)率最高的人類主觀判斷標(biāo)準(zhǔn)結(jié)果將被認(rèn)為是最佳結(jié)果。

當(dāng)獲得了最佳尺度的層級區(qū)域g之后，層級區(qū)域r的尺度可以通過下式定義計算得出：

其中，S(r)的取值范圍是[-1,1]，負(fù)值取值被認(rèn)為是欠分割，0取值被認(rèn)為是合適分割，正值取值被認(rèn)為是過分割，取值的大小反映了欠分割或過分割的程度，也就是期望從f(v)中獲得的最優(yōu)結(jié)果。通過式（5），可以計算出各個層級區(qū)域的尺度，并且可以將這些尺度結(jié)果用于訓(xùn)練層級區(qū)域的尺度預(yù)測器。

在學(xué)習(xí)層級區(qū)域的尺度預(yù)測器中，采用隨機(jī)森林回歸[22]作為預(yù)測f(v)的機(jī)器學(xué)習(xí)模型，由于隨機(jī)森林屬于級聯(lián)分類器，可以在不同的級別中對不同類型的特征進(jìn)行分類，最終再通過加權(quán)分類，適合本文采用的組合特征的分類。對于隨機(jī)森林回歸的輸入特征，使用了低等級和中等級的組合特征，提取方法采用了文獻(xiàn)[22]中使用的目標(biāo)提取過程。設(shè)計了獲取一系列區(qū)域特性的特征，并且在實驗結(jié)果中給出了組合特征的具體描述。

3.2 層級目標(biāo)與內(nèi)容自適應(yīng)匹配

在通過動態(tài)規(guī)劃方法求解出UCM層級區(qū)域的最優(yōu)劃分后，根據(jù)該最優(yōu)化劃分展開UCM層級樹。圖4給出了本文提出的層級目標(biāo)與內(nèi)容自適應(yīng)匹配過程。其中，圖4（a）表示的是所有目標(biāo)都存在于相同尺度的UCM層級樹，而圖4（b）則表示出了層級目標(biāo)與內(nèi)容自適應(yīng)后的UCM層級樹，可以看出相似尺度的分割目標(biāo)都處在UCM層級樹的同一層。在實驗中，使用每個最優(yōu)節(jié)點(diǎn)的閾值作為控制點(diǎn)，并且采用該控制點(diǎn)對原始的層級進(jìn)行線性插值。在UCM層級分割產(chǎn)生的層級樹中，包含有大小為(2h+1)×(2w+1)的節(jié)點(diǎn)矩陣，其中h是原始圖像的高度，w是原始圖像的寬度。對于原始圖像中的每一對相鄰節(jié)點(diǎn)，UCM矩陣中的值表示了它們的邊界強(qiáng)度，取值范圍為[0,1]。下面給出本文的層級目標(biāo)與內(nèi)容自適應(yīng)匹配的算法過程。

Fig.4 Matching procedure of hierarchical objects and self-adapted contexts圖4 層級目標(biāo)與內(nèi)容自適應(yīng)匹配過程

輸入：UCM層級樹MUCM，以及該層級樹的最優(yōu)劃分S。

其中，Boundary(r)表示的是UCM層級區(qū)域r對應(yīng)的邊界元素，InnerArea(r)表示的是其內(nèi)部區(qū)域。UCM層級樹排列的最優(yōu)化劃分的閾值采用的是UCM算法中的閾值，由于UCM算法針對任何閾值都能夠保留好層級，因此閾值的實際取值在合適范圍內(nèi)均可。在傳統(tǒng)的UCM算法中，層級的構(gòu)建采用的是貪婪圖的方法，采用層級間的相似性的鏈接，通過迭代的方式完成相似區(qū)域的合并，針對初始化定義的圖G=(P0,K0,W(K0))進(jìn)行如下的迭代操作：

（1）選擇最小化的權(quán)重邊緣：

（2）使用最小化的權(quán)重邊緣C*迭代的分割區(qū)域P0，獲得多個子區(qū)域R1,R2∈P0。

（3）合并兩個子區(qū)域R=R1?R2，并更新P0←P0{R1,R2}?{R},K0←K0{C*}。

（4）分離的相鄰子區(qū)域K0為空，那么停止迭代，否則更新相鄰子鄰域之間的權(quán)重W(K0)，并且重復(fù)（2）、（3）兩個步驟。

該步驟可以產(chǎn)生以區(qū)域為元素的UCM層級樹，其中的葉子包含有初始化區(qū)域P0，而根節(jié)點(diǎn)則包含的是整個圖像，所有的區(qū)域都通過包含關(guān)系被UCM層級樹排序好。因此，可以通過該UCM層級樹中加權(quán)每一個邊界的大小來獲得實值的分割后圖像。實際上，通過UCM層級樹形成的分割結(jié)果是帶權(quán)重的邊緣圖像，因此具有出色的特性，可以通過任何的閾值產(chǎn)生合適的封閉邊緣。為了讓結(jié)果更為穩(wěn)定，在實際分割過程中的閾值設(shè)置在θ∈[0.4,0.6]范圍內(nèi)，在本文的展示圖像上，使用閾值θ=0.4來排列最優(yōu)的劃分，使得后續(xù)的分割變得更為簡便。

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)集

為了驗證本文提出算法的可行性和有效性，本文采用BSD500數(shù)據(jù)集作為實驗數(shù)據(jù)集。該數(shù)據(jù)集中包含有500張圖像，其中200張圖像作為訓(xùn)練集，100張圖像作為驗證集，200張圖像作為測試集。每張圖像邀請5個不同的學(xué)生進(jìn)行人工標(biāo)注，并使用標(biāo)注的平均值作為該圖像對應(yīng)的人工標(biāo)注類別。在圖像分割對比的指標(biāo)上，分別選擇了分割掩蓋率（segment cover,SC）、概率邊緣指標(biāo)（probabilistic region index,PRI）和信息變化率（information variation,IV）3個衡量指標(biāo)，3個指標(biāo)分別在最優(yōu)數(shù)據(jù)集尺度（optimal dataset scale,ODS）和最優(yōu)圖像尺度（optimal image scale,OIS）上進(jìn)行衡量[23]。

4.2 實驗過程

在本文的對比實驗過程中，針對以下5種方法進(jìn)行對比：

（1）gPb-OWT-UCM算法（POU）[16]；

（2）Edge boxes-OWT-UCM算法（EOU）[16,18]；

（3）gPb-加權(quán)OWT-UCM算法（PWU）[12,16]；

（4）Edgeboxes-加權(quán)OWT-UCM算法（EWU）[12,16,18]；

（5）Edge boxes-加權(quán)OWT-UCM算法+自適應(yīng)目標(biāo)與內(nèi)容匹配算法（EWUR）（本文算法）。

訓(xùn)練過程：BSDS500數(shù)據(jù)集的訓(xùn)練集和驗證集合并到一起作為訓(xùn)練集，用于對隨機(jī)森林回歸的訓(xùn)練。5種對比算法用于形成UCM層級樹，從訓(xùn)練樣本中提取出UCM層級區(qū)域。針對每種算法訓(xùn)練出與之相對應(yīng)的層級區(qū)域尺度預(yù)測器。由于層級區(qū)域中有很大一部分區(qū)域?qū)儆诒容^小的待分割區(qū)域，并且從這些比較小的待分割區(qū)域中提取混合特征是不可靠的，因此在訓(xùn)練預(yù)測器過程中排除一些小于50個像素點(diǎn)的小分割區(qū)域。特別是對于每個待預(yù)測的層級區(qū)域r，通過獲取人類主觀確定的最優(yōu)層級區(qū)域g的最大IoU得分來給予這些區(qū)域標(biāo)簽。通過式（5），可以計算出層級區(qū)域r的相對尺度對應(yīng)的區(qū)域標(biāo)簽。對于區(qū)域r中想要提取的組合特征，采用文獻(xiàn)[23]中給出的目標(biāo)候選提取算法提取獲得。在這種情況下，較大的中級等級特征組合被定義用于描述層級區(qū)域，采用的組合特征如下所述：

（1）圖分布特征：交叉、交叉率、歸一化交叉和非平衡歸一化交叉。

（2）區(qū)域特征：面積、周長、候選框大小、等價橢圓最大的和最小的坐標(biāo)系長度、離心率、方位、凸包區(qū)域，以及歐拉系數(shù)。

（3）完型特征：內(nèi)部和外部區(qū)域紋理相似性、內(nèi)部和外部區(qū)域亮度相似性、內(nèi)部和外部區(qū)域邊緣能量以及曲線連續(xù)性和曲線凸包。

從UCM層級樹中一致采樣獲得的層級區(qū)域子集中提取到上述的組合特征。在使用組合特征訓(xùn)練隨機(jī)森林回歸預(yù)測器過程中的參數(shù)設(shè)置如下，每個隨機(jī)森林包含有100個決策樹；動態(tài)規(guī)劃優(yōu)化式（3）中的λ=0.1用于平衡3種不同尺度組的信息，因為在最優(yōu)劃分L上將會有更多的過分割和欠分割層級區(qū)域。

4.3 實驗結(jié)果

表1給出了實驗中5種圖像分割算法的對比結(jié)果。從表1中的結(jié)果可以看出，通過改進(jìn)的輪廓提取算法、加權(quán)分水嶺算法以及自適應(yīng)的目標(biāo)與內(nèi)容匹配的改進(jìn)獲得了相當(dāng)大的分割效果提升，更重要的是，在分割性能上與傳統(tǒng)UCM算法也相差不大。相比于OIS指標(biāo)，本文的改進(jìn)算法在ODS指標(biāo)上的性能提升更明顯，因為OIS指標(biāo)隸屬于對于單個圖像求解最優(yōu)，單個圖像的尋優(yōu)將會減少機(jī)器學(xué)習(xí)的知識模型帶來的優(yōu)勢。因此，在圖像分割效果的對比指標(biāo)上，ODS指標(biāo)比OIS指標(biāo)在實際機(jī)器視覺應(yīng)用上具有更強(qiáng)的實用價值，因為實際應(yīng)用中并沒有人類標(biāo)注的最優(yōu)標(biāo)簽。

Table 1 Comparison results of 5 different algorithms in experiments表1 實驗中5種圖像分割算法的對比結(jié)果

圖5給出了4幅典型的采用目標(biāo)與內(nèi)容匹配的UCM層級分割算法的實驗結(jié)果。最左邊給出了原始圖像，從左至右則給出了自適應(yīng)尺度由精到簡的圖像分割結(jié)果，紅框給出了人類主觀的分割最優(yōu)結(jié)果。從圖5的分割結(jié)果中可以看出，當(dāng)平坦的區(qū)域通過自適應(yīng)匹配取出后，自適應(yīng)層級匹配后的分割結(jié)果能夠形成與人類更接近的特性。更重要的是，在自適應(yīng)匹配之后，UCM層級形成了圖像的連續(xù)區(qū)域，包括過分割、合適分割和欠分割層級區(qū)域，且這些區(qū)域是從上到下的層級。這種分割特性能夠讓本文提出的圖像分割算法應(yīng)用至更高級的機(jī)器視覺領(lǐng)域中。

圖6給出了本文實驗驗證的五種算法的分割結(jié)果對比。分別是實驗過程中提到的POU算法、EOU算法、PWU算法、EWU算法和EWUR算法。從圖6的對比結(jié)果中可以看出，本文提出的改進(jìn)算法比傳統(tǒng)UCM層級分割算法獲得了較大的提升。從初始輪廓提取、分水嶺輪廓合并到自適應(yīng)層級與內(nèi)容相匹配，圖像在分割過程中的效果獲得了一系列的提升，該方法能夠更好地適用于機(jī)器視覺領(lǐng)域中的目標(biāo)提取、三維重建等復(fù)雜任務(wù)。實際上，通過自適應(yīng)層級與內(nèi)容相匹配，本文構(gòu)建的算法可以讓處于同級別的層級能夠在分割過程中合并至相同分割層級中，減少圖像分割過程中的碎片區(qū)域，讓分割結(jié)果變得更為緊湊，本文提出的算法能夠更好地保留跨層級之間的邊緣。

4.4 算法對比

為了驗證本文提出的算法與現(xiàn)階段主流圖像分割算法之間的分割效果及分割性能，本文選擇了Threshold[7]、FusionCut[10]、DeepNN[14]、Hoiem[11]、ISCRA（image segmentation by cascaded region agglomeration）[12]以及PFE[13]等算法進(jìn)行了分割效果的對比。表2給出了本文算法與主流圖像分割算法的對比結(jié)果。仍然采用SC、PRI和IV三個指標(biāo)分別在ODS和OIS上進(jìn)行了對比。從表2的結(jié)果中可以看出，本文提出的算法在SC和IV指標(biāo)上獲得了最佳的效果，在PRI指標(biāo)上，最新提出的PFE算法獲得了最好的效果。值得注意的是，本文提出的自適應(yīng)層級與內(nèi)容相匹配的優(yōu)化過程，同樣可以適用至PFE+MCG（multiscale combinatorial grouping）算法中，使其獲得更優(yōu)的效果。

Fig.5 Results of UCM based on self-adapted objects and context圖5 目標(biāo)與內(nèi)容匹配的UCM層級分割算法結(jié)果

Fig.6 Comparison results of 5 different image segmentation algorithms圖6 5種圖像分割算法的對比結(jié)果

Table 2 Comparison results between proposed algorithm and state-of-the-art algorithms表2 本文算法與主流圖像分割算法對比結(jié)果

4.5 實驗復(fù)雜度對比

本文的實驗在Windows 10 64 bit系統(tǒng)，Genuine Intel?i7-6300 CPU，8 GB內(nèi)存的環(huán)境下進(jìn)行。表3給出了在BSDS500數(shù)據(jù)集上各種不同算法的時間復(fù)雜度對比。從該表中的對比結(jié)果可以看出，本文算法的時間消耗集中在UCM層級樹和特征提取過程中，在隨機(jī)森林回歸預(yù)測與動態(tài)規(guī)劃的優(yōu)化過程中的時間消耗不大，與主流算法之間的時間復(fù)雜度消耗處于同級別。

5 結(jié)束語

本文通過“輪廓盒子”提升了UCM算法的輪廓提取性能，并采用加權(quán)WT算法解決了輪廓適應(yīng)性問題；隨后采用動態(tài)規(guī)劃自適應(yīng)調(diào)整目標(biāo)與內(nèi)容的匹配，提升了UCM層級算法的分割精度，解決了層級匹配能力較弱且分割碎片較多等問題。然而，本文算法還存在提升的空間，今后的研究包括為層級圖像分割算法提供更為精準(zhǔn)的層級劃分以及更高的算法效率，以期滿足更多的機(jī)器視覺和圖像處理場景，獲得更多的應(yīng)用。