陳 肖，王 敏，陶銘洋

(河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇 南京 211100)

0 引言

人類的視覺是一個全局識別的綜合系統(tǒng)。人類在識別路上行人的時候，不只是通過行人的輪廓，還有許多其他的信息，比如行人所站立的地面、馬路的三維結(jié)構(gòu)、觀察者的方向等。這給計(jì)算機(jī)視覺研究人員極大的啟發(fā)。

當(dāng)前，大多數(shù)目標(biāo)識別算法都是單純地采用局部信息，例如，現(xiàn)有的物體識別算法［1－2］大都假設(shè)圖像中一個物體的所有相關(guān)信息都存在于圖像平面的一個小窗口中。這類方法典型的弊端就是經(jīng)常在目標(biāo)不可能出現(xiàn)的地方檢測到目標(biāo)，例如:在桌子上檢測到汽車，在樹干上檢測到人臉等。如果計(jì)算機(jī)視覺的最終目標(biāo)是像人類一樣觀察這個世界，就必須從圖像整體出發(fā)，考慮物體之間的關(guān)系，即上下文信息。

近年來，出現(xiàn)了一些相關(guān)的有影響力的論文。Torralba等人［3－4］論述了全局上下文信息在目標(biāo)檢測中的重要性。Bose［5］等人用圖像的底層特征來粗略地描述場景。其他一些研究整合了局部上下文信息，利用隨機(jī)場的方法也得到了不錯的結(jié)果［6－7］。然而這些方法存在一個共性的問題:它們建立的關(guān)系都是二維圖像上的關(guān)系，而不是三維世界中的真實(shí)關(guān)系。事實(shí)證明這種局限性會忽略一些重要的信息，例如尺度關(guān)系、表面方向等。而三維上下文信息能更好地說明物體之間的關(guān)系。

本文的創(chuàng)新點(diǎn)是將三維上下文信息成功地引入場景圖像的幾何標(biāo)記，并使用可靠性高的逐步構(gòu)建場景結(jié)構(gòu)的方法，更好地完成了圖像的幾何分割工作。

1 超像素

數(shù)字圖像可以簡單表示為RGB像素點(diǎn)矩陣。在不考慮像素間關(guān)系的情況下，只能得到一些簡單的信息，包括像素顏色等。本方法的第一步就是利用圖像的過分割來獲取超像素，超像素是具有相似外觀的相鄰像素的集合，超像素與普通像素不同，它不僅能提供顏色信息，同時還有紋理、形狀等其他底層信息。這樣在提取特征的時候，更多的特征信息可以幫助后續(xù)的機(jī)器學(xué)習(xí)算法得到更好的結(jié)果。本文采用Felzenszwalb［8］提供的基于圖的圖像分割方法產(chǎn)生超像素，該方法將每個像素看作是圖模型的一個節(jié)點(diǎn)，分析節(jié)點(diǎn)之間的顏色差異決定是否進(jìn)行合并，從而達(dá)到圖像分割獲取超像素的目的。該方法速度快，得到的圖像區(qū)域幾何標(biāo)簽一致性較好。

2 特征提取

在特征提取部分，本方法提取了一系列特征，包括:顏色、紋理、位置以及三維上下文特征。

2.1 顏色特征

顏色本身對三維方向的貢獻(xiàn)并不是很大，然而通過建立顏色模型，可以粗略地判斷被檢測的對象是特定幾何類別的物體或者材料。這使得顏色特征成為了一個非常重要的信息。例如天空經(jīng)常是藍(lán)色或者白色的，地面經(jīng)常是綠色的草地或者是棕色的土地等。分割區(qū)域的顏色特征本文采用RGB和HSV兩個色彩空間，計(jì)算出分割區(qū)域中每個像素各個分量的均值，作為其顏色特征。

2.2 紋理特征

和顏色特征類似，紋理特征也建立了物體和材料與幾何類別之間的關(guān)系。這是因?yàn)樨Q直類的物體更容易產(chǎn)生縱向紋理，而水平類的物體更容易產(chǎn)生橫向紋理。本文采用了 Leung and Malik設(shè)計(jì)的 Filter Bank［9］來表示紋理特征。

2.3 三維上下文特征

平面的消失線完全確定了該平面相對于觀察者的三維方向，但是這些信息很難檢測，尤其是在室外場景中。本文采用文獻(xiàn)［10］所介紹的方法進(jìn)行直線邊緣的檢測以及消失點(diǎn)的估計(jì)。

在人工場景圖像中，可以從圖像中提取出大量的直線邊緣，通過統(tǒng)計(jì)這些直線邊緣以及它們的交點(diǎn)，可以獲取平面消失點(diǎn)或消失線的位置。這里可以得出一系列可能的消失點(diǎn)以及每條線屬于每個消失點(diǎn)的概率。如果得到的消失點(diǎn)的數(shù)目小于3，就不考慮缺少的那個消失點(diǎn)。根據(jù)消失點(diǎn)的位置，可以得到一些結(jié)論:出現(xiàn)位置非常高或者非常低的消失點(diǎn)，往往就是豎直類的消失點(diǎn);同理，高度位于圖像中間位置的消失點(diǎn)往往就是水平類的消失點(diǎn)。

確定了消失點(diǎn)(消失線)的位置之后，可以根據(jù)分割區(qū)域與消失點(diǎn)之間的位置關(guān)系進(jìn)行大量的數(shù)據(jù)統(tǒng)計(jì)，包括:(1)分割區(qū)域在消失線之上、之下或者跨越消失線;(2)分割區(qū)域的重心到消失線之間的距離;(3)分割區(qū)域中貢獻(xiàn)某消失點(diǎn)的線段像素?cái)?shù)量。這些均屬于三維上下文信息。

3 圖像的多尺度分割

要估計(jì)出一個超像素區(qū)域的幾何方向(幾何標(biāo)簽)，需要尋找大量的圖像區(qū)域來計(jì)算上述復(fù)雜的特征。一種可行的方法就是利用多尺度圖像分割算法，將一幅圖像按不同的尺度進(jìn)行分割，可以得到大量的圖像區(qū)域。

為了提高分割的質(zhì)量，本文在基本特征的基礎(chǔ)上加入了每個分割區(qū)域的空間位置信息。理想狀態(tài)下，要估計(jì)所有可能的分割來選取最優(yōu)分割區(qū)域，這顯然難以操作。Hoiem等人［11］采取了一種簡單的方法，將超像素組合成為更大的連續(xù)的分割區(qū)域，而組合的依據(jù)就是2個相鄰超像素或分割區(qū)域之間的似然值，當(dāng)然這些似然值都是從訓(xùn)練圖像中學(xué)習(xí)得來的。本文也采取了這種方法，其算法流程見圖1。

圖1 多尺度分割算法流程

圖2 圖像的多尺度分割，(1)(2)(3)(4)的分割區(qū)域數(shù)分別是 5，10，50，100

場景圖像的多尺度分割效果如圖2所示，該方法根據(jù)預(yù)設(shè)分割區(qū)域的數(shù)量，得到了相應(yīng)的分割結(jié)果。

4 幾何標(biāo)記

要達(dá)到幾何標(biāo)記的目的，需要估計(jì)每個分割區(qū)域?qū)儆诿總€標(biāo)簽的似然值，這里的標(biāo)簽為幾何標(biāo)簽，即天空、豎直、水平3種。

4.1 分類器

本文利用boosted決策樹進(jìn)行分類。決策樹可以很好地組合弱分類器，它們提供了一個自動的特征選擇，每個決策樹提供一個數(shù)據(jù)的分割面并輸出一個帶有置信權(quán)值的結(jié)果。本文訓(xùn)練2種分類器:同標(biāo)簽分類器和同質(zhì)分類器，所謂的同質(zhì)是指一個分割區(qū)域中所有的超像素都屬于同一個標(biāo)簽。分類器訓(xùn)練算法如圖3所示。

圖3 boosted決策樹訓(xùn)練流程

對于同標(biāo)簽分類器，每個分割區(qū)域的初始權(quán)值是相同的。對于同質(zhì)分類器，初始的權(quán)值是分割區(qū)域面積與整個圖像的面積的比值。分割區(qū)域之間的面積差異比較大時，較大分割區(qū)域的重要性要遠(yuǎn)高于較小區(qū)域。因此，這種權(quán)值的初始化方式也更符合實(shí)際。

同標(biāo)簽分類器輸出估計(jì)值P(yi=yj|I)，其中i，j是相鄰的2個超像素，I是圖像數(shù)據(jù)。同質(zhì)分類器輸出的是第k個分割區(qū)域的P(sk|I)。

4.2 訓(xùn)練和推理

對于訓(xùn)練樣本中的每幅圖像，均采取以下步驟:先將圖像分割成超像素，提取每個超像素的特征，接著對每一幅圖像進(jìn)行多尺度分割，并對分割出來的區(qū)域進(jìn)行手工標(biāo)記，再計(jì)算每個分割的特征向量。根據(jù)前面的方法訓(xùn)練標(biāo)簽分類器和同質(zhì)分類器。

在推理階段，同樣要將圖像分割為超像素，并利用訓(xùn)練好的同標(biāo)簽分類器對圖像進(jìn)行多尺度分割，然后重新計(jì)算每個分割的特征向量，再對每個可能的標(biāo)簽計(jì)算其標(biāo)簽似然值P(yj|I，sj)，計(jì)算同質(zhì)似然值P(sj|I)，最終求出每個超像素的標(biāo)簽置信度:

5 實(shí)驗(yàn)及結(jié)果

本實(shí)驗(yàn)采用來自Stephen Gould［12］的數(shù)據(jù)集。該數(shù)據(jù)集共有715幅圖像。統(tǒng)計(jì)整個數(shù)據(jù)集，3個幾何標(biāo)簽類別水平、豎直、天空所占的比例分別為31.4%、48.0%、20.6%。隨機(jī)選取其中的300幅，以50幅為一組分為6組，將第一組用于訓(xùn)練同標(biāo)簽分類器，以估計(jì)相鄰2個超像素屬于相同標(biāo)簽的概率。剩余的5組進(jìn)行交叉驗(yàn)證。

首先利用上面的同標(biāo)簽分類器對每幅圖像進(jìn)行多尺度分割。對于每個組進(jìn)行測試時，都用其余4組進(jìn)行幾何分類器和同質(zhì)分類器的訓(xùn)練。最終對后5組的所有圖像進(jìn)行幾何分割。得到的分割結(jié)果如圖4所示。

圖4 分割結(jié)果

通過對幾何分割的最終結(jié)果與其數(shù)據(jù)集中的原始標(biāo)簽進(jìn)行對比，得出了實(shí)驗(yàn)的混淆矩陣。再重復(fù)上述過程，此次加入三維上下文信息得到新的混淆矩陣，通過對比2個混淆矩陣(見表1、表2)，加入三維上下文信息后，本文方法幾何分割的準(zhǔn)確率更高。

表1 原方法得到的混淆矩陣

表2 本文方法得到的混淆矩陣

6 結(jié)束語

本文提出的基于上下文的圖像幾何分割方法，成功地將三維上下文信息引入到圖像的幾何分割中，建立了三維空間中物體之間的關(guān)系，提高了幾何分割的準(zhǔn)確率。然而，這種方法還存在效率不高、運(yùn)算復(fù)雜、誤識別等不足，這些問題將在今后的研究工作中進(jìn)一步解決。

:

［1］Schneiderman H.Learning a restricted Bayesian network for object detection［C］//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2004，2:639－646.

［2］Viola P，Jones M J.Robust real－time face detection［J］.International Journal of Computer Vision，2004，57(2):137－154.

［3］Torralba A.Contextual priming for object detection［J］.International Journal of Computer Vision，2003，53(2):169－191.

［4］Torralba A，Murphy K P，F(xiàn)reeman W T.Contextual models for object detection using boosted random fields［C］//Advances in Neural Information Processing Systems(NIPS).2004.

［5］Bose B，Grimson E.Improving object classification in farfield video［C］//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2004:181－188.

［6］Carbonetto P，de Freitas N，Barnard K.A statistical model for general contextual object recognition［C］//Computer Vision－ECCV 2004.Springer，2004:350－362.

［7］Kumar S，Hebert M.Discriminative random fields［J］.International Journal of Computer Vision，2006，68(2):179－201.

［8］Felzenszwalb P F，Huttenlocher D P.Efficient graph－based image segmentation［J］.International Journal of Computer Vision，2004，59(2):167－181.

［9］Leung T，Malik J.Representing and recognizing the visual appearance of materials using three－dimensional textons［J］.International Journal of Computer Vision，2001，43(1):29－44.

［10］Ko?ecká J，Zhang W.Video compass［C］//Computer Vision—ECCV 2002.Springer，2002:476－490.

［11］Hoiem D，Efros A A，Hebert M.Recovering surface layout from an image［J］.International Journal of Computer Vision，2007，75(1):151－172.

［12］Gould S，F(xiàn)ulton R，Koller D.Decomposing a scene into geometric and semantically consistent regions［C］//IEEE 12th International Conference on Computer Vision.2009:1－8.