張世輝， 耿 勇， 張笑維

(1. 燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；2. 河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004)

1 引 言

遮擋邊界檢測在視覺測量[1]、場景繪制[2]、生物識(shí)別[3,4]、目標(biāo)跟蹤[5,6]、運(yùn)動(dòng)估計(jì)[7]等領(lǐng)域具有重大意義，受到學(xué)者們的廣泛關(guān)注。目前，已有的遮擋邊界檢測方法主要分為基于圖像亮度信息的遮擋邊界檢測方法[8～11]和基于圖像深度信息的遮擋邊界檢測方法[12～17]兩大類。

基于圖像亮度信息的遮擋邊界檢測方法大多以彩色圖像為依據(jù)，利用深度估計(jì)、區(qū)域分割等實(shí)現(xiàn)遮擋檢測。主要代表成果有：He X等[8]對(duì)圖像進(jìn)行區(qū)域分割，估計(jì)出場景中物體的粗糙深度(偽深度)，對(duì)提取的深度軌跡進(jìn)行馬爾科夫平滑進(jìn)而確定出遮擋邊界；Yang J等[9]把圖像聚類成超像素，通過多元隨機(jī)抽樣算法和移動(dòng)最小二乘法繪制柵欄輪廓完成遮擋檢測；Lee S J等[10]基于自適應(yīng)權(quán)值立體匹配算法的代價(jià)匹配曲線來實(shí)現(xiàn)視覺目標(biāo)中遮擋的檢測；Hoiem D等[11]采用層次化的區(qū)域分割方法，根據(jù)分割結(jié)果估計(jì)視覺目標(biāo)的遮擋邊界?；趫D像深度信息的遮擋邊界檢測方法主要以深度圖像為依據(jù)，通過構(gòu)建模型或者利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)遮擋檢測，主要代表成果有：文獻(xiàn)[12]通過構(gòu)建曲率模型來實(shí)現(xiàn)深度圖像的遮擋邊界檢測；文獻(xiàn)[13]利用無監(jiān)督聚類思想檢測遮擋邊界；文獻(xiàn)[14]基于集成學(xué)習(xí)思想，利用AdaBoost分類器實(shí)現(xiàn)深度圖像中遮擋邊界的檢測；文獻(xiàn)[15]提出了一種半監(jiān)督學(xué)習(xí)檢測深度圖像中遮擋邊界的方法，通過構(gòu)建連通無向圖，計(jì)算數(shù)據(jù)樣本相似性進(jìn)而實(shí)現(xiàn)對(duì)像素點(diǎn)的判斷；文獻(xiàn)[16,17]基于監(jiān)督學(xué)習(xí)分類思想，構(gòu)造相關(guān)分類器實(shí)現(xiàn)遮擋邊界的檢測。

上述方法在亮度圖像或深度圖像遮擋邊界檢測中均取得了一定的成果，但在檢測精度上仍需進(jìn)一步提高?？紤]到深度圖像在視覺測量、人機(jī)交互、深度估計(jì)、三維重建、生活?yuàn)蕵返阮I(lǐng)域體現(xiàn)出越來越重要的價(jià)值。并且，考慮到深度圖像能夠直接反映場景中景物與攝像機(jī)間的距離信息，在表征物體表面三維立體信息方面更具優(yōu)勢。同時(shí)，又由于神經(jīng)網(wǎng)絡(luò)可以較為有效地解決數(shù)據(jù)稀釋問題，對(duì)離群點(diǎn)具有較強(qiáng)的處理求解能力。因此，本文提出了基于BP(back propagation)網(wǎng)絡(luò)的深度圖像遮擋邊界檢測方法。

2 方法概述

2.1 物體遮擋邊界

物體遮擋邊界是指發(fā)生遮擋的情況下遮擋前景與被遮擋部分之間的分界線。在深度圖像中，遮擋邊界由若干個(gè)像素點(diǎn)構(gòu)成，稱這些像素點(diǎn)為遮擋邊界點(diǎn)。深度圖像及圖像中視覺目標(biāo)的遮擋邊界如圖1所示。

圖1 深度圖像及其遮擋邊界Fig.1 Depth image and its occlusion boundary

2.2 方法總體思想

本文提出一種利用監(jiān)督學(xué)習(xí)思想檢測深度圖像中視覺目標(biāo)遮擋邊界的方法。方法總體思想如下：首先，計(jì)算待測深度圖像中每個(gè)像素點(diǎn)的各類遮擋相關(guān)特征。然后，將各類遮擋相關(guān)特征進(jìn)行歸一化操作并組合形成特征向量。最后，將各像素點(diǎn)對(duì)應(yīng)的特征向量輸入到訓(xùn)練好的BP網(wǎng)絡(luò)分類器判斷各像素點(diǎn)是否為遮擋邊界點(diǎn)，在此基礎(chǔ)上，可視化遮擋邊界點(diǎn)得到最終的遮擋邊界檢測結(jié)果。方法總體流程如圖2所示。

圖2 遮擋邊界檢測方法總體流程Fig.2 The overall process of occlusion boundary detection

3 遮擋相關(guān)特征描述

目前，已有的基于深度圖像的遮擋相關(guān)特征主要包括深度差特征[12～14]和幾何特征[15～17]兩大類。這些特征分別從不同角度反映了深度圖像中像素點(diǎn)與其鄰域像素點(diǎn)的深度值階躍特性，為深度圖像的遮擋邊界檢測提供了依據(jù)。為了能夠更加準(zhǔn)確地檢測出更多的遮擋邊界點(diǎn)并盡量減少誤檢現(xiàn)象的發(fā)生，探索新的遮擋特征，本文提出一種名為最長投影線段特征的遮擋邊界檢測新特征。

3.1 最長投影線段特征的提出

分析深度圖像可知，存在遮擋現(xiàn)象的像素點(diǎn)與其鄰域點(diǎn)之間的深度值變化有明顯的階躍，即深度圖像中相鄰的點(diǎn)在空間上是不相鄰的。但有時(shí)，由于深度圖像中視覺目標(biāo)本身構(gòu)造或被觀測角度等原因，使得部分與周圍深度值階躍不明顯的遮擋邊界點(diǎn)僅僅依靠目前已有的遮擋相關(guān)特征不能很好地被檢測出來或存在誤檢現(xiàn)象。一方面，在深度圖像中某一像素點(diǎn)與其8鄰域內(nèi)任一像素點(diǎn)可以構(gòu)成8個(gè)空間向量，這些向量與深度攝像機(jī)的觀測方向之間構(gòu)成8個(gè)夾角，夾角在某種程度上反映了像素點(diǎn)處曲面的彎曲程度，夾角越小代表此處彎曲程度越大，該像素點(diǎn)越有可能是遮擋邊界點(diǎn)。另一方面，在深度圖像中，某一像素點(diǎn)與其8鄰域內(nèi)像素點(diǎn)構(gòu)成的空間向量中，模越大代表2個(gè)像素點(diǎn)的距離越大，此時(shí)這一像素點(diǎn)越有可能是遮擋邊界點(diǎn)。但有時(shí)存在夾角和向量的模同時(shí)很小或很大的情況，此時(shí)無法確定該像素點(diǎn)是否是遮擋邊界點(diǎn)。綜合考慮各像素點(diǎn)的深度信息和三維空間信息，提出了最長投影線段特征以增強(qiáng)深度圖像中視覺目標(biāo)遮擋邊界檢測的效果。最長投影線段特征如圖3所示。

圖3 最長投影線段特征Fig.3 The feature of longest projected line segment

圖3展示了深度圖像中某一像素點(diǎn)p與其8鄰域像素點(diǎn)之間對(duì)應(yīng)的三維空間中的鄰接關(guān)系。由圖3可知，像素點(diǎn)p與其8鄰域內(nèi)任意一個(gè)像素點(diǎn)pi(i=1～8)能夠形成對(duì)應(yīng)的向量ppi，同時(shí)，攝像機(jī)主光軸方向向量和向量ppi構(gòu)造8個(gè)夾角θi，最長投影線段特征即向量ppi的模和對(duì)應(yīng)的夾角θi余弦值乘積的最大值。

因?yàn)樯疃葓D像反映的是場景中視覺目標(biāo)與攝像機(jī)間距離信息，為了獲得相應(yīng)的最長投影線段特征，記深度圖像I中任一像素點(diǎn)p(i,j)對(duì)應(yīng)的真實(shí)三維空間坐標(biāo)為x(i,j)、y(i,j)和z(i,j)，其8鄰域內(nèi)任一像素點(diǎn)p(i,j)對(duì)應(yīng)的真實(shí)三維空間坐標(biāo)為x′(i′,j′)、y′(i′,j′)和z′(i′,j′)，則像素點(diǎn)p對(duì)應(yīng)的最長投影段特征fMP定義為

(1)

y′(i′,j′)]2+[(z(i,j)-z′(i′,j′)]2}1/2

(2)

θi=angle(Vc,Vppi)

(3)

式中：Vc是深度攝像機(jī)的觀測方向的向量；Vppi是像素點(diǎn)p(i,j)和其8鄰域像素點(diǎn)pi(i,j)對(duì)應(yīng)的三維空間點(diǎn)所形成的向量。

3.2 特征重要性

特征選取是遮擋邊界檢測的關(guān)鍵步驟，為了選取合適的遮擋相關(guān)特征用于遮擋邊界檢測，本文使用隨機(jī)森林對(duì)所提特征及已有常用特征進(jìn)行重要性評(píng)估，最終獲得各遮擋相關(guān)特征的重要性如圖4所示。

圖4 各遮擋相關(guān)特征的特征重要性Fig.4 The importance of occlusion-related features

由圖4可知，各遮擋相關(guān)特征的重要性大小依次為fMDD>fMP>fWL>fMC>fADD>fA。其中，fMDD為最大深度差特征，fMP為最長投影線段特征，fWL為加權(quán)最長線段特征，fMC為平均曲率特征，fADD為平均深度差特征，fA為夾角特征。由此可見，最大深度差特征fADD和所提的最長投影線段特征fMP的特征重要性明顯高于其他特征，故本文選用這兩種特征用于深度圖像的遮擋邊界檢測。

4 遮擋邊界檢測方法

基于已確定的最大深度差特征和最長投影線段特征，本文利用機(jī)器學(xué)習(xí)思想實(shí)現(xiàn)深度圖像遮擋邊界的檢測。

4.1 非線性歸一化

在進(jìn)行遮擋邊界檢測過程中，進(jìn)行特征聯(lián)合前通常需要將不同特征的特征值進(jìn)行歸一化處理，以便讓不同量級(jí)和差異值較大的特征在統(tǒng)一尺度上進(jìn)行衡量。本文提出了一種非線性的歸一化方法，具體定義為

(4)

通過非線性歸一化操作，將歸一化后的特征值聯(lián)合成特征向量，作為神經(jīng)網(wǎng)絡(luò)分類器的輸入數(shù)據(jù)。

4.2 基于BP網(wǎng)絡(luò)的遮擋邊界檢測方法

將遮擋檢測作為一個(gè)有監(jiān)督的分類問題，最終得到的是圖像像素級(jí)別的分類結(jié)果，即將圖像中的每一個(gè)像素點(diǎn)看作一個(gè)樣本，依據(jù)每個(gè)像素點(diǎn)歸一化后的聯(lián)合特征向量判斷其是否為遮擋邊界點(diǎn)。

遮擋邊界檢測算法的具體描述如下：

算法名稱：Occlusion Detection Algorithm Based on BP Network

輸入：深度圖像

輸出：遮擋邊界檢測結(jié)果

Step1:遍歷待檢測深度圖像，分別提取各個(gè)像素點(diǎn)的最大深度差特征和最長投影線段特征；

Step2:根據(jù)所提非線性歸一化方法對(duì)特征矩陣中的特征值進(jìn)行歸一化并聯(lián)合為特征向量；

Step3:將每個(gè)像素點(diǎn)的聯(lián)合特征向量輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)分類器中得到其相應(yīng)的類別標(biāo)簽；

Step4:記錄遮擋邊界點(diǎn)在深度圖像中的位置，進(jìn)行可視化顯示得到遮擋邊界檢測結(jié)果。

5 實(shí)驗(yàn)與分析

5.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

為了驗(yàn)證所提方法的可行性和有效性，本文基于stuttgart range image database中大小為400×400的深度圖像進(jìn)行遮擋邊界檢測實(shí)驗(yàn)。由于stuttgart range image database目標(biāo)物體種類較多，即使是同一名稱目標(biāo)物體也有多個(gè)不同的觀測角度，且考慮到部分圖像不存在遮擋現(xiàn)象，故本文從中選取了50幅存在遮擋現(xiàn)象的深度圖像作為實(shí)驗(yàn)數(shù)據(jù)集。

考慮到選中圖像中bunny、scull、turbine、duck和hasi的遮擋邊界比較明顯且對(duì)大多數(shù)遮擋情況具有較強(qiáng)的代表性，故本文將這5幅圖像作為訓(xùn)練用圖像，它們對(duì)應(yīng)的原始深度圖像、ground truth及圖像中遮擋邊界點(diǎn)集如圖5所示。

圖5 用于訓(xùn)練的深度圖像、ground truth及遮擋邊界點(diǎn)集Fig.5 The depth images, ground truth and occlusion boundary points set for training

基于上述思想，獲得訓(xùn)練用圖像中的樣本點(diǎn)共21 889個(gè)像素點(diǎn)，其中正樣本為8 835個(gè)遮擋邊界點(diǎn)，負(fù)樣本為13 054個(gè)非遮擋邊界點(diǎn)。采用簡單交叉驗(yàn)證的方法，設(shè)置訓(xùn)練集和測試集比例為8:2。將訓(xùn)練集在不同網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)下多次進(jìn)行測試，選定測試誤差最小的BP網(wǎng)絡(luò)模型。同時(shí)，為了評(píng)價(jià)本文方法的效果，以查準(zhǔn)率、查全率和F-score作為評(píng)價(jià)遮擋邊界檢測效果的標(biāo)準(zhǔn)。

F-score=2查準(zhǔn)率×查全率/(查準(zhǔn)率+查全率)

5.2 對(duì)比實(shí)驗(yàn)及分析

5.2.1 基于不同特征的遮擋邊界檢測比較

為了驗(yàn)證本文所提特征能夠更加全面準(zhǔn)確地檢測出待檢測深度圖像中深度值階躍不明顯的遮擋邊界點(diǎn)并減少誤檢點(diǎn)，結(jié)合圖4中的特征重要性。本文分別基于現(xiàn)有最大深度差特征、最大深度差特征結(jié)合本文所提最長投影線段特征進(jìn)行實(shí)驗(yàn)。

表1展示了數(shù)據(jù)集中部分深度圖像的實(shí)驗(yàn)結(jié)果。表1中:Ngt為ground truth中的遮擋邊界點(diǎn)數(shù);Nd為檢測出的遮擋邊界點(diǎn)數(shù);Nr為檢測正確的遮擋邊界點(diǎn)數(shù)。

結(jié)合表1結(jié)果分析可知，本文方法在利用最大深度差特征進(jìn)行遮擋檢測時(shí)可以檢測出大部分的遮擋邊界點(diǎn)。與僅利用最大深度差特征相比，檔該方法同時(shí)利用最大深度差特征和最長投影線段特征時(shí)，平均查準(zhǔn)率、平均查全率和F-score值均有所提升，特別是對(duì)僅利用最大深度差特征進(jìn)行檢測時(shí)效果相對(duì)不好的rocker、mole圖像的提升尤為明顯。由此可見，最長投影線段特征的可行性和有效性。

5.2.2 3種不同方法的比較

為了驗(yàn)證本文所提非線性歸一化方法在遮擋邊界檢測中的有效性?；谧畲笊疃炔钐卣鹘Y(jié)合最長投影線段特征分別在未歸一化、線性歸一化、非線性歸一化3種情況下進(jìn)行遮擋邊界檢測實(shí)驗(yàn)。根據(jù)經(jīng)驗(yàn)，非線性歸一化實(shí)驗(yàn)時(shí)取參數(shù)α=1、β=1，實(shí)驗(yàn)結(jié)果如圖6所示。

表1 基于不同特征的遮擋邊界檢測結(jié)果Tab.1 The occlusion boundary detection results based on different features

圖6 未歸一化和不同歸一化方法的遮擋邊界檢測結(jié)果Fig.6 The occlusion boundary detection results of unnormalization and different normalization methods

圖6中從上到下5種復(fù)雜程度不同的視覺目標(biāo)分別為knot、rocker、bunny、plane和mole。

結(jié)合圖6的實(shí)驗(yàn)結(jié)果可知，在未對(duì)特征值進(jìn)行歸一化操作時(shí)，檢測出的遮擋邊界中離散點(diǎn)較多，連續(xù)性較差，而且誤檢點(diǎn)較多，如knot環(huán)部、bunny底部和mole的上部。

相較于未歸一化和線性歸一化的實(shí)驗(yàn)結(jié)果，采用非線性歸一化操作后，遮擋邊界檢測較完整，且離散點(diǎn)和誤檢點(diǎn)較少，如bunny圖像中左下部分，plane圖像上下機(jī)身邊界部分。由此可見，在進(jìn)行非線性歸一化操作之后，可以通過降低誤檢點(diǎn)的數(shù)量來提高檢測效果。

為了進(jìn)一步評(píng)估本文所提非線性歸一化方法的效果，在對(duì)圖6中實(shí)驗(yàn)結(jié)果進(jìn)行定性分析的基礎(chǔ)上又分別從查準(zhǔn)率、查全率和F-score 3個(gè)方面進(jìn)行了量化分析，分析結(jié)果如表2所示。

表2 不同歸一化方法的查準(zhǔn)率、查全率和F-scoreTab.2 The precision, recall and F-Score of different normalization methods

結(jié)合表2分析可知，在未進(jìn)行歸一化操作時(shí)，遮擋檢測的查全率略微高于采取歸一化方法的實(shí)驗(yàn)結(jié)果，但查準(zhǔn)率普遍低很多，可見在未對(duì)特征向量中的特征值進(jìn)行歸一化操作時(shí)，檢測結(jié)果中的誤檢點(diǎn)較多。在線性歸一化操作中，查準(zhǔn)率相對(duì)于未進(jìn)行歸一化操作明顯有了很大的提升，F(xiàn)-score值也有明顯的提高。

相較于線性歸一化，本文方法在平均查準(zhǔn)率、平均查全率和F-score值均有所提升。由此可見，采用本文方法歸一化樣本數(shù)據(jù)的特征值后能夠準(zhǔn)確檢測出較多的遮擋邊界點(diǎn)，充分驗(yàn)證了所提非線性歸一化方法的可行性和有效性。

5.2.3 本文方法與其他方法比較

為了衡量本文方法的效果，將其與已有的檢測精度較高的基于無監(jiān)督思想的方法[13]、基于集成學(xué)習(xí)思想的方法[14]和基于監(jiān)督學(xué)習(xí)的方法[17]進(jìn)行了比較。表3給出了不同遮擋檢測方法在平均查準(zhǔn)率、平均查全率、平均F-score 3個(gè)指標(biāo)方面的量化評(píng)估結(jié)果。

由表3可以看出，本文方法在測試數(shù)據(jù)集上的平均查準(zhǔn)率要相對(duì)高于其他方法，平均查全率僅僅稍低于文獻(xiàn)[14]方法，但在綜合評(píng)價(jià)指標(biāo)上，平均F-score要相對(duì)高于其他方法。

表3 不同遮擋邊界檢測方法的平均查全率、查準(zhǔn)率和F-scoreTab.3 The average precision, recall and F-Score of different occlusion boundary detection methods

6 結(jié) 論

本文提出一種基于神經(jīng)網(wǎng)絡(luò)利用所提新特征聯(lián)合現(xiàn)有遮擋相關(guān)特征對(duì)深度圖像遮擋邊界進(jìn)行檢測的方法。主要貢獻(xiàn)在于：

(1)全面考慮深度圖像中的深度信息和空間信息，提出了一種新的遮擋相關(guān)特征——最長投影線段特征，豐富了深度圖像中用于檢測邊界遮擋的特征種類，提高了遮擋檢測的準(zhǔn)確性；

(2)提出了一種新的樣本特征值非線性歸一化方法，使得不同量綱和維度的特征之間具有了可比性，提高了分類器的檢測精度；

(3)提出了一種新的遮擋邊界檢測方法，利用神經(jīng)網(wǎng)絡(luò)分類器解決深度圖像的遮擋邊界檢測問題，將遮擋邊界檢測問題轉(zhuǎn)換為分類問題，很好地完成了遮擋邊界檢測任務(wù)。