張世輝， 龐云沖

（1.燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島 066004；

2.河北省計算機虛擬技術(shù)與系統(tǒng)集成重點實驗室，河北秦皇島 066004）

基于集成學(xué)習(xí)思想的深度圖像遮擋邊界檢測方法

張世輝1，2， 龐云沖1

（1.燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島 066004；

2.河北省計算機虛擬技術(shù)與系統(tǒng)集成重點實驗室，河北秦皇島 066004）

針對現(xiàn)有深度圖像遮擋檢測方法不能有效地檢測出深度信息變化不明顯的遮擋邊界點的狀況，提出了8鄰域總深度差特征和最大面積特征，并定義了計算方法。在此基礎(chǔ)上，提出一種新的基于集成學(xué)習(xí)思想的深度圖像遮擋邊界檢測方法，該方法結(jié)合所提新特征及現(xiàn)有遮擋相關(guān)特征訓(xùn)練基于決策樹的AdaBoost分類器，完成對深度圖像中遮擋邊界點及非遮擋邊界點的分類，實現(xiàn)對深度圖像中遮擋邊界的檢測。實驗結(jié)果表明，同已有方法相比，所提方法具有較高的準(zhǔn)確性和較好的普適性。

計量學(xué)；遮擋邊界檢測；集成學(xué)習(xí)；深度圖像；8鄰域總深度差特征；最大面積特征；AdaBoost

1 引 言

遮擋現(xiàn)象既是一種幾何現(xiàn)象，又是一種光學(xué)現(xiàn)象。在大多數(shù)視覺研究領(lǐng)域，如視覺測量、場景重建、目標(biāo)跟蹤、自動裝配等領(lǐng)域都會涉及到遮擋現(xiàn)象。如果視覺系統(tǒng)無法采取正確的措施處理遮擋現(xiàn)象，大多數(shù)視覺技術(shù)將會因此失效甚至出錯。可見，遮擋問題的研究對大部分視覺技術(shù)的發(fā)展具有重要的基礎(chǔ)作用，受到了視覺領(lǐng)域研究者們的廣泛關(guān)注［1～3］。目前，已有的遮擋檢測方法大多針對彩色圖像展開研究［4～7］。由于深度圖像中的可用信息相對較少，故針對深度圖像的遮擋檢測方法的研究和成果也較少。文獻(xiàn)［8～12］試圖從視覺目標(biāo)的深度圖像信息入手研究遮擋情況下特定視覺任務(wù)的處理辦法，但并未給出明確的遮擋檢測方法。文獻(xiàn)［13～16］提出了明確的基于深度圖像的遮擋邊界檢測方法。這些方法均較好地實現(xiàn)了深度圖像中物體遮擋邊界的檢測，但在準(zhǔn)確性和普適性方面仍有待提高。本文提出一種結(jié)合所提新特征利用基于決策樹的AdaBoost分類器檢測深度圖像中遮擋邊界的方法。實驗結(jié)果表明，同已有方法相比，所提方法具有較高的準(zhǔn)確性和較好的普適性。

2 方法概述

2.1 深度圖像及物體遮擋邊界

深度圖像中每個像素點的值對應(yīng)該像素點的深度值，故深度圖像能直接反應(yīng)出物體表面的三維幾何信息。物體遮擋邊界是指物體由于空間構(gòu)造、觀測角度不同等原因引起遮擋的情況下遮擋前景與被遮擋部分之間的分界線。在深度圖像中，遮擋邊界是由若干個連續(xù)的遮擋邊界點構(gòu)成，且遮擋邊界點均為遮擋前景上的像素點。

2.2 總體方法

本文基于機器學(xué)習(xí)中分類器集成的思想檢測深度圖像中物體的遮擋邊界，流程如圖1所示。

圖1 遮擋檢測方法流程圖

3遮擋邊界檢測方法

本文把深度圖像中物體遮擋邊界的檢測作為一個有監(jiān)督的二分類問題，可表示為

式中：fi為深度圖像中像素點i的聯(lián)合特征向量，l為聯(lián)合特征向量的長度，s為樣本的數(shù)目。Ci＝1表示像素點i是遮擋邊界點，Ci＝0表示像素點i是非遮擋邊界點，Rl為R的l維空間向量。

目前，基于深度圖像的遮擋相關(guān)特征有平均曲率特征［13］、平均深度差特征［14，15］、最大深度差特征和夾角特征［16］。本文結(jié)合現(xiàn)有特征，進(jìn)一步分析了深度圖像中遮擋邊界點及其鄰域點深度值的關(guān)系，提出了8鄰域總深度差特征和最大面積特征。同時，針對遮擋邊界的檢測問題，本文基于機器學(xué)習(xí)中集成學(xué)習(xí)的思想，提出了基于決策樹的AdaBoost分類器實現(xiàn)遮擋邊界檢測的方法。下面分別針對現(xiàn)有遮擋相關(guān)特征、所提新特征及遮擋邊界檢測方法進(jìn)行闡述。

3.1 現(xiàn)有遮擋相關(guān)特征分析

現(xiàn)有4種遮擋相關(guān)特征中，平均曲率特征描述物體的微分幾何特性，平均深度差特征和最大深度差特征分別針對不同情況，在不同程度上描述了深度圖像中遮擋邊界點與其8鄰域內(nèi)非遮擋邊界點的深度值階躍特性，而夾角特征則顯示了其幾何角度特性。因而，此4種特征從不同方面為判斷深度圖像中的遮擋邊界點和非遮擋邊界點提供了依據(jù)。但是有時單純依靠這4種特征，不能很好地檢測深度圖像中所有情況下的遮擋邊界點。因此，提出了8鄰域總深度差特征和最大面積特征，以增強針對深度圖像中各類目標(biāo)物體的遮擋邊界檢測效果。

3.2 本文提出的遮擋相關(guān)特征

平均深度差特征和最大深度差特征雖然均在一定程度上反映了遮擋邊界點與其鄰域點存在深度值階躍這一特性，但是在一些情況下，物體的遮擋邊界點與其鄰域點只存在很小的深度值階躍，僅僅利用平均深度差特征和最大深度差特征不能檢測出這類遮擋邊界點。因此，針對這類不能檢測出的遮擋邊界點，提出了8鄰域總深度差特征，深度圖像中某一像素點的8鄰域總深度差特征是指該像素點與其8個鄰域內(nèi)各像素點的深度值之差的總和，該點的8鄰域總深度差特征值越大，其越有可能是遮擋邊界點。記深度圖像I中任一像素點p（i，j）的深度值為d（i，j），則其對應(yīng)的8鄰域總深度差特征定義為

當(dāng)遮擋邊界點與其8鄰域非遮擋邊界點深度值階躍較為明顯的情況下，本文所提8鄰域總深度差特征同平均深度差特征和最大深度差特征一樣，均能很好地反映出這一階躍特性。更重要的是，與平均深度差特征和最大深度差特征相比，在遮擋邊界點與其8鄰域非遮擋邊界點深度值階躍不明顯的情況下，8鄰域總深度差特征由于計算了所有深度差之和，使得其特征更明顯，更具區(qū)分性。

平均深度差特征、最大深度差特征和8鄰域總深度差特征均反映了深度圖像中像素點與其8鄰域像素點的深度值階躍特性，但有時由于觀測角度的偏斜，圖像中遮擋邊界點與其鄰域點的深度值階躍不明顯，以前的遮擋檢測方法又無法檢測出這類遮擋邊界點。經(jīng)分析發(fā)現(xiàn)，雖然此類遮擋邊界點與其鄰域點深度值階躍不明顯，但是在實際三維空間中，其與鄰域點的距離較大。因此，針對這類不容易檢測出的遮擋邊界點，本文提出了最大面積特征，如圖2所示，像素點a的最大面積特征定義為△abici（i＝1，…，8）面積中的最大值。該點的特征值越大，則其越有可能是遮擋邊界點。記深度圖像I中任一像素點p在實際三維空間的坐標(biāo)分別為x（i，j）、y（i，j）、z（i，j），則其對應(yīng)的最大面積特征定義為

圖2 最大面積特征計算方法示意圖

3.3 基于集成學(xué)習(xí)思想的遮擋邊界檢測方法

基于現(xiàn)有4種遮擋相關(guān)特征（平均曲率特征、平均深度差特征、最大深度差特征、夾角特征）和所提兩種新特征（8鄰域總深度差特征、最大面積特征）進(jìn)行遮擋檢測。為了更好地檢測深度圖像中的遮擋邊界，利用基于集成學(xué)習(xí)思想的AdaBoost分類器作為深度圖像中遮擋邊界檢測的分類器。

4 實驗與結(jié)果分析

4.1 實驗環(huán)境及數(shù)據(jù)集

采用Stuttgart Range Image Database［17］中大小為400像素×400像素的深度圖像進(jìn)行遮擋邊界檢測實驗。實驗硬件環(huán)境為CPU Intel（R）Pentium（R）G2020 2.90GHz，內(nèi)存4.0G。采用C＋＋語言編程實現(xiàn)對深度圖像中遮擋邊界的檢測。

4.2 訓(xùn)練樣本確定及遮擋檢測分類器模型參數(shù)設(shè)置

Stuttgart Range Image Database中目標(biāo)物體種類較多，考慮到部分圖像不存在遮擋現(xiàn)象，選取50幅存在遮擋現(xiàn)象的深度圖像作為實驗數(shù)據(jù)集，通過手工標(biāo)記的方式得到了每幅深度圖像對應(yīng)的Ground Truth。然后再從已選取的50幅圖像中確定出5幅具有代表性的圖像用于訓(xùn)練，其余45幅圖像用于測試。5幅用于訓(xùn)練的深度圖像及Ground Truth，見圖3。在此基礎(chǔ)上，將這5幅深度圖像中的所有遮擋邊界點（共3 368像素點）作為正樣本點。然后，按照正負(fù)樣本約1∶2的比例（實驗值），采用簡單隨機抽樣的方法從這5幅深度圖像中隨機選取了6922個非遮擋邊界點作為負(fù)樣本點。最后，通過計算得到正負(fù)樣本點帶有類別標(biāo)簽的聯(lián)合特征向量，形成了訓(xùn)練所需的正負(fù)樣本集?；诖_定出的訓(xùn)練樣本集，通過實驗得知，在使用本文所用6種遮擋相關(guān)特征時，當(dāng)單棵決策樹的最大深度為15，基分類器即決策樹的個數(shù)為50時，分類器總體性能最好。

圖3 用于訓(xùn)練的深度圖像及其Ground Truth

4.3 實驗結(jié)果及分析

為了驗證本文所提特征更易檢測出深度圖像中深度值階躍不明顯的遮擋邊界點，采用不同檢測方法分別基于現(xiàn)有特征、基于本文所提特征聯(lián)合現(xiàn)有特征訓(xùn)練得到不同的分類器，并將不同分類器的檢測結(jié)果進(jìn)行了對比。對比結(jié)果如圖4所示（圖4第2行圖像是對圖4第1行各圖的局部放大）。由圖4可以看出，無論是文獻(xiàn)［16］方法還是本文方法，增加本文所提特征后，某些基于現(xiàn)有特征檢測不出的遮擋邊界點已經(jīng)可以正確檢測出。

圖4 不同遮擋檢測方法基于不同特征的實驗結(jié)果比較

表1給出了圖4結(jié)果的查全率和查準(zhǔn)率。通過表1可以看出，無論利用哪種遮擋檢測方法，增加本文所提特征后，在查準(zhǔn)率基本不變的情況下，遮擋檢測的查全率均有較大幅度的提升，某些基于現(xiàn)有特征檢測不出的遮擋邊界點已經(jīng)可以正確檢測出。

表1 不同方法基于不同特征的查全率和查準(zhǔn)率

圖5給出了本文方法與研究深度圖像遮擋邊界檢測的文獻(xiàn)［16］方法部分實驗的對比結(jié)果。由圖5比較分析可知：文獻(xiàn)［16］方法在Knot的彎曲處存在一些誤檢；而本文方法在Knot的彎曲處的誤檢像素點數(shù)明顯減少。文獻(xiàn)［16］方法和本文方法對視覺目標(biāo)Plane的檢測效果均較好。同樣是針對視覺目標(biāo)Plane，但由于觀測角度的不同，文獻(xiàn)［16］方法在機身邊緣部分存在許多誤檢的像素點；而本文方法在機身邊緣部分僅有極少誤檢的像素點。另外，針對機尾的深度值階躍不明顯的像素點，文獻(xiàn)［16］方法未能檢測出來，而本文方法能檢測出來。文獻(xiàn)［16］方法對視覺目標(biāo)Bunny眼睛和耳朵部位深度值階躍不明顯的遮擋邊界點的檢測不完全，從而導(dǎo)致遮擋邊界的連續(xù)性不好；而本文方法不僅檢測出了Bunny眼睛和耳朵部位深度值階躍不明顯的遮擋邊界點，且遮擋邊界的連續(xù)性較好。由于視覺目標(biāo)Mole頭頂處遮擋邊界點的深度值階躍并不明顯，故文獻(xiàn)［16］方法未能完全檢測出這些遮擋邊界點；而本文方法則完全檢測出了Mole頭頂處的遮擋邊界點，并且形成了連續(xù)完整的遮擋邊界。

表2給出了圖5中各深度圖像分別利用文獻(xiàn)［16］方法和本文方法所對應(yīng)的查全率和查準(zhǔn)率。本文方法在測試數(shù)據(jù)集上的平均查全率和平均查準(zhǔn)率比研究深度圖像遮擋邊界檢測的文獻(xiàn)［16］方法均有較大提升。

表2 2種遮擋檢測方法的查全率和查準(zhǔn)率（%）

圖5 不同遮擋邊界檢測方法的實驗結(jié)果比較

5 結(jié) 論

提出一種基于集成學(xué)習(xí)思想，利用所提新特征結(jié)合現(xiàn)有遮擋相關(guān)特征檢測深度圖像中遮擋邊界的方法。其主要貢獻(xiàn)為：提出了8鄰域總深度差特征和最大面積特征，豐富了深度圖像中用于檢測遮擋的特征種類；一種新的基于集成學(xué)習(xí)思想的遮擋邊界檢測方法，該方法利用AdaBoost分類器解決深度圖像的遮擋檢測問題。同已有方法相比，所提方法具有較高的準(zhǔn)確性和較好的普適性。

［1］ Stein A，Hebert M.Occlusion boundaries from motion：Low-level detection and mid-level reasoning［J］.International Journal of Computer Vision，2009，82（3）：325－357.

［2］ Hoiem D，Efros A，Hebert M.Recovering occlusion boundaries from an image［J］.International Journal of Computer Vision，2011，91（3）：328－346.

［3］ 蔣劍峰，姜招喜，柴國忠，等.螺紋影像法測量中投影遮擋問題的研究［J］.計量技術(shù)，2012，（10）：29－33.

［4］ Alvarez L，Deriche R，Papadopoulo T.Symmetrical dense optical flow estimation with occlusions detection［J］.International Journal of Computer Vision，2007，75（3）：371－385.

［5］ He X，Yuille A.Occlusion boundary detection using pseudo-depth［C］／／Proceedings of the European Conference on Computer Vision，Heidelberg，Germany：Springer Verlag，2010，539－552.

［6］ Humayun A，Aodha OM，Brostow G J.Learning to find occlusion regions［C］／／Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Piscataway，USA：IEEE，2011，2161－2168.

［7］ Chen D，Yuan Z，Zhang G，et al.Detecting occlusion boundaries via saliency network［C］／／Proceedings of International Conference on Pattern Recognition，Tsukuba，Piscataway，USA：IEEE，2012，2569－2572.

［8］ Park JC，Kim SM，Lee K H.3D mesh construction from depth imageswith occlusion［C］／／Lecture Notes in Computer Science，Heidelberg，Germany：Springer Verlag，2006，770－778.

［9］ Merchan P，Vazquez A S，Salamanca S.3D scene analysis from a single range image through occlusion graphs［J］.Pattern Recognition Letters，2008，29（8）：1105－1116.

［10］ Jang IY，Cho JH，Seo M K，etal.Depth image based 3D humanmodeling resolving self-occlusion［C］／／ACM SIGGRAPH Posters，New York，USA：ACM，2008，105.

［11］ Liu Y.Automatic range image registration in the Markov chain［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（1）：12－29.

［12］ Jang IY，Cho JH，Lee K H.3D humanmodeling from a single depth image dealing with self-occlusion［J］.Multimedia Tools and Applications，2012，58（1）：267－288.

［13］ 張世輝，張煜婕，孔令富.一種基于深度圖像的自遮擋檢測方法［J］.小型微型計算機系統(tǒng)，2010，31（5）：964－968.

［14］ 張世輝，張煜婕，孔令富.結(jié)合深度圖像和最佳分割閾值迭代的自遮擋檢測算法［J］.高技術(shù)通訊，2010，20（7）：754－757.

［15］ Zhang S，Gao F，Kong L.A self-occlusion detection approach based on range image of vision object［J］.ICIC Express Letters，2011，5（6）：2041－2046.

［16］ Zhang S，Liu J.A self-occlusion detection approach based on depth image using SVM［J］.International Journal of Advanced Robotic Systems，2012，9（12）：230：1－8.

［17］ Hetzel G，Leibe B，Levi P，et al.3D object recognition from range images using local feature histograms［C］／／Proceedings of the IEEEComputer Society Conference on Computer Vision and Pattern Recognition，Piscataway，USA：IEEE，2001，II394－II399.

Occlusion Boundary Detection Method for Depth Image Based on Ensemble Learning

ZHANG Shi-hui1，2， PANG Yun-chong1
（1.School of Information Science and Engineering，Yanshan University，Qinhuangdao，Hebei066004，China；
2.The Key Lab for Computer Virtual Tech and Sys Integration of Hebei Province，Qinhuangdao，Hebei066004，China）

The existing occlusion detectionmethod for depth image can not effectively detect the occlusion boundary pointwith less obvious depth change，this status should be changed.The eightneighborhood total depth difference feature and maximal area feature are proposed firstly，and then the calculationmethods for these two new features are defined.On this basis，a new occlusion detection approach based on ensemble learning is proposed，which combines the proposed features and existing occlusion related features to train the decision tree-based AdaBoost classifier to classify the pixel of depth image into occlusion boundary point or non-occlusion boundary point.The experimental results show that，compared with the existingmethods，the proposed approach has higher accuracy and better universality.

Metrology；Occlusion boundary detection；Ensemble learning；Depth image；Eight neighborhood total depth difference feature；Maximal area feature；AdaBoost

TB96

A

1000-1158（2014）06-0569-05

10．3969／j．issn．1000-1158．2014．06．10

2014-04-29；

2014-06-30

國家自然科學(xué)基金（61379065）；河北省自然科學(xué)基金（F2014203119）

張世輝（1973－），男，河北贊皇人，燕山大學(xué)教授，博士，主要從事視覺信息處理方面的研究。sshhzz＠ysu.edu.cn