蔣素琴，張夢(mèng)駿，李蔚清，蘇智勇

(1.南京理工大學(xué)自動(dòng)化學(xué)院，江蘇 南京 210094；2.上海機(jī)電工程研究所，上海 201109；3.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094)

增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)技術(shù)[1]是一種將虛擬信息與真實(shí)世界巧妙融合的技術(shù)，能夠有效增強(qiáng)真實(shí)環(huán)境和虛擬環(huán)境之間的無(wú)縫融合，最終達(dá)到自然、逼真、和諧的人機(jī)交互。目前大多數(shù)的AR 系統(tǒng)只是簡(jiǎn)單地將真實(shí)環(huán)境和虛擬對(duì)象進(jìn)行疊加，沒(méi)有考慮兩者的空間位置關(guān)系和虛擬對(duì)象的信息延遲問(wèn)題。錯(cuò)誤的空間遮擋關(guān)系，會(huì)導(dǎo)致用戶在感官方向上的迷失和空間位置上的錯(cuò)亂；而信息的延遲也不利于AR 的沉浸式體驗(yàn)。所以只有高效、實(shí)時(shí)地解決兩者在空間中的一致性問(wèn)題，才能得到具有強(qiáng)烈真實(shí)感的虛實(shí)融合效果。

目前對(duì)于虛實(shí)遮擋的研究主要分為基于模型、對(duì)象和深度的方法?；谀Ｐ蚚2-3]的方法需要事先對(duì)可能發(fā)生遮擋的真實(shí)物體進(jìn)行建模并將其作為掩膜精準(zhǔn)覆蓋，利用深度測(cè)試確定空間關(guān)系?；趯?duì)象[4-5]的方法，真實(shí)物體和虛擬對(duì)象的相互遮擋關(guān)系是固定不變的，從而將問(wèn)題轉(zhuǎn)換為虛擬對(duì)象的跟蹤注冊(cè)?；谏疃萚6-7]的方法利用深度傳感器捕獲深度或利用深度估計(jì)算法得到場(chǎng)景中每個(gè)物體到視點(diǎn)的距離，通過(guò)比較真實(shí)場(chǎng)景與虛擬對(duì)象距離相機(jī)的遠(yuǎn)近關(guān)系，進(jìn)行相應(yīng)地遮擋渲染。其中，基于深度的虛實(shí)遮擋方法由于不需要預(yù)先建立真實(shí)場(chǎng)景的三維模型，不受復(fù)雜環(huán)境制約，更加適用于動(dòng)態(tài)場(chǎng)景，而成為當(dāng)前研究的主流方法。

當(dāng)前，基于深度的虛實(shí)遮擋處理技術(shù)主要存在2 個(gè)問(wèn)題：①深度數(shù)據(jù)的精度問(wèn)題，無(wú)論是利用深度傳感器獲取的深度圖，還是基于圖像/視頻通過(guò)稀疏重建得到的深度圖，均存在噪聲和孔洞問(wèn)題；②虛實(shí)遮擋處理的實(shí)效性，由于虛實(shí)遮擋處理需要計(jì)算場(chǎng)景深度圖，逐一比較場(chǎng)景中每個(gè)像素的深度信息，因此較耗時(shí)，在整個(gè)處理過(guò)程中很難達(dá)到實(shí)時(shí)性的要求。

針對(duì)如何獲得場(chǎng)景中各像素深度信息的問(wèn)題，KIM 等[8]提出一種基于立體匹配的算法獲得真實(shí)場(chǎng)景的深度信息，用于真實(shí)環(huán)境的重建和虛實(shí)遮擋處理。VALENTIN 等[9]利用關(guān)鍵幀圖像匹配技術(shù)獲取場(chǎng)景的深度信息，實(shí)現(xiàn)虛擬物體的跟蹤和實(shí)時(shí)的虛實(shí)遮擋處理。以上算法基于稠密匹配的思想，均存在計(jì)算量大，實(shí)時(shí)性差的問(wèn)題。VALENTINI[10]利用深度傳感器獲取場(chǎng)景的三維幾何結(jié)構(gòu)并對(duì)用戶進(jìn)行有效地跟蹤，實(shí)現(xiàn)動(dòng)態(tài)環(huán)境的遮擋。DU 等[11]提出基于邊緣捕捉的深度圖增強(qiáng)方法，解決深度圖的邊界噪聲和虛實(shí)遮擋的邊緣視覺偽影問(wèn)題。呂浩和陳世峰[12]提出聯(lián)合雙邊濾波器的方法，填充像素缺失區(qū)域并保持銳利的深度圖像邊緣特征，提升了深度圖的質(zhì)量。以上處理均利用深度傳感器獲取深度圖，但是圖像質(zhì)量易受噪聲和設(shè)備的影響，適用于理想的室內(nèi)環(huán)境?；谙∈柚亟ǖ姆椒╗13-15]可以提高運(yùn)行效率。STüHMER 等[16]利用單個(gè)手持?jǐn)z像機(jī)采集多幅連續(xù)圖像，實(shí)時(shí)估計(jì)其深度圖，并進(jìn)行密集的幾何圖像重建。HOLYNSKI 和KOPF[17]利用同步跟蹤與建模(simultaneous localization and mapping，SLAM)技術(shù)實(shí)現(xiàn)快速的深度感知，即利用圖像序列和稀疏重建的3D 點(diǎn)信息，快速恢復(fù)出場(chǎng)景中每個(gè)像素點(diǎn)的深度值，從而解決虛實(shí)遮擋問(wèn)題。WEEASKERA 等[18]根據(jù)稀疏地圖和稠密深度預(yù)測(cè)的點(diǎn)間置信度，利用置信權(quán)值和概率數(shù)據(jù)來(lái)融合深度圖，以解決方案對(duì)稀疏錯(cuò)誤深度存在的不敏感性。以上算法利用稀疏重建得到場(chǎng)景的稠密深度信息，對(duì)稀疏點(diǎn)的可靠性要求高，未考慮錯(cuò)誤稀疏點(diǎn)對(duì)深度恢復(fù)的影響。精度問(wèn)題關(guān)鍵是得到準(zhǔn)確的稀疏數(shù)據(jù)或解決錯(cuò)誤數(shù)據(jù)融合導(dǎo)致的孔洞問(wèn)題，從而實(shí)現(xiàn)逼真的虛實(shí)遮擋效果。

針對(duì)提高虛實(shí)融合實(shí)時(shí)性問(wèn)題，ROXAS 等[19]提出實(shí)時(shí)分割前景物體的方法，利用前景物體輪廓的深度信息與虛擬物體進(jìn)行遮擋處理。上述遮擋實(shí)現(xiàn)雖然簡(jiǎn)化了計(jì)算量，但在復(fù)雜背景和強(qiáng)烈遮擋的動(dòng)態(tài)環(huán)境下，無(wú)法完美分割出前景物體的輪廓信息。HEBBORN 等[20]在融合過(guò)程中，根據(jù)傳感器捕獲的真實(shí)場(chǎng)景深度和渲染虛擬對(duì)象得到的區(qū)域，指定深度圖像的前景、背景、無(wú)效和未知區(qū)域，實(shí)時(shí)進(jìn)行有效區(qū)域的動(dòng)態(tài)遮擋處理。實(shí)時(shí)性問(wèn)題重點(diǎn)關(guān)注虛實(shí)融合的有效區(qū)域，從而加快動(dòng)態(tài)場(chǎng)景的遮擋處理。

針對(duì)上述問(wèn)題，本文提出通過(guò)施加區(qū)域約束提高深度圖計(jì)算效率，通過(guò)融合局部錯(cuò)誤深度值改善虛實(shí)遮擋效果。在提高深度圖效率方面，提出增加區(qū)域約束從而限制稀疏3D 點(diǎn)深度傳播的改進(jìn)方法。因?yàn)樘搶?shí)遮擋只出現(xiàn)在虛擬物體繪制的區(qū)域，所以只在虛擬區(qū)域傳播深度到周圍像素，從而快速恢復(fù)出深度圖。在噪聲數(shù)據(jù)和局部錯(cuò)誤深度值導(dǎo)致的孔洞問(wèn)題方面，提出基于patch 相似性和投票決策的方法。考慮單個(gè)像素比較結(jié)果的偶然性，基于patch 進(jìn)行像素處理，對(duì)patch 內(nèi)部像素進(jìn)行投票決策和區(qū)域融合渲染繪制。

1 算法基本原理

1.1 算法流程

算法實(shí)現(xiàn)流程如圖1 所示。真實(shí)場(chǎng)景視頻信息和虛擬對(duì)象作為輸入；局部區(qū)域深度估計(jì)模塊通過(guò)稀疏重建得到稀疏3D 點(diǎn)的深度信息，再疊加不同的約束共同限制深度的傳播，從而快速恢復(fù)出虛擬對(duì)象區(qū)域的深度圖；局部噪聲點(diǎn)融合模塊通過(guò)深度比較確定虛實(shí)物體的前后位置關(guān)系，基于patch 進(jìn)行投票決策和區(qū)域融合；最終輸出具有真實(shí)遮擋關(guān)系的融合結(jié)果。

圖1 算法實(shí)現(xiàn)流程圖 Fig.1 Algorithm implementation flow chart

1.2 基于局部區(qū)域的深度估計(jì)

本文基于HOLYNSKI 和KOPF[17]的快速深度致密化算法實(shí)現(xiàn)局部區(qū)域的深度數(shù)據(jù)恢復(fù)。原始算法要恢復(fù)出完整的深度圖信息，計(jì)算量大、效率低，無(wú)法做到實(shí)時(shí)融合。因此，本文提出基于局部區(qū)域的深度估計(jì)模塊來(lái)提高實(shí)時(shí)性。圖2 為模塊的總體設(shè)計(jì)思路，其可分為3 個(gè)步驟：

圖2 局部區(qū)域深度估計(jì)模塊設(shè)計(jì)圖 Fig.2 Design drawing of local area depth estimation module

(1) 輸入準(zhǔn)備。將視頻信號(hào)和虛擬對(duì)象作為輸入。

(2) 局部區(qū)域深度估計(jì)。通過(guò)給稀疏3D 點(diǎn)施加3 種不同種類的約束，限制深度數(shù)據(jù)的傳播范圍，快速恢復(fù)出局部區(qū)域的深度圖。其中數(shù)據(jù)約束是利用直接稀疏里程計(jì) (direct sparse odometry，DSO)技術(shù)跟蹤并稀疏重建的3D 點(diǎn)信息；平滑約束是通過(guò)圖像對(duì)齊并定位的深度邊緣信息；區(qū)域約束是通過(guò)渲染虛擬目標(biāo)生成特定區(qū)域的二值圖像信息。

(3) 輸出結(jié)果。輸出場(chǎng)景幾何中特定目標(biāo)區(qū)域的深度圖。

局部區(qū)域深度估計(jì)模塊通過(guò)建立損失函數(shù)來(lái)描述步驟(2)中施加的不同約束，計(jì)算最小損失函數(shù)得到深度傳播的最優(yōu)解，從而將局部區(qū)域深度估計(jì)任務(wù)簡(jiǎn)單描述成一個(gè)二次優(yōu)化的問(wèn)題進(jìn)行求解。各項(xiàng)施加的約束和激勵(lì)的任務(wù)如圖3 所示。其中數(shù)據(jù)項(xiàng)式(1)～(2)和平滑項(xiàng)式(3)皆是文獻(xiàn)[17]方法中的公式。

圖3 最小損失函數(shù)任務(wù)示意圖 Fig.3 Minimal loss function task diagram

圖3 中數(shù)據(jù)項(xiàng)①為促進(jìn)深度數(shù)據(jù)的一致，即

其中，Edata為數(shù)據(jù)項(xiàng)①的損失函數(shù)；Dsparse為跟蹤的稀疏點(diǎn)深度。在傳播過(guò)程中，如果待傳播的像素D(p)與稀疏點(diǎn)重合則wsparse設(shè)置為1，否則為0。

圖3 中數(shù)據(jù)項(xiàng)②為促進(jìn)時(shí)間的一致，即

其中，Etemp為數(shù)據(jù)項(xiàng)②的損失函數(shù)；Dtemp為重投影上一幀的密集像素而獲得的深度圖。對(duì)于重疊重投影點(diǎn)的所有像素D(p)，wtemp為1，其他地方為0。

平滑項(xiàng)促使深度圖在邊緣地區(qū)有尖銳且明顯的不連續(xù)性，而其他地方整體平滑且連續(xù)，即

其中，Esmooth為平滑項(xiàng)的損失函數(shù)；wpq為平滑項(xiàng)權(quán)重。如果D(p)是邊緣像素，將權(quán)重wpq設(shè)置為0，允許邊緣像素通過(guò)均值漂移不受懲罰從而形成清晰的不連續(xù)性。而其他區(qū)域像素D(p)，wpq強(qiáng)制執(zhí)行高平滑度，保證深度的平滑與連續(xù)。

區(qū)域項(xiàng)限制深度值只在有效區(qū)域內(nèi)傳播，即

其中，Earea為區(qū)域項(xiàng)的損失函數(shù)；Darea為虛擬物體渲染的目標(biāo)區(qū)域二值圖。對(duì)于重疊有效區(qū)域的所有像素點(diǎn)D(p)，warea是1，其他為0。

得到二次優(yōu)化函數(shù)為

其中，N為水平和垂直相鄰像素的集合，數(shù)據(jù)項(xiàng)、平滑項(xiàng)和區(qū)域項(xiàng)對(duì)應(yīng)的平衡系數(shù)分別取1，0.01，1和1。式(5)是一個(gè)標(biāo)準(zhǔn)的泊松問(wèn)題，可以通過(guò)快速優(yōu)化解算器進(jìn)行求解。

圖4 為區(qū)域深度估計(jì)流程示意圖，其中圖4(c)是將虛擬小車與圖4(a)中真實(shí)存錢罐進(jìn)行虛實(shí)融合處理；圖4(d)是將圖4(c)中黑色區(qū)域部分作為致密化處理的區(qū)域約束，從而恢復(fù)出的局部區(qū)域深度圖。

圖4 目標(biāo)區(qū)域深度恢復(fù)示意圖((a)原圖；(b)稀疏3D 點(diǎn)；(c)區(qū)域二值圖像；(d)目標(biāo)區(qū)域深度圖) Fig.4 Schematic diagram of target area depth recovery ((a) Original image;(b) Sparse 3D points;(c) Regional binary image;(d) Target area depth map)

1.3 基于投票決策的噪聲點(diǎn)融合

基于投票決策的虛實(shí)遮擋融合處理模塊的總體設(shè)計(jì)思路如圖5 所示。輸入有局部錯(cuò)誤的深度數(shù)據(jù)；基于噪聲點(diǎn)的投票決策融合模塊通過(guò)深度比較確定區(qū)域內(nèi)每個(gè)像素點(diǎn)虛擬物體和真實(shí)物體前后位置關(guān)系，再利用投票決策的方法，進(jìn)行區(qū)域的融合處理；輸出有真實(shí)遮擋關(guān)系的融合圖像。

圖5 基于投票決策融合的方案示意圖 Fig.5 Scheme diagram based on voting decision fusion

1.3.1 融合問(wèn)題

基于Holynski 的快速深度致密化算法在處理無(wú)紋理區(qū)域、非郎伯表面、反射和半透明表面[17]時(shí)，會(huì)生成錯(cuò)誤的稀疏點(diǎn)，從而導(dǎo)致虛實(shí)融合中的孔洞和噪聲現(xiàn)象，如圖6 所示。

因圖6(a)中插座區(qū)域存在倒影和反射，導(dǎo)致圖6(b)恢復(fù)出的深度圖存在不平滑、不連續(xù)和殘缺的問(wèn)題。錯(cuò)誤的深度值會(huì)對(duì)虛實(shí)物體之間的相互遮擋 產(chǎn)生不利的影響。圖6(c)中小車被存錢罐擋住車頭部分。但是在出現(xiàn)局部錯(cuò)誤深度值的地方，融合過(guò)程中虛擬小車的車蓋部分出現(xiàn)孔洞問(wèn)題。

圖6 局部錯(cuò)誤點(diǎn)的融合示意圖((a)原始深度圖；(b)局部錯(cuò)誤點(diǎn)；(c)孔洞現(xiàn)象) Fig.6 Schematic diagram of the fusion of local error points ((a) Original depth map;(b) Local error; (c) Hole phenomenon)

針對(duì)上述問(wèn)題，本文提出一種基于patch 的投票決策和融合的思想。由于深度圖整體上是平滑連續(xù)的，錯(cuò)誤的像素點(diǎn)較少且分布較稀疏。因此，本文首先對(duì)整幅圖像進(jìn)行分塊處理，形成一系列n×n大小的patch；然后對(duì)每個(gè)patch 區(qū)域內(nèi)部像素的深度值進(jìn)行統(tǒng)計(jì)分析；最后，采取少數(shù)服從多數(shù)的投票策略，解決局部錯(cuò)誤點(diǎn)導(dǎo)致的融合孔洞問(wèn)題，提升融合效率。

1.3.2 投票決策融合

投票決策融合模塊主要分為3 步，具體實(shí)現(xiàn)如圖5 所示。

(1) 比較每個(gè)像素點(diǎn)對(duì)應(yīng)的真實(shí)場(chǎng)景和虛擬場(chǎng)景的深度值；

(2) 對(duì)區(qū)域內(nèi)的所有像素進(jìn)行投票決策，少數(shù)像素服從多數(shù)像素；

(3) 區(qū)域融合繪制。

比較像素點(diǎn)的真實(shí)深度和虛擬深度大小來(lái)描述兩者的前后關(guān)系。若像素點(diǎn)的真實(shí)深度大于虛擬對(duì)象深度，則該像素點(diǎn)用1 標(biāo)志，表示繪制虛擬物體像素，否則用0 標(biāo)志，表示繪制真實(shí)場(chǎng)景像素。針對(duì)目標(biāo)區(qū)域出現(xiàn)局部的錯(cuò)誤深度信息導(dǎo)致的孔洞問(wèn)題，融入投票決策的思想。將注意力從單個(gè)像素點(diǎn)轉(zhuǎn)換到整個(gè)patch，而將問(wèn)題從逐點(diǎn)像素的比較與繪制轉(zhuǎn)變?yōu)閰^(qū)域內(nèi)所有像素的投票決策和區(qū)域繪制。

基于局部區(qū)域的深度估計(jì)恢復(fù)出的深度圖是不規(guī)則的，如圖7(a)所示，需要執(zhí)行中心規(guī)則正方形區(qū)域和邊緣零散像素2 種不同處理。對(duì)于規(guī)則patch 區(qū)域，以右邊patch 區(qū)域?yàn)槔?，根?jù)深度比較關(guān)系確定每個(gè)像素的標(biāo)志如圖7(b)所示，利用投票決策的思想判斷該區(qū)域是否繪制，因?yàn)榇蠖鄶?shù)像素滿足標(biāo)志1，所以該區(qū)域內(nèi)的像素均為1，執(zhí)行繪制虛擬對(duì)象像素的條件，區(qū)域融合結(jié)果如圖7(c)所示。針對(duì)圖7(a)邊緣零散像素，以左邊patch 區(qū)域?yàn)槔?，由于邊緣像素分散且稀疏，投票決策的意義不大，所以強(qiáng)制執(zhí)行邊緣像素滿足最近的patch內(nèi)像素的繪制條件，從而邊緣能得到比較平滑的融合效果。綜上，基于投票決策的噪聲點(diǎn)融合模塊能夠針對(duì)具有局部錯(cuò)誤深度數(shù)據(jù)的深度圖做到良好的虛實(shí)融合效果，解決像素融合過(guò)程中的孔洞問(wèn)題。

圖7 錯(cuò)誤點(diǎn)投票決策融合((a)不規(guī)則區(qū)域2 種情況；(b)區(qū)域像素繪制；(c)區(qū)域融合) Fig.7 Voting decision fusion at wrong points ((a) Two cases of irregular areas;(b) Area pixel drawing; (c) Regional integration)

2 實(shí)驗(yàn)

2.1 環(huán)境與數(shù)據(jù)

依據(jù)Holynski 的算法思想，本文在Ubuntu16.04系統(tǒng)平臺(tái)上，結(jié)合OpenCV 4.0 函數(shù)庫(kù)開發(fā)實(shí)現(xiàn)區(qū)域深度數(shù)據(jù)的恢復(fù)，利用Unity3d 2019.2.16f1 游戲引擎實(shí)現(xiàn)虛實(shí)融合效果。本文在光照充足的條件下采集實(shí)驗(yàn)數(shù)據(jù)。數(shù)據(jù)來(lái)源于非理想化的日常場(chǎng)景，包括透明物體、稀疏紋理區(qū)域等。

2.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)采用普通手機(jī)攝像頭(分辨率1920×1080)，拍攝連續(xù)視頻作為實(shí)驗(yàn)數(shù)據(jù)。系統(tǒng)視頻運(yùn)行速度一般保持在30 fps，視頻比較流暢。利用SLAM 跟蹤場(chǎng)景3D 關(guān)鍵點(diǎn)，針對(duì)快速深度致密化算法和本文算法估計(jì)出深度信息的時(shí)間進(jìn)行實(shí)驗(yàn)對(duì)比。本文利用Unity3d 針對(duì)真實(shí)物體和虛擬物體不同空間位置關(guān)系進(jìn)行噪聲點(diǎn)數(shù)據(jù)融合實(shí)驗(yàn)。

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 時(shí)間結(jié)果比較

表1 為完整場(chǎng)景和局部目標(biāo)區(qū)域深度估計(jì)運(yùn)行時(shí)間比較結(jié)果。分別測(cè)試3 組數(shù)據(jù)，不同視頻的時(shí)長(zhǎng)、對(duì)應(yīng)的圖像序列數(shù)和目標(biāo)區(qū)域大小各不相同。一般場(chǎng)景越復(fù)雜，特定模板區(qū)域范圍越大，所需要的恢復(fù)時(shí)間越長(zhǎng)。

表1 深度估計(jì)每幀時(shí)間對(duì)比(ms) Table 1 Depth estimation time comparison per frame (ms)

從每組的完整場(chǎng)景和局部目標(biāo)區(qū)域處理的時(shí)間(表1)可知，在特定目標(biāo)區(qū)域進(jìn)行深度恢復(fù)，更有利于虛實(shí)遮擋的處理。

從每組的原始深度測(cè)試和本文投票決策虛實(shí)遮擋處理的單幀時(shí)間對(duì)比(表2)可知，本文算法時(shí)間會(huì)增加，但差距很少，可以忽略不計(jì)。

表2 投票決策遮擋時(shí)間對(duì)比(ms) Table 2 Voting decision occlusion time comparison (ms)

2.3.2 融合效果比較

實(shí)驗(yàn)對(duì)比了不同大小的patch 對(duì)虛實(shí)遮擋融合結(jié)果的影響。實(shí)驗(yàn)數(shù)據(jù)以單幀為例，為了準(zhǔn)確地觀察實(shí)驗(yàn)結(jié)果和比對(duì)，圖8 (虛擬物體遮擋真實(shí)場(chǎng)景)和圖9 (虛擬物體被遮擋)展示了完整的實(shí)驗(yàn)效果和對(duì)應(yīng)虛擬區(qū)域的放大視圖。

在虛擬對(duì)象遮擋真實(shí)場(chǎng)景的實(shí)驗(yàn)中，虛擬物體是三階魔方模型，快速深度致密化算法得到的融合效果如圖8(a)所示。由于真實(shí)書籍的邊角處的深度值不精確，虛實(shí)融合中魔方中心區(qū)域出現(xiàn)孔洞問(wèn)題。在虛擬物體被真實(shí)物體遮擋的實(shí)驗(yàn)中，虛擬物體是卡通汽車，快速深度致密化算法得到的虛實(shí)融合效果如圖9(a)所示。由于真實(shí)場(chǎng)景桌子的反光現(xiàn)象，該部分深度數(shù)據(jù)不準(zhǔn)確，從而出現(xiàn)車蓋部分虛擬像素缺失的問(wèn)題。圖8 和圖9(b)～(f)分別是本文算法采用不同patch 融合得到的虛實(shí)遮擋結(jié)果。

圖8 虛擬物體遮擋真實(shí)場(chǎng)景融合圖((a)原始快速深度致密化算法[17]的實(shí)驗(yàn)結(jié)果；(b)～(f)不同patch 融合的實(shí)驗(yàn)結(jié)果，其對(duì)應(yīng)patch 大小分別為(b) 2×2，(c) 3×3，(d) 4×4，(e) 5×5，(f) 6×6) Fig.8 Virtual object occludes real scene fusion map ((a) The experimental result of the original fast deep densification algorithm[17];(b)-(f) Tthe experimental results of the fusion of different patches,and the corresponding patch sizes are (b) 2×2,(c) 3×3,(d) 4×4,(e) 5×5,(f) 6×6)

圖9 虛擬物體被遮擋融合圖((a)原始快速深度致密化算法[17]的實(shí)驗(yàn)結(jié)果；(b)～(f)不同patch 融合的實(shí)驗(yàn)結(jié)果，其對(duì)應(yīng)patch 大小分別為(b) 2×2，(c) 3×3，(d) 4×4，(e) 5×5，(f) 6×6) Fig.9 Fusion image of virtual objects being occluded ((a) The experimental result of the original fast deep densification algorithm [17];(b)-(f) The experimental results of the fusion of different patches,and the corresponding patch sizes are (b) 2×2,(c) 3×3,(d) 4×4,(e) 5×5,(f) 6×6)

從虛擬物體和真實(shí)場(chǎng)景不同的空間關(guān)系(遮擋前后)的虛實(shí)融合對(duì)比結(jié)果可知，隨著選取的patch的增大，原始算法融合過(guò)程的孔洞越來(lái)越小。邊緣的細(xì)微殘缺像素也能實(shí)現(xiàn)平滑的繪制，與真實(shí)場(chǎng)景的物體更加融洽。實(shí)驗(yàn)表明基于patch 的像素點(diǎn)投票決策融合的方法，能夠較好地解決孔洞和噪聲點(diǎn)的問(wèn)題。在patch 大小為6×6 時(shí)，融合效果最佳，對(duì)于真實(shí)環(huán)境和虛擬對(duì)象不同的空間關(guān)系都適用。但是patch 過(guò)小時(shí)會(huì)導(dǎo)致孔洞現(xiàn)象加劇，一般patch的選取不要小于3×3。

3 結(jié) 論

本文提出的基于patch 投票決策的實(shí)時(shí)遮擋處理技術(shù)，解決遮擋處理的實(shí)時(shí)性和深度數(shù)據(jù)精確性2 個(gè)問(wèn)題。該算法能夠做到實(shí)時(shí)的遮擋融合處理，同時(shí)解決不精確的深度數(shù)據(jù)導(dǎo)致的噪聲點(diǎn)和孔洞問(wèn)題。

本文算法是建立在深度估計(jì)算法所得深度圖中錯(cuò)誤像素點(diǎn)較少且分布較稀疏的基礎(chǔ)上。如果出現(xiàn)大范圍的錯(cuò)誤深度數(shù)據(jù)，就無(wú)法正確處理融合中的孔洞問(wèn)題。此外，針對(duì)錯(cuò)誤的稀疏深度值，研究如何從根源出發(fā)糾正稀疏重建的錯(cuò)誤深度信息，是需要繼續(xù)研究的問(wèn)題。