馮笑冰 朱登明 王兆其

(*中國(guó)科學(xué)院大學(xué) 北京 100190) (**中國(guó)科學(xué)院計(jì)算技術(shù)研究所前瞻實(shí)驗(yàn)室 北京 100190) (***太倉(cāng)中科信息技術(shù)研究院 太倉(cāng) 215400)

0 引 言

自然場(chǎng)景的真實(shí)感模擬無(wú)論在傳統(tǒng)的影視特效、廣告、3維游戲開(kāi)發(fā)等領(lǐng)域，還是在最近蓬勃發(fā)展的虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域，都有著重要的應(yīng)用及研究?jī)r(jià)值。作為自然場(chǎng)景中非常普遍的一種物理現(xiàn)象，流體的真實(shí)感模擬更是有著廣泛的運(yùn)用。然而，由于流體復(fù)雜而不規(guī)則的運(yùn)動(dòng)狀態(tài)，其表現(xiàn)的形態(tài)也變化萬(wàn)千，流體動(dòng)畫(huà)的合成一直是計(jì)算機(jī)圖形學(xué)中具有挑戰(zhàn)性的問(wèn)題之一。多年來(lái)流體動(dòng)畫(huà)合成方法在不斷發(fā)展和創(chuàng)新，從最初的基于經(jīng)驗(yàn)的波面造型方法，到現(xiàn)在主流的基于流體動(dòng)力學(xué)的物理模擬方法，以及逐漸興起的數(shù)據(jù)驅(qū)動(dòng)方法，流體的合成效果在真實(shí)感和細(xì)節(jié)上有著顯著的提高，但隨之帶來(lái)的是計(jì)算量的不斷增加，從而無(wú)法在質(zhì)量和效率上達(dá)到平衡。

作為計(jì)算機(jī)圖形學(xué)研究中一直存在的熱點(diǎn)，早期的流體模擬方法主要是基于經(jīng)驗(yàn)的波面造型方法，使用周期函數(shù)、噪聲、傅里葉頻譜等，在高度場(chǎng)上疊加水波形成波浪效果。該方法計(jì)算簡(jiǎn)單，但適用范圍小，僅用于模擬大規(guī)模水面較平靜或規(guī)則水波?；谖锢淼牧黧w模擬方法主要根據(jù)流體動(dòng)力學(xué)方程跟蹤流體的運(yùn)動(dòng)狀態(tài)。該方法合成的流體動(dòng)畫(huà)與前者相比適用范圍廣，能模擬真實(shí)且豐富的視覺(jué)效果，但由于使用的物理模型復(fù)雜，存在計(jì)算量大且耗時(shí)長(zhǎng)等缺點(diǎn)，從而在模擬大規(guī)模水面時(shí)無(wú)法達(dá)到實(shí)時(shí)效果。

近些年來(lái)，隨著硬件技術(shù)的發(fā)展，基于實(shí)測(cè)數(shù)據(jù)的流體重建方法逐漸興起，為流體動(dòng)畫(huà)合成提供了新的解決思路。該方法通過(guò)采集真實(shí)場(chǎng)景的流體數(shù)據(jù)重建出流體表面模型。基于采集設(shè)備提供的真實(shí)數(shù)據(jù)，此類(lèi)方法重建所得的流體動(dòng)畫(huà)符合流體的物理運(yùn)動(dòng)規(guī)律，同時(shí)回避了物理方程計(jì)算量大的問(wèn)題，提高了流體重建的效率?？偨Y(jié)現(xiàn)有的基于實(shí)測(cè)數(shù)據(jù)的流體重建工作，使用多臺(tái)高精度捕捉設(shè)備，根據(jù)所需數(shù)據(jù)搭建復(fù)雜的捕捉環(huán)境，重建出的流體動(dòng)畫(huà)[1，2]具有豐富細(xì)節(jié)和高度真實(shí)感，但復(fù)雜的操作和較高的成本使這類(lèi)方法難以得到廣泛的運(yùn)用。基于普通單目攝像頭采集流體RGB圖像重建出的流體動(dòng)畫(huà)[3]，雖然具有良好的視覺(jué)效果，但由于其視角單一，3維信息還原的過(guò)程設(shè)置了較多假設(shè)條件，因此重建結(jié)果與真實(shí)場(chǎng)景相比具有較大差異。

深度攝像頭不僅具有RGB圖像獲取功能，也可以通過(guò)紅外線收發(fā)器快速、方便地獲取3維場(chǎng)景的深度數(shù)據(jù)。目前國(guó)內(nèi)外基于深度設(shè)備的3維重建工作主要用于靜態(tài)剛體的重建工作，如室內(nèi)場(chǎng)景及人體建模[4，5]，此類(lèi)方法通過(guò)轉(zhuǎn)換矩陣對(duì)相鄰幀的模型進(jìn)行注冊(cè)配準(zhǔn)，實(shí)現(xiàn)3維點(diǎn)云模型的修復(fù)。但針對(duì)流體這種具有特定物理運(yùn)動(dòng)規(guī)律，且快速變化的物體，基于深度圖的模型重建的研究目前還在探索之中。

本文提出基于深度數(shù)據(jù)的水表面重建方法，基于RealSense設(shè)備捕獲水表面高度場(chǎng)數(shù)據(jù)，并對(duì)數(shù)據(jù)場(chǎng)進(jìn)行預(yù)處理；針對(duì)高度場(chǎng)中較大區(qū)域的數(shù)據(jù)缺失，提出一種同步迭代計(jì)算速度場(chǎng)與高度場(chǎng)的水面重建方法，通過(guò)水表面點(diǎn)云間的匹配追蹤，計(jì)算水面速度場(chǎng)，并結(jié)合速度場(chǎng)時(shí)序連續(xù)性，構(gòu)建能量方程，根據(jù)捕獲區(qū)域高度場(chǎng)信息，在速度引導(dǎo)下實(shí)現(xiàn)缺失部分的高度場(chǎng)重建，并通過(guò)循環(huán)迭代以上過(guò)程，優(yōu)化水面高度場(chǎng)結(jié)果。

1 相關(guān)工作

1.1 波浪模擬

傳統(tǒng)的波浪模擬方法大致有2種：基于波面造型的方法和基于物理的方法。

波面造型：波浪模擬的早期工作集中于直接對(duì)水表面進(jìn)行建模和動(dòng)畫(huà)。這些方法大多基于三角公式、噪聲函數(shù)，或者傅里葉合成。對(duì)水表面進(jìn)行數(shù)學(xué)建模的其中一個(gè)最早的嘗試是Schachter[6]使用窄帶噪聲波形來(lái)表示水面。Hinsinger等人[7]則通過(guò)周期函數(shù)來(lái)模擬無(wú)邊界的水面場(chǎng)景，能夠達(dá)到實(shí)時(shí)效果。上述方法能夠較好地模擬岸邊淺水區(qū)域的水波，但生成的波浪形態(tài)單一，周期性強(qiáng)。Tessendorf[8]采用基于統(tǒng)計(jì)的快速傅里葉變換經(jīng)驗(yàn)?zāi)Ｐ蛠?lái)生成海面。Perlin等人[9]采用噪聲方法和投影網(wǎng)絡(luò)也可以來(lái)模擬海面波浪。國(guó)內(nèi)研究中，楊懷平等人[10]基于小振幅波理論和細(xì)胞自動(dòng)機(jī)的模型，采用鄰域傳播的思想對(duì)水波進(jìn)行動(dòng)態(tài)建模，并運(yùn)用色彩融合技術(shù)對(duì)水面完成浪花顯示。此類(lèi)方法模擬出的水面波紋隨機(jī)性強(qiáng)，但只能模擬微波蕩漾的水面，無(wú)法模擬浪花翻卷、卷曲的效果。

物理模擬：為了模擬復(fù)雜的、細(xì)節(jié)更為豐富的不規(guī)則波浪效果，基于物理的方法通常用Navier-Stokes方程或其簡(jiǎn)化形式精確描述流體的運(yùn)動(dòng)。文獻(xiàn)[11]采用數(shù)值迭代方法求解2維N-S方程來(lái)模擬波浪。Enright等人[12]用粒子水平集方法提取自由表面，通過(guò)求解3維N-S方程得到波浪在坡面上的卷曲和破碎效果。Muller等人[13，14]應(yīng)用平滑粒子流體動(dòng)力學(xué)方法，同時(shí)考慮了表面張力的作用，進(jìn)行水面的模擬。為了突出波浪的效果，O′brien和Hodgins[15]以及Takahashi等人[16]用粒子系統(tǒng)對(duì)水花和泡沫進(jìn)行建模，模擬了水波與固體碰撞時(shí)的飛濺現(xiàn)象。張桂娟等人[17]提出耦合幾何特征的高精度流體動(dòng)畫(huà)生成方法，根據(jù)幾何模型定位調(diào)整物理模型中的粒子集,從而更有效地產(chǎn)生高精度的流體水面和水花等細(xì)節(jié)效果。但基于物理模擬的方法因?yàn)槠溥\(yùn)算較為復(fù)雜，實(shí)現(xiàn)效率比較低。

1.2 水面重建

近年來(lái)，隨著相機(jī)等采集設(shè)備的發(fā)展，對(duì)真實(shí)自然現(xiàn)象的重建技術(shù)逐漸向基于數(shù)據(jù)采集的方向發(fā)展。數(shù)據(jù)驅(qū)動(dòng)的水表面重建，利用采集設(shè)備對(duì)真實(shí)的動(dòng)態(tài)流體進(jìn)行捕捉，并對(duì)數(shù)據(jù)進(jìn)行建模，此類(lèi)方法能夠保持流體變化的真實(shí)感，數(shù)據(jù)場(chǎng)符合物理運(yùn)動(dòng)規(guī)律，同時(shí)又在計(jì)算效率上得到了改善，因此近幾年來(lái)成為流體建模的研究方向。

基于圖像的重建技術(shù)中，多目圖像方法主要采用雙目攝像機(jī)或多臺(tái)攝像機(jī)對(duì)目標(biāo)進(jìn)行拍攝，獲取多視角的圖像信息。Ihrke等人[18]提出基于采集熒光物質(zhì)亮度的重建方法，利用熒光物質(zhì)對(duì)水體進(jìn)行染色，然后用多臺(tái)攝像機(jī)對(duì)目標(biāo)水體進(jìn)行拍攝，在重構(gòu)水體形態(tài)時(shí)保證時(shí)序上的連續(xù)性，使得模擬的流體動(dòng)畫(huà)更加連貫和具有整體性。Wang等人[19]提出了一種混合了物理模擬和基于圖像重建的動(dòng)態(tài)水體重建構(gòu)架，重建出水的初始表面，然后再用一系列物理約束對(duì)初始表面進(jìn)行優(yōu)化，從而使重建出來(lái)的3維動(dòng)畫(huà)真實(shí)感強(qiáng)且重建效率也很高。沈亮等人[20]提出一種基于圖像的啟發(fā)式火焰重建方法，通過(guò)迭代優(yōu)化求解能量約束模型，實(shí)現(xiàn)對(duì)火焰3維溫度場(chǎng)的重建。多目圖像方法往往能實(shí)現(xiàn)非常細(xì)節(jié)化的視覺(jué)效果，然而為了采集所需的數(shù)據(jù)，需要搭建復(fù)雜精細(xì)的數(shù)據(jù)采集環(huán)境，其對(duì)設(shè)備的要求和數(shù)量也有較高的要求，只適用于室內(nèi)小規(guī)模流體的細(xì)節(jié)重建，這在很大程度上限制了多目圖像方法的發(fā)展。

對(duì)于室外水體建模，由于戶(hù)外水體幾乎是不透明的，因此消除了折射的影響，可以通過(guò)由影調(diào)恢復(fù)形狀(shape from shading，SFS)的方法來(lái)恢復(fù)其表面形狀。Li等人[21]對(duì)Pickup文中提出的方法進(jìn)行了進(jìn)一步的優(yōu)化，引入淺水方程，通過(guò)多層迭代模型對(duì)重建水表面進(jìn)行優(yōu)化。國(guó)內(nèi)也有相應(yīng)的工作受到Li等方法的啟發(fā)。Quan等人[22]提出基于物理粒子的方法來(lái)擬合水面，通過(guò)淺水方程構(gòu)造線性幾何表面和非線性幾何表面約束來(lái)重構(gòu)水面形態(tài)。商柳等人[23]通過(guò)SFS方法實(shí)現(xiàn)水面建模后，通過(guò)對(duì)水面高度場(chǎng)進(jìn)行分解，實(shí)現(xiàn)了多樣性的水面動(dòng)畫(huà)合成。

而在基于深度圖的3維重建方面，近年來(lái)國(guó)內(nèi)外已經(jīng)有一些研究，Li等人[4，5]以多幀點(diǎn)云數(shù)據(jù)為輸入，對(duì)變形或不變形的3維物體進(jìn)行重建，通過(guò)局部注區(qū)塊匹配，重建模型。Sharf等人[24]以動(dòng)量守恒為約束，通過(guò)前后幀的點(diǎn)云流對(duì)缺失部分進(jìn)行填充。Wang等人[25]通過(guò)模版3維模型的建立，將連續(xù)變化的點(diǎn)云序列與模版進(jìn)行匹配，在彈性勢(shì)能的約束下，對(duì)3維模型的變化過(guò)程進(jìn)行建模。此類(lèi)方法針對(duì)的通常是形態(tài)不變或變化較小的固體模型，而流體由于運(yùn)動(dòng)過(guò)程中形態(tài)變化較大，且無(wú)法通過(guò)模版進(jìn)行匹配，因此普通的深度圖重建方法不適用于流體建模。

目前基于真實(shí)數(shù)據(jù)的水表面重建方法，針對(duì)室內(nèi)的水體重建，可利用多相機(jī)精確捕捉流體細(xì)節(jié)。但由于拍攝設(shè)備復(fù)雜，并且通常需要使用染色等手法對(duì)水體進(jìn)行處理，因此可重建的水體類(lèi)型局限性較大。另一方面，針對(duì)室外環(huán)境復(fù)雜，采集環(huán)境與光照環(huán)境變化較大的場(chǎng)景，多使用單一視角的圖像進(jìn)行恢復(fù)，此方法恢復(fù)結(jié)果受光照影響較大，同時(shí)由于拍攝距離較遠(yuǎn)，重建精確度受限，水體重建結(jié)果運(yùn)動(dòng)較為平緩。

針對(duì)該問(wèn)題，本文提出一種基于深度數(shù)據(jù)的流體表面重建方法，研究如何從RealSense攝像頭采集的深度圖像中，快速重建流體表面模型。由于設(shè)備性能和流體自身性質(zhì)的影響，流體采集深度信息時(shí)存在空洞與噪聲等問(wèn)題，無(wú)法直接由深度數(shù)據(jù)轉(zhuǎn)化生成完整的流體表面高度場(chǎng)。因此，本文的關(guān)鍵點(diǎn)是針對(duì)捕獲的深度圖中的缺失及錯(cuò)誤部分，通過(guò)連續(xù)幀間的數(shù)據(jù)場(chǎng)融合，還原流體表面丟失的數(shù)據(jù)信息。

2 基于深度圖的水面重建

通過(guò)深度采集設(shè)備捕獲所得的水面數(shù)據(jù)場(chǎng)，為時(shí)序上連續(xù)變化的水表面點(diǎn)云數(shù)據(jù)。本文的研究目標(biāo)是基于RealSense深度攝像頭采集流體表面的深度信息，從連續(xù)變化的深度圖像中，重建水表面運(yùn)動(dòng)信息，并在速度場(chǎng)引導(dǎo)下恢復(fù)流體表面模型，生成真實(shí)而具有豐富細(xì)節(jié)的流體動(dòng)畫(huà)。

在水體流動(dòng)過(guò)程中，由于水面運(yùn)動(dòng)過(guò)快，以及表面飛濺等原因，深度相機(jī)采集的深度圖像可能存在局部區(qū)域缺失等問(wèn)題。圖像空洞修補(bǔ)方法，通常利用圖像局部的連續(xù)性，以空洞邊緣圖像的顏色信息為目標(biāo)，在圖像中搜索相似性最高的數(shù)據(jù)塊，對(duì)缺失區(qū)域進(jìn)行填補(bǔ)。考慮到水面拍攝結(jié)果中，存在較大區(qū)域的數(shù)據(jù)缺失，而通常的基于連續(xù)性的圖像修復(fù)方法，考慮了單幀圖像的局部紋理特征，但針對(duì)水面運(yùn)動(dòng)序列，修復(fù)結(jié)果在水面運(yùn)動(dòng)的真實(shí)感上和時(shí)序連續(xù)性上難以得到滿(mǎn)足。

考慮到水表面運(yùn)動(dòng)遵循物理規(guī)律，因此本文針對(duì)水表面深度圖，根據(jù)前后幀間時(shí)序連續(xù)性，計(jì)算水面運(yùn)動(dòng)速度，并以速度場(chǎng)連續(xù)性為約束，以循環(huán)優(yōu)化的方式對(duì)高度場(chǎng)與速度場(chǎng)同時(shí)進(jìn)行計(jì)算，實(shí)現(xiàn)對(duì)圖像的修復(fù)。首先對(duì)原始深度圖像進(jìn)行去噪處理，并對(duì)待修補(bǔ)部分進(jìn)行標(biāo)示；然后根據(jù)水表面空間相似性，通過(guò)追蹤匹配建立前后幀點(diǎn)云集合間對(duì)應(yīng)關(guān)系；針對(duì)缺失部分的圖像，根據(jù)流體運(yùn)動(dòng)場(chǎng)的時(shí)空連續(xù)性構(gòu)建能量最小化方程，恢復(fù)表面速度場(chǎng)，并在流體運(yùn)動(dòng)的動(dòng)量守恒的約束下基于速度場(chǎng)對(duì)高度場(chǎng)進(jìn)行修復(fù)，最終重建水面模型?；谏疃葓D的水面重建流程如圖1所示。

圖1 基于深度圖的水面重建流程圖

2.1 深度圖預(yù)處理

使用RealSense攝像頭對(duì)水表面進(jìn)行拍攝時(shí)，由于水流速度較快導(dǎo)致水表面難以對(duì)紅外線信號(hào)進(jìn)行反射，深度圖中通常存在局部的空洞和噪聲，同時(shí)由于紅外信號(hào)受到環(huán)境的影響，在單幀深度值的測(cè)量上，會(huì)在真實(shí)深度值基礎(chǔ)上出現(xiàn)偏移，因此在對(duì)數(shù)據(jù)場(chǎng)進(jìn)行修復(fù)前，需先對(duì)深度圖進(jìn)行預(yù)處理，包括對(duì)數(shù)據(jù)無(wú)效區(qū)域的標(biāo)示，以及對(duì)深度數(shù)據(jù)場(chǎng)的歸一化處理。

在水面數(shù)據(jù)采集結(jié)果中，深度圖中的無(wú)效區(qū)域由2種情況構(gòu)成，分別為無(wú)深度值區(qū)域(深度返回值為零)，以及由于局部測(cè)量錯(cuò)誤以及環(huán)境噪聲引起的數(shù)據(jù)值錯(cuò)誤區(qū)域。

水面流動(dòng)過(guò)程中，表面高度呈現(xiàn)連續(xù)變化的特點(diǎn)，因此，針對(duì)表面缺失部分區(qū)域，采用一種基于相似性的表面修復(fù)方法，對(duì)水表面進(jìn)行填充，用于后續(xù)的優(yōu)化。

將高度場(chǎng)看成是2維灰度圖，使用基于紋理合成方法對(duì)空洞進(jìn)行填補(bǔ)。

將一個(gè)像素的鄰域設(shè)為包圍這個(gè)像素的正方形窗口。假設(shè)要填補(bǔ)的圖像為I，令p∈I是圖像中的一個(gè)像素點(diǎn)，ω(p)∈I是以p為中心、寬度為ω的方形圖像塊，即p的鄰域。在對(duì)波浪空洞填補(bǔ)過(guò)程中，首先找到空洞邊緣的所有像素點(diǎn)，這些像素點(diǎn)的鄰域內(nèi)只有部分有灰度值，而中心點(diǎn)需要合成。為了合成像素點(diǎn)p，和p的鄰域的最優(yōu)匹配ωbest是鄰域：

(1)

其中s為衡量相似性的距離函數(shù)。從最優(yōu)匹配鄰域集中隨機(jī)選取一個(gè)，將選取鄰域中心點(diǎn)的亮度值賦給p點(diǎn)?？斩刺钛a(bǔ)是一個(gè)迭代的過(guò)程，填補(bǔ)過(guò)程中，每一次找出空洞邊緣的一圈像素進(jìn)行合成，然后如此向內(nèi)收縮，直到最后將所有空缺的像素合成完畢。波浪完成修復(fù)后，需要進(jìn)行高斯平滑來(lái)對(duì)波浪周?chē)M(jìn)行處理，使波浪在填充后的位置和周?chē)牟ɡ巳诤稀?/p>

2.2 基于時(shí)空連續(xù)性的優(yōu)化模型

流體運(yùn)動(dòng)場(chǎng)中，深度攝像機(jī)可以捕獲連續(xù)變化的水表面高度場(chǎng)，相比于其他類(lèi)型的物體，水面的運(yùn)動(dòng)符合物理規(guī)律的約束，因此針對(duì)高度圖的缺失，本文提出一種基于速度場(chǎng)的時(shí)序優(yōu)化算法，對(duì)高度圖進(jìn)行修復(fù)，計(jì)算流程如圖2所示。水面運(yùn)動(dòng)符合物理運(yùn)動(dòng)規(guī)律，因此在時(shí)序一致性約束下，對(duì)速度場(chǎng)與高度場(chǎng)進(jìn)行同步優(yōu)化計(jì)算。輸入的高度圖定義為Hi，i表示幀序列號(hào)，輸入幀數(shù)為n，則高度圖序列表示為H={Hi}， 1

(2)

圖2 速度場(chǎng)及高度場(chǎng)修復(fù)的優(yōu)化求解流程

另一方面，水體可近似視為不可壓縮物體，運(yùn)動(dòng)過(guò)程中，符合流體物理方程的約束，在淺水的流動(dòng)過(guò)程中，水面高度變化較小，考慮到水表面運(yùn)動(dòng)滿(mǎn)足動(dòng)量守恒，運(yùn)動(dòng)速度與水面高度場(chǎng)的變化符合以下約束：

(3)

其中，u、v、w分別表示沿x、y、z軸的速度場(chǎng)，其中垂直方向速度變化可近似使用高度變化進(jìn)行表示，因此高度場(chǎng)變化w可通過(guò)最小化以下約束來(lái)求解：

(4)

E=Eheight-temporal+Eflow-temporal+Eflow-spacial

(5)

在深度圖待填充的區(qū)域內(nèi)，以時(shí)空連續(xù)性的約束下，最小化以上能量函數(shù)，通過(guò)迭代優(yōu)化的方式，同時(shí)求解速度場(chǎng)與高度場(chǎng)，實(shí)現(xiàn)水面深度重建。

2.3 高度場(chǎng)求解

為了實(shí)現(xiàn)以上的方程求解，由于水面速度場(chǎng)與高度間互相影響，直接求解難度較大，本文通過(guò)將幀間匹配、速度求解、高度場(chǎng)求解分別計(jì)算，以實(shí)現(xiàn)最終的優(yōu)化。首先根據(jù)前后幀的深度圖，通過(guò)追蹤算法，計(jì)算水表面運(yùn)動(dòng)的匹配結(jié)果；通過(guò)對(duì)速度場(chǎng)的約束，根據(jù)能量最小化約束，對(duì)缺失部分的速度場(chǎng)進(jìn)行最優(yōu)化計(jì)算；最后根據(jù)完整的速度場(chǎng)，對(duì)高度場(chǎng)進(jìn)行求解。

2.3.1 速度場(chǎng)重建

由于深度設(shè)備的限制，在流體速度過(guò)大的區(qū)域內(nèi)，無(wú)法捕獲真實(shí)有效的數(shù)據(jù)?？紤]到波浪運(yùn)動(dòng)速度較快，在普通深度相機(jī)采集數(shù)據(jù)的一個(gè)時(shí)間步內(nèi)，水表面發(fā)生變形，因此直接根據(jù)高度場(chǎng)進(jìn)行水面速度的計(jì)算無(wú)法準(zhǔn)確計(jì)算速度，因此本文使用基于幾何特征的點(diǎn)云匹配方法，實(shí)現(xiàn)對(duì)水面運(yùn)動(dòng)的追蹤，以此實(shí)現(xiàn)速度場(chǎng)計(jì)算。首先根據(jù)高度場(chǎng)與相機(jī)外參，計(jì)算3維點(diǎn)云數(shù)據(jù)，在此基礎(chǔ)上，計(jì)算第i幀中的點(diǎn)與i+1幀的匹配關(guān)系。在水面運(yùn)動(dòng)過(guò)程中，一個(gè)時(shí)間步內(nèi)，水面運(yùn)動(dòng)變形較小，因此根據(jù)3維空間的距離以及法向相似性計(jì)算匹配結(jié)果。

此處使用迭代最近點(diǎn)(iterative closest point， ICP)算法對(duì)相鄰幀間的點(diǎn)進(jìn)行匹配。為了實(shí)現(xiàn)第i幀Hi與第i+1幀Hi+1的匹配，若假設(shè)Hi中的點(diǎn)Pi與Hi+1中的Qi點(diǎn)對(duì)應(yīng)，則可通過(guò)旋轉(zhuǎn)矩陣進(jìn)行點(diǎn)間的匹配，使其滿(mǎn)足關(guān)系Qi=Pi×Ri+Ti，其中Ri與Ti分別表示旋轉(zhuǎn)矩陣與平移矩陣。在計(jì)算匹配點(diǎn)過(guò)程中，通過(guò)最小化以下能量方程，計(jì)算匹配結(jié)果：

(6)

其中，D(Q,P)衡量匹配點(diǎn)的相似度，在本方法中，相似度包括空間距離Dspace以及紋理相似度Dcolor2個(gè)方面，其中：

Dspace(Qi,Pi)=Qi-(Pi×Ri+Ti)

(7)

通過(guò)以下方程來(lái)最小化Dspace保證水面點(diǎn)云的空間連續(xù)性：

(8)

bb(ri,dj)=

(9)

其中，bb(ri,dj)為點(diǎn)對(duì)的匹配結(jié)果，bb=1表示ri,dj構(gòu)成一對(duì)兄弟點(diǎn)對(duì)，NN(ri,D)即為在區(qū)域D中尋找與ri最相似的點(diǎn)，計(jì)算方法為：

(10)

其中，dis表示兩點(diǎn)間的距離，此處為兩點(diǎn)間RGB圖像像素間的差。最終2個(gè)區(qū)域塊的相似性度量函數(shù)定義為

(11)

綜合以上所述，相鄰幀點(diǎn)云匹配過(guò)程中，匹配結(jié)果同時(shí)滿(mǎn)足圖像像素以及空間距離一致性約束：

D(P,Q)=Dspace+Dcolor

(12)

本文通過(guò)對(duì)連續(xù)幀序列間的匹配計(jì)算，實(shí)現(xiàn)對(duì)水表面點(diǎn)的追蹤。同時(shí)根據(jù)匹配結(jié)果，(P,Q)點(diǎn)對(duì)表示當(dāng)前幀中的點(diǎn)P在下一幀中的目標(biāo)位置Q，通過(guò)此方式，可計(jì)算深度圖中像素點(diǎn)在一個(gè)時(shí)間步內(nèi)的運(yùn)動(dòng)速度。

U(u,v,w)=Q-P

(13)

同時(shí)，考慮到水面運(yùn)動(dòng)其速度場(chǎng)變化滿(mǎn)足時(shí)間連續(xù)性的約束：

(14)

綜合以上，在點(diǎn)云匹配求解過(guò)程中，通過(guò)聯(lián)合以上2種優(yōu)化目標(biāo)，計(jì)算速度場(chǎng)，同時(shí)計(jì)算第i幀向前以及向后運(yùn)動(dòng)速度場(chǎng)Uf，Ub。速度場(chǎng)計(jì)算結(jié)果將同時(shí)滿(mǎn)足時(shí)間連續(xù)性、彩色圖像以及空間位置的連續(xù)性。

2.3.2 高度場(chǎng)修復(fù)

完成速度場(chǎng)的計(jì)算后，本節(jié)在速度的約束下，實(shí)現(xiàn)待修復(fù)區(qū)域的高度場(chǎng)重建。首先，水面運(yùn)動(dòng)中，高度場(chǎng)需要在單幀內(nèi)滿(mǎn)足局部數(shù)據(jù)的平滑性，另一方面，考慮到流體方程的約束下，高度場(chǎng)與速度場(chǎng)間滿(mǎn)足動(dòng)量一致性的約束，根據(jù)速度場(chǎng)U的引導(dǎo)，可計(jì)算目標(biāo)點(diǎn)在前幀數(shù)據(jù)場(chǎng)中的對(duì)應(yīng)高度，高度場(chǎng)滿(mǎn)足以下約束：

(15)

在計(jì)算過(guò)程中，第i幀中p位置的高度場(chǎng)為

H(p)=H′(p,U)+(ux(p)+vy(p)-w(p))

(16)

其中，H(p)表示高度場(chǎng)修復(fù)結(jié)果，U為i幀向i+1幀運(yùn)動(dòng)速度場(chǎng)，H′(p,U)為p點(diǎn)在速度U的驅(qū)動(dòng)下，在相鄰i+1幀中對(duì)應(yīng)位置的高度場(chǎng)，u、v、w分別為p位置沿x、y、z方向的速度，ux與vy分別為速度u、v沿x、y方向的導(dǎo)數(shù)。本文通過(guò)前后幀共同約束，對(duì)當(dāng)前幀高度場(chǎng)進(jìn)行優(yōu)化，并在完成高度場(chǎng)計(jì)算后，對(duì)高度場(chǎng)進(jìn)行平滑，保證高度場(chǎng)的連續(xù)性和視覺(jué)真實(shí)感。本文算法實(shí)現(xiàn)流程如算法1所示。

算法1基于深度圖的水面重建算法

1:輸入:數(shù)據(jù)采集深度圖序列H2:針對(duì)H中無(wú)效信息,標(biāo)識(shí)待修復(fù)區(qū)域M3:For loop←1 TO k DO /? loop為循環(huán)迭代次數(shù)?/4: 通過(guò)水面高度圖序列{H},結(jié)合相機(jī)內(nèi)參與外參計(jì)算水面點(diǎn)云集合5: For frame←1 TO N DO /?逐幀計(jì)算水面高度場(chǎng)?/

6: 最小化Eflow-spacial, Eflow-temporal 計(jì)算當(dāng)前幀與前后幀間的點(diǎn)云匹配結(jié)果{P, Q}7: 根據(jù)匹配結(jié)果,更新前向速度場(chǎng)U,以及后向速度場(chǎng)W8: 基于速度場(chǎng)UW,最小化Eheight-temporal,更新計(jì)算高度圖Hframe9: End10:End11:輸出:{Hframe}為水面重建結(jié)果

3 實(shí)驗(yàn)結(jié)果

本文使用RealSense攝像頭垂直于水表面進(jìn)行深度數(shù)據(jù)的采集，圖3中左側(cè)圖片為采集RGB圖像，中間為原始采集數(shù)據(jù)的高度圖顯示結(jié)果以及對(duì)應(yīng)的3維模型渲染效果，右側(cè)為使用本文方法修復(fù)后的對(duì)應(yīng)結(jié)果。

圖3 深度相機(jī)采集數(shù)據(jù)及修復(fù)結(jié)果渲染

如圖3所示，觀察填補(bǔ)結(jié)果可以看出，空洞區(qū)域經(jīng)填充后能很好地與邊緣位置融合在一起，并且水面變化符合RGB圖像所展示的水面運(yùn)動(dòng)特征。圖4為更多的修復(fù)結(jié)果展示。左側(cè)圖像為原始捕獲深度圖的渲染結(jié)果，其中空洞部分為數(shù)據(jù)缺失區(qū)域，右側(cè)為使用本文方法修復(fù)后的水面效果。在深度攝像頭采集的原始深度圖中，基于紅外攝像頭的成像原理，在運(yùn)動(dòng)速度過(guò)快的區(qū)域，水表面形態(tài)不穩(wěn)定，因此表面凸起部分也較容易出現(xiàn)較大區(qū)域的數(shù)據(jù)缺失。而本文基于RGB-D圖像，在水面點(diǎn)云與紋理的雙重約束下，能夠較好地在連續(xù)的水面序列幀中完成波浪運(yùn)動(dòng)軌跡追蹤，實(shí)現(xiàn)對(duì)水面速度場(chǎng)與高度場(chǎng)建模，因此針對(duì)快速運(yùn)動(dòng)的、較大范圍的水面缺失，重建結(jié)果也保持了較好的真實(shí)感和連續(xù)性。

水表面高度場(chǎng)由深度圖像轉(zhuǎn)化而來(lái)，因此若將水面視為圖像也可以通過(guò)對(duì)2維圖像的修復(fù)近似恢

左側(cè)為通過(guò)深度攝像機(jī)采集的連續(xù)變化的水面幀序列， 右側(cè)為對(duì)應(yīng)的重建結(jié)果圖4 水面修復(fù)與重建結(jié)果

復(fù)水面。本文使用了簡(jiǎn)單的基于圖像紋理的修復(fù)方法[26]做為預(yù)處理步驟，圖5對(duì)比了本文的修復(fù)方法與基于圖像紋理的修復(fù)方法的處理效果。圖像顯示

右圖為深度相機(jī)采集結(jié)果，深色區(qū)域?yàn)闊o(wú)效數(shù)據(jù)，中圖為使用 基于圖像的修復(fù)算法的重建結(jié)果，左圖為本文算法修復(fù)結(jié)果圖5 水面修復(fù)結(jié)果對(duì)比

了使用顏色空間對(duì)高度場(chǎng)進(jìn)行表示的結(jié)果，暖色表示水面高度較大，冷色表示水面較低。其中，最右側(cè)為捕獲的帶有殘缺的原始深度圖，深色區(qū)域?yàn)閿?shù)據(jù)缺失的待修復(fù)區(qū)域，左側(cè)為本文方法修復(fù)結(jié)果，中間為使用普通圖像紋理修復(fù)算法的結(jié)果。觀察基于單幀圖像的修復(fù)結(jié)果，由于基于圖像紋理的修復(fù)算法僅考慮了深度圖像的局部相似度，雖然可以保證修復(fù)結(jié)果在視覺(jué)上合理，但局部有較明顯的邊界，而且在連續(xù)變化的修復(fù)結(jié)果中，波浪邊界區(qū)域不具備連續(xù)性。本文方法在修復(fù)過(guò)程中，通過(guò)空間位置的匹配計(jì)算速度場(chǎng)，并逐步迭代進(jìn)行高度場(chǎng)的優(yōu)化，在速度場(chǎng)的時(shí)空約束下，高度結(jié)果符合運(yùn)動(dòng)的連續(xù)性，且邊界較為平滑，能看到較明顯的波浪向前涌動(dòng)的特征。

另外，本文使用室內(nèi)采集的完整水面模型數(shù)據(jù)場(chǎng)，對(duì)本方法的修復(fù)效果進(jìn)行驗(yàn)證對(duì)比。首先對(duì)室內(nèi)水體數(shù)據(jù)進(jìn)行染色處理后，對(duì)水面深度數(shù)據(jù)進(jìn)行采集。由于采集數(shù)據(jù)較為完整，本文對(duì)原始數(shù)據(jù)進(jìn)行處理，將部分區(qū)域的數(shù)據(jù)進(jìn)行剔除，并使用文中算法，將數(shù)據(jù)場(chǎng)進(jìn)行修復(fù)后與原始捕獲數(shù)據(jù)進(jìn)行比對(duì)。如圖6所示，其中左上圖像為捕獲結(jié)果，如前文所分析，由于深度采集過(guò)程中水面翻涌較劇烈的區(qū)域易出現(xiàn)數(shù)據(jù)捕獲的缺失，因此為了更好地模擬真實(shí)場(chǎng)景中采集數(shù)據(jù)的殘缺狀態(tài)，本文將采集所得的幀序列中水面高度在閾值之上的區(qū)域置為無(wú)效數(shù)據(jù)，作為實(shí)驗(yàn)修復(fù)對(duì)象，如右上圖像所示，其中深色區(qū)域表示無(wú)效數(shù)據(jù)區(qū)。圖6下部從左至右分別為使用基于單幀圖像的修復(fù)方法以及本文方法對(duì)缺失的深度區(qū)域進(jìn)行修復(fù)的結(jié)果。如圖6所示，當(dāng)深度圖局部數(shù)據(jù)缺失后，基于單幀的圖像修復(fù)的方法通過(guò)RGB圖像的像素相似度，在該幀圖像中尋找與待填充位置的紋理最相似數(shù)據(jù)塊進(jìn)行填充，因此修復(fù)結(jié)果雖然在空間上保持連續(xù)，但由于數(shù)據(jù)源中水面涌起部分缺失較多，無(wú)法與Groundtruth中所顯示的水面凸起狀態(tài)保持一致。本文方法通過(guò)重建速度場(chǎng)進(jìn)行對(duì)數(shù)據(jù)缺失區(qū)域的修復(fù)，雖然當(dāng)前幀水面運(yùn)動(dòng)劇烈，局部區(qū)域數(shù)據(jù)已缺失，但可根據(jù)前后幀的速度場(chǎng)重建，在時(shí)間連續(xù)性約束下可近似恢復(fù)缺失區(qū)域的運(yùn)動(dòng)學(xué)信息，并進(jìn)一步恢復(fù)高度場(chǎng)，因此填充結(jié)果與原始采集數(shù)據(jù)場(chǎng)相似度更高。

左上圖為使用的Groundtruth高度圖，右上為設(shè)計(jì)的待修復(fù)圖像，下圖從左至右分別為基于單幀圖像的修復(fù)算法以及本文修復(fù)算法的重建效果。其中坐標(biāo)軸表示像素位置。

圖6 圖像修復(fù)結(jié)果對(duì)比

4 結(jié) 論

由于深度采集技術(shù)及設(shè)備快速發(fā)展，基于深度相機(jī)的3維模型重建技術(shù)逐漸發(fā)展起來(lái)，而由于流體運(yùn)動(dòng)速度較快且具有不規(guī)則性，同時(shí)水體環(huán)境變化較大，在真實(shí)場(chǎng)景采集中捕獲的深度數(shù)據(jù)存在較大范圍的缺失，因此普通的針對(duì)固體的3維模型重建方法難以適用于流體的重建。本文針對(duì)此問(wèn)題，基于水體運(yùn)動(dòng)時(shí)表面的幾何連續(xù)性，進(jìn)行相鄰幀間的水面點(diǎn)云追蹤，并根據(jù)流體運(yùn)動(dòng)的時(shí)序連續(xù)性約束，近似計(jì)算水表面速度場(chǎng)信息；進(jìn)一步結(jié)合水面動(dòng)量守恒以及體積守恒實(shí)現(xiàn)高度圖的修復(fù)。此方法基于實(shí)測(cè)數(shù)據(jù)重建出的流體模型，既能保證重建結(jié)果符合流體真實(shí)的運(yùn)動(dòng)規(guī)律，同時(shí)回避了物理方程計(jì)算量大的問(wèn)題，提高了流體重建的整體效率。

但本文的方法也存在一些不足，如速度場(chǎng)與高度場(chǎng)修復(fù)，需要以相鄰幀間的點(diǎn)云匹配為前提，當(dāng)采集的深度圖像邊緣區(qū)域出現(xiàn)連續(xù)多幀數(shù)據(jù)缺失時(shí)，由于無(wú)法對(duì)前幀進(jìn)行匹配，因此速度場(chǎng)計(jì)算不準(zhǔn)確，同時(shí)導(dǎo)致高度場(chǎng)修復(fù)結(jié)果失真。后續(xù)工作中需要根據(jù)幀間匹配結(jié)果動(dòng)態(tài)調(diào)整前后幀融合時(shí)的權(quán)重參數(shù)，并結(jié)合水面初始化等方法得到更加準(zhǔn)確且豐富多樣的波浪動(dòng)畫(huà)結(jié)果。