吳濤，葉煉，柯穎悅

（武漢理工大學(xué)，湖北武漢，430000）

引言

基于圖像的三維重建的研究目的是利用計(jì)算機(jī)對(duì)物體二維圖像信息進(jìn)行處理，進(jìn)而得到物體的三維信息，還原出其三維模型。人體三維重建是三維重建技術(shù)的一個(gè)重要方面，廣泛用于醫(yī)學(xué)、人體測(cè)量、游戲等領(lǐng)域，具有相當(dāng)高的研究?jī)r(jià)值。

人體三維重建的方法主要有基于點(diǎn)云的方法、基于圖像的方法、基于點(diǎn)云與圖像相結(jié)合的方法。

基于點(diǎn)云的方法，是利用激光掃描儀采集人體表面的點(diǎn)云信息，，然后對(duì)簡(jiǎn)化處理采集得來的點(diǎn)云數(shù)據(jù)，之后對(duì)處理后的點(diǎn)云數(shù)據(jù)進(jìn)行三角網(wǎng)格化，最后恢復(fù)出人體的三維表面模型?；邳c(diǎn)云的方法可以有效得到高精度的三維人體模型，但其成本較高，且對(duì)計(jì)算機(jī)資源有較高的要求，所以它主要應(yīng)用于一些對(duì)精度有特殊要求的場(chǎng)景?；邳c(diǎn)云的方法的主要步驟包括以下幾步：

（1）點(diǎn)云數(shù)據(jù)采集

首先利用三維掃描儀獲得人體的點(diǎn)云信息，由于在掃描過程中易受到外界環(huán)境因素的干擾，因此，需要對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理。剔除點(diǎn)云數(shù)據(jù)中的不穩(wěn)定點(diǎn)和錯(cuò)誤點(diǎn)。另一方面，普通的掃描儀得到的點(diǎn)云數(shù)據(jù)比較稠密，如果直接進(jìn)行使用將花費(fèi)不必要的計(jì)算機(jī)資源。因此，還需要對(duì)得到的點(diǎn)云數(shù)據(jù)進(jìn)行簡(jiǎn)化處理以簡(jiǎn)化后續(xù)處理的計(jì)算與存儲(chǔ)。

（2）點(diǎn)云配準(zhǔn)

利用公共區(qū)域的同名點(diǎn)進(jìn)行兩兩匹配，將多組點(diǎn)云數(shù)據(jù)映射到一個(gè)統(tǒng)一的世界坐標(biāo)系。新的點(diǎn)云數(shù)據(jù)為后續(xù)的統(tǒng)一計(jì)算提供了便利，其中最典型的精配準(zhǔn)方法為ICP算法。

（3）三維重建

多組點(diǎn)云數(shù)據(jù)在配準(zhǔn)后出現(xiàn)的點(diǎn)云重疊與冗余問題，需要對(duì)點(diǎn)云數(shù)據(jù)去冗余。對(duì)簡(jiǎn)化的點(diǎn)云數(shù)據(jù)進(jìn)行三角網(wǎng)格化處理，進(jìn)而恢復(fù)出三維人體模型，它展示了人體的三維表面信息。

基于圖像的方法，即使用直接拍攝到的照片進(jìn)行三維重建。其三維重建方法主要有立體視覺法、運(yùn)動(dòng)圖像序列法、光度立體學(xué)等?；谝曨l序列的三維重建方法是從SFM技術(shù)[1-3]出發(fā)，該技術(shù)可以同時(shí)恢復(fù)相機(jī)的運(yùn)動(dòng)軌跡和三維結(jié)構(gòu)。

基于點(diǎn)云的方法盡管精度較高，但是無法獲得物體的紋理信息且成本高昂，而基于圖像的的方法速度受到限制孩子，精度也不夠高，而基于結(jié)合點(diǎn)云與圖像的深度相機(jī)的方法結(jié)合了前面兩種方法的優(yōu)點(diǎn)，利用深度相機(jī)可以得到物體的幾何結(jié)構(gòu)與紋理映射，進(jìn)而得到較高真實(shí)度的三維模型。

1 主要技術(shù)

1.1 相機(jī)標(biāo)定

計(jì)算機(jī)視覺研究領(lǐng)域有三種常見的坐標(biāo)系：像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系。我們采用針孔模型，使用SFM[1-3]算法同時(shí)得到場(chǎng)景的三維結(jié)構(gòu)和相機(jī)姿勢(shì)。

1.2 深度恢復(fù)

在這一階段，我們對(duì)已選取的若干段視頻序列的每幀圖像求解深度圖，使用圖像分割技術(shù)來提升部分沒有特征區(qū)域深度恢復(fù)的質(zhì)量，最后對(duì)前述序列進(jìn)行集束調(diào)整的迭代以優(yōu)化圖像序列。

1.3 特征匹配

特征匹配主要用來進(jìn)行圖像之間的檢索，特征匹配的方法主要有由Lowe[4]等人提出的SIFT尺度不變特征變換算法、由Bay[5]等人提出加速魯棒的SURF算法、由Rosten[6]等人提出的FAST算法，SIFT算法具有對(duì)光不敏感、尺度不變性和旋轉(zhuǎn)不變性等優(yōu)點(diǎn)[1]。故本文采用SIFT算法進(jìn)行特征匹配。

2 多序列特征匹配與模型重建

2.1 多序列特征匹配

特征匹配的結(jié)果會(huì)影響到序列對(duì)齊的質(zhì)量，這決定了三維模型重建結(jié)果的準(zhǔn)確性。通常的雙目立體視覺是建立在對(duì)應(yīng)點(diǎn)的視差基礎(chǔ)上，因此兩幅圖像中各點(diǎn)的匹配關(guān)系成為立體視覺技研究中的一個(gè)極其重要的問題。如果視角發(fā)生很大變化，會(huì)造成尺度和光照的明顯變化，圖像之間會(huì)發(fā)生一定的旋轉(zhuǎn)。這些因素對(duì)特征匹配有很大的影響。人們研究了許多約束方法來減少對(duì)應(yīng)點(diǎn)的匹配錯(cuò)誤，期望達(dá)到更好的匹配效果，通常特征匹配的方法是相關(guān)匹配。在這里，我們選擇SIFT用作特征描述子用于序列間的特征匹配。

首先，分別取兩幅圖像序列，我們把P中的每一幀圖像和Q中所有的進(jìn)行特征匹配，即總共有組圖像進(jìn)行特征匹配。然后從這些組中選出一組匹配點(diǎn)的重投影誤差最低的圖像組，公式化的表達(dá)形式如式（1）：

目標(biāo)函數(shù)是使得式（3-1）達(dá)到極小值，在實(shí)際沒有切實(shí)簡(jiǎn)單的方法直接優(yōu)化上式并求解。因此，為了簡(jiǎn)化求解過程，我們做了適當(dāng)?shù)募僭O(shè)，假設(shè)在兩個(gè)序列P和Q間存在且只存在一個(gè)相似變換，這樣序列P中的點(diǎn)和序列Q中與其相對(duì)應(yīng)的點(diǎn)之間存在這樣的對(duì)應(yīng)關(guān)系，如式（2）所示：

其次，假設(shè)已經(jīng)知道了k個(gè)相對(duì)應(yīng)的點(diǎn)，序列P中的記為和序列Q中的記為，那么要解決的問題變成了下式（3）：

為了簡(jiǎn)化求解過程，我們先根據(jù)匹配的特征點(diǎn)確定尺度變量m，依式（4）所示：

式（4）中的和分別是a和b的重心。在確定了以后，那么上面的式（3）可以變化寫成下式的（5）：

其中的。假設(shè)A不變，對(duì)F關(guān)于y求導(dǎo)得到下式（6）：

將式（7）中關(guān)于y的表達(dá)式代入式（5）可以得到如下式（8）：

據(jù)此可以推導(dǎo)出式（9）：

然后將（9）中的表達(dá)式展開計(jì)算可得到如下式（10）：

最初的問題轉(zhuǎn)化為（11）：

上式中的X和Y都是3k′的矩陣，在代數(shù)中tr代表矩陣的跡。

令,對(duì)B做SVD分解，如下式（12）所示：

E和C都是正交矩陣，由正交矩陣的性質(zhì)，可得同樣也是正交矩陣，那么可以得到下式（14）和式（15）所示的關(guān)系：

由式（15）可知，如果要使達(dá)到極大值，就必須使得，而T是正交矩陣，故T必然是單位矩陣，即可以得到下式（16）

依照上式（16）求出的正交矩陣必定是最優(yōu)的，可是也有可能這個(gè)矩陣是反射矩陣。所以，一旦我們求解得到的矩陣是反射矩陣，那么我們還需要調(diào)整相應(yīng)的結(jié)果，尋求下一個(gè)相對(duì)最符合要求的次優(yōu)解[7]。

因?yàn)椴煌蛄械膱D像之間的視角變化差異較大，為了降低因視角變換給求解所帶來的負(fù)面影響，對(duì)于每幅圖像，我們都會(huì)在多視角下生成不同的投影[8-9]。

對(duì)于每一幅投影圖像，我們都會(huì)進(jìn)行特征檢測(cè)和匹配，然后再把匹配的結(jié)果投影到原始給定的圖像上。

在求解SRT時(shí)，深度誤差的產(chǎn)生會(huì)對(duì)結(jié)果產(chǎn)生影響，為了解決這個(gè)問題，我們采用了基于RANSAC的迭代分層式求解方法。

在初始狀態(tài)，我們使用的所有匹配的特征點(diǎn)計(jì)算 SRT。理論上，只有三個(gè)相應(yīng)的點(diǎn)可以計(jì)算為SRT。根據(jù)從上層獲得的SRT，我們計(jì)算匹配點(diǎn)的投影誤差，如公式（1），然后拒絕匹配點(diǎn)的重投影誤差大于一定的閾值，并保留匹配點(diǎn)應(yīng)用到下一級(jí)的輸入。

必須要注意的是，在初始層的時(shí)候，要選擇比較大的重投影誤差閾值，這一措施保證了正確的匹配點(diǎn)不被錯(cuò)誤的剔除掉。隨著層數(shù)越大，重投影誤差閾值隨之動(dòng)態(tài)逐漸減小。通過這些方法，我們可以逐層消除重投影誤差較大的點(diǎn)。保留下來的匹配圖像對(duì)其中的大部分都可以保持顏色的一致性和幾何的一致性，有可能仍然存在誤差較大的圖像對(duì)，因此不能用所有的圖像對(duì)參與SRT的計(jì)算，我們從所有的有效匹配圖像中選出重投影誤差盡可能小同時(shí)匹配特征點(diǎn)數(shù)盡可能多的一對(duì)圖像進(jìn)行SRT的求解。

考慮到需要持續(xù)減小深度誤差對(duì)特征匹配的干擾，在特征匹配之前，我們需要對(duì)深度圖進(jìn)行一致性檢驗(yàn)。對(duì)于每一個(gè)位置，利用深度投影到相鄰多幀 ，然后通過反投影到當(dāng)前幀，如果重投影誤差大于某一閾值，則標(biāo)記當(dāng)前位置的深度值無效。如下式（17），表示處深度值是有效地，否則表示無效。

結(jié)果發(fā)現(xiàn)，如果匹配點(diǎn)聚集在圖像的一個(gè)小區(qū)域，就會(huì)產(chǎn)生較大的對(duì)齊錯(cuò)誤[10]。因?yàn)榧僭O(shè)利用歐式距離計(jì)算出所有的匹配點(diǎn)對(duì)很近，那么根據(jù)這些點(diǎn)對(duì)計(jì)算得到的SRT更容易受到深度值的影響，深度上的的極小的誤差也會(huì)造成對(duì)齊結(jié)果的很大偏離?？紤]到這些，我們對(duì)匹配的特征點(diǎn)對(duì)進(jìn)行稀疏采樣:對(duì)一對(duì)新的匹配點(diǎn)，檢查鄰域范圍內(nèi)是否存在其他的匹配對(duì)。如果有，把這個(gè)放在賽點(diǎn)上。事實(shí)上，這種方法相當(dāng)于在特征點(diǎn)均勻分布上的施加了限制。

2.2 多視圖融合

多視圖融合的目的是獲得每幀深度圖所對(duì)應(yīng)的三維點(diǎn)集，并通過重投影深度誤差統(tǒng)計(jì)剔除部分不精確的三維點(diǎn);然后將多幀的三維點(diǎn)集合并成場(chǎng)景整體的三維點(diǎn)云，并剔除其中重復(fù)冗余的三維點(diǎn);得到可靠性較高但規(guī)模較小的點(diǎn)云。

本部分采取基于多視圖深度采樣[11]的方法。首先獲得每幀深度圖的三維采樣點(diǎn)集合，然后給每個(gè)三維采樣點(diǎn)統(tǒng)計(jì)其在相鄰幀上的投影深度誤差，根據(jù)給定的閾值，剔除誤差較大的三維點(diǎn)，深度誤差計(jì)算方法如下式（18）：

對(duì)三位采樣點(diǎn)集合進(jìn)行多幀之間的融合以獲得場(chǎng)景完整的三維點(diǎn)云，相對(duì)而言，最簡(jiǎn)單直接的融合多幀三維采樣點(diǎn)的方法是取交集。然而多幀視圖之間存在許多重疊區(qū)域，這會(huì)導(dǎo)致直接求交集所獲得的三維點(diǎn)云存在很多冗余的三維點(diǎn)，重復(fù)的三維點(diǎn)集不僅會(huì)大大增加云數(shù)據(jù)量還會(huì)降低模型的精確度。所以接下來需要對(duì)每個(gè)三維采樣點(diǎn)計(jì)算深度置信度，剔除掉重復(fù)的三維點(diǎn)，通過置信度排序?qū)崿F(xiàn)多幀三維點(diǎn)采樣點(diǎn)的無重復(fù)融合。利用三維點(diǎn)在相鄰幀的重投影顏色誤差來計(jì)算其深度置信度，以此衡量該點(diǎn)的精度，置信度計(jì)算方法如下式（19）

為二維點(diǎn)利用深度重投影的投影點(diǎn)，表示神隊(duì)友鄰域范圍內(nèi)的2K個(gè)深度值集合，表示像素衍射差值平方和誤差。

把所有采樣點(diǎn)的深度置信度都計(jì)算之后，依照置信度由高到低的順序?qū)γ繋娜S點(diǎn)集合進(jìn)行排序并剔除不精確采樣點(diǎn)。然后依據(jù)歸并排序的方法對(duì)視頻序列中的若干幀三維采樣點(diǎn)進(jìn)行排序。為了排除合并和排序過程中的重復(fù)采樣點(diǎn)，我們以當(dāng)前采樣點(diǎn)為中心半徑R的窗口區(qū)域投影到相鄰多幀，并去除投影區(qū)域中的每一個(gè)三維采樣點(diǎn)。利用上述方法尋找并移除所有其余幀上的重復(fù)采樣點(diǎn)，從而保證融合而成的三維點(diǎn)云中不存在重復(fù)冗余。由于依照深度置信度由高到低的順序做歸并排序，因此能夠保證融合成的三維點(diǎn)云具有最高的精度，同時(shí)剔除較低精度的重復(fù)三維點(diǎn)。

3 基于模版的深度優(yōu)化

3.1 Daisy描述子

Daisy是一種用于稠密特征提取的快速計(jì)算局部圖像特征描述子。它的本質(zhì)思想是分塊統(tǒng)計(jì)梯度方向直方圖。不同于SIFT，Daisy改進(jìn)了分塊的策略，利用高斯卷積進(jìn)行分塊匯聚，因此利用高斯卷積的可快速計(jì)算性可以快速稠密地提取特征描述子。

3.2 魯棒的模版與模型對(duì)齊方法

對(duì)齊方法是三維重建領(lǐng)域研究的一個(gè)重要問題。常用的對(duì)齊方法有迭代最近點(diǎn)算法和基于RANSAC的算法。兩種算法均需要提供初始的對(duì)應(yīng)點(diǎn)，當(dāng)點(diǎn)集的狀態(tài)差別很大，算法就不適用了。

針對(duì)這個(gè)問題，提出了一種新的模型對(duì)齊方法。人體模型的主方向是沿著身高的方向，次方向是沿著兩臂伸展的方向的。利用這一事實(shí)，我們的模型對(duì)齊方法基于PCA技術(shù)[12]。PCA技術(shù)用于減少數(shù)據(jù)的維度，不僅能保留主要成分，還能消除干擾的噪音。對(duì)數(shù)據(jù)降維而言，假設(shè)每個(gè)人體模型最多只允許由三個(gè)最主要的分量描述，那一定是身高、腰圍和胸圍這類信息。

我們的模型對(duì)齊方法包括主成分分析、模板與模型的對(duì)齊和模板變形三個(gè)步驟。以下僅介紹對(duì)齊和變形部分。

3.3 模板與模型對(duì)齊

假設(shè)已經(jīng)知道了兩個(gè)模型的三個(gè)主方向。由于分解得到的三個(gè)主方向是線性無關(guān)的，所以可以由三個(gè)主方向向量對(duì)確定旋轉(zhuǎn)矩陣。

為了確定兩個(gè)模型之間的尺度，我們把模型上的所有點(diǎn)投影到第一個(gè)主方向上，記錄投影點(diǎn)的最遠(yuǎn)距離和最近距離。

顯然，因?yàn)椴煌梭w模型的質(zhì)量重心和幾何中心并不重疊，所以如果計(jì)算簡(jiǎn)單的平移，模型對(duì)齊的結(jié)果會(huì)產(chǎn)生一定的偏差從而影響最終的建模結(jié)果。

我們可以選擇一個(gè)體型等各方面都是標(biāo)準(zhǔn)的人體模型作為實(shí)驗(yàn)?zāi)繕?biāo)模型，把數(shù)據(jù)庫(kù)的 平均模型作為待對(duì)齊模型，獲取一個(gè)大致對(duì)齊的結(jié)果。

事實(shí)上，由PCA技術(shù)確定的模型的主方向，其朝向并不顯而易見，這會(huì)影響模版對(duì)齊的結(jié)果。想要解決這個(gè)問題，可以利用地平面數(shù)據(jù)和相機(jī)的朝向信息。

3.4 模板變形

上面提到的待對(duì)齊模型是選擇一個(gè)三維人體模型數(shù)據(jù)庫(kù)，然后對(duì)其中的所有模型數(shù)據(jù)進(jìn)行平均獲得的，用R表示，參考模型是經(jīng)過多段圖片序列融合而得到的，用S表示。我們對(duì)R應(yīng)用4.3中的方法，可以獲得一個(gè)大致對(duì)齊的模型。但R和S之間仍存在較大的對(duì)齊誤差，因?yàn)樯厦娴姆椒ㄖ荒芙鉀Q模型之間主方向的對(duì)齊的問題，而并不能解決模型之間的胖瘦程度不一致的問題，因此我們還需要對(duì)R進(jìn)行變形[13]以得到一個(gè)與S更加接近的結(jié)果。

模板變形的過程使用一個(gè)計(jì)算幾何開源庫(kù) CGAL[14]。此外在計(jì)算控制點(diǎn)形變位置的過程利用相鄰采樣點(diǎn)加權(quán)的方式，可以在一定程度上提高模型的平滑程度。

4 結(jié)束語

本文提出了一種人體三維重建方法，即基于視頻序列，利用多序列特征匹配和模版約束兩種方法的的人體三維重建方法。我們的系統(tǒng)為了實(shí)現(xiàn)多序列特征匹配，利用了一種基于RANSAC的迭代分層式求解法，這種方法可以有效消除由于深度誤差帶來的影響。為了剔除背景點(diǎn)的干擾，我們通過引入深度信息，對(duì)匹配的特征點(diǎn)對(duì)投影來實(shí) 現(xiàn)。為了減少求解SRT的數(shù)值上的誤差，我們對(duì)匹配特征點(diǎn)進(jìn)行均勻采樣。此外，為了防止出現(xiàn)特征過少，我們對(duì)原始的序列分別生成多個(gè)視角的圖像，在各個(gè)視角進(jìn)行特征檢測(cè)和匹配，這種方法對(duì)特征匹配的穩(wěn)定性有極大的提高。

[1]Snavely N, Seitz S M, Szeliski R.Modeling the world from internet photo collections[J].International Journal of Computer Vision, 2008, 80(2):189-210.

[2]Lourakis M I A, Argyros A A.SBA:A software package for generic sparse bundle adjustment[J].ACM TRANSACtions on Mathematical Software(TOMS), 2009, 36(1): 2.

[3]Wu C.VisualSFM:A visual structure form motion system[J].URL://home.CS.washington.edu/-ccwu/vsfm, 2011, 9.

[4]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision, 2004, 60(2): 91-110

[5]Bay H,Tuytelaars T, Van Gool L.Surf:Speeded up robust features[M]/Computer vision-ECCV 2006.Springer Berlin Heidelberg, 2006:404-417

[6]Rosten E, Drummod T.Machine learning for high-speed corner detection[M]/Computer Vision-ECCV 2006.Springer Berlin Heidelberg,2006: 430-443

[7]Sorkine O.Least-squares rigid motion using svd[J].Technical notes, 2009,120: 3.

[8]Yu G, Morel J M.Asift:An algorithm for fully affine invariant comparison[J].Image Processing On Line, 2011.

[9]Wu C, Clipp B, Li X, et a1.3d model matching with viewpoint-invariant patches(vip)[C]//Computer Vision and Pattern Recognition，2008.CVPR 2008.IEEE Conference on.IEEE, 2008: 1-8.

[10]Tan W:Liu H,Dong Z，et a1.Robust monocular SLAM in dynamic environments[C]//Mixed and Augmented Reality(ISMAR), 2013 IEEE International Symposium on.IEEE.2013: 209-218.

[11]姜翰青, 趙長(zhǎng)飛, 章國(guó)鋒, 等.基于多視圖深度采樣的自然場(chǎng)景三維重建[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2015, 27(10): 1805-1815.

[12]Bro R, Smilde A K.Principal component analysis[J].Analytical Methods,2014, 6(9): 2812-2831.

[13]Chao I, Pinkall U, Sanan P, et a1.A simple geometric model for elastic deformations[C]//ACM Transactions on Graphics(TOG).ACM, 2010, 29(4):38.

[14]Fabri A, Pion S.CGAL:the Computational Geometry Algorithms Library[J].Sandia National Laboratory, 2009, 30(200009): 538-539.