陳興++梁潔++杜希瑞++閆佳++李健

摘要：三維重建技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域中一直是一個(gè)重要的研究課題。本文采用由兩臺(tái)Kinect構(gòu)建的系統(tǒng)對(duì)人體進(jìn)行三維重建，首先利用張正友方法對(duì)兩臺(tái)Kinect進(jìn)行標(biāo)定；其次，分別使用兩臺(tái)Kinect對(duì)人體進(jìn)行上下半身全面數(shù)據(jù)掃描并獲取相應(yīng)的三維點(diǎn)云；最后，利用ICP算法對(duì)上述兩組點(diǎn)云數(shù)據(jù)進(jìn)行拼接以得到完整的人體三維點(diǎn)云模型。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在人體三維重建方面效果較好，具有廣泛的使用價(jià)值。

關(guān)鍵詞：三維人體重建；Kinect標(biāo)定；ICP算法

中圖分類號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）01-0192-04

3D Digitization of Human Body Using Double Kinects

CHEn Xing ， LIANG Jie， DU Xi-rui， YAN Jia ，LI Jian

（School of Electrical and Information Engineering， Shaanxi University of Science and Technology， Xian 710021）

Abstract： Nowadays 3D reconstruction technology is a hot issue in computer vision. In this paper， a new method is utilized to realize the reconstruction of human body in three-dimension by two Kinects. Firstly， the two Kinect cameras are calibrated using Zhangs method； Then， human body are scanned with two Kinect cameras respectively and get corresponding three-dimensional point cloud data； Finally， the 3D full-view whole body point cloud data are stitched using ICP algorithm. It is verified with experiment that the method used here can ensure good results and have the potential to be used widely.

Key words：3D human body reconstruction； Kinect calibration； ICP

隨著計(jì)算機(jī)視覺(jué)理論的發(fā)展和硬件技術(shù)的進(jìn)步，三維重建技術(shù)也愈發(fā)的成熟并且已經(jīng)開(kāi)始應(yīng)用于人們的現(xiàn)實(shí)生產(chǎn)和生活，在計(jì)算機(jī)動(dòng)畫、人機(jī)交互等領(lǐng)域已經(jīng)有一定的應(yīng)用，但是傳統(tǒng)的三維重建技術(shù)存在設(shè)備復(fù)雜，操作繁瑣以及成本高昂等局限，導(dǎo)致三維重建技術(shù)的應(yīng)用范圍狹隘。

2010年微軟首次推出了Kinect體感外設(shè)，這款設(shè)備的出現(xiàn)打破了傳統(tǒng)三維人體重建過(guò)程中圖像采集設(shè)備復(fù)雜、成本高昂、操作繁瑣等限制因素，使獲取人體深度信息的設(shè)備和操作變得簡(jiǎn)單、快捷，成本也大大的被降低。

近年來(lái)，一些研究者將Kinect深度相機(jī)[1]作為掃描儀應(yīng)用在三維重建領(lǐng)域，包括場(chǎng)景、人臉和人體等的重建。Bernardini歸納了基于深度圖像的三維重建流水線。Allen等從已有的三維掃描數(shù)據(jù)庫(kù)中提取數(shù)據(jù)，采用模板匹配的方法，通過(guò)解決模板頂點(diǎn)的仿射變換最優(yōu)化問(wèn)題來(lái)重建人體模型。這類方法也同樣適用于人體重建，但是存在部分?jǐn)?shù)據(jù)缺失和掃描模型閉合處出現(xiàn)不規(guī)則形變等問(wèn)題。

本文將微軟公司開(kāi)發(fā)的Kinect二代體感設(shè)備應(yīng)用到三維人體建模的實(shí)際應(yīng)用中，相對(duì)于以往的方法具有設(shè)備體積較小、使用方便、價(jià)格相對(duì)較低的優(yōu)勢(shì)。

1 系統(tǒng)組成與總體技術(shù)流程

1.1 kinect簡(jiǎn)介

Kinect 是一款體積相對(duì)較小的體感外部物理設(shè)備，但它的內(nèi)部結(jié)構(gòu)卻是相當(dāng)復(fù)雜。其主要的結(jié)構(gòu)可以分成三個(gè)部分，分別是一個(gè)系統(tǒng)級(jí)芯片、三個(gè)攝像頭以及一組四元麥克風(fēng)陣列。Kinect for windows 2.0主體結(jié)構(gòu)組成如圖1所示：

圖1 Kinect for windows 2.0主體組成圖

1.2 系統(tǒng)平臺(tái)搭建

系統(tǒng)硬件組成如圖2所示，主要包括兩臺(tái)Kinect設(shè)備、一個(gè)自動(dòng)轉(zhuǎn)臺(tái)（可分檔，60～120秒/圈）和計(jì)算機(jī)組成，掃描得到的點(diǎn)云數(shù)據(jù)經(jīng)適當(dāng)?shù)奶幚砗?，可傳?D打印機(jī)（可選）打印出個(gè)性化的三維人體模型。

圖2 實(shí)驗(yàn)系統(tǒng)硬件組成

1.3 總體技術(shù)流程

本文總體技術(shù)流程如圖3所示。首先，利用棋盤格標(biāo)定的方法對(duì)兩臺(tái)Kinect進(jìn)行標(biāo)定；然后使用Kinect分別對(duì)站立于旋轉(zhuǎn)臺(tái)上的被測(cè)者進(jìn)行上下半身的360度點(diǎn)云數(shù)據(jù)采集；最后將標(biāo)定結(jié)果以及采集人體三維點(diǎn)云數(shù)據(jù)進(jìn)行ICP配準(zhǔn)融合，以獲取完整的人體三維模型。

圖3 主要技術(shù)流程環(huán)節(jié)

2 關(guān)鍵技術(shù)

2.1 Kinect標(biāo)定

Kinect包含IR攝像頭和RGB攝像頭，而點(diǎn)云數(shù)據(jù)的獲取主要由IR攝像頭完成。經(jīng)研究發(fā)現(xiàn)，IR攝像頭與RGB攝像頭之間的旋轉(zhuǎn)平移參數(shù)非常小，可近似認(rèn)為兩個(gè)攝像頭在同一世界坐標(biāo)系，因而本文通過(guò)標(biāo)定RGB攝像頭來(lái)獲得Kinect的標(biāo)定信息，確保了本文實(shí)驗(yàn)的準(zhǔn)確性。

首先，選擇一個(gè)坐標(biāo)系為參考來(lái)描述攝像機(jī)和物體的真實(shí)位置，則參考的坐標(biāo)系叫世界坐標(biāo)系。由空間幾何的知識(shí)可知，攝像機(jī)坐標(biāo)系和世界坐標(biāo)系經(jīng)過(guò)旋轉(zhuǎn)和平移后一定能夠重合。旋轉(zhuǎn)過(guò)程用旋轉(zhuǎn)矩陣[R]來(lái)定量表示，平移過(guò)程用平移向量[T]來(lái)定量表示。圖4表示攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系，則空間點(diǎn)[P]在攝像機(jī)坐標(biāo)系和世界坐標(biāo)系下的齊次坐標(biāo)分別表示為[（Xc，Yc，Zc，1）T]和[（Xw，Yw，Zw，1）T]，二者存在如下關(guān)系：

[XcYcZc1=RT0T1XwYwZw1=M1XwYwZw1] （1）

其中，[R]為[3×3]旋轉(zhuǎn)矩陣，[0T=（0，0，0）T]，[M1]為變換矩陣。

圖4 攝像機(jī)坐標(biāo)系與世界坐標(biāo)系

2.2 Kinect Fusion 的工作原理

Kinect Fusion通過(guò)對(duì)從多個(gè)角度獲取到的深度影像數(shù)據(jù)進(jìn)行融合，來(lái)重建物體的單幀光滑表面模型。當(dāng)傳感器或是被測(cè)人體移動(dòng)的時(shí)候，傳感器的位置以及姿勢(shì)信息被記錄下來(lái)，包括位置和朝向信息。由于我們知道了每一幀圖像的姿勢(shì)以及幀與幀之間的關(guān)聯(lián)，多幀從不同角度采集的數(shù)據(jù)能夠融合成單幀重建好的定點(diǎn)立方體。當(dāng)我們移動(dòng)傳感器或者被測(cè)物體時(shí)，深度數(shù)據(jù)信息被不斷加入。

第一步是深度影像數(shù)據(jù)的轉(zhuǎn)換。SDK將Kinect中獲取的原始深度幀數(shù)據(jù)轉(zhuǎn)換為以米為單位的浮點(diǎn)數(shù)據(jù)，緊接著對(duì)該數(shù)據(jù)進(jìn)行優(yōu)化，通過(guò)獲取攝像頭的坐標(biāo)信息，將這些浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為和Kinect攝像頭朝向一致的點(diǎn)云數(shù)據(jù)。第二步是計(jì)算全局的攝像頭的姿勢(shì)信息，包括攝像頭的位置和朝向，通過(guò)使用交互型的配準(zhǔn)算法在攝像頭移動(dòng)時(shí)不斷獲取其姿勢(shì)，這樣系統(tǒng)始終知道當(dāng)前攝像頭相對(duì)于起始幀時(shí)攝像頭的相對(duì)姿勢(shì)。第三步是將從已知姿勢(shì)攝像頭產(chǎn)生的深度影像數(shù)據(jù)融合為代表攝像頭視野范圍內(nèi)的景物的立方體。這種對(duì)深度數(shù)據(jù)的融合是逐幀，連續(xù)進(jìn)行的，同時(shí)通過(guò)平滑算法進(jìn)行了去噪，也處理了某些場(chǎng)景內(nèi)的動(dòng)態(tài)變化。最后，從傳感器視點(diǎn)位置對(duì)重建立方體進(jìn)行光線投射，重建的點(diǎn)陣云能夠產(chǎn)生渲染了的三維重建立方體。

2.3 ICP算法

ICP算法是一種基于輪廓特征的點(diǎn)配準(zhǔn)方法。基準(zhǔn)點(diǎn)在CT圖像坐標(biāo)系及世界坐標(biāo)系下的坐標(biāo)點(diǎn)集P = {Pi， i = 0，1， 2，…，k}及U = {Ui，i=0，1，2，…，n}。其中，U與P元素間不必存在一一對(duì)應(yīng)關(guān)系，元素?cái)?shù)目亦不必相同，設(shè)k ≥ n。配準(zhǔn)過(guò)程就是求取 2 個(gè)坐標(biāo)系間的旋轉(zhuǎn)和平移變換矩陣，使得來(lái)自U與P的同源點(diǎn)間距離最小。其過(guò)程如下：

（1）計(jì)算最近點(diǎn)，即對(duì)于集合U中的每一個(gè)點(diǎn)，在集合P中都找出距該點(diǎn)最近的對(duì)應(yīng)點(diǎn)，設(shè)集合P中由這些對(duì)應(yīng)點(diǎn)組成的新點(diǎn)集為Q = {qi，i = 0，1，2，…，n}。

（2）采用最小均方根法，計(jì)算點(diǎn)集 U 與 Q 之間的配準(zhǔn)，使得到配準(zhǔn)變換矩陣R，T，其中R是 3×3 的旋轉(zhuǎn)矩陣，T 是 3×1 的平移矩陣。

（3）計(jì)算坐標(biāo)變換，即對(duì)于集合U，用配準(zhǔn)變換矩陣R，T進(jìn)行坐標(biāo)變換，得到新的點(diǎn)集U1，即U1= RU + T

（4）計(jì)算U1與Q之間的均方根誤差，如小于預(yù)設(shè)的極限值ε，則結(jié)束，否則，以點(diǎn)集U1替換U，重復(fù)上述步驟。

3 實(shí)驗(yàn)

3.1 兩臺(tái)kinect的標(biāo)定

采用MATLAB標(biāo)定工具箱實(shí)現(xiàn)相機(jī)的標(biāo)定：分別采用兩臺(tái)Kinect拍攝多幅棋盤格平面不同方向的照片，如圖5和圖6所示。將采集到的圖片分別輸入到MATLAB當(dāng)中，利用張正友標(biāo)定工具箱完成標(biāo)定，標(biāo)定結(jié)果存儲(chǔ)在Calib_Results_up.mat和Calib_Results_down.mat。

圖5 Kinect（上）采集標(biāo)定圖像

圖6 Kinect（下）采集標(biāo)定圖像

圖7為上臺(tái)Kinect的外部參數(shù)，圖8為下臺(tái)Kinect的外部參數(shù)。再通過(guò)立體定標(biāo)，得到兩臺(tái)Kinect之間的位置關(guān)系，如圖9所示。

圖7 Kinect（上）外參數(shù)

圖8 Kinect（下）外參數(shù)

圖9 兩臺(tái)Kinect立體標(biāo)定結(jié)果

3.2 人體數(shù)據(jù)采集

在兩臺(tái)Kinect標(biāo)定完成之后，將站立在旋轉(zhuǎn)平臺(tái)上面的被測(cè)者進(jìn)行人體數(shù)據(jù)的360度全面采集。被測(cè)者保持身體靜止站立，旋轉(zhuǎn)臺(tái)以每圈120秒的速度進(jìn)行勻速旋轉(zhuǎn)。

對(duì)兩臺(tái)Kinect采集到的人體上半身及下半身的三維點(diǎn)云數(shù)據(jù)，如圖10和圖11所示，進(jìn)行ICP算法的精度配準(zhǔn)，配準(zhǔn)結(jié)果如圖12和圖13所示。

實(shí)驗(yàn)數(shù)據(jù)表明，本文提出的方法對(duì)點(diǎn)云數(shù)據(jù)拼接效果好，人體表面的三維重建結(jié)果誤差小，具有較高的精度。

圖10 采集到人體上半身三維點(diǎn)云

圖11 采集到人體下半身三維點(diǎn)云

圖12 ICP算法拼接后的人體三維點(diǎn)云（左側(cè)）

圖13 ICP算法拼接后的人體三維點(diǎn)云（右側(cè)）

4 結(jié)論與展望

本文利用兩臺(tái)Kinect對(duì)人體進(jìn)行數(shù)據(jù)采集，基于ICP算法對(duì)人體點(diǎn)云進(jìn)行配準(zhǔn)以及人體三維模型進(jìn)行重建。實(shí)驗(yàn)結(jié)果表明，本方法計(jì)算效率高，操作簡(jiǎn)單，極大減弱點(diǎn)云數(shù)據(jù)間的錯(cuò)位，配準(zhǔn)效果精確。在實(shí)際應(yīng)用中，具有較好的配準(zhǔn)精度和較高收斂速度。后續(xù)的研究方向?qū)⒗^續(xù)提升點(diǎn)云精度，建立人體三維模型，進(jìn)一步應(yīng)用到3D打印領(lǐng)域。

參考文獻(xiàn)：

[1]周瑾，潘建江，童晶，等. 使用Kinect快速重建三維人體[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013， 25（6）： 873-879.