摘 要：對(duì)重合區(qū)域較少的兩組不同角度獲取的三維人臉點(diǎn)云數(shù)據(jù)，直接尋找對(duì)應(yīng)點(diǎn)進(jìn)行點(diǎn)云拼合的難度很大。為解決這一問題，提出一種基于EGI和標(biāo)準(zhǔn)人臉模板全自動(dòng)點(diǎn)云數(shù)配準(zhǔn)拼合算法。針對(duì)待配準(zhǔn)的三維人臉點(diǎn)云以及標(biāo)準(zhǔn)人臉點(diǎn)云模型，首先通過局部最小二乘曲面擬合，估計(jì)每個(gè)點(diǎn)的法向和曲率，其次計(jì)算點(diǎn)云的擴(kuò)展高斯圖（EGI），然后利用EGI上對(duì)應(yīng)的特征點(diǎn)計(jì)算歐拉角，分別使待配準(zhǔn)三維人臉點(diǎn)云旋轉(zhuǎn)至與人臉模型大致相同的位置，完成粗配準(zhǔn)，并把粗配準(zhǔn)結(jié)果作為新的初始位置。采用最近點(diǎn)迭代算法（ICP）分別對(duì)三維人臉點(diǎn)云與標(biāo)準(zhǔn)人臉模型進(jìn)行精確配準(zhǔn)，從而實(shí)現(xiàn)兩組三維人臉點(diǎn)云的拼接。

關(guān)鍵詞關(guān)鍵詞：點(diǎn)云拼接；三維人臉；高斯圖；最近點(diǎn)迭代算法；歐拉角

DOIDOI：10.11907/rjdk.162008

中圖分類號(hào)：TP312

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)文章編號(hào)：16727800（2016）011004204

基金項(xiàng)目基金項(xiàng)目：

作者簡(jiǎn)介作者簡(jiǎn)介：張辰陽(yáng)（1991-），男，湖北恩施人，四川大學(xué)空天科學(xué)與工程學(xué)院碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺導(dǎo)航、三維人臉重建。

0 引言

隨著三維點(diǎn)云數(shù)據(jù)獲取手段的增多以及對(duì)于三維重建技術(shù)需求的增大，不同角度的三維點(diǎn)云數(shù)據(jù)拼合技術(shù)[1]逐漸成為研究熱點(diǎn)。目前，解決點(diǎn)云配準(zhǔn)拼合的技術(shù)一般分為手動(dòng)配準(zhǔn)以及自動(dòng)配準(zhǔn)兩大類。前者需要在被測(cè)物體的重疊區(qū)域上人為貼上標(biāo)記點(diǎn)[2]，從而通過標(biāo)記點(diǎn)計(jì)算坐標(biāo)系的旋轉(zhuǎn)、平移參數(shù)。對(duì)于后者，通常要求兩幅點(diǎn)云具有足夠多的重疊區(qū)域，這樣才能夠通過算法快速、靈活地尋找兩組或者多組數(shù)據(jù)間的對(duì)應(yīng)關(guān)系，最終精確求解出點(diǎn)云數(shù)據(jù)間的旋轉(zhuǎn)、平移關(guān)系。在自動(dòng)配準(zhǔn)中運(yùn)用最為廣泛的是由 Besl等[3]提出的最近點(diǎn)迭代算法（iterative closest point， ICP），該算法以相對(duì)位置經(jīng)過粗略配準(zhǔn)的兩片點(diǎn)云數(shù)據(jù)為基礎(chǔ)，迭代求解兩片或者多片點(diǎn)云數(shù)據(jù)間的對(duì)應(yīng)點(diǎn)及對(duì)應(yīng)點(diǎn)之間的剛性變換（旋轉(zhuǎn)、平移）關(guān)系，直到對(duì)應(yīng)點(diǎn)之間的距離誤差評(píng)價(jià)函數(shù)最小。實(shí)際上，一般待配準(zhǔn)的點(diǎn)云數(shù)據(jù)間的相對(duì)位置是未知的，如何利用粗略配準(zhǔn)將點(diǎn)云數(shù)據(jù)間的相對(duì)位置變換到ICP算法的收斂域（即迭代可以收斂）成為解決問題的關(guān)鍵。許多ICP 改進(jìn)算法主要還是針對(duì)某些特征信息建立點(diǎn)云數(shù)據(jù)間的相互關(guān)系。這些特征信息包括法向[4]、曲率[5]、體積分[6]等簡(jiǎn)單的一維特征描述函數(shù)，還包括旋轉(zhuǎn)圖像[7]、形狀內(nèi)容[8]等高維特征描述函數(shù)，有的甚至還包括顏色、強(qiáng)度值等輔助信息，它們都是不依賴于點(diǎn)云數(shù)據(jù)的三維旋轉(zhuǎn)與平移的。

在人臉重建領(lǐng)域，需要拼接配準(zhǔn)的兩幅點(diǎn)云沒有足夠大重疊區(qū)域，然而上述算法都必須依賴與兩幅點(diǎn)與數(shù)據(jù)具有足夠大的重疊區(qū)域。因此，針對(duì)重疊區(qū)域很小的兩幅人臉點(diǎn)云數(shù)據(jù)（如兩幅側(cè)臉角度達(dá)到45°的三維人臉數(shù)據(jù)），本文提出了一種擴(kuò)展高斯圖（EGI）和標(biāo)準(zhǔn)人臉模板的點(diǎn)云拼合算法。該方法可以處理空間任意位置的人臉散亂點(diǎn)云，且對(duì)點(diǎn)云的重疊度沒有要求。只需要利用點(diǎn)云自身整體的幾何信息，分別將待配準(zhǔn)的點(diǎn)云以及人臉模板的信息映射到高斯球面，分別完成兩幅點(diǎn)云與人臉模板的粗配準(zhǔn)，從而將兩幅待配準(zhǔn)點(diǎn)云的相對(duì)位置轉(zhuǎn)換到ICP算法的收斂域，最后完成精確配準(zhǔn)。

1 EGI擴(kuò)展高斯圖建立

1.1 模型建立

在建立擴(kuò)展高斯圖之前，首先需要計(jì)算點(diǎn)云的法線和曲率。對(duì)于點(diǎn)云中的任一點(diǎn)，其法向量等價(jià)于該點(diǎn)及其鄰域的最小二乘擬合平面的法向量。點(diǎn)c為點(diǎn)pi的鄰域Nbhd（pi）的質(zhì)心：

在建立擴(kuò)展高斯圖之前，首先需要計(jì)算點(diǎn)云的法線和曲率。對(duì)于點(diǎn)云中的任一點(diǎn)pi，其法向量等價(jià)于該點(diǎn)及其鄰域Nbhd（pi）的最小二乘擬合平面的法向量ni。點(diǎn)c為點(diǎn)pi的鄰域三維物體的高斯圖像是將物體上的一點(diǎn)映射到高斯球（單位球面）上的一點(diǎn)，并且滿足對(duì)用點(diǎn)具有相同的法線方向。特別地， 如果物體中包含一個(gè)平面，則平面上所有點(diǎn)均被映射至高斯球上的同一點(diǎn)。擴(kuò)展高斯圖（EGI）建立在高斯圖像基礎(chǔ)上， 是一種形狀表示， 主要用于表征三維物體的幾何特征，示例見圖2，其為六面體的高斯映射?；舅枷霝閷⑷S物體的每個(gè)面片映射到一個(gè)單位球面上來獲取球面圖像，向量的方向與物體面片的法向量方向一致，向量的模等于面片的面積，EGI記錄了面片法向落入全空間各個(gè)方向的多邊形面積大小。用函數(shù)表示為：

1.2 對(duì)應(yīng)點(diǎn)對(duì)確定

在點(diǎn)云配準(zhǔn)中，確定對(duì)應(yīng)點(diǎn)對(duì)的方法很多。比如馬忠玲等[11]提出的一種基于曲率的點(diǎn)云特征點(diǎn)提取方法，首先利用面（moving least squares surfaces） 快速有效地計(jì)算出散亂點(diǎn)云每一點(diǎn)的高斯曲率、平均曲率和主曲率值，提取局部曲率變化最大的點(diǎn)作為特征點(diǎn)，然后利用點(diǎn)的曲率的距離提取初始匹配點(diǎn)，再根據(jù)極大極小曲率的相似度函數(shù)最終確定精確匹配點(diǎn)。在人臉特征點(diǎn)檢測(cè)中，還可以先將3維點(diǎn)云投影到2維平面，得到二維圖片，再用人臉landmark檢測(cè)算法[12]，得到人臉的68個(gè)landmark特征點(diǎn)；或者如劉宇等[13]提出的一種基于法矢的對(duì)應(yīng)點(diǎn)提取方法，定義一種法矢偏差的特征量，利用特征量的歐式距離確定對(duì)應(yīng)點(diǎn)對(duì)。

1.3 高斯球上旋轉(zhuǎn)群旋轉(zhuǎn)

在經(jīng)典力學(xué)與幾何中，所有環(huán)繞著三維歐幾里德空間的原點(diǎn)的旋轉(zhuǎn)而組成的群定義為旋轉(zhuǎn)群[1415]。

點(diǎn)云數(shù)據(jù)（Xi，Yi，Zi）的3維空間的旋轉(zhuǎn)可用g∈SO（3）來表示。由于空間單位向量n由2個(gè)獨(dú)立參數(shù)確定， 所以SO（3）里的元素是由3個(gè)獨(dú)立參數(shù)所確定的。通常對(duì)SO（3）習(xí)慣用Euler角（α，β，γ）來描述一個(gè)轉(zhuǎn)動(dòng)，0≤α，γ≤2π，0≤β≤π。用Euler角表示g∈SO（3）為：

2 算法實(shí)現(xiàn)流程

本文提出的利用EGI和標(biāo)準(zhǔn)人臉模板的三維人臉點(diǎn)云的拼合算法執(zhí)行流程如圖3所示。

（1）首先輸入待配準(zhǔn)點(diǎn)云P1、P2以及人臉模板M，由于MLS算法對(duì)于噪聲有較強(qiáng)的魯棒性，所以并不需要對(duì)噪聲進(jìn)行濾波。

（2）提取特征點(diǎn)、確定對(duì)應(yīng)點(diǎn)集。先利用MLS算法計(jì)算出每一點(diǎn)云數(shù)據(jù)的高斯曲率、平均曲率以及主曲率。認(rèn)為局部曲率值變化最大的為待定點(diǎn)，然后根據(jù)距離確定兩點(diǎn)之間的匹配點(diǎn)，剔除誤差，最終確定對(duì)應(yīng)點(diǎn)集。

（3）把3幅點(diǎn)云映射到高斯球面，得到新的點(diǎn)云數(shù)據(jù)。分別遍歷以上對(duì)應(yīng)點(diǎn)集，用四元數(shù)方法，求解顛覆點(diǎn)云相對(duì)于人臉模板的旋轉(zhuǎn)量，即得到兩幅待配準(zhǔn)點(diǎn)云之間的旋轉(zhuǎn)關(guān)系，最后將旋轉(zhuǎn)量轉(zhuǎn)換成旋轉(zhuǎn)矩陣，方便數(shù)據(jù)運(yùn)算。

（4）分別把P1、P2乘以R1、R2，目的是將待配準(zhǔn)的人臉筆尖法線方向旋轉(zhuǎn)到與模板一致，從而使得人臉的視點(diǎn)方向與模板基本一樣，使得點(diǎn)云與模板配準(zhǔn)時(shí)結(jié)果能夠收斂。

（5）用ICP方法將與人臉模板進(jìn)行精確配準(zhǔn)得到點(diǎn)云，最后將數(shù)據(jù)融合得到完整人臉。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)運(yùn)行環(huán)境為Intel Core 2.53，GHz Matlab2015b平臺(tái)。待配準(zhǔn)點(diǎn)云為數(shù)據(jù)庫(kù)中無表情人臉模型。人臉模板為[16]提供的平均人臉模型。

圖4（a）為人臉向左轉(zhuǎn)動(dòng)45°所得到的點(diǎn)云數(shù)據(jù)，共有35 303個(gè)點(diǎn)；（b）為向右轉(zhuǎn)動(dòng)45°所得到的數(shù)據(jù)，共有33 247個(gè)點(diǎn)；（c）為a、b兩幅點(diǎn)云放在同一坐標(biāo)系下的初始位置；（d）為平均人臉模型，共有53 490個(gè)點(diǎn)。由圖4（a）、（b）可以清晰看到，兩幅點(diǎn)云的重疊區(qū)域非常少，所以傳統(tǒng)的ICP方法不能夠適用于這一種情況。

由圖5（a）可以看出，通過本文算法可以將兩幅半臉點(diǎn)云的法向量調(diào)整到與平均人臉模板大致相同的朝向，為后面與人臉模板的配準(zhǔn)提供了較好的初始位置。圖5（b）是用粗配準(zhǔn)結(jié)果直接運(yùn)用文獻(xiàn)[11]中一種基于曲率的自動(dòng)配準(zhǔn)算法進(jìn)行匹配后顯示在同一坐標(biāo)系中的結(jié)果，由于沒有足夠大的重疊區(qū)域，即沒有足夠多的正確對(duì)應(yīng)點(diǎn)對(duì)，導(dǎo)致ICP算法出現(xiàn)局部最佳匹配，并且陷入迭代不收斂的情況。圖5（c）是由粗配準(zhǔn)中的左右兩個(gè)半臉點(diǎn)云分別與平均人臉模板進(jìn)行配準(zhǔn)，然后把兩幅點(diǎn)云融合得到的結(jié)果。綜合圖5（b）、（c）以及表1，從拼接效果上來說，傳統(tǒng)的ICP算法并不適用于重疊度很小的人臉點(diǎn)云拼接，而本文提出的方法能夠有效解決這一問題；運(yùn)行時(shí)間上，由于傳統(tǒng)ICP算法迭代不收斂，因此運(yùn)行時(shí)間也多余本算法運(yùn)行時(shí)間。

4 結(jié)語

本文提出了一種基于EGI和標(biāo)準(zhǔn)人臉模板的三維人臉點(diǎn)云的拼合算法，利用已有的標(biāo)準(zhǔn)人臉模板作為中介，通過把點(diǎn)云映射到EGI，可以不用任何初始估計(jì)或手動(dòng)操作就能夠自動(dòng)解決只有很少部分重疊區(qū)域甚至沒有重疊區(qū)域的三維人臉點(diǎn)云的拼接問題，而文獻(xiàn)[14]中只能夠配準(zhǔn)不同旋轉(zhuǎn)角度的相同點(diǎn)云，不能對(duì)只有部分重疊的點(diǎn)云進(jìn)行拼接。由于需要通過標(biāo)準(zhǔn)人臉模板作為拼接中介，所以人臉模板是影響本算法的一個(gè)重要因素，使用中國(guó)人的人臉模型會(huì)比本文使用的模型效果更好。在實(shí)際應(yīng)用中，可以通過Realsense或者Kinect等采集運(yùn)動(dòng)中的人臉側(cè)臉點(diǎn)云數(shù)據(jù)，然后拼接得到完整人臉，若能過提高算法的準(zhǔn)確度以及實(shí)時(shí)性，可為機(jī)場(chǎng)火車站等地方的三維人臉重建提供初始模型。因此，提高本算法的實(shí)時(shí)性和準(zhǔn)確性將是未來研究的一個(gè)重要方向。

參考文獻(xiàn)：

[1] PAUL J B，NEIL D M. A method for registration of 3D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1992，14（2）：239256.

[2] FARIN G，HOSCHEK J， KIM M S. Handbook of computer aided geometric design[M]. Amsterdam：NorthHolland， 2002：651681.

[3] BESL P J， MCKAY N D. A method for registration of 3D shapes[J].IEEE Transactions on Pattern Analysis and Machine Inteligence，1992，14（2）：156239.

[4] 魏永超， 蘇顯渝. 基于方向角的散亂點(diǎn)云三角剖分算法[J] .四川大學(xué)學(xué)報(bào)：工程科學(xué)版， 2009，41（4）：202207.

[5] HT HO.3D Surface matching from range images using multiscale local features[D].PhD dissertation，Depar of Electrical and Electronic Eng.University of Adelaide，2009.

[6] GELFAND NATASHA.Feature analysis and registration of scanned surface[D].PhD dissertation， Stanford University， September，2006.

[7] JOHNSON A.Using spin images for efficient object recognition in cluttered 3D scenes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence.1999，21（5）：433449.

[8] FROME A， HUBER D， KOLLURI R，et al.Recognizing objects in range data using regional point descriptors[J].Lecture Notes in computer science，2004（3023）：224237.

[9] DING ZHONGMING， TAKUMA K， NAOHISA S， et al. Particle based multiple irregular volume rendering on CUDA[J]. Simulation Modelling Practice and Theory，2010，18（8）：11721183.

[10] KOKH，TAKASHI M，NICHOLAS M P， et al.Shape intrinsic properties for freeform object matching[J].Compute. Inf. Sci. Eng， 2003，3（4）：325333.

[11] 馬忠玲， 周明全， 耿國(guó)華，等.一種基于曲率的點(diǎn)云自動(dòng)配準(zhǔn)算法[J].計(jì)算機(jī)應(yīng)用研究， 2015， 32（6）：18781880.

[12] ZHANG Z， LUO P， CHEN C L， et al. Facial landmark detection by deep multitask learning[C].European Conference on Computer Vision： Springer International Publishing， 2014：94108.

[13] 劉宇，熊有倫.一種基于法矢的部分重疊點(diǎn)云的拼合方法[C].第一屆全國(guó)智能制造學(xué)術(shù)會(huì)議， 2006.

[14] AMEESH MAKADIA.Fully automatic registration of 3D point clouds[C].IEEE Computer Society Conference on Computer Vision & Pattern Recognition.2006（1）：12971304.

[15] 黃戈，李曉峰.基于 CEGI 和 Fourier 變換的全自動(dòng)點(diǎn)云配準(zhǔn)算法[J]，四川大學(xué)學(xué)報(bào)：工程科學(xué)版，2014， 46（5）：104109.

[16] University basel：MORPHACE [EB/OL]. http：//faces.cs.unibas.ch/bfm/.

（責(zé)任編輯：陳福時(shí)）