許 磊，黎智輝，王俊娟，謝蘭遲，張 寧，王永強(qiáng)，郭晶晶

（1.公安部物證鑒定中心，北京 100038；2.蚌埠市公安局，安徽 蚌埠233040）

高精度三維人臉圖像數(shù)據(jù)庫

許 磊1，黎智輝1，王俊娟2，謝蘭遲1，張 寧1，王永強(qiáng)1，郭晶晶1

（1.公安部物證鑒定中心，北京 100038；2.蚌埠市公安局，安徽 蚌埠233040）

3D人臉圖像數(shù)據(jù)庫廣泛應(yīng)用于計算機(jī)視覺、動畫繪圖設(shè)計、醫(yī)學(xué)等很多領(lǐng)域。在法庭科學(xué)領(lǐng)域，采集三維人臉圖像并建立數(shù)據(jù)庫，可進(jìn)行人像特征分類、統(tǒng)計人像特征的分布以及訓(xùn)練人像模型，這些分析是人像比對和識別的基礎(chǔ)。與傳統(tǒng)的二維數(shù)據(jù)庫相比，三維（3D）人臉圖像庫能夠提供更多信息，例如，三維人臉圖像的空間結(jié)構(gòu)和形狀包含多視角輪廓。3D人臉圖像采集方法包含多視角幾何信息的方法、結(jié)構(gòu)光的方法和3D掃描儀的方法，這些方法有不同的采集設(shè)備和環(huán)境。國內(nèi)外已經(jīng)建立了幾個有代表性的3D人臉圖像數(shù)據(jù)庫，例如MPI實驗室的MPI和BJUT的BJUT-3D，但這些庫在分辨率和精度方面尚有不足。本文首先回顧了MPI、BJUT-3D數(shù)據(jù)庫和它們的采集環(huán)境，然后對建立中國人的高精度3D人臉圖像數(shù)據(jù)庫進(jìn)行探索研究。用彩色手持三維掃描儀（Artec Spider）采集了1100個3D人臉圖像，這些圖像包含彩色紋理和深度信息（幾何形狀和點云），每個人臉圖像的幾何形狀的采樣點數(shù)目超過2000萬，三角面片數(shù)目超過4000萬。與BJUT-3D人臉數(shù)據(jù)庫在人臉形狀、分辨率和紋理等方面的比較結(jié)果顯示，本研究采集的人臉圖像有更高的精度，在嘴巴、鼻子、眼睛等方面比其他數(shù)據(jù)庫中的人臉圖像顯示了更多的細(xì)節(jié)。建立的數(shù)據(jù)庫將會支持在3D人像識別和算法評估方面的進(jìn)一步工作。

三維人臉圖像庫；人臉數(shù)據(jù)采集；人臉數(shù)據(jù)處理

DOΙ: 10.16467/j.1008-3650.2015.02.002

在當(dāng)前公安刑事偵查工作中，人臉圖像作為最直觀的線索，在各類案件中起到非常重要的作用。在實際辦案中，監(jiān)控視頻中犯罪嫌疑人圖像常常存在著分辨率低和模糊變形的問題，目前的低質(zhì)量人臉圖像重建技術(shù)由于缺乏比較成熟的三維人臉模型，重建效果往往與真實情況有較大差異。

近年來，三維人臉識別、建模和檢測等技術(shù)成為研究熱點。三維人臉數(shù)據(jù)比二維人臉數(shù)據(jù)有優(yōu)勢，主要是前者包含人臉的空間信息，而且對姿態(tài)、光照條件的變化具有魯棒性。人臉數(shù)據(jù)庫對三維人臉數(shù)據(jù)的分析研究［1，2］、模型訓(xùn)練、算法性能比較測試是必不可少的基礎(chǔ)數(shù)據(jù)資源，因此，建立高精度的三維人臉庫是人臉研究的重要前提。

1 采集三維人臉數(shù)據(jù)的常用設(shè)備和方法

目前常用的采集三維人臉數(shù)據(jù)的方法有三種，即基于多視角幾何信息的方法、基于結(jié)構(gòu)光的方法和基于三維掃描儀的方法。其中CMU的FIA數(shù)據(jù)庫是基于多視角幾何信息的方法建立的［3］，具體是用6個攝像機(jī)從3個不同角度獲取20s的視頻信息，對于人臉數(shù)據(jù)的三維信息用計算機(jī)視覺的方法進(jìn)行恢復(fù)。這類方法有較明顯的不足，即沒有對視頻中的人臉進(jìn)行標(biāo)定，而是用復(fù)雜的人臉跟蹤算法重構(gòu)人臉的形狀信息，所以對人臉跟蹤效果的好壞對最終效果有重要影響?；诮Y(jié)構(gòu)光的方法是用一個照相機(jī)和放映機(jī)獲取人的3D坐標(biāo)信息，這類方法的優(yōu)勢是獲取的樣本坐標(biāo)信息精度高，不足是某些部分的三維信息無法獲得，如面部的眼睛、陰影部分等，會造成面部曲面形狀的不完整，3D-RAM是基于結(jié)構(gòu)光的方法建立的三維人臉數(shù)據(jù)庫［4］。隨著三維人臉數(shù)據(jù)采集技術(shù)的發(fā)展，三維掃描儀成為主流的采集設(shè)備，使用它獲取的人臉部的形狀和紋理信息更為精確。北京工業(yè)大學(xué)采用Cyberware 3030RGB/PS激光掃描儀獲得BJUT-3D數(shù)據(jù)庫中的三維人臉數(shù)據(jù)［5］。

2 國內(nèi)外比較典型的三維人臉庫

由于對三維人臉相關(guān)技術(shù)的研究需要三維人臉數(shù)據(jù)庫做支撐，所以建立高質(zhì)量的三維人臉數(shù)據(jù)庫非常有意義，特別是高質(zhì)量的彩色三維人臉數(shù)據(jù)庫。

國外在這方面探索較早，已經(jīng)出現(xiàn)了規(guī)模不大的三維人臉數(shù)據(jù)庫，比較典型的是Vetter等人建立的MPI人臉數(shù)據(jù)庫［6，7］。MPI人臉庫是使用激光掃描器（Cyberware TM）創(chuàng)建的。目前該數(shù)據(jù)庫只用來提供科學(xué)研究用途，西安交通大學(xué)的付昀等人通過簽署授權(quán)協(xié)議獲得了這個人臉庫的使用權(quán)。授權(quán)得到的MPI人臉庫包含200個中青年人臉圖像，其中男女各100人，每個人有7張視圖呈不同角度，共有1400張人臉圖［8］。庫中人臉圖像去除任何裝飾物，如眼鏡等，并消除了與研究無關(guān)區(qū)域，如頸部以下兩耳以外的區(qū)域。

MPI人臉數(shù)據(jù)庫在計算三維人臉的稠密對應(yīng)方面使用了光流方法，建立了三維人臉Morphable模型，實現(xiàn)了針對人臉圖像的三維人臉自動重建方法。但是該方法也存在不足，比如人臉對應(yīng)效果不理想、人臉模型復(fù)雜導(dǎo)致運(yùn)算量非常大等，距實際應(yīng)用還有相當(dāng)距離。圖1顯示了MPI人臉庫中一女一男在5個不同視點下的灰度圖像。

圖1 MPI人像庫中不同視點下的人臉圖像［8］Fig.1 Face image of different view in MPΙ［8］

國內(nèi)在創(chuàng)建三維人臉數(shù)據(jù)庫方面，北京工業(yè)大學(xué)的BJUT-3D最具代表性。他們采用激光掃描儀（Cyberware 3030RGB/PS）獲取三維人臉原始數(shù)據(jù)，是真正意義上的三維人臉庫。其數(shù)據(jù)庫數(shù)據(jù)量較大，包含1200個中國人的三維人臉數(shù)據(jù)［9］，表情均為中性，對外公開發(fā)布的有500人，其中男女各250人，年齡在16～49歲之間，掃描后的數(shù)據(jù)包括空間幾何信息和彩色紋理信息。圖2是掃描后的三維人臉及其對應(yīng)的幾何、紋理信息。

圖2 三維掃描數(shù)據(jù)［5］。A：三維人臉；B：幾何數(shù)據(jù)；C：紋理圖像。Fig.2 3D data［5］.A: 3D image； B: geometry data； C: texture image.

3 高精度三維人臉數(shù)據(jù)的掃描

使用彩色手持三維掃描儀（Artec Spider）獲取三維人臉原始數(shù)據(jù)（見圖3）。選擇使用該設(shè)備采集數(shù)據(jù)有以下幾個考慮：一是該設(shè)備體積小、重量輕，攜帶方便，適合外出采集數(shù)據(jù)；二是操作簡便，可以實時連續(xù)掃描，不用拼接，同時獲取表面顏色，效率高；三是精確度高，點分辨率為0.1mm，可以掃描細(xì)節(jié)特征，誤差精度為0.03mm，適合掃描小型物體。

圖3 Artec SpiderFig.3 Artec Spider

由于是手持設(shè)備人工掃描，對采集者操作掃描儀要求較高，在大規(guī)模數(shù)據(jù)采集前，采集者需要通過一定的練習(xí)才能夠熟練使用該掃描儀?？偨Y(jié)采集過程的注意事項和經(jīng)驗如下：一是掃描儀工作距離范圍小，為0.17～0.35m，實際采集時對距離的控制至關(guān)重要，掃描儀與被掃描者的臉部距離過大或者過小都會影響正常采集。掃描儀離人臉太近，數(shù)據(jù)捕捉不到；離人臉太遠(yuǎn)，人臉表面噪點太多，會使三維模型處理復(fù)雜化而影響最終結(jié)果，最優(yōu)的距離是當(dāng)掃描儀在不經(jīng)過剖切面時，在距離范圍內(nèi)與人臉盡可能的近些。在掃描過程中，當(dāng)自動實時拼接不可能，即無法使當(dāng)前幀與先前幀拼接，就會發(fā)生聲音提醒，直到掃描儀及時回到原來位置且計算機(jī)軟件在三維中找到這個位置為止。二是在掃描過程中，采集者眼睛應(yīng)該盯著連接掃描儀的電腦屏幕而不是被掃描者的臉部，通過屏幕上的顯示距離和掃描部位的變化能更好地控制掃描距離，并且及時觀察掃描的效果而做出相應(yīng)調(diào)整。三是數(shù)據(jù)采集主要是人的面部區(qū)域，因此采集前，要求被掃描者不能化妝、不戴眼鏡等飾物，露出面部五官等臉部特征。在一個合適的光強(qiáng)度環(huán)境下，要求被采集者坐在高度適中的椅子上，身體坐正，保持中性表情，眼睛平視前方，在整個掃描過程中要求被掃描者保持頭部不動，表情不發(fā)生變化，掃描臉部正面時眼睛盡量不眨。四是掃描時使掃描儀正對（90o）人臉采集面，通過預(yù)覽調(diào)整好掃描儀與被掃描者的距離后，腳步隨著采集區(qū)域的移動而緩慢移動，從耳朵一側(cè)起始呈S型順序掃描到另一只耳朵，最后掃描下巴回到起始處，這個路徑既可以包含整個人臉信息又相對節(jié)省時間。整個過程保持動作相對平穩(wěn)，不要發(fā)生大的抖動。為了保證掃描人臉數(shù)據(jù)質(zhì)量，對于某些光不易掃描到的部位如結(jié)構(gòu)復(fù)雜的耳朵，對于光反射較差的部位如眉毛，要在掃描時適當(dāng)多停留一些時間并稍微變換些角度。圖4分別是掃描后的三維人臉及其預(yù)處理后幾何圖像、加紋理后的圖像。

圖4 三維掃描數(shù)據(jù)。從左到右：原始三維數(shù)據(jù)、預(yù)處理后結(jié)果、加上紋理結(jié)果。Fig.4 3D Data.From left to right: original 3D scanning data，pre-processed image， and textured image.

4 與其他三維人臉圖像數(shù)據(jù)的比較

由于國際上公開的三維人臉庫較少，能夠同時提供深度信息和紋理信息的更少。這里只與北京工業(yè)大學(xué)的BJUT-3D比較（見表1）。

BJUT-3D是目前國際上最大的中國人三維人臉數(shù)據(jù)庫，采用的Cyberware 3030RGB/PS在記錄幾何信息方面使用柱面坐標(biāo)［10］，掃描精度為360o圓周方向的489個采樣點，在軸方向上為0～300mm 的478個采樣點，它的掃描范圍在260～340mm之間。每一個幾何采樣點都有一個紋理像素點與其對應(yīng)，紋理圖像大小為489×478像素。Cyberware掃描儀獲得的數(shù)據(jù)精度相對較高，一個人的原始數(shù)據(jù)大約由200 000點和400 000個三角面組成。

數(shù)據(jù)庫使用Artec Spider采集人臉的幾何信息和紋理信息。掃描儀是人工操作，所以采樣點不是固定設(shè)置參數(shù)，人臉大小、臉型等因素影響采集的時間和最后的數(shù)據(jù)量，但是采集點數(shù)一般有2000多萬。把頭部近似看成一個圓柱，掃描圓周方向從耳朵一側(cè)到另一側(cè)，軸方向額頭頂部至脖子范圍，掃描儀與被采集者距離在170～350mm之間。人臉紋理信息以bmp格式存儲，大小為4096×4096像素。人臉數(shù)據(jù)精度主要體現(xiàn)在掃描點和三角面片數(shù)目上，采集的人臉數(shù)據(jù)點和三角面可以達(dá)到千萬級，一般點在2000多萬，三角面4000多萬，精度比BJUT-3D更高。在后期預(yù)處理過程中，為了加快處理速度，在保證人臉精度的情況下可適當(dāng)簡化網(wǎng)格。圖5是Artec Spider和BJUT的設(shè)備采集的兩個三維人臉圖像比較?？梢钥闯?，本研究的掃描數(shù)據(jù)分辨率更高，紋理、細(xì)節(jié)等信息更明顯，更真實地反映被采集者的人臉信息。

圖5 三維數(shù)據(jù)比較。左：本研究采集結(jié)果；右：Cyberware 3030RGB/PS采集結(jié)果。Fig.5 Comparison of 3D data.Left: our result； right: captured by Cyberware 3030RGB/PS.

表1 BJUT-3D數(shù)據(jù)和本研究數(shù)據(jù)比較Table1 BJUT-3D data and data from our research

5 對采集的三維人臉數(shù)據(jù)的后處理

掃描人臉時，有些部位不容易完整采集，如耳朵、下巴、鼻翼兩側(cè)等，捕捉不到的三維人臉信息以空洞形式存在，人臉局部不光滑會產(chǎn)生毛刺，需要使用整體配準(zhǔn)、光順形式合成、小型對象過濾、補(bǔ)洞和簡化網(wǎng)格等預(yù)處理方法彌補(bǔ)三維人臉上的空洞并去掉毛刺。對于絕大部分一次性掃描完成的采集較好的數(shù)據(jù)，使用上述方法能夠取得良好效果，對于少數(shù)因為采集時距離控制不好或者被采集者發(fā)生較大抖動造成人臉錯位和閉眼等情況的數(shù)據(jù)，需要先對形成人臉數(shù)據(jù)的面片進(jìn)行人工篩選，將某些不理想的面片去除，然后再對數(shù)據(jù)進(jìn)行整體配準(zhǔn)、光順形式合成、小型對象過濾、補(bǔ)洞和簡化網(wǎng)格等預(yù)處理，最后進(jìn)行加彩色紋理信息操作。

使用彩色手持三維掃描儀完成了1100份高精度三維人臉圖像數(shù)據(jù)的采集，并用配套的軟件進(jìn)行了后處理，得到的數(shù)據(jù)能夠比較精確的反映出人臉細(xì)節(jié)特征如眼、鼻、嘴唇等的細(xì)節(jié)結(jié)構(gòu)。這些信息有助于下一步對人臉五官特征進(jìn)行精確定位、測量和分類等，加上后續(xù)的統(tǒng)計分析，將為解決人臉概率分布、量化特征抽取、三維人臉建模等問題提供堅實的數(shù)據(jù)基礎(chǔ)，從而推動人臉識別、比對等技術(shù)從二維向三維的發(fā)展。

［1］ 徐長苗，梁榮華.計算機(jī)輔助技術(shù)的三維顱面復(fù)原研究現(xiàn)狀與進(jìn)展［J］.刑事技術(shù)，2008（2）: 26-28.

［2］ 張繼宗，閔建雄.根據(jù)相片面部特征進(jìn)行個體識別的方法［J］.刑事技術(shù)，2001（5）: 42-43.

［3］ Goh R， Liu L， Liu X， et al.The CM U face in action （FIA）database［C］//Proc of IEEE ICCV 2005 Workshop on Analysis and Modeling of Face and Gestures.Los Alamitos: IEEE Computer Society， 2005: 255-263.

［4］ Charles B.3D_RM A: 3D database ［DB/OL］.［2008-04-30］.http://www.sic.rm a.ac.be/ ～ beumier /DB/3d_ rma.html# 1.

［5］ Yin B C.BJUT-3D face database ［OL］.［2008-04-22］.http: //www.bjpu.edu.cn/sci/multimedia/mul-l ab /3dface/ face database.Htm.

［6］ Blanz V， Vetter T.A morphable model for the synthesis of 3D faces［C］// Proc.SIGGRAPH' 99.Los Angeles: ACM Press，1999: 187-194.

［7］ Romdhani S， Blanz V， Vetter T.Face identification by fitting a 3D morphable model using linear shape and texture error functions［C］//Proc.the 7th European Conf.Computer Vision.London: Springer-Verlag， 2002: 3-19.

［8］ 付昀，鄭南寧，張婷.人臉的表情與年齡變換和非完整信息的重構(gòu)技術(shù)（下） ［J］.電子學(xué)報，2003， 31（12A）: 1963-1970.

［9］ 尹寶才，孫艷豐，王成章，等.BJUT-3D三維人臉數(shù)據(jù)庫及其處理技術(shù)［J］.計算機(jī)研究與發(fā)展，2009， 46（6）: 1009-1018.

［10］ 胡永利，尹寶才，程世栓， 等.創(chuàng)建中國人三維人臉庫關(guān)鍵技術(shù)研究［J］.計算機(jī)研究與發(fā)展，2009， 42（4）: 622-628.

引用本文格式：許磊，黎智輝，王俊娟，等.高精度三維人臉圖像數(shù)據(jù)庫［J］.刑事技術(shù)，2015，40（2）：94-97.

High Precision 3D Facial Image Database

XU Lei1， LΙ Zhi-hui1， WANG Jun-juan2， XΙE Lan-chi1， ZHANG Ning1， WANG Yong-qiang1， GUO Jing-jing1
（1.Ιnstitute of Forensic Science， Ministry of Public Security， Beijing 100038， China； 2.Bengbu Public Security Bureau， Anhui Bengbu 233040， China）

Three-dimensional （3D） facial database can be wildly used in computer vision， animated drawing designing，medicine and etc.Ιn forensic science， facial image database is used to classify face features， calculate the distribution of face features， and train the model.These analyses are the base for face identifi cation and recognition.3D facial image database can provide more information than traditional 2D database.For example， the special structure and shape in 3D facial image include multi-view profi le.The 3D facial image capturing methods include multi-view geometry information， structured light and 3D scanning.These methods have different capturing devices and environments.There are several typical 3D facial image databases such as the MPΙ from MPΙ lab and the BJUT-3D from BJUT， which have some disadvantages in resolution and precision.Ιn this paper， we fi rst reviewed MPΙ and BJUT-3D databases and their capturing environments.Then we established our high precision 3D facial image database of Chinese people.1100 3D facial images had been captured， including their color texture and depth （geometry shape or point cloud） information with Artec Spider， a portable3 D scanner.The number of sampling points of the geometry shape was more than 20 million.The number of triangle surfaces of 3D image was more than 40 million.The results showed that the images in our database exhibited higher precision than those in BJUT-3D database when considering face shape， resolution and texture.Meanwhile， these images presented more details in mouth， nose， eyes etc.than the images in the other databases.The established database would support our further work in 3D facial identifi cation and algorithm evaluation.

3D face database； facial data acquisition； facial data processing

DF793.2

A

1008-3650（2015）02-0094-04

“863”計劃課題（No.2013AA014602）；中央級公益性科研院所基本科研業(yè)務(wù)費(fèi)項目（No.2013JB017）

許 磊（1985—），男，山東日照人，研究實習(xí)員，碩士，研究方向為圖像檢驗。 E-mail：xulei20081688@163.com

黎智輝，男，副研究員，博士，研究方向為圖像處理與分析。 E-mail：lzhuil@sina.com

2014-12-23