王俊娟，許 磊，黎智輝，謝蘭遲，張 寧，郭晶晶

（1.蚌埠市公安局，安徽 蚌埠 233040；2.公安部物證鑒定中心，北京 100038）

三維人臉圖像 的數(shù)據(jù)采集與預(yù)處理

王俊娟1，許 磊2，黎智輝2，謝蘭遲2，張 寧2，郭晶晶2

（1.蚌埠市公安局，安徽 蚌埠 233040；2.公安部物證鑒定中心，北京 100038）

在對(duì) 人臉圖像的研究中，三維圖像可以彌補(bǔ)二維圖像不能解決的多姿態(tài)多角度等問(wèn)題，因此越來(lái)越受到重視。如何高效地大規(guī)模采集高清三維人臉圖像仍是目前面臨的一個(gè)值得深入研究的課題，包括設(shè)備選用、質(zhì)量控制以及獲取圖像后的處理方法等。本文介紹了1100多份高清三維人像采集和處理過(guò)程中的方法、技巧以及需要注意的問(wèn)題。一是設(shè)備的選擇。在對(duì)掃描設(shè)備做了大量的資料查閱和性能比較后，選用了Artec Spider手持式3D掃描儀，它不僅使用方便且可以較好地獲取被掃描物體的深度信息和彩色紋理，測(cè)量精度可達(dá)微米級(jí)別，適合用于獲取高分辨的三維人臉圖像。其次是在獲取大量的三維臉像樣本中如何做好圖像質(zhì)量的控制。由于手持式掃描儀在采集過(guò)程中易受到人為操作的不穩(wěn)定因素影響，本研究摸索出適用的操作流程以提高采集質(zhì)量和效率。三是采集后的數(shù)據(jù)處理。獲取的原始數(shù)據(jù)是經(jīng)過(guò)計(jì)算機(jī) 實(shí)時(shí)配準(zhǔn)的幾百至上 千個(gè)曲面的集合，采用了人工干預(yù)的方法來(lái)進(jìn)一步提高曲面配準(zhǔn)的精度。在大規(guī)模樣本采集效率的分析方面，通過(guò)對(duì)預(yù)處理前后的圖像質(zhì)量、平均處理時(shí)間和單個(gè)樣本的曲面采集數(shù)之間的關(guān)系進(jìn)行分析，得出采集的曲面數(shù)在500～700幀之間的樣本質(zhì)量為最佳。

三維人臉圖像；3D掃描儀；模型預(yù)處理；人工干預(yù)

DOΙ: 10.16467/j.1008-3650.2015.02.003

隨著光學(xué)三維傳感技術(shù)的快速發(fā)展，3D掃描被越來(lái)越廣泛的應(yīng)用于逆向工程、工業(yè)設(shè)計(jì)、地貌測(cè)繪、醫(yī)學(xué)影像、生物信息以及社會(huì)文化活動(dòng)等諸多領(lǐng)域。同時(shí)，以安防應(yīng)用為目的的三維人臉特征分析與識(shí)別也越來(lái)越受到重視。對(duì)人臉進(jìn)行三維圖像重構(gòu)和研究可彌補(bǔ)二維人臉圖像不能解決的多姿態(tài)多角度等問(wèn)題，而建立大規(guī)模的三維人臉圖像庫(kù)對(duì)三維人臉數(shù)據(jù)的分析研究、模型訓(xùn)練、算法性能比較測(cè)試是必不可少的基礎(chǔ)數(shù)據(jù)資源［1］。因此，建立高精度的三維人臉圖像庫(kù)對(duì)于安防視頻圖像中的人臉特征分析研究以及在法庭科學(xué)中的應(yīng)用有著非常重要的意義［2-4］。經(jīng)過(guò)比較，選用Artec Spider 3D掃描儀用于采集人臉三維圖像，之后通過(guò)計(jì)算機(jī)軟件對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理，歷時(shí)三個(gè)月時(shí)間獲取了1100多份高分辨率的彩色三維人臉圖像以供進(jìn)一步研究。本文就此次三維人臉采集及預(yù)處理過(guò)程 中的操作經(jīng)驗(yàn)進(jìn)行歸納，總結(jié)出采集流程、集合幀數(shù)、人工干預(yù)配準(zhǔn)等因素對(duì)處理前后圖像質(zhì)量差異的影響，并對(duì)其中遇到的問(wèn)題提出解決辦法。

1 3D掃描儀工作原理

使用的Artec Spider是一款手持使用的拍照式3D掃描儀，其采用的是結(jié)構(gòu)光技術(shù)，依據(jù)光學(xué)傳感測(cè)量原理，投影模塊先將一系列編碼光柵投影到物體表面，再由采集模塊捕獲相應(yīng)被調(diào)制的光柵圖像，然后通過(guò)特有的算法獲取高密度點(diǎn)云數(shù)據(jù)的三維坐標(biāo)［5］。在獲得物體表面的空間坐標(biāo)后，通過(guò)計(jì)算 機(jī)來(lái)進(jìn)行圖像配準(zhǔn)、光順合成以及細(xì)節(jié)編輯，重建出人臉的三維模型，最后以三角面片網(wǎng)格為單元貼上掃描時(shí)同步獲得的紋理圖像［6］，從而得到處理后的三維人臉圖像（見(jiàn)圖1）。

圖1 三維掃描數(shù)據(jù)。從左到右：原始三維數(shù)據(jù)、預(yù)處理后結(jié)果、加上紋理結(jié)果。Fig.1 3D Data.From left to right: original 3D scanning data，pre-processed image， and textured image.

這種照相式3D掃描設(shè)備的特點(diǎn)是：（1）光學(xué)傳感。使用白色和藍(lán)色的發(fā)光二極管（LED）作為光源，非接觸式測(cè)量和捕獲圖像，對(duì)物體表面不會(huì)造成傷害；（2）測(cè)量精度高，深度信息可達(dá)微米級(jí)別。每個(gè)采集樣本約包含3000～5000萬(wàn)個(gè)網(wǎng)格，可捕獲到人臉部細(xì)小特征的三維數(shù)據(jù)，即使簡(jiǎn)化網(wǎng)格后加上同步捕獲的高分辨彩色圖像，仍可清晰的再現(xiàn)人臉皮膚的皺紋及毛孔；（3）對(duì)復(fù)雜曲面可以分區(qū)域連續(xù)測(cè)量。手持式3D掃描儀可靈活的多角度移動(dòng)，更適合采集人臉各結(jié)構(gòu)各部位表面的深度數(shù)據(jù)和紋理數(shù)據(jù)；（4）捕獲的同時(shí)利用參考點(diǎn)拼接技術(shù)可進(jìn)行曲面自動(dòng)配準(zhǔn)，也方便操作者實(shí)時(shí)觀察采集效果，及時(shí)調(diào)整掃描范圍；（5）對(duì)環(huán)境要求較低，采集現(xiàn)場(chǎng)只要具備交流電源，明視環(huán)境下即可進(jìn)行操作；（6）對(duì)黑色及透明材料有限制，不能捕獲被采集者的黑色頭發(fā)及面部較濃密的黑色毛發(fā)。

2 三維人臉圖像數(shù)據(jù)的采集

采集設(shè)備進(jìn)行三維掃描的過(guò)程是一個(gè)實(shí)時(shí)曲面配準(zhǔn)的過(guò)程。盡管這一過(guò)程有一定的魯棒性，但是掃描對(duì)象的姿態(tài)變化很容易干擾配準(zhǔn)的準(zhǔn)確度［7］。因此在采集三維人臉圖像前應(yīng)和被采集人進(jìn)行必要的溝通，防止采集過(guò)程中因被采集人說(shuō)話或移動(dòng)導(dǎo)致配準(zhǔn)失效而中斷操作。

為了在保證數(shù)據(jù)質(zhì)量的同時(shí)減少重復(fù)數(shù)據(jù)量，使用手持式3D掃描儀時(shí)，需要按照一定的移動(dòng)順序?qū)θ四槇D像進(jìn)行擷?。?，9］。采取的掃描順序（見(jiàn)圖2）是從被采集人的一側(cè)耳部開(kāi)始，上下S型經(jīng)鼻面部向另一側(cè)耳部移動(dòng)，然后向下采集下巴被遮擋部位的圖像，最后回到開(kāi)始的部位完成掃描（單幀曲面范圍90mm×70mm～180mm×140mm）。這樣做的好處，一是不會(huì)遺漏采集部位；二是符合人臉面部結(jié)構(gòu)特點(diǎn)，如果采用橫向S型掃描則要多次經(jīng)過(guò)鼻翼兩側(cè)，這就增加了掃描難度；三是固定了采集順序，在預(yù)處理時(shí)可以快速找到需要修改或刪除的某一幀或幾幀圖像。

圖2 面部掃描順序Fig.2 Scanning path

對(duì)耳朵、鼻翼兩側(cè)、下唇至下巴中間結(jié)構(gòu)比較復(fù)雜的曲面，在采集時(shí)，可以采取小角度變換掃描儀打光角度。對(duì)下巴的采集，可以將掃描儀從下方盡量接近被采集人身體并向上打光，以減少由 于遮擋形成的空洞。

因手持式3D掃描儀的便攜特點(diǎn)（≤1kg），采集現(xiàn)場(chǎng)只要具備交流電，在明視照度下即可進(jìn)行操作，所以非常方便在非實(shí)驗(yàn)室環(huán)境進(jìn)行采集。

3 對(duì)采集數(shù)據(jù)的預(yù)處理

采集到的原始數(shù)據(jù)是一個(gè)曲面幀集合，根據(jù)采集時(shí)間、幀速率的不同包含400～1500個(gè)曲面幀數(shù)據(jù)。將這些數(shù)據(jù)合成一個(gè)完整的三維人臉圖像之前需要一系列的模型處理。主要包括：整體配準(zhǔn)、光順合成、補(bǔ)洞、小型對(duì)象過(guò)濾、簡(jiǎn)化網(wǎng)格以及紋理映射等步驟［7，10］。對(duì)于大部分一次性采集完成且自動(dòng)配準(zhǔn)較好的數(shù)據(jù)，使用上述自動(dòng)處理都能夠取得良好效果。但由于光照條件的細(xì)微變化、臉部皮膚的光滑程度不同，或者曲面結(jié)構(gòu)相互遮擋等因素，一些模型自動(dòng)處理的結(jié)果并不理想，如圖3左所示，自動(dòng)配準(zhǔn)造成了明顯的裂紋。這不但會(huì)影響視覺(jué)效果，還對(duì)后期的深入應(yīng)用造成干擾［11］。這就需要經(jīng)過(guò)人工干預(yù)配準(zhǔn)獲得理想的效果（見(jiàn)圖3右）。

圖3 原始數(shù)據(jù)處理結(jié)果。左：自動(dòng)預(yù)處理出現(xiàn)裂紋；右：人工干預(yù)后消除裂紋。Fig.3 Processed Data.Left: cracks appeared in auto-processing；right: repaired by manual intervention.

人工干預(yù)配準(zhǔn)主要包括三個(gè)步驟：

第一步要先找出自動(dòng)配準(zhǔn)不理想的幀或幀集合，將其選取移出成為新的幀集合。如圖4所示，計(jì)算機(jī)在自動(dòng)配準(zhǔn)掃描圖像時(shí)出現(xiàn)了較大的偏離（見(jiàn)圖4左），這就要對(duì)偏離的曲面進(jìn)行人工篩選，生成新的幀集合（見(jiàn)圖4右）。有的采集圖像可能包含多個(gè)曲面的圖像，分離出不止一個(gè)幀集合，可根據(jù)具體的采集結(jié)果分離出二個(gè)或二個(gè)以上的幀集合，每個(gè)幀集合應(yīng)保持在一個(gè)連續(xù)的曲面內(nèi)且互相包含重合區(qū)域。

第二步是在分離出的幀集合之間進(jìn)行特征對(duì)齊，即在需要拼合的兩部分幀集合上標(biāo)記多個(gè)特征比較明顯的相同部位（同名點(diǎn)），例如眼角、嘴角、耳廓、鼻尖、鼻翼等部位（見(jiàn)圖5）。如果分離圖像沒(méi)有共同的明顯的特征，也可以通過(guò)人工交互移動(dòng)待配準(zhǔn)的幀集合與參考幀集合盡量對(duì)齊重合，其重合精度主要依賴人眼。

第三步是自動(dòng)拼接網(wǎng)格。如果把“特征對(duì)齊”理解為對(duì)分離圖像的“粗拼”，那么“拼接網(wǎng)格”即是對(duì)分離圖像的“細(xì)拼”。在自動(dòng)拼接網(wǎng)格的基礎(chǔ)上再“允許圖像紋理拼接”，這樣就得出人工擬合后的三維圖像，后續(xù)可以重復(fù)整體配準(zhǔn)和光順合成的過(guò)程，達(dá)到更好的處理效果。

圖4 自動(dòng)配準(zhǔn)和人工篩選Fig.4 Auto-registration and manual selection

圖5 同名點(diǎn)標(biāo)注。左：取3個(gè)以上的同名點(diǎn)；右：特征對(duì)齊。Fig.5 Marked homonymous points.Left: over 3 homonymous points selected；right: align markers

另外，人工干預(yù)也可以通過(guò)刪除個(gè)別幀圖像以獲取較好的圖像質(zhì)量。例如圖6就是通過(guò)刪除單幀，來(lái)修補(bǔ)眨眼造成的閉眼圖像。

圖6 通過(guò)刪除單幀修補(bǔ)Fig.6 Ιnpainting image by remove single frame

由于光照條件的變化或者掃描過(guò)程中偶然出現(xiàn)的不穩(wěn)定移動(dòng)，可能會(huì)對(duì)采集的三維人臉圖像質(zhì)量造成影響，自動(dòng)配準(zhǔn)和人工干預(yù)后仍由此可見(jiàn)會(huì)出現(xiàn)裂紋或者其他不理想的質(zhì)量問(wèn)題（約占5.3%）。這種情況下可以通過(guò)2D/3D擦除、修補(bǔ)和光滑處理來(lái)改善，但是應(yīng)盡量減少圖像插值的處理，以免改變或消除人臉面部皮膚的原始細(xì)節(jié)特征。

除此之外，對(duì)三維圖像的編輯還包括坐標(biāo)變換、數(shù)據(jù)擦除、網(wǎng)格簡(jiǎn)化等，對(duì)紋理圖像 的編輯包括亮度/對(duì)比度調(diào)整、色調(diào)、色飽和度以及圖像灰度校正等。

使用的3D掃描儀的幀速率為7.5fps，采集一個(gè)樣本的平均耗時(shí)在80～110s之間。為了說(shuō)明采集幀數(shù)與圖像質(zhì)量的關(guān)系，記錄預(yù)處理過(guò)程中的部分?jǐn)?shù)據(jù)。按照“優(yōu)質(zhì)、良好、一般”將處理前后的圖像質(zhì)量評(píng)價(jià)為三個(gè)等級(jí)，并按照采集幀數(shù)分類得出以下數(shù)據(jù)關(guān)系（見(jiàn)表1）。

表1 采集幀數(shù)對(duì)圖像質(zhì)量的影響Table1 Effect in image quality arising from frame number

由此可 見(jiàn)，采集圖像在500～700幀范圍內(nèi)的三維人臉圖像的質(zhì)量最好，需要人工干預(yù)處理的樣本數(shù)較少，平均處理的時(shí)間也較短。700～900幀的圖像需要較多的人工干預(yù)，但是預(yù)處理后也可以得到較高的圖像質(zhì)量。900幀以上的圖像采集質(zhì)量較一般，但是經(jīng)預(yù)處理后圖像質(zhì)量有較大幅度提高，只是處理耗時(shí)較長(zhǎng)。而500幀以下的圖像質(zhì)量在預(yù)處理前后都很難獲 得高質(zhì)量的圖像效果。

［1］ 王躍明，潘綱，吳朝暉.三維人臉識(shí)別研究綜述［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2008， 20（7）: 819-829.

［2］ 段錦，周春光，劉小華.三維人臉識(shí)別研究進(jìn)展［J］.小型微型計(jì)算機(jī)系統(tǒng)，2004， 25（5）: 886-890.

［3］ 張繼宗，徐磊.人像資料鑒定存在問(wèn)題及對(duì)策［J］.刑事技術(shù) 2013（1）: 56-58.

［4］ Jain， A K， Klare B， Unsang P.Face matching and retrieval in forensics applications［J］.IEEE multimedia 2012， 19（1）: 20-28.

［5］ 石磊，楊新，潘海朗.基于網(wǎng)格光的三維人臉曲面測(cè)量［J］.電子測(cè)量與儀器學(xué)報(bào)，2007， 21（3）: 14-19.

［6］ 黃炎輝，樊養(yǎng)余，董衛(wèi)軍.一種基于三維掃描數(shù)據(jù)的人臉建模方法［J］.現(xiàn)代電子技術(shù)，2011， 34（21）: 87-90.

［7］ 徐成華，王蘊(yùn)紅，譚鐵牛.三維人臉建模與應(yīng)用［J］.中國(guó)圖象圖形學(xué)報(bào)，2004， 9（8）: 1-11.

［8］ 徐長(zhǎng)苗，梁榮華.計(jì)算機(jī)輔助技術(shù)的三維顱面復(fù)原研究現(xiàn)狀與進(jìn)展［J］.刑事技術(shù)，2008（2）: 27-29.

［9］ 張繼宗，閔建雄.根據(jù)相片面部特征進(jìn)行個(gè)體識(shí)別的方法［J］.刑事技術(shù)，2001（5）: 43-44.

［10］ 胡永利，尹寶才，程世銓，等.創(chuàng)建中國(guó)人三維人臉圖像庫(kù)關(guān)鍵技術(shù)研究［J］.計(jì)算機(jī)研究與發(fā)展，2005，42 （4）: 622-628.

［11］ Chang M H， Chung Y C.Efficiency of grid representation and its algorithms for areal 3D scan data ［J］.J Mechanical Science and Technology， 2009， 23（5）: 1234-1243.

引用本文格式：王俊娟，許磊，黎智輝，等.三維人臉圖像的數(shù)據(jù)采集與預(yù)處理［J］.刑事技術(shù)，2015，40（2）：98-101.

Acquisition and Pre-processing of 3D Facial Image

WANG Jun-juan1， XU Lei2， LΙ Zh i-hui2， XΙE Lan- chi2， ZHANG Ning2， GUO Jing-jing2
（ 1.Bengbu Public Security Bureau，Anhui Bengbu 233040， China； 2.Ιnstitute of Forensic Science， Ministry of Public Security， Beijing 100038， China）

Three-dimensional （3D） facial image provides diversifi ed information and be comes more and more important.However， acquiring 3D facial images is a challenge especially when we need to get a large number of high-resolution images.Ιt includes device selecting， quality controlling， data pre-processing and so on.Ιn the past three months， over 1100 3D facial images had been captured for our project.This paper proposed some technique improvements when capturing 3D facial images.The fi rst one was device selecting.Artec Spider portable3 D scanner was selected based on an extensive performance comparison.The scanner could capture depth informat ion and color texture.We could get high-resolution 3D image with scan resolution of 0.1mm.The second one was to control the image quality when we captured a large number of samples.Due to the portability of the scanner， the capturing results could be affected by the operator.To avoid this problem， we designed a fi xed scanning path to get more stable and reliable results.The third one was data pre-processing.The original scanning result was a combination of curved surfaces， which were aligned by auto-registration.We proposed some manual interve ntion methods to enhance the c omposed precision.The fi nal one was the effi ciency.Ιt was important to sample a large scale region with reliable data and relatively short time.We analyzed the relation of pre-processing time， image quality and the number （fra me） of curved surfaces， and concluded that the optimum number of sample frame was 500～700.

3D facial image； 3D scanner； pre-processing； manual intervention

DF793.2

A

1008-3650（2015）02-0098-04

“863”計(jì)劃課題（No.2013AA014602）；中央級(jí)公益性科研院所基本科研業(yè)務(wù)費(fèi)項(xiàng)目（No.2013JB017）

王俊娟（1979—），女，安徽蚌埠人，工程師，學(xué)士，研究方向?yàn)樾淌掠跋窦夹g(shù)。 E-mail：13805526357@139.com

黎智輝，男，副研究員，博士，研究方向?yàn)閳D像處理與分析。 E-mail：lzhuil@sina.com

2014-12-12