余 祥，劉 凱

?

基于相位測(cè)量輪廓術(shù)的人臉識(shí)別

余 祥，劉 凱

( 四川大學(xué) 電氣信息學(xué)院，成都 610065 )

為了解決二維人臉識(shí)別受環(huán)境光干擾，三維人臉識(shí)別依賴標(biāo)定數(shù)據(jù)的問題，提出了一種基于相位測(cè)量輪廓術(shù)的人臉識(shí)別方法。首先使用相位測(cè)量輪廓術(shù)獲得人臉的相位和反射率數(shù)據(jù)，相位圖中暗含了人臉區(qū)域的三維信息，反射率圖也排除了環(huán)境光的干擾，它們經(jīng)過規(guī)范化后均可以直接使用傳統(tǒng)二維識(shí)別方法進(jìn)行人臉識(shí)別。在實(shí)驗(yàn)中，使用了主成分分析法和最近鄰分類器進(jìn)行人臉識(shí)別。實(shí)驗(yàn)結(jié)果表明，這種方法對(duì)人臉識(shí)別是有效的，對(duì)比二維灰度圖和三維深度圖有更好的識(shí)別效果。

人臉識(shí)別；相位圖；反射率圖；環(huán)境光；標(biāo)定數(shù)據(jù)

0 引 言

人臉識(shí)別是生物識(shí)別領(lǐng)域中的一個(gè)重要研究方向，經(jīng)過最近幾十年的研究，已經(jīng)獲得了較大的發(fā)展。這是一種利用電子設(shè)備進(jìn)行人臉數(shù)據(jù)采集和識(shí)別的技術(shù)，具有非接觸、方便快捷和友好的優(yōu)點(diǎn)，現(xiàn)在已經(jīng)在罪犯身份識(shí)別、出入境身份識(shí)別、大型活動(dòng)安保以及門禁系統(tǒng)等安全領(lǐng)域獲得廣泛應(yīng)用。

人臉識(shí)別技術(shù)的研究前期主要集中在二維人臉識(shí)別領(lǐng)域，很多識(shí)別方法相繼被提出。經(jīng)典的二維人臉識(shí)別方法主要有基于幾何特征、基于代數(shù)特征和基于機(jī)器學(xué)習(xí)的方法[1]。其中，特征臉(Eigenface)方法是一種基于統(tǒng)計(jì)特征的、較為成功的人臉識(shí)別方法，最早是由M.Turk 和A.Pentland在1991年提出的[2]。Eigenface是由主成分分析(Principal Component Analysis, PCA)導(dǎo)出的一種人臉識(shí)別方法，它的核心步驟是對(duì)人臉圖像進(jìn)行K-L變換以獲得特征臉矩陣數(shù)據(jù)，然后將原始人臉圖像投影到特征臉矩陣上以實(shí)現(xiàn)降維和特征提取，最后使用最近鄰分類器進(jìn)行人臉的分類識(shí)別[2-3]。

二維人臉識(shí)別技術(shù)已經(jīng)比較成熟，也進(jìn)入了商業(yè)應(yīng)用。但是二維人臉識(shí)別的發(fā)展仍然遇到了瓶頸，它容易受到環(huán)境光、姿態(tài)以及表情等因素的影響，識(shí)別效果很難再得到進(jìn)一步提高[3]。最近十多年，隨著計(jì)算機(jī)技術(shù)和測(cè)量?jī)x器的發(fā)展，三維數(shù)據(jù)越來(lái)越容易被獲得，很多的研究人員開始從二維人臉識(shí)別研究轉(zhuǎn)向了三維人臉識(shí)別研究[4]。機(jī)器視覺領(lǐng)域的三維數(shù)據(jù)測(cè)量目前主要有被動(dòng)立體測(cè)量和主動(dòng)立體測(cè)量?jī)煞N技術(shù)。其中相位測(cè)量輪廓術(shù)(Phase Measuring Profilometry, PMP)是一種結(jié)構(gòu)光測(cè)量，屬于非常成功的三維測(cè)量技術(shù)，其數(shù)據(jù)精度高[5]?，F(xiàn)有的三維人臉識(shí)別方法主要有基于空域匹配、基于整體特征匹配和基于3D+2D雙模態(tài)的識(shí)別算法[6-8]。由于三維人臉數(shù)據(jù)相對(duì)于二維人臉數(shù)據(jù)受光照影響較小，因此獲得比二維人臉識(shí)別更好的識(shí)別效果。其中，利用深度圖的三維人臉識(shí)別方法屬于基于整體特征匹配的方法，它將三維人臉識(shí)別轉(zhuǎn)化為二維人臉識(shí)別，這樣大大簡(jiǎn)化了算法[9-10]。不過在結(jié)構(gòu)光測(cè)量中，三維數(shù)據(jù)的獲得需要依賴標(biāo)定數(shù)據(jù)，而且在三維人臉識(shí)別之前需要進(jìn)行三維點(diǎn)云的計(jì)算，計(jì)算量很大。針對(duì)以上三維人臉識(shí)別的不足，本文提出了利用相位測(cè)量輪廓術(shù)計(jì)算出的相位信息和反射率，使用主成分分析法和最近鄰分類器進(jìn)行人臉識(shí)別，這樣識(shí)別結(jié)果不僅相對(duì)于二維人臉識(shí)別受環(huán)境光照影響更小，也具有比三維深度人臉識(shí)別有更好的識(shí)別效果。本文方法中用到的相位和反射率數(shù)據(jù)同樣可由其它結(jié)構(gòu)光測(cè)量技術(shù)，比如線掃描和二進(jìn)制圖案編碼掃描技術(shù)等獲得。

1 相位測(cè)量輪廓術(shù)

相位測(cè)量輪廓術(shù)是一種結(jié)構(gòu)光三維測(cè)量技術(shù)，利用帶相移的正弦投影圖案，計(jì)算出相位信息，再結(jié)合標(biāo)定數(shù)據(jù)來(lái)計(jì)算三維數(shù)據(jù)。PMP基本原理[11]如下：

首先投影機(jī)投出一組幀包含多次相移的正弦圖案到被測(cè)物體表面，投影機(jī)投出的圖像可以表示為

圖1 PMP圖案

在投影機(jī)投影正弦圖案的同時(shí)，攝像頭同步捕捉被物體表面調(diào)制的正弦圖案，并對(duì)捕獲的圖像進(jìn)行計(jì)算得到相位和亮度調(diào)制[12]，相位和亮度調(diào)制的計(jì)算公式如下[5]：

2 基于PMP的人臉識(shí)別方法

本文使用了PCA算法(或者叫做特征臉?biāo)惴╗2])。PCA算法被廣泛用于數(shù)據(jù)降維以及人臉識(shí)別領(lǐng)域。設(shè)一張×的人臉圖像，將其每列依次相連構(gòu)成一個(gè)=×維大小的列向量，就是數(shù)據(jù)空間的維數(shù)。設(shè)為訓(xùn)練樣本的數(shù)目，表示第張人臉圖像對(duì)應(yīng)的列向量，為訓(xùn)練樣本的平均人臉圖像列向量，其計(jì)算式為

令=[1-,2-, …,-]，則樣本的協(xié)方差矩陣r=T，其維數(shù)為×。根據(jù)Karhunen-Loeve正交變換原理，特征臉空間由協(xié)方差矩陣r的正交特征向量組成，不過由于其維數(shù)太高，計(jì)算量太大，直接對(duì)它求解特征值和特征向量是非常困難的[13]。因此，減小計(jì)算量就很有必要，所以我們使用了奇異值分解(Singular Value Decomposition, SVD)方法。根據(jù)奇異值分解定理，可以通過求T的特征值和特征向量來(lái)獲得r的特征值和特征向量[13]。令k為T矩陣的個(gè)非零特征值，是T對(duì)應(yīng)于k的特征向量，則T正交歸一特征向量為[13]

就是人臉圖像數(shù)據(jù)的特征向量，所以，奇異值分解原理就是通過計(jì)算×低維矩陣(遠(yuǎn)小于)T的特征值以及特征向量而間接計(jì)算出T的特征值以及特征向量[13]。

接著，我們將k按從大到小順序排列，則其對(duì)應(yīng)的特征向量為。為了進(jìn)一步減少維數(shù)，可以僅選取前面最大個(gè)特征值對(duì)應(yīng)的特征向量作為子空間，由此得到特征臉子空間為=(1,2,…,)。最后將訓(xùn)練樣本投影到特征臉子空間，計(jì)算得到一組投影向量組成人臉數(shù)據(jù)庫(kù)[14]，投影向量的計(jì)算式如下：

識(shí)別過程中，先將每張待識(shí)別人臉圖像投影到特征人臉子空間中，再使用最近鄰分類器進(jìn)行人臉識(shí)別。

本文方法使用的是經(jīng)過PMP計(jì)算出的人臉相位圖以及反射率圖。在識(shí)別前，我們對(duì)相位圖數(shù)據(jù)進(jìn)行了歸一化處理。具體歸一化步驟：

表示原相位圖中的最大值。這樣操作就可以使相位信息值歸一化到0到255區(qū)間內(nèi)，而深度圖和灰度圖同樣依此進(jìn)行歸一化處理。本文方法的步驟可總結(jié)如下：

1) 使用PMP方法對(duì)人臉進(jìn)行掃描并計(jì)算出人臉的相位數(shù)據(jù)和反射率數(shù)據(jù)；

2) 對(duì)人臉區(qū)域的相位數(shù)據(jù)進(jìn)行歸一化處理；

3) 使用PCA方法分別對(duì)人臉的相位圖和反射率圖進(jìn)行降維處理，用最近鄰分類器對(duì)人臉進(jìn)行分類識(shí)別。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)獲取

據(jù)我們所知，由于本文方法是首次利用相位圖和反射率圖進(jìn)行識(shí)別，沒有公開數(shù)據(jù)庫(kù)，所以使用了自建數(shù)據(jù)庫(kù)。我們的數(shù)據(jù)庫(kù)包含20個(gè)人，每個(gè)人采集了15次不同表情、姿態(tài)和環(huán)境光的人臉數(shù)據(jù)，總計(jì)300張人臉圖。本文采用的是多頻PMP方法計(jì)算相位與反射率，所用到的PMP圖案頻率分別為1、4、8、16，各頻率相移數(shù)是16，先計(jì)算出四個(gè)不同頻率的包裹相位，再利用相位展開法算出未包裹的展開相位[5]。為了與傳統(tǒng)二維人臉識(shí)別及三維深度人臉識(shí)別相比較，本文同步采集了灰度圖、深度圖、反射率圖和相位圖，分別如圖2所示。

圖2 同一人臉的四種不同數(shù)據(jù)

其中，圖2(a)是攝像頭捕獲的灰度圖，圖2(b)是經(jīng)過PMP方法進(jìn)行三維重建計(jì)算出的深度圖(即三維坐標(biāo)中的坐標(biāo))，圖2(c)是經(jīng)過PMP方法計(jì)算出的反射率圖，圖2(d)是經(jīng)過PMP方法計(jì)算出的相位圖。圖2中的所有數(shù)據(jù)都已經(jīng)歸一化到了0到255之間。

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)過程中，我們將數(shù)據(jù)庫(kù)中的數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，其中每個(gè)人依次取1到11張人臉圖為訓(xùn)練集，剩下來(lái)的均為測(cè)試集。為了保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，本文進(jìn)行了多次實(shí)驗(yàn)，每次實(shí)驗(yàn)選取不同的訓(xùn)練集，最后的結(jié)果是多次實(shí)驗(yàn)的平均值。四種不同人臉數(shù)據(jù)識(shí)別實(shí)驗(yàn)結(jié)果的比較如圖3所示。

圖3 四種不同人臉數(shù)據(jù)識(shí)別率比較

表1是四種人臉數(shù)據(jù)在不同訓(xùn)練樣本數(shù)量下的識(shí)別率。

根據(jù)實(shí)驗(yàn)結(jié)果，四種不同的人臉數(shù)據(jù)識(shí)別精度均隨著訓(xùn)練集增大而增高，在訓(xùn)練樣本數(shù)量較少時(shí)，反射率圖的識(shí)別率高于相位圖的識(shí)別率，訓(xùn)練樣本數(shù)增多后相位圖的識(shí)別率又高于反射率的識(shí)別率。而不管訓(xùn)練集數(shù)量多大，相位圖以及反射率圖的識(shí)別效果總是明顯好于灰度圖和深度圖。

結(jié)束語(yǔ)

本文提出了一種基于相位測(cè)量輪廓術(shù)的人臉識(shí)別方法，使用相位和反射率進(jìn)行人臉識(shí)別，利用PMP算法分別計(jì)算出相位圖和反射率圖，再使用PCA算法進(jìn)行降維，最后用最近鄰分類器進(jìn)行人臉識(shí)別。由于相位圖以及反射率圖受環(huán)境光的影響更小，從而獲得了比二維灰度圖人臉識(shí)別更好的識(shí)別效果。而且本文方法不需要計(jì)算三維坐標(biāo)，這樣就不用獲得標(biāo)定數(shù)據(jù)，也獲得了比三維深度圖人臉識(shí)別更好的識(shí)別效果。實(shí)驗(yàn)結(jié)果證明這種方法是有效的，而且本文方法還可以擴(kuò)展到其它能夠計(jì)算出的相位數(shù)據(jù)和反射率的結(jié)構(gòu)光測(cè)量技術(shù)，為人臉識(shí)別領(lǐng)域提供了新的思路。不過，相位圖和反射率圖人臉識(shí)別作為新的具有挑戰(zhàn)性的工作，在特征提取等方面都需要有更深一步的研究。

[1] Shyam R，Singh Y N. A Taxonomy of 2D and 3D Face Recognition Methods [C]// IEEE International Conference on Signal Processing & Integrated Networks，Noida，India，F(xiàn)eb 20-21，2014：749-754.

[2] Turk M，Pentland A. Eigenfaces for Recognition [J]. Journal of Cognitive Neuroscience(S0898-929X)，1991，3(1)：71-86.

[3] 葉長(zhǎng)明，蔣建國(guó)，詹曙，等. 基于三維人臉成像系統(tǒng)的復(fù)數(shù)域人臉識(shí)別方法 [J]. 電子測(cè)量與儀器學(xué)報(bào)，2011，25(5)：420-426.

YE Changming，JIANG Jianguo，ZHAN Shu，F(xiàn)ace Recognition in Complex Domain Based on 3D Facial Imaging System [J]. Journal of Electronic Measurement and Instrument，2011，25(5)：420-426.

[4] 蘇顯渝，張啟燦，陳文靜. 結(jié)構(gòu)光三維成像技術(shù) [J]. 中國(guó)激光，2014，41(2)：1-10.

SU Xianyu，ZHANG Qican，CHEN Wenjing. Three-dimensional Imaging Based on Structured [J]. Chinese Journal of Lasers，2014，41(2)：1-10.

[5] Yalla V G，Hassebrook L G. Very High Resolution 3D Surface Scanning Using Multi-frequency Phase Measuring Profilometry [J]. Process of SPIE(S0277-786X)，2005，5798：44-53.

[6] Panchal K，Shah H. 3D Face Recognition Based on Pose Correction Using Euler Angle Method [C]// IEEE International Conference on Machine Intelligence and Research Advancement (ICMIRA)，Katra，India，Dec 21-23，2013：467-471.

[7] Mohammadzade H，Hatzinakos D. Iterative Closest Normal Point for 3D Face Recognition [J].IEEE Transactions on Software Engineering(S0162-8828)，2013，35(2)：381-397.

[8] TANG Hengliang，YIN Baocai，SUN Yanfeng，. 3D Face Recognition Using Local Binary Patterns [J]. Signal Processing(S0165-1684)，2013，93(8)：2190-2198.

[9] Hesher C，Srivastava A，Erlebacher G. A Novel Technique for Face Recognition Using Range Imaging [C]// IEEE International Symposium on Signal Processing & its Applications，Paris，F(xiàn)rance，Jul 4，2003：201-204.

[10] Abate A F，Nappi M，Riccio D，. 2D and 3D Face Recognition：A Survey [J]. Pattern Recognition Letters(S0167-8655)，2007，28(14)：1885-1906.

[11] 趙靜，吳煒，鄭曉軍，等. 一種校正相位測(cè)量輪廓術(shù)量化誤差的算法 [J]. 強(qiáng)激光與粒子束，2014，26(11)：22-26.

ZHAO Jing，WU Wei，ZHENG Xiaojun，. Algorithm for Correcting Quantization Error in Phase Measuring Profilometry [J]. High Power Laser and Particle Beams，2014，26(11)：22-26.

[12] LIU Kai，WANG Yongchang，LAU Daniel L，Dual-frequency Pattern Scheme for High-speed 3-D Shape Measurement [J]. Optics Express (S1094-4087)，2010，18(5)：5229-5244.

[13] 李冠楠，李強(qiáng). 一種基于人臉核心特征的PCA人臉識(shí)別算法及應(yīng)用 [J]. 電子器件，2012，35(5)：607-610.

LI Guannan，LI Qiang. Implementation and Application of One PCA Face Recognition Algorithm Based on the Core Features of the Face [J]. Chinese Journal of Electron Devices，2012，35(5)：607-610.

[14] 孔令釗，唐文靜. 基于PCA的人臉識(shí)別系統(tǒng)的研究與實(shí)現(xiàn) [J]. 計(jì)算機(jī)仿真，2012，29(6)：27-29.

KONG Lingzhao，TANG Wenjing. Research and Realization of Face Recognition Based on PCA [J]. Computer Simulation，2012，29(6)：27-29.

Face Recognition Based on Phase Measuring Profilometry

YU Xiang，LIU Kai

( School of Electrical Engineering and Information, Sichuan University, Chengdu 610065, China )

A new method of face recognition, which is based on phase measuring profilometry, is proposed to solve the problems of the ambient light influence in 2-D face recognition and the dependence on calibration data in 3-D face recognition. Firstly, the phase information and reflectivity information of face are obtained based on phase measuring profilometry. The phase image contains 3-D information and the reflectivity image is immune to the ambient light. Then the traditional 2-D face recognition approaches can be used after normalization. In experiments, principal component analysis and nearest neighbor method are used to classify the face. Experiment results show the effectiveness of the proposed method, which achieves higher recognition accuracy than that achieved by using grayscale image and range image.

face recognition; phase image; reflectivity image; ambient light; calibration data

1003-501X(2016)06-0039-05

TP391.4

A

10.3969/j.issn.1003-501X.2016.06.007

2015-10-10；

2015-12-14

國(guó)家自然科學(xué)基金 (61473198)；四川省科技廳支撐項(xiàng)目(2014GZ0005)

余祥(1991-)，男(漢族)，安徽安慶人。碩士研究生，主要研究工作是三維數(shù)據(jù)處理。E-mail: zgyx008@163.com。

劉凱(1973-)，男(漢族)，江蘇無(wú)錫人。博士，教授，主要研究工作是三維重建與三維數(shù)據(jù)處理。E-mail：kailiu@scu.edu.cn。