肖建力, 張 靜

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

聯(lián)合人臉與指紋的多模態(tài)生物特征識別方法綜述

肖建力, 張 靜

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

由于基于生物特征識別的方式不但簡單快速,而且安全可靠,近年來,作為生物特征識別的典型技術(shù),人臉識別與指紋識別被廣泛應(yīng)用.然而,使用單一特征的生物特征識別系統(tǒng)，其正確率和穩(wěn)定性還有待提高,且容易被作弊手段攻破.因此,側(cè)重于回顧聯(lián)合人臉與指紋的多模態(tài)生物特征識別方法.首先分別回顧了人臉、指紋識別的研究現(xiàn)狀;然后對單模態(tài)生物特征識別面臨的挑戰(zhàn)進(jìn)行了總結(jié);在此基礎(chǔ)上,為了解決單模態(tài)生物特征識別存在的正確率不夠高和穩(wěn)定性不夠強(qiáng)等問題,重點(diǎn)討論了聯(lián)合人臉與指紋進(jìn)行多模態(tài)生物特征識別的方法和未來的發(fā)展方向.

人臉; 指紋; 身份識別; 多模態(tài)

近年來,人臉識別與指紋識別等利用生物特征識別進(jìn)行身份認(rèn)證的方式被廣泛應(yīng)用,逐漸取代了傳統(tǒng)基于令牌的方式(例如按鍵、刷卡或密碼等).基于生物特征識別的方式不但簡單快速,而且安全可靠[1].所謂生物特征識別是指利用人體的行為特征或是生物特征進(jìn)行身份識別的技術(shù).基于生物特征識別技術(shù)所建立的系統(tǒng)稱為生物特征識別系統(tǒng).長期以來,生物特征識別系統(tǒng)采用單一的生物特征進(jìn)行身份識別,即單模態(tài)生物特征識別,獲得了不錯(cuò)的識別效果.然而,使用單一特征的生物特征識別系統(tǒng),其正確率還有待提高,更為重要的是這種識別系統(tǒng)的穩(wěn)定性不是很好,容易被作弊手段攻破,例如通過偽造假的指紋或人臉來通過身份認(rèn)證等[2].

為了提高身份認(rèn)證的正確率和穩(wěn)定性,研究人員試圖通過同時(shí)使用不同種類的生物特征來進(jìn)行身份認(rèn)證,即多模態(tài)生物特征識別[3-4],以期進(jìn)一步提高識別的正確率和安全性.多模態(tài)識別技術(shù)的難點(diǎn)在于生物特征的選擇以及融合方式的選擇.在眾多的生物特征中,指紋由于其特征的唯一性和顯著性,是最為理想的生物特征;而人臉則是最熟悉、最敏感和發(fā)展迅速的生物特征[5].目前,基于人臉和指紋特征的身份認(rèn)證具有廣闊的應(yīng)用前景和市場價(jià)值,成為國內(nèi)外研究者關(guān)注的焦點(diǎn).本文首先分別回顧了人臉、指紋識別的研究現(xiàn)狀;然后對單模態(tài)生物特征識別面臨的挑戰(zhàn)進(jìn)行了總結(jié);在此基礎(chǔ)上,為了解決單模態(tài)生物特征識別存在的問題,重點(diǎn)討論了聯(lián)合人臉與指紋的多模態(tài)生物特征識別的方法和未來的發(fā)展方向.

1 人臉識別的研究現(xiàn)狀

人臉識別的研究始于20世紀(jì)60年代中后期[6],經(jīng)歷了人工識別、人工交互識別以及自動(dòng)識別3個(gè)階段而日趨變得成熟,并獲得了廣泛的應(yīng)用,初步實(shí)現(xiàn)了“刷臉”考勤、“刷臉”通關(guān)、“刷臉”支付等功能.人臉識別是將待識別的人臉圖像與模板庫中的標(biāo)準(zhǔn)圖像進(jìn)行比較,從模板庫中找出最相似的人臉圖像,以其標(biāo)簽作為待識別的人臉圖像的標(biāo)簽,其實(shí)現(xiàn)過程主要包括人臉檢測和人臉識別[7].

人臉檢測是從含有人臉的圖像或視頻中獲得人臉的具體位置和大小.早期的人臉檢測算法從包含簡單背景的正面人臉圖像中檢測出人臉,這些算法包括:基于幾何特征的方法[8]、基于模板匹配的方法[9]、基于學(xué)習(xí)的方法[10-11]等.近些年提出的人臉檢測的方法主要致力于復(fù)雜背景(包含遮擋、光照、多視角等)條件下的人臉檢測.典型的方法包括:基于AdaBoost的人臉檢測方法、基于可變形部件模型(deformable parts model,DPM)人臉檢測方法、基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)人臉檢測方法[12].基于AdaBoost的人臉檢測方法采用AdaBoost模型與膚色模型相融合[13-15].它充分利用了AdaBoost模型檢測速度較快以及膚色模型檢測精度高的優(yōu)點(diǎn),獲得了較好的檢測速度與精度.DPM是目標(biāo)檢測領(lǐng)域中的一個(gè)經(jīng)典算法,它由Felzenszwalb等[16]提出.它能夠較好地解決由于光照變化、人臉嚴(yán)重遮擋等單一條件變化產(chǎn)生的問題,但是對于多種變化所產(chǎn)生的問題還未能有效解決.此外,DPM還存在運(yùn)算時(shí)間長的缺陷.為了改善上述問題,一些改進(jìn)的DPM[17-19]加速方法被提出.CNN[20-22]是最新發(fā)展起來的一種學(xué)習(xí)方法,基于CNN的檢測算法在準(zhǔn)確率和多目標(biāo)檢測中顯示了較好的執(zhí)行效果,用于魯棒地檢測多視角、光照、遮擋條件下的人臉圖像.

基于分類器的人臉識別的關(guān)鍵在于選擇合適的分類器,常用的分類器有最近鄰分類器[23]、人工神經(jīng)網(wǎng)絡(luò)[24-25]、支持向量機(jī)[26]、隱馬爾可夫模型[27]等.

近年來,基于稀疏表示的分類方法引起了研究者的廣泛興趣.Wright等[28]將其成功應(yīng)用于人臉識別,通過求解L1范數(shù)最小化問題,將查詢樣本表示成訓(xùn)練樣本稀疏線性組合的形式,解決了人臉圖像的遮擋問題.之后基于稀疏表示的分類方法的改進(jìn)算法[29-30]被提出,通過與局部特征提取相結(jié)合,從而提高了識別率,為解決人臉識別中的遮擋、腐蝕和對齊問題提供了方案.進(jìn)一步考慮到提高識別的速度,Zhang等[31-32]引入了協(xié)同稀疏表示的概念,用L2范數(shù)替代L1范數(shù).由于L2范數(shù)稀疏性不如L1范數(shù),繼而提出了L1范數(shù)與L2范數(shù)相融合的范數(shù)[33].這些方法主要關(guān)注于遮擋、腐蝕、多視角、姿態(tài)變化等復(fù)雜環(huán)境下的人臉識別.此外,Liu等[34]還提出使用雙線性稀疏表示的字典來識別人臉,從而提高了人臉識別模型的性能.現(xiàn)實(shí)中人臉識別通常是一個(gè)非線性問題,受核函數(shù)處理非線性問題中的啟發(fā),Yin等[35]提出了核稀疏表示,將數(shù)據(jù)投影到一個(gè)非線性判別子空間進(jìn)行人臉識別.總之,現(xiàn)階段的稀疏表示方法主要聚焦于解決目標(biāo)函數(shù)的構(gòu)建和特征空間的降維等問題.

目前,基于深度學(xué)習(xí)識別人臉是人臉識別的發(fā)展趨勢.2012年底百度將深度學(xué)習(xí)算法成功應(yīng)用于人臉識別中,不僅提高了識別的準(zhǔn)確率,還提升了在線學(xué)習(xí)的效率.一些頂級期刊也紛紛發(fā)表采用深度學(xué)習(xí)進(jìn)行人臉識別的文章[36-38],預(yù)計(jì)基于深度學(xué)習(xí)的人臉識別將替代“人工特征+機(jī)器學(xué)習(xí)”而成為主流方法.

2 指紋識別的研究現(xiàn)狀

指紋識別技術(shù)追溯于Lee等[39]的研究,起初應(yīng)用于刑事偵破方面,后來逐漸商業(yè)化.近幾年,與指紋識別相關(guān)的產(chǎn)品陸續(xù)出現(xiàn),有加裝指紋識別功能的手機(jī)、ATM提款機(jī)、指紋考勤系統(tǒng)、指紋門禁系統(tǒng)等.由于指紋識別具有唯一性、易采集和較穩(wěn)定的特點(diǎn),因此成為目前使用最廣泛的一項(xiàng)生物特征識別技術(shù).指紋識別技術(shù)的研究主要包括指紋預(yù)處理、特征提取、特征匹配3個(gè)部分.

圖像預(yù)處理作為指紋識別的第一步,目的是從采集到的指紋圖像中去除噪聲,得到清晰的點(diǎn)線圖,主要包括圖像增強(qiáng)、圖像分割和細(xì)化等主要步驟.a.在圖像增強(qiáng)[40]中,考慮到指紋紋理的方向性,最典型的方法是Gabor濾波器,該算法利用了Gabor具有頻域和方向選擇的特性,之后的算法重點(diǎn)是對于潛在指紋或是低質(zhì)量指紋的改進(jìn)Gabor算法的研究.例如,正交曲線的Gabor濾波器[41]、傅立葉域的方向?yàn)V波[42]、彎曲Gabor濾波器的方向場和頻率場估計(jì)[43]等,此外還將稀疏表示的概念應(yīng)用到指紋增強(qiáng)算法中[44-45].b.在圖像分割中,需要將指紋圖像作為前景圖像從完整的圖像中分割出來,以便后續(xù)的細(xì)化處理.c.在圖像細(xì)化中,主要目標(biāo)是將指紋圖像變成單像素連接圖.文獻(xiàn)[46]給出了基于鄰域搜索的OPTA(one-pass thin-ning algorithm)指紋細(xì)化算法,將圖像轉(zhuǎn)化為單像素連接圖.

在特征提取中,一般使用的指紋特征包括全局特征(奇異點(diǎn))和局部特征(端點(diǎn)、分叉點(diǎn)和脊線).對指紋圖像提取特征后,可用于后續(xù)的指紋匹配和分類工作.指紋特征提取涉及的主要技術(shù)包括指紋方向場和頻率估計(jì)、指紋分割增強(qiáng)、紋路提取細(xì)化、節(jié)點(diǎn)提取和過濾以及脊線數(shù)計(jì)算等[1].

特征匹配是指紋識別的最終目標(biāo),主要方法包括基于圖匹配和基于特征點(diǎn)匹配的指紋識別方法.基于圖匹配的方法在低質(zhì)量指紋識別中具有明顯的優(yōu)勢.基于特征點(diǎn)的匹配方法是現(xiàn)階段研究最多的匹配方法,可以細(xì)分為如下3大類:基于單個(gè)特征點(diǎn)、基于桿特征(矢量線段)以及特征點(diǎn)組的匹配[47].

3 單模態(tài)識別面臨的挑戰(zhàn)

現(xiàn)階段,指紋識別和人臉識別等單模態(tài)的生物特征識別方式已經(jīng)取得了突破性的進(jìn)展,在許多場合也得到了應(yīng)用,但也面臨許多挑戰(zhàn),主要表現(xiàn)為:

a. 正確率.

人臉識別中,人臉變化是影響識別性能至關(guān)重要的因素,既包括化妝、整形、頭發(fā)遮擋、胡須等內(nèi)在因素,也包括光照、成像角度等外在條件因素;指紋識別中,指紋圖像是影響指紋識別的關(guān)鍵因素,低質(zhì)量的指紋圖像由于計(jì)算紋路方向和頻率困難,導(dǎo)致難以進(jìn)行圖像分割和特征點(diǎn)的提取.此外還有傳感器端引入的噪聲信號也會(huì)增加錯(cuò)誤拒絕率.

b. 獨(dú)特性.

單模態(tài)的生物特征識別雖然在技術(shù)方面有了很大的突破,但是當(dāng)要選擇某一種模態(tài)時(shí)主要依賴于具體的應(yīng)用而異,因?yàn)闆]有一種模態(tài)在許多方面都很好,都勝過于其他.通過大量的科研結(jié)果表明,人臉識別在識別率和安全性上要高于指紋識別,即當(dāng)人臉識別利用紅外掃描,進(jìn)行人臉特征點(diǎn)的立體掃描時(shí),要想破解是非常不容易的,而指紋識別比人臉識別在速度上要快,一些類似于公司考勤、手機(jī)解鎖等大都采用的是指紋識別系統(tǒng).

c. 適用性.

當(dāng)采集設(shè)備存在局限性或者當(dāng)人因身體原因而不能提供所需的生物特征或提供的生物特征質(zhì)量低下時(shí),單模態(tài)識別過程將變得比較困難.例如,一些特殊的場合中,攝像機(jī)不能夠近距離地靠近人體,造成攝像機(jī)距離人體較遠(yuǎn),從而捕捉到的人臉圖像分辨率較低、畸變較大,以至于人臉識別困難;在指紋采集時(shí),有些人因手指殘疾、手指受傷或手出汗,以致無法進(jìn)行指紋圖像采集或者采集到的指紋圖像不理想,從而增加指紋識別難度.

d. 安全性.

伴隨著科學(xué)技術(shù)的發(fā)展,信息攻擊、竊取和復(fù)制變成了一件簡單的事情.如美國斯坦福大學(xué)科研團(tuán)隊(duì)近期研究了一項(xiàng)“Face2Face”的新技術(shù),可以通過某個(gè)人的人臉動(dòng)作去控制目標(biāo)對象的人臉動(dòng)作,輕易實(shí)現(xiàn)名人的人臉表情和動(dòng)作的復(fù)制;又如,新聞中經(jīng)常會(huì)看到黑客竊取人臉或指紋信息,從而攻破安全系統(tǒng)的監(jiān)控,實(shí)施犯罪活動(dòng).

4 聯(lián)合人臉與指紋的多模態(tài)生物特征識別

由于使用人臉或指紋等單模態(tài)特征進(jìn)行生物特征識別具有一定的局限性,受多源信息融合能降低錯(cuò)誤率、增強(qiáng)穩(wěn)定性的啟發(fā),近年來國內(nèi)外掀起了多模態(tài)識別研究的熱潮.多模態(tài)生物特征識別通過融合不同種類的生物特征進(jìn)行身份識別,實(shí)現(xiàn)不同特征之間的優(yōu)勢互補(bǔ),以提升生物特征識別系統(tǒng)的性能.相比單模態(tài),多模態(tài)具有更廣的適用性、更高的安全性和更好的準(zhǔn)確性,其主要思想是在單模態(tài)識別技術(shù)的基礎(chǔ)上,綜合利用來自不同種類的生物特征,采用信息融合技術(shù)在某一層或多層進(jìn)行信息的融合,最終獲得融合后的識別結(jié)果[48].由于人臉和指紋特征是生物特征識別中最為普遍采用的特征,研究人員試圖聯(lián)合人臉與指紋特征進(jìn)行多模態(tài)生物特征識別.

聯(lián)合人臉和指紋對生物特征進(jìn)行識別的關(guān)鍵步驟是信息的融合.根據(jù)融合的層級不同,可分為[2]:傳感器層融合、特征層融合、匹配層融合、決策層融合.

傳感器層融合是在硬件采集數(shù)據(jù)階段即對數(shù)據(jù)進(jìn)行融合,以便減少數(shù)據(jù)采集的硬件投入.目前,有些傳感器還可以在數(shù)據(jù)傳輸開始前在傳感器本地端進(jìn)行初步的數(shù)據(jù)處理,將處理后的結(jié)果傳給后續(xù)處理的終端,減少數(shù)據(jù)的傳輸量,提高數(shù)據(jù)傳輸?shù)男?改變所有的數(shù)據(jù)處理流程都放在終端的模式,從而降低終端的工作壓力.

特征層融合需要對提取出的人臉和指紋特征進(jìn)行融合,并利用降維算法對特征進(jìn)行降維表示.特征層融合的核心目標(biāo)是通過融合后找到更加顯著的特征,從而提高生物特征識別的正確率和穩(wěn)定性.

匹配層融合的思想在于:為了衡量待識別的生物特征與模板庫中的匹配模板的相似程度,每一種生物特征識別系統(tǒng)需要提供一個(gè)匹配參數(shù),而匹配層融合就是通過把不同的匹配參數(shù)進(jìn)行融合來進(jìn)行身份認(rèn)證[49].匹配層融合是多模態(tài)生物特征識別的重點(diǎn)研究內(nèi)容,很多研究人員關(guān)注于此問題的研究.

決策層融合是將每個(gè)獨(dú)立的識別系統(tǒng)的結(jié)果進(jìn)行融合,得到更加魯棒的結(jié)果.對每個(gè)識別系統(tǒng)的結(jié)果進(jìn)行投票是最常見的方法之一,此外卡爾曼濾波方法也常常被用于進(jìn)行決策層的融合[50].

圖1詳細(xì)地給出了聯(lián)合人臉與指紋的多模態(tài)生物特征識別的框架圖,在此框架圖中,最底層的是傳感器融合層;對傳感器采集得到的人臉和指紋數(shù)據(jù)進(jìn)行特征提取后可以進(jìn)行特征層的融合;在當(dāng)前待識別的特征與模板庫中的特征進(jìn)行匹配的階段,可以進(jìn)行匹配層融合,從而提高相似度計(jì)算的正確性;最后的決策階段,可以對獨(dú)立的識別結(jié)果進(jìn)行決策層融合,從而使最終的識別結(jié)果更加正確和魯棒.

圖1 聯(lián)合人臉與指紋進(jìn)行生物特征識別的融合策略

5 聯(lián)合人臉與指紋的多模態(tài)生物特征識別展望

由于聯(lián)合人臉與指紋的多模態(tài)生物特征識別具有更好的正確率和穩(wěn)定性,可以預(yù)見,其在將來的實(shí)際應(yīng)用場合將具有更加廣闊的應(yīng)用前景.這一領(lǐng)域?qū)?huì)吸引更多的研究人員加入,可以在如下方面進(jìn)行更深入的研究.

a. 克服特征空間的不兼容性.

對于特征空間的不兼容問題,主要依賴于提取互補(bǔ)的特征以及建立合適的特征級融合規(guī)則.如在人臉和指紋的多模態(tài)識別中,人臉的PCA特征和指紋的細(xì)節(jié)點(diǎn)特征被證明是一組互補(bǔ)的特征.研究者可以進(jìn)一步發(fā)掘更多互補(bǔ)的特征.

b. 探索對融合后得到的高維特征進(jìn)行稀疏表示的新方法.

不同源的特征經(jīng)過融合后,所得到的新特征往往維度很高.高維的特征將使后續(xù)的計(jì)算需要更多的時(shí)間,需要更為強(qiáng)大的硬件進(jìn)行支撐.因此,在研究融合后的特征進(jìn)行稀疏表示的方法中,得到低維度的顯著特征將會(huì)降低后續(xù)計(jì)算的時(shí)間成本.特別是在針對大數(shù)據(jù)的實(shí)時(shí)應(yīng)用場景中,這顯得極為重要.

c. 聯(lián)合人臉和指紋樣本進(jìn)行協(xié)同學(xué)習(xí)的新方法.

不同的生物特征識別系統(tǒng),其學(xué)習(xí)過程往往是獨(dú)立的.能否在學(xué)習(xí)的過程中讓不同種類的樣本進(jìn)行交叉,即將不同種類的樣本加入對方的訓(xùn)練集進(jìn)行協(xié)同學(xué)習(xí),以期取得模型構(gòu)建上的突破,這也是非常值得嘗試的新思路.

d. 基于深度學(xué)習(xí)的識別新方法.

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域革命性的技術(shù),正在各個(gè)應(yīng)用場合取得突破.在人臉和指紋識別領(lǐng)域,深度學(xué)習(xí)必然也會(huì)有所作為.在聯(lián)合人臉和指紋進(jìn)行多模態(tài)生物特征識別的研究領(lǐng)域,引入深度學(xué)習(xí)的框架,可以進(jìn)一步地提高識別的正確率和穩(wěn)定性,值得研究人員進(jìn)行嘗試.

[1] 劉歡喜.人體生物特征的綜合分析與應(yīng)用[D].上海:上海交通大學(xué),2010.

[2] WILD P,RADU P,CHEN L L,et al.Robust multimodal face and fingerprint fusion in the presence of spoofing attacks[J].Pattern Recognition,2016,50:17-25.

[3] ABDOLAHI M,MOHAMADI M,JAFARI M.Multimodal biometric system fusion using fingerprint and iris with fuzzy logic[J].International Journal of Soft Computing and Engineering,2013,2(6):504-510.

[4] SUDHISH P S,JAIN A K,CAO K.Adaptive fusion of biometric and biographic information for identity de-duplication[J].Pattern Recognition Letters,2016,84:199-207.

[5] YAO Z G,LE BARS J M,CHARRIER C,et al.Literature review of fingerprint quality assessment and its evaluation[J].IET Biometrics,2016,5(3):243-251.

[6] KAUFMAN G J,BREEDING K J.The automatic recognition of human faces from profile silhouettes[J].IEEE Transactions on Systems,Man,and Cybernetics,1976,SMC-6(2):113-121.

[7] JOSHI J C,GUPTA K K.Face recognition technology:a review[J].The IUP Journal of Telecommunications,2016,8(1):53-63.

[8] YANG G Z,HUANG T S.Human face detection in a complex background[J].Pattern Recognition,1994,27(1):53-63.

[9] SAKAI T,NAGAO M,FUJIBAYASHI S.Line extraction and pattern detection in a photograph[J].Pattern Recognition,1969,1(3):233-236.

[10] ROWLEY H A,BALUJA S,KANADE T.Neural network-based face detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(1):23-38.

[11] CHEN D,HUA G,WEN F,et al.Supervised transformer network for efficient face detection[C]∥European Conference on Computer Vision.Cham:Springer,2016:122-138.

[12] ZAFEIRIOU S,ZHANG C,ZHANG Z Y.A survey on face detection in the wild:past,present and future[J].Computer Vision and Image Understanding,2015,138:1-24.

[13] JI S P,LU X B,XU Q Z,et al.A fast face detection method combining skin color feature and AdaBoost[C]∥Proceedings of 2014 International Conference on Multisensor Fusion and Information Integration for Intelligent Systems(MFI).Beijing:IEEE,2014:1-5.

[14] DU C H,ZHU H,LUO L M,et al.Face detection in video based on AdaBoost algorithm and skin model[J].The Journal of China Universities of Posts and Telecommunications,2013,20(S1):6-9,24.

[15] WANG K,ZHANG H F.Research on an improved algorithm of face detection based on skin color features and cascaded AdaBoost[C]∥Proceedings of the 2015 IEEE 16th International Conference on Communication Technology(ICCT).Hangzhou:IEEE,2015:779-782.

[16] FELZENSZWALB P,MCALLESTER D,RAMANAN D.A discriminatively trained,multiscale,deformable part model[C]∥Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition.Anchorage,AK:IEEE,2008:1-8.

[17] KOKKINOS I.Rapid deformable object detection using dual-tree branch-and-bound[C]∥Advances in Neural Information Processing Systems 24:25th Annual Conference on Neural Information Processing Systems.Granada,Spain:NIPS,2011:2681-2689.

[18] DUBOUT C,FLEURET F.Exact acceleration of linear object detectors[C]∥Proceedings of the 12th European Conference on Computer Vision.Berlin Heidelberg:Springer,2012:301-311.

[19] YAN J J,LEI Z,WEN L Y,et al.The fastest deformable part model for object detection[C]∥Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Columbus,OH:IEEE,2014:2497-2504.

[20] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C]∥Proceedings of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada:ACM,2012:1097-1105.

[21] SUN Y,CHEN Y H,WANG X G,et al.Deep learning face representation by joint identification-verification[C]∥Proceedings of the 27th International Conference on Neural Information Processing Systems.Cambridge,MA,USA:ACM,2014:1988-1996.

[22] ZHANG C,ZHANG Z Y.Improving multiview face detection with multi-task deep convolutional neural networks[C]∥Proceedings of 2014 IEEE Winter Conference on Applications of Computer Vision (WACV).Steamboat Springs,CO:IEEE,2014:1036-1041.

[23] COVER T,HART P.Nearest neighbor pattern classification[J].IEEE Transactions on Information Theory,1967,13(1):21-27.

[24] FLEMING M K,COTTRELL G W.Categorization of faces using unsupervised feature extraction[C]∥Proceedings of 1990 IJCNN International Joint Conference on Neural Networks.San Diego,CA,USA:IEEE,1990,2:65-70.

[25] RANGANATH S,ARUN K.Face recognition using transform features and neural networks[J].Pattern Recognition,1997,30(10):1615-1622.

[26] OSUNA E,FREUND R,GIROSIT F.Training support vector machines:an application to face detection[C]∥Proceedings of 1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Juan:IEEE,1997:130-136.

[27] SAMARIA F,YOUNG S.HMM-based architecture for face identification[J].Image and Vision Computing,1994,12(8):537-543.

[28] WRIGHT J,YANG A Y,GANESH A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[29] YANG M,ZHANG L.Gabor feature based sparse representation for face recognition with Gabor occlusion dictionary[C]∥Proceedings of the 11th European Conference on Computer Vision:Part VI.Berlin Heidelberg:Springer-Verlag,2010:448-461.

[30] ZHOU Z H,WAGNER A,MOBAHI H,et al.Face recognition with contiguous occlusion using Markov random fields[C]∥Proceedings of the 2009 IEEE 12th International Conference on Computer Vision.Kyoto:IEEE,2009:1050-1057.

[31] ZHANG L,YANG M,FENG X C.Sparse representation or collaborative representation:which helps face recognition[C]∥Proceedings of the 2011 IEEE International Conference on Computer Vision.Barcelona:IEEE,2011:471-478.

[32] PENG X,ZHANG L,YI Z,et al.Learning locality-constrained collaborative representation for robust face recognition[J].Pattern Recognition,2014,47(9):2794-2806.

[33] SHI X S,YANG Y J,GUO Z H,et al.Face recognition by sparse discriminant analysis via jointL2,1-norm minimization[J].Pattern Recognition,2014,47(7):2447-2453.

[34] LIU H D,YANG M,GAO Y,et al.Bilinear discriminative dictionary learning for face recognition[J].Pattern Recognition,2014,47(5):1835-1845.

[35] YIN J,LIU Z H,JIN Z,et al.Kernel sparse representation based classification[J].Neurocomputing,2012,77(1):120-128.

[36] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[37] CHEN X W,ASLAN M S,ZHANG K L,et al.Learning multi-channel deep feature representations for face recognition[C]∥Proceedings of the 1st International Workshop on “Feature Extraction:Modern Questions and Challenges.NIPS,2015:60-71.

[38] ZHANG J,HOU Z J,WU Z R,et al.Research of 3D face recognition algorithm based on deep learning stacked denoising autoencoder theory[C]∥Proceedings of the 2016 8th IEEE International Conference on Communication Software and Networks (ICCSN).Beijing:IEEE,2016:663-667.

[39] LEE H C,GAENSSLEN R E.Advances in fingerprint technology[M].2nd ed.Boca Raton:CRC Press,2001.

[40] HONG L,WAN Y F,JAIN A.Fingerprint image enhancement:algorithm and performance evaluation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(8):777-789.

[41] MEI Y,ZHAO B,ZHOU Y,et al.Orthogonal curved-line Gabor filter for fast fingerprint enhancement[J].Electronics Letters,2014,50(3):175-177.

[42] POPOVIC B M,BANDJUR M V,RAICEVIC A M.Robust fingerprint enhancement by directional filtering in Fourier domain[J].Elektronika ir Elektrotechnika,2011,107(1):37-40.

[43] RAJAN R A,SUDHA N,KUMAR P A.O-F Estimation based on curved Gabor filter for fingerprint image enhancement[C]∥Proceedings of the 2013 5th International Conference on Advanced Computing (ICoAC).Chennai:IEEE,2013:405-412.

[44] LIU M H,CHEN X Y,WANG X D.Latent fingerprint enhancement via multi-scale patch based sparse representation[J].IEEE Transactions on Information Forensics and Security,2015,10(1):6-15.

[45] WEI K F,LIU M H.Latent fingerprint enhancement based on orientation guided sparse representation[M]∥YOU Z S,ZHOU J,WANG Y H,et al.Biometric Recognition.Chengdu:Springer,2016:205-213.

[46] CHEN G,CHEN N,ZENG Y.An improved OPTA fingerprint thinning algorithm based on neighborhood searching[C]∥Proceedings of 2012 International Conference on Computer Science and Information Processing (CSIP).Xi′an:IEEE,2012:637-640.

[47] 張永良.滑動(dòng)指紋拼接與指紋匹配的算法研究[D].上海:上海交通大學(xué),2006.[48] DARWISH A A,ZAKI W M,SAAD O M,et al.Human authentication using face and fingerprint biometrics[C]∥Proceedings of the 2010 2nd International Conference on Computational Intelligence,Communication Systems and Networks.Liverpool:IEEE,2010:274-278.

[49] 葛彥平.基于匹配融合的指紋與指靜脈雙模態(tài)生物識別技術(shù)的研究[D].南京:南京郵電大學(xué),2012.

[50] CAO Z X,ZHANG R D,YANG Y,et al.Discrete-time robust iterative learning Kalman filtering for repetitive processes[J].IEEE Transactions on Automatic Control,2016,61(1):270-275.

(編輯:丁紅藝)

Survey on the Multimodal Biometric Identification by Fusing Faces and Fingerprints

XIAO Jianli, ZHANG Jing

(SchoolofOptical-ElectricalandComputerEngineering,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)

Face and fingerprint recognition,the two most popular biometric identification technologies,are widely used in recent years due to their simplicity,rapidity and safety.However,the accuracy and robustness of the biometric identification systems using a single feature need to be improved further.Meanwhile,these systems are easy to be cracked by forged faces or fingerprints.Thus,multimodal biometric recognition methods by fusing faces and fingerprints were focued.A review on the researches of face and fingerprint recognition technologies was afforded,and then the challenges of monomodal biometric recognition was summerized.On this basis,the multimodal biometric recognition methods by fusing faces and fingerprints were described to solve the defects of the monomodal biometric recognition.Finally,the future developments of the multimodal biometric recognition methods were presented.

face;fingerprint;personidentification;multimodal

1007-6735(2017)01-0051-07

10.13255/j.cnki.jusst.2017.01.009

2016-12-09

國家自然科學(xué)基金資助項(xiàng)目(61503250);上海高校青年教師培養(yǎng)資助計(jì)劃(ZZslg15018);上海理工大學(xué)國家級項(xiàng)目培育課題(16HJPY-QN03)

肖建力(1982-),男,講師.研究方向:數(shù)據(jù)挖掘與大數(shù)據(jù)技術(shù)、機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺、智能交通與智慧城市.E-mail:audyxiao@sjtu.edu.cn

TP 391

A