徐曉艷

（國家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作江蘇中心,215163）

1 概述

1.1 技術(shù)概述

人臉識(shí)別技術(shù)指的是通過比較人臉的視覺特征信息從而進(jìn)行身份鑒別的技術(shù)，該技術(shù)是一項(xiàng)研究較為熱門的計(jì)算機(jī)技術(shù)領(lǐng)域。

人臉識(shí)別技術(shù)主要是基于人的面部特征，針對(duì)圖像或者視頻檢測其是否存在人臉，若存在人臉區(qū)域，就進(jìn)一步地檢測出其位置、大小以及面部各個(gè)器官的位置等信息，根據(jù)上述信息可以得到每個(gè)人臉中的代表身份的特征，將上述特征與現(xiàn)有的人臉庫進(jìn)行比對(duì)，從而識(shí)別出人臉身份。

人臉識(shí)別技術(shù)包含多個(gè)方面的內(nèi)容，從廣義角度而言，人臉識(shí)別技術(shù)包括構(gòu)建人臉識(shí)別系統(tǒng)的一系列相關(guān)技術(shù)，例如人臉圖像采集、人臉識(shí)別預(yù)處理、身份查找以及身份確認(rèn)等；從俠義角度而言，人臉識(shí)別技術(shù)就是身份查找或身份確認(rèn)的過程。

近些年來，在人臉圖像研究相關(guān)的計(jì)算機(jī)視覺領(lǐng)域，隨著人臉檢測和人臉識(shí)別技術(shù)所取得的顯著進(jìn)展，人們的研究熱點(diǎn)，逐漸轉(zhuǎn)向了人臉表情分析和年齡評(píng)估等更為先進(jìn)的研究課題。在這些課題中，年齡評(píng)估在“為不同年齡段的人提供不同服務(wù)”方面的應(yīng)用，有著巨大的市場潛力。比如，具有年齡評(píng)估功能的網(wǎng)頁瀏覽器可以限制用戶是否訪問一些網(wǎng)頁，具有年齡評(píng)估功能的自動(dòng)售貨機(jī)，可以拒絕向未成年人出售煙酒等。

近些年來，人臉檢測和人臉識(shí)別技術(shù)取得了一系列顯著的進(jìn)步，隨著該項(xiàng)技術(shù)的發(fā)展，專家和學(xué)者們的研究熱點(diǎn)逐漸轉(zhuǎn)向了人臉表情分析和年齡評(píng)估等更為前沿和深入的領(lǐng)域，在上述領(lǐng)域中，年齡評(píng)估在“為不同年齡段的人提供不同服務(wù)”方面的應(yīng)用，有著巨大的市場潛力。比如，具有年齡評(píng)估功能的網(wǎng)頁瀏覽器可以限制用戶是否訪問一些網(wǎng)頁，具有年齡評(píng)估功能的自動(dòng)售貨機(jī)，可以拒絕向未成年人出售煙酒等。

1.2 人臉識(shí)別的主要技術(shù)

人臉識(shí)別技術(shù)主要包含三個(gè)方面：人臉檢測、人臉跟蹤和人臉比對(duì)，上述三個(gè)過程均有多種成熟的技術(shù)對(duì)其進(jìn)行處理。

人臉檢測主要是從圖像或者視頻中檢測是否存在人臉區(qū)域，并將上述人臉區(qū)域從背景區(qū)域中分離出來，人臉檢測一般可以采用下述方法：參考模板法、人臉規(guī)則法、樣品學(xué)習(xí)法和膚色模型法等方法。參考模板法需要一個(gè)或者多個(gè)標(biāo)準(zhǔn)人臉模板，然后將采集的數(shù)據(jù)樣品與標(biāo)準(zhǔn)人臉模型進(jìn)行匹配，并利用閾值來判斷是否存在人臉；人臉規(guī)則法則是提取人臉的結(jié)構(gòu)分布特征以生成相應(yīng)的規(guī)則來判斷測試數(shù)據(jù)樣品是否存在人臉；樣品學(xué)習(xí)法是基于人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)產(chǎn)生分類器的方法；膚色模型法是根據(jù)人臉膚色在色彩空間中的分布規(guī)律來進(jìn)行檢測。

人臉跟蹤即目標(biāo)跟蹤，通常是對(duì)檢測到的人臉區(qū)域進(jìn)行動(dòng)態(tài)目標(biāo)跟蹤，其主要采用基于模型的方法或基于運(yùn)動(dòng)與模型相結(jié)合的方法，其中，膚色模型也是一種簡單有效的跟蹤方法。

人臉比對(duì)是指對(duì)檢測到的人臉區(qū)域與現(xiàn)有的人臉庫中的人臉進(jìn)行目標(biāo)搜索并進(jìn)行比對(duì)，從而找到最優(yōu)的匹配對(duì)象，其中人臉特征的描述決定了人臉比對(duì)的效率和性能，目前人臉比對(duì)主要采用特征向量和面紋模板兩種方法。特征向量法先是確定五官的位置和大小等屬性，然后計(jì)算得到它們的幾何特征量并將這些特征量形成描述該人臉區(qū)域的特征向量；面紋模板法是將測試人臉數(shù)據(jù)與標(biāo)準(zhǔn)的人臉模板采用歸一化相關(guān)量度量進(jìn)行匹配，此外，還可以采用模式識(shí)別的自相關(guān)網(wǎng)絡(luò)或特征與模板相結(jié)合的方法。

用于人臉識(shí)別的方法多種多樣，主要的人臉識(shí)別方法有：基于特征臉（PCA）的人臉識(shí)別方法、幾何特征的人臉識(shí)別方法、神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法、彈性圖匹配的人臉識(shí)別方法和線段Hausdorff距離（LHD）的人臉識(shí)別方法等。

2 技術(shù)發(fā)展?fàn)顩r

現(xiàn)有人臉識(shí)別系統(tǒng)主要用于安全監(jiān)控等場合，通常是小規(guī)模封閉的系統(tǒng)，其也可以用于人機(jī)交互、跟蹤監(jiān)控、身份識(shí)別等領(lǐng)域。人臉識(shí)別技術(shù)主要包括人臉檢測、人臉跟蹤和人臉匹配三個(gè)方面，因而國內(nèi)外的許多公司和學(xué)者主要在上述三方面對(duì)人臉識(shí)別技術(shù)進(jìn)行研究和開發(fā)，在人臉檢測方面主要采用識(shí)別模型、分類器、邊緣檢測算法、輪廓提取算法等方法來提取人臉，由于人臉識(shí)別容易受到光線、姿態(tài)和表情變化的影響，人們從二維人臉識(shí)別演變到三維人臉識(shí)別，三維人臉識(shí)別可以從多個(gè)角度獲取人臉信息，從而可以很好地克服光線、姿態(tài)和表情變化的影響；人臉跟蹤主要采用基于膚色、運(yùn)動(dòng)、局部特征和基于統(tǒng)計(jì)學(xué)習(xí)理論的跟蹤方法等；而人臉匹配主要采用人臉模型、色彩空間分量匹配等方法。

由于人臉檢測是人臉跟蹤和人臉匹配的基礎(chǔ)，檢測效果的好壞直接影響到跟蹤和匹配的效果，且近幾年來許多公司和學(xué)者也主要從人臉檢測方面入手以改善和提高人臉識(shí)別的效果，因而本文主要針對(duì)人臉檢測進(jìn)行分析和研究。

由于人臉識(shí)別技術(shù)主要是針對(duì)各種場合獲得的圖像或視頻進(jìn)行處理，因而其在專利文獻(xiàn)中的分類號(hào)主要以G06T和G06K為主，涉及人臉識(shí)別技術(shù)的分類號(hào)主要為：

G06K 9/00用于閱讀或識(shí)別印刷或書寫字符或者用于識(shí)別圖形，例如，指紋的方法或裝置；

G06K 9/60·圖像捕獲和多種預(yù)處理作用的組合；

G06K 9/62·應(yīng)用電子設(shè)備進(jìn)行識(shí)別的方法或裝置；

G06K 9/64··應(yīng)用帶有許多基準(zhǔn)的多個(gè)圖像信號(hào)的同時(shí)比較或相關(guān)的；

3 國內(nèi)主要申請(qǐng)的技術(shù)演進(jìn)

國內(nèi)對(duì)人臉識(shí)別技術(shù)的起步較晚，專利的申請(qǐng)較國外的發(fā)展起步更晚，但是由于人臉識(shí)別技術(shù)的實(shí)用性，國內(nèi)許多公司、高校和科研院所都對(duì)其投入了大量的人力和無力，因而近幾年發(fā)展迅速，專利申請(qǐng)量也逐年提升。

3.1 重要申請(qǐng)人概況

在人臉識(shí)別領(lǐng)域有著突出貢獻(xiàn)的公司有南京搜拍信息技術(shù)有限公司、北京中星微電子有限公司、希姆通信息技術(shù)有限公司等。南京搜拍信息技術(shù)有限公司致力于開發(fā)基于客戶端、服務(wù)器架構(gòu)的綜合人臉以及人體輔助信息的交互式人臉識(shí)別系統(tǒng)；中星微電子有限公司主要主要致力于視頻中對(duì)運(yùn)動(dòng)人體的人臉檢測；希姆通信息技術(shù)有限公司利用標(biāo)準(zhǔn)的人臉識(shí)別模板，并將圖像中的區(qū)域與標(biāo)準(zhǔn)人臉模板分別進(jìn)行匹配以得到人臉區(qū)域。

有突出貢獻(xiàn)高校、科研院所有東華大學(xué)、清華大學(xué)、浙江大學(xué)和上海交通大學(xué)等；東華大學(xué)的夏小玲等人提出了將Canny邊緣 算法和輪廓提取算法運(yùn)用到人臉檢測領(lǐng)域，即利用上述方法提取人臉邊界輪廓信息；浙江大學(xué)的潘綱、王躍明等人提出了三維人臉識(shí)別技術(shù)，由于人臉識(shí)別容易受到姿態(tài)、光線和表情的影響，二維人臉的識(shí)別往往達(dá)不到良好的技術(shù)效果，因而采用三維人臉識(shí)別技術(shù)可以基于三維數(shù)據(jù)以從多個(gè)角度精確地得到人臉模型；上海交通大學(xué)的張秀彬、徐林等人提出了彩色燈光的自動(dòng)調(diào)節(jié)裝置的數(shù)字技術(shù)，他們將圖像進(jìn)行彩色空間轉(zhuǎn)換、圖像增強(qiáng)等操作以對(duì)人臉進(jìn)行識(shí)別。

3.2 專利申請(qǐng)量概況分析(2006-2010)

由于國內(nèi)在人臉識(shí)別領(lǐng)域起步較晚，2005年之前的申請(qǐng)量較少，因而就針對(duì)2007年以后的申請(qǐng)量做一個(gè)分析：

由圖3-1可以看出，2006-2010年之間的申請(qǐng)量保持平穩(wěn)發(fā)展，每年的申請(qǐng)量沒有太大變動(dòng)，2011-2013年的申請(qǐng)量逐步提高，且每一年較前一年的申請(qǐng)量都有很大的提高；這一變化趨勢(shì)與各種電子產(chǎn)品的發(fā)展趨勢(shì)有關(guān)，人臉識(shí)別技術(shù)是電子產(chǎn)品中一項(xiàng)主要的技術(shù)內(nèi)容，2006年以來手機(jī)、PDA、個(gè)人電腦等相關(guān)電子設(shè)備發(fā)生了翻天覆地的變化，隨著觸屏技術(shù)的迅速發(fā)展，作為其相關(guān)的人臉識(shí)別技術(shù)也得到了很大的提高，各大公司競相投入研究和生產(chǎn)，伴隨著各大公司對(duì)市場的占領(lǐng)，其在人臉識(shí)別領(lǐng)域的專利申請(qǐng)量也逐步上升，且技術(shù)日新月異；人臉識(shí)別技術(shù)的發(fā)展在科研領(lǐng)域也比較成熟，目前已經(jīng)達(dá)到了產(chǎn)學(xué)研一體化的線狀。

從圖3-2中可以看出在人臉識(shí)別領(lǐng)域主要以公司、企業(yè)的申請(qǐng)量為主，高校、科研院所在該領(lǐng)域的投入也很多，此外，個(gè)人申請(qǐng)的申請(qǐng)量也比較多。各大公司在人臉識(shí)別技術(shù)領(lǐng)域是專利申請(qǐng)量的主要領(lǐng)導(dǎo)者，這與其經(jīng)濟(jì)發(fā)展以及市場占有率有關(guān)，2006年以來，智能客戶終端機(jī)迅速發(fā)展，其給用戶帶來便利的同時(shí)，也領(lǐng)導(dǎo)了各種圖像處理技術(shù)的空前發(fā)展，各大公司為了占領(lǐng)市場，競爭非常激烈，而專利也是其作為競爭的一項(xiàng)強(qiáng)有力的手段，因而例如蘋果、三性、佳能等大公司競相申請(qǐng)專利。

圖3-1

圖3-2

圖3-3

圖3-3描述了關(guān)于人臉檢測技術(shù)的發(fā)展脈絡(luò)圖。

由于在人流密集的情況下，只有有限的背景，且行人擁擠時(shí)，行人間存在嚴(yán)重的相互遮擋，同時(shí)在人流密集的視頻圖像中往往還包含大量的不規(guī)則運(yùn)動(dòng)，因此這加大了對(duì)人臉進(jìn)行檢測的難度，同濟(jì)大學(xué)的劉富強(qiáng)等人（CN200710172336）提出了利用Adaboost算法進(jìn)行人臉識(shí)別，該算法將弱分類器進(jìn)行加權(quán)組合從而生成強(qiáng)分類器，并利用強(qiáng)分類器組成瀑布層疊樣式進(jìn)行人臉區(qū)域的檢測，其克服了現(xiàn)有技術(shù)中斑塊檢測和跟蹤背景差方法中識(shí)別率較低的缺陷，該算法檢測的結(jié)果更為準(zhǔn)確，其主要適合用于公共場所的人群管理中；在視頻中人臉檢測需要考慮人臉檢測的實(shí)時(shí)性，同時(shí)還要考慮人臉檢測的準(zhǔn)確率和速度問題，因而劉輝（CN201010144249）提出了一種快速準(zhǔn)確的基于視頻序列的人臉檢測跟蹤方法，該方法首先采用光線補(bǔ)償、膚色模型等策略減少檢測區(qū)域、提高運(yùn)算速度，對(duì)于人臉檢測僅在待測區(qū)域采用改進(jìn)的級(jí)聯(lián)AdaBoost分類器進(jìn)行人臉檢測；AdaBoost分類器在應(yīng)用中的不足之處是訓(xùn)練過程遠(yuǎn)比SVM分類器耗時(shí)得多，AdaBoost分類器訓(xùn)練階段大部分時(shí)間都消耗在尋找弱分類器上，因而對(duì)于其計(jì)算量大、耗時(shí)長一級(jí)弱分類器構(gòu)造過程中傳統(tǒng)閾值設(shè)置方法存在一系列問題，有必要改善AdaBoost的性能，文學(xué)志等人（CN201010280835）提出了一種改進(jìn)的AdaBoost分類器構(gòu)造方法，上述方法首先將樣本的類Harr特征值與其類別標(biāo)簽結(jié)合起來生成候選分類位置集，從候選分類位置集中尋找使分類錯(cuò)誤最小的位置，基于此位置構(gòu)造弱分類器，并同時(shí)提供一種自適應(yīng)的弱分類器閾值構(gòu)造方法；

在理想光照條件下的人臉檢測技術(shù)已經(jīng)比較成熟，在實(shí)際情況中，光照條件往往較差，這對(duì)人臉檢測的檢測效果產(chǎn)生巨大的影響，因而如果人臉特征不會(huì)基于光照的變化而變化，即人臉特征相對(duì)穩(wěn)定的技術(shù)將會(huì)對(duì)不同光照條件下的人臉檢測有很大幫助，為了解決上述不足，中國科學(xué)院自動(dòng)化研究所的盧漢清等人（CN200610073171）提出了一種人臉快速檢測的方法，該方法基于灰度圖像和局部區(qū)域的二進(jìn)制編碼特征通過學(xué)習(xí)訓(xùn)練得到人臉檢測子，并最終利用人臉檢測子檢測圖像中的位置和大小，該方法對(duì)光照較差的圖像檢測也能獲得較好的效果；由于基于特征的人臉定位方法不容易找到一個(gè)適用于所有情況的顯示特征，在背景區(qū)域中有可能會(huì)存在與人臉區(qū)域特征相似的特征，這容易得到錯(cuò)誤的檢測結(jié)果，而基于圖像的人臉定位方法計(jì)算復(fù)雜性高，需要大量的時(shí)間和精力搜集人臉樣本和非人臉樣本，為了克服上述缺陷，中國科學(xué)院半導(dǎo)體研究所的莫華毅等人（CN200810105764）提出了基于人類視覺模擬的計(jì)算機(jī)人臉定位方法，

該方法先對(duì)圖像進(jìn)行灰度化和低通濾波預(yù)處理，將經(jīng)過預(yù)處理后的灰度圖像分割為若干分立的區(qū)域，在上述區(qū)域中確定出包含人臉的區(qū)域并得到相應(yīng)區(qū)域的原始彩色圖像區(qū)域，在該原始彩色圖像區(qū)域上進(jìn)行人臉校驗(yàn)，判斷該區(qū)域是否含有人臉;紅外成像由于具有光照不變特性、抗偽裝特征和溫度敏感性等的特點(diǎn)，因而其具有更高的準(zhǔn)確性和更快的處理速度，張浩宇等人（CN200910068562）提出了嵌入式紅外人臉圖像識(shí)別方法及識(shí)別裝置，該方法包括對(duì)紅外圖像中人臉的定位，人臉特征信息的自動(dòng)抽取，人臉特征信息庫的自動(dòng)訓(xùn)練；

由于現(xiàn)有技術(shù)尚無法做到在各種表情變化情況下達(dá)到較好的識(shí)別性能，浙江大學(xué)的潘綱、王躍明等人（CN200710071538）提出了基于導(dǎo)向變形和變形剛性約束來弱化表情變化影響，該方法通過三維模型的對(duì)稱面和面部的兩個(gè)特征點(diǎn)確定人臉姿態(tài)，然后將該三維模型放置于統(tǒng)一的坐標(biāo)框架中，從而建立三角形對(duì)應(yīng)關(guān)系；由于人臉對(duì)稱面在表情存在的情況下很容易出錯(cuò)，其制約了三維人臉檢測技術(shù)的發(fā)展，因而復(fù)旦大學(xué)的吳海山等人（CN200910197378）提出了基于多尺度的矩分析方法來得到粗略人臉曲面，隨后利用鼻尖區(qū)域特征來精確定位鼻尖的位置，從而進(jìn)一步精確地分割出完整的人臉曲面；而通過鼻尖等特征點(diǎn)進(jìn)行人臉檢測屬于局部特征的相似度計(jì)算方法，忽略了三維顱面的整體特征，從而具有很大的局限性，因而浙江工業(yè)大學(xué)的梁榮華等人（CN201110117786）提出了將標(biāo)準(zhǔn)模型的局部特征與顱面模型的局部特征進(jìn)行相似度計(jì)算，并將標(biāo)準(zhǔn)模型的特征點(diǎn)與顱面模型的映射特征點(diǎn)對(duì)齊，最終實(shí)現(xiàn)對(duì)三維復(fù)原顱面的識(shí)別；南開大學(xué)的藍(lán)楊等人（CN201010199818）提出了一種基于等高線法的三維人臉識(shí)別方法，該方法將三維人臉模型變成容易處理的二維曲線圖，并對(duì)曲線圖作出相應(yīng)的特征提取和識(shí)別分析，上述方法使得識(shí)別的準(zhǔn)確性和速度方面大大提高。

4 國外主要申請(qǐng)的技術(shù)演進(jìn)和發(fā)展

目前大多數(shù)人臉檢測系統(tǒng)都源于Viola和Jones在2001年提出的人臉檢測模型，該人臉檢測模型主要是通過AdaBoost學(xué)習(xí)算法將Harr型特征的弱分類器組合成強(qiáng)分類器，最后將強(qiáng)分類器組合起來形成瀑布層疊形式的檢測器結(jié)構(gòu)，與該技術(shù)相比，Viola和Jones提出的這一檢測器模型可以更為有效地處理正面直立人臉檢測問題。上述檢測器可以分為四個(gè)層次：其中，可以通過積分圖像進(jìn)行快速計(jì)算得到Harr型特征，這大大提高了檢測速度，

后來的學(xué)者和研究人員在這個(gè)基礎(chǔ)上進(jìn)行了很多改進(jìn)，例如將檢測器擴(kuò)展成為多視角人臉檢測，不僅提高了系統(tǒng)檢測的精度和速度，還將檢測器擴(kuò)展成為多視角人臉檢測，其中，在檢測器結(jié)構(gòu)層次上，為了擴(kuò)大人臉檢測視角，Li提出使用金字塔模型替代瀑布模型，Viola和Jones使用的是決策樹結(jié)構(gòu)，而Huang采用的則是寬度優(yōu)先搜索樹，另一方面，Xiao的鏈?zhǔn)紹oosting算法和Wu的嵌入式瀑布結(jié)構(gòu)將組織松散的強(qiáng)分類器更為緊密地聯(lián)系在一起。

國外申請(qǐng)量的分布圖如下：

從上述圖4-1中可以看出，人臉識(shí)別的國外申請(qǐng)量也是逐年上升的。

在圖像處理領(lǐng)域中，日本、美國、韓國等的一些技術(shù)公司和其技術(shù)都遙遙領(lǐng)先，人臉識(shí)別是圖像處理的一個(gè)重要分支，一些公司例如蘋果、索尼、佳能、三星等大公司都致力于研究和開發(fā)人臉識(shí)別方法和系統(tǒng)，圖4-2顯示了上述國家的專利分布：

5 總結(jié)與展望

文本主要對(duì)現(xiàn)有技術(shù)中的人臉識(shí)別領(lǐng)域進(jìn)行了分析和總結(jié)，首先對(duì)人臉識(shí)別技術(shù)的主流方法進(jìn)行了總結(jié)，其次分析了人臉識(shí)別技術(shù)在專利申請(qǐng)方面的概況，然后分別在中文專利庫和英文專利庫進(jìn)行了檢索，并對(duì)國內(nèi)外的各大申請(qǐng)人進(jìn)行橫向的比較和分析.

圖4-1

圖4-2

第一章主要介紹了目前人臉識(shí)別技術(shù)的幾大主流方法，主要包括參考模板法，人臉規(guī)則法，樣品學(xué)習(xí)法，膚色模型法，特征子臉法；而第二章主要介紹了專利文獻(xiàn)中主要的人臉檢測方法，由于人臉檢測技術(shù)包含了多種多樣的方法，梳理較困難，因而本文只針對(duì)人臉檢測技術(shù)進(jìn)行進(jìn)一步研究；第三、四章分別對(duì)國內(nèi)外的人臉檢測技術(shù)進(jìn)行介紹，主要包括對(duì)重要申請(qǐng)人的概況分析，專利申請(qǐng)的地域分布，以及各項(xiàng)人臉檢測技術(shù)的發(fā)展脈絡(luò)。

由于目前的人臉檢測技術(shù)已經(jīng)十分成熟，大多數(shù)研究主要集中在對(duì)已有技術(shù)的改進(jìn)上，即改善各種算法的性能以提高人臉識(shí)別的精度和效率。未來人臉識(shí)別技術(shù)的發(fā)展方向主要是與其他圖像處理技術(shù)相結(jié)合以綜合各項(xiàng)技術(shù)對(duì)圖像進(jìn)行處理，各項(xiàng)技術(shù)之間相互配合，以達(dá)到良好的圖像處理效果。

[1]王俊艷，“年齡變化的人臉識(shí)別”，計(jì)算機(jī)世界，2006.12

[2]童林，“基于視頻的人臉識(shí)別與跟蹤算法研究”，計(jì)算機(jī)與現(xiàn)代化，第2期，2003

[3]P.Viola and M.Jones，“Rapid Object Detection Using a Boosted Cascade of Simple Features，”Proc.IEEE Conference Computer Vision and Pattern Recognition，Dec.2001.

[4]S.Z.Li，L.Zhu，Z.Q.Zhang，et al.，“Statistical Learning of Multi-View Face Detection”.Proc.7th European Conference on Computer Vision，pp.67-81，May 2002，.