胡 健，左艷超

（北方工業(yè)大學(xué)，北京 100144）

人臉及特征點(diǎn)檢測(cè)方法綜述

胡 健，左艷超

（北方工業(yè)大學(xué)，北京 100144）

人臉及特征點(diǎn)檢測(cè)計(jì)算機(jī)視覺(jué)領(lǐng)域有著非同尋常的地位，同時(shí)還在人工智能交互、視頻會(huì)議、鑒別身份、汽車安全行駛等方面有著非常廣闊的研究?jī)r(jià)值。由于在計(jì)算機(jī)視覺(jué)下，動(dòng)態(tài)圖像中存在人臉的大小不確定、面部表情變化多樣、背景復(fù)雜、光照多變等影響因素，人臉特征點(diǎn)檢測(cè)的準(zhǔn)確性變得至關(guān)重要。文章介紹了幾種人臉及特征點(diǎn)常用方法。

人臉檢測(cè)；特征點(diǎn)檢測(cè)；計(jì)算機(jī)視覺(jué)

1 人臉檢測(cè)

通過(guò)一個(gè)人的人臉可以獲取該人的種族、性別、年齡等豐富信息，在人與人之間的視覺(jué)交流方面有著不可忽視的作用。除此之外，由于計(jì)算機(jī)技術(shù)日新月異，計(jì)算機(jī)安全技術(shù)在安檢、門禁、公安、保險(xiǎn)、軍事等各個(gè)領(lǐng)域都發(fā)揮著不可替代的作用，人臉及特征點(diǎn)檢測(cè)也日趨成為最熱門的生物特征身份識(shí)別技術(shù)之一[1]。但是，對(duì)于如何處理不同人的面部差異達(dá)到識(shí)別檢測(cè)目的，仍然是可視化分析和目標(biāo)識(shí)別中最具有挑戰(zhàn)性的關(guān)鍵課題之一[2]。

1.1 人臉檢測(cè)現(xiàn)狀

人臉檢測(cè)最早是由人臉識(shí)別衍變而來(lái)，早在20世紀(jì)六七十年代，人臉識(shí)別技術(shù)就已誕生，但是由于當(dāng)時(shí)計(jì)算機(jī)技術(shù)的滯后，并未取得應(yīng)有的成果，這種狀況一直持續(xù)到20世紀(jì)90年代后期，超大規(guī)模集成電路的誕生，極大地提升了計(jì)算機(jī)的運(yùn)算速度，人臉檢測(cè)研究也取得了較多可喜的成果。

Yang和Huang[3]提出了一種人臉檢測(cè)方法，該方法基于知識(shí)分級(jí)檢測(cè)，也就是通常所說(shuō)的馬賽克圖像法（Mosaic Image）。此外，Sung和Poggio等[4]提出了基于人臉訓(xùn)練集的檢測(cè)思想，將人臉檢測(cè)問(wèn)題歸為從已訓(xùn)練好的樣本中識(shí)別出人臉區(qū)域的研究思想。在此基礎(chǔ)上，Powley等[5]創(chuàng)造性地提出了一種使用多個(gè)神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像中具有不同偏移角度的人臉檢測(cè)改進(jìn)方法，該方法可以直接作用在原圖像，與Sung中將待檢測(cè)圖像與人臉訓(xùn)練集對(duì)比匹配有著明顯的區(qū)別，能夠直接判斷待檢測(cè)窗口中是否包含人臉，更簡(jiǎn)單便捷。

2001年，Viola.P基于Adaboost的人臉檢測(cè)算法[6]是人臉檢測(cè)方向的轉(zhuǎn)折點(diǎn)，該算法不僅提高了檢測(cè)的準(zhǔn)確率，并且使人臉檢測(cè)開(kāi)始正式走進(jìn)實(shí)際的應(yīng)用領(lǐng)域中，是人臉檢測(cè)研究的一次跳躍性發(fā)展。人臉檢測(cè)所具有的潛在應(yīng)用前景和經(jīng)濟(jì)價(jià)值激發(fā)了一代又一代研究人員的探索探索興趣。

1.2 人臉特征點(diǎn)定位研究現(xiàn)狀

人臉特征點(diǎn)檢測(cè)是指在待測(cè)圖像中檢測(cè)出人臉位置信息，然后進(jìn)一步檢測(cè)出能夠反映人臉主要特征的信息來(lái)進(jìn)行人臉驗(yàn)證、表情識(shí)別等，是目前計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。在人臉特征點(diǎn)的研究方面，國(guó)外的研究起步比國(guó)內(nèi)早很多，到目前為止，劍橋大學(xué)、曼徹斯特大學(xué)等[7-8]國(guó)外知名大學(xué)在人臉特征點(diǎn)檢測(cè)方面取得了一定的成果。國(guó)內(nèi)對(duì)于人臉特征點(diǎn)的檢測(cè)可以追溯到19世紀(jì)80年代，經(jīng)過(guò)研究人員的努力，在人臉特征檢測(cè)方面也取得了顯著的成果[9-10]。伴隨著國(guó)內(nèi)外研究人員不斷地研究深入，人臉特征點(diǎn)定位技術(shù)也是日臻完善。

2 人臉檢測(cè)方面幾種主流方法

2.1 基于馬賽克圖像法的人臉檢測(cè)

Yang等[11]提出的一種方法是利用馬賽克子塊不同區(qū)域的作用關(guān)系檢測(cè)人臉。對(duì)4×4和8×8個(gè)馬賽克區(qū)域塊，利用特定規(guī)則進(jìn)行驗(yàn)證，然后用邊緣特征來(lái)進(jìn)一步檢驗(yàn)。這種方法對(duì)人臉的檢測(cè)結(jié)果并不是特別準(zhǔn)確，盧春雨等[12]針對(duì)該方法的一些不足進(jìn)行了改進(jìn)，將人臉區(qū)域根據(jù)特征分布分為3×3個(gè)馬賽克區(qū)域塊。如圖1（a）和圖1（b）為人臉馬賽克三分圖模型。子塊0與子塊2分別對(duì)應(yīng)于左眼區(qū)域（含眼眉）和右眼區(qū)域（含眼眉），子塊4與子塊7分別對(duì)應(yīng)于鼻子與嘴巴區(qū)域，子塊（3，6，5，8）對(duì)應(yīng)于兩側(cè)區(qū)域。我們假定子塊（0，3，6）與子塊（2，5，8）寬度大致一樣，所有的塊高度大致相同。在塊形狀自適應(yīng)后，之前的分割會(huì)出現(xiàn)些變化，但保持同一行和同一列的高度和寬度相同。這種方法對(duì)于一些圓圓的臉型具有一定的適用性。

2.2 基于人臉訓(xùn)練集的人臉檢測(cè)

該方法的核心思想是收集大量的人臉圖片利用神經(jīng)網(wǎng)絡(luò)等方法[13]訓(xùn)練一個(gè)分類器來(lái)檢測(cè)人臉。該方法不需要對(duì)目標(biāo)圖像進(jìn)行復(fù)雜處理，只需要將待測(cè)圖像與訓(xùn)練集中的人臉圖像進(jìn)行匹配對(duì)比，從而對(duì)待測(cè)圖像的人臉部分進(jìn)行檢測(cè)。訓(xùn)練的樣本數(shù)越多，檢測(cè)的精度越大，但是相應(yīng)的會(huì)對(duì)運(yùn)算速度產(chǎn)生一定影響。

2.3 基于Haar小波的Adaboost算法的人臉檢測(cè)

Freund和Schapire[14-16]提出的基于Adaboost算法和層級(jí)分類器的人臉檢測(cè)算法可以使誤差函數(shù)的上界盡可能變小，它是一種迭代算法，核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練多個(gè)弱分類器，然后把這些弱分類器整合起來(lái)構(gòu)造一個(gè)強(qiáng)分類器。在人臉檢測(cè)過(guò)程中，先使用最簡(jiǎn)單的分類器，如果待檢測(cè)圖像在某一組分類器中就被認(rèn)定為非人臉圖像，那么后面的分類器就無(wú)需對(duì)該圖像再進(jìn)行檢測(cè)，將可能存在人臉的待測(cè)圖像送到下一級(jí)分類器進(jìn)行檢測(cè)，以此類推，盡可能早的排除非人臉子窗口，提升了檢測(cè)精準(zhǔn)度，降低運(yùn)算的復(fù)雜度。圖2為級(jí)聯(lián)分類器的結(jié)構(gòu)。

圖2 級(jí)聯(lián)分類器的結(jié)構(gòu)

該算法目前已經(jīng)成功應(yīng)用到了圖像識(shí)別和目標(biāo)檢測(cè)上面，作為現(xiàn)階段最流行且實(shí)用的方法，下面簡(jiǎn)單介紹其思路。

設(shè)輸入樣本數(shù)據(jù)為I=[(x1,y1)，(x2,y2)，…，(xn,yn)]，這里xi是特征向量，即訓(xùn)練樣本；yi∈{-1，1}是樣本的類別。該方法的要點(diǎn)在于通過(guò)增加錯(cuò)分樣本的權(quán)重，使得弱分類器加強(qiáng)對(duì)錯(cuò)分樣本的分類能力。設(shè)Dk(i)是訓(xùn)練樣本I在第k輪訓(xùn)練時(shí)的權(quán)重，k=0初識(shí)時(shí)的權(quán)重都是1/N，其中N為樣本數(shù)。那么訓(xùn)練誤差εk可 表示如下：

整個(gè)訓(xùn)練過(guò)程如下：

（1）給定輸入樣本：I=[(x1,y1)，(x2,y2)，…，(xn,yn)]；yi∈{-1，1}

設(shè)Dk(i)=1/N，N是樣本數(shù)

（2）對(duì)每個(gè)k=1，···k其中k為訓(xùn)練次數(shù)

①用Dk訓(xùn)練分類器hk

②計(jì)算分類器hk對(duì)訓(xùn)練樣本的誤差，εk=PrD[hk(xi≠yi)]

④更新Dk+1(i)=Dk(i)exp(-αkyihk(xi))

（3）最終分類器為H(x)=sign(∑kk=1αkhk(x))

研究學(xué)者已證明分類器對(duì)訓(xùn)練樣本誤差的上界為

從上可知，如果弱分類器的錯(cuò)誤率小于1/2，那么分類器的訓(xùn)練錯(cuò)誤將隨訓(xùn)練次數(shù)呈指數(shù)形式下降，可以確保錯(cuò)誤在有限次數(shù)的迭代后下降到給定值，訓(xùn)練誤差將會(huì)越來(lái)越低。

3 人臉特征點(diǎn)的幾種主流方法

3.1 基于先驗(yàn)規(guī)則的方法

基于先驗(yàn)規(guī)則的方法對(duì)人臉的面部特征進(jìn)行了一般性歸納。人臉的面部特征各不相同，但是其大體位置存在一定的規(guī)律，經(jīng)過(guò)研究人員對(duì)人臉特征點(diǎn)的分布規(guī)律進(jìn)行的實(shí)驗(yàn)分析，得出人臉上一些明顯的基本特征，如人的眼睛、鼻子、嘴巴等部位亮度一般比周圍區(qū)域要低[17]，雙眼與雙耳的位置相對(duì)面部中線對(duì)稱，而嘴巴、鼻子則位于面部中線上，也就是人們常說(shuō)的“三庭五眼”規(guī)律，為人臉檢測(cè)和識(shí)別提供了很大幫助。如圖3所示，三庭指臉的長(zhǎng)度比例，把臉的長(zhǎng)度分為3個(gè)等分，分別為：上庭：發(fā)際線至眉線，中庭：眉線至鼻底線，下庭：鼻底線至頦底線。五眼則是指臉的寬度比例，以眼睛的長(zhǎng)度為單位，把臉的橫向以左外耳孔至左眼外角距離、左眼長(zhǎng)度、左右眼內(nèi)角的距離、右眼長(zhǎng)度、右眼外角至右外耳孔距離五等分。臉寬則是瞳孔水平線上臉的寬度，也就是五眼的寬度。學(xué)者利用人眼虹膜的似圓形結(jié)構(gòu)、上下眼瞼對(duì)稱結(jié)構(gòu)檢測(cè)人眼等。

該方法簡(jiǎn)單易懂，便于理解，無(wú)需對(duì)人臉進(jìn)行復(fù)雜操作就可檢測(cè)，但是過(guò)于依賴預(yù)先設(shè)定的人臉特征分布規(guī)則，對(duì)于一些面部信息復(fù)雜的人臉檢測(cè)存在局限性，只能實(shí)現(xiàn)對(duì)人臉特征的粗略檢測(cè)，并不適合對(duì)人臉特征更精細(xì)的檢測(cè)。

圖3 三庭五眼示意

3.2 基于幾何形狀的方法

該方法以一條帶有幾個(gè)控制點(diǎn)的閉合曲線和一個(gè)匹配驗(yàn)證的能量函數(shù)作為評(píng)判準(zhǔn)則，經(jīng)過(guò)多次迭代使能量函數(shù)最小化時(shí)就可以定位到人臉特征點(diǎn)[18-20]。該方法根據(jù)人臉特征構(gòu)造帶有幾何參數(shù)模型，模型的不同參數(shù)對(duì)應(yīng)著人臉的相應(yīng)特征點(diǎn)，這些參數(shù)信息會(huì)與圖像的灰度分布特征進(jìn)行相互交叉驗(yàn)證。該方法在檢測(cè)過(guò)程中容易受面部表情變化、光照明暗等因素影響，魯棒性低，運(yùn)算量較大。

3.3 基于灰度信息的方法

該方法是利用的人臉的面部膚色與背景有著明顯區(qū)別，在水平與垂直方向進(jìn)行灰度投影，先統(tǒng)計(jì)出各個(gè)方向上的灰度值的和，依據(jù)和的不同找出特定的變化點(diǎn)，進(jìn)而借助投影灰度值基于統(tǒng)計(jì)的思想將不同方向上的變化點(diǎn)位置結(jié)合判斷，確定人臉特征點(diǎn)的位置[21]。這種方法計(jì)算量較低，但是不適用于變化速度過(guò)快等復(fù)雜情況。另外還有一種谷分析法[22]，圖像灰度曲線較深的波谷之間一般對(duì)應(yīng)人的面部區(qū)域，可以根據(jù)水平積分投影來(lái)確定人臉的邊界值，通過(guò)水平和垂直方向灰度亮度對(duì)比的方法，就可以確定人臉的主要特征如眼睛、鼻子、嘴巴等位置。這種方法精準(zhǔn)度會(huì)被外部光照條件影響，但是該方法的計(jì)算量較低，所以在特征點(diǎn)定位方面還是很常用的。

4 人臉及特征點(diǎn)檢測(cè)過(guò)程中的難點(diǎn)

歷經(jīng)一代代研究人員的不懈鉆研后，人臉及特征點(diǎn)的檢測(cè)方法不斷完善，一步步走向成熟，但仍然存在一些難以解決的問(wèn)題。

4.1 外界因素干擾

到目前為止，大部分的人臉及特征點(diǎn)檢測(cè)都或多或少存在外部因素干擾情況，背景較暗或者光照太強(qiáng)都會(huì)引起實(shí)驗(yàn)結(jié)果的誤差。只是通過(guò)圖像去噪增強(qiáng)等一系列圖像處理并不能完全消除該因素造成的影響，改善這部分難點(diǎn)可以有效地提高實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確性。

4.2 實(shí)時(shí)性

在實(shí)際的應(yīng)用中，特別是檢測(cè)跟蹤方面，人們對(duì)人臉及特征點(diǎn)的實(shí)時(shí)性檢測(cè)提出較高的要求，對(duì)此，在設(shè)計(jì)算法方面，提高算法的檢測(cè)速度相應(yīng)地就要減少待測(cè)目標(biāo)的數(shù)量和復(fù)雜度，但是勢(shì)必會(huì)降低檢測(cè)目標(biāo)的準(zhǔn)確性，想要檢測(cè)速度和檢測(cè)準(zhǔn)確性同時(shí)兼顧，是個(gè)非常難以解決的問(wèn)題。

4.3 快速圖像處理

圖像處理是個(gè)非常重要的過(guò)程，但是想要達(dá)到實(shí)時(shí)性，對(duì)于動(dòng)態(tài)圖像處理速度方面則需要很高的要求。在處理過(guò)程中，動(dòng)態(tài)捕獲的圖像會(huì)受到多方面影響，比如不同的人臉大小，表情變化，姿態(tài)角度改變等等都會(huì)對(duì)采集到的目標(biāo)圖像造成非常大的影響，另外，人臉上的眼睛、帽子等飾品也會(huì)一定程度上影響實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。

5 結(jié)語(yǔ)

本文對(duì)人臉及特征點(diǎn)的發(fā)展現(xiàn)狀以及一些常見(jiàn)的檢測(cè)方法進(jìn)行了綜述研究，分析了常見(jiàn)檢測(cè)方法的發(fā)展現(xiàn)狀以及核心思想，希望能夠?qū)ρ芯咳藛T接下來(lái)繼續(xù)探索人臉及特征點(diǎn)檢測(cè)提供一些微弱的幫助。

[1]李文輝，崔曉青.基于AdaBoost算法的人臉檢測(cè)系統(tǒng)的研究與實(shí)現(xiàn)[D].吉林：吉林大學(xué)，2006.

[2]李月敏，陳杰，高義，等.快速人臉檢測(cè)技術(shù)綜述[C].全國(guó)16屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集，2004：771-774.

[3]HUANG T S，YANG D.Human face detection[J].Pattern Recognition，1994（1）：53-63.

[4]SUNG K K, POGGIO T. Example-based learning for view-based human face detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998（1）：39-51.

[5]ROWLEY H, KANADE T, BALUJA S. Rotation invariant neural network-based face detection[C]. California：In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998：963-969.

[6]VIOLA P. Rapidobjectdetection using a boosted cascade of simple features[C].IEEE Conference on Computer Vision and Pattern Recognition, 2001：511-518.

[7]SAMAL A, IYENGAR A, WING-HONG L. Automatic recognition and analysis of human expression[J]. Pattern Recognition, 1992（1）：65-77.

[8]WISKOTT L. Face recognition by elastic bunch graph matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997（7）：775-779.

[9]趙武峰.人臉識(shí)別中特征提取方法的研究[D].杭州：浙江大學(xué)，2009．[10]馮歌.基于局部保留投影的人臉特征提取研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008．

[11]YANG G Z, HUANG T S. Human face detection in a complex background[J].Pattern Recegnition, 1994（1）：53-63.

[12]盧春雨，張長(zhǎng)水，聞方，等.基于區(qū)域特征的快速人臉檢測(cè)法[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），1999（1）：101-105.

[13]ROWLEY H, KANADE T, BALUJA S. Rotation invariant neural network-based face detection[C]. California: In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998：963-969.

[14]SCHAPIRE R E.The strength of weak learnability[J].Machine Learning，1990（2）：197-227.

[15]FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and application to Boosting[J].Computer and System Sciences, 1998（1）：118-140.

[16]FREUND Y, SCHAPIRE R E.Experiments with a new Boosting algorithm[C].San Francisco：Proceeding of the 13th conference on machine learning, 1996：148-156.

[17]吳證.人臉特征點(diǎn)定位研究及應(yīng)用研究[D].上海：交通大學(xué)，2009.

[18]KASS M. Active Contour Models[J].Internation Journal of Computer Vision, 1988（1）：331-331.

[19]韓玉峰，施銅興，王小林．臉部特征點(diǎn)定位方法綜述[J].計(jì)算機(jī)工程與應(yīng)用，2012（1）：180-184.

[20]COOTES T F, HILL A，TAYLOR C J, et al. Use of active shape models for locating structures in medical images[J].Image and Vision Computer, 1994（6）：355-366.

[21]BRUNELLI R, POGGIO T. Face recognition: Features versus templates[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993（10）：1042-1052.

[22]FENG G C, YUEN P C. Variance projection function and its application to eye detection for human face recognition[J].Pattern Recognition Letters, 1998（9）：899-906.

Overview on the test method of face and feature points extraction

Hu Jian, Zuo Yanchao
（North China University of Technology, Beijing 100144, China）

Face and feature points detection has an unusual position in the field of computer vision .And at the same time, it also have a very broad research value at artificial intelligence interaction, video conference, identification, vehicle safety driving and so on. In computer vision, influence of dynamic image such as the size of face, facial expression varied, complex background, changeable light is directly related to the accuracy of the facial feature points detection.This paper introduces several methods of face and feature points.

face detection; feature points detection; computer vision

胡?。?967— ），男，安徽歙縣，碩士，副教授，教師；研究方向：人工智能，計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，分布式數(shù)據(jù)庫(kù)。