收稿日期：2023-04-22

DOI：10.19850/j.cnki.2096-4706.2023.21.020

摘" 要：人臉特征點(diǎn)的檢測(cè)和提取一直是計(jì)算機(jī)視覺領(lǐng)域研究的前沿課題和方向，同時(shí)在人機(jī)交互、身份識(shí)別、視頻會(huì)議、汽車安全駕駛等領(lǐng)域有著廣闊的應(yīng)用前景。檢測(cè)和提取方法的有效性主要取決于人臉姿態(tài)、表情、面部橫紋特征，以及外部遮擋、光照條件等因素。國(guó)內(nèi)外研究者一直致力于提升人臉特征點(diǎn)檢測(cè)和提取方法的高效性和魯棒性，各種方法層出不窮。文章從人臉特征點(diǎn)構(gòu)成和布局入手，對(duì)國(guó)內(nèi)外在該領(lǐng)域的研究工作進(jìn)行歸納、分析和比較，并對(duì)較為突出的缺陷進(jìn)行總結(jié)，最后對(duì)人臉特征點(diǎn)檢測(cè)和提取的發(fā)展方向進(jìn)行展望。

關(guān)鍵詞：特征點(diǎn)；計(jì)算機(jī)視覺；光照補(bǔ)償；人工智能；深度學(xué)習(xí)

中圖分類號(hào)：TP391.4" 文獻(xiàn)標(biāo)識(shí)碼：A" 文章編號(hào)：2096-4706（2023）21-0085-05

Overview of Facial Feature Point Extraction Methods

ZHAO Xiaogang， RUAN Jiashuai

（School of Information Engineering， Zhengzhou University of Industrial Technology， Zhengzhou" 451100， China）

Abstract： The detection and extraction of facial feature points has always been a cutting-edge topic and direction in the field of computer vision research， and has broad application prospects in fields such as human-computer interaction， identity recognition， video conferencing， and safe driving in automobiles. The effectiveness of detection and extraction methods mainly depends on factors such as facial posture， facial expressions， facial horizontal features， as well as external occlusion and lighting conditions. Domestic and foreign researchers have been committed to improving the efficiency and robustness of facial feature point detection and extraction methods， and various methods have emerged one after another. This paper starts with the composition and layout of facial feature points， summarizes， analyzes， and compares research work in this field at home and abroad， summarizes the prominent defects， and finally looks forward to the development direction of facial feature point detection and extraction.

Keywords： feature point; computer vision; light compensation; artificial intelligence; Deep Learning

0" 引" 言

近年來，人臉特征點(diǎn)檢測(cè)取得了巨大的進(jìn)步，并且其應(yīng)用領(lǐng)域也日趨廣泛和深入，為虛擬現(xiàn)實(shí)、人工智能、三維重建、面部識(shí)別等方面的發(fā)展提供了有力的支持和保障。

人臉特征點(diǎn)檢測(cè)和提取的目標(biāo)是在規(guī)避相應(yīng)干擾因素影響的前提下，盡可能完整、高效地提取目標(biāo)人臉的面部特征點(diǎn)。算法的實(shí)現(xiàn)可簡(jiǎn)要?dú)w納為：對(duì)于圖像或視頻序列中的目標(biāo)人臉面部特征點(diǎn)，利用二維向量[x，y]T表征面部單一特征點(diǎn)位置，所有n個(gè)特征點(diǎn)位置可記作s = [x1，y1，x2，y2，…，xn，yn]T，因此檢測(cè)特征點(diǎn)，也就是確定特征點(diǎn)的二維坐標(biāo)。由于在檢測(cè)的過程中，受到多種因素的干擾，例如遮擋、光照條件、姿態(tài)、表情、圖像低分辨率等因素，人臉特征點(diǎn)的檢測(cè)方法一方面要提升對(duì)于真實(shí)人臉特征點(diǎn)的檢測(cè)精度，同時(shí)還要盡量規(guī)避干擾因素的影響。

傳統(tǒng)的方法主要有兩大類：基于特征點(diǎn)和基于模板匹配。基于特征點(diǎn)的人臉檢測(cè)根據(jù)其特征點(diǎn)數(shù)量可以分為單特征點(diǎn)檢測(cè)和組合特征點(diǎn)檢測(cè)[1]。單特征點(diǎn)檢測(cè)方法由一種類型的特征組成特征向量，該方法的優(yōu)點(diǎn)是基于膚色模型，能夠應(yīng)對(duì)顏色、光照等因素，但對(duì)于姿態(tài)、陰影、邊緣等復(fù)雜區(qū)域膚色特征的提取效果不佳?；诖?，可將待檢區(qū)域的一定數(shù)量的特征點(diǎn)按照一定規(guī)則進(jìn)行組合，組成特征點(diǎn)向量，在一定程度上解決了姿態(tài)、陰影、邊緣對(duì)于人臉檢測(cè)準(zhǔn)確率的影響。典型的應(yīng)用是Chakraborty等人[2]首先選擇適應(yīng)的膚色模型，然后制定相應(yīng)的特征向量構(gòu)成規(guī)則，提取了更多的人臉特征點(diǎn)數(shù)量，在一定程度上提升了人臉檢測(cè)的效率，但缺點(diǎn)是特征點(diǎn)向量的構(gòu)成規(guī)則與特征點(diǎn)的數(shù)量關(guān)系密切，隨著特征點(diǎn)數(shù)量的增大，制定規(guī)則的難度也隨之加大，進(jìn)而造成實(shí)用性較差。

經(jīng)過進(jìn)一步的探索和研究，可將大量的特征點(diǎn)應(yīng)用于形變模型的創(chuàng)建，即利用模板匹配進(jìn)行人臉檢測(cè)。其主要原理是：利用人臉數(shù)據(jù)庫創(chuàng)建相應(yīng)的模板，其次是構(gòu)建能量函數(shù)設(shè)計(jì)匹配算法，能量函數(shù)值取決于模板與匹配對(duì)象的差異性大小。此領(lǐng)域，彈性模板[3]的應(yīng)用較廣。但此方法的缺點(diǎn)也比較突出，主要表現(xiàn)在能量函數(shù)的權(quán)重系數(shù)很難確定。

目前主流的方法大致分為基于統(tǒng)計(jì)模型的人臉特征點(diǎn)檢測(cè)方法和基于深度學(xué)習(xí)的人臉特征點(diǎn)檢測(cè)方法。本文將從這兩類方法入手，重點(diǎn)介紹目前國(guó)內(nèi)外研究者在該領(lǐng)域的研究成果，并作出歸納、分析和比較。

1" 基于統(tǒng)計(jì)模型的人臉特征點(diǎn)檢測(cè)方法

基于統(tǒng)計(jì)模型的方法通常需要建立大量的樣本庫，然后建立相應(yīng)的形狀模型（Shape Model）和表觀模型（Appearance Model），并經(jīng)過一定數(shù)量的圖像匹配，不斷優(yōu)化算法，最終找到適應(yīng)的模型參數(shù)。主動(dòng)外觀模型（Active Appearance Model， AAM）[4]和局部約束模型（Loca Constrained l Model， LCM）[5]的相繼提出開啟了該領(lǐng)域的先河，后期對(duì)這兩大算法的優(yōu)化主要從整體分析和局部分析進(jìn)行。

1.1nbsp; 整體分析

AAM的主要思想是將N個(gè)基準(zhǔn)點(diǎn)si = [x1，y1，x2，y2，…，xN，yn]訓(xùn)練到每一個(gè)目標(biāo)圖像，得到訓(xùn)練形狀基準(zhǔn)模型 ，其中 ，所以稱之為整體分析方法。算法優(yōu)化的目標(biāo)是經(jīng)過不斷的訓(xùn)練，進(jìn)而找到最優(yōu)的模型參數(shù)，使之與待檢測(cè)圖像的相似度最高。圖1為AAM算法優(yōu)化過程。

AAM算法能夠有效組合目標(biāo)的外觀信息和形狀信息，可以取得較好的圖像分割效果，但同時(shí)在實(shí)際應(yīng)用中也存在著一些問題。例如AAM算法采用梯度下降法尋找最優(yōu)解，那么初始值的選擇就會(huì)決定迭代的次數(shù)；AAM模型對(duì)于光照和姿態(tài)的變化比較敏感，使得匹配精度下降；由于AMM將紋理切分為三角網(wǎng)格后進(jìn)行對(duì)齊和誤差最小化，并采用全局最優(yōu)的方式尋解。找到的特征點(diǎn)為網(wǎng)格的頂點(diǎn)，梯度下降的對(duì)象是其相鄰的面片的紋理，相鄰的面片數(shù)多且對(duì)應(yīng)在基礎(chǔ)形狀中像素?cái)?shù)較多的頂點(diǎn)其精度相比較少的頂點(diǎn)精度要高，而位于臉部邊緣的頂點(diǎn)由于僅有一側(cè)有紋理信息，精度會(huì)較低，容易向臉內(nèi)部塌縮。

為了有效解決初始值對(duì)迭代次數(shù)的影響，該領(lǐng)

域的科研工作者做了大量的努力和嘗試。COOTES等

人[4，5]提出的典型相關(guān)分析算法（Canonical Correlation Analysis， CCA），在一定程度上提升了線性回歸匹配的準(zhǔn)確性，但精度受到嚴(yán)重限制。Saragih等人[6]提出利用Boosting方法構(gòu)建非線性分類器來表征參數(shù)增量和外觀之間的映射關(guān)系，Williams等人[7]提出使用關(guān)聯(lián)向量機(jī)制（Relevance Vector Machine， RVM）進(jìn)行匹配優(yōu)化。Sauer等人[8]對(duì)線性回歸、Boosting方法、隨機(jī)森林回歸（Random Forest Regression， RFR）算法進(jìn)行了對(duì)比，發(fā)現(xiàn)隨機(jī)森林回歸的性能使最優(yōu)的。Matthews等人[9]提出的反向組合算法（Inverse Compositional Algorithm， ICA）將梯度下降算法和形狀模型（Shape Model）參數(shù)、外觀模型（Appearance Model）參數(shù)結(jié)合起來，明顯提高了梯度下降算法的匹配效率，但泛化性能欠佳。一些改進(jìn)工作隨即展開，Alabort-i-Medina等人[10]提出了貝葉斯外觀模型（Bayesian Active Appearance Model， BAAM），在匹配的過程中只需考慮形狀模型（Shape Model）參數(shù)，對(duì)于一定的人臉圖像數(shù)據(jù)庫，該模型能夠有效地提升人臉特征點(diǎn)的檢測(cè)效率和準(zhǔn)確度。

1.2" 局部分析

AAM算法及其相關(guān)優(yōu)化算法都是從整體進(jìn)行匹配，對(duì)于邊緣區(qū)域特征點(diǎn)容易出現(xiàn)誤檢或漏檢。為此，引入局部約束模型（Local Constrained Model， LCM）對(duì)候選匹配特征點(diǎn)鄰域內(nèi)的塊進(jìn)行建模，形成局部圖像塊，進(jìn)而構(gòu)建局部外觀模型，能夠有效提升檢測(cè)的普適性和算法的魯棒性，如圖2所示。關(guān)于局部約束模型的改進(jìn)主要從構(gòu)建可靠的局部模型和高效的匹配策略兩方面著手。

神經(jīng)網(wǎng)絡(luò)（Neural Network）[11]、支持向量機(jī)（Support VECTOR Machine， SVM）[12]等與機(jī)器學(xué)習(xí)相關(guān)的方法被陸續(xù)引入到局部約束模型，但都是從分類和回歸兩個(gè)方面構(gòu)建檢測(cè)器對(duì)特征點(diǎn)進(jìn)行檢測(cè)。相對(duì)于分類的檢測(cè)器，回歸的檢測(cè)器能夠感知局部圖像塊與真實(shí)特征點(diǎn)之間的距離，所以計(jì)算機(jī)的效率和準(zhǔn)確度會(huì)更高。由于局部檢測(cè)器以圖像灰度值為基礎(chǔ)，所以很容易受到光照條件、遮擋等因素的影響，因此Lowe等人[13]提出尺度不變特征轉(zhuǎn)換算法（Scale-invariant feature transform， SIFT），該算法是基于物體的一些局部外觀興趣點(diǎn)，與圖像的大小和旋轉(zhuǎn)無關(guān)，對(duì)于光線、噪聲的容忍度也相當(dāng)高。方向梯度直方圖（Histogram of oriented gradient， HOG）[14]算法與SIFT算法有很多相似之處，主要不同在于HOG描述器是在一個(gè)網(wǎng)格密集的、大小統(tǒng)一的細(xì)胞單元上計(jì)算，同時(shí)還采用了局部對(duì)比度歸一化技術(shù)（overlapping local contrast normalization）。隨著光照條件的變化，圖像整體亮度也會(huì)隨距離的改變而單調(diào)改變，因此采用直方圖均衡、直方圖標(biāo)定、局部二元模式（Local Binary Pattern， LBP）[15]來解決單調(diào)變化問題。Papageorgiou等人[16]提出了（Haar-like features）算法，極大地提高了計(jì)算的速度。

1.3" 對(duì)比與總結(jié)

整體分析方法的優(yōu)勢(shì)在于線性建模的高效性，但在復(fù)雜的表情、橫紋、遮擋、邊緣等情況下，計(jì)算的復(fù)雜度極高，而且易出現(xiàn)誤檢和漏檢現(xiàn)象。局部分析方法以單獨(dú)特征點(diǎn)為鄰域構(gòu)建矩形區(qū)域，能夠有效應(yīng)對(duì)復(fù)雜的光照條件和遮擋情況，具有較強(qiáng)的魯棒性，但計(jì)算代價(jià)過高。

兩種分析方法都依賴于形狀和外觀模型，而模型的構(gòu)建一直制約著基于統(tǒng)計(jì)模型的人臉特征點(diǎn)檢測(cè)方法。近年來，相關(guān)研究者一直致力于模型的高效構(gòu)建和改良，但由于采集人臉數(shù)據(jù)時(shí)受到光照、表情、姿態(tài)等多重因素的影響，因此很難通過對(duì)樣本的訓(xùn)練形成統(tǒng)一的形狀和外觀模型，使得基于統(tǒng)計(jì)模型的人臉特征點(diǎn)檢測(cè)方法的泛化性能較差。所以需要引入深度學(xué)習(xí)的方法，以提升算法的靈活性和適應(yīng)性。

2" 基于深度學(xué)習(xí)的人臉特征點(diǎn)檢測(cè)方法

深度學(xué)習(xí)的應(yīng)用領(lǐng)域非常廣泛，在數(shù)據(jù)挖掘、目標(biāo)搜索、機(jī)器學(xué)習(xí)、自然語言處理等領(lǐng)域都取得了很多成果，其在人臉特征點(diǎn)檢測(cè)方面的應(yīng)用主要涉及三類方法：基于卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)（CNN）、基于多層神經(jīng)元的自編碼神經(jīng)網(wǎng)絡(luò)和基于多任務(wù)神經(jīng)網(wǎng)絡(luò)。

2.1" 基于卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)（CNN）

經(jīng)過廣大科研工作者的不斷探索和努力，發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）在人臉特征點(diǎn)檢測(cè)方面的性能尤其突出，對(duì)特征的提取主要通過卷積運(yùn)算、權(quán)值共享、池化進(jìn)行，如圖3所示。Sun等人[17]提出的深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network， DCNN）方法，顛覆了傳統(tǒng)的基于統(tǒng)計(jì)模型的特征檢測(cè)方法，極大地提升了人臉特征點(diǎn)的定位精度，但該網(wǎng)絡(luò)只對(duì)眼中心、鼻尖、嘴角五個(gè)關(guān)鍵特征點(diǎn)進(jìn)行了檢測(cè)，缺乏全局性。Zhang等人[18]提出了與DCNN結(jié)構(gòu)類似的粗精自動(dòng)編碼器網(wǎng)絡(luò)（Coarse-to-Fine Auto-Encoder Network， CFAN），通過4個(gè)自動(dòng)編碼網(wǎng)絡(luò)，逐級(jí)進(jìn)行非線性回歸，實(shí)現(xiàn)由粗到細(xì)的人臉特征點(diǎn)定位。為了解決人為標(biāo)注特征點(diǎn)帶來的誤差，Trigeorgis等人[19]提出了非線性級(jí)聯(lián)回歸模型（Nonlinear Cascade Regression Model， NCRM），并引入遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network， RNN）對(duì)算法進(jìn)行優(yōu)化。

2.2" 基于多層神經(jīng)元的自編碼神經(jīng)網(wǎng)絡(luò)

自編碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，最早Ackley等

人[20]在玻爾茲曼機(jī)（Restricted Boltzmann Machine， RBM）[21]上進(jìn)行了首次嘗試，并對(duì)其表征學(xué)習(xí)能力進(jìn)行了驗(yàn)證。自編碼神經(jīng)網(wǎng)絡(luò)對(duì)相關(guān)特征進(jìn)行降維，能夠提升檢測(cè)效率，并且不損害其正確率。將其應(yīng)用于人臉特征的檢測(cè)，最早是由Wu等人[22]提出的，具體流程是首先構(gòu)造一個(gè)人臉形狀模型，然后利用RBM尋找人臉和偽人臉之間的關(guān)系模式，最后利用關(guān)系模式定位人臉特征點(diǎn)，但如果遮擋面部，此方法將無從適用?；诖耍琇uo等人[23]提出了基于深度學(xué)習(xí)的解析框架，該方法通過深度置信網(wǎng)絡(luò)（Deep Belief Network， DBN）[24]生產(chǎn)面部、區(qū)域、塊檢測(cè)層，通過自編碼神經(jīng)網(wǎng)絡(luò)生成特征點(diǎn)分割層，利用貪心算法求出最優(yōu)解。

2.3" 基于多任務(wù)神經(jīng)網(wǎng)絡(luò)

由于面部表情、姿態(tài)等與人臉特征點(diǎn)具有共同的外觀特征，所以多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（Multi-Task Cascaded Convolutional Neural Network， MTCNN）[25]將人臉特征點(diǎn)檢測(cè)與其進(jìn)行聯(lián)合，使MTCNN不斷學(xué)習(xí)這些外觀特征，以提高檢測(cè)的正確率。MCTNN模型主要由候選網(wǎng)絡(luò)（Proposal Network， P-Net）、優(yōu)化網(wǎng)絡(luò)（Refine Network， R-Net）、輸出網(wǎng)絡(luò)（Output Network， O-Net）三個(gè)子網(wǎng)絡(luò)組成。

候選網(wǎng)絡(luò)（P-Net）：該網(wǎng)絡(luò)層從原始圖像獲得人臉候選區(qū)域，并進(jìn)行回歸和校準(zhǔn)，最后利用非極大值抑制（Non-Maximum Suppression， NMS）整合重合或相似的候選框。如圖5所示。

優(yōu)化網(wǎng)絡(luò)（R-Net）：相對(duì)于P-Net，該網(wǎng)絡(luò)層增加了全連接層，對(duì)經(jīng)過P-Net處理過的區(qū)域進(jìn)行優(yōu)化，進(jìn)一步去除偽人臉區(qū)域。如圖6所示。

輸出網(wǎng)絡(luò)（O-Net）：該層在R-Net基礎(chǔ)上增加了卷積層，對(duì)候選區(qū)域進(jìn)行進(jìn)一步的優(yōu)化處理，輸出左右眼角、鼻尖、左右嘴角5個(gè)關(guān)鍵特征點(diǎn)。如圖7所示。

針對(duì)三維人臉特征點(diǎn)檢測(cè)和視頻序列人臉特征點(diǎn)檢測(cè)，Zhu等人[26]和Liu等人[27]分別提出了三維形變模型（3D Morphable Model， 3DMM）和雙流變壓器網(wǎng)絡(luò)（Two-Stream Transformer Network），從空間和時(shí)間維度給出了具體的特征點(diǎn)檢測(cè)方法。

2.4" 對(duì)比與總結(jié)

深度學(xué)習(xí)方法引入到人臉特征點(diǎn)檢測(cè)的主要目的是為了有效規(guī)避姿態(tài)、表情、光照等因素的影響。從各種方法的檢測(cè)結(jié)果來看，深度學(xué)習(xí)方法有效提升了人臉特征點(diǎn)檢測(cè)的準(zhǔn)度和精度。但深度學(xué)習(xí)需要對(duì)大量樣本進(jìn)行訓(xùn)練，同時(shí)，構(gòu)建的模型較為復(fù)雜，包含較多的卷積層，計(jì)算復(fù)雜度較高。分別利用三類算法在CAS-PEAL人臉庫和WIDER FACE數(shù)據(jù)集對(duì)左右眼、鼻尖、左右嘴角五個(gè)關(guān)鍵特征點(diǎn)進(jìn)行檢測(cè)，DCNN和MCTNN對(duì)五個(gè)關(guān)鍵特征點(diǎn)檢測(cè)的精度要優(yōu)于CNN算法，MCTNN對(duì)邊緣區(qū)域特征點(diǎn)檢測(cè)的正確率明顯優(yōu)于另外兩種方法。

3" 結(jié)" 論

本文從人臉特征點(diǎn)檢測(cè)的本質(zhì)出發(fā)，結(jié)合該領(lǐng)域國(guó)內(nèi)外的研究進(jìn)程和現(xiàn)狀，對(duì)人臉特征點(diǎn)檢測(cè)的方法進(jìn)行的歸納、分析和總結(jié)。難點(diǎn)和瓶頸主要在于模型的構(gòu)建和怎樣規(guī)避表情、姿態(tài)以及遮擋等因素的影響，也為下一步的研究指明了方向。

參考文獻(xiàn)：

[1] 朱文佳，戚飛虎.快速人臉檢測(cè)與特征定位 [J].中國(guó)圖象圖形學(xué)報(bào)，2005，10（11）：1454-1457.

[2] CHAKRABORTY D. An illumination invariant face detection based on human shape analysis and skin color information [J].Signal amp; Image Processing，2012，3（3）：55-63.

[3] 李耀東，崔霞，肖柏華，等.自動(dòng)人臉識(shí)別技術(shù)綜述 [J].計(jì)算機(jī)科學(xué)，2002，29（12）：1-11.

[4] COOTES T F，EDWARDS G J，TAYLOR C J. Active Appearance Models [J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2001，23（6）：681-685.

[5] CRISTINACCE D，COOTES T F. Feature detection and tracking with constrained local models [C]//Proceedings of British Machine Vision Conference2006.Edinburgh：BMVA Press，2006：1-10.

[6] SARAGIH J，GOECKE R. A Nonlinear Discriminative Approach to AAM Fitting [C]//2007 IEEE 11th International Conference on Computer Vision.Rio de Janeir：IEEE，2007：1-8.

[7] WILLIAMS O，BLAKE A. Sparse Bayesian learning for efficient visual tracking [J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2005，27（8）：1292-1304.

[8] SAUER P，COOTES T，TAYLOR C J. Accurate Regression Procedures for Active Appearance Models [C]//Proceedings of British Machine Vision Conference.Dundee：BMVA Press，2011：1-11.

[9] MATTHEWS I，BAKER S. Active Appearance Models Revisited [J].International Journal of Computer Vision，2004，60（2）：135-164.

[10] ALABORT-I-MEDINA J，ZAFEIRIOU S. Bayesian Active Appearance Models [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：3438-3445.

[11] BALTRUSAITIS T，ROBINSON P，MORENCY L P. Constrained Local Neural Fields for Robust Facial Landmark Detection in the Wild [C]//2013 IEEE International Conference on Computer Vision Workshops.Sydney：IEEE，2013：354-361.

[12] ASTHANA A，ZAFEIRIOU S，CHENG S Y，et al. Robust Discriminative Response Map Fitting with Constrained Local Models [C]//IEEE Conference on Computer Vision amp; Pattern Recogni-tion.Portland：IEEE，2013：3444-3451.

[13] LOWE D G. Object Recognition from Local Scale-Invariant Features [C]//Proceedings of the Seventh IEEE International Conference on Computer Vision.Kerkyra：IEEE1999，2：1150-1157.

[14] ZHU X X，RAMANAN D. Face detection， pose estimation， and landmark localization in the wild [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence：IEEE，2012：2879-2886.

[15] LIENHART R，MAYDT J. An extended set of Haar-like features for rapid object detection [C]//Proceedings. International Conference on Image Processing.New York：IEEE，2002：1-4.

[16] PAPAGEORGIOU C，POGGIO T. Trainable pedestrian detection [C]//Proceedings 1999 International Conference on Image Processing （Cat. 99CH36348）.Kobe：IEEE，1999，4：35-39.

[17] SUN Y，WANG X G，TANG X O，et al. Deep learning face repre-sentation by joint identification-verification [J/OL].arXiv：1406.4773 [cs.CV].[2023-03-20].https：//arxiv.org/abs/1406.4773.

[18] ZHANG J，SHAN S G，KAN M，et al. Coarse-to-Fine Auto-Encoder Networks （CFAN） for Real-Time Face Alignment [C]//European Conference on Computer Vision.Zurich：Springer，2014：1-16.

[19] TRIGEORGIS G，SNAPE P，NICOLAOU M A，et al. Mnemonic descent method： a recurrent process applied for end-to-end face alignment [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：4177-4187.

[20] ACKLEY D H，HINTON G E，SEJNOWSKI T J. A Learning Algorithm for Boltzmann Machines [J].Cognitive science，1985，9（1）：147-169.

[21] SMOLENSKY P. Information processing in dynamical systems： Foundations of harmony theory [M]//Rumelhart D E.explorations in the microstructure of cognition.Cambridge，MA：MIT Press，1986：194-281.

[22] WU Y，WANG Z G，JI Q. Facial Feature Tracking under Varying Facial Expressions and Face Poses based on Restricted Boltzmann Machines [C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland：IEEE，2013：3452-3459.

[23] LUO P，WANG X G，TANG X O. Hierarchical face parsing via deep learning [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence：IEEE，2012：2480-2487.

[24] HINTON G E. Deep belief networks [J/OL].Scholarpedia，2009，4（5）：5947[2023-03-20].http：//www.scholarpedia.org/article/Deep_belief_networks.

[25] ZHANG Z P，LUO P，LOY C C，et al. Facial Landmark Detection by Deep Multi-task Learning [C]//European Conference on Computer Vision.Zurich：Springer，2014：94-108.

[26] ZHU X Y，LEI Z，LIU X M，et al. Face Alignment Across Large Poses： A 3D Solution [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：146-155.

[27] LIU H，LU J W，F(xiàn)ENG J J，et al. Two-Stream Transformer Networks for Video-Based Face Alignment [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（11）：2546-2554.

作者簡(jiǎn)介：趙曉剛（1980.08—），男，漢族，河南舞

鋼人，教師，碩士，研究方向：特征點(diǎn)搜索、三維建模。