周改云，張國平，馬 麗

(平頂山學院 軟件學院，河南 平頂山 467000)

基于平均序列SRC的視頻人臉跟蹤和識別研究

周改云，張國平，馬 麗

(平頂山學院 軟件學院，河南 平頂山 467000)

為了從大字典視頻中跟蹤和識別人臉，提出了一種基于平均序列的稀疏表示分類端到端識別方法。首先，利用所有可用視頻數據和屬于同一個人的人臉跟蹤幀進行聯合優(yōu)化；然后，將嚴格的時間約束添加到l1-最小化；最后，運用人臉跟蹤中所有單個幀重建各個身份，利用稀疏重建完成人臉分類。在YouTube人臉數據集上的實驗驗證了本文方法的有效性，在YouTube名人數據集和本文搜集的電影預告片數據集上的實驗結果表明，相比幾種較為新穎的分類方法，該方法取得了更高的識別精度，并且在拒絕不明身份上的準確率比SVM高8%。

平均序列；稀疏表示分類；視頻檢索；人臉跟蹤；人臉識別

現有的視頻人臉識別方法往往以幀為基礎執(zhí)行分類[1]，然后使用適當的指標合并那些預測，以這種方式直接運用l1-最小化[2]在計算上很繁瑣。與此相反，本文提出了一種基于平均序列稀疏表示的分類(MSSRC)方法，可對跟蹤中所有人臉進行聯合優(yōu)化。雖然看起來很繁瑣，但本文表明這個優(yōu)化減少平均人臉跟蹤到一個單一l1-最小化，從而將多分類問題轉換為一個固有計算量和實際效益的問題。

本文方法的目的是通過域進行視頻人臉識別，利用數千個標記從互聯網上收集靜態(tài)圖像，在現實中的無約束視頻上進行人臉識別。此外，本文還探索了很少有人研究的領域，在開放式的宇宙場景中，識別并拒絕不明身份有重要意義，例如，識別出現在電影預告片中的著名演員，而拒絕不明演員的背景人臉，該方法在精確度和召回率方面均優(yōu)于現有的很多方法，并且能夠很好地拒絕未知或不確定的身份。

本文主要貢獻在于：1)開發(fā)了一個全自動端到端視頻人臉識別系統，包括利用已知字典的靜止圖像和用于識別的視頻信息進行人臉跟蹤和識別；2)提出了一種新穎算法(MSSRC)，即利用所有可用視頻數據的優(yōu)化進行視頻人臉識別；3)實驗結果與分析表明，在2個現有數據集(YouTube名人集、YouTube人臉)和自己搜集的無約束電影預告片人臉數據集上，本文方法的識別效果優(yōu)于較新的方法。

1 相關研究

現有視頻人臉識別技術可分為3類：基于關鍵幀、基于時間模型和基于圖像集匹配[3]。

基于關鍵幀的方法通常對人臉跟蹤中的每個關鍵幀的身份進行預測，以概率融合或多數表決方式來選擇最佳匹配。由于數據中的大變化，關鍵幀的選擇成為本范例的關鍵。文獻[4]中的方法和本文最接近，從這個字典學習一個模型，通過聚類學習關鍵人臉，將這些聚類中心與測試幀比較，使用遵循多數概率投票的最近鄰搜索做出最終預測。另一方面，本文使用了一種分類方案，通過權衡單一優(yōu)化中的各個幀來增強魯棒性。

基于時間模型的方法主要通過學習時間、整個視頻中人臉的臉部動態(tài)識別人臉。文獻[5]使用一個靜態(tài)圖像訓練庫，在其上施加運動信息，訓練HMM；文獻[6]通過隨機生成一個靜態(tài)圖像庫實現視頻與視頻匹配。通常訓練這些模型很復雜，特別是數據集龐大的時候。

基于圖像匹配的方法允許人臉跟蹤的建模為圖像集，例如，文獻[7]執(zhí)行一個互子空間距離，在各個子空間建模每個人臉，從中計算彼此之間的距離。這些方法對純數據有效，但對視頻人臉跟蹤的固有變化很敏感。其他方法采取統計學方法，例如，文獻[8]使用基于邏輯判別的指標學習(LDML)方法學習人臉跟蹤中圖像之間的關系，其中最大化了類間距離，該方法計算量非常大，更側重于學習數據內的關系，而本文直接將測試跟蹤關聯到訓練數據。

特征識別方法已經非常流行，由于其在電影和情景喜劇中的應用。文獻[9]進行人體識別，利用一切可以利用的信息(如服裝和聲音等)識別演員而不僅僅是臉部信息。雖然特征識別適用于長期運行的系列，但是服裝和其他上下文線索的利用在電影、電視節(jié)目或不相關視頻片段之間識別演員任務中沒有太大幫助，這些場景中，集中于靜止圖像中的臉部識別方面的本文方法更適用于無約束環(huán)境。

目前存在很多基于靜止圖像的文獻，但文獻[10]中的基于稀疏表示的分類(SRC)是一種流行方法，指出人臉大字典中圖像的線性組合可表示一個給定測試圖像，其關鍵是實施稀疏，因為大字典的小子集可以最佳重建測試人臉，例如同一類的訓練人臉。這種方法的一個直接應用就是對每一幀進行估計，即概率融合結果。然而，眾所周知，l1-最小化在計算上很繁瑣，為此，本文提出了一種利用同一個人的人臉跟蹤內的圖像知識的約束優(yōu)化，研究發(fā)現，通過計算平均人臉跟蹤的單一l1-最小化簡化了計算。

2 視頻人臉識別流程

本節(jié)描述了端到端視頻人臉識別系統，詳細介紹了本文的人臉跟蹤算法，然后描述人臉并處理姿勢、光照、遮擋變化的特征，最后得出對視頻人臉識別的優(yōu)化，基于靜態(tài)圖像字典分類視頻人臉跟蹤，流程圖如圖1所示。

2.1 人臉跟蹤

本文方法將完成人臉跟蹤的艱巨任務，基于使用高性能SHORE人臉檢測系統[11]提取的人臉檢測，基于兩種指標產生人臉跟蹤。為了關聯一個新檢測到的跟蹤，第一個指標決定包圍人臉檢測的最大邊框大小與兩個檢測的較大邊框大小之比，公式如下

圖1 視頻人臉識別流程圖

(1)

第二個跟蹤指標考慮了外觀信息，計算距離為跟蹤的上一個人臉的每信道30個bin，以及當前檢測的RGB直方圖相交點與直方圖bin總和的比率

(2)

式中：a和b是當前和上一個人臉的直方圖。將每個新人臉檢測與當前跟蹤人臉進行比較，如果位置和外觀指標相似，則將人臉添加到跟蹤中，否則創(chuàng)建一個新的跟蹤。最后，對整個幀使用全局直方圖、編碼場景信息、檢測場景邊界，將無檢測的20個幀的生命周期施加到端跟蹤。

2.2 特征提取

因為現實世界的數據集包含姿態(tài)變化，本文利用了3個快速且流行的局部特征：局部二值模式(LBP)、方向梯度直方圖(HOG)和Gabor波形。

2.3 基于平均序列的稀疏表示分類(MSSRC)

給定一個測試圖像y和訓練集A，眾所周知，與y匹配的同一類中的圖像是A的一個很小的子集，它們之間的關系為y=Ax，其中x是與它們的系數向量。因此，系數向量x應該是同一類中那些少數圖像的非零項，是剩余圖像的零項。在系數向量x實施這項稀疏約束時，其結果表示為

(3)

式中：l1- 范式通過最小化系數的絕對值之和強制使用稀疏解。

本文方法的主要原則是，來自人臉跟蹤Y=[y1,y2,…,yM]的所有圖像y屬于同一個人。因為人臉跟蹤的所有圖像都屬于同一個人，人們期望稀疏系數向量xj(j∈[1，2，…，M])之間有高度相關性，其中，M是跟蹤長度。因此，可以尋找單一系數向量x上的一致，確定訓練圖像集A的線性組合，組成不明身份的人。事實上，跟蹤中人臉之間有足夠的相似度，人們期望為每個幀恢復幾乎相同的系數向量。這給本研究提供了直觀的方法：對所有幀執(zhí)行單一系數向量。在數學上，意味著應該最小化和平方殘差，對式(3)的l1解執(zhí)行該約束，公式如下

(4)

式中：最小化了整個圖像序列上的l2-誤差，同時假定系數向量x稀疏，且以上所有圖像相同。

著眼于方程的第一部分，更具體的l2部分，重新整理如下

(5)

(6)

式中：和的第一部分為常數，因此，可以得到原始最小化的最終簡化為

(7)

該結論既對人臉跟蹤Y中的所有人臉執(zhí)行一個單一的、一致的系數向量x等價于人臉跟蹤中所有幀的單一l1-最小化，也是保持本文方法快速平穩(wěn)的關鍵。代替對每一幀執(zhí)行M單獨l1-最小化，并通過一些投票方案進行分類，本文方法對人臉跟蹤均值執(zhí)行l(wèi)1-最小化，不僅顯著提升了速度，而且在理論上非常合理。此外，下文也驗證了本文方法優(yōu)于其他時間融合和單個幀投票的方法。

(8)

(9)

范圍從0(測試人臉由所有類同等表示)到1(測試人臉由其中一類完全表示)，整個算法過程如算法1所示。

算法1：基于平均序列的稀疏表示分類算法

2)將A的列歸一化為單位l2-范式。

4)求解l1-最小化問題

(10)

5)計算每個類的殘差

(11)

3 實驗

首先將本文的跟蹤方法與各個文獻中使用的標準方法進行比較，然后，在YouTube人臉數據集和YouTube名人集上對本文方法進行評估。此外，在自己搜集的新電影預告片人臉數據集上評估了幾種算法，分析各自優(yōu)缺點，從而在實驗上證明本文算法的優(yōu)越性。

3.1 實驗結果

為了分析本文中自動生成的人臉軌跡跟蹤的質量，從數據集中選取了5部電影預告片：《心中的殺手》、《我的名字叫汗》、《美錯》、《美食、祈禱和戀愛》和《干燥的土地》。使用2個CLEAR MOT指標多目標跟蹤準確度和精度(MOTP和MOTA)[12]來進行評估，比標準準確度、精度或召回率更好地考慮跟蹤者面臨的問題。MOTA顯示跟蹤器能較好地在整體上處理所有地面實況標簽，而MOTP評估跟蹤器在地面實況中的檢測上執(zhí)行也較好。

表1是基于KLT的方法和本文方法的跟蹤結果比較，其中，人臉檢測與基于重疊跟蹤特征的比率相關聯。這兩種方法在精度方面類似，但是該指標有較大的總檢測/跟蹤覆蓋率，超過MOTA的2%，速度為3.5倍。

表1 KLT和本文方法的跟蹤結果對比 %

3.2 YouTube人臉數據集

在YouTube人臉數據集[13]上進行實驗，驗證了本文方法的有效性，YouTube人臉數據集包含5 000個視頻對，一半相同，一半不同，將這些視頻拆分成10份，每份500對，結果是10個拆分上的平均，對于每個拆分，1個用于測試，剩下的9個用于訓練。最終的結果以準確度、曲線下面積(Area under Curve，AUC)和等差率(Equal Error Rate，EER)等指標評估，利用文獻[13]提供的相同LBP數據執(zhí)行所有實驗，τ值為0.000 5，并將結果與驗證效果最好的MBGS方法進行比較，結果如表2所示。

表2 YouTube人臉數據集的驗證結果

從表2可以看出，本文方法獲得了與MBGS方法相比仍具有競爭力的結果，在曲線下面積(AUC)方面甚至超過了它，等差率僅比MBGS低0.7%。

3.3YouTube名人數據集

YouTube的名人數據集[6]包含從YouTube下載的1 910個視頻剪輯中的47個名人(演員和政治家)，手動分割成感興趣名人部分，從每個演員的3個獨特視頻分割的每人約41個剪輯，該數據集因姿勢、光照、表情變化，以及高壓縮率和低質量而更具挑戰(zhàn)性。使用本文的跟蹤器，成功跟蹤92%的視頻，而文獻[6]中成功跟蹤80%。標準的實驗設置選擇3個訓練剪輯，從每個獨特視頻中選取1個，另外6個測試剪輯，從每個獨特視頻中每人取2個。表3所示為YouTube名人數據集上的識別結果。

表3 YouTube名人數據集上的識別結果

3.4 電影預告片人臉數據集

現有公開數據集不采集本文希望評估的大規(guī)模識別范圍，基于2010年YouTube發(fā)布的101個電影預告片，本文建立了電影預告片人臉數據集，包含補充的PubFig+10數據集中出現的名人，然后使用上述方法處理這些視頻，進行人臉跟蹤。由此產生的數據集包含4 485個人臉跟蹤，65%由未知身份組成(未出現在PubFig+10中)，35%為已知身份。

本節(jié)在本文的不受約束電影預告片人臉數據集上進行實驗，該數據集允許測試更大規(guī)模的人臉識別，并且每個算法能夠拒絕不明身份。本文的測試場景中，選擇公眾人物(PubFig)數據集作為訓練圖庫，輔以從網上收集的10張男女演員的圖像，搜索從電影預告片提取的人臉跟蹤的額外覆蓋。為了展現更好的性能，本文還限制數據集中每個人的訓練圖像最大數量為200。PubFig+10數據集中所有身份的人臉跟蹤分布如圖2所示，包括34 522幅圖像，電影預告片人臉數據集有4 485個人臉跟蹤。

圖2 PubFig+10中身份的人臉追蹤分布

3.4.1 算法比較

比較方法包括NN、LDML、SVM、L2和SRC，對于NN、LDML、SVM、L2和SRC方法，對每個人臉跟蹤的單獨幀進行測試，通過概率投票預測其最終身份，其置信度是預測的距離或決策值的平均值，置信度用于拒絕預測，以評估系統的精度和召回率。所有實驗中，本文方法的λ值均設為0.01，表4給出了各方法在電影預告片人臉數據集上的平均準確率和召回率。

從表4可以看出，NN執(zhí)行效果較差，這就是為什么基于NN的方法都在尋找“好”的關鍵幀來測試?；赟VM和SRC的方法在90%精度下有非常高的召回率，但是在AP和召回率方面不行，MSSRC優(yōu)于SVM分別為8%和20%，圖3所示為各個方法在電影預告片人臉數據集上的精度和召回率。

表4 電影預告片人臉數據集上的精度和召回率 %

圖3 電影預告片人臉數據集上的精度和召回率

從圖3可看出，基于SRC的方法比其他方法在拒絕不明身份上更具優(yōu)勢。以幀為基礎的SRC的直接應用和有效方法MSSRC在彼此的4%內執(zhí)行，從而通過實驗驗證了MSSRC在計算上等效于在每個單獨幀上執(zhí)行標準SRC。不同于對各幀進行SRC計算，每個跟蹤大約需要45min，本文簡化人臉跟蹤到l1-最小化的一個單一特征向量(每個跟蹤1.5min)。然而，MSSRC在90%的精度下召回率高出7%，平均精度高出4%。

時間方面，預處理跟蹤步驟等同于20f/s的SRC和MSSRC，特征提取運行需要30f/s。對于識別，MSSRC以每幀20ms分類，而SRC在單個幀上需要100ms，所有其他方法的分類均不到1ms，但是精度和召回率急劇降低。

3.4.2 改變跟蹤長度的影響

是否真的需要所有的圖像，這個問題依然存在，為解決該問題，本文為每個跟蹤選擇前m幀，測試上述實驗中兩個執(zhí)行最佳的方法MSSRC和SVM，結果如圖4所示。

從圖4可以看出，在15幀后精度和召回率呈上升趨勢，本文方法在90%精度下從1幀移動到15幀，在平均精度和召回率上分別增加了5.57%和16.03%。此外，執(zhí)行SVM方法會增加更多的幀，而在拒絕不明身份能力上MSSRC明顯優(yōu)于SVM，平均高出8%，表明了本文方法的優(yōu)越性。

4 結束語

本文提出了一個全自動端到端視頻人臉識別系統，包括利用從已知數據庫的靜態(tài)圖像和識別視頻中的信息進行人臉跟蹤和識別，提出了一種基于平均序列的SRC算法，使用所有可用的圖像數據的聯合優(yōu)化進行視頻人臉識別。實驗結果表明本文方法在新電影預告片人臉數據集中現實世界的無約束視頻中優(yōu)于先進方法。未來，將探索選擇關鍵幀或減少噪音幀的影響，并且研究從靜態(tài)圖像到視頻的整個知識領域的轉接。

圖4 改變跟蹤長度的影響

[1]CONNOLLYJF，GRANGERE，SABOURINR.Dynamicmulti-objectiveevolutionofclassifierensemblesforvideofacerecognition[J].AppliedSoftComputing，2013，13(6)： 3149-3166.

[2]謝麗萍，彭波. 基于非約束圖像參考集匹配的視頻人臉識別[J].電視技術，2014，38(7)：103-107.

[3]CHENYC，PATELVM，SHEKHARS，etal.Video-basedfacerecognitionviajointsparserepresentation[C]//Proc. 2013 10thIEEEInternationalConferenceandWorkshopsonAutomaticFaceandGestureRecognition(FG). [S.l.]：IEEEPress，2013：1-8.

[4]ZHAOM，YAGNIKJ，ADAMH，etal.Largescalelearningandrecognitionoffacesinwebvideos[C]//Proc. 8thIEEEInternationalConferenceonAutomaticFace&GestureRecognition，2008. [S.l.]：IEEEPress，2008：1-7.

[5]ANANDC，LAWRANCER.AlgorithmforfacerecognitionusingHMMandSVDcoefficients[J].ArtificialIntelligentSystemsandMachineLearning，2013，5(3)：125-130.

[6]WONGY，CHENS，MAUS，etal.Patch-basedprobabilisticimagequalityassessmentforfaceselectionandimprovedvideo-basedfacerecognition[C]//Proc. 2011IEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops(CVPRW). [S.l.]：IEEEPress，2011：74-81.

[7]WANGSJ，CHENHL，YANWJ，etal.Facerecognitionandmicro-expressionrecognitionbasedondiscriminanttensorsubspaceanalysisplusextremelearningmachine[J].NeuralProcessingLetters，2014，39(1)：25-43.

[8]CINBISRG，VERBEEKJ，SCHMIDC.UnsupervisedmetriclearningforfaceidentificationinTVvideo[C]//Proc. 2011IEEEInternationalConferenceonComputerVision(ICCV). [S.l.]：IEEEPress，2011：1559-1566.

[9]SALEEMN. 視頻監(jiān)控中的人體分割，識別與跟蹤[D].北京：北京郵電大學，2013.

[10]ZHANGH，ZHANGY，HUANGTS.Pose-robustfacerecognitionviasparserepresentation[J].PatternRecognition，2013，46(5)：1511-1521.

[11]NNAFIEA，SWARTHE，CALVETED，etal.Modelingtheresponseofshoreface-connectedsandridgestosandextractiononaninnershelf[J].OceanDynamics，2014，64(5)：723-740.

[12]楊峰，王永齊，梁彥，等. 基于概率假設密度濾波方法的多目標跟蹤技術綜述[J].自動化學報，2013，39(11)：1944-1956.

[13]曾青松. 黎曼流形上的保局投影在圖像集匹配中的應用[J].中國圖象圖形學報，2014，19(3)：100-106.

[14]WOLFL，HASSNERT，TAIGMANY.Effectiveunconstrainedfacerecognitionbycombiningmultipledescriptorsandlearnedbackgroundstatistics[J].IEEETrans.PatternAnalysisandMachineIntelligence，2011，33(10)：1978-1990.

[15]呂煊，王志成，趙衛(wèi)東，等. 一種基于低秩描述的圖像集分類方法[J].同濟大學學報：自然科學版，2013，32(2)：271-276.

[16]WANGR，GUOH，DAVISLS，etal.Covariancediscriminativelearning：anaturalandefficientapproachtoimagesetclassification[C]//Proc. 2012IEEEConferenceonComputerVisionandPatternRecognition(CVPR). [S.l.]：IEEEPress，2012：2496-2503.

[17]CUIZ，SHANS，ZHANGH，etal.Imagesetsalignmentforvideo-basedfacerecognition[C]//Proc. 2012IEEEConferenceonComputerVisionandPatternRecognition(CVPR). [S.l.]：IEEEPress，2012：2626-2633.

責任編輯：任健男

Research on Video Face Tracking and Recognition Based on SRC with Mean Sequences

ZHOU Gaiyun, ZHANG Guoping, MA Li

(SoftwareEngineeringSchool,PingdingshanUniversity,HenanPingdingshan467000,China)

To track and recognize face from video with large dictionary, an end-to-end recognition method based on sparse representation classification with mean sequences is proposed. Firstly, all the available video data and face tracking frame belonging to the same person is used to joint optimization. Then, strict time constraints are added intol1-minimization. Finally, all individual frames in the human face tracking are used to reconstruction each identity, and sparse reconstruction is used to finish face recognition. The effectiveness of proposed method is verified by experiments on YouTube database. Experimental results on YouTube Celebrity database and movie trailers dataset searched by self show that proposed method has higher recognition accuracy than several advanced methods. The accuracy rate of proposed method is higher than SVM with 8% on refusing to unidentified.

mean sequences; sparse representation classification; video retrieval; face tracking; face recognition

國家自然科學基金項目(61103143)；河南省科技廳自然科學研究計劃項目(132300410276)；平頂山學院青年科研基金項目(PDSU-QNJJ-2013010)

TP391

A

10.16280/j.videoe.2015.01.032

2014-06-20

【本文獻信息】周改云，張國平，馬麗.基于平均序列SRC的視頻人臉跟蹤和識別研究[J].電視技術,2015，39(1).