呂 晶,薛亞非,谷靜平

(南京師范大學中北學院,江蘇 丹陽 212300)

人臉檢測是計算機視覺領域非常重要的一個研究分支,被廣泛應用于生物特征驗證、視頻監(jiān)控、目標跟蹤和面部表情識別等領域. 姿態(tài)變化、人群遮擋、面部裝飾、視角差異、光照不均衡等問題都使得人臉檢測面臨重大挑戰(zhàn). 雖已有許多研究工作來解決這些問題,但復雜條件下的人臉檢測性能仍不能滿足實際應用的要求.

早期的人臉檢測研究將人臉檢測定義為一個剛體檢測問題,主要圍繞設計不同的手工特征或?qū)W習方案,以獲得更滿意的結(jié)果. 具體來說,Haarlike[1]、MB-LBP[2-3]、ICF[4]和SURF[5]等手工特性結(jié)合集成學習算法,可在實時運行速度下獲得令人滿意的結(jié)果. 在高端GPU設施的高性能服務器的幫助下,一些商業(yè)產(chǎn)品可以在圖像或視頻中非常準確地捕捉人臉.

本文的目標是設計一個輕量化的人臉檢測系統(tǒng),可以部署在移動或嵌入式設備中,并具有較好的檢測性能. 由于通道特征(ICF)[6-7]運行速度快、性能高,可用于高效的人臉特征表示. 在此基礎上,像素差向量(PDV)特征[8]的提出極大地提升了性能,但其忽略了不同像素之間的關系建模. 而PDV作為一種一階運算符,如何將其高階統(tǒng)計信息應用于特征編碼以提升特征表達能力,仍未得到很好的解決. 針對此問題,本文研究了PDV在局部區(qū)域內(nèi)差向量分量之間的協(xié)方差信息,提出了一種新的像素差協(xié)方差特征,可顯著提高多視角人臉檢測的性能.

1 相關工作

人臉檢測研究的歷史可以追溯到至少50年前,文獻[1]提供了對早期和當前研究的詳細介紹. 人臉檢測方法可以根據(jù)輸入圖像類型分為灰度圖像和彩色圖像兩大類. 在早期的研究中,大多數(shù)方法都屬于第一類. 文獻[5]對多尺度的圖像使用一組基于神經(jīng)網(wǎng)絡的濾波器,然后將檢測結(jié)果合并為最終的輸出. 作為人臉檢測領域的里程碑工作,V&J檢測器利用Haar小波[1],對位于指定位置的相鄰區(qū)域不同大小的平均像素差值進行編碼. 通過AdaBoost算法學習Haar特征,并級聯(lián)實現(xiàn)實時運行. 許多后續(xù)研究對這項工作進行了改進,如擴展的Haarlike或不相交的Haarlike feature[1]. 有學者基于分塊LBP特征[2]用于正面人臉檢測,以較少的特征數(shù)目顯著提升了檢測精度. 文獻[3]提出了一種新的基于分布的特征,將識別信息嵌入到特征中以提高人臉檢測器的性能. 這些方法均基于圖像亮度信息,對光照變化敏感,缺乏顏色信息. 另一類方法利用顏色信息,在目標檢測中也被證明是非常有效的. HOG 特征首先被提出用于人體特征建模,也可用于人臉檢測. 近年來,基于形變部件模型的人臉檢測方法已成為人臉檢測的主要方法. 該方法在輸入圖像分辨率較高的情況下取得了良好的效果. 最近,采用V&J的檢測方法流程,積分通道特征也被用于人臉特征表示,在一些公共數(shù)據(jù)集上取得了較好的結(jié)果. 在行人檢測領域廣泛應用的多特征圖濾波策略的成功推動下,類似的思想也被應用于人臉檢測中,達到與當前水平相當?shù)男阅? 文獻[8]對多通道映射中的像素差分關系進行建模,實現(xiàn)了快速準確的人臉檢測.

與此同時,基于深度特征的方法[9-12]取得了巨大的性能提升,這得益于最近通用目標識別的進展. 深度特征表示在處理其他視覺任務時也非常有效,但依賴于極為昂貴的GPU和較高的計算復雜度.

2 方法的提出

2.1 像素差向量(PDV)

與局部二進制模式(LBP)編碼方式相似,像素差向量的目的是建立局部區(qū)域中心像素與其相鄰像素之間的關系. 如圖1(a)所示,像素差向量是計算位于中心的錨像素ac與周邊3×3鄰域內(nèi)像素ai(i=0,1,2,…,7)的差值.多尺度像素差向量是其一種擴展版本,為錨定像素引入了鄰域半徑r,用于表示不同尺度的像素局部統(tǒng)計信息.在圖1(b)中,半徑r=1 的鄰域用藍色高亮顯示,半徑r=2的鄰域用黃色方塊標注.對于單個半徑r,僅對原始PDV可視化8個不同的方向.而對于W×H圖像,可以提取不同錨像素(W-r)×(H-r)/(s×s),其中s表示步幅.每個半徑為r的塊共包含(2r+1)×(2r+1)像素.

2.2 像素差向量協(xié)方差特征(PDCF)

像素差分運算是一種一階算子,可以有效地對局部塊內(nèi)的像素關系進行建模. 眾所周知,高階統(tǒng)計量具有更強的鑒別能力,可用于目標檢測領域. 基于此,本文提出了一種像素差分協(xié)方差特征,利用PDV中不同分量之間的相關性,提升像素特征的表達能力. 協(xié)方差矩陣能夠捕獲共存的判別模式,有利于模式分類. 從直觀上看,兩種模式的相關性等共存模式比單一模式更具鑒別力. 具體而言,人臉具有特殊的對稱結(jié)構和幾何結(jié)構關系,如眼睛沿著鼻子對稱,嘴總是在鼻子下面,面部區(qū)域幾乎相同. 基于這些先驗知識,本文設計了單半徑和雙半徑PDV兩種不同情形,分別如圖2(a)和(b)所示.

這兩個版本的PDCF旨在捕獲具有相同或不同半徑PDV的不同分量之間的相關性. 如圖2(a)所示,對于(2r+1)×(2r+1)像素的圖像塊,4個分量分別表示為d1、d2、d3和d4.PDV的各分量在不同方向上得到了差分關系,反映了圖像局部區(qū)域紋理的變化. 計算完PDV后,建立協(xié)方差矩陣來對PDV分量之間的相關性進行建模. 可以發(fā)現(xiàn),不同半徑的PDV捕獲的紋理變化不同,會對人臉檢測的性能產(chǎn)生影響.

圖2 兩種不同類型的PDCF方法Fig.2 Two different types of PDCF methods

2.2.1 單半徑的PDCF(PDCF-S)

與計算協(xié)方差矩陣的步驟相同,PDCF-S建立在半徑為r的PDV上. 如圖2(a)所示,為清晰起見,本文只對PDV的4個分量進行了可視化. PDCF-S的目標是在相同大小的局部區(qū)域內(nèi)建立不同元素之間的相關性,并在相同錨點像素下探索不同元素之間的關系. 通過計算協(xié)方差矩陣得到每個錨點像素的高階統(tǒng)計量,可以有效捕獲紋理信息. 此外,由于對稱特性,PDCF-S特征的維度為(d2-d)/2,其中d通常設置為4或8.

2.2.2 雙半徑的PDCF(PDCF-D)

PDCF-D建立在多尺度PDV基礎上,其中PDV有兩個不同的半徑r1和r2. PDCF-D的目的是探索不同尺寸的局部區(qū)域像素差之間的相關性. PDCF-D不僅可以捕獲每個錨點像素處不同方位的差值,還可以接收到相同方位差值之間的相關信息. PDCF-D對PDCF-S具有互補效應. 如圖2(b)所示,PDCF-D特征的維度為d2,高于PDCF-S特征.

2.3 復雜性分析

圖3 人臉檢測流程Fig.3 The process of face detection

2.4 檢測框架

對于PDCF檢測器的訓練,可以按照流程,將PDCF集成到Boosting框架中. 與PDV方法不同,本文方法的PDCF在PDF層之后又增加了一個層. 為了提高人臉檢測系統(tǒng)的速度,本文引入了級聯(lián)結(jié)構,該方法在保證檢測性能的前提下,能夠降低計算復雜度. 整個檢測流程如圖3所示,其中人臉檢測流程包括兩個模塊:人臉區(qū)域提取模塊和PDCF檢測模塊. 前者基于PDV的檢測器,運行速度快,召回率高. 后者為本文提出的PDCF檢測器,利用PDV的高階統(tǒng)計量對候選人臉進行細化,能夠高效地去除誤檢.

首先,根據(jù)輸入圖像I計算多通道特征圖F,用于計算差分像素特征和協(xié)方差特征. 這兩種類型的特征都共享F,從而降低了模型的計算復雜度. 其次,利用PDV檢測器生成人臉候選區(qū)域模塊,從而獲得疑似人臉區(qū)域集合. 對候選人臉區(qū)域進行池化并計算PDV特征,在此基礎上進一步計算協(xié)方差特征并將矩陣展平成特征向量. 最后利用訓練好的隨機森林對輸入的特征向量進行處理得到最終的決策結(jié)果. 由于PDV與PDCF相比計算復雜度低,因此適用于獲取高質(zhì)量的候選人臉特征;而利用高階統(tǒng)計信息的PDCF具有更高的特征判別能力,可以用于過濾候選人臉集合中的困難樣本,實現(xiàn)高效的人臉檢測.

3 實驗及討論

3.1 實驗設置

本文所采用的人臉數(shù)據(jù)集的詳細信息如表1所示,實現(xiàn)的多視圖人臉檢測器在AFLW數(shù)據(jù)庫上進行訓練. 人臉窗口大小設置為80×80像素. 根據(jù)不同的側(cè)視角度共訓練了5個人臉檢測器,分別代表(-INF,-60°]、(-60°,-20°]、(-20°,20°)、[20°,60°)和[60°,INF)的側(cè)視角度區(qū)間. 每個視圖的平均人臉如圖4所示. 俯仰角和平面內(nèi)旋轉(zhuǎn)角度均限制在[-35°,35°]. 根據(jù)側(cè)視角度,每個檢測器的訓練正樣本數(shù)目分別為 3 949、8 818、19 724、8 818、3 949張,從PASCAL VOC2007數(shù)據(jù)集中收集了5 770張不包含人臉的圖像作為負樣本. 本文實現(xiàn)的檢測器利用Boosting算法進行訓練,最終每個檢測器由2 048個弱分類器組成.

本文采用查準率和查全率曲線及平均查全率兩種度量方法對公共數(shù)據(jù)集上的不同方法進行性能評價,利用文獻[4]提供的工具箱進行實驗評估.

圖4 5種不同視圖的平均人臉Fig.4 Average face of five different views

表2 PASCAL數(shù)據(jù)集上PDCF的參數(shù)尋優(yōu)實驗Table 2 Parameter optimization experiment of PDCF

3.2 關于PDCF的討論

3.2.1 不同半徑的參數(shù)選擇

本節(jié)對不同半徑的PDCF展開了詳細的參數(shù)尋優(yōu)實驗,同時也對ACF[7]和PDV[8]兩種經(jīng)典方法進行了比較,具體結(jié)果如表2所示. 可以發(fā)現(xiàn),合適尺寸的PDV半徑對檢測器的平均精度存在一定的影響. 當設置R=3像素時,深度3的決策樹具有最高的精度. 采用這種設置的PDCF也明顯優(yōu)于ACF和PDV方法,說明了本文方法具有有效的特征表示能力. 此外,PDCF-S性能略優(yōu)于PDCF-D,因此在接下來的實驗中選擇PDCF-S作為默認特征.

圖5 PDCF特征分布分析Fig.5 Characteristic distribution analysis of PDCF

圖6 AFW數(shù)據(jù)集上的對比實驗Fig.6 Comparative experiment of AFW dataset

3.2.2 PDCF的分布分析

圖5所示為檢測模型參數(shù)訓練中每個通道前 6個學習所得特征的可視化表示. 并不是PDCF的每個特性維度都同等重要,Adaboost算法對d2d4、d2d8和d3d7這3個特征分量選擇的頻率較高,其他分量的選擇頻率相對較低. 這說明在模型訓練中,PDV在水平和垂直方向上的不相鄰元素和對稱分量更受青睞. 同時還可以觀察到,通道4(梯度大小)、通道6(梯度方向為30°)和通道10(梯度方向為150°)的特征選擇優(yōu)先級高于其他通道特征.

3.3 與主流方法的對比實驗

將本文方法在兩個公共數(shù)據(jù)集上與其他主流方法進行比較實驗,本文方法記為 PDCF-Ours. 實驗采用與PDV-Ours 和ACF-Ours相同的實驗設置,以保證公正性.

圖7 PASCAL數(shù)據(jù)集的結(jié)果Fig.7 Results of PASCAL dataset

3.3.1 AFW數(shù)據(jù)集的對比實驗

從圖6和表3可以看出,本文方法在所有特征中mAP性能表現(xiàn)最優(yōu),分別比DPM和HeadHunter方法高出了0.56%和0.63%. 此外,PDV-Ours和ACF-Ours這兩個基礎算法也具有較好的性能表現(xiàn),比SquaresChnFtrs-5分別高出了1.13%和0.19%. 在訓練數(shù)據(jù)和參數(shù)設置相同的情況下,PDCF-Ours的性能比PDV-Ours和ACF-Ours分別高出約1.4%和2.34%,從而驗證了本文方法的有效性. 此外,本文方法與當前先進的深度學習方法[10,12]相比仍有一些差距,但略優(yōu)于Faceness-Net方法[9]. 由于深度學習模型依賴于額外海量的數(shù)據(jù)用于模型預訓練,還需要高端的GPU進行并行處理,而本文方法屬于經(jīng)典機器學習方法,具有模型復雜度低的特點,對設備算力和功耗的要求會大大降低.

表3 AFW數(shù)據(jù)集上經(jīng)典機器學習模型與深度學習模型的平均精度比較Table 3 Comparison of average accuracy between classical machine learning model and deep learning model on AFW dataset

3.3.2 PASCAL數(shù)據(jù)集的對比實驗

PASCAL人臉數(shù)據(jù)集的實驗結(jié)果如圖7所示. 在mAP方面,本文方法的性能明顯優(yōu)于SquareChnFtr、Structured Model和ACF方法,性能提升達到了4.87%、6.57%和8.59%,也分別比DPM、HeadHunter和PDV方法分別高出約0.15%、0.81%和2.82%. 因而,本文提出的PDCF方法在兩個公共數(shù)據(jù)集上均優(yōu)于其他基于手工設計的特征. 這一結(jié)論也與AFW數(shù)據(jù)集上的評測結(jié)果一致.

如表4所示,本文方法與當前先進的深度學習方法相比尚有較大的差距,最新的RetinaFace方法在該數(shù)據(jù)集上精度達到了99%以上,而基于FasterRCNN模型的STN方法和Faceness-net方法比本文方法的平均精度分別高出3.66%和1.67%.

表4 PASCAL數(shù)據(jù)集上經(jīng)典機器學習模型與深度學習模型的平均精度比較Table 4 Comparison of average accuracy between classical machine learning model and deep learning model on PASCAL dataset

3.4 檢測結(jié)果比較

AFW和PASCAL數(shù)據(jù)集的圖片檢測結(jié)果如圖8所示. 可以發(fā)現(xiàn),本文的檢測器在兩個公共數(shù)據(jù)集的精度和召回率方面表現(xiàn)得非常好. 此外,在手和下巴處存在一些誤檢,對于漏檢場景主要歸因于圖像中存在的遮擋和模糊問題.

圖8 AFW和PASCAL數(shù)據(jù)集上的檢測結(jié)果Fig.8 Test results on AFW and PASCAL datasets

3.5 運行時間比較

表5為640×480像素的輸入圖像在不同檢測窗口尺寸下的運行時間比較. 3種方法均使用相同的訓練數(shù)據(jù),在相同的實驗平臺上(DELL T7610服務器,雙16核CPU 2.6 GHz,內(nèi)存64G)運行. 在窗口大小為80×80和40×40像素的情況下,PDV方法比ACF和PDCF方法有更快的運行速度. 此外,PDCF方法具有高辨別能力,但同時也提高了計算復雜度,因此略慢于ACF方法,但該方法可濾除圖像中大部分的困難負樣本. 引入PDV方法作為人臉候選區(qū)域提取,可以較好地平衡檢測器的精度和速度,最終檢測速度可達20幀/s.

表5 640×480圖像的運行時間比較Table 5 Runtime comparison of 640×480 images

4 結(jié)論

依賴于PDV高階統(tǒng)計信息的高判別能力,本文提出了一種用于多視角人臉檢測的像素差向量協(xié)方差特征,該方法有效地擴展了像素差向量特征的一階統(tǒng)計特性,提升了特征表達能力,提高了多視角人臉檢測的性能,實現(xiàn)了一種基于人臉后續(xù)區(qū)域提取的實時多視角人臉檢測系統(tǒng),對人臉姿態(tài)變化具有較強的魯棒性.

此外,本文引入人臉區(qū)域候選模塊,可進一步提升檢測速度,在不使用GPU加速的情況下,處理分辨率為640×480的圖像時,處理速度可達20幀/s,非常適合于部署在低功耗邊緣計算設備上.