程 實(shí) 沐燕舟 趙 赟

（1.南通大學(xué)信息科學(xué)技術(shù)學(xué)院 南通 226000）（2.天津大學(xué)智能與計(jì)算學(xué)部 天津 300000）

1 引言

隨著互聯(lián)網(wǎng)快速影響，信息安全需求與個(gè)人身份認(rèn)證需求不斷提升，在此背景下，我國(guó)生物識(shí)別概念逐漸火熱，高識(shí)別率的人臉識(shí)別技術(shù)迎來(lái)了發(fā)展良機(jī)。研究和處理人臉在視頻監(jiān)控中的情況是一項(xiàng)非常有前景的方向，特別在安防和人機(jī)交互等領(lǐng)域擁有著廣闊的應(yīng)用［1］。

目前，人臉識(shí)別產(chǎn)品大多將人臉檢測(cè)與人臉識(shí)別綁定在一起放在服務(wù)器端［2］，增加了服務(wù)器的負(fù)擔(dān)，一臺(tái)服務(wù)器只能帶兩路攝像機(jī)。帶來(lái)的問(wèn)題是產(chǎn)品應(yīng)用到實(shí)時(shí)場(chǎng)景時(shí)，部署成本很高。另一方面，攝像機(jī)只起到采集視頻的角色，在嵌入式硬件性能與嵌入式操作系統(tǒng)的迅速提升環(huán)境下，攝像機(jī)已經(jīng)具備了單獨(dú)處理實(shí)時(shí)視頻信息的能力。所以，如何將有效地人臉檢測(cè)算法從人臉識(shí)別模塊中分離出來(lái)，用嵌入式方式實(shí)現(xiàn)人臉檢測(cè)，以提高人臉識(shí)別實(shí)時(shí)應(yīng)用性能是人臉識(shí)別產(chǎn)品走向市場(chǎng)的重要途徑之一。基于這樣的需求，本文對(duì)人臉檢測(cè)公認(rèn)度比較高的JDA算法進(jìn)行了改進(jìn)，目標(biāo)是實(shí)現(xiàn)與人臉識(shí)別無(wú)縫對(duì)接。

人臉檢測(cè)的快速發(fā)展和市場(chǎng)對(duì)生物特征鑒定技術(shù)的認(rèn)可，實(shí)時(shí)人臉檢測(cè)技術(shù)已經(jīng)逐漸成為了市場(chǎng)所緊缺的需求。人臉檢測(cè)方法研究發(fā)展簡(jiǎn)表如表1所示。

表1 人臉檢測(cè)研究方法演化［3］

2 JDA算法描述

JDA（Joint Cascade Face Detection and Alignment）算法［4］是目前比較先進(jìn)的人臉檢測(cè)算法，是MSRA 組在2014 年的最新技術(shù)。它結(jié)合了檢測(cè)和對(duì)齊，一方面人臉對(duì)齊對(duì)進(jìn)一步的人臉識(shí)別意義重大，另一方面標(biāo)記附近的特征可促進(jìn)人臉檢測(cè)分類器分辨出更準(zhǔn)確的結(jié)果。JDA 算法主要采用3000FPS方法［5］。這個(gè)方法使用了局部特征和回歸樹(shù)，將特征空間映射到線性空間，再使用線性回歸學(xué)習(xí)。用回歸樹(shù)學(xué)習(xí)一個(gè)局部二值特征（LBF，注意不是LBP），用線性回歸來(lái)訓(xùn)練回歸模型。該算法的整體過(guò)程如圖2。

圖1 JDA算法描述

從圖1 可以看出的是第二列的特征是通過(guò)學(xué)習(xí)得到的，第四列的回歸關(guān)系是線性的，也是通過(guò)學(xué)習(xí)得到的。在訓(xùn)練階段，我們學(xué)習(xí)特征映射函數(shù)?t去產(chǎn)生局部二值特征。給定特征和目標(biāo)形狀增量，通過(guò)線性回歸學(xué)習(xí)線性投影Wt。在測(cè)試階段，形狀增量直接被預(yù)測(cè)并且運(yùn)用于更新當(dāng)前被估計(jì)的形狀。

LBF 的全稱是Local Binary Feature 即局部二值特征。文獻(xiàn)［5］中把LBF定義為直接簡(jiǎn)單大概地統(tǒng)計(jì)所有樹(shù)葉節(jié)點(diǎn)是否被該樣本落入，如果落入了就記為1 否則記為0，然后把所有的01 串連起來(lái)就是LBF了，如圖2所示。

用隨機(jī)森林取標(biāo)記的局部二值特征，如（圖2（b）），在標(biāo)記點(diǎn)周圍，兩個(gè)像素點(diǎn)為一對(duì)，隨機(jī)抽取4 對(duì)為一棵樹(shù)，每一對(duì)比較大小，根節(jié)點(diǎn)大于選擇左子節(jié)點(diǎn)，小于選擇右子節(jié)點(diǎn)，最后到達(dá)的葉子節(jié)點(diǎn)為1，其它為0。再組成圖上的二進(jìn)制比如（1000），再依次，抽取n 棵數(shù)，串聯(lián)組成局部二值特征。淺顯地說(shuō)上圖2（b）中，樣本經(jīng)過(guò)隨機(jī)森林的三棵樹(shù)后分別落在了第1，2，3 個(gè)葉子節(jié)點(diǎn)上，于是三棵樹(shù)的LBF 就是1000，0100，0010。串聯(lián)起來(lái)就是100001000010，這就是一個(gè)特征點(diǎn)的局部二值特征φtj，把人臉?biāo)刑卣鼽c(diǎn)的LBF 都連接起來(lái)形成總的LBF就是全局特征φt了。

圖2 LBF特征提取

確定LBF之后，串聯(lián)人臉?biāo)刑卣鼽c(diǎn)（文獻(xiàn)［6］選取27 個(gè)人臉特征點(diǎn)）的二值特征得到全局特征并通過(guò)最小化下面的目標(biāo)函數(shù)學(xué)習(xí)全局線性投影Wt：

其中I是輸入圖像，St-1是來(lái)自于上一級(jí)的形狀，φt是特征映射函數(shù)，Wt是線性回歸矩陣。

圖3是使用JDA算法進(jìn)行人臉檢測(cè)的結(jié)果。

圖3 JDA算法人臉檢測(cè)結(jié)果

3 JDA改進(jìn)算法JDA2

3.1 JDA2總體框架

JDA 檢測(cè)的人臉很快、很準(zhǔn)，但存在兩個(gè)問(wèn)題，一是所檢測(cè)的人臉不一定能都適用人臉識(shí)別（尺寸過(guò)小，角度過(guò)偏）；二是輸出的是存在人臉的幀，即使把人臉檢測(cè)與人臉識(shí)別分開(kāi)，人臉識(shí)別性能不降反增，原因是人臉檢測(cè)進(jìn)行了兩次（因?yàn)閭鬏數(shù)氖菐?，所以到服?wù)器端還要再進(jìn)行一次人臉檢測(cè)）。為此，本文設(shè)計(jì)的JDA2 對(duì)JDA 進(jìn)行四個(gè)方面的改進(jìn)：關(guān)鍵幀提取、人臉定位與跟蹤、人臉過(guò)濾和有效人臉發(fā)送人臉，總體框架見(jiàn)圖4。

圖4 JDA2總體框架

3.2 關(guān)鍵幀提取

鏡頭中圖像幀存在不相關(guān)性，需要去除冗余，可以代表鏡頭內(nèi)主要信息的圖像幀就是關(guān)鍵幀。提取的關(guān)鍵幀標(biāo)準(zhǔn)根據(jù)視頻的不同而不同，關(guān)鍵幀的數(shù)量由應(yīng)用場(chǎng)景決定。

關(guān)鍵幀提取一種較為簡(jiǎn)單的方法是計(jì)算幀間差值，就是將相鄰兩幀在各自位置上的像素灰度差做比較。當(dāng)兩幀圖像間的灰度差值大于某個(gè)事先設(shè)定好的閾值就認(rèn)為產(chǎn)生了鏡頭的邊界。如果設(shè)定的全局閾值太低則錯(cuò)誤檢測(cè)率將會(huì)很高，相反的情況下漏檢測(cè)率會(huì)升高。因此，設(shè)定局部自適應(yīng)的閾值將會(huì)是一種是最好的辦法，本文在自適應(yīng)閾值的設(shè)定方式上利用滑動(dòng)窗法。

算法描述：

假設(shè)對(duì)第k 幀進(jìn)行檢測(cè)，這其中會(huì)有N+1 個(gè)間斷的值需要考慮，從而組合成為一個(gè)滑動(dòng)窗，中間第k幀是不是作為邊界，主要條件如下：

1）在N+1個(gè)值中，需要最大值是Z(k，k+1)；

2）Z(k，k+1)＞k+Zsm。其中，k 為系數(shù)，Zsm為窗口中的次大值。

即當(dāng)窗口中的最大值為Z(k，k+1)時(shí)，同時(shí)還是滑動(dòng)窗內(nèi)第二大的k 倍時(shí)，在(k，k+1)處是會(huì)有一個(gè)邊界，可以將這個(gè)k參數(shù)認(rèn)為是邊界的模式。

3.3 人臉定位

人臉定位主流方法有兩種：

1）基于復(fù)測(cè)模型的人臉定位

人臉的一個(gè)重要特征就是膚色［7］，不同人的膚色分布具備共性，膚色分割方法就是利用了這種膚色聚類性，穩(wěn)定性很好，不受各種因素的影響。單一的膚色檢測(cè)就能夠定位圖像中所有的人臉，并且可以達(dá)到很高的檢測(cè)率，但是誤檢率也很高，因?yàn)檫@種方法會(huì)檢測(cè)到類似人臉膚色的區(qū)域，把它誤判斷為人臉；除此之外，膚色檢測(cè)容易受到光照等條件的影響，膚色的劃分結(jié)果非常明顯地決定了算法的精度。

2）基于AdaBoost 的人臉定位［8］，算法的核心就是減少正確分類樣本的權(quán)值，增加了錯(cuò)誤分類樣本的權(quán)值，從而得到一個(gè)理想的分類器。所以，將AdaBoost算法用于人臉定位檢測(cè)率和速度都較高，而且不需要多少?gòu)?fù)雜的分類器，但是訓(xùn)練時(shí)間過(guò)長(zhǎng)而且誤檢率較高。

膚色模型和AdaBoost 算法各有優(yōu)缺點(diǎn)，JDA2結(jié)合了這兩種算法。

首先是粗定位，主要是運(yùn)用膚色模型對(duì)其進(jìn)行定位，從中找出可能的人臉區(qū)域，然后再運(yùn)用Adaboost 算法在所標(biāo)記出的一切有可能的人臉區(qū)域中進(jìn)行人臉的精確定位。算法描述如圖5所示。

圖5 人臉定位算法流程

3.4 人臉跟蹤

人臉跟蹤是在已知初始幀人臉區(qū)域的情況下，結(jié)合人臉運(yùn)動(dòng)信息更新和確定后續(xù)幀中人臉的位置和大小。人臉跟蹤的流程圖如圖6所示。

圖6 人臉跟蹤的流程圖

4 實(shí)驗(yàn)分析

我們從一些人臉庫(kù)和大量網(wǎng)絡(luò)圖片中共搜集了人臉樣本約20000 張。為了使樣本反映真實(shí)的概率分布，我們盡量使這個(gè)集合包含各種類型的人臉，如各個(gè)種族、年齡段以及性別。測(cè)試集在CMU+MIT 的正面人臉測(cè)試集合（130 幅圖片、507個(gè)人臉）。

1）正臉檢測(cè)實(shí)驗(yàn)

我們所說(shuō)的正面人臉是指旋轉(zhuǎn)角度在搖擺［-15°，+15°］、傾斜［-10°，+10°］和俯仰［-10°，+10°］以內(nèi)的人臉。我們收集的人臉庫(kù)中共有正面人臉樣本約15000 張。我們?cè)贑MU+MIT 的正面人臉測(cè)試集合（130 幅圖片、507 個(gè)人臉）上比較JDA2算法與JDA 算法的性能。實(shí)驗(yàn)機(jī)器為一臺(tái)PIV2，4GHz PC，檢測(cè)結(jié)果ROC 曲線如圖7 所示。橫軸為特異度，縱軸為敏感度。從圖8 看出，JDA2 明顯改進(jìn)了JDA的性能。

圖7 正面人臉檢測(cè)ROC曲線

2）服務(wù)器壓力測(cè)試

我們的方案是對(duì)比“JDA+人臉識(shí)別”，“JDA2+人臉識(shí)別”，“人臉識(shí)別（集成人臉檢測(cè)）”三個(gè)方案的識(shí)別速度（表3）。

表3 識(shí)別速度和正確率對(duì)比

虛警率是指在人臉檢測(cè)成功而拒識(shí)為人臉的百分比。由于JDA2 使用了過(guò)濾和定位策略，對(duì)尺寸過(guò)小，角度過(guò)大的人臉拒檢，所以，虛警率明顯下降。間接帶來(lái)的好處是，降低了網(wǎng)絡(luò)負(fù)載（只傳有效人臉），解決目前服務(wù)器只能帶2 路的瓶頸有望得到解決。

5 結(jié)語(yǔ)

對(duì)于目前普遍使用的傳統(tǒng)人臉識(shí)別系統(tǒng)，由于網(wǎng)絡(luò)傳輸帶寬的限制，不可能將眾多的實(shí)時(shí)人臉圖像傳輸?shù)教幚碇行倪M(jìn)行識(shí)別處理。但是，如今的安防對(duì)先進(jìn)技術(shù)的運(yùn)用要求越來(lái)越高。隨著嵌入式電路設(shè)計(jì)的成熟，基于現(xiàn)場(chǎng)特定要求的智能圖像識(shí)別技術(shù)應(yīng)運(yùn)而生。在這樣背景下，本文對(duì)人臉檢測(cè)公認(rèn)度比較高的JDA進(jìn)行了改進(jìn)，在拍攝現(xiàn)場(chǎng)圖像的同時(shí)，對(duì)能識(shí)別的人臉準(zhǔn)確地發(fā)送人臉數(shù)據(jù)。由于檢測(cè)到的適用人臉識(shí)別的人臉的數(shù)據(jù)量大大小于圖像數(shù)據(jù)量，為一臺(tái)服務(wù)器實(shí)時(shí)處理多路攝像機(jī)數(shù)據(jù)帶來(lái)可能。