桑海峰，吳丹陽，王會

SANG Haifeng，WU Danyang，WANG Hui

沈陽工業(yè)大學(xué) 視覺檢測技術(shù)研究所，遼寧 沈陽 110870

Computer Vision Group, Shenyang University of Technology, Shenyang 110870,China

1 引言

隨著國際形式的日益嚴峻，在機場、刑偵、入境通關(guān)、反恐及軍事設(shè)施等領(lǐng)域?qū)Π踩婪兜男枨笈c日俱增，使視頻監(jiān)控在生產(chǎn)生活等各個方面得到了廣泛的應(yīng)用和快速的發(fā)展，對大規(guī)模人群進行快速準確的身份鑒別是保障公共社會安全、維護國家和諧穩(wěn)定和加強國家公共安全預(yù)警能力的重要手段，對國家安全、公安及安防領(lǐng)域有重要意義[1-2]。雖然目前監(jiān)控系統(tǒng)己經(jīng)廣泛存在于政府首腦機關(guān)、軍事要地、機要場所、銀行、住宅小區(qū)、校園等公共場所，但目前實際監(jiān)控的任務(wù)仍然有很多地方需要人工參與完成，現(xiàn)在廣泛存在的監(jiān)控系統(tǒng)只能進行大量的視頻錄制，而不能進行實時的信息提取，所提供的信息是沒有經(jīng)過處理的視頻圖像，只能用于事后查證，不能自動分析視頻中人的身份及運動狀態(tài)，不能及時準確地輔助公安偵查，沒有充分發(fā)揮視頻監(jiān)控系統(tǒng)的主動性和實時性[3]。

針對視頻監(jiān)控系統(tǒng)中存在的問題，本文將人臉檢測、人臉跟蹤和人臉識別融入到視頻監(jiān)控系統(tǒng)中，采用快速人臉檢測技術(shù)從監(jiān)控視頻圖象中實時檢測人臉，并與人臉數(shù)據(jù)庫進行比對，從而實現(xiàn)快速身份識別，并對人臉進行跟蹤，將有效地協(xié)助安全人員處理危機，大幅度提高視頻監(jiān)控系統(tǒng)的安全防范能力，是人臉跟蹤識別與視頻監(jiān)控的無縫對接。

2 系統(tǒng)總體結(jié)構(gòu)

圖1為視頻監(jiān)控系統(tǒng)結(jié)構(gòu)框圖。

系統(tǒng)首先通過攝像頭實時采集監(jiān)控場景內(nèi)的視頻圖像，利用人臉檢測算法檢測人臉區(qū)域，對檢測到的人臉進行圖像預(yù)處理并實時提取人臉特征；同時對檢測到的人臉進行跟蹤處理；其次，將已提取的人臉特征和數(shù)據(jù)庫中的人臉特征進行比對，識別出人臉身份；最后，輸出人臉跟蹤識別結(jié)果。

圖1 視頻監(jiān)控系統(tǒng)結(jié)構(gòu)框圖

3 系統(tǒng)算法設(shè)計

3.1 人臉檢測

3.1.1 Adaboost人臉檢測

Adaboost人臉檢測算法[4]，是基于積分圖、級聯(lián)檢測器和Adaboost算法的方法，該方法能夠檢測出正面人臉，其核心步驟為：

Step 1：給定一系列訓(xùn)練樣本(x1,y1),(x2,y2),…(xn,yn)，其中yi=0表示其為非人臉，yi=1表示其為人臉，n為訓(xùn)練樣本總數(shù)。

Step 2：初始化權(quán)重

其中，m為人臉數(shù)，n為非人臉數(shù)。

Step 3：對于t=1,2…T,循環(huán)執(zhí)行下面的步驟：

(a)歸一化權(quán)重

(b)對每個特征 f，都訓(xùn)練一個弱分類器，計算對應(yīng)所有特征的弱分類器的加權(quán)錯誤率。

其中，弱分類器 h(x,f,p,θ)由一個特征值 f，閾值θ和不等號方向p組成。

計算每個特征的弱分類器的加權(quán)錯誤率。

Step 4：經(jīng)過T次循環(huán)得到T個弱分類器，可以按照式(5)的方式組合成一個強分類器。

利用上述訓(xùn)練得到的分類器對圖像進行人臉檢測，獲得人臉在圖像中的位置。

3.1.2 主動形狀模型

主動形狀模型（Active Shape Model,ASM）[5]是一種基于統(tǒng)計模型的圖像搜索方法。該算法模型主要包括訓(xùn)練模塊和定位模塊。在訓(xùn)練模塊中，對大量訓(xùn)練樣本進行特征點標定，來呈現(xiàn)目標對象的形狀信息并建立目標對象的統(tǒng)計形狀模型和局部紋理模型；在定位模塊中，利用訓(xùn)練得到的統(tǒng)計形狀模型和局部紋理模型來進行目標的搜索與匹配，主要包括確定形狀的初始位置、計算新位置、計算形狀和姿勢參數(shù)、更新參數(shù)四部分，最終使模型匹配到目標的輪廓上。

3.1.3 基于Adaboost人臉檢測和ASM的人臉檢測算法

經(jīng)大量實驗驗證，在監(jiān)控視頻圖像中，雖然AdaBoost人臉檢測算法能夠檢測到正面人臉且檢測速度快，但這是在簡單背景下實現(xiàn)的。而在復(fù)雜背景中，AdaBoost人臉檢測算法容易受到復(fù)雜環(huán)境的影響，導(dǎo)致檢測結(jié)果并不穩(wěn)定，極易將類似人臉區(qū)域誤檢為人臉，誤檢率較高。為了更好地實時準確地檢測人臉，本文提出了一種基于Adaboost人臉檢測和ASM的人臉檢測算法。

本算法步驟：

Step 1：利用大量人臉樣本訓(xùn)練人臉統(tǒng)計形狀模型和局部紋理模型；

Step 2：利用Adaboost人臉檢測算法在監(jiān)控視頻中檢測人臉區(qū)域，記錄人臉矩形區(qū)域(x,y,height,width)，將檢測到的人臉區(qū)域作為ASM算法的初始搜索區(qū)域；

Step 3：在搜索區(qū)域內(nèi)進行特征點位置搜索，認為與局部紋理模型的距離最小的位置是該特征點的最佳位置并根據(jù)統(tǒng)計模型調(diào)整形狀姿態(tài)參數(shù)；

Step 4：重復(fù)以上步驟直到多數(shù)特征點搜索得到的最佳點距離當前規(guī)定像素的距離小于一定閾值時，認為此區(qū)域為人臉區(qū)域。否則，認為此區(qū)域為非人臉區(qū)域，是Adboost人臉檢測算法的誤檢，將此區(qū)域排除掉。

3.2 人臉跟蹤

3.2.1 CamShift跟蹤算法介紹

CamShift算法[6]的全稱是"Continuously Adaptive MeanShift"，是一種以目標的顏色直方圖為目標的跟蹤算法。CamShift算法具有計算簡單、跟蹤速度快、實時性較高的特點，當目標的大小發(fā)生改變的時候，CamShift算法可以自適應(yīng)地調(diào)整目標區(qū)域連續(xù)跟蹤。

CamShift算法步驟如下：

Step 1：在整個圖像上選擇初始搜索窗口；

Step 2：計算搜索窗口的反向投影；

Step 3：利用MeanShift算法獲得搜索窗口新的位置和大??；

Step 4：對于下一幀圖像，用Step 3得到的跟蹤窗口的位置和尺寸重新初始化搜索窗口的大小和位置，跳轉(zhuǎn)至Step 2，如此迭代下去，就可以實現(xiàn)目標跟蹤。

3.2.2 Kalman濾波器介紹

Kalman濾波[7]也是一種典型的跟蹤方法是，其實質(zhì)是由觀測值重構(gòu)系統(tǒng)的狀態(tài)向量，利用目標的運動信息預(yù)測下一時刻目標的運動狀態(tài)。

Kalman濾波算法包含兩個模型：信號模型：

觀測模型：

其中，Xk是狀態(tài)向量；Zk是觀測向量；Ak是狀態(tài)轉(zhuǎn)移矩陣；Bk是輸入矩陣；Hk是觀測矩陣；Wk（協(xié)方差為Q）和Vk（協(xié)方差為R）是互不相關(guān)的均值白噪聲序列。

Kalman濾波方程如下：

（1）預(yù)測部分：

狀態(tài)預(yù)測方程：

誤差協(xié)方差預(yù)測方程：

（2）更新部分：

Kalman增益系數(shù)方程：

誤差協(xié)方差修正狀態(tài)修正方程：

狀態(tài)修正方程：

在預(yù)測階段，濾波器用上一狀態(tài)的估計，做出對當前狀態(tài)的估計；在更新階段，濾波器利用當前狀態(tài)的估計和新的測量變量來優(yōu)化在預(yù)測階段獲得的預(yù)測值。計算預(yù)測方程和更新方程，整個過程再次重復(fù)，在更新階段計算得到的預(yù)測值，被作為下一次預(yù)測階段的狀態(tài)估計，推導(dǎo)過程請參考文獻[8]。

3.2.3 CamShift和Kalman濾波器相結(jié)合的自動多人臉跟蹤算法

由于 CamShift是一種以目標的顏色直方圖為目標的跟蹤算法，所以它能夠有效地解決側(cè)面人臉的跟蹤問題，但視頻監(jiān)控場景多為復(fù)雜背景，并且有大量人員出入，人臉目標會出現(xiàn)交錯、人臉數(shù)目變化等現(xiàn)象，所以會導(dǎo)致目標跟蹤不準確，甚至失敗。為了解決這個問題，本文將CamShift跟蹤算法和Kalman濾波器結(jié)合起來，采用Kalman濾波器對運動目標的狀態(tài)進行估計，來提高對目標的跟蹤精度。

本算法具體步驟：

Step1:初始化搜索窗口。運用上文所述的Adaboost人臉檢測與主動形狀模型的改進算法檢測視頻中的人臉，將人臉窗口作為初始化搜索窗口。為了實現(xiàn)多人臉跟蹤，將改進算法檢測到的所有人臉都作為初始化搜索窗口；

Step2:利用Kalman濾波器預(yù)測當前幀人臉的位置。經(jīng)過 Kalman濾波器預(yù)測得到預(yù)測后窗口的中心，并以這個窗口的中心作為 CamShift跟蹤器窗口的中心進行跟蹤。其中，為檢測到的每個人臉目標都分配一個 Kalman濾波器并初始化該濾波器，每個 Kalman濾波器都存儲該人臉目標的運動信息，不同人臉的 Kalman濾波器之間不相互影響；

Step3:更新Kalman濾波器狀態(tài)。判斷在監(jiān)控范圍內(nèi)是否出現(xiàn)人臉交錯的情況，如果有，則用Kalman濾波器的預(yù)測值作為觀測值去更新Kalman濾波器狀態(tài)；如果無，則直接用CamShift跟蹤算法得到的新的搜索窗口作為觀測值Z(k)來修正當前人臉目標預(yù)測狀態(tài)，即將 Z(k)代入狀態(tài)修正方程式(13),得到由當前實際觀測修正后的狀態(tài)向量 Xk和修正誤差協(xié)方差矩陣Pk，最終將由狀態(tài)修正方程獲得的窗口作為下一幀的初始搜索窗口，從而更準確的估計下一幀目標的預(yù)測值。

為了有效解決監(jiān)控范圍內(nèi)人臉數(shù)目發(fā)生變化的問題，設(shè)定每隔1s重新檢測一次監(jiān)控場景內(nèi)的人臉數(shù)目。如果本次場景內(nèi)人臉個數(shù)和上次檢查的結(jié)果不一致，則重復(fù)Step1、Step2、Step3，否則，在下一幀視頻中，重復(fù) Step2、Step3，從而能夠及時捕捉人臉數(shù)目的變化，實現(xiàn)人臉目標的連續(xù)跟蹤。

3.3 人臉識別

3.3.1 人臉的Gabor特征描述

Gabor[9]變換可以在頻域不同尺度、不同方向上提取相關(guān)的特征，并且能夠捕捉與對應(yīng)空間位置、空間頻率及方向選擇性的局部結(jié)構(gòu)信息，適合用于表示人臉圖像，能夠?qū)θ四樚卣鬟M行很好地描述。因此，可利用Gabor變換的方法提取人臉特征。

二維Gabor在空間域的定義如（14）所示：

Gabor的實部和虛部公式如式（15）、（16）所示

人臉圖像的Gabor特征由人臉圖像和Gabor濾波器的卷積得到。令 f(x,y)表示人臉圖像的灰度分布，那么f(x,y)和Gabor濾波器的卷積可以定義為：

本文采用5尺度8方向的Gabor濾波器對人臉灰度圖像進行濾波，生成方向參數(shù) 315°,2 70°,2 25°,180°,1 35°,9 0°,4 5°,0°,8個方向的Gabor濾波器組，濾波結(jié)果是每幅人臉圖像都有 40幅灰度圖像，將它們疊在一起，每個像素變成40*1的向量，這就是所提取Gabor特征。

3.3.2 特征降維及識別

Gabor特征雖然比灰度特征更能描述人臉特征，但Gabor變換結(jié)果中有很多冗余特征，因此需要對Gabor變換后的結(jié)果進行降維。本文采用了文獻[10]提出的 Fisherface的方法對原始樣本數(shù)據(jù)進行降維。

基于Fisherface的人臉識別具體步驟：

Step 1:先將訓(xùn)練樣本集中的每幅圖像從左到右，從上到下排成一個列向量，再將N幅訓(xùn)練圖像構(gòu)成一個矩陣Y。

Step 2:計算PCA投影矩陣。

Step 3:計算最佳投影矩陣的值并存儲。

Step 4:將待識別圖像展為列向量形式，計算其在最佳投影矩陣中的投影值。

Step 5:利用余弦距離的方法進行識別，將待識別人臉的投影值與訓(xùn)練樣本的投影值按余弦距離公式(18)計算，求得余弦距離最小值，并將最小值所對應(yīng)的訓(xùn)練樣本認為與待識別人臉是同一個人，這樣就完成了人臉的識別。

4 系統(tǒng)實驗結(jié)果分析

(1)人臉檢測部分

為了對人臉檢測算法進行實際性能測試,本文分別使用 FERET人臉庫、自采集人臉圖庫和視頻監(jiān)控圖像對本文所提出的人臉檢測方法進行測試，并對比 Adaboost人臉檢測算法和本文所提出的基于Adaboost人臉檢測和ASM的人臉檢測算法，檢測結(jié)果如表1所示。

表1 人臉檢測結(jié)果

實驗結(jié)果表明，本文所提出的人臉檢測算法在檢測率上優(yōu)于Adaboost人臉檢測算法，能夠較準確地檢測出人臉，并能夠較好地排除Adboost人臉檢測算法的誤檢，可將其應(yīng)用在后續(xù)的人臉跟蹤識別算法上，從而提高跟蹤和識別的準確度。

(2)人臉跟蹤部分

采用本文所提出的在 CamShift跟蹤算法的基礎(chǔ)上結(jié)合 Kalman濾波器預(yù)測人臉的運動狀態(tài)的方法，對不同復(fù)雜背景的視頻監(jiān)控范圍內(nèi)的多人臉進行了實時跟蹤，以驗證系統(tǒng)跟蹤性能。本文截取了16幅包含不同人臉數(shù)、不同背景下的人臉跟蹤視頻圖像，如圖2所示。

圖2 復(fù)雜背景下多人臉跟蹤效果圖

圖2分別截取了視頻序列中單人、兩人、三人臉的正面人臉和側(cè)面人臉的跟蹤效果圖。當監(jiān)控范圍內(nèi)的人臉數(shù)目發(fā)生變化時，則重新啟動人臉檢測算法，對重新檢測到的人臉進行正面臉和側(cè)面臉的連續(xù)跟蹤；在第499幀至第502幀時，其中的兩個人臉逐漸靠近并發(fā)生交錯現(xiàn)象，此時，用 Kalman濾波器的預(yù)測值作為觀測值去更新 Kalman濾波器狀態(tài)，使得跟蹤繼續(xù)進行，直到第521幀時，交錯的目標完全出現(xiàn)后進入正常的跟蹤狀態(tài)。

經(jīng)實驗證明，本文提出跟蹤算法能夠在不同的復(fù)雜背景下對多人臉進行實時快速地跟蹤，預(yù)測人臉的運動狀態(tài)，并有效地解決了人臉交錯的連續(xù)跟蹤問題，提高了CamShift跟蹤算法的跟蹤性能。

(3) 系統(tǒng)總體性能

為了驗證系統(tǒng)的總體性能，在本文所提出的CamShift和Kalman濾波器相結(jié)合的自動多人臉跟蹤算法中加入了人臉識別算法。

實驗數(shù)據(jù)為自采集圖庫，本系統(tǒng)采用130萬象素的普通攝像頭，連續(xù)采集 50人的人臉圖像進行注冊，每人4幅，圖像分辨率為130*160。建立一個共包含200張人臉的小型圖像庫，連續(xù)采集的5張同一個人的人臉圖像如圖3所示。

圖3 連續(xù)采集的5張同一個人的人臉圖像

本系統(tǒng)在不同復(fù)雜背景的視頻監(jiān)控場景中進行了實際性能測試，以驗證系統(tǒng)的整體性能。部分跟蹤識別效果圖如圖4所示，人臉識別結(jié)果如表2所示，在模擬監(jiān)控場景中的人臉跟蹤與識別視頻已傳至網(wǎng)絡(luò)，網(wǎng)址如腳注1所示1http://video.sina.com.cn/v/b/80658405-2344632081.html。

圖4 不同的復(fù)雜背景中多人臉跟蹤識別結(jié)果

表2 人臉識別實驗結(jié)果

實驗結(jié)果表明，本系統(tǒng)每秒可處理圖像達到25幀，識別每張人臉的時間在 1.6s以內(nèi)，識別率為98.49%，滿足實時性要求，能夠在復(fù)雜的監(jiān)控環(huán)境中連續(xù)、快速地跟蹤識別多人臉，對于人臉偏轉(zhuǎn)、交錯、人數(shù)變化都有較好的跟蹤識別效果，具有較強的魯棒性和精準性。

5.結(jié)束語

本文將人臉跟蹤識別技術(shù)與傳統(tǒng)的視頻監(jiān)控相結(jié)合，能夠在視頻監(jiān)控場景內(nèi)有效地獲取人臉目標的位置，跟蹤人臉的運動軌跡，并鑒別人臉的身份。在Adaboost人臉檢測算法中引入了主動形狀模型算法，結(jié)合兩類算法的優(yōu)勢，使其互為補充；并提出了CamShift和Kalman濾波器相結(jié)合的自動多人臉跟蹤算法，該改進的跟蹤算法，可以實時、準確、自動地跟蹤人臉目標，并有效解決了監(jiān)控范圍內(nèi)的人臉偏轉(zhuǎn)、交錯及人臉數(shù)目變化的問題。通過實際性能測試證明，本系統(tǒng)能夠從監(jiān)控視頻流中有效地檢測、跟蹤和識別場景中的人臉，并取得了良好的效果，具有較強的實時性和準確性，有效地推動了視頻監(jiān)控系統(tǒng)從半自動化半人工狀態(tài)向自動視頻監(jiān)控狀態(tài)發(fā)展。

[1]辜小花，龔衛(wèi)國.核保局鑒別分析人臉識別算法[J].儀器儀表學(xué)報，2010，31(9):2016-2021.

[2]韋潔，張和生，賈利民.面向狀態(tài)監(jiān)測的改進主元分析方法[J].電子測量與儀器學(xué)報，2009,23(7):51-55.

[3]王國強，石念峰，郭玉珂.基于正交判別鄰域保持投影的人臉識別[J].儀器儀表學(xué)報,2009，30(8):1734-1738.

[4]Viola P,Michael J.Rapid Object Detection using a Boosted Cascade of Simple Features[J].IEEE CVPR,2001.

[5]Cootes,T.F.Taylor,C.J.Cooper,D.H.Craham.Active shape model-their training and application.Computer Vision and Image Understanding,1995,61(1):38-59.

[6]Bradski G R.Computer Vision Face Tracking for USE in a Perceptual User Interface[J].Intel Technology Journal,1998,2(2):1-15.

[7]范五東，周尚波，辛培宸.HSV顏色空間特征與Kalman濾波融合的目標跟蹤[J].計算機工程與應(yīng)用，2011,47(13):169-173.

[8]G.Welch and G.Bishop.An introduction to the kalman filter[R].Technical Report TR 95-041,Computer Science,UNC Chapel Hill,1995.

[9]江艷霞，任波.基于局部Gabor相位特征融合的人臉識別[J].光電工程，2010,7(37):139-144.

[10]Etemad K,Chellapa T.Face recognition using discriminant eigenvectors[C],In:Proceedings of ICA SSP,1996.