王迺琳，劉瑞安，張咪咪

（天津師范大學(xué) 物理與電子信息學(xué)院，天津 300387）

人臉檢測(cè)與跟蹤系統(tǒng)的設(shè)計(jì)

王迺琳，劉瑞安，張咪咪

（天津師范大學(xué) 物理與電子信息學(xué)院，天津 300387）

基于Adaboost人臉檢測(cè)原理，結(jié)合Windows下的Visual C＋＋編程，設(shè)計(jì)了人臉檢測(cè)系統(tǒng).通過MIT人臉庫和自建人臉庫結(jié)合的方法，且對(duì)該人臉庫進(jìn)行有效的訓(xùn)練，實(shí)現(xiàn)人臉檢測(cè)功能，提高了檢測(cè)率和檢測(cè)速度.利用連續(xù)自適應(yīng)均值移動(dòng)算法（Continuously Adaptive Mean Shift，Camshift）對(duì)人臉進(jìn)行跟蹤，并對(duì)Camshift算法進(jìn)行改進(jìn)，利用Adaboost人臉檢測(cè)初始化模板的方法，將檢測(cè)與跟蹤結(jié)合起來，有效提高了人臉跟蹤效率.

人臉檢測(cè)；人臉跟蹤；Adaboost算法；Camshift算法

人臉檢測(cè)和跟蹤是模式識(shí)別與計(jì)算機(jī)視覺研究領(lǐng)域重要的研究課題，在自動(dòng)人臉識(shí)別、視頻會(huì)議、智能視頻監(jiān)控、高級(jí)人機(jī)交互和醫(yī)療診斷等多個(gè)領(lǐng)域具有重要的應(yīng)用價(jià)值.目前，國(guó)內(nèi)外比較成功的跟蹤方法有：1997年Crowley J L等人［1］結(jié)合人眼檢測(cè)模型、膚色模型和相關(guān)匹配方法實(shí)現(xiàn)了人臉實(shí)時(shí)跟蹤；梁路宏［2］等提出了一種基于雙眼模板匹配與人工神經(jīng)網(wǎng)的人臉跟蹤算法；佘九華等［3］利用Adaboost人臉檢測(cè)算法并結(jié)合Camshift算法改進(jìn)了顏色直方圖模型；王亮亮等［4］利用Adaboost算法進(jìn)行快速人臉檢測(cè)，通過Canny濾波獲取精確的人臉區(qū)域，建立膚色直方圖模型，并在Camshift算法的基礎(chǔ)上運(yùn)用人臉形態(tài)約束，通過Kalman濾波進(jìn)行實(shí)時(shí)人臉跟蹤.

人臉檢測(cè)與跟蹤系統(tǒng)由人臉檢測(cè)系統(tǒng)和跟蹤系統(tǒng)2部分組成，本研究基于Adaboost檢測(cè)原理，對(duì)訓(xùn)練系統(tǒng)進(jìn)行改進(jìn)，設(shè)計(jì)了人臉檢測(cè)系統(tǒng).由于MIT人臉庫的樣本為灰度圖像，且分辨率比較低，可能會(huì)影響訓(xùn)練的效果.因此，本研究自建了人臉樣本庫，樣本選取數(shù)目更多，包含了正臉、側(cè)臉、復(fù)雜背景以及多個(gè)大小不同的人臉，采用更大的樣本庫且選取了2倍于人臉樣本數(shù)目的非人臉樣本來進(jìn)行Adaboost訓(xùn)練.同時(shí)，使用新的分類器進(jìn)行檢測(cè)，可實(shí)現(xiàn)多姿態(tài)的人臉檢測(cè)，提高了檢測(cè)率和檢測(cè)速度.引入Adaboost人臉檢測(cè)算法實(shí)現(xiàn)人臉的自動(dòng)初始化，將檢測(cè)與跟蹤結(jié)合起來，提高了跟蹤效率.利用人臉檢測(cè)訓(xùn)練所得到的更有效的分類器特征進(jìn)行檢測(cè)，檢測(cè)結(jié)果更準(zhǔn)確，將其作為跟蹤的初始窗口，基于Camshift算法進(jìn)行跟蹤.本系統(tǒng)的開發(fā)平臺(tái)是Visual C＋＋6.0，采用VC＋＋6.0調(diào)用OpenCV［5］，主要是利用OpenCV提供的接口實(shí)現(xiàn)并優(yōu)化了人臉檢測(cè)與跟蹤的功能.

1 Adaboost算法

Adaboost算法是一種分類器算法，算法的核心思想是從一個(gè)很大的特征集中選擇很小的一部分關(guān)鍵視覺特征，從而產(chǎn)生一個(gè)極其有效的分類器.它通過一定的方法將大量分類能力一般的簡(jiǎn)單分類器疊加起來，構(gòu)成一個(gè)分類能力很強(qiáng)的強(qiáng)分類器，再將若干個(gè)強(qiáng)分類器串聯(lián)成為級(jí)聯(lián)分類器完成圖像搜索檢測(cè).對(duì)于每一種特征而言，弱學(xué)習(xí)器決定弱分類器的最佳門限值，使其具有最小的誤分樣本數(shù)，全部檢測(cè)過程的形式是一個(gè)退化的決策樹.

（3）選擇具有最小誤差εt的簡(jiǎn)單分類器h t加入到強(qiáng)分類器中.

（4）更新每個(gè)樣本所對(duì)應(yīng)的權(quán)重和該輪分類器的權(quán)值.權(quán)值更新后，第t輪循環(huán)結(jié)束，進(jìn)入下一輪循環(huán).

通過線性加權(quán)疊加，形成級(jí)聯(lián)強(qiáng)分類器.遵循“先重后輕”的級(jí)聯(lián)分類器思想，將由重要特征構(gòu)成的結(jié)構(gòu)較簡(jiǎn)單的強(qiáng)分類器放在前面，這樣可以先排除大量的非人臉樣本，從而提高檢測(cè)速度.圖1給出了Adaboost人臉檢測(cè)算法進(jìn)行訓(xùn)練和檢測(cè)的流程圖.

圖1 Adaboost訓(xùn)練檢測(cè)過程Figure 1 Adaboost training test process

2 Camshift算法

Camshift［6－8］算法流程如圖2所示.

圖2 Camshift算法流程Figure 2 Camshift algorithm flow chart

首先選擇初始搜索窗口，使窗口恰好包含整個(gè)跟蹤目標(biāo)，然后對(duì)窗口中每個(gè)像素的H通道上的值采樣，從而得到目標(biāo)的色調(diào)直方圖，將該直方圖保存下來作為目標(biāo)的顏色直方圖.在跟蹤過程中，對(duì)視頻圖像處理區(qū)域的每一個(gè)像素，通過查詢目標(biāo)的顏色直方圖模型可以得到該像素為目標(biāo)像素的概率，圖像處理區(qū)域之外的其他區(qū)域作為概率為0的區(qū)域.經(jīng)上述處理，視頻圖像轉(zhuǎn)換為目標(biāo)顏色概率分布圖，也稱為目標(biāo)顏色投影圖.為便于顯示，將投影圖轉(zhuǎn)化為8位的灰度投影圖，概率為1的像素值設(shè)為255，概率為0的像素值為0，其他像素也轉(zhuǎn)換為相應(yīng)的灰度值.

Camshift算法的具體運(yùn)算步驟如下：

第1步：在顏色概率分布圖中初始化一個(gè)搜索窗口W，其大小為S.

第2步：利用Mean Shift算法使搜索窗口“收斂”.

第3步：重新設(shè)置搜索窗口的大小S并計(jì)算跟蹤目標(biāo)的輸出參數(shù).

第4步：跳轉(zhuǎn)到第2步進(jìn)入下一幀的循環(huán).

對(duì)于人臉跟蹤系統(tǒng)，選擇橢圓模型可以很好地近似人臉，在輸出跟蹤人臉的參數(shù)時(shí)，以橢圓模型的形式描述跟蹤結(jié)果.橢圓模型參數(shù)包括橢圓的長(zhǎng)軸、短軸和方向角（長(zhǎng)軸與水平方向夾角）.通過計(jì)算搜索窗口的二階矩，可以得到被跟蹤目標(biāo)的長(zhǎng)軸、短軸和方向角.

根據(jù)上述步驟計(jì)算的結(jié)果為輸出每一幀圖像中最優(yōu)匹配目標(biāo)的中心和橢圓參數(shù)，在輸出的視頻序列圖像中描繪出該區(qū)域，從而形成對(duì)目標(biāo)的連續(xù)跟蹤.

3 人臉檢測(cè)系統(tǒng)的實(shí)現(xiàn)

基于Adaboost的人臉檢測(cè)系統(tǒng)主要包含2個(gè)模塊：訓(xùn)練部分和檢測(cè)部分，其中訓(xùn)練過程起著決定性的作用.

3.1 訓(xùn)練部分

在Adaboost訓(xùn)練之前，需要準(zhǔn)備樣本，包括正樣本和負(fù)樣本，本研究中即為人臉圖片和非人臉圖片.一般來說，一個(gè)標(biāo)準(zhǔn)的人臉樣本至少應(yīng)該是一幅包含有一個(gè)人臉角度偏轉(zhuǎn)角度不大的全人臉圖片［5］.

實(shí)驗(yàn)中用到的標(biāo)準(zhǔn)人臉庫是MIT－CBCL的人臉庫，此人臉樣本庫包括2 429個(gè)人臉樣本，4 548個(gè)非人臉樣本，圖像格式為pgm，分辨率為19×19.除此之外，還用到了自建人臉庫中的圖片.圖3為部分正人臉樣本，正樣本具有多樣化特征，存在有胡須、戴眼鏡、頭發(fā)遮擋、表情各異等多種情況.圖4是部分負(fù)樣本圖像，圖像出自自然和人為的各種環(huán)境，具有較強(qiáng)的代表性［6］.

圖3 部分正人臉樣本Figure 3 Part of face samples

圖4 部分負(fù)樣本圖像Figure 4 Part of negative samples

訓(xùn)練時(shí)使用的是Windows系統(tǒng)下兼容性較好的JPG圖像格式，所以需要把pgm圖像轉(zhuǎn)化為JPG圖像.轉(zhuǎn)化完成以后，由于人臉樣本寬度較小，不利于正樣本打包處理，本研究再將19×19的JPG圖像轉(zhuǎn)化為40×40的JPG圖像.樣本制備成功以后，需要生成樣本描述文件.樣本描述文件是在訓(xùn)練過程開始之前，把樣本的列表生成一個(gè)文件保存起來，以備訓(xùn)練時(shí)調(diào)用.一般情況下，正樣本的樣本描述文件中記錄了樣本圖片的文件名和樣本的選擇區(qū)域，負(fù)樣本的樣本描述文件只是文件名列表.正樣本和負(fù)樣本的列表描述文件均為txt格式.

MIT人臉庫的樣本為灰度圖像，且分辨率較低，可能會(huì)影響訓(xùn)練的效果.本研究自建了人臉樣本庫，自建人臉庫包括：個(gè)人收集的部分生活照和網(wǎng)上搜索得到的部分明星圖片，利用iSee圖片專家從圖片中進(jìn)行人臉區(qū)域的選取.自建的人臉樣本需要手動(dòng)添加到正樣本文件列表中，得到融合的樣本列表文件之后，對(duì)正樣本進(jìn)行打包，得到Vec.vec文件.Adaboost訓(xùn)練之前還需要初始化大量的參數(shù)，包括4類：與樣本相關(guān)的參數(shù)、與特征相關(guān)的參數(shù)、與訓(xùn)練類型相關(guān)的參數(shù)和與控制相關(guān)的參數(shù).至此，訓(xùn)練的全部準(zhǔn)備工作已經(jīng)完成.

樣本的訓(xùn)練過程是按照Adaboost算法選擇弱分類器，形成強(qiáng)分類器，再由強(qiáng)分類器級(jí)聯(lián)成為1個(gè)有效的分類器.訓(xùn)練程序在后臺(tái)執(zhí)行訓(xùn)練操作，訓(xùn)練流程圖如圖5所示.

圖5 訓(xùn)練程序流程圖Figure 5 Training flow chart

3.2 檢測(cè)部分

檢測(cè)部分是根據(jù)訓(xùn)練所得到的分類器特征（一般存儲(chǔ)為xml文件）對(duì)輸入圖片進(jìn)行檢測(cè)，檢測(cè)結(jié)果是圖像中目標(biāo)所在的位置.人臉檢測(cè)的過程如圖6所示.

圖6 人臉檢測(cè)流程圖Figure 6 Face detection flow chart

4 人臉跟蹤系統(tǒng)的實(shí)現(xiàn)

傳統(tǒng)的Camshift算法一般采用手動(dòng)選取初始化模板的方法，缺點(diǎn)是需要人員參與，在無人情況下，無法做到人臉跟蹤.如需在無人情況下初始化跟蹤模板，則需要人臉檢測(cè)參與進(jìn)來［8］.

本研究結(jié)合Adaboost與Camshift算法設(shè)計(jì)的人臉跟蹤系統(tǒng)根據(jù)人臉檢測(cè)訓(xùn)練所得到的更有效的分類器特征（一般存儲(chǔ)為xml文件）進(jìn)行檢測(cè)，檢測(cè)結(jié)果作為跟蹤的初始窗口，計(jì)算顏色直方圖，得到各種顏色的概率分布，并記錄這時(shí)人臉區(qū)域的面積為S.然后連續(xù)從視頻流中抓取下一幀圖像，用Camshift算法進(jìn)行跟蹤.在每次跟蹤時(shí)，判斷跟蹤目標(biāo)區(qū)域面積是否大于S／3且小于5S／3，如果在此范圍內(nèi)，則繼續(xù)跟蹤；如果不在，則采用Adaboost檢測(cè)人臉，再作為人臉跟蹤的初始窗口，依次迭代，從而實(shí)現(xiàn)人臉的自動(dòng)跟蹤.

5 測(cè)試結(jié)果

5.1 人臉檢測(cè)

使用標(biāo)準(zhǔn)的人臉檢測(cè)測(cè)試圖片Lena為樣本，測(cè)試不同參數(shù)下的準(zhǔn)確率與耗時(shí)情況.測(cè)試過程中，主要更改了測(cè)試樣本的大小、搜索窗口的比例系數(shù)和檢測(cè)目標(biāo)的相鄰矩形的最小個(gè)數(shù).為了避免結(jié)果的隨機(jī)性，本測(cè)試采用多次（10次）檢測(cè)求平均值的辦法.檢測(cè)結(jié)果如圖7所示，檢測(cè)結(jié)果比較如表1所示.

圖7 人臉檢測(cè)結(jié)果Figure 7 Face detecting result

表1 不同參數(shù)的檢測(cè)結(jié)果比較Table 1 Results comparing of different parameters

本研究還進(jìn)行了不同人臉檢測(cè)算法的性能測(cè)試，包括主成分分析（Principle Component Analy－sis，PCA）算法、人工神經(jīng)網(wǎng)絡(luò)（Artrficial Neural ANetwork，ANN）算法和支持向量機(jī)（Support Vector Machines，SVM）算法.為了對(duì)人臉檢測(cè)能力進(jìn)行分析，采用大量的靜態(tài)圖片進(jìn)行測(cè)試.圖像來源包括CMU測(cè)試集、ORL測(cè)試集和從互聯(lián)網(wǎng)下載等，包含各種環(huán)境和背景、不同尺寸、不同角度的多人臉圖像.用這樣一組同樣的圖片測(cè)試，并對(duì)比Adaboost檢測(cè)算法和本研究所采用的方法.測(cè)試圖片共540張，包含722個(gè)人臉，檢測(cè)結(jié)果如表2所示.

表2 不同人臉檢測(cè)算法測(cè)試結(jié)果Table 2 Detecting results of different algorithms

實(shí)驗(yàn)表明，使用新的分類器檢測(cè)人臉，在檢測(cè)率上優(yōu)于其他算法，并且縮短了檢測(cè)時(shí)間，說明本研究所采用的方法具有更好的應(yīng)用性和推廣性，可將其應(yīng)用在人臉跟蹤系統(tǒng)上，使初始化模板更加準(zhǔn)確.

5.2 人臉跟蹤

引進(jìn)了Adaboost人臉檢測(cè)的方法初始化跟蹤模板.在實(shí)際的檢測(cè)過程中，首先檢測(cè)到了人臉的區(qū)域，并且把它確定為跟蹤模板.自動(dòng)初始化界面如圖8所示.

圖8 自動(dòng)初始化的界面Figure 8 Auto initialization interface

得到跟蹤模板后，Camshift跟蹤開始，圖9為自動(dòng)初始化后的跟蹤人臉效果圖.

圖9 自動(dòng)初始化后的跟蹤人臉效果圖Figure 9 Rendering of face tracking

6 結(jié)論

本研究在Windows環(huán)境下，通過Visual C＋＋編程，實(shí)現(xiàn)了Adaboost人臉檢測(cè)功能和Camshift人臉跟蹤功能.系統(tǒng)通過MIT人臉庫和自建人臉庫結(jié)合的方法，對(duì)該人臉庫進(jìn)行了有效訓(xùn)練，實(shí)驗(yàn)證明該系統(tǒng)在檢測(cè)率和檢測(cè)速度上均有一定的提高.大量的檢測(cè)實(shí)驗(yàn)證明：做為檢測(cè)對(duì)象的樣本越復(fù)雜（樣本包含了正臉、側(cè)臉、復(fù)雜背景以及多個(gè)大小不同的人臉），圖片參數(shù)的設(shè)置對(duì)檢測(cè)結(jié)果起到越大的影響.同時(shí)，提出一種新的人臉跟蹤優(yōu)化算法，該算法利用Adaboost人臉檢測(cè)初始化模板的方法，實(shí)現(xiàn)了人臉跟蹤功能.

［1］ Crowley J L，Berard F.Multi－modal tracking of faces for video communications［J］.Computer Vision and Pattem Recognition，1997：640－645.

［2］ 梁路宏，艾海舟.基于人臉檢測(cè)的人臉跟蹤算法［J］.計(jì)算機(jī)工程與應(yīng)用，2001，17：42－45.

［3］ 佘九華，王敬東，李鵬.基于Camshift的人臉跟蹤算法［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2008，18（9）：12－15.

［4］ 王亮亮，孫即祥，譚志國(guó).基于人臉檢測(cè)和CAMSHIFT算法的人臉跟蹤系統(tǒng)［J］.微計(jì)算機(jī)應(yīng)用，2008，29（2）：14－17.

［5］ 賈小軍，喻擎蒼.基于開源計(jì)算機(jī)視覺庫OpenCV的圖像處理［J］.計(jì)算機(jī)應(yīng)用與軟件，2008，25（4）：276－278.

［6］ Schmidt A，Kasiński A.The performance of the haar cascade classifiers applied to the face and eyes detection［J］.Advances in Soft Computing，2007，45：816－823.

［7］ 李大湘，彭進(jìn)業(yè)，鄧楠.基于多模型及SVM的單人臉跟蹤系統(tǒng)［J］.微計(jì)算機(jī)應(yīng)用，2006，27（3）：181－184.

［8］ 邢昕，汪孔橋，沈蘭蓀.基于器官跟蹤的人臉實(shí)時(shí)跟蹤方法［J］.電子學(xué)報(bào)，2000，28（6）：29－31.

Design of face detection and tracking system

WANGNailin，LIURuian，ZHANGMimi

（College of Physics and Electronic Information，Tianjin Normal University，Tianjin 300387，China）

Based on the face detection theory of Adaboost，incorporating with the program of Visual C＋＋in Windows，a face detection system is designed.This system realizes the function of face detection and increases detection rate and speed by the combination of MIT face database and self－created face database，and the effective training of face database.Utilizing continuously adaptive mean shift（Camshift）algorithm to track the face，the Camshift algorithm is improved.Utilizing the method of initialization template of Adaboost face detection，the detection is combined with tracking to increase the face tracking efficiency.

face detection；face tracking；Adaboost algorithm；Camshift algorithm

TP391.41

A

1671－1114（2011）01－0045－05

2010－05－18

天津自然科學(xué)基金（09JCYBJC00100）；濱海新區(qū)科技特派員科技專項(xiàng)（SB20080079）；天津師范大學(xué)博士基金（52LX32）

王迺林（1984—），女，碩士研究生.

劉瑞安（1966—），男，教授，主要從事檢測(cè)技術(shù)方面的研究.

（責(zé)任編校 紀(jì)翠榮）