王 平，鄒 暘，熊 殷

(南昌大學(xué)信息工程學(xué)院，江西 南昌 330031)

人臉檢測(cè)作為一項(xiàng)特殊的物體檢測(cè)，來(lái)源于人臉識(shí)別技術(shù)，一直以來(lái)受到各界的廣泛關(guān)注。人臉檢測(cè)的方法多為基于統(tǒng)計(jì)學(xué)的后驗(yàn)學(xué)習(xí)方法，譬如ANN人工神經(jīng)元網(wǎng)絡(luò)、貝葉斯決策以及SVM支持向量機(jī)［1-2］。其中，Paul Viola［3］提出的Adaboost算法在保證高質(zhì)量檢測(cè)效果的同時(shí)，解決了檢測(cè)速度的問(wèn)題。同時(shí)，隨著近年來(lái)嵌入式技術(shù)與視頻通信設(shè)備的高速發(fā)展，DSP具有更加貼近視覺(jué)工程應(yīng)用的特點(diǎn)，在人臉檢測(cè)方面有了廣泛的應(yīng)用空間。

本文采用 Lienhart等人［4］提出的 Gentle Adaboost算法，提出并擴(kuò)充了Haar特征，設(shè)計(jì)實(shí)現(xiàn)了以TMS320DM642為核心的多姿態(tài)人臉檢測(cè)系統(tǒng)，最后對(duì)算法代碼以及工程進(jìn)行了優(yōu)化處理。在略微損失系統(tǒng)實(shí)時(shí)速度的前提下，獲得了很好的多姿態(tài)人臉檢測(cè)效果，證明了該系統(tǒng)在實(shí)際工程應(yīng)用中的可行性，為嵌入式人臉檢測(cè)的后續(xù)應(yīng)用打下了基礎(chǔ)。

1 Gentle Adaboost人臉檢測(cè)算法

Gentle Adaboost人臉檢測(cè)算法是通過(guò)Gentle Adaboost算法學(xué)習(xí)出級(jí)聯(lián)型人臉?lè)诸惼?，在此基礎(chǔ)上進(jìn)行Haar灰度特征值判別的算法，具有魯棒性強(qiáng)、檢測(cè)率高等特點(diǎn)。

1.1 擴(kuò)展型Haar灰度特征

Gentle Adaboost算法采用Haar灰度矩形特征進(jìn)行人臉建模［5］，使用灰度積分圖進(jìn)行人臉特征值的快速計(jì)算。在傳統(tǒng)人臉矩形特征的基礎(chǔ)上，Lienhart等人［4］提出了擴(kuò)展型矩形特征，將傳統(tǒng)特征矩形旋轉(zhuǎn)45°，用來(lái)檢測(cè)傾斜的人臉。擴(kuò)展型矩形特征分為三大類:邊緣特征，線性特征，中心環(huán)繞特征。為滿足多姿態(tài)檢測(cè)的需要，本文又?jǐn)U充了6種矩形特征，所有矩形特征如圖1所示。用白色區(qū)域與黑色區(qū)域的灰度值差值作為該特征的特征值，每個(gè)特征都是一個(gè)弱分類器。

圖1 Haar灰度值矩形特征

1.2 Gentle Adaboost算法

Gentle Adaboost算法從訓(xùn)練樣本中挑選出一些最能代表人臉的矩形特征，將這些弱分類器組合成一個(gè)誤檢率低于最大誤檢率fmax(為0.4～0.5)，人臉命中率高于最小命中率dmin(為0.995)的強(qiáng)分類器;將若干強(qiáng)分類器組合成一個(gè)級(jí)聯(lián)型分類器，直到級(jí)聯(lián)型分類器的誤檢率Fpre低于最大誤檢率Fmax。

1.2.1 強(qiáng)分類器的訓(xùn)練

強(qiáng)分類器的訓(xùn)練具體步驟為:

1)現(xiàn)有一組訓(xùn)練樣本 (x1，y1)，(x2，y2)，…，(xi，yi)，其中，xi表示的是樣本，yi表示樣本類別，當(dāng)i=1時(shí)，為人臉樣本，i=-1時(shí)，為非人臉樣本。初始化所有樣本的權(quán)值wi=1/m，m為總樣本個(gè)數(shù)。

1.2.2 級(jí)聯(lián)分類器的訓(xùn)練

級(jí)聯(lián)分類器層數(shù)M=logFmax/log fmax。獲取一個(gè)強(qiáng)分類器Hn(xi)，與前n－1個(gè)強(qiáng)分類器組成當(dāng)前級(jí)聯(lián)分類器對(duì)人臉樣本與非人臉樣本進(jìn)行驗(yàn)證，剔除被誤檢的人臉樣本與被正確檢測(cè)的非人臉樣本;同時(shí)，補(bǔ)充無(wú)法被當(dāng)前級(jí)聯(lián)分類器正確分類的非人臉樣本到訓(xùn)練樣本中，更新樣本個(gè)數(shù)，最后回到1.2.1節(jié)進(jìn)行下一輪的強(qiáng)分類器訓(xùn)練，直到Fpre＞Fmax。

本文使用Gentle Adaboost算法，訓(xùn)練了10層強(qiáng)分類器組成的級(jí)聯(lián)分類器。訓(xùn)練樣本中，正面人臉樣本為3000張，圖像大小全部歸一化為20×20;噪聲人臉、殘缺人臉、背景圖片等非人臉樣本為7000張。

2 人臉檢測(cè)系統(tǒng)

2.1 系統(tǒng)平臺(tái)設(shè)計(jì)

系統(tǒng)總體設(shè)計(jì)可分為三大單元模塊:DM642模塊、視頻采集回放模塊、EMIF存儲(chǔ)擴(kuò)展模塊。系統(tǒng)硬件框圖如圖2所示。

圖2 系統(tǒng)硬件框圖

2.1.1 DM642模塊

系統(tǒng)選用的CPU為TI公司TMS320DM642芯片(簡(jiǎn)稱DM642)，該芯片是基于C64X內(nèi)核的高端視頻處理芯片，并擴(kuò)展了外圍設(shè)備接口。DM642采用二級(jí)Cache緩存結(jié)構(gòu)(32 kbyte的L1與256 kbyte的L2);其64位外部存儲(chǔ)器接口(EMIF)能夠無(wú)縫連接異步存儲(chǔ)器(SRAM，EPROM)及同步存儲(chǔ)器(SDRAM，F(xiàn)IFO)，方便大量數(shù)據(jù)的搬移;3個(gè)可配置的視頻端口(VPORT0～2)能夠與視頻編、解碼器實(shí)現(xiàn)無(wú)縫連接，同時(shí)支持多種視頻分辨率及視頻標(biāo)準(zhǔn)和RAW視頻輸入/輸出。系統(tǒng)主要使用了VP1和VP2視頻端口，EMIF端口，并且采用50 MHz晶振作為外部時(shí)鐘輸入，通過(guò)PLL鎖相環(huán)12倍頻后獲取600 MHz的CPU內(nèi)部時(shí)鐘。利用TI公司的TPS54350芯片為系統(tǒng)提供3.3 V電源(包括1.4 V的內(nèi)核電壓和3.3 V的I/O外部設(shè)備電壓)來(lái)確保DM642高頻率下的穩(wěn)定工作，同時(shí)監(jiān)控輸入電壓，實(shí)現(xiàn)上電初始化復(fù)位。

2.1.2 視頻采集回放模塊

由于輸入信號(hào)是CCD攝像頭采集的模擬信號(hào)，因此采用TI公司的TVP5150PBS解碼器與VP2口連接，對(duì)輸入信號(hào)按照YCbCr 4∶2∶2格式進(jìn)行A/D轉(zhuǎn)換后，輸出ITU-RBT.656格式視頻信號(hào)。TVP5150PBS支持PAL/NTSC/SECAM格式視頻，DM642通過(guò)I2C總線配置其內(nèi)部寄存器進(jìn)行視頻格式的設(shè)置。硬件連接圖如圖3所示。圖中，YOUT［7-0］口與 VP2 數(shù)據(jù)位 VP2_D［7-2］相連，用于傳輸數(shù)據(jù)。時(shí)鐘線PSLK/SCLK與DM642的VP2_CLK1相連，為數(shù)據(jù)傳輸提供時(shí)鐘信號(hào)。同時(shí)為滿足視頻自環(huán)回放，需要將DSP處理后的數(shù)字信號(hào)轉(zhuǎn)換為模擬信號(hào)輸出。因此，采用PHILIPS公司的SAA7104編碼器對(duì)處理后的BT.656視頻信號(hào)進(jìn)行D/A轉(zhuǎn)換后輸出給顯示器。DM642通過(guò)I2C總線對(duì)SAA7104進(jìn)行視頻格式的配置。硬件連接圖如圖4所示。圖中，時(shí)鐘線PIXCLK1與VP2CLK1相連，因此SAA7104時(shí)鐘由TVP5150提供，實(shí)現(xiàn)視頻采集與回放的同步。SAA7104將輸入的YCbCr視頻信號(hào)分離后單獨(dú)進(jìn)行數(shù)模轉(zhuǎn)換，通過(guò)引腳輸出復(fù)合視頻信號(hào)或者S-子端信號(hào)。

圖3 TVP5150端口連接圖

2.1.3 EMIF存儲(chǔ)擴(kuò)展模塊

圖4 SAA7104端口連接圖

系統(tǒng)人臉檢測(cè)涉及到大批量程序處理，同時(shí)伴隨大量數(shù)據(jù)的產(chǎn)生。為了保證系統(tǒng)的運(yùn)行效率，DM642內(nèi)部的256 kbyte Cache全部用于代碼運(yùn)算，同時(shí)必須外接SDRAM滿足系統(tǒng)開銷。DM642提供的EMIF端口具有64 bit數(shù)據(jù)線、若干控制總線和4個(gè)片使能地址空間(CE0～CE3，其中CE0分配給SDRAM，CE1分配給Flash)。系統(tǒng)選用2片MT 48LC4M32B2(4 Bank×1 M×32 bit)構(gòu)成4 M×64 bit的外設(shè)RAM，供程序開銷與數(shù)據(jù)存儲(chǔ);采用1片AM29L008B Flash芯片(4 M×8 bit)組成外設(shè)ROM，供程序燒錄。

2.2 系統(tǒng)檢測(cè)流程

系統(tǒng)運(yùn)行后，通過(guò)攝像頭采集一幀視頻信號(hào)，緩存在SDRAM中供DSP芯片進(jìn)行人臉檢測(cè)。計(jì)算出圖像的灰度積分圖，利用24×24規(guī)格的窗口遍歷整個(gè)圖片。對(duì)第一個(gè)窗口圖像進(jìn)行特征值與擴(kuò)大窗口的相似度特征值的計(jì)算，根據(jù)訓(xùn)練的10層級(jí)聯(lián)分類器進(jìn)行閾值判斷。通過(guò)了所有強(qiáng)分類器閾值檢測(cè)的窗口及擴(kuò)大窗口被標(biāo)記為人臉窗口，否則，立即停止該窗口的檢測(cè)，進(jìn)行下一窗口的處理。所有窗口檢測(cè)完畢后將重復(fù)標(biāo)記的人臉窗口進(jìn)行合并，獲得有人臉標(biāo)記的圖像后并將其輸出，同時(shí)進(jìn)行下一幀圖像的獲取與檢測(cè)。檢測(cè)流程圖如圖5所示。

圖5 系統(tǒng)檢測(cè)流程圖

2.3 檢測(cè)算法實(shí)現(xiàn)與優(yōu)化

2.3.1 算法的實(shí)現(xiàn)

參考Intel公司開源的Opencv計(jì)算機(jī)視覺(jué)庫(kù)代碼。由于該庫(kù)的C及C++類代碼基于X86構(gòu)造芯片進(jìn)行了優(yōu)化，因此必須對(duì)代碼中的數(shù)據(jù)結(jié)構(gòu)和人臉檢測(cè)算法進(jìn)行裁剪、修改，使其適合在DSP系統(tǒng)上運(yùn)行。利用CCS2.20.18在系統(tǒng)初始的視頻回放工程文件基礎(chǔ)上進(jìn)行代碼修改與工程配置，將工程的軟件流水線優(yōu)化選項(xiàng)設(shè)置為-ms0，以此提高代碼的運(yùn)行效率。結(jié)合EMCV庫(kù)，最終在DSP上實(shí)現(xiàn)人臉檢測(cè)算法。

2.3.2 浮點(diǎn)運(yùn)算定點(diǎn)化

DM642是一款定點(diǎn)運(yùn)算的DSP處理器。由于人臉檢測(cè)算法采用了大量浮點(diǎn)運(yùn)算，為提高檢測(cè)速度，必須采取浮點(diǎn)運(yùn)算轉(zhuǎn)定點(diǎn)運(yùn)算的優(yōu)化措施。定點(diǎn)化的優(yōu)化方法有兩種:1)在保證精度的前提下，手工對(duì)數(shù)據(jù)位進(jìn)行修改，提取指數(shù)和尾數(shù)，最后對(duì)尾數(shù)進(jìn)行移位操作;2)直接調(diào)用TI公司浮點(diǎn)運(yùn)算轉(zhuǎn)定點(diǎn)的FastRts庫(kù)，利用庫(kù)函數(shù)進(jìn)行浮點(diǎn)運(yùn)算定點(diǎn)化的優(yōu)化。系統(tǒng)采用后者的優(yōu)化方案，并使用DSP C6000系列芯片獨(dú)有的內(nèi)聯(lián)函數(shù)_mpyd()，_addd()，_fixfi()，_divd()等，對(duì)算法循環(huán)體系內(nèi)的算術(shù)代碼進(jìn)行運(yùn)算加速優(yōu)化。調(diào)用Bios函數(shù)CLK_getltime()獲取檢測(cè)算法在DM642上的檢測(cè)時(shí)間。

2.3.3 圖像Scale預(yù)處理

選取分辨率為704×480的NTSC格式視頻，對(duì)其縮放并獲取分辨率為352×240的CIF格式圖像。由于人臉檢測(cè)是基于灰度值進(jìn)行計(jì)算的，對(duì)于待檢圖像的分辨率要求也不高，因此只對(duì)Y分量灰度值信號(hào)進(jìn)行Scale預(yù)處理，除去其奇數(shù)行掃描線與奇數(shù)列像素信息，使待檢圖像面積縮小為CIF圖像的1/4，從而減少待檢圖像的信息量。采用此方法優(yōu)化后，DSP從PC機(jī)上讀取100張待檢彩色人臉圖片進(jìn)行檢測(cè)。調(diào)用函數(shù)CLK_getltime()獲取對(duì)圖片人臉檢測(cè)的檢測(cè)時(shí)間。

3 實(shí)驗(yàn)結(jié)果

3.1 優(yōu)化算法對(duì)系統(tǒng)性能的提升

在人臉檢測(cè)系統(tǒng)上(圖6所示)采用算法優(yōu)化方案，使用訓(xùn)練的10層級(jí)聯(lián)分類器對(duì)100張彩色待檢圖片進(jìn)行檢測(cè)，其檢測(cè)速度、檢測(cè)率和誤檢、漏檢率結(jié)果如表1所示。

圖6 系統(tǒng)實(shí)物圖

表1 實(shí)驗(yàn)數(shù)據(jù)

從表1中可以得出，在保證較高檢測(cè)率的前提下，對(duì)算法進(jìn)行浮點(diǎn)運(yùn)算定點(diǎn)化和圖像Scale預(yù)處理的優(yōu)化后，系統(tǒng)檢測(cè)速度分別提高了8倍和10倍。雖然誤檢率與漏檢率較未優(yōu)化前有所提高，但仍處于可接受的范圍內(nèi)。而檢測(cè)率保證在90%，確保了系統(tǒng)檢測(cè)的高精度性，同時(shí)系統(tǒng)檢測(cè)速度最終達(dá)到了13 f/s的實(shí)時(shí)速率。

3.2 多姿態(tài)人臉檢測(cè)

在該系統(tǒng)上對(duì)采集的多姿態(tài)人臉視頻信號(hào)進(jìn)行人臉檢測(cè)，檢測(cè)結(jié)果如圖7所示。

圖7 多姿態(tài)人臉檢測(cè)結(jié)果

實(shí)驗(yàn)結(jié)果表明該系統(tǒng)在光照充足的條件下，使用Gentle Adaboost人臉檢測(cè)算法和Haar特征訓(xùn)練出的人臉?lè)诸惼骺梢詫?duì)多個(gè)姿態(tài)的正面人臉進(jìn)行正確的人臉?lè)诸?，同時(shí)可以檢測(cè)出有一定偏轉(zhuǎn)角度的人臉，并且沒(méi)有誤檢出背景圖像，保證了較低的誤檢率，證明Gentle Adaboost算法在多姿態(tài)人臉檢測(cè)中有著優(yōu)異的表現(xiàn)，該系統(tǒng)能夠準(zhǔn)確檢測(cè)并標(biāo)記出各個(gè)姿態(tài)和小角度偏轉(zhuǎn)人臉。

4 結(jié)束語(yǔ)

本文使用Gentle Adaboost算法訓(xùn)練出級(jí)聯(lián)型人臉?lè)诸惼?，基于DM642設(shè)計(jì)并實(shí)現(xiàn)了多姿態(tài)人臉檢測(cè)實(shí)時(shí)系統(tǒng)，并對(duì)系統(tǒng)檢測(cè)速度進(jìn)行了一系列的優(yōu)化處理。在保證高檢測(cè)率的前提下，獲得了80倍的系統(tǒng)性能提升，達(dá)到了13 f/s的實(shí)時(shí)檢測(cè)速度。實(shí)驗(yàn)證明，該檢測(cè)系統(tǒng)很好地排除了背景區(qū)域，檢測(cè)出了圖像中各種姿態(tài)的人臉，拓展了人臉檢測(cè)在嵌入式領(lǐng)域的應(yīng)用范圍，也為下一階段的人臉識(shí)別、智能監(jiān)控、區(qū)域安防等具體應(yīng)用奠定了基礎(chǔ)。

［1］艾海舟，肖習(xí)攀，徐光佑.人臉檢測(cè)與檢索［J］.計(jì)算機(jī)學(xué)報(bào)，2003，26(7):874-881.

［2］楊稀，楊帆，李巖，等.復(fù)雜背景的快速人臉檢測(cè)研究［J］.電視技術(shù)，2011，35(23):125-128.

［3］VIOLA P，JONES M.Rapid object detection using a boosted cascade of simple features［C］//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Hawaii，USA:IEEE Press，2001:511-518.

［4］LIENHART R，MAYDT J.An extended set of Haar-like features for rapid object detection［J］.IEEE ICIP，2002，1:900-903.

［5］孫偉，張震國(guó)，張忠.基于DSP的多視角人臉檢測(cè)系統(tǒng)設(shè)計(jì)［J］.信息技術(shù)，2008(9):75-79.