張 璐，陳淑榮

（上海海事大學(xué) 信息工程學(xué)院，上海 201306）

行人檢測(cè)是計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域中的研究熱點(diǎn)，在視頻監(jiān)控中有廣泛的應(yīng)用。目前，用于行人檢測(cè)的方法主要分為3類：（1）基于運(yùn)動(dòng)信息的方法[1-2]，根據(jù)行人運(yùn)動(dòng)信息（如步態(tài)）實(shí)現(xiàn)行人檢測(cè)，實(shí)時(shí)性好但只限于運(yùn)動(dòng)行人；（2）基于先驗(yàn)知識(shí)建模的方法[3]，利用已知先驗(yàn)知識(shí)構(gòu)建人體模板和待測(cè)目標(biāo)進(jìn)行匹配，但模板的初始參數(shù)難以獲??；（3）基于特征統(tǒng)計(jì)分類的方法[4-9]，根據(jù)訓(xùn)練數(shù)據(jù)獲取有效分類器對(duì)輸入檢測(cè)窗口進(jìn)行檢測(cè)，實(shí)現(xiàn)簡(jiǎn)單且檢測(cè)效果較好，是目前靜態(tài)圖像行人檢測(cè)的主流方法，但對(duì)視頻行人檢測(cè)速度較慢。因此，如何保證視頻行人檢測(cè)的準(zhǔn)確率，并提高檢測(cè)速度是一個(gè)急需解決的問題。

1 本文行人檢測(cè)方法

視頻錄像中行人的不同姿勢(shì)、復(fù)雜的背景變化對(duì)算法的檢測(cè)準(zhǔn)確率和檢測(cè)速度都提出了嚴(yán)格要求。本文提出利用視頻中的運(yùn)動(dòng)信息獲取ROI區(qū)域，結(jié)合Fisher準(zhǔn)則挑選強(qiáng)分辨力行人HOG特征，并結(jié)合SVM分類器檢測(cè)行人。其中，訓(xùn)練部分采用正負(fù)樣本庫提取強(qiáng)分辨力HOG行人特征，并通過SVM訓(xùn)練得到強(qiáng)分辨力HOG特征的行人分類器。檢測(cè)時(shí)利用幀間信息獲得ROI區(qū)域，通過多層次縮放ROI區(qū)域獲取所有檢測(cè)窗，并利用強(qiáng)分辨力行人HOG特征來表征檢測(cè)窗中行人，通過訓(xùn)練好的分類器實(shí)現(xiàn)對(duì)視頻中行人的檢測(cè)。該算法框架如圖1所示。

1.1 視頻圖像ROI目標(biāo)區(qū)域提取

視頻幀圖像中存在大量的非人區(qū)域，全局掃描需要很多冗余計(jì)算。本文采用三幀差分法獲取運(yùn)動(dòng)目標(biāo)前景，進(jìn)行二值化處理、形態(tài)學(xué)處理和前景塊擴(kuò)展，獲取ROI目標(biāo)區(qū)域。具體實(shí)現(xiàn)步驟如下。

圖1 行人檢測(cè)系統(tǒng)框架

（1）采用三幀差分法獲取運(yùn)動(dòng)目標(biāo)前景。當(dāng)前幀的前景幀差圖為：

其中，IL（x，y，i）、IL（x，y，i-1）、IL（x，y，i-2）分別為第 i幀、第i-1幀和第i-2幀的亮度分量，d為幀間圖像對(duì)應(yīng)像素點(diǎn)亮度差的絕對(duì)值。

（2）對(duì)目標(biāo)前景圖進(jìn)行二值化處理和形態(tài)學(xué)處理。二值化處理為：

其中，D為初始閾值，D（x，y）為二值圖對(duì)應(yīng)像素點(diǎn)的亮度值。經(jīng)過膨脹、腐蝕二值圖像，獲得消除了噪聲、微小運(yùn)動(dòng)區(qū)域的目標(biāo)前景塊。

（3）根據(jù)行人體型特征參數(shù)，對(duì)比目標(biāo)前景塊，獲取有效的行人目標(biāo)前景塊。通過設(shè)置行人寬高比（w∶h）特征閾值，除去過窄、過小等不符合行人特征的目標(biāo)前景塊。

（4）擴(kuò)展行人目標(biāo)前景塊，以確保行人不出現(xiàn)在ROI目標(biāo)區(qū)域之外。矩形擴(kuò)展長度為：

其中，u是 0～1的一個(gè)值，w、h分別表示前景塊的寬、高。

（5）標(biāo)記擴(kuò)展后的行人目標(biāo)前景塊集合，構(gòu)建 ROI區(qū)域以進(jìn)行后續(xù)的特征提取和檢測(cè)。ROI目標(biāo)區(qū)域提取如圖2所示。

1.2 強(qiáng)分辨力行人特征提取

1.2.1 多尺度HOG特征

HOG特征是通過計(jì)算局部區(qū)域的梯度方向直方圖描述目標(biāo)形狀特征，對(duì)光照變化和小量的偏移不敏感。DALAL N提出的基本HOG是在 64×128的檢測(cè)窗內(nèi)提取105個(gè)16×16等大小的 Block特征塊，利用這些特征塊構(gòu)成描述符來訓(xùn)練和檢測(cè)行人。

等大小的基本HOG特征塊對(duì)描述行人較大的部位（如頭部、身體等）的整體信息能力有限，因此本文構(gòu)建HOG特征時(shí)采用了多尺度[6]方法，對(duì)于 64×128檢測(cè)窗，Block 塊的大小選取依次從 16×16 到 64×128，寬高比（w∶h）分別取 1∶1、1∶2 和 2∶1， 共獲得 452 個(gè)不同尺度的 Block塊。

在特征塊提取過程中，為避免特征塊交疊而引起的重復(fù)計(jì)算，引入“積分圖[6]”思想，每個(gè)像素點(diǎn)的特征由9維向量表示，即：

其中，G 為像素點(diǎn)梯度幅度值；λ＝（0，…，jk，…0）表示像素點(diǎn)梯度方向，jk＝1，k為梯度方向落在的區(qū)間。HOG特征簡(jiǎn)化為：

其中，s（x，y）表示點(diǎn)（0，0）到（x，y）直線上的像素向量累加，h（x，y）表示點(diǎn)（0，0）到（x，y）連接矩形內(nèi)像素向量累加。對(duì)于矩形區(qū)域內(nèi)的直方圖，統(tǒng)計(jì)可通過計(jì)算矩形4個(gè)頂點(diǎn)的值獲得。矩形區(qū)域像素值可表示為：

其中，h（x1，y1）、h（x2，y2）、h（x3，y3）、h（x4，y4）分別為矩形的4個(gè)頂點(diǎn)。

為了減少光照變化和陰影的影響，在計(jì)算特征時(shí)采用了L2-norm歸一化因子，即：

其中，xi為歸一化前特征值，i為 Block塊中特征數(shù)目，e為略大于0的常數(shù)。

1.2.2 基于Fisher準(zhǔn)則的行人強(qiáng)分辨力特征選取

由于高維HOG特征向量存在大量冗余信息，不僅影響提取、分類速度，某些維度向量還可能降低檢測(cè)的精度。本文利用Fisher準(zhǔn)則[5]分類特性挑選分類貢獻(xiàn)較大的強(qiáng)分辨力行人特征塊。通過計(jì)算兩類樣本特征的類間離散矩陣sb與總類內(nèi)離散度矩陣 sw的比值F（j）作為輸出權(quán)值，利用直線將行人特征、非行人特征區(qū)分開來，將分類的過程轉(zhuǎn)化為特征點(diǎn)在直線投影的過程，根據(jù)行人Block塊特征點(diǎn)距離直線遠(yuǎn)近來判斷Block塊的描述能力。Fisher準(zhǔn)則提取強(qiáng)分辨力特征的實(shí)現(xiàn)步驟如下。

（1）遍歷檢測(cè)窗中每個(gè) Block 塊（fi），根據(jù)式（9）～式（12），利用 Fisher準(zhǔn)則計(jì)算每個(gè)塊的輸出權(quán)值 F（j）。

其中，mi是兩類樣本均值的均值向量，Ni是樣本類的樣本數(shù)目。

其中，Sb、Sw分別為樣品類間離散度矩陣值、總類內(nèi)離散度矩陣值；F（j）為塊輸出權(quán)值，F(xiàn)（j）越大，Block 特征塊區(qū)分能力越強(qiáng)。

（2）依次對(duì)各個(gè) Block塊的F（j）從大到小降序排列。

（3）從降序序列中挑選新特征集fselect：

逐次添加一個(gè)fi直到fselect分類結(jié)果達(dá)到預(yù)期目標(biāo)。利用SVM驗(yàn)證分類效果，獲得最優(yōu)強(qiáng)分辨力行人特征f′select。

（4）對(duì)強(qiáng)分辨力特征 f′select進(jìn)行 SVM訓(xùn)練獲得分類器，用于后續(xù)ROI目標(biāo)區(qū)域行人檢測(cè)。

1.3 ROI目標(biāo)區(qū)域行人檢測(cè)

通常ROI目標(biāo)區(qū)域采用的檢測(cè)窗大小固定，而待檢測(cè)視頻圖像中的目標(biāo)位置、大小是隨機(jī)變化的。為避免行人漏檢，本文采用多層次窮盡搜索獲得檢測(cè)窗。將ROI區(qū)域按照一定的步長逐步縮放，直到達(dá)到預(yù)先設(shè)定的尺度。在不同尺度下分別進(jìn)行行人檢測(cè)，并將所有結(jié)果融合處理、標(biāo)記。行人檢測(cè)結(jié)果如圖3所示。

2 實(shí)驗(yàn)及結(jié)果分析

本文實(shí)驗(yàn)在MATLAB2008a上實(shí)現(xiàn)，計(jì)算機(jī)環(huán)境配置為3 GHz CPU和2 GB內(nèi)存。采用的數(shù)據(jù)來源于INRIA行人數(shù)據(jù)庫和PETS2006視頻庫。在提取強(qiáng)分辨力行人特征時(shí)，分別將 INRIA樣本庫中的 1 000個(gè)正、負(fù)樣本用于訓(xùn)練和檢測(cè)，并利用強(qiáng)分辨力HOG行人特征分類器對(duì)PETS2006視頻庫的視頻行人進(jìn)行檢測(cè)。實(shí)驗(yàn)采用libsvm工具包，選用線性SVM訓(xùn)練分類器。

文中通過對(duì)單尺度基本HOG擴(kuò)展，得到Block數(shù)為452的多尺度HOG，并利用Fisher準(zhǔn)則分別對(duì)不同尺度HOG進(jìn)行降維處理，獲得不同維數(shù)的強(qiáng)分辨力特征，結(jié)合SVM分類器驗(yàn)證不同尺度、不同維度的特征檢測(cè)效果。實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同HOG特征塊數(shù)的檢測(cè)對(duì)比

實(shí)驗(yàn)表明，擴(kuò)展后的多尺度HOG特征，SVM分類準(zhǔn)確率顯著提高；相同特征維數(shù)下 （表中只列出Block數(shù)為105、30、10的特征），多尺度特征比單尺度特征具有更高的檢測(cè)準(zhǔn)確率且降維幅度越大，多尺度特征優(yōu)勢(shì)越明顯。

文中采用設(shè)定最低檢測(cè)率來提高檢測(cè)速率，利用SVM分類的效果來選擇最佳分辨力特征。如表1所示，在多尺度下，當(dāng)選取特征塊數(shù)為10時(shí)，保證了行人檢測(cè)的準(zhǔn)確率，提取、檢測(cè)的速率比基本HOG都有所提高，檢測(cè)速率提高了9.7倍。本文取多尺度下Block數(shù)為10的特征集作為f′select，訓(xùn)練分類器進(jìn)行行人檢測(cè)和分類。

實(shí)驗(yàn)通過ROI目標(biāo)區(qū)域提取，大大降低了檢測(cè)窗口數(shù)量，并與傳統(tǒng) HOG全局掃描算法、Adaboost[3，8]算法作比較。由于本文算法ROI目標(biāo)區(qū)域大小直接受行人數(shù)量、大小影響，實(shí)驗(yàn)選取統(tǒng)一的單行人視頻序列進(jìn)行測(cè)試，幀像素大小為720×480。實(shí)驗(yàn)結(jié)果如表2所示。

表2 幾種算法性能比較

[3，8]提到的 Adaboost算法是利用一系列弱分類器組合強(qiáng)分類器，根據(jù)每個(gè)樣本分類結(jié)果修改權(quán)值進(jìn)行下一層分類訓(xùn)練，訓(xùn)練分類器時(shí)依次對(duì)每個(gè)特征集單獨(dú)訓(xùn)練，耗費(fèi)時(shí)間很長。本文算法采用Fisher準(zhǔn)則提取的強(qiáng)分辨力行人特征訓(xùn)練分類器，特征整體一次投影實(shí)現(xiàn)一次分類，具有優(yōu)勢(shì)。

實(shí)驗(yàn)證明，本文算法比全局掃描減少了檢測(cè)窗數(shù)量，顯著提高了檢測(cè)的速率；在保證準(zhǔn)確率的前提下改進(jìn)單尺度HOG，利用多尺度降維HOG進(jìn)一步提高行人的檢測(cè)速率。本文算法不僅大幅度提高了行人檢測(cè)的速率，而且保證了視頻行人檢測(cè)準(zhǔn)確率在90%以上。

本文針對(duì)傳統(tǒng)HOG特征在行人檢測(cè)中存在高維度計(jì)算的問題，提出一種利用視頻運(yùn)動(dòng)信息和強(qiáng)分辨力行人HOG特征相結(jié)合的視頻行人檢測(cè)算法。利用INRIA行人庫和PETS2006視頻庫驗(yàn)證了算法的有效性。后續(xù)將針對(duì)夜間、雨天等復(fù)雜背景，進(jìn)一步驗(yàn)證和改進(jìn)算法。

參考文獻(xiàn)

[1]劉鑫，劉輝，強(qiáng)振平，等.混合高斯模型和幀間差分相融合的自適應(yīng)背景模型[J].中國圖象圖形學(xué)報(bào)，2008，4：729-734.

[2]王成亮，周佳，黃晟.基于高斯混合模型與 PCA_HOG的快速運(yùn)動(dòng)人體檢測(cè)[J].計(jì)算機(jī)應(yīng)用研究，2012，29（6）：2156-2160.

[3]周晨卉，王生進(jìn)，丁曉青.基于局部特征級(jí)聯(lián)分類器和模板匹配的行人檢測(cè) [J].中國圖象圖形學(xué)報(bào)，2010，15（5）：824-829.

[4]DALAL N，TRIGGS B.Histograms of oriented gradients for human detection[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition， CVPR2005，2005，1：886-893.

[5]孫昀，劉富強(qiáng)，李志鵬.基于穩(wěn)定區(qū)域梯度直方圖的行人檢測(cè)方法 [J].計(jì)算機(jī)輔助設(shè)計(jì)圖形學(xué)報(bào)，2012，24（3）：372-377.

[6]黃茜，顧杰鋒，楊文亮.基于梯度向量直方圖的行人檢測(cè)[J].科學(xué)技術(shù)與工程，2009（13）：3646-3651.

[7]姚雪琴，李曉華，周激流.基于邊緣對(duì)稱行和HOG的行人檢測(cè)方法 [J].人工智能及識(shí)別技術(shù)，2012，38（5）：179-182.

[8]種衍文，匡湖林，李清泉.一種基于多特征和機(jī)器學(xué)習(xí)的分級(jí)行人檢測(cè)方法 [J].自動(dòng)化學(xué)報(bào).2012，38（3）：375-381.