孫 銳， 侯能干， 陳效華

（1. 合肥工業(yè)大學(xué)計算機(jī)與信息學(xué)院，安徽 合肥 230009；2. 奇瑞汽車股份有限公司前瞻技術(shù)科學(xué)院，安徽 蕪湖 241009）

基于多特征和多核學(xué)習(xí)的行人檢測方法的研究

孫 銳1,2， 侯能干1， 陳效華2

（1. 合肥工業(yè)大學(xué)計算機(jī)與信息學(xué)院，安徽 合肥 230009；2. 奇瑞汽車股份有限公司前瞻技術(shù)科學(xué)院，安徽 蕪湖 241009）

行人檢測系統(tǒng)涉及交通安全問題，需要很高的魯棒性，基于單特征結(jié)合單核支持向量機(jī)的方法效果有限，為解決這一問題，提出采用多特征和多核學(xué)習(xí)的方法來提升系統(tǒng)的魯棒性，通過將積分信道特征、多層次導(dǎo)向邊緣能量特征和CENTRIST特征分別與直方圖交叉核、高斯核和多項(xiàng)式核進(jìn)行線性組合，采用簡單多核學(xué)習(xí)（Simple MKL）來分別計算核函數(shù)的權(quán)重系數(shù)，將多核學(xué)習(xí)方法與經(jīng)典的梯度直方圖特征/支持向量機(jī)、多尺度梯度直方圖特征/直方圖交叉核支持向量機(jī)和特征融合/直方圖交叉核支持向量機(jī)的行人檢測方法進(jìn)行比較，實(shí)驗(yàn)表明所提出的行人檢測算法的魯棒性有明顯提升。

簡單多核學(xué)習(xí)；直方圖交叉核支持向量機(jī)；CENTRIST特征；積分通道特征；多層次導(dǎo)向邊緣能量特征

行人檢測就是要把視頻或者圖像中出現(xiàn)的行人從背景中分割出來并精確定位，它在視頻監(jiān)控、智能駕駛等領(lǐng)域有著廣泛的應(yīng)用前景。但由于行人目標(biāo)無論是在身材、衣著、姿勢，還是在視角、光照方面都有著較大的變化，加之復(fù)雜的背景場景以及攝像頭自身的移動和晃動，同時行人檢測要求很高的精度和實(shí)時性，使得行人檢測成為機(jī)器視覺領(lǐng)域中最困難的課題之一。

目前，行人檢測方法主要分為特征提取和機(jī)器學(xué)習(xí)兩部分。2005年，Dalal和Triggs[1]提出了梯度方向直方圖(histograms of oriented gradient, HOG)特征加線性支持向量機(jī)(support vector machine, SVM)分類器的行人檢測方法在實(shí)驗(yàn)中取得了很好的表現(xiàn)，但對遮擋和復(fù)雜背景下的行人檢測效果差，所以一些對遮擋處理和在復(fù)雜的背景下新的行人檢測方法的文章相繼發(fā)表[2-3]。Walk等[4]提出顏色自相似特征(self-similarity on color channels, CSS)，通過人體部位間的顏色相似性來描述人體，且結(jié)合HOG特征使用，大大提升了行人檢測效果。目前用于行人檢測的分類器有主要SVM和AdaBoost兩類。Maji等[5]采用一種新的核SVM——直方圖交叉核SVM(histogram intersection kernel support vector machine, HIKSVM)來檢測行人，該算法能快速檢測到行人，且檢測精度有所提升。朱文佳和戚飛虎[6]提出了一種Gentle Adaboost的分類策略并成功地應(yīng)用于行人檢測。而種衍文等[7]提出采用多特征結(jié)合Adaboost和SVM的兩級行人檢測算法，取得了很好的效果。AdaBoost分類器分類速度快，但訓(xùn)練時間長，訓(xùn)練復(fù)雜度隨支持向量的數(shù)量增加呈現(xiàn)指數(shù)型增長。

現(xiàn)階段行人檢測技術(shù)正趨于向大規(guī)?；?、檢測精度和速度趨于實(shí)用化的方向發(fā)展，基于單特征的單核 SVM 方法的行人檢測算法已經(jīng)很難滿足需求，不同核函數(shù)的特性不同，同一個數(shù)據(jù)集和相同的特征，如果采用的核函數(shù)不同，得出的結(jié)果卻大不相同。隨著大數(shù)據(jù)的時代到來，數(shù)據(jù)樣本規(guī)模大，樣本特征含有異構(gòu)信息，多維數(shù)據(jù)的特征空間分布不平坦，采用單核對這些樣本進(jìn)行處理時發(fā)現(xiàn)效果并不是太好，采用單核簡單的映射方法已經(jīng)不能滿足需要，這使得人們把目光轉(zhuǎn)向了多核學(xué)習(xí)(multi-kernel learning, MKL)方法。MKL的目的是在訓(xùn)練SVM時優(yōu)化權(quán)值系數(shù)，獲得更好的分類能力。MKL是當(dāng)前核機(jī)器學(xué)習(xí)領(lǐng)域的一個新的研究課題，并且提供了來自多個數(shù)據(jù)源的學(xué)習(xí)框架。研究表明使用多個內(nèi)核可以提高決策函數(shù)的性能和適應(yīng)性。本文采用行人檢測常用的3種特征，基于簡單多核學(xué)習(xí)方法提出了一種魯棒的行人檢測方法，對比單核分類方法檢測精度有了明顯提升。

1 特征提取

1.1 積分通道特征

積分通道特征都是一些相對簡單的特征[8]，這些特征利用積分圖技術(shù)，使得計算簡單且快速。通過實(shí)驗(yàn)可知，融合形成的新特征性能遠(yuǎn)高于其他特征包括HOG特征，它有以下優(yōu)點(diǎn)：①不同的信息源（顏色，梯度等）；②參數(shù)少且對參數(shù)不敏感；③在檢測時能準(zhǔn)確地定位空間。

底層特征有很多類型，都是基于對輸入圖像進(jìn)行線性或者非線性的變換而產(chǎn)生。主要有：灰度(Gray)和彩色(RGB、HSV、LUV)；線性濾波（Gabor濾波器，高斯濾波器）；非線性變換（梯度，Canny邊緣）；梯度直方圖等。底層特征都只能從某一方面表示圖像的屬性。實(shí)驗(yàn)表明[8]，梯度直方圖(Hist)，梯度(Grad)，彩色通道(LUV)這3個通道相結(jié)合時效果最好，計算簡單、快速并且識別率最高。如圖1(LUV+Grad+Hist)所示，計算過程如下：

(1) 通過線性或非線性變換產(chǎn)生10個通道。

(2) 在給定通道對多個矩形框（矩形框的大小為30×30）加總求和得到一組值。

(3) 對每個通道隨機(jī)取200個矩形框，從而形成了一個2000維的特征。

當(dāng)矩形框數(shù)量取得較大時，系統(tǒng)的檢測率會比較高，但相應(yīng)的特征維數(shù)也較高，系統(tǒng)運(yùn)行時間則大大增加。實(shí)驗(yàn)表明，當(dāng)矩形框數(shù)量分別為200個和250個的時候檢測性能基本相同，對于320×240大小的輸入圖像，得到的特征維數(shù)分別為 2000（Hist：1200維；Grad：200維；LUV：600維）和2500（Hist：1500維；Grad：250維；LUV：750維），消耗的時間分別為0.025 s和0.0034 s。所以折中考慮算法選取200個矩形框。

圖1 示例圖像

1.2 多層次導(dǎo)向邊緣能量特征

本文采用的另一特征是多層次導(dǎo)向邊緣能量特征(multi-level oriented edge energy features)[9]。此特征是基于HOG的多尺度版本(multi-level HOG)。該特征先前用于人臉識別，取得了很好的效果，相比HOG特征而言，此特征更加簡單且沒有重疊的cell，特征維數(shù)也較低。如果輸入圖像是 64×128，HOG特征維數(shù)是3780維，而此特征維數(shù)為 1360維。降低了近3倍，但該特征的分類準(zhǔn)確率卻沒有降低。圖2描述計算特征圖像(64×128)的過程，計算步驟如下：

(1) 通過與Gabor方向?yàn)V波器卷積計算圖像在8個方向上的邊緣能量響應(yīng)。

(2) 然后對這8個方向的能量響應(yīng)在一個固定大小(16×16)非重疊的cell進(jìn)行L1正規(guī)化。

1.3 CENTRIST特征

圖2 多層次導(dǎo)向邊緣能量特征生成過程

CENTRIST(census transform histogram)是一種非參數(shù)描述圖像局部變化的方法，反映的是局部區(qū)域的灰度變化，并不是灰度值本身[10]。CENTRIST是針對場景分類提出的一種新型描述子，能很好地描述物體的輪廓，并成功地應(yīng)用于行人檢測中的計算過程[11]。

CENTRIST是比較 8個鄰域內(nèi)像素灰度值大小，如果中心點(diǎn)像素灰度值大于或者等于鄰域的灰度值，則當(dāng)期鄰域點(diǎn)被置于布爾值 1，否則，則被置于為0，然后把8個鄰域內(nèi)的二進(jìn)制按照一定的順序（本文采用從左至右，從上到下的順序）得到一個二進(jìn)制流，然后將二進(jìn)制位流轉(zhuǎn)換為十進(jìn)制值[0，255]，這個值記為CT值，正如圖3所示，中心點(diǎn)“64”處的二進(jìn)制位流為“11010110”，轉(zhuǎn)換十進(jìn)制CT值為214，這個CT值代替中心點(diǎn)“64”。對圖像的所有像素取完CT值后，對整個圖像做直方圖統(tǒng)計，統(tǒng)計每個值出現(xiàn)的次數(shù)，所取的特征的維數(shù)是256維，由于計算一個像素的CT值是8次比較操作和8次對置位“0”或“1”的加法操作，CENTRIST的計算時間復(fù)雜度很低，如果用特殊的硬件(FPGA)進(jìn)行操作，可能會進(jìn)一步加快計算。CNETRIST計算簡單快速且對光照變化等不敏感。這也是它被用于行人檢測的重要原因之一。

圖3 Census變換過程示意圖

2 基于簡單多核學(xué)習(xí)的分類優(yōu)化

圖4 多核函數(shù)線性組合合成示意圖

目前，多核學(xué)習(xí)中常用多個核函數(shù)進(jìn)行線性組合，雖然線性組合可能會導(dǎo)致信息的丟失，但是對多個核函數(shù)進(jìn)行非線性的組合時就會有很高的空間復(fù)雜度和時間復(fù)雜度，根本不能達(dá)到時間應(yīng)用，所以當(dāng)下大部分多核學(xué)習(xí)采用的是多核線性的組合，且相比開發(fā)新的核函數(shù)代價要小很多。圖4是多個核函數(shù)進(jìn)行線性組合的流程示意圖。多核線性組合合成方法：直接求和核，加權(quán)求和核，加權(quán)多項(xiàng)式擴(kuò)展核。同一核函數(shù)結(jié)合不同的特征表現(xiàn)出來的性能也大不一樣，核函數(shù)的選擇取決于對數(shù)據(jù)處理的要求，不同的特征結(jié)合不同的核函數(shù)效果差異很大，即核函數(shù)選取的問題，這個問題也是多核學(xué)習(xí)的關(guān)鍵之一。目前多核學(xué)習(xí)多采用加權(quán)求和核，如式(1)所示：其中，G是最終得到的核函數(shù)，是不同核函數(shù)對應(yīng)的核函數(shù)，而 M是參與組合的核函數(shù)個數(shù)，dm是各個核矩陣對應(yīng)的權(quán)重系數(shù)，又稱核組合系數(shù)。由于基本核矩陣都是由一些常用的核函數(shù)生成的，那么多核學(xué)習(xí)就轉(zhuǎn)化為求解權(quán)重系數(shù)的問題了。通過式(1)可知，線性組合是一個凸組合，凸組合優(yōu)化可以明顯的簡化多核學(xué)習(xí)問題。由于對多個核函數(shù)進(jìn)行優(yōu)良的凸線性組合，所以多核學(xué)習(xí)多采用這種方式進(jìn)行處理。候選的核矩陣一般是常用核函數(shù)映射后得來的，由于開發(fā)新的核函數(shù)代價較大，對一些常用的核函數(shù)究竟該選取哪些核函數(shù)進(jìn)行組合才會取得很好的效果，致此核函數(shù)選取問題和怎樣去優(yōu)化核組合的權(quán)值系數(shù) dm就成為多核學(xué)習(xí)中最為關(guān)鍵的問題之一。

近些年很多學(xué)者針對優(yōu)化核組合系數(shù)這一問題進(jìn)行了很多不同的嘗試，Lanckriet等在文獻(xiàn)[12]中通過半定規(guī)劃(semi definite programming, SDP)技術(shù)解決多核學(xué)習(xí)問題，SDP是一種凸優(yōu)化的方法，且有很強(qiáng)的泛化能力。用它可求解多個核矩陣的線性組合系數(shù)。Bach等[13]又提出了采用“序列最小優(yōu)化”(sequential minimal optimization, SMO)的算法，使得 MKL可用于處理中等規(guī)模問題。S?ren等[14]提出半無限線性規(guī)劃(semi infinite liner programming, SILP)，該算法利用SVM中成熟的線性規(guī)劃方法進(jìn)行求解，能解決更多的復(fù)雜類型的問題，進(jìn)一步提高了計算效率，適宜解決大規(guī)模MKL問題。Rakotomamonjy等[15]提出了采用“梯度下降”解決MKL問題，又稱單多核學(xué)習(xí)(Simple MKL)，實(shí)驗(yàn)證明該算法收斂速度更快且效率高。所以本文采取該算法來計算權(quán)重系數(shù)，具體的算法流程如下，根據(jù)SVM的理論，Simple MKL的原始優(yōu)化問題變化如下：

采用Lagrangian法求解上述優(yōu)化問題，則得：

其中，αi和 βi是受約束的拉格朗日乘子，λ和ηm是權(quán)重系數(shù) dm的約束子。分別對求偏導(dǎo)，令其導(dǎo)數(shù)為零。由于持續(xù)約束這種雙重問題難以優(yōu)化，這種約束可能被移動到目標(biāo)函數(shù)，然后，后者變成不可微的，引起了新的求解困難。而 Simple MKL采用梯度下降法解決這個優(yōu)化的難題。通過考慮下面的約束優(yōu)化問題：

將其轉(zhuǎn)化為對偶問題：

其中，α*是式(6)最大化時的值。因此，Simple MKL的整體復(fù)雜性綁在一個單核SVM算法上。 J (d)的下降梯度表示為 ▽redJ ，且有下式：

μ是矢量d的最大組成部分的指數(shù)，在下降方向考慮了這種積極性約束。因?yàn)樽钚』?J（d），-▽redJ是其下降方向。

通過不斷更新d直到滿足停止準(zhǔn)則，例如Armijo規(guī)則，以保證全局收斂性，該算法被終止，并可求得權(quán)重系數(shù) dm，得到最終分類器：

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證多核學(xué)習(xí)算法的有效性，可在 TUD數(shù)據(jù)集進(jìn)行一系列的實(shí)驗(yàn)，從算法的實(shí)時性和魯邦性兩方面與經(jīng)典的 HOG/SVM[1]算法和 Multi-scale HOG/HIKSVM[5]的行人檢測方法進(jìn)行比較，同時還特征融合/HIKSVM[16]的行人檢測方法比較。為方便比較。由于核函數(shù)是決定多核學(xué)習(xí)效果的主要因素，本文選用行人檢測中常用的幾個核函數(shù)，如表1所示。

算法的程序在Visual C++和Matlab2010b下聯(lián)合開發(fā)，性能測試實(shí)驗(yàn)在 CPU3.10 GHz, 64位Windows 7系統(tǒng)，4 G內(nèi)存的計算機(jī)上運(yùn)行，Simple MKL算法采用 SHOGUN Machine Learning Toolbox。不同的特征對應(yīng)不同的核函數(shù)會產(chǎn)生效果，為了尋找最優(yōu)的結(jié)果，把以上的3個特征分別在這3種核函數(shù)下進(jìn)行實(shí)驗(yàn)對比。

從圖5中可以看出，多層次導(dǎo)向邊緣能量特征和 HIKSVM 效果最好，而積分通道特征和CENTRIST特征分別對應(yīng)高斯核和多項(xiàng)式核函數(shù)時效果較為理想，且再次證實(shí)了 HIKSVM對直方圖類的特征的分類的效果較好。

為驗(yàn)證本文的多核學(xué)習(xí)模型的權(quán)重系數(shù)有效性，通過隨機(jī)取 10組權(quán)重系數(shù)數(shù)據(jù)與本文的權(quán)重系數(shù)進(jìn)行對比，結(jié)果如表2所示。通過表2可知，本文所采用的權(quán)重系數(shù)值比隨機(jī)抽取的 10組權(quán)重系數(shù)值的魯棒性都較高。可見一種好的確定權(quán)重系數(shù)方法對算法的性能有很大的影響，這也是后期工作的關(guān)鍵點(diǎn)之一。

表1 常用的核函數(shù)

圖5 3種特征在不同核函數(shù)上的ROC曲線對比

表2 權(quán)重系數(shù)對比實(shí)驗(yàn)

圖6為本算法在TUD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，該算法的檢測精度有了大幅提高。在虛警率為1×10-4時，同HOG/SVM方法相比，檢測高出9%；與特征融合/HIKSVM相比高出2%；與Multi-scale HOG/HIKSVM方法相比高出4%。從實(shí)驗(yàn)的結(jié)果來看，多核學(xué)習(xí)是分類器的融合，相比特征融合而言，在魯棒性上有所提升，由于多核學(xué)習(xí)的復(fù)雜度較高，檢測一幅720× 576的圖片時間要10 s左右，實(shí)時性較差。后續(xù)將進(jìn)一步研究如何提升系統(tǒng)魯棒性的同時加強(qiáng)算法的實(shí)時性。最終行人檢測結(jié)果部分示例的圖像如圖7所示，實(shí)驗(yàn)證明了檢測識別率有一定提高。

圖6 本文方法與其他方法ROC曲線對比

圖7 本文方法在TUD檢測結(jié)果

4 總 結(jié)

本文提出一種多特征和多核學(xué)習(xí)方法運(yùn)用到行人檢測來提高算法的魯棒性，詳細(xì)給出了 3種積分通道特征、多層次導(dǎo)向邊緣能量特征、CENTRIST特征的生成方法，針對不同的特征選擇不同的核函數(shù)，采用Simple MKL方法解決了分類器參數(shù)優(yōu)化問題，實(shí)驗(yàn)表明多層次導(dǎo)向邊緣能量特征結(jié)合 HIKSVM 時的效果要好于其他核函數(shù)，同理，積分通道特征和CENTRIST特征分別對應(yīng)高斯核和多項(xiàng)式核函數(shù)時效果較為理想。實(shí)驗(yàn)證明，所提方法分別與經(jīng)典 HOG/SVM方法、Multi-scale HOG/HIKSVM、多特征融合的方法對比，在行人檢測魯棒性上有明顯提高，后期的工作重點(diǎn)將進(jìn)一步研究快速參數(shù)優(yōu)化方法增強(qiáng)算法實(shí)時性能。

[1] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//2005 IEEE Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 886-893.

[2] Ouyang Wanli, Wang Xiaogang. A discriminative deep model for pedestrian detection with occlusion handling [C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition, Rhode Island, USA, 2012: 3258-3265.

[3] Yan Junjie, Zhen Lei, Dong Yi, Li Z S. Multi-pedestrian detection in crowded scenes: a global view [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition, Rhode Island, USA, 2012: 3124-3129.

[4] Walk S, Majer N, Schindler K, Schiele B. New features and insights for pedestrian detection [C]//2010 IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010: 1030-1037.

[5] Maji S, Berg A C, Malik J. Efficient classification for additive kernel SVMs [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 66-77.

[6] 朱文佳, 戚飛虎. 基于Gentle Adaboost的行人檢測[J].中國圖象圖形學(xué)報, 2007, 12(10): 1905-1908.

[7] 種衍文, 匡湖林, 李清泉. 一種基于多特征和機(jī)器學(xué)習(xí)的分級行人檢測方法[J]. 自動化學(xué)報, 2012, 38(3): 375-381.

[8] Dollár P, Tu Zhouwen, Perona P, Belongie S. Integral channel features [C]//2009 British Machine Vision Conference, London, UK, 2009: 1-11.

[9] Lazebnik S, Schmid C, Ponce J. Beyond bags of features: spatial pyramid matching for recognizing natural scene categories [C]//2006 IEEE Conference on Computer Vision and Pattern Recognition, 2006: 2169-2178.

[10] Wu Jianxin, Rehg J M. CENTRIST: a visual descriptor for scene categorization [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1489-1501.

[11] Wu Jianxin, Geyer C, Rehg J M. Real-time human detection using contour cues [C]//2011 IEEE International Conference on Robotics and Automation (ICRA), 2011: 860-867.

[12] Lanckriet G, Cristianini N, Bartlett P, Ghaoui L EI, Jordan M I. Learning the kernel matrix with semi-definite programming [J]. The Journal of Machine Learning Research, 2004, (5): 27-72.

[13] Bach F R, Lanckriet G R G, Jordan M I. Multiple kernel learning, conic duality, and the SMO algorithm [C]// ACM Proceedings of the Twenty-first International Conference on Machine Learning, Banff, Canada, 2004: 6.

[14] S?ren S, R?tsch G, Sch?fer C, Sch?lkopf B. Large scale multiple kernel learning [J]. The Journal of Machine Learning Research, 2006, (7): 1531-1565.

[15] Rakotomamonjy A, Bach F, Canu S, Grandvalet Y. Simple MKL [J]. Journal of Machine Learning Research, 2008, 9(11): 2491-2521.

[16] 孫 銳, 侯能干, 陳 軍. 基于特征融合和交叉核SVM的快速行人檢測方法[J]. 光電工程, 2014, 41(2): 53-60.

Pedestrian Detection Based on Multi Feature and Multi Kernel Learning

Sun Rui1,2, Hou Nenggan1, Chen Xiaohua2
(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China; 2. Academy of Science and Advanced Technology, Chery Automobile Co., Wuhu Anhui 241009, China)

Pedestrian detection system is involved in the traffic safety problem, and it requires very high robustness. The effect of the method based on single feature combined with single kernel support vector machine is limited. To solve this problem, this paper uses multi feature and multi kernel learning method to improve the robustness of the system. Integral channel features, multi-level oriented edge energy feature and CENTRIST features are respectively combined with histogram intersection kernel, gauss kernel and polynomial kernel. Simple multi-kernel learning (Simple MKL) is adopted to calculate the weight coefficients of kernel function. Multi-kernel learning pedestrian detection method is compared with histograms of oriented gradient feature/support vector machine, Multi-scale histograms of oriented gradient feature/histogram intersection kernel support vector machine and feature fusion/histogram intersection kernel support vector machine pedestrian detection methods. The experiments show that the robustness of pedestrian detection algorithm has obvious improvement.

simple multi-kernel learning; histogram intersection kernel support vector machine;CENTRIST feature; integral channel features; multi-level oriented edge energy feature

TP 391

A

2095-302X(2014)06-0869-07

2014-04-02；定稿日期：2014-07-16

國家自然科學(xué)基金面上資助項(xiàng)目(61471154)；中國博士后基金資助項(xiàng)目(2013M531504)；教育部留學(xué)回國人員啟動基金資助項(xiàng)目

孫 銳(1976-)，男，安徽蚌埠人，副教授，博士。主要研究方向?yàn)閳D像信息處理、多媒體安全、計算機(jī)視覺與模式識別。E-mail：sunrui@hfut.edu.cn