任夢茹,侯宏錄,韓修來

（西安工業(yè)大學(xué) 光電工程學(xué)院,西安 710021）

隨著人工智能技術(shù)的發(fā)展,行人檢測被廣泛應(yīng)用于車輛輔助駕駛[1,2]、智能機(jī)器人[3]、智能視頻監(jiān)控[4,5]等領(lǐng)域,也成為計(jì)算機(jī)視覺領(lǐng)域中重要的研究方向.然而,由于存在人體形態(tài)多變,外物遮擋、光線昏暗等干擾因素,導(dǎo)致提取的圖像特征不顯著,從而影響系統(tǒng)整體的檢測效果.如何高效地檢測出行人是目前研究的難點(diǎn).

Dalal等人[6]提出了HOG（Histogram of Oriented Gradients）特征結(jié)合SVM分類器進(jìn)行識別的行人檢測算法,并制作出目前使用廣泛的INRIA行人數(shù)據(jù)庫,該HOG+SVM行人檢測框架極大的地推動(dòng)了行人檢測技術(shù)的發(fā)展.然而,在實(shí)際復(fù)雜場景中單一特征難以取得較為滿意的檢測效果.研究者們陸續(xù)提出了基于混合特征的行人檢測算法.陳銳等人[7]提出了一種PCA降維后的HOG特征與局部二值模式（LBP）特征融合的行人檢測算法,融合特征的檢測效果優(yōu)于單一特征.胡慶新等人[8]提出了一種基于梯度方向直方圖（HOG）、強(qiáng)度自適應(yīng)特征（ISS）和積分通道特征（ICF）的多特征融合的行人檢測算法,該算法提高了檢測精度,但不能自適應(yīng)選擇特征融合加權(quán)值.

本文在HOG+SVM行人檢測框架的基礎(chǔ)上,針對HOG特征提取速度慢且易忽視細(xì)節(jié)特征的問題,提出了一種Gabor特征結(jié)合快速HOG特征提取的行人檢測算法.首先把樣本圖像灰度化處理,并復(fù)制成兩組樣本.然后,對第1組樣本進(jìn)行小波變換,再引入積分圖思想和主成分分析算法,簡化HOG特征計(jì)算,快速提取HOG特征.對第2組樣本先進(jìn)行Gabor小波變換,得到二維Gabor濾波圖像,提取Gabor特征.最后串行融合快速HOG特征和Gabor特征,得到混合特征來訓(xùn)練分類器,實(shí)現(xiàn)行人的有效檢測.

1 單一特征提取

1.1 傳統(tǒng)HOG特征提取

方向梯度直方圖由Dalal等人[6]在2005年提出并應(yīng)用于行人檢測.該算法較好的提取了行人的輪廓特征,首先將檢測窗口劃分為許多小空間區(qū)域（cell）,然后計(jì)算cell中每個(gè)像素點(diǎn)的梯度方向和梯度幅值,并生成梯度方向直方圖.再對梯度直方圖進(jìn)行對比度歸一化,將cell組成更大的塊（block）并歸一化塊內(nèi)的所有cell.最后,將歸一化處理所得的描述符塊稱為方向梯度直方圖描述子.

本文采用多尺度滑動(dòng)窗口掃描的方法來提取HOG特征,其中訓(xùn)練樣本的尺寸是64×128,掃描窗口大小是16×16,掃描步長是8×8,每個(gè)cell的大小為8×8,bin的個(gè)數(shù)為9.在對一張圖像提取HOG特征時(shí),會(huì)產(chǎn)生105個(gè)block,每個(gè)block特征向量是36維.所以一幅訓(xùn)練樣本的HOG特征是3780維.提取的HOG特征圖如圖1所示.

圖1 提取的HOG特征圖

1.2 快速HOG特征提取

針對傳統(tǒng)HOG特征維度較高、計(jì)算量大等問題,本節(jié)對其進(jìn)行改進(jìn).首先對輸入圖像進(jìn)行小波變換去除部分干擾因素,再引入積分圖思想和主成分分析算法,來加快HOG特征計(jì)算,提取快速HOG特征.

1.2.1 小波變換

小波變換[9]基于小波理論,其在時(shí)域和頻域都具有良好的特性.本文通過小波變換去除行人圖像中的干擾因素,進(jìn)一步提高特征的表征能力.

對輸入圖像進(jìn)行小波變換后,得到4個(gè)尺寸是原圖像1/4的變換子圖像,如圖2所示.左上方的低頻子圖像保留了原圖像的大部分信息,其他3幅高頻子圖像更多的保留了原圖像的輪廓信息.

圖2 小波變換的效果

1.2.2 HOG積分圖

對小波變換后的圖像提取HOG特征時(shí),鄰近block的重疊區(qū)域會(huì)重復(fù)計(jì)算每個(gè)像素的梯度信息,導(dǎo)致計(jì)算量大,影響特征提取的速度.因此,引入積分圖思想[10]來加速HOG特征計(jì)算.

如圖3所示,A（x,y）表示點(diǎn)（x,y）處的積分圖,是對其左上角矩形中各像素求和得到,s（x,y）表示點(diǎn)（x,y）在y方向的所有像素的和.

圖3 坐標(biāo)（x,y）的積分圖示意圖

采用下列公式計(jì)算積分圖:

由式（1）、式（2）可知,要得到HOG積分圖,只需要對block塊掃描兩遍,即先計(jì)算列的梯度信息積分和,再計(jì)算block塊的梯度信息積分圖.當(dāng)計(jì)算相鄰block塊的重疊單元格的HOG特征時(shí),不需要重新統(tǒng)計(jì)重疊單元格中每個(gè)像素點(diǎn)的梯度方向和幅值,只需要通過HOG積分圖簡單的加減運(yùn)算來完成,從而避免了重復(fù)計(jì)算像素點(diǎn)梯度信息的問題.

1.2.3 主成分分析算法

最終提取HOG特征向量的維數(shù)是3780維,維度較高,存在部分干擾信息,這些干擾信息會(huì)影響檢測速度,降低檢測精度.故采用主成分分析算法對HOG特征進(jìn)行分析,剔除部分不顯著的特征信息.

主成分分析算法[11]是通過一個(gè)降維矩陣將相關(guān)冗余數(shù)據(jù)映射到新的特征空間,即用新的低維特征空間代替原高維空間.該算法的關(guān)鍵在于合理確定降維后的維數(shù),本文通過累積方差貢獻(xiàn)率曲線來選取降維的維數(shù).曲線橫坐標(biāo)表示降維后的特征維數(shù),縱坐標(biāo)表示不同特征維數(shù)對應(yīng)的累積方差貢獻(xiàn)率,提取HOG特征的累積方差貢獻(xiàn)率曲線如圖4所示.

在圖4中,對3780維的HOG特征矩陣進(jìn)行主成分分析,表1中統(tǒng)計(jì)了HOG特征中部分主成分的方差貢獻(xiàn)率.

圖4 HOG特征的累積方差貢獻(xiàn)率曲線

根據(jù)表1中的統(tǒng)計(jì)結(jié)果,選取累積方差貢獻(xiàn)率大于85%的主成分,作為降維后HOG特征的維數(shù).分別提取了維度在500-1500維之間的HOG特征,在自制數(shù)據(jù)集上,采用線性SVM分類器進(jìn)行10次實(shí)驗(yàn)取平均值,實(shí)驗(yàn)結(jié)果如表2所示.其中未降維前檢測率為86.04%,檢測時(shí)間為21.89 s.

表1 HOG特征中部分主成分的方差貢獻(xiàn)率（%）

由表2可知,在HOG維度為700維時(shí),算法的檢測率為89.57%,比降維前提高了3.53%,隨著特征維度的不斷增加,檢測率整體呈下降趨勢,說明部分冗余信息會(huì)影響檢測精度.在維度為700維時(shí),算法檢測時(shí)間比降維前減少了17.28 s,檢測速度比降維前明顯提升,但隨著維度的增加檢測時(shí)間也呈現(xiàn)增長趨勢.在考慮檢測率和檢測時(shí)間的情況下,選取HOG特征降維的維度是700維,從而保證在原始信息損失較少的情況下,用低維特征信息代替原有高維特征信息,簡化數(shù)據(jù)運(yùn)算,提高檢測性能.

表2 行人檢測率、檢測速度與 HOG維度列表

1.3 Gabor特征提取

為了得到行人圖像多方向和多尺度的紋理特征,本文對樣本圖像I（x,y）進(jìn)行Gabor小波變換獲取Gabor特征.具體是將圖像I（x,y）與二維Gabor濾波器[12]卷積并取模,得到二維Gabor濾波圖像,然后對濾波圖像進(jìn)一步分析,提取Gabor特征.

計(jì)算公式如下:

其中,x′=xcosθ+ysinθ,y′=-xsinθ+ycosθ;λ為Gabor濾波波長;θ為Gabor濾波方向;ψ為相位偏移量;σ為高斯函數(shù)的標(biāo)準(zhǔn)差;γ為空間縱橫比.

本文采用4個(gè)尺度（7,12,17,21）和6個(gè)方向（0,30,60,90,120,150）組成的Gabor濾波器組對圖像進(jìn)行Gabor小波變換.首先將濾波器組與輸入圖像I（x,y）進(jìn)行卷積運(yùn)算可得到24幅Gabor特征圖像F（x,y）,如圖5所示.對得到的Gabor特征圖像繼續(xù)分析,通過計(jì)算其均值和方差,得到一個(gè)具有多尺度多方向的48維Gabor特征向量.

圖5 4個(gè)尺度和6個(gè)方向的Gabor特征圖

2 混合特征提取

HOG特征是基于滑動(dòng)窗口的方式提取行人的輪廓特征,能對幾何和光學(xué)的形變有很好的保持性;Gabor特征是一種局部化的紋理特征,可以描述圖像在時(shí)域和頻域的紋理分布,對于圖像的亮度和對比度變化有較強(qiáng)的適應(yīng)性.采用串行融合的方式將快速HOG特征和Gabor特征融合成混合特征,該特征可以同時(shí)獲取行人的輪廓信息和紋理信息,從而提高特征對行人的表征能力.混合特征提取流程如圖6所示.

圖6 混合特征提取流程

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)樣本

實(shí)驗(yàn)開發(fā)平臺為JetBrains PyCharm 2018,運(yùn)行環(huán)境為Intel（R）Core（TM）i5處理器、8 GB內(nèi)存、Windows 7系統(tǒng).軟件環(huán)境為Python 3.7,OpenCV 3.4.7.實(shí)驗(yàn)樣本部分來自INRIA行人數(shù)據(jù)集,部分來自校園環(huán)境中拍攝的圖像.實(shí)驗(yàn)樣本數(shù)如表3所示.

表3 訓(xùn)練樣本及測試樣本

3.2 實(shí)驗(yàn)結(jié)果分析

本文通過4種實(shí)驗(yàn)方案對實(shí)驗(yàn)樣本進(jìn)行訓(xùn)練、測試來對比現(xiàn)有單一特征與混合特征的檢測性能.實(shí)驗(yàn)1是對樣本直接提取HOG特征訓(xùn)練分類器,實(shí)驗(yàn)2是對樣本直接提取Gabor特征訓(xùn)練分類器,實(shí)驗(yàn)3是對樣本直接快速HOG特征訓(xùn)練分類器,實(shí)驗(yàn)4是對樣本分別提取Gabor特征和快速HOG特征,串行融合成混合特征訓(xùn)練分類器,最終實(shí)驗(yàn)結(jié)果以ROC曲線的形式呈現(xiàn),如圖7所示.在誤檢率為0.15時(shí),基于HOG特征訓(xùn)練分類器的召回率為82.94%,基于快速HOG特征訓(xùn)練分類器的召回率為90.02%,基于Gabor特征訓(xùn)練分類器的召回率為85.21%,基于混合特征訓(xùn)練分類器的召回率為96.18%.基于混合特征訓(xùn)練分類器的召回率比Gabor特征高10.97%,比 HOG特征高13.24%,比快速HOG特征高6.16%.由曲線比較可知,相比于單一特征,混合特征訓(xùn)練分類器的ROC曲線整體更偏向左上方,說明由混合特征訓(xùn)練分類器的檢測性能更好.

圖7 單一特征與混合特征檢測性能對比

本文分別采用單一特征和混合特征訓(xùn)練的分類器對測試樣本識別的正確率如表4所示.基于快速HOG與Gabor混合特征的分類器在測試樣本檢測中效果最優(yōu),相比于單一特征訓(xùn)練的分類器,行人檢測的正確率有較明顯的提高,最多提高了7.37%.

表4 行人檢測測試結(jié)果（%）

基于混合特征的部分測試樣本檢測效果如圖8所示,左側(cè)圖片是較稀疏的行人目標(biāo),混合特征訓(xùn)練的分類器能夠全部找到圖像中行人的位置; 右側(cè)圖片光線較暗、行人較為密集,分類器能夠檢測出大部分行人目標(biāo),但中間兩人遮擋非常嚴(yán)重,該分類器仍存在漏檢現(xiàn)象.

圖8 混合特征的行人檢測效果圖

4 結(jié)論與展望

本文基于HOG+SVM框架提出了一種Gabor特征結(jié)合快速HOG特征的行人檢測算法.利用HOG積分圖和主成分分析算法快速提取HOG特征,再融合Gabor特征形成混合特征訓(xùn)練分類器.由測試集上的實(shí)驗(yàn)結(jié)果可得,本文提出的混合特征訓(xùn)練分類器的檢測性能優(yōu)于單一特征的檢測性能.本文研究中提取快速HOG和Gabor特征向量融合時(shí)采用的權(quán)重系數(shù)是相同的,從實(shí)驗(yàn)結(jié)果分析,不同特征對行人的表征能力不同,下一步將考慮基于權(quán)重的AdaBoost級聯(lián)分類器來進(jìn)一步改善算法的檢測性能.