余子航,于鳳芹

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

0 引 言

車載成像行人檢測是高級駕駛輔助系統(tǒng)和智能汽車領(lǐng)域的關(guān)鍵技術(shù)之一[1]。過去對行人檢測技術(shù)的研究主要基于單一可見光或單一紅外圖像。紅外圖像對光照變化不敏感,在全黑夜間、雨雪霧霾天氣或?qū)γ孳嚐粞９獾惹闆r下表現(xiàn)出比可見光圖像更佳的檢測能力[2,3],但其缺乏顏色和紋理等信息,并且在目標(biāo)與背景熱輻射差異較小的情況下檢測效果較差。因此,車載紅外圖像并不能完全替代可見光圖像作為行人檢測的輸入信息,可以通過結(jié)合這兩者信息的多光譜圖像實現(xiàn)行人檢測以改善檢測效果。

文獻(xiàn)[4]采用視差表決的方法對可見光圖像與遠(yuǎn)紅外圖像進(jìn)行配準(zhǔn)得到多光譜圖像對,并利用梯度方向直方圖(histogram of oriented gradient,HOG)特征結(jié)合支持向量機(jī)(support vector machine,SVM)實現(xiàn)行人檢測。文獻(xiàn)[5]提取遠(yuǎn)紅外圖像中顯著的局部行人區(qū)域作為感興趣區(qū)域(region of interest,ROI),采用不變性特征對ROI內(nèi)的可見光與長波紅外圖像進(jìn)行特征提取和級聯(lián)融合,輸入SVM進(jìn)行分類得到行人檢測結(jié)果。這些算法結(jié)合可見光與遠(yuǎn)紅外兩種信息進(jìn)行行人檢測,但將簡單的特征進(jìn)行級聯(lián)并不能顯著提升檢測的準(zhǔn)確率。Hwang等人[6]提出了一個基于可見光和紅外圖像對準(zhǔn)的多光譜行人數(shù)據(jù)集(KAIST),并在聚合通道特征(aggregate channel feature,ACF)[7]的基礎(chǔ)上,加入紅外圖像的通道特征,提出了新的多光譜聚合通道特征(multispectral aggregate channel feature,MACF),比傳統(tǒng)的多光譜行人檢測方法獲得了更高的檢測率。但該方法對于特征的選取并沒有考慮到紅外圖像較于可見光圖像的優(yōu)勢和區(qū)別,簡單的THOG特征對行人的描述能力不強(qiáng)。文獻(xiàn)[8]提出局部去相關(guān)通道特征(local decorelation channel features,LDCF),該方法利用各通道特征進(jìn)行主成分分析得到的本征值構(gòu)建濾波器組,同時去除通道特征中數(shù)據(jù)的局部相關(guān)降低了誤檢率,但漏檢率依然較高。文獻(xiàn)[9]在MACF特征的基礎(chǔ)上,加入紅外圖像的紋理特征來增強(qiáng)行人輪廓描述,但由于紅外圖像缺乏紋理信息,檢測效果改善不明顯。文獻(xiàn)[10]利用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)來學(xué)習(xí)多光譜圖像特征,并評估了早期融合和后期融合兩種網(wǎng)絡(luò)結(jié)構(gòu),算法識別率較高,但預(yù)訓(xùn)練方法模型大、參數(shù)多,結(jié)構(gòu)靈活性較差。文獻(xiàn)[11]使用更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region-based convolutional neural networks,faster R-CNN)用于多光譜行人檢測,并利用檢測框分割監(jiān)督框架替代原先的錨框訓(xùn)練,提升了檢測識別率,但是模型較為復(fù)雜。

基于以上分析,本文以MACF算法為基本框架,提取特征時著重分析紅外圖像的優(yōu)勢,利用鄰域像素強(qiáng)度差異估計和區(qū)域信息熵分析來改進(jìn)原有的HOG特征,構(gòu)建新的熵加權(quán)強(qiáng)度差異直方圖(entropy weighted histogram of intensity difference,EWHID)特征,加強(qiáng)對行人目標(biāo)的描述能力。傳統(tǒng)的多光譜行人檢測方法并沒有探究融合特征的表示能力。由于受光照和溫度等環(huán)境條件變換影響,多光譜特征在晝夜不同時段存在差異,導(dǎo)致全天候的檢測效果低下。本文利用Real Adaboost分類器對數(shù)據(jù)集中白天和黑夜圖像分別進(jìn)行訓(xùn)練,得到日用和夜用檢測器。在檢測階段,利用圖像的HSV空間直方圖信息進(jìn)行晝夜判別,實現(xiàn)對輸入圖像的分時段檢測。仿真實驗表明,所提方法能夠提升行人檢測器的性能,降低了誤檢率和漏檢率。

1 算法原理

1.1 MACF特征的基本原理及其改進(jìn)

1.1.1 特征描述

MACF的基本結(jié)構(gòu)是通道,它融合了可見光和紅外波段的特征對圖像進(jìn)行描述。這種混合通道的特征構(gòu)建方式很大程度上提高了描述子對不同種類信息的分類表示能力,有助于提高復(fù)雜背景下目標(biāo)的檢測結(jié)果。尤其是紅外通道信息在夜間檢測發(fā)揮著很大的作用,使得總體特征在全天候的行人檢測中有著良好的性能。MACF特征的主要計算流程如下：

1)通道組合：MACF定義了具有12個通道的組合特征,分別是可見光圖像的3個LUV顏色通道、1個梯度幅值通道(GM)、6個梯度方向通道(GO)以及紅外圖像的1個熱強(qiáng)度通道(T)和1個梯度直方圖通道(THOG)。

2)特征計算：聚合通道的特征計算十分簡單,首先給定一個多光譜圖像對作為輸入,計算預(yù)定義的通道。然后,根據(jù)預(yù)設(shè)因子對通道特征進(jìn)行平均池化采樣,將下采樣得到的矩陣矢量化為像素查找表,該矢量即為最終的特征描述子。

3)多尺度計算：在行人檢測中由于目標(biāo)大小不一,采用相同的尺度檢測目標(biāo)會導(dǎo)致漏檢和誤檢,采用多尺度計算能夠有效解決這一問題。傳統(tǒng)方法將圖像縮放到各個尺度,然后對每個尺度都計算相應(yīng)的特征通道,這種方法計算通道時會產(chǎn)生大量的冗余信息,耗費大量時間。MACF特征采用快速特征金字塔的方法進(jìn)行多尺度檢測,并不需要將待檢測圖像縮放到所有尺度分別計算通道特征,而僅需要在每個尺度組內(nèi)計算其中一個尺度層的通道特征,然后利用當(dāng)前尺度的通道特征近似估計相鄰尺度上的通道特征,表達(dá)式如下所示

Cs≈R(C,s)·s-λi

(1)

式中C為當(dāng)前尺度特征,s為尺度縮放因子,s∈{1,1/2,1/4},λi為每個通道特征對應(yīng)的系數(shù),在構(gòu)建過程中,先計算原圖1/2和1/4倍的降采樣圖像,并針對尺度1,1/2,1/4提取通道特征,其余尺度的通道特征由已有的特征估計得到。

1.1.2 改進(jìn)的熵加權(quán)強(qiáng)度差異直方圖特征

傳統(tǒng)MACF特征的THOG通道提取的是紅外圖像的HOG特征,該特征在可見光圖像中應(yīng)用普遍,其基本原理是通過統(tǒng)計局部區(qū)域的像素梯度分布來描述目標(biāo)形狀。而紅外圖像由于成像特性,行人目標(biāo)的強(qiáng)度變化相對穩(wěn)定,內(nèi)部缺乏有效的信息,但目標(biāo)的整體像素強(qiáng)度值通常高于背景,具有相對突出的邊緣輪廓區(qū)域和局部形狀。根據(jù)這些特點,本文在提取特征時,利用局部區(qū)域的像素強(qiáng)度差值直方圖估計來替代原先的梯度直方圖估計,并引入信息熵來分析各區(qū)域的直方圖分布,進(jìn)一步加強(qiáng)邊緣區(qū)域?qū)φw特征的貢獻(xiàn)程度。如圖1所示,改進(jìn)的EWHID特征具體實現(xiàn)過程為：首先把圖像分成若干個4×4大小的元胞,計算元胞中每個像素與其周圍八鄰域像素的最大差值絕對值,計算表達(dá)式如下所示

D(x,y)=max|di-c|i=1,2,…,8

(2)

圖1 EWHID特征計算示意

式中c為當(dāng)前像素的強(qiáng)度值,di為鄰域像素的強(qiáng)度值。通過D(x,y)來確定當(dāng)前像素的大小和方向。統(tǒng)計元胞內(nèi)所有像素的方向,并將幅值大小加權(quán)到對應(yīng)方向上,得到一個元胞內(nèi)的強(qiáng)度差異直方圖分布。與構(gòu)建HOG特征的原理相似,將元胞以2×2的數(shù)量合并成一個區(qū)域,能夠得到區(qū)域的強(qiáng)度差異直方圖分布。通過區(qū)域的直方圖信息計算該區(qū)域的信息熵值,第k個區(qū)域的熵值計算表達(dá)式如下所示

(3)

(4)

式中hs為該區(qū)域中第s個強(qiáng)度差異直方圖的值,m為每個區(qū)域中的元胞數(shù)為4。r為每個元胞中的方向數(shù),r的值等于鄰域數(shù)為8。將得到的熵值加權(quán)到對應(yīng)的區(qū)域,得到該區(qū)域的EWHID特征。對區(qū)域直方圖進(jìn)行L2范數(shù)歸一化處理,處理方程為

(5)

式中e為常數(shù)參數(shù),它的值非常小。

在連接所有區(qū)域的直方圖向量后,最后得到整張圖像的EWHID特征。

1.2 基于HSV空間直方圖的晝夜分時檢測

MACF特征由可見光圖像特征和紅外圖像特征級聯(lián)融合得到,由于可見光特征易受環(huán)境的光照變化影響、紅外特征易受環(huán)境的溫度變化影響,因此,MACF特征在晝夜不同時段具有差異性,對白天和夜晚圖像的區(qū)分訓(xùn)練檢測能夠使特征對同時段行人目標(biāo)的表述更具針對性,本文提出一種基于HSV空間直方圖信息的晝夜圖像分類方法。亮度和顏色信息是判別白天和黑夜的主要條件,圖像的HSV顏色空間模型中的色度(H)通道直方圖和亮度(V)通道直方圖能夠很好地反映圖像的顏色和亮度信息。由于車載圖像的下半部分為道路場景,關(guān)鍵有用的信息都在圖像的上半部分,為了提高檢測速度只對圖像的上半部分進(jìn)行處理。圖2展示了不同時段場景下上半部圖像H直方圖和V直方圖的差異情況,第一行為白天場景,第二行為夜晚場景。

圖2 白天和夜晚圖像的H直方圖和V直方圖對比

從H直方圖可以觀察到,夜間圖像的像素色度幾乎都集中在歸一化H通道直方圖的低值區(qū)域,而白天拍攝的圖像像素色度分布廣泛。這是因為夜晚環(huán)境的光照幾乎全部來自路燈和車燈等人造光,主要是黃光和紅光,相比白天環(huán)境的太陽光照,缺乏一定的光譜信息。圖3給出了H通道的色度區(qū)域劃分,[0,0.2]∪[0.8,1]為黃紅色度集中的區(qū)域[12]。統(tǒng)計這段區(qū)間內(nèi)的像素個數(shù)nH,作為判別白天夜晚的顏色依據(jù)。

圖3 H通道歸一化區(qū)域劃分

從V直方圖觀察到白天圖像像素主要在高值區(qū)域分布,即亮度較高,而夜晚圖像像素主要集中在低值區(qū)域,即亮度較低。在0～255的亮度范圍內(nèi),統(tǒng)計數(shù)值大于150的像素個數(shù)nV,作為判別白天夜晚的亮度依據(jù)。遍歷數(shù)據(jù)集圖像,找到nH和nV的臨界值設(shè)定為兩個判決參數(shù)閾值：THH和THV。若nH小于THH或nV大于THV,那么圖像屬于白天時間段,否則就屬于夜晚時間段。

2 算法步驟

2.1 算法流程

算法訓(xùn)練與測試流程如圖4所示。

圖4 算法流程框圖

2.2 訓(xùn)練階段

將訓(xùn)練的正負(fù)樣本歸一化至64×32大小,用積分圖的形式計算樣本12個通道的改進(jìn)MACF特征,包括從可見光圖像提取的3個LUV顏色通道、1個GM通道和1個GO通道,從紅外圖像提取的1個T通道和1個TEWHID通道。將得到的改進(jìn)MACF特征送入Real Adaboost[13]分類器進(jìn)行訓(xùn)練,每次訓(xùn)練采用自舉法進(jìn)行,共訓(xùn)練4輪,根據(jù)樣本集的大小、特征數(shù)量的大小來確定每輪的弱分類器個數(shù)分別是32,128,512,2 048,樹的深度為4。本文將訓(xùn)練集中的白天和夜晚樣本分開訓(xùn)練,得到日間分類器和夜間分類器,用于后續(xù)的分時段檢測。

2.3 測試階段

首先按幀讀入圖像,利用HSV模型色度和亮度直方圖信息建立的判別準(zhǔn)則對輸入多光譜圖像對中的可見光圖像進(jìn)行晝夜分類,對每個輸入圖像對都設(shè)定一個時段標(biāo)簽(白天或夜晚)。

采用滑動窗口法計算原圖的改進(jìn)MACF特征,窗口大小為64×32。利用快速特征金字塔的思想直接對特征進(jìn)行縮放,得到不同尺度圖像下的特征向量。

將標(biāo)簽為白天的圖像特征向量送入日間分類器,標(biāo)簽為夜晚的圖像特征向量送入夜間分類器,在結(jié)束端輸出最后的檢測結(jié)果。

3 仿真實驗結(jié)果與分析

本實驗運行環(huán)境為Windows7 64位操作系統(tǒng),Intel Core I5 CPU處理器,8 GB內(nèi)存,MATLAB R2016a軟件平臺。本文研究的對象是車載攝像頭拍攝到的行人目標(biāo),實驗用到的樣本圖像取自KAIST數(shù)據(jù)集[6]。KAIST數(shù)據(jù)集是利用車載攝像頭采集的配準(zhǔn)多光譜圖像對,包含了在校園、城鎮(zhèn)和公路多種場景下的白天和夜晚圖像,共有12個子數(shù)據(jù)集(set00～set02、set06～set08采集時間為白天,set03～set05、set09～set11采集時間為夜晚),總計95 328對配準(zhǔn)圖像。實驗使用5 017對多光譜圖像對用于訓(xùn)練,3 008對多光譜圖像用于測試,從set00、set01和set02中,每隔10幀共采取3 339對樣本,作為日間分類器的訓(xùn)練集,從set03、set04和set05中,每隔10幀共采取1 678對樣本圖像,作為夜間分類器的訓(xùn)練集,從總體訓(xùn)練樣本每隔2幀共采取2 508對圖像作為不分時段分類器的訓(xùn)練集。set06～set11作為測試集,每隔15幀共采取3 008對樣本圖像(白天測試樣本數(shù)為1 944,夜晚測試樣本數(shù)為1 064)。本文采用Dollar等提出的評估準(zhǔn)則[14],利用平均漏檢率(log-average miss rate,LAMR)作為評價標(biāo)準(zhǔn)。如果預(yù)測的邊界框與任何行人標(biāo)簽框的IoU比率大于50 %,則該預(yù)測框為真,無匹配的預(yù)測框和標(biāo)記框分別為誤報和漏報。

本文提出的基于HSV信息的判別準(zhǔn)則在3 008張可見光測試圖像上進(jìn)行晝夜分類實驗的結(jié)果如表1所示,實驗設(shè)定閾值THH為105,THV為6×104。

表1 圖像晝夜分類的結(jié)果

利用這種方法,本文僅以2.6 %的錯誤率將輸入圖像分成白天和夜晚兩組,單步驟的處理速度為36 ms,基本達(dá)到實時性的要求。有部分黑夜圖像由于是在燈光密集,光照亮度較高的環(huán)境下拍攝得到,亮度信息與白天圖像接近,因此被錯判。

為了能夠說明EWHID特征和晝夜分類訓(xùn)練檢測的優(yōu)點,對特征進(jìn)行了LAMR值檢測性能的比較,如表2所示。其中,MACF是原作者給出的檢測結(jié)果,MACF-Our是在原MACF基礎(chǔ)上調(diào)整參數(shù)檢測的結(jié)果,MACF-EWHID是將原MACF紅外通道的HOG特征替換成EWHID特征,并利用2 508對全天場景多光譜圖像訓(xùn)練分類器進(jìn)行檢測的結(jié)果,MACF-EWHID(day and night)是利用3 339對白天場景多光譜圖像和1 678對夜晚場景多光譜圖像分別訓(xùn)練分類器,并通過HSV判別準(zhǔn)則晝夜分類檢測得到的結(jié)果。

表2 檢測LAMR對比值 %

從表2可以看出,通過對數(shù)據(jù)集的采樣處理和參數(shù)的調(diào)整,本文的MACF特征效果要比原作者提供的結(jié)果要好一些。與MACF-Our的LAMR值相比,MACF-EWHID在全天測試場景下降低了5.12 %,白天測試場景下降低了4.01 %,夜晚測試場景下降低了5.61 %,說明改進(jìn)的EWHID特征增強(qiáng)了總體多光譜聚合通道特征的表示能力。MACF-EWHID(day and night)利用晝夜分類訓(xùn)練檢測后,LAMR值進(jìn)一步降低到全天場景為48.23 %,白天場景為51.56 %,夜晚場景為43.24 %,說明晝夜分類訓(xùn)練特征,并使用雙分類器檢測能夠使得算法性能有較大的提升。

表3給出本文算法與其他算法在KAIST數(shù)據(jù)集上的測試結(jié)果比較。

表3 本文算法與其他算法在KAIST數(shù)據(jù)集上的檢測結(jié)果對比(LAMR) %

相對于文獻(xiàn)[8]的算法,本文算法的LAMR值在全天測試場景降低了11.44 %,白天測試場景降低了10.81 %,夜晚測試場景降低了6.94 %。相對于文獻(xiàn)[10]的算法,本文算法的LAMR值在全天測試場景降低了3.07 %,白天測試場景降低了3.71 %,夜晚測試場景高出1.66 %,夜晚的檢測效果要略遜于文獻(xiàn)[10]。相對于文獻(xiàn)[15]的算法,本文算法的LAMR值在全天測試場景高出0.92 %,白天測試場景高出2.25 %,夜晚測試場景降低了0.51 %,全天和白天的檢測效果要略遜于文獻(xiàn)[15]。文獻(xiàn)[10]和文獻(xiàn)[15]為深度學(xué)習(xí)算法,學(xué)習(xí)特征的能力較強(qiáng),在檢測識別率上有一定的優(yōu)勢,但在參數(shù)選擇和模型訓(xùn)練等方面較為復(fù)雜,本文算法在保證準(zhǔn)確率的同時易于訓(xùn)練,對硬件的性能要求較低。

為了能說明在一些復(fù)雜場景下本文算法的檢測效果,圖5給出本文算法和傳統(tǒng)MACF算法在KAIST數(shù)據(jù)集上的部分檢測結(jié)果對比。第一行為背景較復(fù)雜的白天場景,第二行為背景模糊,目標(biāo)尺寸較小的夜晚場景,第三行為光照條件較差的夜晚場景,第四行為具有多尺度行人目標(biāo)的夜晚場景。相比于傳統(tǒng)MACF算法,本文算法提出的誤檢窗口更少,在背景復(fù)雜、目標(biāo)較小的情況下能夠準(zhǔn)確地識別出行人,但在目標(biāo)數(shù)量多,分布密集的情況下仍存在一定的誤漏檢情況。

圖5 2種算法在不同場景下的檢測效果對比

4 結(jié) 論

本文提出了一種具有EWHID特征的MACF晝夜分時行人檢測算法。該算法分別提取可見光圖像的10個通道特征、紅外圖像的熱強(qiáng)度和EWHID特征,提升了總體聚合通道特征對多光譜行人的表示能力。分別對數(shù)據(jù)集的白天和夜晚子數(shù)據(jù)集訓(xùn)練,得到日間分類器和夜間分類器,并利用HSV顏色空間的H直方圖和V直方圖信息作為晝夜時段的判別準(zhǔn)則,對輸入圖像進(jìn)行分類,達(dá)到了日間分類器檢測白天圖像,夜間分類器檢測夜晚圖像的目標(biāo),檢測性能得到大幅提高。但是本文算法使用了晝夜兩個時段的分類器,接下來的工作重心將研究自動感知光照變化的方法,降低算法的復(fù)雜度。