林浩，馬可可，牛阿云，莊家俊

（仲愷農(nóng)業(yè)工程學(xué)院計(jì)算科學(xué)學(xué)院，廣州510225）

0 引言

夜間行車僅約占行車總量的25%，但卻有超過50%的交通事故發(fā)生于夜間，給行人等脆性目標(biāo)帶來了嚴(yán)重的威脅[1]。得益于惡劣環(huán)境適應(yīng)性強(qiáng)的優(yōu)點(diǎn)，紅外成像特別適合于在能見度差的夜間場景中執(zhí)行行人檢測任務(wù)[2]?；诩t外成像的行人檢測方法通常包含感興趣區(qū)域（Regions of Interest，RoIs）提取和行人識別兩個(gè)主要環(huán)節(jié)。劉瓊等人[3]提出一種融合行人區(qū)域顯著性的雙閾值圖像分割算法，實(shí)現(xiàn)了多尺度紅外行人分割，但該算法包含較多的模型參數(shù)。Dollar 等人[4]提出描述行人目標(biāo)的聚合通道特征（Aggregated Channel Feature，ACF），結(jié)合集成學(xué)習(xí)方法，提高了光學(xué)圖像中的行人檢測準(zhǔn)確性，但由于色彩信息的缺失，ACF 算子無法直接應(yīng)用于紅外行人檢測。崔少華等人[5]采用包含若干個(gè)卷積層和池化層的LeNet-7 框架，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的紅外行人檢測方法；許茗等人[6]在頻率域中生成紅外行人區(qū)域的顯著性熱圖，以行人目標(biāo)概率圖為期望輸出，提出了一種全卷積網(wǎng)絡(luò)行人檢測方法；上述基于深度學(xué)習(xí)的行人檢測方法雖能顯著提高紅外行人識別準(zhǔn)確性，但依賴于專屬GPU 硬件設(shè)備。筆者結(jié)合遠(yuǎn)紅外行人目標(biāo)的成像特性，提出一種基于遠(yuǎn)紅外圖像序列的行人檢測方法，結(jié)合全局和局部圖像分割策略快速準(zhǔn)確定位潛在目標(biāo)區(qū)域，在AdaBoost 集成學(xué)習(xí)框架下引入多目標(biāo)跟蹤機(jī)制，以提高夜間行人檢測系統(tǒng)的魯棒性。

1 實(shí)驗(yàn)數(shù)據(jù)

在長城小轎車上搭載了一顆熱像儀（廣州颯特紅外股份有限公司NV-628），于廣州大學(xué)城和廣州大道上采集了6 段遠(yuǎn)紅外視頻，視頻采集時(shí)間段為晚上7-8點(diǎn)之間，轎車行駛速度范圍為20-60 km/h，視頻采集幀率為25 f/s、分辨率為352 像素×288 像素；通過間隔2幀的數(shù)據(jù)采樣方式從6 段視頻中提取了6087 幅遠(yuǎn)紅外圖像，并隨機(jī)將其分成訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集兩個(gè)部分（各包含3 段視頻），其分別包含2934 和3153幅圖像；將訓(xùn)練數(shù)據(jù)集中從包含行人目標(biāo)的圖像（共2493 幅）中提取了10804 個(gè)行人目標(biāo)區(qū)域，對于部分行人目標(biāo)經(jīng)過鏡像得到額外的4079 個(gè)行人目標(biāo)，共14883 個(gè)行人目標(biāo)區(qū)域組成正訓(xùn)練樣本，圖1 給出了正訓(xùn)練樣本寬高比分布圖，將剩余僅包含背景目標(biāo)的圖像（共441 幅）作為負(fù)訓(xùn)練樣本的篩選來源；以最小外接矩形的方式標(biāo)注了測試數(shù)據(jù)集中所有的行人目標(biāo)區(qū)域（共4463 個(gè)行人），以作為算法驗(yàn)證的客觀標(biāo)準(zhǔn)。

圖1 行人目標(biāo)成像尺度分布圖

2 遠(yuǎn)紅外行人檢測方法

提出的遠(yuǎn)紅外行人檢測方法包含感興趣區(qū)域（RoIs）提取、行人特征表達(dá)與識別和行人跟蹤三個(gè)主要部分。

2.1 RoIs提取

設(shè)計(jì)一種基于改進(jìn)雙閾值分割策略的RoIs 提取算法，分別從全局和局部圖像閾值分割兩個(gè)層面獲取潛在的遠(yuǎn)紅外人體區(qū)域，并通過區(qū)域合并機(jī)制抑制圖像過分割效應(yīng)，以產(chǎn)生更精確的RoIs，具體步驟如下：

（1）圖像全局閾值分割

如圖2 所示，遠(yuǎn)紅外人體區(qū)域表現(xiàn)出成像灰度值普遍高于周圍多數(shù)背景目標(biāo)的特點(diǎn)，鑒于全局閾值分割通常具有處理速度快的優(yōu)點(diǎn)，首先通過公式（1）獲取能有效濾除大多數(shù)背景區(qū)域的全局圖像分割閾值TG

其中，μ和σ分別為輸入圖像的灰度平均值和標(biāo)準(zhǔn)差，λ為擾動參數(shù)。圖3（b）給出了一幅遠(yuǎn)紅外圖像的全局閾值分割效果。由分割結(jié)果可以看出，全局閾值化后已得到大部分前景，但仍有部分較亮的背景區(qū)域也被分割出來，易導(dǎo)致干擾背景與行人區(qū)域產(chǎn)生粘連現(xiàn)象，故以此為基礎(chǔ)，進(jìn)一步采用局部閾值分割濾除與行人相互粘連的背景區(qū)域。

圖2 遠(yuǎn)紅外行人區(qū)域灰度分布拓?fù)鋱D

圖3 遠(yuǎn)紅外圖像全局閾值分割

（2）圖像局部閾值分割

遠(yuǎn)紅外圖像中目標(biāo)的成像灰度值與其散發(fā)的熱輻射有較大的關(guān)聯(lián)，道路交通場景中可能存在一定數(shù)量的干擾熱源，使得其難以在全局閾值圖像分割環(huán)節(jié)中被有效濾除，為避免干擾熱源對圖像全局閾值分割效果的影響，采用局部閾值圖像分割獲取局部人體區(qū)域。

鑒于站立人體的圖像區(qū)域一般呈現(xiàn)寬高比數(shù)值較低的特性，通過指定尺度的矩形窗口限制圖像的局部區(qū)域，據(jù)此計(jì)算對應(yīng)的局部分割閾值。由圖1 所示行人訓(xùn)練樣本的寬高比分布于1:3 前后，且樣本集中行人目標(biāo)成像尺度面積約為400 像素，故采用大小為13 像素×41 像素、步長為1 像素的滑動窗口進(jìn)行潛在行人目標(biāo)區(qū)域的局部遍歷，并通過公式（2）獲取圖像局部分割閾值：

其中，I 為輸入圖像，h 和w 分別表示局部區(qū)域中像素點(diǎn)的縱坐標(biāo)為（20+j）的橫坐標(biāo)范圍以及橫坐標(biāo)為（6+i）的縱坐標(biāo)范圍，γ是局部分割閾值擾動系數(shù)。進(jìn)一步，采用公式（3）所示的決策規(guī)則實(shí)現(xiàn)圖像局部閾值分割，圖3（c）給出圖3（a）所示圖像的局部閾值分割效果。

相比于圖像的全局滑窗法，以全局閾值分割結(jié)果為基礎(chǔ)進(jìn)行前景區(qū)域的局部滑窗掃描方式可有效降低RoIs 提取環(huán)節(jié)的計(jì)算開銷。此外，由圖3 可以看出，從全局和局部兩個(gè)層面進(jìn)行前景區(qū)域分割，還能獲得更高的分割準(zhǔn)確率。

（3）區(qū)域合并與RoIs 生成

圖4（a）給出了基于圖3（c）所示閾值化分割圖像的RoIs 生成結(jié)果，可以看出，部分人體區(qū)域存在一定程度的過分割效應(yīng)，導(dǎo)致獨(dú)立人體區(qū)域被劃分成若干子區(qū)域，為提高RoIs 生成結(jié)果的精確度，結(jié)合區(qū)域合并策略將臨近的兩個(gè)子區(qū)域（如上下或左右毗鄰）重組成一個(gè)完整區(qū)域，要求臨近兩個(gè)子區(qū)域在歐氏空間中的距離小于閾值5 像素（該參數(shù)通過訓(xùn)練樣本集確定），圖4（b）給出了基于區(qū)域合并策略的RoIs 生成結(jié)果。

圖4 RoIs生成

2.2 行人特征表達(dá)與識別

（1）行人特征表達(dá)

雖然遠(yuǎn)紅外圖像缺乏目標(biāo)的色彩信息，但行人區(qū)域與其余背景目標(biāo)區(qū)域在亮度、紋理和形狀等外觀表征方面仍存在較為顯著的差異性，而聚合通道特征（Aggregate Channels Feature，ACF）[4]有利于從多種不同特征通道中提取出表征人體不同外觀特性的描述特征，故通過LUV 色彩空間轉(zhuǎn)換后分離出獨(dú)立于色彩信息的亮度分量，以此為基礎(chǔ)采用ACF 算子提取具有7個(gè)特征通道的行人描述特征，圖5 給出了一幅遠(yuǎn)紅外行人圖像的聚合通道梯度特征提取效果。

圖5 遠(yuǎn)紅外行人目標(biāo)的ACF特征表達(dá)

（2）行人識別

ACF 特征中仍可能存在一定的冗余性，而通過集成學(xué)習(xí)方法有利于從中訓(xùn)練針對性的魯棒行人識別模型。故采用AdaBoost 算法對提取所得的ACF 特征進(jìn)行訓(xùn)練，其中基礎(chǔ)分類器的數(shù)量設(shè)為2048 個(gè)，而訓(xùn)練基礎(chǔ)分類器的算法為分類與回歸樹CART；由于行人檢測屬于“稀有事件”檢測問題[7]，為提高后層基礎(chǔ)分類器的魯棒性、同時(shí)避免類別偏斜問題，將集成學(xué)習(xí)過程中的每層正負(fù)訓(xùn)練樣本數(shù)量比例設(shè)置為1:5。

2.3 行人跟蹤

基于靜態(tài)/單幀圖像的檢測方式容易產(chǎn)生較多的目標(biāo)漏識別現(xiàn)象，為進(jìn)一步提高行人識別結(jié)果的準(zhǔn)確性，采用尺度自適應(yīng)跟蹤算法（Discriminative Scale Space Tracker，DSST）[8]在連續(xù)多幀的動態(tài)圖像序列中跟蹤已識別到的行人目標(biāo)，以濾除行人識別環(huán)節(jié)中錯(cuò)誤檢測的大量干擾背景。DSST 算法可通過相關(guān)濾波器預(yù)測目標(biāo)尺度，適合于多尺度目標(biāo)跟蹤任務(wù)，此處結(jié)合訓(xùn)練數(shù)據(jù)集設(shè)置相關(guān)濾波器的維數(shù)為33，以行人識別環(huán)節(jié)判定結(jié)果的區(qū)域質(zhì)心為基準(zhǔn)，獲取了33 個(gè)不同尺度的目標(biāo)圖像，并提取對應(yīng)目標(biāo)的梯度累計(jì)特征（源自ACF特征），從而形成一個(gè)33 維的空間域特征金字塔。在預(yù)測過程中，將空間域特征金字塔的第t 維特征歸一化成1×t 大小的特征向量（t≤33），結(jié)合一維離散傅里葉正反變換在頻率域中對第t 維特征（共33 維）進(jìn)行相關(guān)運(yùn)算并映射回空間域，其中具有最大響應(yīng)值所對應(yīng)的尺度即為預(yù)測的目標(biāo)尺度，具體跟蹤流程如圖6 所示。

圖6 基于DSST的行人跟蹤流程圖

2.4 評估指標(biāo)

采用漏檢率（Miss Rate，MR）和誤檢率（Error-detection Rate，ER）來評估行人檢測結(jié)果的準(zhǔn)確性，其定義分別見公式（4）和（5），式中TP 為真陽性樣本數(shù)量，F(xiàn)N 為假陰性樣本數(shù)量，F(xiàn)P 為假陽性樣本數(shù)量。

3 實(shí)驗(yàn)結(jié)果與討論

在配備Intel Core i5 6300HQ CPU（2.3GHz）、8GB RAM 和NVIDIA GTX 1050 GPU（2GB）的MATLAB R2019a 平臺上開展行人檢測算法的驗(yàn)證與分析。

3.1 RoIs提取結(jié)果分析

為了評估所提算法的前景分割性能，圖7 給出了不同RoIs 提取算法對潛在遠(yuǎn)紅外行人目標(biāo)的提取效果示例。由圖7（b）可以看出，文獻(xiàn)[9]采用的水平線局部雙閾值分割策略未能很好地過濾更多的干擾背景區(qū)域，而本文算法能獲得更精確的中近景潛在目標(biāo)提取結(jié)果（如圖7（c）所示），有利于減少后續(xù)行人識別與跟蹤結(jié)果中由干擾背景引入的誤差；此外，文獻(xiàn)[9]的方法需要遍歷遠(yuǎn)紅外圖像中的所有像素，具有較高的計(jì)算時(shí)間復(fù)雜度，而本文方法事先通過全局閾值分割策略濾除了大部分背景像素點(diǎn)，在隨后選取局部分割閾值時(shí)，只需要遍歷全局閾值化結(jié)果中潛在前景區(qū)域的像素點(diǎn)，有利于提高RoIs 提取環(huán)節(jié)的計(jì)算效率。

圖7 RoIs提取效果對比

3.2 行人識別與跟蹤結(jié)果分析

由于數(shù)據(jù)集中的行人尺寸差異較大，在行人識別環(huán)節(jié)，根據(jù)行人樣本區(qū)域面積大小分布，將行人分為遠(yuǎn)景、中景和近景目標(biāo)，分別為每一類目標(biāo)訓(xùn)練一個(gè)Ada-Boost 分類器；遠(yuǎn)景分類器尺寸為138 像素×44 像素、中景分類器尺寸為110 像素×36 像素、近景目標(biāo)尺寸為70 像素×24 像素。在441 幅僅包含背景目標(biāo)的圖像中通過Bootstrap 策略共富集了40625 個(gè)負(fù)訓(xùn)練樣本。采用針對紅外目標(biāo)表達(dá)的ACF 描述子和AdaBoost 訓(xùn)練策略，在測試數(shù)據(jù)集上的MR 和ER 分別為25.49%和13.91%。結(jié)合具有尺度估計(jì)的DSST 多目標(biāo)跟蹤模塊后，在測試數(shù)據(jù)集上的MR 和ER 分別降低為11.63%和3.34%，可以看出，多目標(biāo)跟蹤算法的引入有利于進(jìn)一步提高行人檢測結(jié)果的準(zhǔn)確性，這是因?yàn)槌Ｒ?guī)的行人識別僅針對單幀圖像中的目標(biāo)檢測問題，而無法獲取目標(biāo)在連續(xù)多幀圖像中的運(yùn)動參數(shù)信息，部分誤檢的干擾背景容易在單幀圖像中出現(xiàn)，但一般難以在連續(xù)若干幀圖像中持續(xù)出現(xiàn)，其運(yùn)動參數(shù)（如軌跡）顯著有別于行人目標(biāo)，一定程度上可被多目標(biāo)跟蹤濾波器濾除，從而達(dá)到提高行人檢測結(jié)果魯棒性的目的。

圖8 給出了不同道路場景中的部分行人識別結(jié)果，其中黃色矩形標(biāo)識正確識別的行人目標(biāo)、品紅色矩形標(biāo)識被誤檢的干擾背景目標(biāo)（如圖8（e）所示）、紅色矩形標(biāo)識被漏檢的行人目標(biāo)（如圖8（f）所示）。值得指出的是，在測試數(shù)據(jù)集上出現(xiàn)的漏檢行人絕大多數(shù)是被標(biāo)注為遠(yuǎn)景目標(biāo)的一類測試數(shù)據(jù)，然而，遠(yuǎn)紅外圖像中的多數(shù)遠(yuǎn)景目標(biāo)通常表現(xiàn)為模糊小目標(biāo)，這類目標(biāo)甚至難以通過人工方式準(zhǔn)確標(biāo)注，往往這類目標(biāo)被評估為歧義性目標(biāo)，而隨著汽車的前向運(yùn)動，這類歧義性目標(biāo)將逐漸成為信息量更豐富的中近景目標(biāo)，故中近景行人是汽車駕駛輔助系統(tǒng)中更為關(guān)注的運(yùn)動目標(biāo)[10]。

圖8 部分行人檢測結(jié)果示例

4 結(jié)語

提出一種基于遠(yuǎn)紅外成像技術(shù)的車載夜間行人檢測方法，主要結(jié)論如下：

（1）通過全局閾值分割可濾除大量明顯不包含遠(yuǎn)紅外行人目標(biāo)的圖像子區(qū)域，提高RoIs 區(qū)域提取的計(jì)算效率，以此為基準(zhǔn)結(jié)合局部閾值分割和區(qū)域合并機(jī)制能抑制潛在目標(biāo)區(qū)域的過分割，提高RoIs 提取結(jié)果的精確度；

（2）從遠(yuǎn)紅外圖像亮度分量中提取的ACF 特征能有效表達(dá)行人目標(biāo)的局部形狀和邊緣輪廓，結(jié)合Ada-Boost 學(xué)習(xí)算法和訓(xùn)練樣本數(shù)量約束策略有利于緩解“稀有事件”檢測對行人識別準(zhǔn)確性的影響；

（3）通過DSST 多目標(biāo)跟蹤策略過濾大量基于單幀圖像的錯(cuò)誤行人識別結(jié)果，可提高行人檢測結(jié)果的魯棒性。