趙晨，孟朝暉

（河海大學(xué)江蘇南京210000）

?

基于彩色和紅外特征的多模式行人檢測方法

趙晨，孟朝暉

（河海大學(xué)江蘇南京210000）

摘要：針對日常生活中的行人安全問題，本文采用一種基于彩色和紅外特征的多模式行人檢測方法，提高行人檢測的精度。本文通過分類檢測障礙物和行人區(qū)域的顏色和紅外特征，設(shè)計(jì)一個(gè)多模式三焦框架，將檢測得到的多模式圖像特征結(jié)合在一起，促進(jìn)多模式行人檢測的發(fā)展。實(shí)驗(yàn)結(jié)果表明，當(dāng)顏色、視差和紅外特征結(jié)合使用時(shí)，該方法檢測性能顯著提高。

關(guān)鍵詞：模式識(shí)別；行人安全；行人檢測；紅外

行人安全是一個(gè)具有全球性意義的問題。全球每年117萬的交通事故死亡人數(shù)中，65%與行人相關(guān)。發(fā)達(dá)國家，如美國，每年交通事故死亡人數(shù)中行人死亡占10.9%；發(fā)展中國家，行人死亡比例和數(shù)量更龐大，據(jù)統(tǒng)計(jì)，中國和印度行人死亡量占所有的交通死亡量的一半以上。這一問題已引起各相關(guān)研究領(lǐng)域的強(qiáng)烈關(guān)注，目前不論從車輛還是從交通基礎(chǔ)設(shè)施方面，計(jì)算機(jī)視覺在行人檢測和跟蹤方面的研究越來越深入。

行人檢測以往的關(guān)注重點(diǎn)是，提取用于識(shí)別行人區(qū)域的一整套特征訓(xùn)練集，使用單一攝像機(jī)檢測擁擠而多變場景中行人。從單目圖像中提取特征，最常用的分類方法是支持向量機(jī)（SVM）［1-2］的方法，此外還有模板匹配、卷積神經(jīng)網(wǎng)絡(luò)和Chamfer距離匹配等。單臺(tái)攝像機(jī)法被限制在一個(gè)臨界區(qū)內(nèi)，為實(shí)現(xiàn)單目圖像中較好的行人檢測，達(dá)到準(zhǔn)確可靠的深度估計(jì)目的，需使用一個(gè)安置在立體視覺配置上的多目攝像系統(tǒng)。立體視覺攝像系統(tǒng)［3］利用稠密立體匹配來確定候選行人區(qū)域，并確定行人離攝像機(jī)的距離，紅外立體攝像系統(tǒng)將紅外特征的優(yōu)勢與立體視覺固有的強(qiáng)大深度估計(jì)結(jié)合起來［4］。

文中利用可見光圖像和紅外圖像在同一個(gè)場景提取的信息具有互補(bǔ)性的特點(diǎn)，將二者結(jié)合。普通數(shù)字視頻攝像機(jī)捕捉的是一個(gè)場景中目標(biāo)的反射光，紅外攝像機(jī)是對目標(biāo)熱輻射特性的捕獲，兩種特征結(jié)合可以提高檢測的魯棒性。為了能更好的記錄單一模式立體圖像，還需要一致匹配技術(shù)［5］，而在多模式多維系統(tǒng)中，目標(biāo)在視頻圖像和紅外圖像中有不同表現(xiàn)形式，使得尋找強(qiáng)健的一致匹配技術(shù)非常困難。實(shí)驗(yàn)測試平臺(tái)由一臺(tái)彩色和一臺(tái)紅外攝像機(jī)組成，使用單峰圖像法進(jìn)行基于立體視覺檢測的對比實(shí)驗(yàn)。分析檢測到的障礙物和行人區(qū)域中的有用的彩色和紅外特征，利用由一對立體彩色攝像機(jī)和一臺(tái)獨(dú)立的紅外相機(jī)組成多模式三焦框架，通過校準(zhǔn)三目攝像裝置，得到精確魯棒的彩色、視差和紅外特征記錄。實(shí)驗(yàn)證實(shí)彩色、視差和紅外信息相結(jié)合，在行人檢測中有更顯著的效果。

1　基于立體的行人檢測

分析立體影像中行人的基本步驟是檢測障礙物并在三維空間中定位。采用Labayrade等人［6］提出的立體圖像障礙物檢測方法，利用v-視差概念確定場景中的障礙。v-視差是一個(gè)立體視差圖像的柱狀圖，積累圖像中每一行當(dāng)前差異值，當(dāng)相機(jī)與成像場景相對平行時(shí)，目標(biāo)呈現(xiàn)在不同視差域平面上［7］。為了實(shí)現(xiàn)彩色和紅外立體影像行人檢測對比分析，使用v-視差方法檢測障礙物，實(shí)現(xiàn)彩色和紅外立體影像無修改采集，根據(jù)兩種方法性能生成障礙物區(qū)域魯棒性立體視差。具體實(shí)現(xiàn)步驟如下：

第一步，進(jìn)行稠密立體匹配，得到目標(biāo)場景的視差估計(jì)，選擇由Kono1jge［8］提出的一致匹配算法，得到彩色和紅外視差圖像，如圖1所示。

圖1　彩色圖像和紅外圖像的視差圖

第二步，生成u-和v-視差圖像。u-視差圖像顯示每列u的密度差異，3個(gè)不同的水平區(qū)域，對應(yīng)于場景中3個(gè)行人，其頂部跨越整個(gè)區(qū)域，顯示出背景平面，并可過濾處理。v-視差直方圖表示行v的密度差異，顯示用于背景及包含行人視差差異范圍的高密度垂直峰值，其中每一行的向下傾斜趨勢被用來估計(jì)場景中的地平面。

第三步，估計(jì)地平面。對v-視差圖像中視差d的每一列，選擇最低的像素位置作為候選地平面點(diǎn)，該位置的值超過設(shè)定閾值。通過擬合候選點(diǎn)到一個(gè)穩(wěn)健線性回歸方程估計(jì)地平面，回歸方程利用加權(quán)最小二乘法，使用雙平方加權(quán)函數(shù)權(quán)重迭代，利用魯棒性點(diǎn)候選集和迭代直線擬合一個(gè)密集立體，估計(jì)得到彩色立體和紅外立體影像中的地平面。

第四步，生成候選邊界框。邊界框候選區(qū)域從u-和v-視差圖像感興趣區(qū)域（ROI）中提取出來。u-視差圖像的ROIs通過掃描圖像的行得到，用于直方圖值超過設(shè)定閾值的連續(xù)跨度；v-視差圖像的ROIs通過選擇列提取，該列地平面上方直方圖值的總和大于閾值。候選邊界框是從基于視差值的u-和v-視差圖像的ROIs中選擇出來的。對于一個(gè)給定的視差d，邊界框的寬度是由u-視差圖像中ROIs確定，高度是由v-視差圖像中ROIs確定。大邊界框與背景區(qū)域被過濾出來，而其余的候選區(qū)域如圖2所示。

圖2　彩色和紅外圖像的候選區(qū)域邊界框

第五步，對候選區(qū)域過濾合并。圖2候選區(qū)域邊界框有多個(gè)重疊，當(dāng)與行人相關(guān)的視差跨越一段范圍值，尤其是當(dāng)行人靠近攝像機(jī)時(shí)，會(huì)出現(xiàn)這種情況。設(shè)與邊界框相關(guān)的視差值相近時(shí)，合并明顯重疊的候選區(qū)域，最終的行人候選邊界框如圖3所示。

圖3　彩色和紅外立體圖像融合后最終的行人候選區(qū)域邊界框

由于捕獲的視頻幀不包括非行人障礙，如其他車輛或騎車的人，實(shí)驗(yàn)才取得了比較高的檢出率，所以實(shí)驗(yàn)假設(shè)，檢測到的障礙物區(qū)域被認(rèn)為是一個(gè)行人。實(shí)驗(yàn)要實(shí)現(xiàn)的是底層障礙的高檢出率和緩解碰撞，而實(shí)際情況下，檢測到的障礙包括駕駛過程中遇到的各種對象，并非只有行人，過濾檢測到的障礙物對識(shí)別行人來說是必不可少的。通過學(xué)習(xí)和試探性地選擇行人邊界框特征，如大小、視差和縱橫比等，來過濾掉場景中與目標(biāo)相連的邊界框［7］。

雖然彩色和紅外立體分析可以分別組合［7］，但更經(jīng)濟(jì)可取的解決辦法是把色彩、視差及紅外特征組合到一個(gè)綜合檢測框架中。提出一個(gè)由一臺(tái)彩色攝像立體對和一臺(tái)獨(dú)立的紅外攝像機(jī)組成的多模式三焦框架，設(shè)計(jì)集成色彩、視差和紅外特征的行人檢測器，產(chǎn)生比單獨(dú)使用各個(gè)特征更高的檢出率。

2　用于行人檢測的多模式三焦框架

色彩、視差及紅外圖像特征的優(yōu)勢可以通過使用一個(gè)三目攝像機(jī)的方法合并，使用立體圖像視差估計(jì)，記錄紅外圖像中對應(yīng)像素、矩陣的集合與三幅圖像之間的對應(yīng)關(guān)系。通過對應(yīng)點(diǎn)的最小化代數(shù)誤差來估計(jì)三焦點(diǎn)矩陣向量，對應(yīng)點(diǎn)通過三焦點(diǎn)圖像得到，三焦點(diǎn)圖像使用與立體校準(zhǔn)相同的校準(zhǔn)技術(shù)，要計(jì)算三焦點(diǎn)矩陣向量需要在點(diǎn)估計(jì)中使用更多的關(guān)聯(lián)平滑誤差。

三焦點(diǎn)矩陣向量T=［T1，T2，T3］，其中Tj是第j張圖像中的一個(gè)3×3的矩陣。這個(gè)張量標(biāo)記可以確定標(biāo)準(zhǔn)的二視圖幾何參數(shù)，如基礎(chǔ)矩陣F、極點(diǎn)e和投影矩陣P。給定一個(gè)對應(yīng)點(diǎn)x′?x″，通過（1）估算得到轉(zhuǎn)移到第3幅圖像的點(diǎn)x。

利用Da1a1和Trjggs［8］提出的方法，提取方向梯度直方圖特征。對于每一個(gè)彩色、視差和紅外圖像，計(jì)算一個(gè)X×Y×Z元的直方圖，其中X，Y和Z分別是直方圖寬度、高度和梯度方向的大小。實(shí)驗(yàn)中，使用一個(gè)4×4×8元的直方圖，為每個(gè)圖像類型產(chǎn)生128元的特征向量。使用支持向量機(jī)的彩色、視差和紅外特征的組合，徑向基函數(shù)作為核函數(shù)類型，訓(xùn)練行人檢測器。

圖4　彩色和紅外立體圖像行人檢測最終結(jié)果

3　用于行人檢測的交叉譜一致性立體匹配

多模式三焦框架顯示出用于行人檢測的彩色、視差和紅外特征整合的優(yōu)勢，利用互譜立體研究實(shí)現(xiàn)一致性立體匹配。為了得到準(zhǔn)確強(qiáng)健的記錄，使用交叉譜立體圖像中用于區(qū)域匹配的算法［5］。提供有統(tǒng)計(jì)置信度值的魯棒視差估計(jì)，用于有初始對象分割的圖像中。

由于成像特性差異較大，匹配集中于初始分割估計(jì)的前景像素。為了在運(yùn)動(dòng)車輛中獲得分割，使用基于光流的方法來檢測場景中移動(dòng)的行人。實(shí)驗(yàn)表明，這種方法在速度較低（＜10米/小時(shí)）時(shí)是比較穩(wěn)健的。以下是匹配方法的流程圖：

已知在水平方向lu和垂直方向lv運(yùn)動(dòng)的光流估計(jì)及遮擋區(qū)域locc，估計(jì)前景區(qū)域Rf，是有水平方向或者垂直方向的無遮擋的運(yùn)動(dòng)。用式（2）進(jìn)行形態(tài)學(xué)平滑估計(jì)。

固定一幀前景圖像中的窗口，并沿著第二幀圖像滑動(dòng)到對應(yīng)窗口完成匹配。已知圖像高度和寬度w，對于每一列i∈0，…，w，令WC，i作為一個(gè)高度是h*、寬度是M的彩色圖像的參考窗口。給定的場景寬度M通常小于場景中目標(biāo)物體的寬度，實(shí)驗(yàn)設(shè)定M為31，高度h*是參考窗口內(nèi)最大前景跨度。紅外圖像中對應(yīng)窗口WI，i，d高度h*，位于i+d列，d是視差偏移，對于給定的列i，參考窗口是確定的，取值范圍為d∈dmjn，…，dmax。

已知兩個(gè)對應(yīng)的窗口WC，i和WI，i，d，通過線性量化圖像，兩種類型圖像塊之間的相似性，可以通過它們之間的公用信息Fcm（C，I）測定。

其中PC，I（c，i）是聯(lián)合概率密度函數(shù)，而PC（c）和PI（i）分別是彩色和紅外圖像塊的邊緣概率密度函數(shù)。PC，I（c，i）表示歸一化的二維圖像密度直方圖，而邊緣概率通過直方圖的一維值決定的。定義兩對應(yīng)窗口之間的交互信息為Ic，i，i為參考窗口中心，而c+i是移動(dòng)窗口的中心。對于每一列，有d∈dmjn，…，dmax，選擇最佳視差d*i作為最大共有信息。

分配一個(gè)值d*i給參考窗口中所有前景像素，定義一個(gè)大小為（h，w，dmax-dmjn+1）的視差值矩陣作為視差范圍。對于每個(gè)前景像素，給定參考窗口WC，i，（u，v）∈（WC，iI Rf，c），累積視差值矩陣到DC（u，v，d*i）。由于對應(yīng)窗口是M，視差值矩陣的每一列都將有M個(gè)值。對于圖像中每個(gè)像素（u，v），DC是對應(yīng)窗口的匹配視差分布。假定人與相機(jī)距離是固定的，較好的匹配應(yīng)有大量數(shù)據(jù)，用于一個(gè)獨(dú)立視差值，而不好的匹配是分布在整個(gè)范圍內(nèi)的視差值，最好的視差值和每個(gè)像素對應(yīng)的置信度，

對于一個(gè)像素（u，v），E*C（u，v）是最佳視差值D*C（u，v）的數(shù)量。D*I和E*I通過視差轉(zhuǎn)移，對齊于彩色圖像，之后用“和”運(yùn)算組合。對于所有像素（u，v），都有E*C（u，v）＞0和E*I（u，v）＞0。

產(chǎn)生的視差圖像D*（u，v）可用于記錄場景中多個(gè)對象。圖5顯示通過算法推導(dǎo)得到的圖像記錄結(jié)果，紅外前景像素（綠色）覆蓋彩色前景像素（紫色）顏色，交叉譜一致性立體匹配成功覆蓋場景中3人的前景區(qū)域。

圖5　結(jié)合彩色和紅外視差圖D*C和D*I產(chǎn)生視差圖像

分析行人區(qū)域交叉譜的立體一致匹配，目標(biāo)是從行人的不同位置、相機(jī)距離及閉和水平匹配成功。我們認(rèn)為視覺上的對齊是正確的，而未對齊、丟失或部分對齊的區(qū)域是不正確的。表1總結(jié)我們的實(shí)驗(yàn)分析。

表1　行人區(qū)域的交叉譜立體配準(zhǔn)

4　結(jié)束語

該算法通過實(shí)驗(yàn)比較表明，基于彩色和紅外的立體視差都能在低誤報(bào)（＜＜1%）情況下非常準(zhǔn)確的進(jìn)行行人檢測（＞98%）。由于產(chǎn)生彩色和紅外圖像的物理過程不同，每種模式提取的特征在很大程度上是獨(dú)立的。該法表明彩色和紅外圖像特征可以用于行人分類，并與多模式三焦框架結(jié)合用于行人檢測。多模式三焦框架用一個(gè)獨(dú)立的紅外攝像機(jī)來準(zhǔn)確記錄每幀圖像的像素，證明融合彩色、視差和紅外特征的訓(xùn)練行人檢測器，有比單獨(dú)使用單峰或立體特征探測器更高的精度。雖然初始分割的要求限制了該方法的通用性和魯棒性，但這對交叉譜立體匹配算法的發(fā)展是很好的第一步。

行人安全是安全駕駛許多方面中的一個(gè)，從一個(gè)多模式三焦或交叉譜立體解決方案中提取的多模式特征集，可提供強(qiáng)大且統(tǒng)一的框架，用于分析車載環(huán)境以及更高層次的駕駛員意圖分析，但在實(shí)際應(yīng)用中還有很多問題亟待解決，需要從計(jì)算機(jī)視覺方面進(jìn)一步探索研究。

參考文獻(xiàn)：

［1］Andreone L，Be11ottj F，De G1orja A，et a1. SVM -based pedestrjan recognjtjon on near-jnfrared jmages［J］. Internatjona1 Symposjum on Image & Sjgna1 Processjng & Ana1ysjs，2005：274-278.

［2］張祥合.復(fù)雜場景中目標(biāo)識(shí)別與分類的仿生原理和方法［D］.長春：吉林大學(xué)，2012.

［3］Zhao L，Thorpe C E. Stereo-and neura1 network-based pedestrjan detectjon［J］. Inte11jgent Transportatjon Systems IEEE Transactjons on，2000，1（3）：148-154.

［4］Bertozzj M，Broggj A，Caraffj C，et a1. Pedestrjan detectjon by means of far-jnfrared stereo vjsjon［J］. Computer Vjsjon & Image Understandjng，2007，106（23）：194-204.

［5］Krotosky S J，Trjvedj M M. Mutua1 jnformatjon based regjstratjon of mu1tjmoda1 stereo vjdeos for person trackjng［J］. Computer Vjsjon & Image Understandjng，2007，106：270 -287.

［6］Labayrade R，Aubert D，Tare1 J. Rea1 tjme obstac1e detectjon jn stereovjsjon on non f1at road geometry through″v -djsparjty″representatjon［C］//IEEEInte11jgent Vehjc1e Symposjum. IEEE，2002：646-651.

［7］孔慶群，高偉.視差計(jì)算的層級(jí)模型［J］.中國科學(xué)：信息科學(xué)，2013（9）：1111-1123.

［8］Da1a1 N，Trjggs B. Hjstograms of Orjented Gradjents for Human Detectjon［C］//Nu11. IEEE Computer Socjety，2005：886-893.

Multl-Pattern methods to Pedestrlan detectlon based on the color and lnfrared features

ZHAO Chen，MENG Zhao-huj
（Hohai University，Nanjing 210000，China）

Abstract:Be djrected agajnst the pedestrjan safety prob1ems jn daj1y 1jfe，thjs paper uses a mu1tj-pattern method to pedestrjan detectjon based on the co1or and jnfrared features，jn order to jncrease the accuracy of pedestrjan detectjon. Through the c1assjfjcatjon detectjon on co1or and jnfrared features of obstac1e objects and pedestrjan regjon，wepropose a mu1tj-pattern trjfoca1 frameworkto combjne detected mu1tj-pattern-jmage features，thjs paperpromotes the deve1opment of mu1tj-pattern pedestrjan detectjon. The experjmenta1 resu1tsdemonstrate that the detectjon performance js sjgnjfjcant1yhjgher when co1or，djsparjty，and jnfrared features areused together.

Key words:pattern recognjtjon；pedestrjan safety；pedestrjan detectjon；jnfrared

中圖分類號(hào)：TN0

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1674-6236（2016）07-0055-03

收稿日期：2015-05-11稿件編號(hào)：201505090

作者簡介：趙晨（1988—），女，山東煙臺(tái)人，碩士。研究方向：計(jì)算機(jī)視覺。