陸怡悅 蔡云飛 石庭敏

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 南京 210094）

基于多線激光雷達(dá)與視覺(jué)信息的實(shí)時(shí)行人檢測(cè)?

陸怡悅 蔡云飛 石庭敏

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 南京 210094）

行人是無(wú)人自主車輛的重要感知內(nèi)容。針對(duì)傳統(tǒng)行人檢測(cè)方法中檢測(cè)速度慢的情況，提出了一種融合多線激光雷達(dá)和視覺(jué)信息的實(shí)時(shí)行人檢測(cè)方法。該方法通過(guò)對(duì)激光雷達(dá)和攝像頭的聯(lián)合標(biāo)定，將雷達(dá)的坐標(biāo)映射到圖像坐標(biāo)中。根據(jù)雷達(dá)的柵格地圖檢測(cè)凸障礙，由此獲得圖像中的感興趣區(qū)域。最后利用梯度方向直方圖（HOG）和支持向量機(jī)（SVM）對(duì)感興趣區(qū)域進(jìn)行行人檢測(cè)。實(shí)驗(yàn)驗(yàn)證了該方法顯著地提高了檢測(cè)速度和準(zhǔn)確度，并彌補(bǔ)了單一傳感器在行人檢測(cè)中的不足。該方法在車輛以30km/h左右的速度行駛，環(huán)境背景不斷變換的情況下都能很好地實(shí)現(xiàn)，具有實(shí)際應(yīng)用價(jià)值。

聯(lián)合標(biāo)定；感興趣區(qū)域；梯度方向直方圖；行人檢測(cè)

1 引言

行人檢測(cè)在智能輔助駕駛、智能監(jiān)控、行人分析以及智能機(jī)器人等領(lǐng)域具有極其廣泛的應(yīng)用。從2005年Dalal等［1］提出HOG結(jié)合SVM以來(lái)，行人檢測(cè)進(jìn)入了一個(gè)快速發(fā)展的階段，但是也存在著很多問(wèn)題還有待解決，其中最主要的方面是如何權(quán)衡性能和速度的關(guān)系。近年來(lái)，有許多基于單目攝像頭的行人檢測(cè)方法被提出［2～4］。大致可以分為兩類：一是基于背景建模，利用背景建模的方法，提取出前景運(yùn)動(dòng)的背景，在目標(biāo)區(qū)域內(nèi)進(jìn)行特征提取，然后利用分類器進(jìn)行分類，判斷是否包含行人。其中最常應(yīng)用的是單高斯模型和混合高斯模型，Suo［5］等提出了一種基于高斯混合模型的改進(jìn)的自適應(yīng)背景建模算法，當(dāng)對(duì)象移動(dòng)緩慢或者停止時(shí)要及時(shí)減少算法中使用的模型數(shù)量。ViBe［6］算法用一幀圖像就可以初始化背景模型，該方法計(jì)算量比較小，速度很快，可以嵌入到相機(jī)中，可以抗攝像頭抖動(dòng)，并且對(duì)噪聲也有一定的魯棒性。PBAS［7］算法引入控制論的思想，使前景判斷閾值和背景模型更新率隨背景的復(fù)雜程度自適應(yīng)變化，還引入背景復(fù)雜程度的度量方法，根據(jù)背景復(fù)雜程度調(diào)整前景判斷閾值和背景模型更新率。二是基于統(tǒng)計(jì)學(xué)習(xí)的方法：根據(jù)大量的樣本構(gòu)建行人檢測(cè)分類器。提取的特征可以包括目標(biāo)的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經(jīng)網(wǎng)絡(luò)、SVM、adaboost以及深度學(xué)習(xí)。2005年DALAL等［1］提出基于梯度方向直方圖（HOG）描述子的人體檢測(cè)模型，并采用支持向量機(jī)（SVM）作為分類器。該算法可有效地進(jìn)行行人檢測(cè)，但是檢測(cè)速度較慢。Xu［8］等提出了一個(gè)基于HOG和邊緣因素的實(shí)時(shí)行人檢測(cè)方法。這種方法中，首先使用邊緣因素進(jìn)行粗檢測(cè)，過(guò)濾掉一些背景，再使用HOG結(jié)合線性SVM進(jìn)行精確檢測(cè)。Zhang［9］等貢獻(xiàn)了一個(gè)形狀模型，將人體分為三個(gè)不同的組件，使用Haar特征來(lái)描述人體的差異。Tuzel等［10］利用協(xié)方差矩陣作為對(duì)象描述符，將其表示為黎曼流形進(jìn)行行人分類。Wang等［11］采用HOG和LBP結(jié)合的直方圖，提出了能夠處理一部分遮擋的新的人體檢測(cè)方法，獲得了較高的檢測(cè)性能。

由于基于攝像頭的行人檢測(cè)算法受到信息量少、算法復(fù)雜度較高的制約，常常導(dǎo)致實(shí)時(shí)性不高或魯棒性太差等問(wèn)題。本文采用基于激光雷達(dá)［12］和攝像頭信息融合［13］的行人檢測(cè)方法。首先，采用張正友［14］標(biāo)定法對(duì)攝像頭進(jìn)行內(nèi)參標(biāo)定，算法利用了雷達(dá)柵格地圖［15］獲取正障礙的位置信息對(duì)圖像提取感興趣區(qū)域（region of interest），對(duì)其進(jìn)行預(yù)處理，剔除不可能是行人的區(qū)域，然后進(jìn)行透視變換將感興趣區(qū)域映射到圖像中的像素信息，提取HOG描述子，再用SVM進(jìn)行分類判斷。其中，本文采用MIT行人數(shù)據(jù)庫(kù)作為正例樣本，采用實(shí)驗(yàn)中的真實(shí)場(chǎng)景作為負(fù)例樣本，并且重新檢測(cè)了負(fù)例樣本，將負(fù)例樣本中得到的誤檢目標(biāo)作為難例樣本重新訓(xùn)練SVM。

2 基于激光雷達(dá)和攝像頭的信息融合

本文采用32線激光雷達(dá)和單目攝像頭作為傳感器。雷達(dá)和攝像頭安裝位置如圖1所示，雷達(dá)豎直安裝于車前，攝像頭固定于雷達(dá)正下方。

圖1 實(shí)驗(yàn)車示意圖

2.1 攝像頭標(biāo)定

攝像頭的原理是小孔成像，把世界坐標(biāo)表示為PW=[X，Y，Z]T，圖像坐標(biāo)表示為 Pl=[U，V]T，則世界坐標(biāo)與圖像坐標(biāo)之間的轉(zhuǎn)換關(guān)系表示為

其中K就是攝像頭的內(nèi)參矩陣，R是一個(gè)3×3的旋轉(zhuǎn)矩陣，t是一個(gè)3維的平移向量。根據(jù)張定友棋盤格標(biāo)定法，采用10×10的棋盤格，每一小格的尺寸為100mm×100mm，首先采集不同位置的標(biāo)準(zhǔn)棋盤圖像，然后利用Matlab工具箱標(biāo)定程序?qū)ζ灞P圖像進(jìn)行角點(diǎn)提取，根據(jù)棋盤實(shí)際尺寸和位置關(guān)系得到攝像頭的內(nèi)參和外參。

2.2 32線激光雷達(dá)的位置關(guān)系

32線激光雷達(dá)在車前豎直安裝，表1給出了雷達(dá)的一些重要參數(shù)。

表1 32線激光雷達(dá)重要參數(shù)

以雷達(dá)位置為原點(diǎn)的測(cè)距示意圖如圖2所示。

圖2 雷達(dá)測(cè)距示意圖

XOY平面平行于地面，Y平行于車身方向向前，X垂直于車身方向，O為原點(diǎn)，是雷達(dá)的中心點(diǎn)，點(diǎn)A是雷達(dá)掃描點(diǎn)。根據(jù)右手螺旋定則，Z軸垂直于地平面向上。φ是豎直偏轉(zhuǎn)角，θ是水平偏轉(zhuǎn)角。D是雷達(dá)中心到物體的實(shí)際距離。所以將雷達(dá)的實(shí)際三維數(shù)據(jù)轉(zhuǎn)換到平面為

雷達(dá)掃描模型如下圖所示。

圖3 雷達(dá)掃描縱向放射水平示意圖

任意第i根線在水平面的距離投影為

其中α為第一根掃描線與豎直方向的夾角，h為雷達(dá)中心點(diǎn)到地面的安裝高度。由此可以得到32根線之間的相互位置關(guān)系。

2.3 激光雷達(dá)和攝像頭的聯(lián)合標(biāo)定

以車體坐標(biāo)作為世界坐標(biāo)，車頭方向?yàn)閅軸正方向，順時(shí)針90°為X軸正方向，右手X-Y螺旋，大拇指方向?yàn)閆軸正方向。假設(shè)任意t時(shí)刻，雷達(dá)掃描面與車體坐標(biāo)系XOY平面的夾角為φ，其中某一根掃描線與Y軸正方向之間的夾角為θ，h為雷達(dá)安裝高度，d為雷達(dá)測(cè)量距離，任一掃描點(diǎn)可描述為P(d ，φ，θ)。在水平安裝方式下，三維坐標(biāo)表示為P(x ，y，z)。其坐標(biāo)轉(zhuǎn)換公式為

根據(jù)采集的標(biāo)定板的圖像數(shù)據(jù)和投射在標(biāo)定板上的雷達(dá)數(shù)據(jù)，得到了融合后的圖像。

3 基于柵格地圖的感興趣區(qū)域提取

通過(guò)雷達(dá)掃描車體前方區(qū)域，可以感知車體前方障礙物的分布情況，然后通過(guò)檢測(cè)掃描點(diǎn)可以大致提取障礙物的輪廓。根據(jù)輪廓的幾何特征可以初步過(guò)濾掉一些明顯不符合行人特征的障礙物，得到行人感興趣區(qū)域（ROI），將雷達(dá)數(shù)據(jù)中的ROI投影到圖像中，為下一步圖像處理作準(zhǔn)備。

3.1 構(gòu)建柵格地圖

由于多線雷達(dá)點(diǎn)云的數(shù)據(jù)量比較大，構(gòu)建柵格地圖將簡(jiǎn)化雷達(dá)數(shù)據(jù)處理。將雷達(dá)數(shù)據(jù)映射到柵格地圖上，通過(guò)柵格地圖就可以了解障礙物的分布情況。將激光雷達(dá)的三維數(shù)據(jù)點(diǎn)經(jīng)坐標(biāo)變換映射到柵格地圖。柵格地圖大小為M*N，單個(gè)柵格寬度為w，則轉(zhuǎn)換公式如下

式中，（x，y）為雷達(dá)數(shù)據(jù)的原始世界坐標(biāo)，（ xg，yg）為柵格在世界坐標(biāo)系中的坐標(biāo)，（Px，Py）為平移量，增加該平移量的目的是使柵格的坐標(biāo)（xg，yg）都為正值。

圖4 雷達(dá)柵格地圖及其實(shí)景圖

通過(guò)將三維點(diǎn)云數(shù)據(jù)映射到柵格地圖上，就可用一個(gè)柵格來(lái)表示該格子內(nèi)的所有點(diǎn)，通過(guò)柵格地圖就可以觀察障礙物的分布情況，從而大大降低了數(shù)據(jù)量。

3.2 獲取感興趣區(qū)域

為了獲取感興趣區(qū)域（ROI），需要將檢測(cè)到的輪廓用矩形表示出來(lái)，這實(shí)際上就是尋找一個(gè)凸包的過(guò)程。簡(jiǎn)單來(lái)說(shuō)，給定二維平面上的點(diǎn)集，凸包就是將最外層的點(diǎn)連接起來(lái)構(gòu)成凸多變形，它是能包含點(diǎn)集中的所有點(diǎn)的。選取點(diǎn)集中最小的x和最小的y作為左上角坐標(biāo)，選取點(diǎn)集中最大的x和最大的y作為右下角坐標(biāo)，這樣我們就得到包含行人所有點(diǎn)集的矩形邊界，將這些矩形邊界投影到原圖上，就得到了感興趣區(qū)域。

圖5 雷達(dá)感興趣區(qū)域及其實(shí)景圖

圖5 顯示獲得雷達(dá)數(shù)據(jù)的大致感興趣區(qū)域有一輛車和兩個(gè)行人區(qū)域，再將其映射到圖像上，為下面判斷是否是行人做準(zhǔn)備。

4 基于圖像的HOG—SVM行人檢測(cè)

在視頻行人目標(biāo)檢測(cè)中，光線對(duì)于圖像分析有很重要的影響，過(guò)度強(qiáng)烈的光線可能會(huì)造成圖像曝光，而較暗的光線又會(huì)造成行人與背景的難以分割。由于雷達(dá)掃描具有較好的穩(wěn)定性，此方法大大降低了漏檢率，從而提高了行人檢測(cè)的準(zhǔn)確度。

4.1 HOG描述子

方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征是一種在計(jì)算機(jī)視覺(jué)和圖像處理中用來(lái)進(jìn)行物體檢測(cè)的特征描述子。它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度直方圖來(lái)構(gòu)成特征。主要思想是：在一幅圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。

HOG特征提取方法就是將先前得到的感興趣區(qū)域：

1）灰度化（將感興趣區(qū)域看做一個(gè)x，y，z（灰度）的三維圖像）。

2）采用Gamma校正法對(duì)輸入?yún)^(qū)域進(jìn)行顏色空間的標(biāo)準(zhǔn)化（歸一化），目的是調(diào)節(jié)圖像的對(duì)比度，降低圖像局部的陰影和光照變化所造成的影響，同時(shí)可以抑制噪音的干擾。

3）計(jì)算感興趣區(qū)域圖像的每個(gè)像素的梯度（包括大小和方向），主要是為了捕獲輪廓信息，同時(shí)進(jìn)一步弱化光照的干擾。

4）將區(qū)域圖像劃分成小cells（這里采用8×8像素/cell）。

5）統(tǒng)計(jì)每個(gè)cell的梯度直方圖（不同梯度的個(gè)數(shù)），即可形成每個(gè)cell的描述子（descriptor）。

6）將每幾個(gè)cell組成一個(gè)block（這里采用2×2個(gè)cells/block），一個(gè)block內(nèi)所有cell的特征描述子串聯(lián)起來(lái)便得到該bolck的HOG特征描述子。

7）將感興趣區(qū)域內(nèi)的所有bolck的HOG描述子串聯(lián)起來(lái)就可以得到該區(qū)域的HOG特征描述子，這個(gè)就是最終的可供分類使用的特征向量。

4.2 支持向量機(jī)（SVM）分類器

支持向量機(jī)是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，即采用核函數(shù)將原始空間中的數(shù)據(jù)映射到一個(gè)更高維的特征空間，使得數(shù)據(jù)在這個(gè)特征空間內(nèi)線性可分。

一個(gè)線性分類器的學(xué)習(xí)目標(biāo)就是要在n維的數(shù)據(jù)空間中找到一個(gè)分類超平面，其方程可以表示為

數(shù)據(jù)點(diǎn)用x來(lái)表示，這是一個(gè)n維向量，ωT中的T代表轉(zhuǎn)置，而類別用y來(lái)表示，可以取1或者-1，分別代表兩個(gè)不同的類。

定義假設(shè)函數(shù)：

這里將g（z）做一個(gè)簡(jiǎn)化，將其簡(jiǎn)單映射到y(tǒng)=-1和y=1上。映射關(guān)系如下

ω是法向量，決定了超平面的方向，b是位移項(xiàng)，決定了超平面與原點(diǎn)之間的距離。劃分超平面可被法向量ω和位移b確定，將其記為（ω，b）。樣本空間中任一點(diǎn)x到超平面（ω，b）的距離可寫為

想要找到具有最大間隔的劃分超平面，也就是要找到ω和b使得r最大。為了最大化‖‖ω-1，等價(jià)于最小化‖‖ω2。因此可以得到SVM的基本型：

常用的核函數(shù)有以下幾種。

線性核：

多項(xiàng)式核：

高斯核：

拉普拉斯核：

Sigmoid核：

本文選用線性核函數(shù)，因?yàn)榫€性核函數(shù)是在原空間中選擇最優(yōu)分類面，而其他核函數(shù)是將數(shù)據(jù)映射到高維空間去選擇最優(yōu)分類面，因此線性核函數(shù)在速度上要比其他核函數(shù)快很多，更能滿足實(shí)時(shí)性的要求。

4.3 HOG-SVM行人檢測(cè)

實(shí)驗(yàn)采集的視頻圖像的每一幀像素大小為640×480，經(jīng)過(guò)雷達(dá)初步檢測(cè)后，確定障礙物的基本位置，再將其通過(guò)坐標(biāo)映射后得到圖像上的感興趣區(qū)域，將此感興趣區(qū)域作為待檢測(cè)區(qū)域。由于待檢測(cè)區(qū)域大小不同，所以要用到多尺度檢測(cè)。按照步長(zhǎng)為8個(gè)像素遍歷整幅圖像，具體檢測(cè)步驟如下：

1）將每一幀圖像上的感興趣區(qū)域存為待檢測(cè)區(qū)域列表。

2）按照大小為8×8個(gè)像素窗口遍歷待檢測(cè)區(qū)域，計(jì)算得到掃描區(qū)域內(nèi)所有塊的HOG特征向量并存入一個(gè)二維數(shù)組中。

3）以大小為32×32個(gè)像素，水平和垂直方向的步長(zhǎng)都為8個(gè)像素的檢測(cè)窗口遍歷感興趣區(qū)域，對(duì)二維數(shù)組中的HOG特征向量進(jìn)行正確的索引，得到該窗口內(nèi)對(duì)應(yīng)塊的HOG特征向量。

4）加載訓(xùn)練得到的SVM分類器，在每一個(gè)塊中進(jìn)行循環(huán)，特征向量經(jīng)歸一化以后，與算子中的對(duì)應(yīng)數(shù)進(jìn)行比較運(yùn)算，判斷所有塊中的運(yùn)算總和是否小于設(shè)定的閾值，若小于，則認(rèn)為檢測(cè)到目標(biāo)。

5）優(yōu)化目標(biāo)：雷達(dá)初步定位時(shí)，為了減小坐標(biāo)映射后的誤差，將感興趣區(qū)域適量放大，所以圖像經(jīng)過(guò)檢測(cè)后，會(huì)產(chǎn)生在某個(gè)對(duì)象上的框范圍過(guò)大的情況。為了使檢測(cè)結(jié)果更加精確，就需要對(duì)這些結(jié)果進(jìn)行優(yōu)化。目前經(jīng)常使用的優(yōu)化策略是根據(jù)人體與檢測(cè)窗口的位置關(guān)系進(jìn)行窗口優(yōu)化。對(duì)檢測(cè)結(jié)果進(jìn)行優(yōu)化的實(shí)質(zhì)就是將目標(biāo)更精確地定位于某個(gè)窗口中。計(jì)算公式如下：

圖像坐標(biāo)以左上角為原點(diǎn)，調(diào)整左上角頂點(diǎn)的x和y，使其更靠近行人，再調(diào)整矩形框的寬度和高度，使矩形框縮小一點(diǎn)，根據(jù)多次實(shí)驗(yàn)調(diào)整優(yōu)化參數(shù)，以上參數(shù)能得到較好的結(jié)果。

圖6 窗口優(yōu)化

5 實(shí)驗(yàn)及分析

為了驗(yàn)證算法的檢測(cè)性能以及運(yùn)行效果的實(shí)時(shí)性，該算法運(yùn)行在一個(gè)改裝的實(shí)驗(yàn)平臺(tái)GOLF車。如上面圖1所示。此目標(biāo)檢測(cè)模塊是無(wú)人車自主導(dǎo)航整體架構(gòu)中的一個(gè)模塊。

本文所采用的VelodyneHDL-32E激光雷達(dá)，以及CCD攝像頭。在VS2010環(huán)境下，用C++實(shí)現(xiàn)，界面設(shè)計(jì)采用MFC。采用MIT行人庫(kù)中的正樣本共924張，負(fù)樣本則采用無(wú)人車的真實(shí)實(shí)驗(yàn)環(huán)境，通過(guò)截取學(xué)校場(chǎng)景而構(gòu)成，確保不含有行人，一共2000張負(fù)樣本。背景包括教學(xué)樓、樹木、地面等實(shí)際場(chǎng)景，清晰度較高，適應(yīng)性更強(qiáng)。

圖7 分布式模塊化處理架構(gòu)

圖8 測(cè)試樣本集

測(cè)試場(chǎng)景選擇在學(xué)校的道路上，有樹木、建筑物和車輛等復(fù)雜背景。無(wú)人車的車速在30km/h左右。

以下是行人檢測(cè)的實(shí)驗(yàn)結(jié)果圖。

圖9 行人檢測(cè)結(jié)果圖及雷達(dá)檢測(cè)圖

場(chǎng)景選取了學(xué)校內(nèi)的不同地方，雷達(dá)檢測(cè)圖中由箭頭手動(dòng)標(biāo)出行人，圖9（a）的背景大部分為樹木，雷達(dá)點(diǎn)的數(shù)據(jù)比較分散，檢測(cè)的是行人的背面。圖9（b）的背景為玻璃墻，行人有背面有側(cè)面。圖9（c）兩邊是綠化道，光線比較強(qiáng)烈。圖9（d）中行人比較遠(yuǎn)，且行人與背景的樹木有重疊。圖9（e）和（f）都是正常道路上的行人檢測(cè)，其中（e）的光線比較暗。圖9（g）行人有一部分遮擋，依然可以檢測(cè)出來(lái)，而圖9（h）在相似的實(shí)驗(yàn)場(chǎng)景下，兩個(gè)行人有了較大部分的重疊，只檢測(cè)出一個(gè)人。從實(shí)驗(yàn)圖可以看出，這種方法對(duì)于不同的場(chǎng)景和不同光線都有很好的檢測(cè)效果，其主要原因是激光雷達(dá)對(duì)障礙物的檢測(cè)不受光線的影響。實(shí)驗(yàn)表明，算法有很高的準(zhǔn)確度和實(shí)時(shí)性。

本文提出的方法相比于Dalal［1］的方法具有優(yōu)勢(shì)，實(shí)驗(yàn)運(yùn)行在i3雙核處理器下，2G內(nèi)存，HOG算法的每一幀的檢測(cè)時(shí)間平均在3000ms左右，而本文方法在80ms左右，時(shí)間上有了很大的提高，圖像幀率為10FPS，達(dá)到了實(shí)時(shí)的要求，可應(yīng)用于實(shí)際項(xiàng)目。在識(shí)別率方面，比HOG提高了2.1%。還有其他一些同樣先定位感興趣區(qū)域再進(jìn)行行人檢測(cè)的方法，如通過(guò)邊緣進(jìn)行粗定位和通過(guò)運(yùn)動(dòng)偵測(cè)進(jìn)行定位，實(shí)驗(yàn)結(jié)果表明，本文方法在識(shí)別率上稍有提高，但在檢測(cè)時(shí)間上有很大優(yōu)勢(shì)，具有實(shí)際應(yīng)用價(jià)值。

表2 四種不同算法的比較

6 結(jié)語(yǔ)

本文提出了一種新的基于激光雷達(dá)和視覺(jué)信息融合的行人檢測(cè)方法。該方法主要由硬件架構(gòu)以及檢測(cè)算法兩部分組成。在檢測(cè)算法中，利用雷達(dá)對(duì)凸障礙物的掃描，得到感興趣區(qū)域，從而大大減少了HOG算子的提取范圍，加快了檢測(cè)速度。在無(wú)人車上的實(shí)驗(yàn)表明，該方法具有很好的實(shí)時(shí)性及可靠性。

［1］Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR'05）.IEEE，2005，1：886-893.

［2］Costea A D，Vesa A V，Nedevschi S.Fast Pedestrian Detection for Mobile Devices［C］//2015 IEEE 18th International Conference on Intelligent Transportation Systems.IEEE，2015：2364-2369.

［3］Cai Z，Saberian M，Vasconcelos N.Learning complexity-aware cascades for deep pedestrian detection［C］//Proceedings of the IEEE International Conference on Comput-er Vision.2015：3361-3369.

［4］Angelova A，Krizhevsky A，Vanhoucke V，et al.Real-time pedestrian detection with deep network cascades［C］//British Machine Vision Conference，2015.

［5］Suo P，Wang Y.An improved adaptive background modeling algorithm based on Gaussian Mixture Model［C］//2008 9th International Conference on Signal Processing.IEEE，2008：1436-1439.

［6］Barnich O，Van Droogenbroeck M.ViBe：A universal background subtraction algorithm for video sequences［J］.IEEE Transactions on Image Processing，2011，20（6）：1709-1724.

［7］Hofmann M，Tiefenbacher P，Rigoll G.Background segmentation with feedback：The pixel-based adaptive segmenter［C］//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.IEEE，2012：38-43.

［8］Xu G，Wu X，Liu L，et al.Real-time pedestrian detection based on edge factor and Histogram of Oriented Gradient［C］//Information and Automation（ICIA），2011 IEEE International Conference on.IEEE，2011：384-389.

［9］Zhang S，Bauckhage C，Cremers A B.Informed haar-like features improve pedestrian detection［C］//Proceedings of the IEEE conference on computer vision and pattern recognition，2014：947-954.

［10］Tuzel O，Porikli F，Meer P.Pedestrian detection via classification on riemannian manifolds［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（10）：1713-1727.

［11］Wang X，Han T X，Yan S.An HOG-LBP human detector with partial occlusion handling［C］//2009 IEEE 12th International Conference on Computer Vision.IEEE，2009：32-39.

［12］Kwon S K，Hyun E，Lee J H，et al.A Low-Complexity Scheme for Partially Occluded Pedestrian Detection Using LIDAR-RADAR Sensor Fusion［C］//Embedded and Real-Time Computing Systems and Applications（RTCSA），2016 IEEE 22nd International Conference on.IEEE，2016：104-104.

［13］Premebida C，Ludwig O，Nunes U.LIDAR and vision-based pedestrian detection system［J］.Journal of Field Robotics，2009，26（9）：696-711.

［14］Zhang Z.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［15］Chen M，Pei Y，F(xiàn)ang D.Computational method for radar absorbing composite lattice grids［J］.Computational Materials Science，2009，46（3）：591-594.

Real-time Pedestrian Detection Based on Integration of Multi-line Radar and Visual Information

LU Yiyue CAI YunfeiSHI Tingmin
（Department of Computer Science and Technology，Nanjing University of Science and Technology，Nanjing 210094）

Pedestrians are the important aware contents of the unmanned autonomous vehicles.Since the slow detection speed of the traditional pedestrian detection methods，a real-time pedestrian detection method based on integration of multi-line laser radar and visual information is proposed.Firstly，combine laser radar with the camera by calibration，then map the radar coordinates to the image coordinates.Secondly，according to the raster map of radar，projections obstacles are detected，thereby obtaining the region of interest of an image.Finally，the gradient direction histogram（HOG）and support vector machine（SVM）are used to detect pedestrians of the regions of interest.Experimental verification of the method significantly improves the detection speed and accuracy and makes up for the lack of a single sensor in Pedestrian Detection.This method can be well implemented in the vehicle at a speed of 30km/h or so of driving.At the same time，environmental background constantly changes.thus this method has practical value.

combined calibration，ROI，HOG，pedestrian detection

TN95

10.3969/j.issn.1672-9722.2017.11.037

Class Number TN95

2017年5月8日，

2017年6月26日

國(guó)家自然基金青年項(xiàng)目（編號(hào)：61305134）；博士點(diǎn)基金（編號(hào)：20133219120035）；核高基重大專項(xiàng)（編號(hào)：2015zx01041101）資助。

陸怡悅，女，碩士，研究方向：圖像處理。蔡云飛，男，博士，講師，研究方向：環(huán)境感知。石庭敏，男，碩士，研究方向：環(huán)境感知。