郭劍鷹 周小兵 管西強(qiáng)

1、2 華域汽車股份有限公司 3 上海交通大學(xué)

0 引言

隨著科學(xué)技術(shù)的飛速發(fā)展，汽車工業(yè)近年來(lái)面臨著重大革新，自動(dòng)駕駛已經(jīng)成為各大汽車廠商和高校的研究熱點(diǎn)[1-3]。根據(jù)自動(dòng)駕駛技術(shù)分級(jí)，L1級(jí)別的輔助駕駛是目前最為可行技術(shù)方案。這其中，泊車輔助系統(tǒng)，已經(jīng)逐漸成為各大汽車品牌在新產(chǎn)品中的標(biāo)準(zhǔn)配置[2]。然而，由于傳統(tǒng)的泊車輔助系統(tǒng)方案中，車位感知主要通過(guò)超聲波雷達(dá)進(jìn)行。由于超聲波雷達(dá)的工作原理的局限性，使得該方案對(duì)于車位場(chǎng)景的適應(yīng)性較差，例如前后均無(wú)車的停車場(chǎng)中，該方案無(wú)法檢測(cè)出車位，從而使得基于超聲波雷達(dá)的泊車功能失效。此外，由于超聲波雷達(dá)的抗干擾特性較差，對(duì)于車位尺寸及坐標(biāo)的檢測(cè)精度也較差，進(jìn)一步削弱了該方案的適用性[4]。

為了提高泊車輔助系統(tǒng)的適用范圍，本文基于傳統(tǒng)超聲波泊車輔助系統(tǒng)，提出一種更為精確的基于多視覺(jué)傳感器的車位檢測(cè)技術(shù)。相對(duì)于單攝像頭方案[5, 6]，本文提出的多視覺(jué)傳感器方案，不僅能夠?qū)崿F(xiàn)車位的檢測(cè)成功率，還能通過(guò)多攝像頭在泊車過(guò)程中對(duì)車位尺寸進(jìn)行修正，再結(jié)合泊車控制器，實(shí)現(xiàn)高精度高成功率的泊車輔助功能。

1 泊車輔助系統(tǒng)架構(gòu)設(shè)計(jì)

基于多視覺(jué)傳感器的泊車輔助系統(tǒng)架構(gòu)如圖1所示。該系統(tǒng)主要由感知系統(tǒng)、中央控制器、執(zhí)行機(jī)構(gòu)和人機(jī)交互系統(tǒng)等組成，其中車位識(shí)別通過(guò)感知系統(tǒng)實(shí)現(xiàn)，中央控制器利用感知系統(tǒng)獲得的車位及障礙物等信息，進(jìn)行故障診斷、泊車控制和障礙物檢測(cè)處理等，并通過(guò)CAN總線將顯示信息和控制信號(hào)分別發(fā)送至人機(jī)交互系統(tǒng)和執(zhí)行機(jī)構(gòu)，通過(guò)人機(jī)交互系統(tǒng)對(duì)駕駛員進(jìn)行選換擋、制動(dòng)和停車的信息提示和報(bào)警提醒，利用執(zhí)行機(jī)構(gòu)對(duì)車輛的轉(zhuǎn)向執(zhí)行機(jī)構(gòu)進(jìn)行自動(dòng)控制，最終實(shí)現(xiàn)車輛的泊車輔助功能。

圖1 泊車輔助系統(tǒng)架構(gòu)

Fig.1 Architecture of parking assistance system

該泊車輔助系統(tǒng)中的感知系統(tǒng)主要由超聲波雷達(dá)和視覺(jué)傳感器(即廣角數(shù)字?jǐn)z像頭)兩部分組成，考慮到傳統(tǒng)超聲波雷達(dá)的車位檢測(cè)技術(shù)較為成熟，本文主要針對(duì)感知系統(tǒng)部分中的多視覺(jué)傳感器技術(shù)進(jìn)行研究分析，擬通過(guò)多攝像頭對(duì)泊車過(guò)程中車位的尺寸進(jìn)行修正，再結(jié)合泊車控制器，實(shí)現(xiàn)高精度高成功率的泊車輔助功能。

2 基于視覺(jué)的車位檢測(cè)方法

基于視覺(jué)的車位檢測(cè)技術(shù)[5, 7, 8]，其算法架構(gòu)如圖2所示。首先，在泊車輔助系統(tǒng)運(yùn)行后進(jìn)行攝像機(jī)內(nèi)外參數(shù)讀取、逆透視變換參數(shù)讀取以及環(huán)視?shū)B(niǎo)瞰圖參數(shù)的初始化。各參數(shù)初始化后，利用安裝在車身左右的兩路攝像機(jī)進(jìn)行圖像的在線實(shí)時(shí)采集，并同時(shí)進(jìn)行去畸變圖像矯正和逆透視變換，對(duì)生成的俯瞰圖進(jìn)行圖像分割，然后通過(guò)設(shè)計(jì)的直線檢測(cè)算法進(jìn)行車位檢測(cè)。

圖2 基于視覺(jué)的車位檢測(cè)算法架構(gòu)Fig.2 Vision-based architecture of parking space detection algorithm

結(jié)合以上架構(gòu)，本文對(duì)具體的算法步驟進(jìn)行了詳細(xì)的設(shè)計(jì)，基于視覺(jué)的車位檢測(cè)與識(shí)別流程如圖3所示。

3 車位檢測(cè)關(guān)鍵技術(shù)

3.1 圖像灰度化

灰度轉(zhuǎn)化是常用的圖像處理方法，在灰度化的情況進(jìn)行圖像處理不僅能夠節(jié)省內(nèi)存，而且還能提高后續(xù)工作的效率。為了最大程度上減少失去的原圖信息，對(duì)彩色圖像進(jìn)行灰度轉(zhuǎn)換，其公式表達(dá)為：

圖3 車位檢測(cè)與識(shí)別流程Fig.3 Parking space detection and identification process

Gray=a×R+b×G+c×B

(1)

式中，a、b、c分別是灰度圖像中R、G、B三色通道的加權(quán)值。

車位線一般是黃色或白色的直線段，對(duì)于白色的車位線可采用傳統(tǒng)的灰度化方法，但是對(duì)于黃色車位線，傳統(tǒng)的灰度化方法并不能很好的將車位線與背景分離開(kāi)來(lái)。因此，本文對(duì)灰度化中各通道的加權(quán)值進(jìn)行了分析對(duì)比，最終得出當(dāng)a=0.8,b=0.05,c=-0.6時(shí)能得到比較好的灰度圖像。如圖4所示，改進(jìn)后的灰度化方法更能突出目標(biāo)車位線有利于后續(xù)車位線提取。

圖4 改進(jìn)前后灰度化效果對(duì)比

Fig.4 Comparison of graying effect before and after improvement

3.2 俯瞰圖生成

為了覆蓋盡可能多的車位線、獲取更加豐富的環(huán)境信息，采用了魚(yú)眼廣角攝像頭，同時(shí)也帶來(lái)了圖像畸變，使得圖像中的對(duì)象喪失其固有的特征，不利于后續(xù)的車位線識(shí)別。因此，需要對(duì)攝像頭進(jìn)行內(nèi)參及外參標(biāo)定，并通過(guò)畸變校正和逆投影變換將原始圖像轉(zhuǎn)化為相應(yīng)的俯瞰圖。本文采用張正友標(biāo)定法[9]對(duì)攝像頭進(jìn)行內(nèi)、外參標(biāo)定，并利用得到的參數(shù)生成從畸變圖像到俯瞰圖的map圖，用于實(shí)時(shí)的圖像轉(zhuǎn)化。如圖5所示，經(jīng)過(guò)畸變矯正及逆投影變換后得到的俯瞰圖中的車位線特征更加容易檢測(cè)，更好地反映了車位線為固定寬度的直線，車位線夾角為90°、60°、120°等特征。

圖5 原始圖像和俯瞰圖中車位特征對(duì)比

Fig.5 Comparison of parking space features between original image and aerial view

3.2 直線對(duì)及交點(diǎn)提取

車位線一般由固定寬度的直線段組成，而固定寬度的直線對(duì)在Hough空間中是具有相同角度距離值的固定亮點(diǎn)對(duì)，如圖6所示，圖(a)中直線對(duì)L1和L2對(duì)應(yīng)圖(b)中的亮點(diǎn)對(duì)P1和P2。因此，原始圖像中的直線對(duì)提取可以轉(zhuǎn)化為Hough空間中的亮點(diǎn)對(duì)提取[10,11]。

圖6 俯瞰圖中的Hough變換

Fig.6 Hough transform in aerial view

為了提取Hough空間中的亮點(diǎn)對(duì)，本文設(shè)計(jì)了如圖7及式(2)所示的一維濾波器，遍歷Hough空間中的各點(diǎn)，其中的W代表車位線寬度，一般取為15 cm。

S(θ,ρ)=PH+PL-HS(θ,ρ)-HS(θ,ρ-W)-

HS(θ,ρ+W)

(2)

式中，PH、PL分別為上、下亮點(diǎn)鄰域的Hough變換最大值，以便提高算法的魯棒性。HS(θ,ρ)、HS(θ,ρ-W)、HS(θ,ρ+W)分別為亮點(diǎn)對(duì)中心、亮點(diǎn)中心上W和亮點(diǎn)中心下W處的Hough變換值。

圖7 一維亮點(diǎn)對(duì)提取濾波器Fig.7 One-dimensional bright spot pair extraction filter

為了避免由于Hough變換值的不同，導(dǎo)致S(θ,ρ)基準(zhǔn)值的變化，將其作歸一化處理：

(3)

式中，L(θ,ρ)為亮點(diǎn)中心概率密度，越大的值代表該候選點(diǎn)是泊車位線的可能性越大。

對(duì)計(jì)算出來(lái)的亮點(diǎn)中心概率密度，設(shè)定閾值。當(dāng)L(θ,ρ)大于該閾值時(shí)便認(rèn)為是候選泊車位線，如式(4)所示。此外，為了消除光線、噪聲等因素的干擾，檢測(cè)出來(lái)的候選亮點(diǎn)對(duì)需進(jìn)一步的聚類處理，具體為判斷Hough空間里的候選點(diǎn)間的距離。

(4)

式中，C(θ,ρ)為該亮點(diǎn)對(duì)是否為候補(bǔ)泊車位線標(biāo)志，L0為設(shè)定的判斷閾值。

確定候選亮點(diǎn)中心的(θ,ρ)后，可通過(guò)式(5)確定候選的車位線交點(diǎn)。

(5)

式中，(θ1,ρ1)和(θ2,ρ2)為兩個(gè)候選中心點(diǎn)，x、y為交點(diǎn)坐標(biāo)。

3.3 車位線角點(diǎn)提取

雖然直線對(duì)檢測(cè)可以提取出大部分的車位線，但是由于車輛泊車環(huán)境較為復(fù)雜，存在光線變化、鄰車干擾、非停車位線等影響，往往會(huì)給車位檢測(cè)帶來(lái)干擾，出現(xiàn)如圖8所示的誤檢測(cè)。為了消除這些干擾，需要對(duì)提取出來(lái)的車位交點(diǎn)作進(jìn)一步篩選以獲得真實(shí)有效的車位角點(diǎn)。一般平行及垂直車位的角點(diǎn)鄰域是如圖9所示的“T”字型或“L”字型特征區(qū)域，可通過(guò)對(duì)該區(qū)域特征的識(shí)別進(jìn)行車位線角點(diǎn)的進(jìn)一步篩選。

圖8 可能的誤檢測(cè)

Fig.8 Possible error detection

對(duì)候補(bǔ)車位角點(diǎn)鄰域通過(guò)Sobel算子分別取水平和垂直梯度值，并分別統(tǒng)計(jì)該鄰域內(nèi)的水平及垂直梯度總值。當(dāng)該區(qū)域內(nèi)的水平及垂直梯度均大于相應(yīng)的閾值后，便認(rèn)為候選角點(diǎn)為真實(shí)的車位角點(diǎn)，否則為誤檢測(cè)點(diǎn)，如圖10和圖11所示。

3.4 后攝像頭修正

目前常用的基于攝像頭的車位檢測(cè)是根據(jù)側(cè)向攝像頭拍攝的畫面進(jìn)行車位檢測(cè)，車輛距離車位線較遠(yuǎn)且多是在車輛以較高車速向前行駛時(shí)段，因此會(huì)帶來(lái)一定的延遲。為了對(duì)減少標(biāo)定、延遲等帶來(lái)的誤差，本文中對(duì)側(cè)向攝像頭得到的車位在車輛泊車過(guò)程中通過(guò)后攝像頭對(duì)車位線坐標(biāo)進(jìn)行修正。此時(shí)后攝像頭距離車位線較近且車速較低，檢測(cè)得到的車位線坐標(biāo)精度更高。

圖9 實(shí)際車位線角點(diǎn)特征Fig.9 Characteristics of corner points of actual parking spaces

圖10 真實(shí)車位線角點(diǎn)

Fig.10 Corner of real parking space

圖11 誤檢測(cè)車位線角點(diǎn)

Fig.11 Corner of error detection

4 系統(tǒng)功能實(shí)車測(cè)試驗(yàn)證

實(shí)驗(yàn)平臺(tái)如圖12所示，包括4個(gè)魚(yú)眼攝像頭、輪速傳感器、電動(dòng)助力轉(zhuǎn)向系統(tǒng)(EPS車輛自身配備)。

圖12 實(shí)驗(yàn)平臺(tái)Fig.12 Experimental platform

基于該實(shí)驗(yàn)平臺(tái)，在不同車速和側(cè)向距離下，對(duì)基于多視覺(jué)傳感器的泊車輔助系統(tǒng)進(jìn)行了水平和垂直泊車測(cè)試，如圖13和圖14所示。

相同的測(cè)試環(huán)境下，后攝像頭修正前后的泊車誤差統(tǒng)計(jì)如表1所示，從統(tǒng)計(jì)結(jié)果中可以看出修正后的泊車效果均方根誤差更小、穩(wěn)定性更好。

圖13 基于攝像頭的水平泊車

Fig.13 Horizontal parking based on camera

表1 后攝像頭修正前后泊車誤差

5 結(jié)語(yǔ)

本文設(shè)計(jì)出一種基于多視覺(jué)傳感器的泊車輔助系統(tǒng)，并針對(duì)車位檢測(cè)與識(shí)別過(guò)程及相關(guān)技術(shù)進(jìn)行了詳細(xì)的研究，提出一種泊車過(guò)程中利用車輛后攝像頭修正車位檢測(cè)精度的方法，并開(kāi)展了相應(yīng)的算法設(shè)計(jì)。

圖14 基于攝像頭的垂直泊車

Fig.14 Vertical parking based on camera

根據(jù)設(shè)計(jì)的基于多視覺(jué)傳感器的泊車輔助系統(tǒng)架構(gòu)，本文基于某型SUV車輛進(jìn)行了實(shí)車改裝和傳感器的安裝與標(biāo)定。通過(guò)水平泊車和垂直泊車，對(duì)該泊車輔助系統(tǒng)進(jìn)行了功能驗(yàn)證。在停車試驗(yàn)場(chǎng)地中，該系統(tǒng)能夠?qū)囄贿M(jìn)行精確的檢測(cè)與識(shí)別，通過(guò)中央控制器對(duì)駕駛員進(jìn)行選換擋及制動(dòng)等提醒，對(duì)車輛轉(zhuǎn)向系統(tǒng)進(jìn)行自動(dòng)控制，最終實(shí)現(xiàn)高精度的泊車過(guò)程，使車輛能夠準(zhǔn)確地到達(dá)泊車位中心位置。