許璐鈞，張遠(yuǎn)輝，徐栢銳，何雨辰

(中國計量大學(xué)機電工程學(xué)院，浙江 杭州 310018)

1 引言

車道線識別是目前高級駕駛輔助系統(tǒng)(Advanced Driver Assistance Systems，ADAS)的關(guān)鍵技術(shù)之一[1]，借助車載傳感器來輔助駕駛員感知行車環(huán)境中存在的安全隱患，通過識別車道線分析出車輛位于行駛車道的相對位置，從而判斷車輛是否存在車道偏離的危險，對可能存在的危險情況提前預(yù)警進(jìn)一步。現(xiàn)有的車道線識別方法大多借助于傳統(tǒng)的可見光相機，可以歸納為基于特征的車道線識別方法[2]、基于模型的車道線識別方法[3]、機器學(xué)習(xí)的圖像分割方法[4-6]。當(dāng)車輛高速行駛時，容易造成運動模糊，而且這些包含大量冗余信息的連續(xù)圖像幀會極大地浪費計算能力、內(nèi)存空間和時間。

一種事件相機[7]應(yīng)運而生，該傳感器異步輸出地址事件的數(shù)據(jù)。目前，基于地址事件(AER)的目標(biāo)識別與跟蹤已經(jīng)取得研究進(jìn)展。Maqueda[8]等人通過實驗證明在具有挑戰(zhàn)性的光照條件和快速運動的情況下，事件數(shù)據(jù)在預(yù)測車輛的轉(zhuǎn)向角度時仍具有魯棒性。Wang[9]提出一種基于改進(jìn)高斯斑點跟蹤算法的定位檢測器，用于事件目標(biāo)跟蹤和定位。Ramesh等人[10]提出一種事件信息的(Distribution Aware Retinal Transform，DART)描述子，但該描述子在設(shè)計原理上未考慮旋轉(zhuǎn)、尺度、視角的不變性。Li[11]采用相關(guān)濾波器和卷積神經(jīng)網(wǎng)絡(luò)對事件流對象進(jìn)行跟蹤。雖然地址事件數(shù)據(jù)具有高時間分辨率、寬動態(tài)范圍的優(yōu)點，但是目前仍然很少將其應(yīng)用在車道線識別中。在實際應(yīng)用時，車輛高速行駛、環(huán)境的光線亮暗、路肩石和樹陰等陰影對識別方法造成很大的干擾。

為了解決上述問題，本文利用事件流異步、高時間分辨率的特性，提出一種針對地址事件的快速車道線識別方法。首先，將原始事件數(shù)據(jù)進(jìn)行濾波、LIF編碼的預(yù)處理，這樣不僅可以完整地表征事件的強度，而且可以濾除大量噪聲事件。然后，通過恢復(fù)車道的視角來定位出車道線在圖像坐標(biāo)的位置，再采用三次B樣條曲線擬合。最后，采取車道跟蹤策略優(yōu)化該方法的檢測率和運行速度，在保證高檢測率的前提下，相較于傳統(tǒng)幀圖像的車道線識別方法大大減少了運行時間。

2 車道線識別整體方案設(shè)計

2.1 事件流數(shù)據(jù)

如圖1所示，傳統(tǒng)相機以“幀”的形式捕捉和存儲視頻，不管亮度變化，在一個固定的周期內(nèi)拍攝完整的幀畫面，且每一幀圖像都攜帶著來自所有像素的視覺信息；而事件相機是對其感光陣列中的每一個像素點上的光強信息按時間先后進(jìn)行連續(xù)檢測，當(dāng)相對變化超過設(shè)定的閾值時，異步獨立地輸出該像素點的位置信息和變化屬性的數(shù)據(jù)(即事件)。

圖1 傳統(tǒng)相機與事件相機的傳輸方式對比圖

傳統(tǒng)的成像機制帶來了大量的信息冗余，對帶寬和存儲提出了很大的挑戰(zhàn)，而通過事件驅(qū)動的方式完全可以滿足數(shù)據(jù)量小且高時間分辨率的要求。

2.2 車道線識別方法

車道線識別方法的總體框架如圖2，包括事件數(shù)據(jù)預(yù)處理、車道識別和跟蹤三個部分。

圖2 車道線識別方法的流程圖

3 事件流數(shù)據(jù)的預(yù)處理

3.1 數(shù)據(jù)濾波

事件流對環(huán)境中的光強變化非常敏感，不可避免地易受到光學(xué)硬件電路和環(huán)境因素影響，在輸出車道信息的同時夾雜著大量的噪聲[12]，從而影響后續(xù)的車道識別和跟蹤。因此，數(shù)據(jù)預(yù)處理非常必要[13]。由于事件流與圖像幀的輸出方式上有明顯地差異，基于幀的傳統(tǒng)視覺處理算法不能直接應(yīng)用于事件數(shù)據(jù)中。針對這一特性，本文直接對事件流序列進(jìn)行處理，采用濾波的方法來濾除由于硬件電路和隨機產(chǎn)生的噪聲。

(1)

在AER感知模式中，某一位置的像素被激活時，輸出由這些像素組成的事件，反之則不會輸出。因此，可以將發(fā)生“事件”這一動態(tài)過程表示成階躍函數(shù)ε(x，y，t)的形式。

ei=(xi，yi，ti)?ε(x-xi，y-yi，t-ti)

(2)

那么，N個事件組成的事件流可以寫作

(3)

有效事件是由物體的運動或是光強度的變換真實產(chǎn)生的，一個有效事件通常不會單獨產(chǎn)生，而會激活周圍位置的像素。所以，有效事件的密度值通常是大于無效事件的密度。在時空鄰域U(x，y，t)內(nèi)，輸入事件e=(x，y，t)的密度計算如下式(4)。如果事件密度小于，則該事件為無效事件并濾除；反之則為有效事件并保留。

(4)

3.2 事件流數(shù)據(jù)的編碼

傳統(tǒng)的計算機視覺算法通常用于處理同步圖像幀，而不能直接處理異步事件流數(shù)據(jù)，因此文中采用LIF編碼，用于將異步事件流轉(zhuǎn)換為幀[14]。2006年Burkitt提出LIF神經(jīng)元模型[15]，輸入信號直接影響神經(jīng)元的狀態(tài)，只有當(dāng)膜電位(Membrane Potential，MP)上升到閾值電位時才會產(chǎn)生輸出脈沖信號。事件流與LIF神經(jīng)元模型相結(jié)合，可以很好的反應(yīng)出時間連續(xù)和觸發(fā)事件異步的特征，不局限于傳統(tǒng)圖像固定時刻的曝光。使用LIF編碼不僅可以將事件流轉(zhuǎn)化為事件幀，而且可以濾去隨機產(chǎn)生的噪聲。

首先，把每個圖像像素(x，y)看作是一個具有膜電位和觸發(fā)計數(shù)器n的神經(jīng)元，它的值受到輸入尖峰和時間的影響。每個輸入事件會導(dǎo)致像素(x，y)處的MP值階躍增加，同時相應(yīng)的MP值遵循固定衰減速率下降；一旦像素MP值超過設(shè)定閾值，則將其重置為0。然后，在一定時間間隔內(nèi)，統(tǒng)計每個像素的膜電位MP超過閾值的次數(shù)，通過式(5)進(jìn)行0～255像素值的歸一化處理。最后，采用閾值分割對像素值σ(n)二值化操作。在固定時間間隔T=20ms內(nèi)，每個像素的觸發(fā)計數(shù)器n會被重新置零。

(5)

式中，為一定時間間隔內(nèi)像素點(x，y)上發(fā)生的事件總數(shù)，σ(n)是事件幀的像素值，為了符合8位圖像將其范圍歸一化為0～255。

如圖3(a)是基于圖像幀的車道線圖像，(b)是基于AER的車道線事件幀，(c)是經(jīng)過濾波后LIF編碼得到的車道線事件幀。

圖3 不同方式得到的車道線圖像

4 車道線識別和跟蹤

4.1 車道線的視角恢復(fù)

原始的事件流數(shù)據(jù)經(jīng)過濾波等預(yù)處理方式將事件數(shù)量減少，從而到達(dá)去除大量噪聲的目的。由于單目相機安裝的位置與路面具有一定角度，使實際平行的車道線出現(xiàn)近大遠(yuǎn)小、遠(yuǎn)處相交于一點的問題。因此，需要通過逆透視變換將相機拍攝視角如圖4(a)轉(zhuǎn)換成俯瞰視角如圖4(b)，恢復(fù)車道線的平行關(guān)系。

圖4 逆透視變換前后車道的視角

(6)

圖5中(a)中綠線畫出的區(qū)域為車道線區(qū)域，(b)為經(jīng)過逆透視變換得到的車道俯瞰圖，有助于后續(xù)的識別車道線位置。

圖5 車道線的俯瞰圖

4.2 車道識別

4.2.1 定位車道線的搜索起點

首先，將逆透視變換得到的俯瞰圖沿著豎直方向一分為二，即劃分為左、右兩個搜索區(qū)域；然后，對俯瞰圖的左、右兩個區(qū)域在豎直方向上做非零像素點個數(shù)的直方圖統(tǒng)計；最后，定位左、右兩個峰值分別作為左、右兩條車道線的搜索起點。如圖6為每列非零像素個數(shù)統(tǒng)計直方圖，橫坐標(biāo)為圖5中俯瞰圖對應(yīng)的像素橫坐標(biāo)，縱坐標(biāo)是每一列非零像素的個數(shù)。

圖6 統(tǒng)計直方圖

4.2.2 B樣條曲線

B樣條曲線是一種通過特征點局部控制形狀的曲線，具有控制靈活、易于計算機編程等特點，常用用于擬合直線及曲線。B樣條曲線的總方程為

(7)

式中qi是控制曲線的特征點，F(xiàn)i，k(t)是k階B樣條基函數(shù)。文中，使用三次B樣條曲線對m+1個特征點{q0，q1，q2，…，qm}進(jìn)行擬合，即可以擬合出m-1條分段曲線，每段曲線可寫為

gi(t)=g(xi(t)，yi(t))，i=1，2，…，m-2

(8)

其中，xi(t)，yi(t)分別為圖像坐標(biāo)系中像素的水平、垂直坐標(biāo)值的取值范圍為[0，1]。4個特征點擬合出一段分段曲線，根據(jù)B樣條曲線的基函數(shù)，得到參數(shù)表達(dá)式

(9)

4.2.3 車道線的擬合

利用滑動窗定位特征點，并采用隨機抽樣一致法對擬合車道線進(jìn)行連續(xù)迭代，直到擬合誤差小于閾值或是達(dá)到最大迭代次數(shù)。具體步驟為：

1)將當(dāng)前搜尋的基點作為搜索起點，并以當(dāng)前基點為中心，做網(wǎng)格化搜尋。同時，統(tǒng)計每個搜索框區(qū)域內(nèi)非零像素的個數(shù)，剔除非零像素個數(shù)小于一定閾值的搜索框。

2)計算每個搜索框內(nèi)非零像素坐標(biāo)的均值，作為特征點。

3)根據(jù)三次B樣本曲線模型，隨機選取若干個點，生成一條初始曲線。

4)計算剩余特征點與初始曲線的相對距離，當(dāng)相對距離小于設(shè)定閾值時執(zhí)行5)，否則執(zhí)行步驟3)，直至達(dá)到最大迭代次數(shù)。

5)利用本次循環(huán)加入的特征點對三次曲線進(jìn)行修正，保存當(dāng)前最佳擬合的曲線，直到迭代上限。

如圖7(a)是滑動窗對俯瞰圖的擬合圖，圖中綠色框為滑動窗擬合結(jié)果，紅色、藍(lán)色像素為區(qū)分左、右車道。(b)是三次B樣條曲線擬合出的車道線。(c)是識別出的可行駛區(qū)域。

圖7 車道線的擬合圖

4.3 車道線跟蹤

車道線跟蹤的策略：通過判斷左右兩條車道線是否平行，具體參考數(shù)據(jù)是前一幀的兩條擬合三次曲線的標(biāo)準(zhǔn)差，判別是否大于一定的閾值，若是在設(shè)定的閾值范圍內(nèi)，把前五幀的平均擬合數(shù)據(jù)作為當(dāng)前幀的擬合結(jié)果輸出；若是前一幀兩條擬合車道線的標(biāo)準(zhǔn)差大于閾值范圍，則重新檢測下一幀圖像。實驗中在判斷擬合車道線是否平行的基礎(chǔ)上，再增加一項判斷量，即為車輛行駛過程的偏移量d。車輛在正常行駛過程中，考慮到車輛會出現(xiàn)變道的情況，所以當(dāng)偏移量大于設(shè)定的閾值時，將重新識別車道線，反之則啟動跟蹤模塊。

車道跟蹤模塊，一是可以保證車輛在直線行駛過程中，減少不必要的計算以加快識別速度；二是可以減小路面字標(biāo)、樹陰、光照等影響，提高了算法的魯棒性，減少異常幀的干擾。圖8(a)是未加入跟蹤模塊的車道線識別的效果圖，(b)是加入跟蹤模塊的識別效果圖，綠色區(qū)域即為識別得到的可行駛區(qū)域。

圖8 未使用和使用跟蹤模塊的識別對比圖

5 實驗與結(jié)果分析

為了驗證研究方法的可用性和魯棒性，在理論研究的基礎(chǔ)上，在四種車輛行駛環(huán)境下進(jìn)行測試，并與其它兩種車道線識別方法[18，19]進(jìn)行對比。統(tǒng)計檢測率、平均每幀耗時作為評價指標(biāo)，檢測率是正確識別到兩條車道的幀數(shù)占總幀數(shù)的百分比，平均每幀耗時是程序的總運行時間除以總幀數(shù)。

5.1 測試環(huán)境

PC硬件配置為Inter i7-8750H CPU3.6GHz NVIDIA GeForce GTX1060。

軟件運行環(huán)境為Window 10，內(nèi)存為8.0GB，Python3.7和OpenCV4.0庫。事件流數(shù)據(jù)是由仿真器ESIM[16](Event Camera Simulator)模擬得到。該仿真器可以真實地反應(yīng)出事件流數(shù)據(jù)。ESIM基于ROS(Robot Operating System)軟件平臺，緊密結(jié)合了渲染引擎和事件仿真器，這使仿真器可以根據(jù)視覺信號的動態(tài)性自適應(yīng)地生成rosbag文件從而獲取事件幀。圖像幀轉(zhuǎn)換成事件幀的具體流程圖9如下，圖像幀為1280X720分辨率，模擬生成事件幀的分辨率仍保持不變。

圖9 圖像幀轉(zhuǎn)換成事件幀的流程圖

5.2 結(jié)果分析

圖10為四種場景下車道線識別的效果圖，每一排分別是基于事件的車道線圖像、車道擬合的曲線、識別效果圖，從上到下代表四種場景分別是車輛一般行駛情況、路面有標(biāo)識、樹陰遮擋、夜晚行車環(huán)境。表1為四種場景對應(yīng)的總幀數(shù)、錯誤幀數(shù)、準(zhǔn)確率和平均每幀運行時間。

圖10 四種場景(a-d)下車道線識別的效果圖

表1 四種場景下車道線檢測率

上述實驗結(jié)果圖10可看出，本文提出的車道線識別算法很大程度上消除了樹陰、路面字標(biāo)等影響，對光照不足的情況也有很好的識別效果。從表1可得，算法的平均檢測率為97.05%，平均每幀耗時18.24毫秒，可滿足實時性要求且可應(yīng)用于多種場景，在滿足高檢測率的同時保證了較高的運行速率。

5.3 與已有的方法對比

圖11為三種車道線識別方法對每種場景中的同一事件幀的對比圖，每一行分別為Hough[17]、Hough-Kalman[18]、和本文方法；每一列是四種場景，分別為一般行駛情況、路面有標(biāo)識、樹陰遮擋、夜晚行車環(huán)境。

圖11 三種車道線識別方法在四種場景(a-d)中的對比圖

對比圖11可以看出，多變的路面環(huán)境對Hough[17]方法的識別效果影響較大，Hough-Kalman[18]方法容易受到路面字標(biāo)、樹陰的影響，而研究提出的方法在很大程度上消除了這些影響。由表2可得，本研究中的車道線識別方法平均檢測率為97.04%，高于文獻(xiàn)[18，19]的94.64%、95.87%；并且每幀圖像的處理時間較快。

表2 不同方法對比的實驗結(jié)果

6 結(jié)論

針對目前傳統(tǒng)車道線識別方法容易受到車輛高速行駛、樹陰、光線亮暗等影響，本文提出一種地址事件數(shù)據(jù)流的快速識別車道線方法，在多種不同場景下進(jìn)行實驗測試，表明效果良好。

1)針對AER感知模式中存在硬件電路和環(huán)境隨機產(chǎn)生的噪聲，采用濾波、LIF編碼的方式直接對事件流序列進(jìn)行預(yù)處理，可以濾除大量無效事件，提高車道線定位的準(zhǔn)確性。

2)相比傳統(tǒng)基于同步圖像幀的車道識別方法，研究中采用高時間分辨率的異步事件流，可避免兩個相鄰幀之間的信息丟失。加入了車道跟蹤模塊，減小異常幀的干擾并提高了識別的實時性。

3)經(jīng)過四種不同路況的實驗場景驗證，提出的車道線識別方法在19959幀動態(tài)車道線測試中，平均檢測率為97.05%，平均每幀耗時18.24毫秒，可滿足實時性要求。