洪名佳，汪慧蘭，黃娜君，戴 舒

(安徽師范大學(xué)物理與電子信息學(xué)院，安徽 蕪湖 241000)

0 引言

目前，無人駕駛[1-4]研究的熱點(diǎn)之一是安全輔助駕駛系統(tǒng)，如車道偏離報警系統(tǒng)[5]和車道保持系統(tǒng)[6]等，它主要針對的是如何減少交通事故發(fā)生的問題。安全輔助駕駛系統(tǒng)中最關(guān)鍵的核心技術(shù)是車道線檢測算法，它的大致步驟如下：① 通過攝像頭獲取當(dāng)前車輛所在車道的車道線信息；② 從上述車道線信息中選取汽車左、右車道的數(shù)據(jù)，通過對所選取的車道數(shù)據(jù)進(jìn)行處理(檢測算法)，完成車道線的識別，確定車輛所在區(qū)域的車道線類型。

在基于視覺傳感器的傳統(tǒng)車道檢測方法中，路面破損、車道線模糊、陰影遮擋以及道路兩旁各種各樣的建筑物等因素都會對識別算法產(chǎn)生很大不利影響，而且從目前的傳統(tǒng)車道識別算法來看，大部分時間能識別的車道類型是直線型或近似直線型，對于其他非直線型的車道如彎道不能很好的識別，這樣，大部分傳統(tǒng)算法很不適用于我國復(fù)雜的交通路況。

基于視覺的車道線檢測算法目前種類繁多，不過從大量文獻(xiàn)可知，利用卷積濾波和Hough變換還是目前比較通用的一種方法。這類方法大部分需要根據(jù)所處理的圖片手動調(diào)整參數(shù)，算法魯棒性較差，而且對光照、天氣等環(huán)境要求較高。

深度學(xué)習(xí)技術(shù)其實(shí)在圖像處理上早已得到使用，并且在很多數(shù)據(jù)集上都得到了非常好的理想效果。為了解決傳統(tǒng)算法所不能解決的實(shí)際問題，本文提出了一種基于全卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測算法。該算法將傳統(tǒng)的圖像處理算法和深度學(xué)習(xí)相結(jié)合，實(shí)現(xiàn)真正端到端的實(shí)時系統(tǒng)，解決在復(fù)雜路況和環(huán)境下的車道線檢測問題。其大致結(jié)構(gòu)示意如圖1所示。

圖1 基于FCN的車道線檢測算法示意圖

1 FCN網(wǎng)絡(luò)構(gòu)建

對于車道線的檢測，本文的網(wǎng)絡(luò)結(jié)構(gòu)主要采用全卷積神經(jīng)網(wǎng)絡(luò)[7-9]。與經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)[10-12]在若干卷積流后使用全連接層得到固定長度的特征向量進(jìn)行分類不同，全卷積神經(jīng)網(wǎng)絡(luò)能接受任意尺寸的輸入圖像，并且引入反卷積操作對最后一個卷積層上的特征圖進(jìn)行上采樣，從而使特征圖恢復(fù)到與輸入圖像相同的尺寸，實(shí)現(xiàn)了對每一個像素產(chǎn)生一個預(yù)測，同時可以保留原始輸入圖像中的空間信息，最后在上采樣的特征圖上進(jìn)行逐像素分類，解決了語義級別的圖像分類問題。

1.1 全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計的基于全卷積神經(jīng)網(wǎng)絡(luò)能夠滿足以下4方面要求：

① 全卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像和輸出圖像尺寸一致，但二者的拓?fù)浣Y(jié)構(gòu)信息不一樣；

② 普通卷積神經(jīng)網(wǎng)絡(luò)中全連接層轉(zhuǎn)化為卷積層操作；

③ 上采樣可量化為反卷積操作；

④ 在FCN的基礎(chǔ)上，使用全連接的條件隨機(jī)場，考慮實(shí)景圖像中的空間信息，得到更加精細(xì)并具有空間一致性的結(jié)果。

針對車道線檢測算法的實(shí)際應(yīng)用，F(xiàn)CN大致采用卷積和反卷積操作，其中的具體網(wǎng)絡(luò)層結(jié)構(gòu)定義如圖2所示。

圖2 FCN網(wǎng)絡(luò)層結(jié)構(gòu)

1.2 激活函數(shù)的選取

由圖2可知，大部分網(wǎng)絡(luò)層的輸出后面都添加一個激活函數(shù)。在大多數(shù)神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)通常選擇非線性函數(shù)。非線性的激活函數(shù)能增加網(wǎng)絡(luò)的非線性表達(dá)能力，從而使網(wǎng)絡(luò)更加強(qiáng)大，能夠?qū)W習(xí)復(fù)雜的事物和表單數(shù)據(jù)。本文采用Relu函數(shù)，對于隱藏層而言，Relu比那些簡單閾值類激活函數(shù)效果要好。使用傳統(tǒng)的Sigmoid、TanH等非線性激活函數(shù)往往會出現(xiàn)梯度逐漸消失變?yōu)?，損失函數(shù)的輸出最終也變?yōu)槌Ａ?，?dǎo)致網(wǎng)絡(luò)根本無法收斂，這樣使得基于BP反向傳播算法[13]的優(yōu)化方法都基本失效。但是使用Relu函數(shù)由于非負(fù)區(qū)間的梯度為常數(shù)，因此不存在梯度消失問題，使得模型的收斂速度維持在一個穩(wěn)定狀態(tài)。

1.3 優(yōu)化器的選擇

基于全卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測算法，由于是在資源配置較為簡單的CPU上實(shí)現(xiàn)，所以本文選用的優(yōu)化器為Adam[14]。首先，Adam優(yōu)化器具有容易實(shí)現(xiàn)，高效，對內(nèi)存要求較少；其次，參數(shù)更新的步長能夠被合理限制在大致的范圍內(nèi)；再次，Adam能夠較容易實(shí)現(xiàn)步長退火過程；最后，Adam適用于梯度稀疏或梯度存在很大噪聲的問題。Adam更新權(quán)值參數(shù)步驟如下：

① 計算t時間的梯度gt，如式(1)所示：

gt=▽wJ(wt-1)，

(1)

式中，wt-1表示t-1時間的權(quán)值；

② 計算梯度的指數(shù)移動平均數(shù)mt(假設(shè)m0初始化為0)，如式(2)所示：

mt=β1mt-1+(1-β1)gt，

(2)

式中，β1系數(shù)為指數(shù)衰減率，控制權(quán)重分配；

③ 計算梯度平方的指數(shù)移動平均數(shù)vt(假設(shè)v0初始化為0)，如式(3)所示：

vt=β2vt-1+(1-β2)gt2，

(3)

式中，β2系數(shù)為指數(shù)衰減率，控制之前的梯度平方的影響情況；

④ 在訓(xùn)練初始階段，由于m0和v0初始化都為0，會導(dǎo)致mt和vt偏向于0，因此對其糾正，如式(4)和式(5)所示：

m1t=mt/(1-β1t)，

(4)

v1t=vt/(1-β2t)；

(5)

⑤ 新權(quán)值參數(shù)Wt，如式(6)所示：

(6)

式中，a表示學(xué)習(xí)率，ε通常取10-8，避免除數(shù)為0。

1.4 用于車道線檢測的雙線性插值算法

由圖1可知，對最后一個卷積層進(jìn)行上采樣(反卷積)操作，主要通過雙線性插值算[15]來實(shí)現(xiàn)。

假設(shè)計算放大1.3倍和1.7倍后的圖像位于Q(136，345)位置的像素值。首先，該像素值對應(yīng)原圖中的坐標(biāo)位置為P(104.615，202.941)，這里取小數(shù)點(diǎn)后3位，則原圖像中相鄰的4個位置分別是P11(104，202)，P12(104，203)，P21(105，202)，P22(105，203)，如圖3所示。

X方向進(jìn)行線性插值，如式(7)和式(8)所示：

(1-0.615)*f(P11)+0.615*f(P21)，

(7)

(1-0.615)*f(P12)+0.615*f(P22)；

(8)

Y方向進(jìn)行線性插值，如式(9)所示:

(1-0.941)*f(T1)+0.941*f(T2)，

(9)

式中，f(P)為目標(biāo)位置像素值。

圖3 雙線性插值坐標(biāo)信息

1.5 用于車道線檢測的全連接CRF

在一幅車道線圖像中，對于每個像素點(diǎn)i具有類別標(biāo)簽Xi，而且還有對應(yīng)的觀測值Yi，這樣每個像素點(diǎn)作為節(jié)點(diǎn)，像素與像素間的關(guān)系作為邊，即構(gòu)成了一個條件隨機(jī)場[16]。

設(shè)L為預(yù)定義的標(biāo)簽集，L={l1,l2,…,lL}，X為一幅車道線圖像中某個像素的標(biāo)簽，X∈{X1,X2,…,XN}，N表示像素標(biāo)號。

條件隨機(jī)場模型符合吉布斯分布[17]，如式(10)所示。

(10)

式中，I表示全局觀測變量，x∈L，Z(I)表示分割函數(shù)。其中，E(x|I)是能量函數(shù)，如式(11)所示(為了簡便，以下省略全局觀測I)：

E(x)=∑iφu(xi)+∑i

(11)

式中，一元勢函數(shù)∑iφu(xi)來自于前端FCN的輸出，二元勢函數(shù)如式(12)所示：

(12)

式中，kG(m)表示高斯核函數(shù)，fi，fj分別表示像素i和像素j的特征向量(此特征向量主要取自于圖像的特征，如空間位置和RGB值等)，u(xi,xj)表示標(biāo)簽一致性函數(shù)。

從式(12)可知，二元勢函數(shù)描述像素點(diǎn)與像素點(diǎn)之間的關(guān)系，鼓勵相似像素分配相同標(biāo)簽，而相差較大的像素分配不同標(biāo)簽。

2 基于FCN的車道線檢測算法實(shí)現(xiàn)

2.1 訓(xùn)練集和測試集制作

由于FCN網(wǎng)絡(luò)需要進(jìn)行訓(xùn)練和測試，事先需要制作訓(xùn)練集和測試集。對于訓(xùn)練集，選擇5 000張車道線原始圖片及對應(yīng)的ground truth標(biāo)注文件。對于測試集，選擇2 000張圖片及對應(yīng)的ground truth標(biāo)注文件。其中對于ground truth標(biāo)注文件，使用C Label軟件進(jìn)行標(biāo)注。

C label軟件支持不同的標(biāo)注模式，例如邊界框、語義或點(diǎn)云標(biāo)注。對于車道線檢測，由于使用FCN網(wǎng)絡(luò)，因此，本文使用2D 語義標(biāo)注模式，創(chuàng)建JSON或XML輸出數(shù)據(jù)。語義標(biāo)注是允許對圖像進(jìn)行逐像素標(biāo)記的一種標(biāo)注模式，其目的是為圖像中可見的所有事物提供語義信息，而不是只標(biāo)注特定的對象。對于這個任務(wù)，語義標(biāo)注模式提供了允許對圖像進(jìn)行精細(xì)注釋的工具，每個顏色代表一個不同的語義。具體標(biāo)注步驟如下：① 導(dǎo)入原始圖像；② 通過XML方式或手動添加類定義來導(dǎo)入標(biāo)記類定義；③ 選擇語義標(biāo)簽?zāi)Ｊ?；?開始標(biāo)記并分類；⑤ 保存標(biāo)記后的圖片及JSON文件；⑥ 手動檢查標(biāo)注的效果。

2.2 FCN網(wǎng)絡(luò)訓(xùn)練

為了實(shí)現(xiàn)車道線的精確檢測，首先要對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，主要過程是通過前向傳遞與反向傳播的交替，反復(fù)調(diào)整權(quán)值和閾值，直到達(dá)到訓(xùn)練次數(shù)或要求的收斂條件為止。

具體步驟如下：

① 激活tensorflow；

② 在tensorflow環(huán)境下使用spyder集成開發(fā)環(huán)境對FCN網(wǎng)絡(luò)參數(shù)進(jìn)行設(shè)置，如表1所示。

表1 FCN網(wǎng)絡(luò)參數(shù)的設(shè)置

網(wǎng)絡(luò)參數(shù)值描述batch_size2batch size for traininglearning_rate0.000 1learning rate for Adamnet_modetrainTrain/test/visualizeiteration100 000Number of iterationclass4Classification result

③ 在網(wǎng)絡(luò)為訓(xùn)練模式情況下，每迭代10次，計算train_loss值，每迭代50次，對模型測試1次，并打印loss值等；

④ 在spyder環(huán)境下運(yùn)行FCN網(wǎng)絡(luò)，用事先準(zhǔn)備好的訓(xùn)練集對該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在訓(xùn)練過程中，使用tensorboard可視化工具查看運(yùn)行過程中的Loss值變化，如圖4和圖5所示。

圖4 網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)

圖5 LOSS值變化

⑤ 最后，保存訓(xùn)練好的FCN網(wǎng)絡(luò)模型。

2.3 FCN網(wǎng)絡(luò)測試

當(dāng)FCN網(wǎng)絡(luò)訓(xùn)練好以后，用事先標(biāo)注好的測試集對已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行測試。測試步驟如下：

① 將網(wǎng)絡(luò)模式設(shè)置為測試模式，然后隨機(jī)抽取測試集中的車道線圖片，批次處理圖片大小設(shè)置為2，最后對網(wǎng)絡(luò)進(jìn)行測試；

② 保存經(jīng)過網(wǎng)絡(luò)測試后的車道線圖片；

③ 將原始車道線標(biāo)注圖像ground truth與經(jīng)過網(wǎng)絡(luò)測試后的圖像進(jìn)行對比分析。

3 實(shí)驗(yàn)結(jié)果分析與比較

為了驗(yàn)證基于全卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測算法的優(yōu)越性，本文主要從2方面進(jìn)行測試分析:① 車道線檢測的質(zhì)量測試;② 車道線檢測的時間測試。

3.1 車道線檢測的質(zhì)量測試

對于車道線檢測質(zhì)量來說，目前并沒有形成一個很完善的評判標(biāo)準(zhǔn)。本文主要通過統(tǒng)計檢測出的車道線種類和識別出的車道線數(shù)目，以及計算檢測的準(zhǔn)確率來綜合判斷車道線檢測質(zhì)量的好壞。其中檢測準(zhǔn)確率如式(13)所示：

(13)

傳統(tǒng)的基于Hough變換[18-19]的車道線檢測算法只能檢測出車道線數(shù)目，而不具有分類能力，即不能解決語義級別的分類能力。而且檢測的結(jié)果中除了車道線的信息外，還包含一些背景、噪聲干擾等信息。

基于全卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測算法對輸入圖像進(jìn)行了像素級分類，解決了語義級別的圖像分類問題，因此不僅能夠分類得到車道線像素區(qū)域和非車道線像素區(qū)域，還能夠分類出每個像素隸屬于哪條車道線。為此，本文在不同工況下，分別對基于FCN的車道線檢測算法與基于Hough變換的車道線檢測算法進(jìn)行測試并對比。如圖6所示，圖6(a)分別為標(biāo)記模糊的單車道線、光線昏暗的多車道線以及彎道；圖6(b)為對圖6(a)中3種工況進(jìn)行霍夫變換后的檢測效果圖；圖6(c)為對(a)中3種工況進(jìn)行FCN網(wǎng)絡(luò)測試后的效果圖。

圖6 不同工況下基于霍夫變換和基于FCN的 車道線檢測效果對比

實(shí)驗(yàn)結(jié)果表明，當(dāng)車道線模糊，基于霍夫變換的車道線檢測算法檢測模糊區(qū)域時會丟失大量的車道線坐標(biāo)信息。其次，當(dāng)出現(xiàn)多條車道線，它不具有對車道線的分類能力，甚至出現(xiàn)某些比較靠近的車道線出現(xiàn)重疊情況。再次，當(dāng)出現(xiàn)彎道情況時，它會丟失大量車道線邊緣信息。

基于FCN的車道線檢測較之傳統(tǒng)的基于Hough變換的車道線檢測算法，在應(yīng)對各種復(fù)雜的工況時，能夠更加精確地檢測車道線，沒有背景噪聲干擾，并且與原始圖像具有空間一致性的結(jié)果。

3.2 車道線檢測時間測試

根據(jù)系統(tǒng)實(shí)時性要求，車道線檢測時間是另一個很重要的參數(shù)。在整個車道線檢測過程中，車道線檢測算法占了整個系統(tǒng)的絕大部分檢測時間。

根據(jù)理論分析表明，為了實(shí)現(xiàn)車道線的快速精確檢測，滿足系統(tǒng)實(shí)時性要求，F(xiàn)CN網(wǎng)絡(luò)的整體架構(gòu)不易過于復(fù)雜，卷積核大小選擇適中，輸入圖像不易過大。為此，在FCN網(wǎng)絡(luò)訓(xùn)練和測試過程中，通過設(shè)置不同卷積核大小和輸入圖像大小來觀察車道線檢測的平均時間和準(zhǔn)確率。輸入圖片大小為720*480，不同的卷積核大小對車道線檢測時間和檢測準(zhǔn)確率的影響，如表2所示。卷積核大小為8時，不同的輸入圖像尺寸對車道線檢測時間和準(zhǔn)確率的影響，如表3所示。

表2 不同卷積核大小對檢測時間、檢測準(zhǔn)確率的影響

卷積核大小檢測平均時間/ms準(zhǔn)確率/%480908120961618098

表3 不同輸入圖像大小對檢測時間、檢測準(zhǔn)確率的影響

輸入大小檢測平均時間/ms準(zhǔn)確率/%1 280*1 02420096720*48012096480*2006095

實(shí)驗(yàn)中發(fā)現(xiàn)，傳統(tǒng)的基于Hough變換的檢測算法在檢測車道線時所需時間大致為200 ms，本文車道線檢測算法是采用全卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的，算法的運(yùn)行時間完全取決于全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、卷積核的大小以及網(wǎng)絡(luò)輸入圖像的大小等因素。通過表1和表2可知，選擇的卷積核越大，越能精確地提取車道線的特征，相應(yīng)的準(zhǔn)確率也越高，但是系統(tǒng)消耗的檢測時間會越多。除此以外，輸入的圖像越大，系統(tǒng)消耗的檢測時間也越多。

由上述所知，在設(shè)計基于FCN的車道線檢測算法時，要合理選擇卷積核大小和輸入圖像大小。在本文中，當(dāng)選擇的卷積核大小為8，輸入圖像大小為720*480時，車道線檢測時間為120 ms,準(zhǔn)確率已達(dá)到96%,其性能明顯優(yōu)于傳統(tǒng)的基于霍夫變換的車道線檢測算法。

4 結(jié)束語

在現(xiàn)實(shí)世界經(jīng)常會遇到復(fù)雜環(huán)境，如彎道、車道線模糊及陰影遮擋等，采用基于全卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測算法，能夠較為精確地實(shí)現(xiàn)車道線的檢測，并且比傳統(tǒng)的車道線檢測算法更加優(yōu)越。本文用大量的訓(xùn)練集和測試集對全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，并且將傳統(tǒng)的Hough變換算法與基于FCN的車道線檢測算法進(jìn)行對比。

實(shí)驗(yàn)結(jié)果表明，利用本文方法，能夠較為精確地得到車道線的詳細(xì)信息，如車道線坐標(biāo)點(diǎn)和車道線的分類等。尤其在車道線模糊、光線昏暗、彎道等情況下，平均識別率能達(dá)到96%以上，性能明顯優(yōu)于傳統(tǒng)的基于Hough變換的檢測算法。為了使該算法具有廣泛的應(yīng)用性和市場價值，研制車道偏離報警系統(tǒng)和車道保持系統(tǒng)是下一階段的研究重點(diǎn)。