程國(guó)建， 馮亭亭

（西安石油大學(xué) 計(jì)算機(jī)學(xué)院， 西安 710065）

0 引 言

隨著國(guó)內(nèi)社會(huì)經(jīng)濟(jì)的快速發(fā)展，汽車的保有量逐年增加，而汽車為人們出行提供便利的同時(shí)也增加了發(fā)生交通事故的可能性，因此如何避免交通事故的發(fā)生、保證安全駕駛，已成為業(yè)界研究的重點(diǎn)［1］。 與此同時(shí)，人工智能（Artificial Intelligence，AI）、深度學(xué)習(xí)（Deep Learning，DL）的研究正日趨深入，智能交通與自動(dòng)駕駛技術(shù)相繼被提出并廣泛用于交通行業(yè)。 自動(dòng)駕駛技術(shù)通過感知系統(tǒng)獲取道路信息，依靠決策系統(tǒng)分析信息、規(guī)劃行駛路徑，最后利用控制系統(tǒng)保證車輛的安全行駛［2］。 該技術(shù)的應(yīng)用不僅改善了交通狀況、提高了交通效率，并在一定程度上推動(dòng)了工業(yè)研究的發(fā)展。

車道線檢測(cè)［3］作為輔助自動(dòng)駕駛的關(guān)鍵技術(shù)，能夠精確識(shí)別道路，從而幫助自動(dòng)駕駛汽車做出決策，保證車輛行駛在正確的區(qū)域內(nèi)。 其基本步驟包括圖像采集、圖像預(yù)處理、特征提取和車道線擬合，這里的圖像采集是檢測(cè)任務(wù)的基礎(chǔ)，而特征提取是檢測(cè)任務(wù)的核心［4］。 依據(jù)特征提取方法的不同，可以將目前已經(jīng)采用的車道線檢測(cè)算法分為2 類:傳統(tǒng)車道線檢測(cè)、基于深度學(xué)習(xí)的車道線檢測(cè)［5］。 對(duì)此可給出闡釋分述如下。

（1） 傳統(tǒng)車道線檢測(cè)算法。 傳統(tǒng)車道線檢測(cè)有基于特征和基于模型等2 種方法。 其中，基于特征的檢測(cè)方法利用車道線的顏色、紋理、邊緣等物理特征，根據(jù)車道線與道路周圍環(huán)境的差異，對(duì)車道線進(jìn)行分割與處理［6］。 Danilo 等學(xué)者［7］提出一種道路特征融合方法進(jìn)行車道線檢測(cè)，通過融合顏色、邊緣和速度等特征，能夠有效消除車道線檢測(cè)中的道路障礙。 Lee 等學(xué)者［8］融合了車道線的顏色信息和梯度信息，并結(jié)合掃描技術(shù)，改善了夜間環(huán)境的車道檢測(cè)效果。 而基于模型的車道線檢測(cè)是利用道路的先驗(yàn)知識(shí)，針對(duì)道路結(jié)構(gòu)的幾何特征，結(jié)合數(shù)學(xué)知識(shí)建立車道線模型，通過Hough 變換、RANSAC 算法和最小二乘法［9］求解模型參數(shù)，擬合車道線［10］。 宋銳等學(xué)者［11］使用幾何矩陣采樣模型檢測(cè)車道線，有效緩解了圖像噪聲的干擾。 Xu 等學(xué)者［12］采用劃分道路區(qū)域和RANSAC 算法實(shí)現(xiàn)了車道線的識(shí)別。

傳統(tǒng)的車道線檢測(cè)方法原理簡(jiǎn)單，易于實(shí)現(xiàn)，在簡(jiǎn)單場(chǎng)景下的檢測(cè)效果較好，但傳統(tǒng)方法的適應(yīng)性較差，局限于特定環(huán)境下，在遮擋、壓線、磨損、陰雨等復(fù)雜環(huán)境中，算法的運(yùn)算成本較高、魯棒性較差，達(dá)不到預(yù)期效果［13］。

（2）基于深度學(xué)習(xí)的車道線檢測(cè)。 基于深度學(xué)習(xí)的車道線檢測(cè)算法利用深度神經(jīng)網(wǎng)絡(luò)模型自動(dòng)獲取車道線特征，通過在訓(xùn)練中不斷修正模型參數(shù)，提高了復(fù)雜環(huán)境下的車道檢測(cè)效果［14］。 宋揚(yáng)等學(xué)者［15］提出一種基于深度圖像增強(qiáng)的車道線檢測(cè)方法，使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行圖像增強(qiáng)，采用LaneNet提取圖像特征，改善了夜間車道線檢測(cè)的效果。 Liu等學(xué)者［16］設(shè)計(jì)出基于單目視覺的車道線檢測(cè)模型，通過使用全卷積神經(jīng)網(wǎng)絡(luò)、殘差結(jié)構(gòu)和金字塔池化，提高了在陰影遮擋情況下車道線的檢測(cè)精度。 Qin等學(xué)者［17］提出了一種基于結(jié)構(gòu)感知的快速車道線檢測(cè)方法（Ultra Fast Structure-aware Deep Lane Detection，UFLD），該算法基于圖像的全局特征，將圖像網(wǎng)格化，在每個(gè)預(yù)定義行上選擇車道位置，并進(jìn)行分類，提高了檢測(cè)速度，同時(shí)也解決了無視覺線索問題。

UFLD 算法雖然提高了檢測(cè)速度，但準(zhǔn)確率不高，在彎道場(chǎng)景下的效果欠佳。 借鑒UFLD 的算法思想，提出了一種帶注意力機(jī)制的稠密神經(jīng)網(wǎng)絡(luò)（DenseNet with Spatial Attention Mechanism based on UFLD，DSA-UFLD）用于車道線檢測(cè)。 相比UFLD算法，DSA-UFLD 網(wǎng)絡(luò)在檢測(cè)精度和效果上有明顯改善。

1 基于DSA－UFLD 的車道線檢測(cè)原理及方法

DSA-UFLD 算法在訓(xùn)練前使用自適應(yīng)圖像亮度增強(qiáng)提高圖像的清晰度；利用預(yù)訓(xùn)練模型DenseNet-121 進(jìn)行特征提取，通過DenseNet-121 的密集連接結(jié)構(gòu)最大化前后層間的信息交流，采用預(yù)訓(xùn)練模型的權(quán)重在訓(xùn)練中通過微調(diào)取得了較好的效果，降低了訓(xùn)練成本；將提取的特征圖經(jīng)過空間注意力機(jī)制重新分配權(quán)重，實(shí)現(xiàn)了信息增強(qiáng)；通過改進(jìn)結(jié)構(gòu)損失函數(shù)，改善了彎道檢測(cè)效果。

1．1 圖像增強(qiáng)

圖像增強(qiáng)能夠提高圖像的質(zhì)量、改善圖像的視覺效果、增強(qiáng)圖像清晰度和豐富圖像信息。 在本文中，除了使用隨機(jī)翻轉(zhuǎn)和平移進(jìn)行圖像增強(qiáng)外，還采用了一種圖像亮度自適應(yīng)增強(qiáng)算法，用于緩解圖像光線不足對(duì)車道線檢測(cè)的干擾。 圖1 為亮度增強(qiáng)的流程，對(duì)輸入圖像先判斷亮度值，若亮度值大于給定閾值，說明圖像亮度足夠，直接輸出圖像；若小于給定閾值，則利用所給分位點(diǎn)計(jì)算分位值區(qū)間，并去掉圖像分位值區(qū)間以外較大或較小的像素值，接著將改變后圖像的像素值調(diào)整到一定區(qū)間范圍內(nèi)，再將其輸出。

圖1 圖像亮度自適應(yīng)增強(qiáng)算法流程

圖2（b）為使用亮度增強(qiáng)后的效果圖。 顯而易見，校正后的圖像中，車道線與周圍環(huán)境的對(duì)比度增強(qiáng)，改善了圖像低灰度區(qū)域集中的現(xiàn)象，提升了整個(gè)圖像的視覺效果。

圖2 圖像亮度自適應(yīng)增強(qiáng)算法的效果Fig． 2 Effect of images brightness adaptive enhancement algorithm

1．2 DSA－UFLD 網(wǎng)絡(luò)結(jié)構(gòu)

DSA-UFLD 算法采用遷移學(xué)習(xí)模型DenseNet-121 提取圖像特征，相比ResNet18［18］，預(yù)訓(xùn)練的DenseNet-121 網(wǎng)絡(luò)，加強(qiáng)了特征重用、減少了參數(shù)量和訓(xùn)練成本。 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，輸入圖像為3 通道RGB 圖，大小為288×800，利用DenseNet-121網(wǎng)絡(luò)進(jìn)行特征提取得到1 024×9×25 大小的特征圖，再將特征圖輸入到空間注意力機(jī)制模塊，通過空間維度的變換提取圖像的關(guān)鍵信息。

圖3 DSA－UFLD 網(wǎng)絡(luò)結(jié)構(gòu)Fig． 3 Network structure of DSA－UFLD

DSA-UFLD 網(wǎng)絡(luò)包括2 個(gè)分支:輔助分割分支和分類分支。 在輔助分割分支中，使用上采樣模塊對(duì)特征圖進(jìn)行2 次上采樣，再經(jīng)過卷積核為3×3、擴(kuò)張率為2 的空洞卷積，得到實(shí)例分割結(jié)果，輔助分割分支的輸出主要用于訓(xùn)練過程的實(shí)例分割和交叉熵?fù)p失計(jì)算，在測(cè)試環(huán)節(jié)，此分支可去掉。 在分類分支中，對(duì)特征圖進(jìn)行池化、扁平化處理，再經(jīng)過2 個(gè)全連接層，輸出對(duì)車道線的預(yù)測(cè)結(jié)果:

其中，c＝4，表示最大車道線數(shù)；h＝56，表示行錨數(shù)；X為提取的特征圖；fij為分類器。 將每張圖像劃分為包括56 個(gè)行錨、每個(gè)行錨包含101 個(gè)網(wǎng)格的網(wǎng)格圖，最后一個(gè)網(wǎng)格表示道路背景，將車道線的檢測(cè)看作一種基于行的分類問題。 則Pi，j，:表示第j行的每個(gè)網(wǎng)格屬于第i條車道線的概率，該值主要用于分類分支損失函數(shù)的計(jì)算和預(yù)測(cè)車道線的位置。

1.2.1 特征提取網(wǎng)絡(luò)

特征提取使用遷移學(xué)習(xí)模型DenseNet-121，DenseNet 網(wǎng)絡(luò)由Huang 等學(xué)者［19］在2017 年提出，包括DenseNet-121、DenseNet-161、DenseNet-169及DenseNet-201 等4 種結(jié)構(gòu)。 該網(wǎng)絡(luò)是一種基于密集連接（dense connection） 的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）［20］，如圖4 所示，每層的輸入包含前面所有層的輸出，不需要消耗多余時(shí)間就可訪問前面層的低級(jí)特征，有效地實(shí)現(xiàn)了特征重用［21］。 DenseNet 每層網(wǎng)絡(luò)輸入與輸出的關(guān)系式為:

圖4 DenseNet 的密集連接機(jī)制Fig． 4 DenseNet's dense connection mechanism

其中，［x0，x1，…，xL-1］ 表示將前L -1 層的特征圖進(jìn)行拼接，作為第L層的輸入；HL（·） 表示非線性變換函數(shù)，由BN＋ReLU＋3×3 Conv 組成；xL表示第L層的輸出。

DSA-UFLD 算法使用預(yù)訓(xùn)練的DenseNet-121密集連接網(wǎng)絡(luò)進(jìn)行特征提取，通過復(fù)用DenseNet-121 訓(xùn)練好的權(quán)重參數(shù)，根據(jù)訓(xùn)練結(jié)果不斷進(jìn)行微調(diào)，加快了網(wǎng)絡(luò)的學(xué)習(xí)速度，并降低了訓(xùn)練過程的時(shí)間成本。

1.2.2 注意力機(jī)制

注意力機(jī)制是研究人員根據(jù)人類注意力的合理有效分配機(jī)制，提出的一種高效實(shí)現(xiàn)信息資源分配的方式，最早被用于機(jī)器翻譯領(lǐng)域，經(jīng)過不斷發(fā)展已被廣泛應(yīng)用于圖像處理領(lǐng)域［22-23］。 在目標(biāo)檢測(cè)任務(wù)中，注意力機(jī)制能夠根據(jù)任務(wù)需求對(duì)特征圖分配不同的權(quán)重，達(dá)到聚焦關(guān)鍵信息而弱化其他信息的目的，使整個(gè)網(wǎng)絡(luò)提取到更有價(jià)值的信息。

圖5 為本文采用的空間注意力機(jī)制模塊，將輸入的特征圖xinput沿通道軸分別進(jìn)行最大池化（max pooling）和平均池化（average pooling），得到通道數(shù)為1 的xave和xmax，并將二者拼接形成有效特征。 接著，通過3×3 的過濾器f3×3得到空間注意映射，然后對(duì)空間注意映射進(jìn)行Sigmoid激活獲取注意力權(quán)重圖，最后利用權(quán)重圖對(duì)xinput重新賦予權(quán)重。 具體實(shí)現(xiàn)過程可由式（3）進(jìn)行描述:

圖5 空間注意力機(jī)制Fig． 5 Spatial attention mechanism

1.2.3 上采樣模塊

DSA-UFLD 網(wǎng)絡(luò)在輔助分割階段采用圖6 中的上采樣模塊實(shí)現(xiàn)解碼，其核心是使用3×3 的卷積進(jìn)行特征再提取，獲取更豐富的圖像信息；并在通道維度上采用批量標(biāo)準(zhǔn)化將輸出數(shù)據(jù)歸一化為相同的分布；同時(shí)經(jīng)過ReLU激活函數(shù)增強(qiáng)非線性，更好地?cái)M合訓(xùn)練數(shù)據(jù)；再采用轉(zhuǎn)置卷積代替雙線性插值進(jìn)行二倍上采樣，相比UFLD 算法中使用的雙線性插值法，轉(zhuǎn)置卷積通過在訓(xùn)練過程中學(xué)習(xí)模型參數(shù)，使上采樣達(dá)到最優(yōu)。

圖6 上采樣模塊Fig． 6 Upsampling module

1．3 損失函數(shù)設(shè)計(jì)

基于UFLD 的算法思想，DSA-UFLD 算法采用4 種損失函數(shù)，分別是:輔助分割分支使用交叉熵?fù)p失Lseg、分類分支使用分類損失Lcls、相似度損失Lsim以及形狀損失Lshp。 文中擬做研究表述如下。

（1）交叉熵?fù)p失。 具體公式為:

其中，m為批量大?。粂為真實(shí)標(biāo)簽值；a為預(yù)測(cè)的類分布；Lseg表示一個(gè)批量樣本的損失值。

（2）分類損失。 具體公式為:

其中，Pi，j，:由式（1）計(jì)算所得，為第j行的每個(gè)網(wǎng)格屬于第i條車道線的概率；Ti，j，:表示真實(shí)標(biāo)簽；LCE表示交叉熵?fù)p失函數(shù)。

（3）相似度損失。 用于描述相鄰行間的平滑性，具體公式為:

（4）結(jié)構(gòu)損失。 用于約束車道線的形狀，在UFLD 算法中，使用二階差分與0 的差值將車道線約束為直線，但在彎道場(chǎng)景下表現(xiàn)不佳。 因此在本文中將車道線定義為二次曲線，利用相鄰行間的二階差分約束車道線形狀，即二階差分與二階差分的差值，則結(jié)構(gòu)損失可表示為:

其中，Li，j表示第i條車道在第j個(gè)行錨上的位置，該位置由公式（8） 確定:

其中，w＝100，表示網(wǎng)格數(shù)，probi，j，k是對(duì)公式（1）的預(yù)測(cè)值做softmax處理，得出的第i條車道出現(xiàn)在第j個(gè)行錨、第k個(gè)網(wǎng)格上的概率。

經(jīng)過反復(fù)實(shí)驗(yàn)得出，通過對(duì)結(jié)構(gòu)損失分配較小的權(quán)重，可以達(dá)到在不影響直線車道檢測(cè)效果的同時(shí)，提高彎道場(chǎng)景下車道線檢測(cè)的準(zhǔn)確率。 因此總損失可表示為:

2 實(shí)驗(yàn)

2．1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

DSA-UFLD 算法采用Python 作為開發(fā)語言，網(wǎng)絡(luò)搭建基于PyTorch 框架，實(shí)驗(yàn)所使用的服務(wù)器配置為Tesla P100 16 G，模型的訓(xùn)練與測(cè)試均采用GPU 加速器進(jìn)行。

實(shí)驗(yàn)數(shù)據(jù)集采用圖森公司（TuSimple）于2018年公開的TuSimple 車道線數(shù)據(jù)集［24］。 該數(shù)據(jù)集采集于美國(guó)的加利福尼亞州，包括中等天氣條件、不同時(shí)間段和不同交通狀況下的城市交通公路場(chǎng)景，每個(gè)場(chǎng)景包括20 幀圖像，前19 幀主要用于車道線視頻檢測(cè)，因此在實(shí)驗(yàn)中使用第20 幀圖像。 TuSimple車道線檢測(cè)數(shù)據(jù)集有訓(xùn)練集3 626 張、測(cè)試集2 782張，每張圖像的分辨率為1280×720，車道線總數(shù)不超過5 條，圖7 為數(shù)據(jù)樣本與標(biāo)簽。 為測(cè)試DSAUFLD 算法在彎道處的效果，在訓(xùn)練結(jié)束后，通過對(duì)測(cè)試集進(jìn)行人工挑選，得到300 張彎道數(shù)據(jù)集，該數(shù)據(jù)集同樣包括不同時(shí)間段和交通狀況下的道路場(chǎng)景。

圖7 原始數(shù)據(jù)樣本與標(biāo)簽Fig． 7 Raw data samples and labels

2．2 評(píng)估標(biāo)準(zhǔn)

本文采用目標(biāo)檢測(cè)領(lǐng)域常用的準(zhǔn)確率Acc（Accuracy）、漏檢率FN（False Negative）和誤檢率FP（False Positive）作為車道線檢測(cè)的評(píng)價(jià)指標(biāo)。對(duì)此內(nèi)容可做剖析闡述如下。

（1）準(zhǔn)確率。 用于衡量模型正確預(yù)測(cè)的能力。推得公式如下:

其中，Cclip表示模型正確預(yù)測(cè)的車道線點(diǎn)數(shù)，Sslip表示相應(yīng)的groud-truth 中的車道線點(diǎn)數(shù)。

（2）漏檢率。 該值為模型在預(yù)測(cè)中將車道線點(diǎn)識(shí)別為非車道線點(diǎn)的比例。 推得公式如下:

其中，Mpred表示模型在預(yù)測(cè)中漏檢的車道線點(diǎn)數(shù)，Ngt表示標(biāo)簽中所有的車道線點(diǎn)數(shù)。

（3）誤檢率。 該值為模型將非車道線點(diǎn)預(yù)測(cè)為車道線點(diǎn)的比例。 推得公式如下:

其中，F(xiàn)pred表示預(yù)測(cè)時(shí)誤檢的車道線點(diǎn)數(shù)，Npred表示預(yù)測(cè)結(jié)果中車道線點(diǎn)總數(shù)。

2．3 實(shí)驗(yàn)結(jié)果

使用TuSimple 訓(xùn)練集在DSA-UFLD 模型上進(jìn)行訓(xùn)練，原始圖像像素為1280×720，為提升檢測(cè)速度，將圖像像素壓縮至288×800。 訓(xùn)練過程中，迭代周期設(shè)為200，batchsize為8，初始學(xué)習(xí)率為0.000 1，為避免陷入局部最優(yōu)，在訓(xùn)練中根據(jù)訓(xùn)練步數(shù)采用余弦退火方法調(diào)整學(xué)習(xí)率。 優(yōu)化器采用收斂速度較快的Adam，權(quán)重衰減因子為0.000 1。保存訓(xùn)練中的最優(yōu)模型，并將模型用于TuSimple 測(cè)試集和彎道測(cè)試集以測(cè)試性能，并與UFLD 算法進(jìn)行對(duì)比。

（1）主觀檢測(cè)性能分析。 圖8 為2 種算法在直線車道和彎道場(chǎng)景下的部分測(cè)試效果，前兩列為DSA-UFLD 的檢測(cè)結(jié)果，后兩列為UFLD 的檢測(cè)結(jié)果。 由圖8 可知，2 種算法均可檢測(cè)出較為完整的車道線，但通過仔細(xì)對(duì)比可以發(fā)現(xiàn)，DSA-UFLD 算法無論在直線車道、還是彎道，都能檢測(cè)出較平滑的車道線，不僅具有良好的延伸性，而且在彎道處預(yù)測(cè)車道線與真實(shí)車道線的貼合程度也高于UFLD 算法。

圖8 測(cè)試結(jié)果Fig． 8 Test results

（2）量化檢測(cè)性能分析。 依據(jù)上文提到的評(píng)價(jià)指標(biāo)，分別計(jì)算準(zhǔn)確率、漏檢率和誤檢率，其結(jié)果見表1 和表2。 這里，表1 是UFLD 和DSA-UFLD 在TuSimple 測(cè)試集上的表現(xiàn)，表2 為二者在彎道測(cè)試集上的結(jié)果。 由表1、表2 中數(shù)據(jù)可知，DSA-UFLD算法無論是在TuSimple 測(cè)試集、還是在彎道測(cè)試集上，準(zhǔn)確率都高于UFLD 算法，且漏檢率和誤檢率均有所下降。

表1 TuSimple 測(cè)試集評(píng)估結(jié)果對(duì)比Tab． 1 Comparison of TuSimple test set evaluation results

表2 彎道測(cè)試集評(píng)估結(jié)果對(duì)比Tab． 2 Comparison of evaluation results of curve test set

3 結(jié)束語

本文通過改進(jìn)UFLD 算法，提出一種DSAUFLD 模型實(shí)現(xiàn)車道線檢測(cè)。 該方法通過使用圖像亮度自適應(yīng)增強(qiáng)，提高了訓(xùn)練圖像的清晰度和車道線的辨識(shí)度；將UFLD 模型的編碼器ResNet18 替換為預(yù)訓(xùn)練網(wǎng)絡(luò)DenseNet-121，利用密集連接最大化了前后層間的信息交流，實(shí)現(xiàn)了特征重用；并使用空間注意力機(jī)制提取車道線的關(guān)鍵信息，抑制了無用信息；對(duì)結(jié)構(gòu)損失函數(shù)進(jìn)行改進(jìn)，將車道線約束為二次曲線，通過為結(jié)構(gòu)損失分配較小的權(quán)重，提高了直線車道的識(shí)別準(zhǔn)確率，并改善了彎道場(chǎng)景的檢測(cè)效果。 從主觀檢測(cè)和量化檢測(cè)兩方面分析實(shí)驗(yàn)結(jié)果可知，DSA-UFLD 算法在準(zhǔn)確率和檢測(cè)效果上都明顯優(yōu)于UFLD 算法，因此，本文提出的算法具有一定的可行性和應(yīng)用前景。