李守彪 武志斐

（太原理工大學(xué)，太原 030024）

主題詞：分解卷積 車(chē)道線檢測(cè) 語(yǔ)義分割 自動(dòng)駕駛

1 前言

近年來(lái)，自動(dòng)駕駛逐漸成為汽車(chē)領(lǐng)域研發(fā)的重點(diǎn)，車(chē)道線檢測(cè)作為自動(dòng)駕駛系統(tǒng)視覺(jué)感知的一項(xiàng)基礎(chǔ)技術(shù)，在車(chē)道偏離預(yù)警、車(chē)道保持輔助、自動(dòng)變道輔助等高級(jí)輔助駕駛功能中起著關(guān)鍵作用。

傳統(tǒng)的車(chē)道線檢測(cè)方法通過(guò)人工設(shè)計(jì)的特征來(lái)提取車(chē)道線信息，這些特征主要包括車(chē)道線的顏色特征和邊緣特征。然而這類(lèi)檢測(cè)只適用于光線充足且結(jié)構(gòu)化程度高的簡(jiǎn)單駕駛場(chǎng)景，在復(fù)雜的駕駛場(chǎng)景下檢測(cè)困難、魯棒性差。

基于深度學(xué)習(xí)的車(chē)道線檢測(cè)方法相較于傳統(tǒng)的車(chē)道線檢測(cè)方法獲取的車(chē)道線信息更豐富，檢測(cè)精度更高。為了從圖像中提取稀疏的車(chē)道線信息，Pan 等提出一種空間卷積網(wǎng)絡(luò)，通過(guò)將傳統(tǒng)的逐層卷積改為特征圖內(nèi)的逐片卷積來(lái)實(shí)現(xiàn)層中行和列像素之間的消息傳遞。Hou 等在模型的特征提取階段引入自注意力蒸餾（Self Attention Distillation，SAD）模塊，通過(guò)不同層之間特征圖的相互學(xué)習(xí)來(lái)提高車(chē)道線特征提取的效果。車(chē)道線檢測(cè)屬于密集分類(lèi)預(yù)測(cè)，雖然上述算法都取得了一定效果，但受限于模型本身的感知能力，在面對(duì)復(fù)雜的駕駛場(chǎng)景時(shí)，其精度和魯棒性仍不理想。

針對(duì)上述問(wèn)題，本文提出一種基于多尺寸分解卷積的車(chē)道線檢測(cè)模型，利用多尺寸的分解卷積進(jìn)行多尺度感知，以提高復(fù)雜駕駛場(chǎng)景下的車(chē)道線檢測(cè)精度。

2 基于多尺寸分解卷積的車(chē)道線檢測(cè)模型

2.1 分解卷積原理

分解卷積最早在GoogleNet中被提出，后來(lái)在高效殘差分解卷積網(wǎng)絡(luò)（Efficient Residual Factorized ConvNet，ERFNet）中被用來(lái)進(jìn)行高效分割，其原理是將一個(gè)大小的標(biāo)準(zhǔn)二維卷積分解成×1 和1×的2個(gè)一維卷積。常規(guī)殘差模塊和ERFNet設(shè)計(jì)的非瓶頸一維（Non-bottleneck-1 Dimension，Non-bt-1D）模塊如圖1所示，后者是用3×1和1×3的2個(gè)一維卷積來(lái)代替常規(guī)殘差模塊中3×3 的二維卷積得到的，其中為輸入模塊特征的通道數(shù)量，為模塊中各卷積層輸出特征的通道數(shù)量，每個(gè)卷積后采用修正線性單元（Rectified Linear Unit，ReLU）激活函數(shù)進(jìn)行非線性映射。

圖1 常規(guī)殘差模塊與Non-bt-1D模塊

分解卷積具有降低參數(shù)量和計(jì)算量的特點(diǎn)。不考慮卷積偏置時(shí)，×的標(biāo)準(zhǔn)二維卷積參數(shù)量為：

式中，、分別為輸入、輸出特征圖的通道數(shù)量。

標(biāo)準(zhǔn)二維卷積計(jì)算量參考浮點(diǎn)運(yùn)算數(shù)（Floating Point Operations，F(xiàn)LOPs）計(jì)算公式：

式中，、分別為輸出特征圖的高和寬。

卷積的參數(shù)量和計(jì)算量與卷積核尺寸呈2次方關(guān)系。將一個(gè)×的二維卷積替換成×1和1×的分解卷積后，其參數(shù)量和計(jì)算量與卷積核尺寸呈線性關(guān)系：

式中，為分解卷積參數(shù)量；為分解卷積的計(jì)算量。

綜合式（1）～式（4）可知，卷積核的尺寸越大，分解卷積替代普通卷積的參數(shù)量和計(jì)算量降低效果越明顯。

2.2 多尺寸分解卷積殘差模塊

車(chē)道線獨(dú)特的細(xì)長(zhǎng)特征使得其在圖像中的跨度范圍大而且容易被遮擋，這就要求檢測(cè)模型有足夠大的感知范圍才能更好地提取車(chē)道線特征。增大感知范圍可以通過(guò)增大卷積核尺寸實(shí)現(xiàn)，因此本文設(shè)計(jì)了如圖2a所示的多尺寸卷積殘差模塊，結(jié)構(gòu)上采用殘差連接，采用3×3、5×5、9×9 的小、中、大3 個(gè)尺寸卷積核來(lái)提取不同尺度的車(chē)道線特征。但是大卷積核的參數(shù)量和計(jì)算量大，導(dǎo)致模型推理時(shí)間長(zhǎng)，不能滿足自動(dòng)駕駛實(shí)時(shí)性的需求，因此基于分解卷積的原理，對(duì)3 個(gè)卷積核用相同尺寸的分解卷積進(jìn)行替換，設(shè)計(jì)了如圖2b 所示的多尺寸分解卷積殘差模塊，中尺寸和大尺寸卷積核配合擴(kuò)張卷積進(jìn)一步擴(kuò)大感知的范圍，大尺寸卷積能更充分地發(fā)揮分解卷積降低參數(shù)量和計(jì)算量的優(yōu)勢(shì)。

圖2 多尺寸卷積殘差模塊與多尺寸分解卷積殘差模塊

在固定模塊的輸入和輸出特征寬、高分別為100、36，通道數(shù)量為128個(gè)時(shí)，由式（1）～式（4）計(jì)算得到分解卷積替換標(biāo)準(zhǔn)卷積可以使整個(gè)模塊中卷積的參數(shù)量和計(jì)算量分別降低70.43%和70.45%。

2.3 車(chē)道線檢測(cè)模型

本文將車(chē)道線檢測(cè)視為語(yǔ)義分割問(wèn)題，將背景和不同的車(chē)道線看作不同的類(lèi)別，在像素級(jí)別上進(jìn)行分類(lèi)。如圖3 所示，模型整體上采用編碼器和解碼器結(jié)構(gòu)，同時(shí)加入多尺寸分解卷積和車(chē)道線預(yù)測(cè)分支。

圖3 模型整體結(jié)構(gòu)

采用ResNet34 網(wǎng)絡(luò)作為編碼器提取車(chē)道線的局部特征。為了避免編碼器輸出的特征圖尺寸過(guò)小而導(dǎo)致車(chē)道線空間信息損失嚴(yán)重，更改原始ResNet34 網(wǎng)絡(luò)后兩層的輸出，將其輸出特征圖尺寸固定到輸入圖像尺寸的1/8 大小。輸入圖像經(jīng)過(guò)改造的ResNet34 網(wǎng)絡(luò)產(chǎn)生下采樣的特征圖，通道數(shù)量由3個(gè)變?yōu)?12個(gè)，然后通過(guò)1×1 卷積將通道數(shù)壓縮到128 個(gè)。在提取到圖像的局部特征后，利用4個(gè)多尺寸分解卷積殘差模塊進(jìn)行多尺度的感知。在解碼器前加入車(chē)道線預(yù)測(cè)分支，結(jié)構(gòu)如圖4a 所示，先通過(guò)全局平均池化將二維特征圖壓縮成一維向量，經(jīng)過(guò)2 個(gè)全連接層進(jìn)一步壓縮后利用Sigmoid激活函數(shù)輸出預(yù)測(cè)車(chē)道線的置信度，預(yù)測(cè)時(shí)，通過(guò)設(shè)定的置信度閾值來(lái)判斷車(chē)道線是否存在，預(yù)測(cè)置信度低于閾值時(shí)判定車(chē)道線不存在，高于閾值時(shí)判定車(chē)道線存在。解碼器負(fù)責(zé)將特征圖上采樣到與輸入圖像相同的尺寸并分類(lèi)輸出，由3個(gè)上采樣模塊組成。上采樣模塊的結(jié)構(gòu)如圖4b所示，將輸入的特征圖利用1×1卷積進(jìn)行通道壓縮，經(jīng)過(guò)雙線性插值將特征圖尺寸擴(kuò)大2倍后送入Non-bt-1D模塊。

圖4 車(chē)道線預(yù)測(cè)分支與上采樣層結(jié)構(gòu)

2.4 損失函數(shù)

模型有解碼器和車(chē)道線預(yù)測(cè)分支2個(gè)輸出，因此本文通過(guò)不同權(quán)重將分割損失、交并比（Intersection Over Union，IOU）損失和車(chē)道線預(yù)測(cè)損失3 個(gè)不同的損失聯(lián)系起來(lái)，采用的多權(quán)重?fù)p失函數(shù)為：

3 試驗(yàn)與結(jié)果分析

試驗(yàn)所用處理器為IntelXeonGold 5218 CPU@2.30 GHz，運(yùn)行內(nèi)存為64GB，顯卡為NVIDIA RTX3090，顯存大小為24 GB。

3.1 試驗(yàn)數(shù)據(jù)集

試驗(yàn)采用的CULane數(shù)據(jù)集是一個(gè)用于車(chē)道線檢測(cè)的大規(guī)模數(shù)據(jù)集，共有133 235張圖片，其中訓(xùn)練集含有88 880張圖片，驗(yàn)證集含有9 675張圖片，測(cè)試集含有34 680張圖片。數(shù)據(jù)集有正常場(chǎng)景和8個(gè)復(fù)雜場(chǎng)景，分別是擁擠、夜晚、無(wú)線、陰影、箭頭、眩光、彎道和路口，復(fù)雜場(chǎng)景圖片占數(shù)據(jù)集圖片數(shù)量的72.3%，每張圖片的分辨率為1 640×590。

3.2 評(píng)價(jià)指標(biāo)

將每條車(chē)道線視為一條30 像素寬的線，通過(guò)計(jì)算真實(shí)車(chē)道線和預(yù)測(cè)車(chē)道線之間的IOU 來(lái)判斷模型是否預(yù)測(cè)正確。IOU 大于設(shè)定的閾值作為真正例（True Positive，TP），否則作為假正例（False Positive，F(xiàn)P），因漏檢而未被檢測(cè)出的車(chē)道線作為假負(fù)例（False Negative，F(xiàn)N），本文閾值設(shè)為0.5。使用調(diào)和均值作為最終的評(píng)價(jià)指標(biāo)，路口場(chǎng)景因不含車(chē)道線標(biāo)注，采用FP 數(shù)量作為指標(biāo)，越小，表明模型檢測(cè)效果越好。精確率、召回率和的計(jì)算公式分別為：

式中，、分別為真正例和假負(fù)例數(shù)量。

3.3 模型訓(xùn)練

模型采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）作為優(yōu)化器，初始學(xué)習(xí)率設(shè)為0.04，動(dòng)量加速參數(shù)設(shè)為0.9，權(quán)重衰減參數(shù)設(shè)為1×10，采用PolyLR學(xué)習(xí)率下降策略：

式中，、分別為當(dāng)前學(xué)習(xí)率和初始學(xué)習(xí)率；、分別為當(dāng)前迭代次數(shù)和最大迭代次數(shù)；為控制學(xué)習(xí)率曲線形狀的系數(shù)，設(shè)=0.9。

將圖像裁剪掉上部240行像素后，縮放到800×288，在整個(gè)訓(xùn)練集上訓(xùn)練20個(gè)循環(huán)。根據(jù)實(shí)際訓(xùn)練過(guò)程中各損失比例關(guān)系，通過(guò)參數(shù)組合并對(duì)比訓(xùn)練結(jié)果，確定權(quán)重系數(shù)、和分別為1.0、0.1和0.1。

模型每次循環(huán)訓(xùn)練后在驗(yàn)證集上進(jìn)行驗(yàn)證，結(jié)果如圖5 所示，模型在第1 個(gè)循環(huán)就達(dá)到了較高的指標(biāo)，說(shuō)明模型泛化能力較強(qiáng)，可以在較短時(shí)間內(nèi)收斂。隨著循環(huán)次數(shù)增加，模型精度逐漸提高并最終趨于穩(wěn)定狀態(tài)，在第18個(gè)循環(huán)，模型的指標(biāo)達(dá)到最大值78.28%。

圖5 驗(yàn)證集F1曲線

3.4 試驗(yàn)結(jié)果及分析

3.4.1 模型有效性

為了驗(yàn)證本文模型的有效性，在CULane 測(cè)試集的9 個(gè)場(chǎng)景中進(jìn)行測(cè)試并分別與空間卷積神經(jīng)網(wǎng)絡(luò)（Spatial Convolutional Neural Network，SCNN）模型和以ResNet34 網(wǎng)絡(luò)為編碼器的SAD 模型進(jìn)行對(duì)比，測(cè)試時(shí)車(chē)道線存在置信度閾值設(shè)為0.5，結(jié)果如表1所示。

表1 不同模型對(duì)比

由表1可以看出：本文模型在所有場(chǎng)景中都取得了更好的測(cè)試結(jié)果，平均指標(biāo)達(dá)到75.3%，相較于SCNN和SAD 模型分別提高3.7 百分點(diǎn)和4.6 百分點(diǎn)；本文模型在正常場(chǎng)景下的提升相對(duì)較小，但在復(fù)雜場(chǎng)景特別是陰影、眩光和彎道場(chǎng)景下提升較大，表明本文模型在應(yīng)對(duì)復(fù)雜駕駛場(chǎng)景時(shí)具有更好的車(chē)道線檢測(cè)能力。同時(shí)，在路口場(chǎng)景中也取得了更少的FP 數(shù)量，表明本文模型能更好地判斷車(chē)道線是否存在，魯棒性更好。

3.4.2 多尺寸分解卷積有效性

為了驗(yàn)證多尺寸分解卷積的有效性，首先可視化多尺寸分解卷積前、后的特征圖，如圖6所示，可視化特征圖中灰度數(shù)值越接近1，表示模型的感知能力越強(qiáng)，可以看出，從編碼器得到的車(chē)道線特征都是局部且零散的，經(jīng)過(guò)多尺寸分解卷積后，車(chē)道線特征更加完整，對(duì)車(chē)道線部分的感知能力更強(qiáng)。

圖6 可視化特征圖

對(duì)比含有和不含多尺寸分解卷積殘差模塊的模型性能，分別在CULane數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，并測(cè)試模型運(yùn)行時(shí)間，結(jié)果如表2所示。

表2 有、無(wú)多尺寸分解卷積模型性能對(duì)比

由表2可以看出，加入多尺寸分解卷積模塊后，模型在所有場(chǎng)景的檢測(cè)精度均不同程度提高，平均指標(biāo)提高1.9百分點(diǎn)，在陰影場(chǎng)景下提高最顯著，為7.5百分點(diǎn)。在路口場(chǎng)景，加入多尺寸分解卷積后，錯(cuò)誤預(yù)測(cè)的車(chē)道線數(shù)量減少了294個(gè)。對(duì)比模型運(yùn)行時(shí)間可以看出，雖然加入多尺寸分解卷積后模型會(huì)增加一定的運(yùn)行時(shí)間，但其幀率仍然能達(dá)到71.63幀/s，可以滿足實(shí)時(shí)檢測(cè)的要求。

將2種模型在8個(gè)場(chǎng)景下進(jìn)行預(yù)測(cè)可視化并與真實(shí)標(biāo)簽進(jìn)行對(duì)比，結(jié)果如圖7所示。在大多數(shù)復(fù)雜場(chǎng)景下，未加入多尺寸分解卷積的模型在預(yù)測(cè)時(shí)會(huì)因模型感知范圍不足而出現(xiàn)預(yù)測(cè)車(chē)道線不連續(xù)的現(xiàn)象，特別是圖像邊緣的車(chē)道線，而在加入多尺寸分解卷積后，模型預(yù)測(cè)的車(chē)道線會(huì)更加連續(xù)平滑，更接近真實(shí)標(biāo)簽的車(chē)道線。在正常場(chǎng)景下，未加入多尺寸分解卷積的模型將原本3條車(chē)道線的圖像預(yù)測(cè)成4 條，而加入多尺寸分解卷積的模型預(yù)測(cè)正確。由上述對(duì)比測(cè)試結(jié)果可以看出，多尺寸分解卷積可以顯著提高復(fù)雜場(chǎng)景下車(chē)道線檢測(cè)的精度和魯棒性。

圖7 有、無(wú)多尺寸分解卷積模型預(yù)測(cè)對(duì)比

在路口場(chǎng)景中，雖然加入多尺寸分解卷積會(huì)在一定程度上降低錯(cuò)誤檢測(cè)的車(chē)道線數(shù)量，但誤檢數(shù)量仍較多，如圖8 所示，可以發(fā)現(xiàn)模型將路口場(chǎng)景中的道路邊沿錯(cuò)誤檢測(cè)成車(chē)道線，主要原因在于道路邊沿在其他場(chǎng)景中被標(biāo)記為車(chē)道線，而在路口場(chǎng)景中卻未標(biāo)注，存在標(biāo)簽設(shè)置不統(tǒng)一的情況，同時(shí)路口場(chǎng)景在數(shù)據(jù)集中占比較少，導(dǎo)致數(shù)據(jù)不均衡，因此在訓(xùn)練時(shí)模型會(huì)傾向于將道路邊沿判定為車(chē)道線，造成路口場(chǎng)景誤檢較多。

圖8 路口場(chǎng)景車(chē)道線檢測(cè)

4 實(shí)際道路測(cè)試

為測(cè)試模型在實(shí)際道路上的有效性，如圖9 所示，采用裝有車(chē)載攝像機(jī)的智能車(chē)在校園內(nèi)采集實(shí)際道路圖像，并利用本文模型進(jìn)行車(chē)道線檢測(cè)。

圖9 智能車(chē)及攝像頭安裝

在正常道路、陰影道路、眩光道路下的檢測(cè)結(jié)果如圖10～圖12所示，可以看出本文模型可以有效地進(jìn)行實(shí)際道路的車(chē)道線檢測(cè)，能夠應(yīng)對(duì)多種復(fù)雜場(chǎng)景，具有良好的實(shí)際應(yīng)用效果。

圖10 正常道路車(chē)道線檢測(cè)

圖11 陰影道路車(chē)道線檢測(cè)

圖12 眩光道路車(chē)道線檢測(cè)

5 結(jié)束語(yǔ)

針對(duì)復(fù)雜場(chǎng)景下車(chē)道線檢測(cè)精度不佳的問(wèn)題，本文提出一種基于多尺寸分解卷積的車(chē)道線檢測(cè)模型，通過(guò)設(shè)計(jì)的多尺寸分解卷積殘差模塊提取多尺度的車(chē)道線特征，提高了車(chē)道線檢測(cè)的精度。在CULane 數(shù)據(jù)集上訓(xùn)練和測(cè)試的結(jié)果表明，本文模型在應(yīng)對(duì)夜晚、眩光、陰影等復(fù)雜場(chǎng)景時(shí)表現(xiàn)出了優(yōu)秀的檢測(cè)性能，對(duì)比SCNN、SAD 車(chē)道線檢測(cè)模型，平均指標(biāo)分別提高3.7百分點(diǎn)、4.6百分點(diǎn)，多尺寸分解卷積可以有效提取車(chē)道線特征，使模型的檢測(cè)效果更好，魯棒性更高。在實(shí)際道路測(cè)試中，模型可以準(zhǔn)確地檢測(cè)車(chē)道線，具有良好的推廣應(yīng)用效果。