王子豪　李向軍

摘? 要：鑒于車道線檢測(cè)在自動(dòng)駕駛中占據(jù)重要地位，文章提出一種基于遷移學(xué)習(xí)的車道線檢測(cè)方法，用Darknet53替代原DeepLabv3+的特征提取網(wǎng)絡(luò)。針對(duì)圖片中車道線類與背景類分布極不平衡的問(wèn)題，使用Focal Loss函數(shù)替代CE Loss函數(shù)。實(shí)驗(yàn)結(jié)果表明，該方法的檢測(cè)效果比原網(wǎng)絡(luò)好，平均交并比達(dá)到76.95%，具有良好的準(zhǔn)確性。

關(guān)鍵詞：車道線檢測(cè);遷移學(xué)習(xí);DeepLabv3+

中圖分類號(hào)：TP391.4? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）20-0082-05

A Lane Line Detection Method Based on Transfer Learning

WANG Zihao， LI Xiangjun

（Dalian Ocean University， Dalian? 116023， China）

Abstract： Since lane line detection plays an important role in automatic driving， this paper proposes a lane line detection method based on transfer learning， replacing the original DeepLabv3+s feature extraction network with Darknet53. To solve the problem that the distribution of lane line class and background class in the picture is extremely unbalanced， the Focal Loss function is used to replace the CE Loss function. The experimental results show that the detection effect of the method is better than that of the original network， and the average cross-merge ratio reaches 76.95%， which has good accuracy.

Keywords： lane line detection; transfer learning; DeepLabv3+

0? 引? 言

環(huán)境感知是實(shí)現(xiàn)自動(dòng)駕駛的重要因素之一，而車道線檢測(cè)又是環(huán)境感知中的重點(diǎn)事項(xiàng)，可以廣泛應(yīng)用于車道偏離預(yù)警，路徑規(guī)劃等領(lǐng)域。

車道線檢測(cè)方法主要分為兩類，一類是利用傳統(tǒng)方法檢測(cè)，另一類是利用深度學(xué)習(xí)方法檢測(cè)。傳統(tǒng)的車道線檢測(cè)方法又分為基于模型的檢測(cè)方法和基于特征的檢測(cè)方法兩類，基于模型的檢測(cè)方法將所提取的特征與已定義的模型相匹配，將車道線識(shí)別轉(zhuǎn)變?yōu)閰?shù)計(jì)算問(wèn)題;基于特征的檢測(cè)方法即通過(guò)提取寬度、邊緣梯度、顏色和強(qiáng)度等特征將圖像的像素點(diǎn)標(biāo)為車道線與非車道線的點(diǎn)，從而完成車道線檢測(cè)。隋靚[1]等結(jié)合Hough變換及二次曲線模型提出一種針對(duì)高速公路的車道線識(shí)別方法;MA Chao[2]等利用顏色聚類、最小二乘法描述曲線參數(shù)，提出一種基于CIELab的車道線檢測(cè)方法;楊金鑫等[3]根據(jù)逆透視變換（IPM）及大津法（OSTU）結(jié)合K-means聚類提出一種基于動(dòng)態(tài)搜索框的三車道線檢測(cè)方法。這些方法雖然實(shí)時(shí)性很好，但都是相對(duì)某一特定行車場(chǎng)景需要結(jié)合經(jīng)驗(yàn)手動(dòng)調(diào)整參數(shù)，很容易受環(huán)境場(chǎng)景（強(qiáng)光、雨雪、大霧、夜晚等）的影響。

深度學(xué)習(xí)的發(fā)展，為解決不同場(chǎng)景下的車道線檢測(cè)提供了新思路。Pizzati Fabio[4]等基于ROS框架采用CNN訓(xùn)練實(shí)現(xiàn)街道場(chǎng)景中的車道線檢測(cè)，且在獲取車道線信息的同時(shí)，不會(huì)因?yàn)闄z測(cè)空白部分的失準(zhǔn)而導(dǎo)致車道線信息扭曲。丁冰[5]等基于FCN提出一種多任務(wù)多場(chǎng)景下的車道線檢測(cè)方法，并開發(fā)出一種ELM（極限學(xué)習(xí)機(jī)），用于識(shí)別整條車道的車道線標(biāo)記。 LEE Seokju[6]等提出了基于順序遷移學(xué)習(xí)的端到端車道線檢測(cè)網(wǎng)絡(luò)，使用全卷積層代替全連接層，將點(diǎn)檢測(cè)問(wèn)題重新定義為區(qū)域分割問(wèn)題。綜上所述，用深度學(xué)習(xí)的方法進(jìn)行車道線檢測(cè)，比傳統(tǒng)方法的適應(yīng)能力更強(qiáng)，穩(wěn)定性更好，但是提取特征的能力不盡人意，遠(yuǎn)未達(dá)到理想狀態(tài)。為此本文提出一種基于遷移學(xué)習(xí)的車道線檢測(cè)方法，結(jié)合高性能的特征提取網(wǎng)絡(luò)和語(yǔ)義分割模型進(jìn)行車道線檢測(cè)。

本文中語(yǔ)義分割模型選擇的是DeepLabv3+，它是目前最先進(jìn)的語(yǔ)義分割模型之一，具有編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，分割能力較強(qiáng)。而Darknet53是一種Resnet風(fēng)格的網(wǎng)絡(luò)，在imageNet上可以實(shí)現(xiàn)77.2%的top1精度和93.8%的top5精度[7]。其結(jié)果與ResNet-152的結(jié)果接近，但僅有53層，比ResNet-152的計(jì)算量更小。因此，本文提出將Darknet53作為DeepLabv3+的特征提取網(wǎng)絡(luò)，結(jié)合他們各自的優(yōu)勢(shì)，提取多尺度高級(jí)特征并獲得更高的準(zhǔn)確率。

1? Dark-DeepLabv3+

首先簡(jiǎn)要介紹Darknet53及DeepLabv3+，然后詳細(xì)介紹如何借助遷移學(xué)習(xí)將Darknet53應(yīng)用于DeepLabv3+，并將其命名為Dark-DeepLabv3+。最后簡(jiǎn)要說(shuō)明Focal Loss損失函數(shù)。

1.1? Darknet53網(wǎng)絡(luò)模型

Darknet53用于yolov3的特征提取，將其作為yolov3網(wǎng)絡(luò)的主干。其架構(gòu)非常簡(jiǎn)單，如表1所示，共含有53個(gè)卷積層，主要由五層卷積和五個(gè)殘差模塊組成。Conv1到Conv5除Conv1多一個(gè)步長(zhǎng)為1的3×3卷積外，其余均為步長(zhǎng)為2的3×3卷積。每個(gè)殘差模塊分別由（1、2、8、8、4）個(gè)重復(fù)的殘差組件構(gòu)成，每個(gè)殘差組件則由一個(gè)1×1卷積、一個(gè)3×3卷積和一個(gè)快捷鏈路（short cut）組成，以防止網(wǎng)絡(luò)加深導(dǎo)致訓(xùn)練錯(cuò)誤的增加。而且Darknet53中每個(gè)卷積的后面都有一個(gè)BN層和一個(gè)LeakyReLU激活函數(shù)。

1.2? DeepLabv3+模型

DeepLabv3+由一個(gè)解碼器-編碼器組成。其編碼器由一個(gè)特征提取器和空洞空間金字塔池化（Atrous Spatial Pyramid Pooling， ASPP）模塊構(gòu)成。首先，經(jīng)過(guò)特征提取器提取出下采樣16倍的特征。將其下采樣4倍的特征傳入編碼器，作為編碼器的低級(jí)特征。同時(shí)將下采樣16倍的特征傳入ASPP結(jié)構(gòu)，利用空洞率為6、12、18的空洞卷積獲得多尺度特征，并將他們拼接起來(lái)得到最終特征。解碼器將ASPP傳入的特征進(jìn)行4倍上采樣，與低級(jí)特征進(jìn)行融合拼接。拼接之后，為了細(xì)化特征，使用3×3卷積進(jìn)行通道轉(zhuǎn)換，再使用softmax分類器獲得低分辨率結(jié)果。最后將低分辨率結(jié)果上采樣4倍，從而獲得與輸入分辨率大小相同的預(yù)測(cè)。解碼器結(jié)構(gòu)如表2所示。

1.3? 遷移后的網(wǎng)絡(luò)

前面介紹了Darknet53及DeepLabv3+，現(xiàn)將其進(jìn)行遷移融合。如表1所示，Darknet53共進(jìn)行了五次下采樣操作（每個(gè)1×1卷積步長(zhǎng)為2），最終下采樣32倍，然而DeepLabv3+的骨干提取特征僅將樣本下采樣16倍。因此在遷移設(shè)計(jì)中，將Conv5的步長(zhǎng)改為1，同時(shí)為了保證Res5卷積核的感受野不受影響，將Res5的普通卷積全部由空洞率為2的空洞卷積代替，這樣就可以使Darknet53完美替換DeepLabv3+的初始骨干網(wǎng)絡(luò)。

在ASPP結(jié)構(gòu)中，每個(gè)卷積核輸出通道都是256，平均池化層的卷積核大小是輸入特征尺寸的1/8，并且它的步長(zhǎng)等于內(nèi)核大小，所以平均池化層的輸出為8×8。平均池化層后連接一個(gè)256通道的1×1卷積。在級(jí)聯(lián)之前，1×1卷積的輸出將上采樣到平均值之前的大小。在解碼部分，我們將Res2的輸出作為低級(jí)特征，并且在與ASPP輸出特征連接之前將其通過(guò)通道數(shù)為48的1×1卷積，然后與ASPP輸出的特征進(jìn)行級(jí)聯(lián)。最后為了細(xì)化特征加入一個(gè)個(gè)輸出通道為256的3×3卷積。遷移學(xué)習(xí)后的網(wǎng)絡(luò)圖如圖1所示。

1.4? Focal Loss函數(shù)

Focal Loss函數(shù)主要解決目標(biāo)檢測(cè)中背景與前景之間極端不平衡的問(wèn)題。車道線檢測(cè)只包含車道線和背景這兩類，且車道線的占比相對(duì)于背景來(lái)說(shuō)特別少，大部分損失均與背景類相關(guān)，語(yǔ)義分割任務(wù)主要是對(duì)每個(gè)像素進(jìn)行分類，因此像素之間的數(shù)量比例很大，比較難挖掘特征。因此使用FocalLoss函數(shù)，如式（1）所示。

其中，γ和λ為超參數(shù)，p_t為ground-truth的概率。當(dāng)γ為0時(shí)，F(xiàn)ocal Loss函數(shù)可以視為標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)。因此式（1）也可以看作一個(gè)加權(quán)交叉熵?fù)p失函數(shù)，權(quán)重（λ-p_t）γ隨p_t的增加而減小，表明它隨著真實(shí)預(yù)測(cè)值的變化而變化，因此困難的負(fù)樣本會(huì)比簡(jiǎn)單的負(fù)樣本具有更大的權(quán)重。與交叉熵?fù)p失函數(shù)相比，困難的負(fù)樣本對(duì)損失的貢獻(xiàn)更大，恰好對(duì)應(yīng)著車道線檢測(cè)的實(shí)際情況。

2? 實(shí)驗(yàn)

2.1? 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)算法的所選框架是pytorch，并在一塊Nvdia GTX 3080（內(nèi)存為10 GB）上運(yùn)行了所提出的網(wǎng)絡(luò)，所用服務(wù)器CPU為Inteli7-11700K，3.6 kHz，Windows系統(tǒng)。所有的卷積后都跟一個(gè)BatchNorm和LeakReLu激活函數(shù)（斜率為0.1）。由于受GPU內(nèi)存的限制，將每次輸入圖片批次設(shè)置為4，裁剪大小為468×468。網(wǎng)絡(luò)訓(xùn)練采用隨機(jī)梯度下降法，使用SGD網(wǎng)絡(luò)模型優(yōu)化器，動(dòng)量為0.9，權(quán)重衰減為0.000 1，總Epoch為200。學(xué)習(xí)率為0.01乘以，其中，power為0.9，iter_num表示當(dāng)前迭代數(shù)，max_iter表示最大迭代數(shù)140 000。本實(shí)驗(yàn)選取Tusimple數(shù)據(jù)集訓(xùn)練了我們的模型，Tusimple數(shù)據(jù)集共包含3 626張精細(xì)注釋的圖像，是一個(gè)專門做車道線檢測(cè)的數(shù)據(jù)集。將實(shí)驗(yàn)參數(shù)及預(yù)處理后的圖像輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。圖2為損失值變化圖，在20 000次左右時(shí)開始趨于平衡。

我們的準(zhǔn)確性結(jié)果是使用語(yǔ)義分割常用的指標(biāo)MIoU進(jìn)行評(píng)測(cè)的。MIoU表達(dá)式為：

其中k為預(yù)測(cè)的類，TP為真正（預(yù)測(cè)正確，預(yù)測(cè)結(jié)果是正類），F(xiàn)N為假正（預(yù)測(cè)錯(cuò)誤，預(yù)測(cè)結(jié)果是正類），F(xiàn)P為假負(fù)（預(yù)測(cè)錯(cuò)誤，預(yù)測(cè)結(jié)果為負(fù)類）。

2.2? 實(shí)驗(yàn)結(jié)果

2.2.1? Darknet-DeepLabv3+

我們采用不同特征提取網(wǎng)絡(luò)的DeepLabv3+在TuSimple數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，結(jié)果對(duì)比如表3所示。

由表3可以看出，隨著特征提取網(wǎng)絡(luò)提取能力的提升，最終應(yīng)用于DeepLabv3+的分割能力也隨之提高。同時(shí)，這個(gè)表也證明了，遷移特征提取能力強(qiáng)的網(wǎng)絡(luò)，可以使語(yǔ)義分割得到更好的效果。圖3是Darknet-DeepLabv3+檢測(cè)車道線的效果圖。

從圖2中可以看出，使用Dark-DeepLabv3+進(jìn)行車道線檢測(cè)，無(wú)論是直線情況還是彎道情況，檢測(cè)效果都非常好，充分證明了本文提出的遷移學(xué)習(xí)車道線檢測(cè)方法的可行性。

2.2.2? Focal loss函數(shù)

我們采用八組不同的λ和γ應(yīng)用到網(wǎng)絡(luò)訓(xùn)練中，從而找出最佳的結(jié)果，如表4所示。

在λ=2和γ=0.5的情況下，可以得到最好的結(jié)果，無(wú)論λ是1還是2，隨著γ的增加，結(jié)果會(huì)越來(lái)越差，還可以看出λ=2時(shí)的結(jié)果普遍好于λ=1時(shí)的結(jié)果，這證明了保留簡(jiǎn)單例子的權(quán)重和擴(kuò)大困難負(fù)樣本更有利于車道線檢測(cè)。γ=0相當(dāng)于交叉熵?fù)p失函數(shù)，可以證明在車道線檢測(cè)中，F(xiàn)ocal Loss函數(shù)比CE Loss函數(shù)更適合，可以有效解決車道線類和背景類不平衡的問(wèn)題。

3? 結(jié)? 論

本文提出一種基于遷移學(xué)習(xí)的車道線檢測(cè)方法，將Darknet53遷移到DeepLabv3+中，形成Darknet-DeepLabv3+網(wǎng)絡(luò)。新網(wǎng)絡(luò)在車道線檢測(cè)中效果良好，具有很好的準(zhǔn)確性和魯棒性。同時(shí)使用Focal Loss函數(shù)替代CE Loss函數(shù)，比較適用于分割車道線這種類別不平衡的情況。但本文尚未針對(duì)檢測(cè)速度對(duì)網(wǎng)絡(luò)加以改進(jìn)，在日后的工作中，我們將在保證準(zhǔn)確性的前提下提高車道線檢測(cè)的實(shí)時(shí)性。

參考文獻(xiàn)：

[1] 隋靚，黨建武，王陽(yáng)萍.基于分段切換模型的快速車道線檢測(cè) [J].計(jì)算機(jī)應(yīng)用與軟件，2017，34（8）：201-205.

[2] MA C，XIE M.A method for lane detection based on color clustering [C]//2010 Third International Conference on Knowledge Discovery and Data Mining. Phuket：IEEE，2010：200-203.

[3] 楊金鑫，范英，樊祺超，等.基于動(dòng)態(tài)區(qū)域搜索框及K-means聚類的三車道檢測(cè)算法[J].科學(xué)技術(shù)與工程，2019，19（27）：253-257.

[4] PIZZATI F，GARC?A F. Enhanced free space detection in multiple lanes based on single CNN with scene identification [C]//2019 IEEE Intelligent Vehicles Symposium （IV）. Paris：IEEE，2019：2536-2541.

[5] 丁冰，楊祖莨，丁潔，等.基于改進(jìn)YOLOv3的高速公路隧道內(nèi)停車檢測(cè)方法 [J].計(jì)算機(jī)工程與應(yīng)用，2021，57（23）：234-239.

[6] LEE S，KIM J，YOON J S，et al. Vpgnet：Vanishing point guided network for lane and road marking detection and recognition [C]//2017 IEEE International Conference on Computer Vision （ICCV）.Venice：IEEE，2017：1965-1973.

[7] Deng J，DONG W，SOCHER R，et al. ImageNet：A large-scale hierarchical image database [C]//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway：IEEE，2009：248–255.

作者簡(jiǎn)介：王子豪（1996—），男，漢族，遼寧葫蘆島人，碩士研究生在讀，研究方向：控制科學(xué)與控制理論、計(jì)算機(jī)視覺;

李向軍（1963—）女，漢族，遼寧大連人，教授，碩士生導(dǎo)師，博士，研究方向：控制科學(xué)與控制理論。