郭心悅，韓星宇，習(xí) 超，王 輝，范自柱，2

(1.華東交通大學(xué) 理學(xué)院，江西 南昌 330013；2.華東交通大學(xué) 江西省先進(jìn)控制與優(yōu)化重點實驗室，江西 南昌 330013)

0 引 言

全自動汽車是計算機(jī)視覺領(lǐng)域的重點研究對象，其目標(biāo)是通過使用傳感器和控制模塊來了解汽車周圍的環(huán)境?；跀z像頭的車道線檢測則是環(huán)境感知的重要一項，它要求汽車在車道內(nèi)正確地定位自己，是車道保持輔助和車道偏離預(yù)警系統(tǒng)的基礎(chǔ)。對于車道線檢測，目前有兩種主流方法：傳統(tǒng)的圖像處理方法[1]和基于深度學(xué)習(xí)的方法[2，3]。

在傳統(tǒng)方法中，主要是通過邊緣檢測、濾波等方式分割出車道線區(qū)域，然后與霍夫變換[4]、粒子或卡爾曼濾波器[5，6]相結(jié)合。但這類算法依賴于手工提取特征，并在確定了車道后，采用后處理技術(shù)過濾錯誤檢測，將片段分組在一起形成最終車道。這樣做會導(dǎo)致工作量大且魯棒性較差。

近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)[7-9]的發(fā)展，車道線檢測的研究重點轉(zhuǎn)向了基于深度學(xué)習(xí)的方法。Pan等[10]提出了一種相鄰像素之間的消息傳遞機(jī)制，這種方法雖然比傳統(tǒng)的圖像分割方法具有更強(qiáng)的語義表征能力，但是速度很慢，阻礙了它在實際場景中的適用性。Hou等[11]提出了一種自注意力蒸餾模塊，允許模型從自身學(xué)習(xí)并獲得實質(zhì)性的改進(jìn)，不需要任何額外的監(jiān)督或標(biāo)簽，且基于信息蒸餾的方法可以更好地聚合文本信息。該方法允許使用更輕量級的骨干網(wǎng)絡(luò)，但由于其具有基于分割的密集預(yù)測特性，故計算代價大。

本文綜合了上述算法的優(yōu)缺點，受Lanenet[12]車道線檢測算法的啟發(fā)，提出了一種新的多車道線檢測算法。該算法主要分為兩個步驟，首先利用多尺度Retinex算法[13]對輸入圖片進(jìn)行圖像增強(qiáng)，再送入雙邊多尺度融合網(wǎng)絡(luò)進(jìn)行車道線檢測。網(wǎng)絡(luò)結(jié)構(gòu)具有雙分支、多任務(wù)、非平衡的特點，整合了不同層次特征圖的語義信息和位置信息，減少了邊緣信息的丟失。同時提出的非對稱卷積金字塔模塊，可以用于統(tǒng)一特征圖的大小，增加圖像大小的多樣性，減少計算量。

1 基于非對稱卷積的車道線檢測模型

1.1 模型簡介

為了減少光照對車道線檢測產(chǎn)生的影響，及針對現(xiàn)有的車道線檢測算法網(wǎng)絡(luò)加深所帶來的計算量大、耗時長的問題，本文對Lanenet車道線檢測算法做出了以下改進(jìn)：在網(wǎng)絡(luò)前端加入多尺度圖像增強(qiáng)操作，能夠保持圖像的高保真度、顏色恒常性，實現(xiàn)色彩增強(qiáng)和對圖像的動態(tài)壓縮，以減少光照、陰影等對車道檢測的影響。又由于車道線細(xì)長型的外觀結(jié)構(gòu)和不確定性的外觀狀態(tài)，使得需要強(qiáng)大的高低層次特征融合來同時獲取全局的空間結(jié)構(gòu)關(guān)系和細(xì)節(jié)處的位置信息。因此，本文保留原本二值分割與實例分割相結(jié)合的思想，設(shè)計了一種帶殘差模塊的雙邊多尺度融合網(wǎng)絡(luò)(bilateral multi-scale fusion network，BMFNet)代替原來體積小、結(jié)構(gòu)相對簡單的ENet語義分割網(wǎng)絡(luò)。BMFNet采用非對稱的網(wǎng)絡(luò)結(jié)構(gòu)分別對兩個分支進(jìn)行語義分割和實例分割，兩個分支處于并列關(guān)系。車道線語義分割分支是一個二分類問題，輸出二值化分割圖，僅包含兩個類，即車道類和背景類。而實例分割分支則更關(guān)注車道的高級語義信息，需要繼續(xù)對輸入圖片上的每一個像素分類，因此，網(wǎng)絡(luò)層次更深，網(wǎng)絡(luò)結(jié)構(gòu)更復(fù)雜。在實例分割分支階段，本文針對性地提出了非對稱卷積金字塔模塊(asymmetric convolution pyramid，ACP)減少上下文語義信息丟失的同時降低計算量，并通過引入聚類損失函數(shù)，從而進(jìn)一步將分割后的車道線像素分解為不同的車道線實例，最后再進(jìn)行車道線擬合，輸出結(jié)果。系統(tǒng)整體架構(gòu)如圖1所示。

圖1 系統(tǒng)整體架構(gòu)

本文將圖像增強(qiáng)算法與雙邊多尺度融合網(wǎng)絡(luò)模型相結(jié)合，保證對圖片特征提取的全面性，提高了檢測的準(zhǔn)確率及魯棒性，使該檢測方法可以更有效地應(yīng)用于車道線檢測的各種實際場景中。模型的細(xì)節(jié)描述如下文所示。

1.2 圖像增強(qiáng)

人眼所觀察到的圖像I(x，y) 包括亮度信息L(x，y) 和反射信息R(x，y)。 基于Retinex圖像增強(qiáng)的核心思想是從觀測圖像I(x，y) 中估計出光照L(x，y)， 分解得到反射分量R(x，y)， 以消除或減少光照不均對圖片的影響，盡可能多地保留包含對象本質(zhì)信息的反射圖像，改善圖像的視覺效果。因此，Retinex圖像增強(qiáng)算法主要是對R(x，y) 增強(qiáng)。原理如圖2所示。

圖2 Retinex原理

本文使用多尺度的Retinex算法(multi-scale Retinex，MSR)來實現(xiàn)色彩增強(qiáng)、局部動態(tài)范圍壓縮和全局動態(tài)范圍壓縮。MSR公式請參見文獻(xiàn)[13]。其主要流程分為如下幾個步驟：

(1)讀取原始圖像，將圖片中的顏色信息進(jìn)行提取并分類，對每類顏色的每個像素的灰度值由整數(shù)值轉(zhuǎn)換為浮點數(shù)，并轉(zhuǎn)換到對數(shù)域。

(2)對log圖像的每個尺度進(jìn)行高斯模糊，得到模糊后的圖像L(x，y)。

(3)用原圖和模糊之后的log圖像做差分，得到R(x，y)。

(4)對每個尺度的結(jié)果R(x，y) 進(jìn)行加權(quán)平均。

1.3 車道線檢測網(wǎng)絡(luò)

1.3.1 語義分割分支

原Lanenet算法采用的是ENet分割網(wǎng)絡(luò)，但ENet采用強(qiáng)下采樣會導(dǎo)致部分空間信息的丟失，如邊緣形狀等，降低精確率。并且強(qiáng)下采樣需要強(qiáng)上采樣才能恢復(fù)原來的分辨率，這意味著需要更大的模型復(fù)雜度?？紤]到ENet的缺點，本文提出了一種帶殘差模塊的雙邊多尺度融合網(wǎng)絡(luò)，BMFNet在語義分割分支的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 語義分割分支網(wǎng)絡(luò)結(jié)構(gòu)

語義分割分支包括特征提取過程、橋接過程和圖像還原過程3個階段。在特征提取過程中，首先對圖像進(jìn)行卷積改變圖像的通道數(shù)為起始通道數(shù)，再經(jīng)過一個殘差模塊，保持通道數(shù)不變。然后進(jìn)行一次下采樣，通道數(shù)翻倍，此步驟執(zhí)行4次。在橋接過程中，對特征提取過程中最后一步下采樣得到的特征圖，送入一個殘差模塊層，特征圖通道數(shù)不改變。圖像還原過程采用跳躍連接結(jié)構(gòu)，融合特征提取過程中的細(xì)節(jié)特征，將淺層特征與深層特征進(jìn)行融合，具體操作為：首先將橋接層輸出的特征圖用stride為2，卷積核為4的反卷積進(jìn)行上采樣，再與特征提取過程中殘差卷積后大小相同的特征圖進(jìn)行融合，融合后特征圖的通道數(shù)減半。此步驟執(zhí)行4次，得到最終大小與輸入圖像相同，通道數(shù)和起始通道數(shù)相同的特征圖，再進(jìn)行一次卷積操作，改變通道數(shù)。該分支最后輸出的結(jié)果是僅包含車道類和背景類的二值化分割圖。

BMFNet設(shè)計了兩種殘差模塊，殘差模塊結(jié)構(gòu)如圖4所示，編碼器前兩層使用圖中的殘差模塊(a)，第三到第五層使用殘差模塊(b)。這樣做是出于以下考慮：

圖4 殘差模塊

(1)在正向卷積時，卷積核參數(shù)的隨機(jī)性、激活函數(shù)的抑制作用等會丟失一些細(xì)節(jié)信息，只能提取到圖像的部分特征。網(wǎng)絡(luò)層次越深，原始圖像信息丟失的就越嚴(yán)重。加入shortcut結(jié)構(gòu)，相當(dāng)于在每個block中加入了上一層圖像的全部信息，保留了更多的原始信息，起到了減損作用。除此之外，殘差結(jié)構(gòu)使得網(wǎng)絡(luò)需要學(xué)習(xí)的知識變少，更容易學(xué)習(xí)。

(2)使用多個3×3大小的卷積核比使用一個大尺寸的卷積核的優(yōu)勢在于：每個3×3的卷積層中都包含relu激活函數(shù)，增加了網(wǎng)絡(luò)的非線性，使得決策函數(shù)更加具有判別性。

(3)特征具有層次性，淺層網(wǎng)絡(luò)提取的特征和輸入數(shù)據(jù)距離較近，包含更多像素點的信息，且感受野較小，特征圖每個像素點對應(yīng)的感受野重疊區(qū)域小。然而隨著下采樣或卷積次數(shù)增加，感受野逐漸增大，感受野之間的重疊區(qū)域也不斷增大。此時像素點代表一個區(qū)域的信息，包含更多深層抽象信息，相對不夠細(xì)粒度，因此就需要更深層的殘差模塊，以此得到更深層次的特征圖。

1.3.2 實例分割分支

在進(jìn)行圖像分割時，池化操作可以擴(kuò)大感受野，但會降低空間分辨率。而通過對標(biāo)準(zhǔn)的卷積映射里注入空洞、增加擴(kuò)張率(dilation rate)這一超參數(shù)，可以在擴(kuò)大感受野的同時不丟失分辨率，且保持像素的相對空間位置不變。但也存在著不足，當(dāng)僅僅重復(fù)疊加多個 dilation rate=2的3×3的卷積核時，就會導(dǎo)致邊緣信息丟失，這對逐像素的預(yù)測任務(wù)和小物體的分割來說是不利的。Ding等[14]提出了非對稱卷積，利用卷積的可加性驗證了用3個并行的1×d，d×1，d×d卷積來代替原始的d×d卷積是可行的，而且可以減少參數(shù)量。因此，本文結(jié)合了二者的優(yōu)點，設(shè)計了一個非對稱卷積金字塔模塊。ACP模塊由5個分支組成，前4個分支的第一層都是一個1×1的卷積，第二層分別是1×3，3×1，3×3的非對稱普通卷積，第三層由普通卷積改為dilation rate分別為6，12，18的空洞卷積；第五個分支是圖像級的特征，首先使用全局平均池化，再經(jīng)過1×1卷積，然后用雙線性插值上采樣至輸入分支前圖像的大小，最后將5個分支的特征進(jìn)行融合疊加，送入1×1卷積層。這樣做可以在一個高分辨率的特征圖上生成新的特征圖，并且在相同參數(shù)量的情況下盡可能地表達(dá)上一個特征圖中的全部信息。ACP模塊具體結(jié)構(gòu)如圖5所示。

圖5 非對稱卷積金字塔網(wǎng)絡(luò)結(jié)構(gòu)

在實例分割分支中，特征提取過程與語義分割分支保持一致。又由于非對稱卷積用在靠近輸入層會影響精度，應(yīng)用在較深的層，且為了捕捉車道線更高級的語義信息、提高算法的運行速度，本網(wǎng)絡(luò)設(shè)計在橋接過程中，即BMFNet實例分割分支編碼部分的第五層加入ACP模塊。具體操作為：先把特征提取過程中最后一步下采樣得到的特征圖，送入一個殘差模塊層，再經(jīng)過ACP模塊。模塊帶有多個不同dilation rate的空洞卷積，產(chǎn)生不同的感受野，用來獲取多尺度上下文信息，同時在金字塔結(jié)構(gòu)內(nèi)加入非對稱卷積，來顯式地增強(qiáng)標(biāo)準(zhǔn)正方形的卷積核的表征能力。非對稱卷積可以融合到正方形卷積核中，不需要引入額外的參數(shù)，還能有效降低一定計算量，兼顧了車道線檢測的速度與精度。BMFNet在實例分割分支的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 實例分割分支網(wǎng)絡(luò)結(jié)構(gòu)

圖像還原過程同樣采用跳躍連接結(jié)構(gòu)，充分利用了實例分割過程中提取的大量中間特征信息，具體操作為：對特征提取過程的每一層先經(jīng)過一個1×1卷積，再與橋接層輸出特征圖的反卷積結(jié)果進(jìn)行融合，融合后特征圖的通道數(shù)減半。

此步驟執(zhí)行4次，得到最終大小與輸入圖像相同，通道數(shù)和起始通道數(shù)相同的特征圖。該分支最后輸出的結(jié)果是對每一個像素進(jìn)行了分類的實例分割圖像，比語義分割分支擁有更多的圖片信息，得到的是一個像素級的實例分割圖。

1.3.3 損失函數(shù)

基于歸屬于同一車道的像素點距離近，不同車道的像素點距離遠(yuǎn)的基本思想，利用聚類損失函數(shù)建模車道像素點之間的位置關(guān)系，并得到各條車道線。

(1)

一旦網(wǎng)絡(luò)收斂，同一車道的像素點將被聚集在一起(如圖1所示)，使每個聚類之間的距離超過δd， 每個聚類的半徑小于δv。 通過引入該損失函數(shù)，可以在忽略背景像素的情況下，為實例分割分支中的每個像素分配一個車道值，這樣能夠有效減輕車道線變化的問題，有利于可變車道的處理。

2 實驗結(jié)果分析

2.1 實驗數(shù)據(jù)集

本文在圖森(TuSimple)數(shù)據(jù)集上測試所提模型的實時性和準(zhǔn)確率。TuSimple數(shù)據(jù)集由圖森公司發(fā)布，采集自美國圣地亞哥，是一個為自動駕駛算法研發(fā)測試打造的專用數(shù)據(jù)集。相對于其它車道線檢測數(shù)據(jù)集，圖森數(shù)據(jù)集更加注重實用性，符合真實道路場景，同時包括了不同天氣下車道線遮擋、殘缺或不存在等復(fù)雜情況，應(yīng)用最為廣泛，也是車道檢測工作中最權(quán)威、最具影響力的數(shù)據(jù)集之一。

圖森數(shù)據(jù)集具有以下特點：

(1)包括在良好和中等天氣條件下的直線道路、曲線道路、破損道路、分叉道路、外部設(shè)施干擾道路以及陰影遮擋道路等情況的3626張訓(xùn)練圖片和2782張測試圖片。

(2)是針對結(jié)構(gòu)化道路的高速公路場景，適用于多車道線檢測，記錄了白天不同時間段下，2車道、3車道、4車道、5車道上的不同交通狀況。

(3)所有圖像均為1280×720像素，訓(xùn)練數(shù)據(jù)圖片注釋采用的是json格式，用離散的x、y表示出車道線的精確位置。

2.2 評價指標(biāo)

對于車道線檢測任務(wù)通常采用3個評價指標(biāo)來分析實驗結(jié)果，分別是準(zhǔn)確率指標(biāo)(Acc)、假陽性指標(biāo)(false positive，F(xiàn)P)和假陰性指標(biāo)(false negative，F(xiàn)N)。其中準(zhǔn)確率是計算每張預(yù)測圖像中正確車道線點數(shù)和真實車道點數(shù)之間的占比情況，具體公式如下

(2)

其中，Cim表示預(yù)測結(jié)果正確的車道線像素點數(shù)，Sim表示標(biāo)簽數(shù)據(jù)中真實的車道線像素點數(shù)。若存在標(biāo)簽真實值和預(yù)測點之間的差值小于某個閾值時，則視該預(yù)測結(jié)果是正確的，否則，視該預(yù)測結(jié)果是錯誤的。此外，F(xiàn)P和FN也是TuSimple數(shù)據(jù)集性能評價當(dāng)中常用的指標(biāo)，具體計算公式如下

(3)

(4)

其中，F(xiàn)pred表示模型預(yù)測錯誤的車道數(shù)；Npred表示模型預(yù)測的所有車道線總數(shù)；Mpred表示遺漏、未被預(yù)測的車道線數(shù)；Ngt表示標(biāo)簽中真實的車道線總數(shù)。所以FP、FN分別又稱之為誤檢率和漏檢率。

除了上述3個基本的車道線檢測評價指標(biāo)之外，我們在訓(xùn)練中引入語義分割任務(wù)的標(biāo)準(zhǔn)度量——平均交并比(mean intersection over union，mIOU)來對我們的模型進(jìn)行有效性評估，mIOU計算的是真實值和預(yù)測值之間的交集和并集的數(shù)量之比，由于其簡潔和代表性強(qiáng)的特點成為最常用的度量標(biāo)準(zhǔn)之一，具體公式如下

(5)

其中，pij表示真實值為i， 被預(yù)測為j的數(shù)量；pii為真實的數(shù)量；K+1為包括背景類的總類別個數(shù)。此外，mIOU還可以寫成另一種形式，即

(6)

2.3 實驗參數(shù)設(shè)置

本文實驗代碼基于Python3.7，使用Tensorflow深度學(xué)習(xí)框架，其它實驗運行的環(huán)境配置見表1。

表1 實驗環(huán)境配置

模型訓(xùn)練采用交叉熵?fù)p失函數(shù)，初始學(xué)習(xí)率為0.001，學(xué)習(xí)率策略為Poly，訓(xùn)練動量設(shè)置為0.9，批量訓(xùn)練數(shù)量為32，權(quán)重衰減為0.000 05，輸入圖片大小為512×256像素。

網(wǎng)絡(luò)訓(xùn)練過程中模型的損失值(loss)與平均交并比(mIOU)的變化趨勢如圖7所示。從圖中可以看出，本文設(shè)計的算法在Tusimple數(shù)據(jù)集中，隨著模型訓(xùn)練次數(shù)的增加，損失值在前幾次迭代中減小迅速，之后仍有波動，但起伏較小，總體緩慢下降，最終損失值在3左右變動；mIOU值開始增長較快，之后呈緩慢增長趨勢，總體來說變化曲線較為平滑，最終達(dá)到60%時停止訓(xùn)練，迭代次數(shù)為165次。

圖7 網(wǎng)絡(luò)訓(xùn)練損失值和均交并比變化趨勢

2.4 實驗對比

本文使用了8種車道線檢測方法進(jìn)行比較，包括SCNN[10]、R-18-SAD[11]、R-34-SAD[11]、ENet-SAD[11]、Lanenet[12]、Res18-Seg[15]、Res34-Seg[15]、EL-GAN[16]。其中文獻(xiàn)[15]分別使用了Resnet-18和Resnet-34作為骨干模型，文獻(xiàn)[11]分別使用了Resnet-18、Resnet-34和ENet作為骨干模型。實驗比較了各算法的準(zhǔn)確率、誤檢率、漏檢率和檢測速度，其中檢測速度取一百次運行的平均時間作為參考指標(biāo)。將實驗結(jié)果按照準(zhǔn)確率從低到高排序，數(shù)據(jù)對比結(jié)果見表2。

表2 Tusimple數(shù)據(jù)集上各算法結(jié)果對比

從表2中可以看出，與其它車道線檢測算法相比，本文所提出的方法擁有最高的準(zhǔn)確率、最低的誤檢率和較低的漏檢率，且各算法之間漏檢率差距不大，均在0.01到0.05之間。運行時間方面，將SCNN算法作為參考對象，由于本文提取了豐富的上下文信息，加深了網(wǎng)絡(luò)結(jié)構(gòu)，雖然與別的算法相比，速度優(yōu)勢不明顯，但比SCNN算法也快了1.8倍，一定程度提升了網(wǎng)絡(luò)的時效性。特別地，與Lanenet算法相比，本文算法的準(zhǔn)確率提升了約2%，誤檢率降低了約5%，漏檢率僅相差約0.02%。通過實驗對比表明，本文對Lanenet算法的改進(jìn)是有效的，且該算法在Tusimple數(shù)據(jù)集上擁有更好的表現(xiàn)。

除此之外，本文還進(jìn)行了可視化實驗，不同程度車道線陰影遮擋情況的可視化結(jié)果如圖8所示。圖8(a)為原始數(shù)據(jù)集中的圖像，圖8(b)為數(shù)據(jù)增強(qiáng)后得到的圖像，圖8(c)為經(jīng)過語義分割分支后得到的二值化分割圖，圖8(d)為經(jīng)過實例分割分支后得到的實例分割圖，圖8(e)為聚類兩個分支后得到的車道線圖像，圖8(f)為車道線擬合之后的輸出圖像。從圖上可以看出，本文所使用的MSR算法可以很好地減輕光照、遮擋帶來的圖片亮度不均勻的影響，改善了圖像的視覺效果。設(shè)計的雙邊多尺度融合網(wǎng)絡(luò)可以在車道線破損、遮擋、陰影情況下有效檢測直道及彎道。

圖8 測試數(shù)據(jù)的可視化效果

3 結(jié)束語

本文提出了一種結(jié)合圖像增強(qiáng)技術(shù)與改進(jìn)的Lanenet算法的車道線檢測方法。采用多尺度的Retinex算法來保持輸入圖像的高保真度、顏色恒常性；設(shè)計帶殘差模塊的雙邊多尺度融合網(wǎng)絡(luò)同時利用低層特征和高層特征的高語義信息，通過融合這些不同層的特征達(dá)到預(yù)測的效果；通過將非對稱卷積與空洞卷積相結(jié)合，提出新的非對稱卷積金字塔模塊，用非對稱卷積替換標(biāo)準(zhǔn)卷積，利用并行的不同擴(kuò)張率的空洞卷積和一個圖像級特征層進(jìn)行特征融合，模擬感受野的多種尺度視角并重新生成人眼視覺系統(tǒng)中感受野尺寸和中心的關(guān)系。實驗結(jié)果表明，本文提出的車道線檢測方法可以減少光照、陰影等對車道檢測的影響，兼顧速度與精度。在TuSimple數(shù)據(jù)集上，與Lanenet算法相比準(zhǔn)確率提高了2%以上，誤檢率降低了5%以上。后續(xù)的工作可以針對于抗遮擋、夜間及弱光條件下的車道線檢測問題再展開進(jìn)一步的研究。