方遒，李偉林，梁卓凡，陳韜陽

（1.廈門理工學(xué)院 福建省客車先進(jìn)設(shè)計與制造重點實驗室，福建，廈門 361024；2.廈門大學(xué) 航空航天學(xué)院，福建，廈門 361005）

隨著人們對汽車需求的提高和人工智能技術(shù)的快速發(fā)展，高級駕駛輔助系統(tǒng)(advanced driver assistance system, ADAS)得到了快速的發(fā)展[1?2].ADAS 包括了自適應(yīng)巡航、車道偏移報警、車道保持、碰撞避免等功能[3].車道線檢測作為ADAS 獲取外界信息的基本步驟之一，在其中發(fā)揮著至關(guān)重要的作用.一個準(zhǔn)確且可靠的車道線檢測方法可以幫助軌跡規(guī)劃[4]、行為決策等其他模塊做出正確的決策[5].

當(dāng)前的車道線檢測方法大致可以分為兩類：一類是基于傳統(tǒng)機(jī)器視覺的車道線檢測方法，另外一類基于深度學(xué)習(xí)的車道線檢測方法.

傳統(tǒng)的方法主要通過提取人為設(shè)計的特征來檢測車道線.常用的特征有邊緣特征[6?8]、顏色特征[9?11]、消失點特征[12?14]等.此外，在車道線模型的選擇上也可以分為直線模型[15?16]、曲線模型[17]、混合模型[18?20]等.人為設(shè)計的特征和模型作為檢測的基礎(chǔ)雖然更加符合人類的視覺感受，但是對于以計算機(jī)為基礎(chǔ)的計算機(jī)視覺往往不是最優(yōu)解.當(dāng)面對復(fù)雜環(huán)境比如遮擋、車道線缺失、光照不均勻等時，傳統(tǒng)視覺方法往往無法穩(wěn)定正確地檢測出車道線.

基于深度學(xué)習(xí)的車道線檢測方法主要通過卷積神經(jīng)網(wǎng)絡(luò)來提取特征并進(jìn)行識別.不同于傳統(tǒng)方法的是，其特征設(shè)計是由機(jī)器學(xué)習(xí)得來的，而非人為設(shè)計.這樣學(xué)習(xí)得到的特征更容易達(dá)到計算機(jī)視覺提取信息的目的.

一些學(xué)者將機(jī)器學(xué)習(xí)和傳統(tǒng)圖像處理想結(jié)合，希望能夠?qū)烧叩膬?yōu)點結(jié)合.LI 等[21]對圖像進(jìn)行預(yù)處理，然后通過CZF-VPGNet 網(wǎng)絡(luò)檢測預(yù)處理后圖像中的車道線.PIZZATI 等[22]選擇ERFNet 作為第一個網(wǎng)絡(luò)來獲得車道線的實例分割圖像，然后通過第二個CNN 網(wǎng)絡(luò)來檢測人為設(shè)計好的不同大小的描述符來對車道線進(jìn)行分類.LI 等[23]通過LPU 單元以線路建議作為參考來定位準(zhǔn)確的交通曲線，迫使系統(tǒng)學(xué)習(xí)整個交通線路的全局特征表示.這些方法在使用深度學(xué)習(xí)進(jìn)行信息處理的同時保留了部分人為干預(yù)在其中，人為設(shè)計因素對網(wǎng)絡(luò)輸出結(jié)果影響較大.

LaneNet[24]提出將車道線檢測問題轉(zhuǎn)化為實例分割問題.通過將車道線檢測問題轉(zhuǎn)化為實例分割問題，不僅擺脫了人為設(shè)計特征的限制，而且使車道線檢測網(wǎng)絡(luò)可以參考較為成熟的實例分割領(lǐng)域的網(wǎng)絡(luò).在其基礎(chǔ)上，GUO 等[25]引入雙注意力機(jī)制來增強(qiáng)車道線特征的表示，ZHANG 等[26]利用ResNeSt 提出的分離注意力機(jī)制改進(jìn)了車道標(biāo)線的細(xì)長和稀疏的特征，可以檢測沒有數(shù)量限制的車道.盡管與其他成熟網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合帶來了車道線檢測效果的提升，但是依然無法達(dá)到車道線檢測的要求.SCNN[27]提出一種新的圖像信息傳遞方式，使信息不僅可以在一般深度學(xué)習(xí)的層與層之間傳遞，也可以在行與行、列與列之間傳遞.該方法網(wǎng)絡(luò)結(jié)構(gòu)充分考慮了車道線在圖像中的特點，但是網(wǎng)絡(luò)運(yùn)行速度緩慢，對設(shè)備要求嚴(yán)格.PINet[28]結(jié)合關(guān)鍵點檢測與點云實例分割的方法成功實現(xiàn)了新的車道線處理算法，可適用于任意場景、檢測任意數(shù)量的車道線.通過統(tǒng)一全部通道數(shù)使參數(shù)量大大減小，將特征提取模塊設(shè)計為可選個數(shù)的沙漏模塊，使其在不同計算能力的設(shè)備上可以選擇最符合需求的模型.

近年來，相較于同樣參數(shù)的一般卷積，可以在不增加運(yùn)算時間的同時根據(jù)需求擴(kuò)大感受野的空洞卷積被大量使用.DING 等[29]以VGG16 網(wǎng)絡(luò)為基礎(chǔ)，通過空洞卷積代替最后三個卷積層提取車道線特征，以計數(shù)器池的方式對編碼器進(jìn)行上采樣，實現(xiàn)語義分割，最終實現(xiàn)實例分割和虛實識別.LIU 等[30]將空間卷積和空洞卷積組合成信息交換塊，增強(qiáng)像素之間的信息傳遞，更有效地利用垂直空間特征，更好地檢測被遮擋的車道線，提高了算法的穩(wěn)健性.CAI等[31]為解決目標(biāo)像素數(shù)和背景像素數(shù)的不平衡的問題，通過合理組合感受野提取特征，避免圖像過度分段的同時減少了環(huán)境的干擾，并為其提出了專門的評分機(jī)制.但是，這些空洞卷積在這些網(wǎng)絡(luò)中的應(yīng)用效果并不理想.這是因為，當(dāng)為了獲取更大感受野而選取較大空洞率時，卷積核每個計算點之間的距離會變得過大，從而導(dǎo)致對空間信息的利用效果下降.而在車道線檢測中，網(wǎng)絡(luò)往往需要較大的感受野才能高效率的提取其特征信息.

基于以上情況，提出一種基于多尺度復(fù)合卷積和圖像分割融合的車道線檢測算法.所使用的網(wǎng)絡(luò)在下采樣后使用多尺度復(fù)合卷積提取特征并在之后通過圖像分割融合模塊增強(qiáng)全局特征.結(jié)合空洞卷積、全卷積和標(biāo)準(zhǔn)卷積得到的多尺度復(fù)合卷積可以在更大感受野上有效地利用圖像信息.引入語義分割分支的圖像分割融合模塊提高實例分割網(wǎng)絡(luò)的全局信息利用.在CULane 數(shù)據(jù)集中的實驗表明：本文算法相比現(xiàn)有算法做出了一定的改進(jìn)，評價指標(biāo)得到提高.

1 本文算法

本節(jié)概述了使用多尺度復(fù)合卷積獲取更大感受野的車道線檢測神經(jīng)網(wǎng)絡(luò).網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1 所示，網(wǎng)絡(luò)整體流程如圖2 所示，網(wǎng)絡(luò)的整體框架由4部分組成，包括下采樣模塊、多尺度復(fù)合卷積模塊、圖像分割融合模塊和解碼器模塊.下采樣模塊將圖像的特征信息進(jìn)行壓縮，降低后續(xù)網(wǎng)絡(luò)的計算量.網(wǎng)絡(luò)采用主流方式的下采樣方式，即卷積層后接最大池化層的方式.網(wǎng)絡(luò)一共對圖像進(jìn)行4 次壓縮，即采用4 個下采樣模塊，每個模塊按照信息壓縮的需求配置不同層數(shù)的卷積層和最大池化層.多尺度復(fù)合卷積模塊對下采樣后的圖像進(jìn)行進(jìn)一步的特征提取，為了進(jìn)一步提高精度，將2 個復(fù)合卷積模塊串聯(lián).多尺度復(fù)合卷積模塊有5 個分支，每個分支提取不同大小的特征.圖像分割融合模塊利用語義分割分支輔助實例分割分支，從而提高最終實例分割的效果.上采用模塊采用轉(zhuǎn)置卷積層和普通卷積層結(jié)合的方式實現(xiàn).相比下采樣階段，上采樣階段使用更少的卷積層，以提高網(wǎng)絡(luò)的運(yùn)行速度.網(wǎng)絡(luò)對圖像進(jìn)行實例分割，不僅區(qū)分圖像中每個像素屬于車道線還是背景，而且將每個車道線像素歸類到具體每條車道線所屬的類別中.根據(jù)所使用的數(shù)據(jù)集的圖像標(biāo)記，本文算法最多同時可檢測到4 條車道線，這足夠應(yīng)對大多數(shù)行車環(huán)境.網(wǎng)絡(luò)各層輸入輸出如表1 所示.

表1 網(wǎng)絡(luò)各層輸入輸出Tab.1 Input and output of each layer of the network

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 Overall structure of the network

圖2 算法整體流程Fig.2 Overall process of algorithm

1.1 多尺度復(fù)合卷積模塊

特征金字塔作為一種提取大范圍特征信息的手段被許多車道線檢測網(wǎng)絡(luò)使用.在特征金字塔中，通過組合不同空洞率的卷積層來達(dá)到獲取不同尺度的特征.由于空洞率過大時候容易導(dǎo)致提取信息松散、特征提取差的情況，特征金字塔無法采取太大的空洞率而選擇增加卷積層數(shù)的方法來提取特征.但這也導(dǎo)致了網(wǎng)絡(luò)參數(shù)增加、網(wǎng)絡(luò)結(jié)構(gòu)加深，使得網(wǎng)絡(luò)更加復(fù)雜和難以訓(xùn)練.

從特征金字塔的應(yīng)用可以看出，不同局域之間的局部特征和圖像整體的全局特征之間的信息傳遞有助于實例分割的實現(xiàn).一個有利于更大范圍的局部特征和全局特征融合的網(wǎng)絡(luò)是有必要的.為了能夠在更大范圍上應(yīng)用空洞卷積，而且避免信息的丟失，本文提出一種多尺度復(fù)合卷積.此結(jié)構(gòu)不同于特征金字塔，為了拓展特征提取的感知領(lǐng)域，在網(wǎng)絡(luò)中的多種尺度的空洞卷積后面均再進(jìn)行額外的卷積.與特征金字塔相比，多尺度復(fù)合卷積可以在更大尺度上進(jìn)行特征提取，有效地收集不同層次的特征信息.

多尺度復(fù)合卷積的原理如圖3 所示，相較于一般的空洞卷積在擴(kuò)張后造成卷積位置信息的分散，多尺度復(fù)合卷積在空洞卷積后首先通過一次全卷積對不同通道的信息進(jìn)行整合，然后根據(jù)擴(kuò)張的比例在卷積位置再進(jìn)行一次標(biāo)準(zhǔn)卷積，彌補(bǔ)空間信息的丟失.在網(wǎng)絡(luò)的構(gòu)建中，為了更有效地提取信息并且防止卷積層之間的信息冗余，各個復(fù)合卷積層的第一層空洞率和第三層卷積尺寸均有不同的組合.

圖3 各卷積原理圖Fig.3 Schematic diagram of each convolution

如圖3(a)所示，一個標(biāo)準(zhǔn)3×3 卷積具有3×3 的感受野和9 個參數(shù).如圖3(b)所示，一個尺寸為3×3、空洞率為4 的空洞卷積具有9×9 的感受野和9 個參數(shù).當(dāng)空洞率為1 時，空洞卷積退化為標(biāo)準(zhǔn)卷積.如圖3(c)所示，一個全卷積具有1×1 的感受野和1 個參數(shù).感受野計算公式如式(1)所示

式中：W和H分別為卷積核的寬和高；R為空洞率.W和H一般取相同的數(shù)值，這樣方便計算且更加符合人們的直觀感受.

多尺度復(fù)合卷積效果如圖4 所示，在圖像進(jìn)行空洞卷積之后再進(jìn)行一次全卷積和標(biāo)準(zhǔn)卷積.由于第一次卷積后的每個像素實際上提取了卷積前3×3像素的信息，全卷積不改變信息范圍，因此進(jìn)行第三次卷積時，感受野相對于卷積前圖像為11×11.在獲取相同11×11 感受野的情況下，空洞卷積的卷積核尺寸為3×3、空洞率為5，雖然相比多尺度復(fù)合卷積計算更快，但是提取到的信息密度大幅度下降；標(biāo)準(zhǔn)卷積的卷積核尺寸為11×11，具有最高的信息密度，但是其參數(shù)量和計算量遠(yuǎn)遠(yuǎn)大于多尺度復(fù)合卷積.本文網(wǎng)絡(luò)多尺度復(fù)合卷積模塊的參數(shù)如圖5 所示，其中每個分支采用不同空洞卷積和標(biāo)準(zhǔn)卷積的組合，空洞卷積的空洞率和標(biāo)志卷積的尺寸決定提取特征的大小和主要效果，空洞卷積的尺寸均為3×3.網(wǎng)絡(luò)使用兩個多尺度復(fù)合卷積模塊提高效率.

圖4 復(fù)合卷積原理圖Fig.4 Composite convolution schematic diagram

圖5 多尺度復(fù)合卷積模塊Fig.5 Multiscale composite convolution module

1.2 圖像分割融合模塊

在文獻(xiàn)[31] 中，將車道線檢測任務(wù)分為語義分割任務(wù)和實例分割任務(wù)，并由網(wǎng)絡(luò)分別輸出兩者的檢測結(jié)果.這是因為相比實例分割而言，將圖像視為語義分割任務(wù)（車道線和背景）更為簡單，并且容易取得良好的效果.但是這樣人為的將檢測任務(wù)分為兩個不同的任務(wù)反而加大網(wǎng)絡(luò)的訓(xùn)練難度.因此，在文獻(xiàn)[32]中，將車道線檢測任務(wù)直接視為實例分割任務(wù)，并將每個輸出通道視為一類.這樣設(shè)計網(wǎng)絡(luò)簡化了解碼器結(jié)構(gòu)，但是將一個輸出通道視為一個類別使得每個通道更加關(guān)心自己的所屬類別而減少了對全局信息的關(guān)注，這對車道線檢測來說是不利的.

圖像分割融合模塊結(jié)構(gòu)如圖6 所示.全連接層對多尺度復(fù)合卷積模塊輸出的圖像特征信息進(jìn)行分類后分別給出實例分割分支和語義分割分支的特征圖像，兩者與跳躍分支拼接后輸入解碼器中.實例分割分支和語義分割分支的特征圖像分別經(jīng)過一次雙線性插值調(diào)整到與真值圖相同尺寸，并各自通過一次卷積調(diào)整通道后計算損失函數(shù).在車道線檢測中，漏檢和誤檢往往是由于在解碼器初始階段全局信息的缺失，引入的語義分割圖像相比實例分割圖像更加注重全局特征，可以有效改善該情況.

圖6 圖像分割融合模塊Fig.6 Image segmentation fusion module

1.3 損失函數(shù)的設(shè)計

網(wǎng)絡(luò)的訓(xùn)練就是根據(jù)損失函數(shù)對預(yù)測結(jié)果和真值的差距對參數(shù)進(jìn)行更新，因此損失函數(shù)的選擇對網(wǎng)絡(luò)的訓(xùn)練至關(guān)重要.本文網(wǎng)絡(luò)將車道線檢測任務(wù)視為實例分割任務(wù)，因此選擇實例分割任務(wù)中常用的交叉熵作為損失函數(shù).

在網(wǎng)絡(luò)的預(yù)測圖像中，每個像素包含5 個通道，分別代表該像素屬于背景和4 條車道線的置信度.為了得到每個像素上預(yù)測的類別序號，首先對預(yù)測圖像使用softmax 函數(shù)使像素各類別的置信度歸一化到區(qū)間[0,1] 且和為1，然后對該維度進(jìn)行max 運(yùn)算選取置信度最大的類別序號作為預(yù)測類別

式中：Ti為某個輸出分支的真值圖的像素：Ci為該分支置信度圖像的像素；yi為像素所屬類別.

在許多網(wǎng)絡(luò)設(shè)計中，往往單獨計算解碼器最終輸出的預(yù)測圖像和真值圖像之間的損失函數(shù).然而，這無法對解碼器其他尺寸的預(yù)測圖像進(jìn)行有效的反饋，使得網(wǎng)絡(luò)在其他同尺寸上對車道線的預(yù)測偏離真值.為了提高網(wǎng)絡(luò)對各尺度車道線的預(yù)測效果并對圖像分割融合模塊進(jìn)行監(jiān)督.本文選擇一個權(quán)值交叉熵?fù)p失函數(shù)

式中：wi和li分別為各實例分割分支的權(quán)值和交叉熵?fù)p失；wc和lc分別為語義分割分支的權(quán)值和交叉熵?fù)p失；lall為網(wǎng)絡(luò)總的交叉熵?fù)p失.該方法可以有效地提高反卷積層對車道線的復(fù)現(xiàn)能力，并充分考慮語義分割分支所體現(xiàn)的全局特征信息，特別是在第一層反卷積層中更好地定位到各條車道線的位置，降低了小尺度上的特征遺漏導(dǎo)致的最終車道線的漏檢率和過度擬合導(dǎo)致的誤檢率.

2 實驗結(jié)果

2.1 數(shù)據(jù)集

車道線檢測常用到的公開數(shù)據(jù)集有TuSimple 數(shù)據(jù)集和CULane 數(shù)據(jù)集.其中TuSimple 數(shù)據(jù)集包括3 626 張帶注釋的訓(xùn)練圖片和2 782 張測試圖片.這些圖片是在交通量很少且車道標(biāo)記透明的受限場景下拍攝的，且未標(biāo)記磨損和被阻擋的車道線.同時由于圖片數(shù)量的限制，其區(qū)分不同網(wǎng)絡(luò)性能的能力不足.因此本文選擇數(shù)據(jù)量更大，更富有挑戰(zhàn)性的CULane 數(shù)據(jù)集.

CULane 數(shù)據(jù)集由安裝在6 輛由北京不同駕駛員駕駛的不同車輛上的攝像頭收集的.其收集了超過55 h 的視頻，并提取了133 235 幀.數(shù)據(jù)集分為88 880張訓(xùn)練集圖片，9 675 張驗證集圖片和34 680 張測試集圖片，分為Noramal 和8 個具有挑戰(zhàn)性的類別：Crowd、Dazzle、Shadow、No Line、Arrow、Curve、Cross和Night，每個場景的比例如圖7 所示.對于每一幀，CULane 數(shù)據(jù)集使用三次樣條曲線手動注釋行車道，當(dāng)車道標(biāo)記被車輛遮擋或看不見時，會根據(jù)上下文將車道線從消失位置一直標(biāo)記到圖像最下方.數(shù)據(jù)集默認(rèn)圖片分辨率為1 640×590，這樣扁長的圖片來源于車載的廣角攝像頭，但這對于深度學(xué)習(xí)是不利的.因此，本文在將圖片輸入網(wǎng)絡(luò)前，對圖片進(jìn)行了尺寸的調(diào)整和像素數(shù)值的歸一化.

圖7 CULane 數(shù)據(jù)集比例Fig.7 CULane dataset scale

2.2 評價標(biāo)準(zhǔn)

在車道線檢測中，車道線的漏檢和誤檢是造成事故的重要原因，也是人們關(guān)心的算法指標(biāo).通常在目標(biāo)檢測任務(wù)中，采用準(zhǔn)確率和召回率作為評價車道線檢測模型的指標(biāo).在車道線檢測任務(wù)中，準(zhǔn)確率反映了漏檢車道線的占比，召回率反映了誤檢車道線的占比，但是這些單個指標(biāo)不能綜合地體現(xiàn)出模型的好壞.因此，為了更好地對我們的模型做出評價，并方便與其他研究者的工作進(jìn)行對比，本文選擇CULane 官方提供的評價標(biāo)準(zhǔn)F1measure.另外，為了提高最終的評價指標(biāo)，LaneNet 通過傳統(tǒng)圖像算法對網(wǎng)絡(luò)輸出的圖像進(jìn)行后續(xù)處理[24].但是，這樣不能客觀地評價網(wǎng)絡(luò)的性能，因此在后續(xù)性能比較中，本文網(wǎng)絡(luò)輸出的圖像不進(jìn)行后續(xù)處理.

式中：T/F表示真/假，表示預(yù)測是否正確；P/N表示正/負(fù)，表示預(yù)測結(jié)果為正或負(fù)；γ的值設(shè)置為1.當(dāng)預(yù)測圖像與真值圖像的交并比（intersection over union，IOU）大于閾值時，判斷為TP，否則為FP.IOU 閾值通常選取0.3 或0.5.

2.3 本文算法不同性能指標(biāo)

選取更大的IOU 閾值可以獲取質(zhì)量更好的預(yù)測圖像，但是也容易將圖像判定為假.如圖8 所示，圖中用不同顏色標(biāo)記了檢測到的車道線，當(dāng)選取IOU閾值為0.5 時，黃色車道線由于被前車遮擋導(dǎo)致檢測效果不佳而被判為FP，而當(dāng)選取IOU 閾值為0.3 時，其依然可以判為TP.從表2 可以看出，當(dāng)選取0.3 作為閾值時，本文算法的整體F1measure高于選取0.5 作為閾值.但是為了獲取更高的圖像質(zhì)量和方便與其他算法進(jìn)行比較，后續(xù)實驗均選取0.5 作為閾值.

表2 算法不同性能指標(biāo)Tab.2 Different performance indicators of the algorithm

圖8 算法檢測結(jié)果Fig.8 Algorithm detection results

2.4 算法整體檢測結(jié)果比較

本文提出的算法通過與其他算法比較在CULane 數(shù)據(jù)集上的F1measure值來驗證其有效性.表3 展現(xiàn)了本文算法與LaneNet[24]、DeepLabV2[33]、ResNet-101[34]、Res34-VP[35]、Res101-SAD[36]和SCNN[27]算 法的比較結(jié)果[32?36].實驗結(jié)果表明，本文算法在整體性能上優(yōu)于其他比較算法.在多種路況中，由于引入多尺度復(fù)合卷積和圖像分割融合模塊提取更大范圍的信息，檢測結(jié)果有明顯提升，整體的F1measure達(dá)到74.9%，運(yùn)行時間達(dá)到22.3 ms.在Noramal、Crowd、Dazzle、No Line、Cross 場景和Total 中均優(yōu)于其他對比算法.

表3 算法整體比較結(jié)果Tab.3 Overall comparison results of algorithms

2.5 不同場景檢測結(jié)果比較

圖9 給出了在多種困難場景下網(wǎng)絡(luò)的檢測結(jié)果，圖中用4 種顏色標(biāo)記了檢測到的車道線，圖片每行按照Normal、Crowd、Dazzle、Shadow、No Line、Arrow、Curve、Cross 和Night 順序排列，第1 列為輸入圖像，第2 列為預(yù)測圖像，第3 列為真值圖像.以上測試結(jié)果可以看出，本文算法在多種困難場景下均可有效檢測出圖片中的車道線，無論是Noramal 場景中還是在挑戰(zhàn)性條件下.本文提出的車道線檢測算法在Dazzle、Shadow 和Arrow 等帶有強(qiáng)烈環(huán)境干擾的場景中可以克服環(huán)境的干擾，在圖像中提取和識別到車道線的正確特征并檢測出正確的車道線位置.在Crowd、No Line 和Night 等車道線缺失、被遮擋等場景中可以做出一定的邏輯推理，準(zhǔn)確找到圖像中待檢車道線的位置.在需要檢測曲線段的Curve 場景中，網(wǎng)絡(luò)可以將斜率較大部分視為曲線進(jìn)行檢測，將斜率較小的部分仍然視為直線，最終檢測出車道線的正確位置.在沒有車道線的Arrow 場景中，雖然圖像中經(jīng)常會出現(xiàn)明顯的線段（比如人行橫道等），但是該線段并非需要檢測的車道線類別，需要網(wǎng)絡(luò)對其進(jìn)行判斷.從圖中可知，本文提出的車道線檢測網(wǎng)絡(luò)在Arrow 場景中可以正確地將錯誤線段排除出車道線類別，沒有在圖片中誤檢出車道線.

圖9 不同場景檢測結(jié)果比較Fig.9 Comparison of detection results in different scenarios

2.6 各分支輸出分析

圖10 分別列出了輸入圖像(圖10(a))、真值圖像(圖10(b))、語義分割圖像(圖10(c))和各實例分割圖像(圖10(d)～圖10(h)，各已轉(zhuǎn)換為概率灰度圖方便顯示.由圖10 可知，第一張實例分割圖像(圖10(d))更加注重車道線的局部特征，但也因此減少了對全局信息的關(guān)注而容易誤檢.語義分割圖像(圖10(c))相比實例分割圖像更加注重車道線整體與背景的關(guān)系.圖像分割融合模塊(圖10(e))將兩者和跳躍分支的信息融合，后續(xù)上采樣模塊結(jié)合跳躍分支給出的信息逐步提高預(yù)測圖像的分辨率和準(zhǔn)確率，最終輸出網(wǎng)絡(luò)預(yù)測的車道線實例分割圖像.

圖10 各分支輸出分析Fig.10 Output analysis of each branch

3 結(jié) 論

在本文中，為了擴(kuò)大網(wǎng)絡(luò)的感受野和彌補(bǔ)大空洞率造成的信息丟失，提出了一種多尺度復(fù)合卷積；為了進(jìn)一步加強(qiáng)全局信息的利用設(shè)計了語義分割和實例分割信息融合的圖像分割融合模塊；為了在不同尺度上擬合真值圖像，并對各分支進(jìn)行訓(xùn)練，提出了一個權(quán)值交叉熵?fù)p失函數(shù).

實驗結(jié)果表明，在CULane 數(shù)據(jù)集上，本文算法無論是在整體性能上，還是在單獨一個場景中相比其他算法均有不錯的表現(xiàn).數(shù)據(jù)集整體F1measure達(dá)到74.9%，在多個場景應(yīng)用中相比其他對比算法取得最優(yōu)表現(xiàn).因此，本文提出的方法可以為車道線檢測的應(yīng)用提供參考.

在未來的工作中，希望可以采用更好的設(shè)備來提高網(wǎng)絡(luò)的訓(xùn)練速度和優(yōu)化網(wǎng)絡(luò)的參數(shù)，以達(dá)到提升車道線檢測準(zhǔn)確性和速度的目的.同時探索更大的空洞率的可能性及其對網(wǎng)絡(luò)造成的影響.