龍建武，彭 浪，安 勇

（重慶理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，重慶 400054）

自動(dòng)駕駛感知模塊能夠獲取車輛周圍的環(huán)境信息，其最重要的組成部分之一就是車道線檢測(cè)，它是控制自動(dòng)駕駛車輛安全行駛在車道線之內(nèi)的前提。因此，車道線檢測(cè)已成為自動(dòng)駕駛感知領(lǐng)域研究的熱點(diǎn)。現(xiàn)有的車道線檢測(cè)方法大致可以分成3類：傳統(tǒng)圖像處理方法、傳統(tǒng)圖像處理與卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）結(jié)合的方法和基于深度學(xué)習(xí)的車道線檢測(cè)方法。

在傳統(tǒng)車道線檢測(cè)方法中，已經(jīng)有一些文獻(xiàn)［1-3］對(duì)其進(jìn)行了全面總結(jié)，概括了傳統(tǒng)車道線檢測(cè)方法［4］通常分為3個(gè)步驟：圖像預(yù)處理、局部特征提取和車道線擬合。其中，局部特征提取是在圖片感興趣區(qū)域［5］上，利用邊緣［6］、紋理［7］、顏色［8］特征捕獲局部車道線信息，它是傳統(tǒng)車道線檢測(cè)方法的關(guān)鍵步驟。但它需要分析圖像中車道線的分布特點(diǎn)，手工設(shè)計(jì)和組合特征提取算法，針對(duì)特定道路場(chǎng)景選擇的傳統(tǒng)車道線檢測(cè)方法，已經(jīng)很難適應(yīng)自動(dòng)駕駛實(shí)際應(yīng)用的復(fù)雜場(chǎng)景，并且對(duì)于提取算法的設(shè)計(jì)需要很高的專業(yè)水平。

在傳統(tǒng)圖像處理和CNN結(jié)合的方法中，CNN依賴大規(guī)模數(shù)據(jù)集［9］和自身強(qiáng)大的非線性擬合能力，克服了基于傳統(tǒng)車道線檢測(cè)方法的局限性，提高了算法的泛化能力。早期基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測(cè)方法［10-11］，僅僅是使用神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)方法中的局部特征提取步驟，它們?nèi)匀恍枰獜?fù)雜的后處理。例如，Kim等［11］組合神經(jīng)網(wǎng)絡(luò)和RANSAC算法檢測(cè)車道線，使用CNN學(xué)習(xí)邊緣圖像中的車道線特征，RANSAC算法用于去除異常值并擬合車道線，但是由于CNN輸入是車道線邊緣檢測(cè)圖像，所以該方法的精度直接受邊緣檢測(cè)算法的影響。在文獻(xiàn)［12］中將車道線俯視圖和前視圖作為輸入，使用雙視圖卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)車道線，然而，它需要對(duì)輸入圖像做復(fù)雜的預(yù)處理。

在基于深度學(xué)習(xí)的車道線檢測(cè)方法中，車道線檢測(cè)方法定義為密集分類預(yù)測(cè)問題。為了從稀疏的監(jiān)督信號(hào)中更好地分類出車道線，Pan等［13］提出了空間卷積神經(jīng)網(wǎng)絡(luò)（spatial convolutional neural networks，SCNN），從空間中不同的方向傳遞神經(jīng)元之間的消息，使其能夠更好地捕獲像素之間的空間關(guān)系，但是它采用直接上采樣的方式，不能很好地恢復(fù)車道線邊界像素。因此，大多數(shù)車道線分割網(wǎng)絡(luò)［14-15］采用編碼器 解碼器（Encoder-Decoder）網(wǎng)絡(luò)結(jié)構(gòu)，例如，Kim等［16］將點(diǎn)檢測(cè)問題重新定義為區(qū)域分割問題，使用SegNet［17］以順序的端到端傳遞學(xué)習(xí)方式，分割出兩邊的車道線而不進(jìn)行任何后處理。但是，它嚴(yán)重依賴車道線分割圖作為監(jiān)督信號(hào)并且訓(xùn)練過程非常繁瑣。Zhang等［18］使用兩個(gè)解碼器共享同一個(gè)編碼器的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)車道線和行駛區(qū)域進(jìn)行分割，并且使用鏈接編碼器將兩個(gè)解碼器分支互補(bǔ)的車道線信息進(jìn)行傳遞，而多分支的解碼器會(huì)帶來(lái)巨大的計(jì)算開銷。文獻(xiàn)［19］和文獻(xiàn)［20］也采用了Encoder-Decoder結(jié)構(gòu)并將車道線檢測(cè)擴(kuò)展到實(shí)例分割，不僅要準(zhǔn)確預(yù)測(cè)像素類別，還要為每個(gè)像素分配正確的實(shí)例標(biāo)簽，但它們使用了聚類或復(fù)雜的標(biāo)簽分配策略，增加了模型的計(jì)算量。

針對(duì)上述文獻(xiàn)中采用直接上采樣方式的算法不能很好地恢復(fù)車道線特征的問題和采用Encoder-Decoder方式的網(wǎng)絡(luò)又增加巨大計(jì)算成本的問題，在本文中提出了目標(biāo)特征蒸餾（object feature distillation，OFD）框架。它在使用直接上采樣結(jié)構(gòu)網(wǎng)絡(luò)基礎(chǔ)上，另外增加一個(gè)解碼器分支，并且解碼器還需融合編碼器各階段特征，以補(bǔ)充目標(biāo)的細(xì)節(jié)信息，更好地恢復(fù)對(duì)目標(biāo)的分類預(yù)測(cè)。同時(shí)，考慮到自動(dòng)駕駛系統(tǒng)對(duì)車道線檢測(cè)算法推理時(shí)間的要求，本文受到知識(shí)蒸餾算法［21-23］的啟發(fā)，將解碼器最后生成的分類概率圖作為蒸餾損失函數(shù)的軟目標(biāo)，直接上采樣分支的分類概率圖作為輸入，讓其能夠?qū)W習(xí)到編碼器分支中目標(biāo)的細(xì)化分類信息。另外，在模型推理階段，僅對(duì)直接上采樣分支進(jìn)行前向計(jì)算，而不使用解碼器分支，從而不會(huì)帶來(lái)任何額外的計(jì)算成本。

本文的主要貢獻(xiàn)總結(jié)如下：

1）考慮到解碼器對(duì)于恢復(fù)目標(biāo)像素邊界信息的重要性，在現(xiàn)有的直接上采樣的車道線檢測(cè)算法基礎(chǔ)上增加解碼器分支，以提高對(duì)于車道線邊界像素的分類預(yù)測(cè)能力。

2）考慮到解碼器在計(jì)算成本上的局限性，采用知識(shí)蒸餾的思想將解碼器生成的分類概率圖作為軟目標(biāo)，以指導(dǎo)直接上采樣分支學(xué)習(xí)車道線的邊界分類能力，并且不會(huì)增加模型在推理階段的時(shí)間。

3）本文提出的方法能夠應(yīng)用到當(dāng)前所有采用直接上采樣結(jié)構(gòu)的車道線檢測(cè)算法上，并且在本文中通過對(duì)幾個(gè)主流的采用直接上采樣的車道線檢測(cè)算法進(jìn)行實(shí)驗(yàn)，在最具挑戰(zhàn)的Culane數(shù)據(jù)集上驗(yàn)證了提出的方法的通用性和有效性。

1 相關(guān)工作

1.1 SCNN

本文提出的目標(biāo)特征蒸餾方法主要應(yīng)用于將特征圖直接上采樣到輸入原圖大小進(jìn)行逐像素分類的方法上，SCNN網(wǎng)絡(luò)則是這類車道線分割算法的代表之一。如圖1所示，它在LargeFOV［24］的頂部卷積層（“fc7”層）之后依次添加4個(gè)空間方向上的SCNN以引入空間消息傳播，使其能夠更好地捕獲像素之間的空間關(guān)系。其主干網(wǎng)絡(luò)是修改過的VGGNet［25］，通過移除第3、4階段中的最大池化層，而更好地保留空間信息，并使用空洞卷積（Dilated Convolution）［26］替換標(biāo)準(zhǔn)卷積以獲得更大的感受野，最后，直接上采樣分支將特征圖通過雙線性插值上采樣8倍，使其分辨率等于輸入圖像大小以進(jìn)行車道線分割，另外一個(gè)存在預(yù)測(cè)分支將經(jīng)過Softmax操作后的特征圖，輸入到平均池化層和全連接層中，并使用Sigmoid函數(shù)對(duì)是否存在車道線進(jìn)行預(yù)測(cè)。

1.2 知識(shí)蒸餾方法

知識(shí)蒸餾是從復(fù)雜的網(wǎng)絡(luò)中提煉知識(shí)以指導(dǎo)緊湊網(wǎng)絡(luò)學(xué)習(xí)，可以顯著地提升緊湊模型的性能，已經(jīng)從圖像分類任務(wù)擴(kuò)展到了分割任務(wù)中［27-29］。通常在知識(shí)蒸餾方法中，緊湊的學(xué)生網(wǎng)絡(luò)以教師網(wǎng)絡(luò)中間輸出作為軟目標(biāo)，監(jiān)督學(xué)生網(wǎng)絡(luò)學(xué)習(xí)從教師網(wǎng)絡(luò)中提煉出的知識(shí)。其中，在文獻(xiàn)［28］中蒸餾教師網(wǎng)絡(luò)預(yù)測(cè)的目標(biāo)深度幾何信息，使用這些幾何信息指導(dǎo)語(yǔ)義分割任務(wù)，但是，車道線不具備自然圖像中類似的目標(biāo)深度信息。在車道線分割領(lǐng)域，知識(shí)蒸餾被用于將后一階段生成地更加抽象的特征圖作為蒸餾的軟目標(biāo)［30］，使網(wǎng)絡(luò)學(xué)習(xí)更豐富的上下文信息，但是，它卻忽略了淺層局部細(xì)節(jié)信息對(duì)于車道線邊界恢復(fù)是至關(guān)重要的。本文提出的目標(biāo)特征蒸餾方法，不需要單獨(dú)訓(xùn)練復(fù)雜的教師網(wǎng)絡(luò)，各分支共享特征編碼網(wǎng)絡(luò)。只需要將編碼器分支生成具有車道線邊界細(xì)化信息的分類概率圖作為蒸餾的軟目標(biāo)，以指導(dǎo)直接上采樣分支車道線分割的結(jié)果。另外，本文的方法也不需額外標(biāo)注訓(xùn)練數(shù)據(jù)集。

2 本文方法

本文提出一種從解碼器中蒸餾車道線邊界細(xì)化信息的方法，它能夠應(yīng)用到多種直接將特征圖上采樣到輸入圖像大小進(jìn)行車道線分割的算法之上，使其能夠從解碼分支學(xué)習(xí)到更精確的車道線邊界信息，而且不會(huì)增加網(wǎng)絡(luò)的推理時(shí)間。接下來(lái)將詳細(xì)敘述本文方法的整體框架的設(shè)計(jì)細(xì)節(jié)、增加的解碼器分支的結(jié)構(gòu)和從解碼器中蒸餾車道線特征信息的實(shí)現(xiàn)原理。

2.1 目標(biāo)特征蒸餾網(wǎng)絡(luò)的整體結(jié)構(gòu)設(shè)計(jì)

本文將車道線檢測(cè)定義為像素級(jí)分類問題，即通過主干網(wǎng)絡(luò)提取輸入圖像中車道線特征；然后，在解碼器中逐步恢復(fù)特征圖分辨率并細(xì)化特征圖中車道線信息；最后，蒸餾解碼器預(yù)測(cè)的每個(gè)像素的分類結(jié)果到直接上采樣分支，以增強(qiáng)其對(duì)車道線特征的預(yù)測(cè)能力。如圖2所示，整個(gè)網(wǎng)絡(luò)由4部分組成，包括1個(gè)編碼器和3個(gè)輸出分支。

現(xiàn)有方法中的編碼器通常是一個(gè)修改后的主流卷積神經(jīng)網(wǎng)絡(luò)［31-32］，例如，VGGNet和ResNet為了保留目標(biāo)的空間信息，會(huì)移除VGGNet和ResNet中的最后兩個(gè)階段的最大池化層或修改卷積步長(zhǎng)為1，并使用不同空洞率的空洞卷積替換標(biāo)準(zhǔn)的卷積層，以獲得更大的感受野。另外，還增加了如圖1所示的“fc6”卷積層和“fc7”卷積層，它們輸出的高維特征圖，使網(wǎng)絡(luò)能夠?qū)W習(xí)更豐富的車道線特征。

直接上采樣分支通過一個(gè)1*1的卷積層改變主干網(wǎng)絡(luò)輸出特征圖的通道，然后使用雙線性插值直接恢復(fù)特征圖分辨率到輸入圖像大小，但由于特征圖分辨率在編碼器中連續(xù)縮小，且特征的表示越來(lái)越抽象。所以，采用直接上采樣方式的車道線檢測(cè)網(wǎng)絡(luò)往往對(duì)車道線邊界信息的恢復(fù)不足。因此，在本文中增加了一個(gè)解碼器分支，通過3次2倍的上采樣和卷積操作，恢復(fù)特征圖分辨率的同時(shí)細(xì)化了車道線特征。

預(yù)測(cè)車道線存在分支將作用于主干網(wǎng)絡(luò)之上，其設(shè)計(jì)細(xì)節(jié)如圖1所示。首先，解碼器輸出的特征圖經(jīng)過Softmax操作；然后，將其拉伸成一維向量后送到平均池化層和兩層全連接層中；最后，將全連接層輸出結(jié)果，經(jīng)過Sigmoid操作后作為二進(jìn)制交叉熵?fù)p失函數(shù)的輸入。車道線存在分支預(yù)測(cè)的結(jié)果用于車道線評(píng)測(cè)階段，只對(duì)預(yù)測(cè)出存在車道線的分割圖進(jìn)行車道線坐標(biāo)的獲取，以減少網(wǎng)絡(luò)對(duì)于不存在的車道線的誤檢。

2.2 目標(biāo)特征蒸餾網(wǎng)絡(luò)的解碼器結(jié)構(gòu)設(shè)計(jì)

車道線檢測(cè)網(wǎng)絡(luò)中編碼器結(jié)構(gòu)的設(shè)計(jì)決定了網(wǎng)絡(luò)提取目標(biāo)特征的能力，而解碼器結(jié)構(gòu)的設(shè)計(jì)影響對(duì)目標(biāo)特征細(xì)節(jié)恢復(fù)預(yù)測(cè)的能力。為了探究不同的解碼器結(jié)構(gòu)對(duì)恢復(fù)車道線特征預(yù)測(cè)的影響，本文在SCNN網(wǎng)絡(luò)上增加了兩種解碼器。采用三階段的解碼器，其結(jié)構(gòu)如圖3（a）所示，直接將編碼器輸出經(jīng)過3次卷積層細(xì)化特征和2倍雙線性插值，使特征圖分辨率恢復(fù)到原圖大小。而采用5階段的解碼器，其結(jié)構(gòu)如圖3（b）所示，除了上述操作以外，還充分考慮到編碼器不同階段對(duì)目標(biāo)特征表達(dá)不同的特點(diǎn)，使用后一階段的解碼器特征指導(dǎo)前一階段特征學(xué)習(xí)，更好地恢復(fù)對(duì)目標(biāo)細(xì)節(jié)的預(yù)測(cè)。這樣的解碼器設(shè)計(jì)方案，可以應(yīng)用到多種采用直接上采樣方式的車道線分割算法中。另外，對(duì)于使用ResNet作為主干網(wǎng)絡(luò)時(shí)，僅需要4個(gè)階段的解碼器。

2.3 目標(biāo)特征蒸餾網(wǎng)絡(luò)的損失函數(shù)

受到現(xiàn)有研究中使用教師網(wǎng)絡(luò)輸出的分類概率圖作為像素級(jí)蒸餾損失函數(shù)軟目標(biāo)的啟發(fā)，在本文中蒸餾解碼器分支生成的分類概率圖，使直接上采樣分支去學(xué)習(xí)其中細(xì)化的車道線邊界信息，以增強(qiáng)對(duì)車道線邊界的檢測(cè)。因此，本文定義解碼器分支最終的卷積輸出為A∈Rc×h×w，其中c表示卷積輸出通道數(shù)；h表示輸出特征圖的高度；w表示輸出特征圖的寬度。同樣地，定義直接上采樣分支卷積輸出為B∈Rc×h×w。為了讓直接上采樣分支能夠?qū)W習(xí)到解碼器分支中像素級(jí)的分類結(jié)果，使用均方誤差損失函數(shù)作為兩個(gè)分支的蒸餾損失函數(shù)，其定義如式（1）所示：

其中：φ（·）表示Softmax操作，卷積輸出經(jīng)過Softmax之后，在通道維度上所有像素和為1，特征圖上任意的一個(gè)像素值表示了當(dāng)前位置屬于其中一條車道線或者背景的分類概率；φ（Aij）表示解碼器蒸餾損失函數(shù)的目標(biāo)值，φ（Bij）作為蒸餾損失函數(shù)的輸入值。

通過式（1）度量了2個(gè)分支像素級(jí)的分類概率的距離，網(wǎng)絡(luò)經(jīng)過不斷迭代使輸入值與目標(biāo)值之間的距離最小。

本文方法總的損失函數(shù)定義如式（2）所示：

總的損失函數(shù)由4部分組成，其中l(wèi)up（·）和ldecoder（·）分別表示直接上采樣分支和解碼器分支的交叉熵?fù)p失函數(shù)；A＾和B＾均表示當(dāng)前輸入圖像的真實(shí)標(biāo)注；ldist（·）表示式（1）中的解碼器信息蒸餾損失函數(shù)，表示車道線存在分支的損失函數(shù)，使用二進(jìn)制交叉損失函數(shù)；E是Sigmoid函數(shù)的輸出；E＾表示當(dāng)前輸入圖像中車道線是否存在的真實(shí)標(biāo)注。最后，使用參數(shù)α和β平衡蒸餾任務(wù)以及車道線存在預(yù)測(cè)任務(wù)對(duì)整個(gè)網(wǎng)絡(luò)性能的影響程度。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

本文中提出的目標(biāo)特征蒸餾方法，在具有挑戰(zhàn)的Culane車道線數(shù)據(jù)集上驗(yàn)證了其有效性。如圖4所示，Culane數(shù)據(jù)集幾乎包含了所有真實(shí)的自動(dòng)駕駛場(chǎng)景，它具有場(chǎng)景多樣、數(shù)據(jù)規(guī)模龐大等特點(diǎn)。它從55 h的視頻中提取出了133 235幀進(jìn)行標(biāo)注，并且Culane數(shù)據(jù)集已經(jīng)劃分好了訓(xùn)練集88 880幀、驗(yàn)證集9 675幀和驗(yàn)證集34 680幀。Culane數(shù)據(jù)集僅關(guān)注當(dāng)前車道線左邊和右邊兩條車道線，因?yàn)檫@與絕大多數(shù)實(shí)際駕駛場(chǎng)景更符合，所以最多只有4條車道線的真實(shí)標(biāo)注，它是目前最具有挑戰(zhàn)和權(quán)威的開源車道線數(shù)據(jù)集。

3.2 評(píng)測(cè)標(biāo)準(zhǔn)

為了驗(yàn)證本文提出方法的有效性，在Culane數(shù)據(jù)集上進(jìn)行評(píng)測(cè)時(shí)，完全使用官方提供的評(píng)測(cè)方法。文獻(xiàn)［14］為了使評(píng)測(cè)更為合理，將預(yù)測(cè)的車道線和真實(shí)車道線標(biāo)注都視為寬度為30像素的線條，并計(jì)算它們之間的交并比（intersection over union，IOU），通過設(shè)置IOU閾值挑選真正例（true positive，TP），通常IOU閾值設(shè)置為0.3或0.5。然后，使用F1-Measure評(píng)分量化車道線檢測(cè)的結(jié)果，其定義如式（3）所示：

準(zhǔn)確率（precision，P）定義為

其中：FP表示假正例（false positive，F(xiàn)P），召回率（recall，R）定義為：

其中，F(xiàn)N表示假負(fù)例（false negative，F(xiàn)N），通常γ被設(shè)置為1。另外，在測(cè)試期間，需要從網(wǎng)絡(luò)預(yù)測(cè)的概率圖中確定每條車道線的坐標(biāo)，因此需要使用存在分支的結(jié)果。如果預(yù)測(cè)的概率圖中車道線的存在值大于閾值，則從概率圖中獲取對(duì)應(yīng)車道線的像素坐標(biāo)點(diǎn)，用于后續(xù)計(jì)算F1-Measure，這樣可以有效地減小誤檢率。

3.3 實(shí)驗(yàn)環(huán)境及網(wǎng)絡(luò)參數(shù)設(shè)置

本文在Culane數(shù)據(jù)集上，使用標(biāo)準(zhǔn)的隨機(jī)梯度（stochastic gradient descent，SGD）訓(xùn)練模型，批量大小（batch size）設(shè)置為12，基礎(chǔ)學(xué)習(xí)率為0.01，動(dòng)量（momentum）為0.9，重量衰減（weight decay）為0.000 1。學(xué)習(xí)率策略采用“poly”，其學(xué)習(xí)指數(shù)和迭代次數(shù)分別設(shè)置為0.9和60 K。

實(shí)驗(yàn)中所用到的主干網(wǎng)絡(luò)為VGGNet和ResNet，均使用了ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的權(quán)重，并對(duì)輸入數(shù)據(jù)進(jìn)行了數(shù)據(jù)增強(qiáng)。首先，對(duì)批量數(shù)據(jù)進(jìn)行了［-2°，2°］的隨機(jī)旋轉(zhuǎn)；然后，進(jìn)行隨機(jī)裁剪，裁剪掉的圖像大小等于原始輸入圖像分辨率的0.05倍；最后，調(diào)整圖像分辨率為288*800像素。通過大量實(shí)驗(yàn)驗(yàn)證，式（2）中的α設(shè)置為10，β設(shè)置為0.1。本文所有實(shí)驗(yàn)均在pytorch框架下進(jìn)行，并使用2塊NVIDIA 2080Ti GPU。另外，在訓(xùn)練網(wǎng)絡(luò)過程中，反向傳播時(shí)蒸餾損失的梯度不對(duì)解碼器分支參數(shù)進(jìn)行更新，它只影響直接上采樣分支的參數(shù)權(quán)重。

3.4 實(shí)驗(yàn)結(jié)果及對(duì)比分析

定量分析：為了驗(yàn)證本文提出方法的有效性，計(jì)算其在Culane數(shù)據(jù)集上的F1評(píng)分，表1顯示了在SCNN上應(yīng)用目標(biāo)特征蒸餾方法后，其與當(dāng)前最先進(jìn)車道線檢測(cè)方法的計(jì)算結(jié)果。不增加額外計(jì)算成本的同時(shí)，在Culane數(shù)據(jù)集的9個(gè)復(fù)雜場(chǎng)景中，本文方法在其中6個(gè)場(chǎng)景和整個(gè)測(cè)試集上的F1評(píng)分領(lǐng)先于其余各算法，驗(yàn)證了本文方法的有效性。但在crowd場(chǎng)景和hlight場(chǎng)景中GCJ［18］方法的F1評(píng)分高于其他方法，這是由于GCJ方法使用了車道線和行駛區(qū)域之間的幾何先驗(yàn)信息，增加了該算法對(duì)遮擋車道線的上下文推理能力，通過增加幾何信息改善車道線分割效果，為本文下一步的工作。

如表2中第6～9列所示，分別顯示了將目標(biāo)特征蒸餾方法應(yīng)用于 Deeplabv1、ResNet50、ResNet101和SCNN上的F1評(píng)分。其結(jié)果表明：本文提出的目標(biāo)特征蒸餾方法，能夠在各子場(chǎng)景和總的測(cè)試集上提高車道線檢測(cè)性能，特別是在陰影場(chǎng)景和高光照?qǐng)鼍爸?，該方法帶?lái)顯著提升，驗(yàn)證了其有效性和通用性。另外，表2中第2～5列是文獻(xiàn)［13］對(duì)相應(yīng)的車道線檢測(cè)算法的評(píng)測(cè)結(jié)果，由于crossroad子場(chǎng)景數(shù)據(jù)沒有車道線標(biāo)注，表2僅顯示了其FP評(píng)分。

如圖5所示，計(jì)算了表2中4組對(duì)比實(shí)驗(yàn)在各場(chǎng)景中提升的F1評(píng)分，并統(tǒng)計(jì)其均值和標(biāo)準(zhǔn)差。從圖中可以看出：在ResNet50方法上提升的均值最高，并且可以發(fā)現(xiàn)解碼器結(jié)構(gòu)相對(duì)簡(jiǎn)單的網(wǎng)絡(luò)性能提升越明顯，這說(shuō)明了解碼器對(duì)于車道線特征恢復(fù)預(yù)測(cè)的重要性，同時(shí)也證明目標(biāo)特征蒸餾方法的有效性。另外，在ResNet101方法上各子場(chǎng)景性能提升幅度最接近，因此，其F1評(píng)分提升的標(biāo)準(zhǔn)差最小，這可能取決于其編碼器強(qiáng)大的特征表達(dá)能力，使其能夠有效地提取出各交通場(chǎng)景中的車道線特征。

定性分析：將目標(biāo)特征蒸餾方法應(yīng)用到Deeplabv1和SCNN方法上，并對(duì)比應(yīng)用前后的車道線檢測(cè)結(jié)果。如圖6所示，第1列表示輸入圖像的真實(shí)標(biāo)簽；第2列圖像表示未使用目標(biāo)特征蒸餾方法的結(jié)果；第3列圖像表示應(yīng)用該方法后的實(shí)驗(yàn)結(jié)果。對(duì)比Deeplabv1方法的第2列圖像中紅圈處的車道線檢測(cè)結(jié)果可知：在擁堵和夜間場(chǎng)景中目標(biāo)特征蒸餾方法能夠更加有效地恢復(fù)對(duì)車道線像素的預(yù)測(cè)。從SCNN方法預(yù)測(cè)結(jié)果圖像的右下角紅圈處，可以看到：本文方法能夠在陰影且無(wú)明顯車道線標(biāo)識(shí)的道路上，有效減少車道線的誤檢率。

如圖7展示了在Culane測(cè)試集的不同復(fù)雜道路場(chǎng)景中，各算法應(yīng)用本文方法后車道線檢測(cè)結(jié)果的可視化。其中，第1列是輸入的原始圖像；第2列是對(duì)應(yīng)的分割標(biāo)注圖；第3～5列是各算法車道線分割的概率圖。為了能夠更好地看出車道線分類概率的變化，將第5列SCNN網(wǎng)絡(luò)的概率圖進(jìn)行熱圖可視化并顯示到最后1列，藍(lán)色表示概率值最小，紅色表示最大。從左到右隨著算法復(fù)雜度增加，車道線分類概率圖中車道線邊界的分割和車道線連續(xù)性越來(lái)越好，特別是，如圖7中第6行的可視化結(jié)果所示，隨著網(wǎng)絡(luò)提取車道線特征能力的增強(qiáng)，對(duì)圖中右側(cè)藍(lán)色車道線的檢測(cè)效果越好。另外，如圖7中第4～6行所示，本文提出的方法能夠在夜間光照不明顯的惡劣條件下有效地檢測(cè)出車道線。

由于不同的解碼器對(duì)編碼器的特征分類預(yù)測(cè)結(jié)果恢復(fù)和細(xì)化的程度不同，因此設(shè)計(jì)了不同的解碼器網(wǎng)絡(luò)增加到SCNN方法上，并探究蒸餾其中車道線邊界細(xì)化信息對(duì)車道線檢測(cè)性能的影響。如表3所示，第2列顯示采用3個(gè)階段進(jìn)行上采樣的解碼器時(shí)的實(shí)驗(yàn)結(jié)果；第3列顯示了采用5個(gè)階段的解碼器網(wǎng)絡(luò)的結(jié)果；第4列顯示使用文獻(xiàn)［33］提出的平滑解碼器網(wǎng)絡(luò)后的結(jié)果，由于其解碼器設(shè)計(jì)的復(fù)雜度最高，并且使用了通道注意力模塊，能夠?qū)W習(xí)并生成注意力權(quán)重向量，通過調(diào)整通道權(quán)重改善解碼器對(duì)車道線像素的分類概率，從而提高車道線檢測(cè)性能，蒸餾了平滑解碼器信息后的車道線檢測(cè)結(jié)果在測(cè)試集上的F1得分為74.1%，相比原始的SCNN在測(cè)試集上的F1得分提高了2.5%，同時(shí)也說(shuō)明了本文提出的目標(biāo)特征蒸餾方法的有效性。

表3 不同解碼器結(jié)構(gòu)對(duì)車道線檢測(cè)性能的影響 %

由于網(wǎng)絡(luò)最終的卷積層輸出結(jié)果經(jīng)過Softmax操作后，在特征圖通道維度上對(duì)于任意一個(gè)位置像素屬于各車道線和背景的分類概率滿足概率分布。因此，在設(shè)計(jì)蒸餾損失函數(shù)時(shí)，除了使用均方誤差直接度量每個(gè)像素的分類概率的距離以外，還可以通過使用KL散度損失函數(shù)，度量直接上采樣分支和解碼器分支輸出的車道線分類概率圖分布之間的距離，它從概率分布的角度度量了兩個(gè)分支輸出結(jié)果的距離。如表4所示，第2列是使用均方誤差損失函數(shù)作為蒸餾損失函數(shù)的實(shí)驗(yàn)結(jié)果；第3列是使用KL散度損失函數(shù)作為蒸餾損失函數(shù)的實(shí)驗(yàn)結(jié)果，它比使用均方誤差作為蒸餾損失函數(shù)的結(jié)果，在測(cè)試集上的F1評(píng)分提高了

0.4 %。

表4 不同蒸餾損失函數(shù)對(duì)車道線檢測(cè)性能的影響 %

4 結(jié)束語(yǔ)

本文將車道線檢測(cè)定義為像素級(jí)分類問題，針對(duì)未采用解碼器恢復(fù)車道線邊界細(xì)化信息車道線分割方法，通過增加解碼器分支能夠從低分辨率特征圖中更好地恢復(fù)對(duì)車道線目標(biāo)特征的像素分類預(yù)測(cè)，并且應(yīng)用像素級(jí)蒸餾損失函數(shù)，讓直接上采樣分支去學(xué)習(xí)解碼器分支生成的車道線分割概率圖，從而彌補(bǔ)對(duì)車道線邊界細(xì)化信息的缺失。值得注意的是：在網(wǎng)絡(luò)推理階段，只對(duì)直接上采樣分支進(jìn)行前向計(jì)算，因此，在不增加任何計(jì)算成本的同時(shí)，提升了網(wǎng)絡(luò)檢測(cè)車道線的能力。大量的實(shí)驗(yàn)證明：本文提出的目標(biāo)特征蒸餾方法在應(yīng)用到多種采用直接上采樣的主流車道線分割算法上后，提高了在Culane測(cè)試集上的F1得分。

另外，利用車道線消失點(diǎn)或車道線之間相互的幾何先驗(yàn)信息也能夠有效改善車道線檢測(cè)性能。因此，本文后續(xù)工作將在解碼器特征中引入車道線幾何信息，通過蒸餾車道線的幾何先驗(yàn)信息指導(dǎo)其他分支進(jìn)行車道線檢測(cè)。