田 錦，袁家政，劉宏哲

（1.北京市信息服務(wù)工程重點實驗室（北京聯(lián)合大學(xué)），北京 100101；2.北京開放大學(xué)智能教育研究院，北京 100081）

（*通信作者電子郵箱jzyuan@139.com）

0 引言

隨著人工智能的飛速發(fā)展［1］，傳統(tǒng)汽車工業(yè)與信息技術(shù)的結(jié)合，使得智能駕駛技術(shù)的研究取得了很大的進步。智能駕駛技術(shù)是當(dāng)今計算機視覺研究的主要焦點，無論是在學(xué)術(shù)層面還是在工業(yè)層面。計算機視覺［2］主要是利用計算機來模擬人類的視覺功能，即它提取、處理和理解圖像信息，并將其用于檢測、測量和控制。在汽車智能駕駛技術(shù)中，視覺傳感器比超聲波雷達和激光雷達能獲得更精確、更豐富的信息。

自動駕駛［3］最具挑戰(zhàn)性的任務(wù)之一是交通場景的理解，包括車道檢測和語義分割等計算機視覺任務(wù)。車道檢測有助于引導(dǎo)車輛，可用于駕駛輔助系統(tǒng)，而實例分割提供了關(guān)于車輛或行人等周圍物體的更詳細位置?；跀z像頭的車道檢測是實現(xiàn)這種環(huán)境理解的重要一步，因為它允許汽車在道路車道內(nèi)正確定位。這對于任何后續(xù)的車道偏離或軌跡規(guī)劃決策也是至關(guān)重要的。因此，進行準確的基于攝像頭的車道檢測是實現(xiàn)自動駕駛的關(guān)鍵。然而，在實際應(yīng)用中，考慮到惡劣的天氣條件、昏暗或眩光等許多嚴酷的場景，這些任務(wù)可能非常具有挑戰(zhàn)性。

通常，傳統(tǒng)的車道檢測算法包括以下步驟：車道標記生成、車道標記分組、車道模型擬合和時間跟蹤。提取正確的車道是成功生成車道標記的關(guān)鍵。許多傳統(tǒng)的方法是利用邊緣、顏色、強度和形狀等信息來檢測車道，這些算法必須根據(jù)算法手動解調(diào)算子，工作量大，魯棒性差。當(dāng)行駛環(huán)境發(fā)生明顯變化時，車道線檢測效果不佳。同時大多數(shù)方法對光照變化、天氣條件和噪聲敏感，當(dāng)外部環(huán)境發(fā)生顯著變化時，許多傳統(tǒng)的車道檢測系統(tǒng)都會失效。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）通常采用下采樣的方法來實現(xiàn)更深層次的架構(gòu)，擴大感知域來捕捉圖像中的大尺度對象。然而，這種操作通常會減少詳細的空間信息，這對于語義分割任務(wù)非常重要。為了解決這一問題，已經(jīng)提出了幾種網(wǎng)絡(luò)體系結(jié)構(gòu)。通常使用兩種方法來恢復(fù)或保留詳細信息。第一種方法使用編解碼器體系結(jié)構(gòu)。該編碼器類似于許多分類網(wǎng)絡(luò)，如VGG（Visual Geometry Group）［4］和殘差網(wǎng)絡(luò)（Residual Network，ResNet）［5］。解碼器由連續(xù)的上采樣操作組成，以重建與輸入圖像相同的分辨率。反卷積是一種可學(xué)習(xí)的上采樣層，是對特征圖進行上采樣的最常用方法，如全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）［6］。向上采樣后，F(xiàn)CN 使用直接來自編碼器的特征映射來恢復(fù)更多的細節(jié)。DeepLab 系列［7-8］使用擴展卷積來保持特征圖的空間大小?；诰矸e神經(jīng)網(wǎng)絡(luò)的SegNet［9］學(xué)習(xí)高階特征，提高了算法的性能。它通過將訓(xùn)練算法應(yīng)用于一個通用的圖像數(shù)據(jù)集，對其他測試圖像進行分類，生成訓(xùn)練標簽。提出了一種基于顏色層融合的紋理描述方法，得到了道路區(qū)域的最大一致性。將離線和在線信息結(jié)合起來檢測道路區(qū)域。之后，Seg_edge［10］在此研究的基礎(chǔ)上結(jié)合了語義邊界信息，提高了分割的精度。ENet［11］采用了類似ResNet 的一種方法，將其描述為擁有一個單獨的主分支和擴展，這樣可以以更快、更有效的方式執(zhí)行大規(guī)模計算。

車道線檢測是整個路面檢測的重要組成部分［12］。在車道線檢測問題中，利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)車道線特征，提高了車道線特征提取的準確性，適用于復(fù)雜的道路環(huán)境。最流行的目標檢測方法Faster R-CNN［13］和YOLO（You Only Look Once）［14］并不適用于車道檢測，因為邊界框檢測更適合緊湊的對象，車道線則不然。悉尼大學(xué)使用了一個CNN［15］和遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）［16-18］來檢測車道線，CNN 提供了用于檢測車道線的幾何信息的車道線結(jié)構(gòu)。Kyungpook National University 將CNN 和RANSAC（RANdom Sample Consensus）算法相結(jié)合［19］，即使在復(fù)雜的道路場景中也能穩(wěn)定地檢測到車道信息。百度map project team 提出了一種用于車道線檢測的中立網(wǎng)絡(luò)（Dual-View Convolutional Neutral Network，DVCNN）［20］。韓國機器人與計算機視覺實驗室提出了一種提取多個感興趣區(qū)域［21］的方法，融合可能屬于同一類的區(qū)域，并使用主成分分析網(wǎng)絡(luò)（Principal Component Analysis Network，PCANet）［22］和神經(jīng)網(wǎng)絡(luò)對候選區(qū)域進行分類。

深度學(xué)習(xí)提取的特征信息不能直接使用，需要對直線特征點進行聚類與擬合。在車道線聚類和擬合算法中，常用的擬合模型有線性拋物線、最小二乘曲線擬合、三次曲線和貝塞爾曲線擬合［23-25］。

在以上基礎(chǔ)上，本文基于深度學(xué)習(xí)技術(shù)，提出了一種新的車道線檢測及自適應(yīng)擬合的方法。首先通過訓(xùn)練改進的Mask R-CNN［26］神經(jīng)網(wǎng)絡(luò)得到車道線特征；由于提取到的車道線特征只有離散的車道線的坐標信息，并不能直接使用，提出一種聚類算法對得到的離散車道線特征點信息進行聚類，這樣不僅可以有效地排除不同車道線互相之間的干擾，還能進一步獲取多車道線信息；最后為了實現(xiàn)車道線更精準、更全面的輸出，提出一種自適應(yīng)的車道線擬合方法，通過對駕駛區(qū)域進行劃分，采用直線擬合算法和三次樣條擬合算法分別對不同視野的區(qū)域內(nèi)的車道線進行分段擬合，從而提高車道線擬合算法的精度，最終生成最優(yōu)車道線擬合參數(shù)方程。

1 Mask R-CNN模型的改進和優(yōu)化

本文采用的神經(jīng)網(wǎng)絡(luò)模型建立在Mask R-CNN 深度學(xué)習(xí)框架之上，因為它是一個小巧、靈活的實例分割框架，可以實現(xiàn)最好的結(jié)果。Mask R-CNN 模型整體結(jié)構(gòu)如圖1 所示。Mask R-CNN 在概念上很簡單：Faster R-CNN 對每個候選對象有兩個輸出，一個類標簽和包圍框偏移量；在這個Mask RCNN 添加第三個分支，輸出對象掩碼，即輸出分割，這是一個二進制掩碼，表示對象在包圍框中的像素位置。但是，額外的掩碼輸出與類和框輸出不同，需要提取對象的更精細的空間布局。簡而言之，可以把Mask R-CNN 理解成為是一個在Faster R-CNN 之上的擴展模型，在每個感興趣區(qū)域（Region Of Interest，ROI）上加一個用于預(yù)測分割掩碼的分層，稱為掩碼層，能夠有效地檢測圖像中的目標，同時還能為每個實例生成一個高質(zhì)量的分割掩碼，就相當(dāng)于多任務(wù)學(xué)習(xí)。同時，掩碼層只會整個系統(tǒng)增加一小部分計算量，所以該方法運行起來非常高效，重要的是能夠同時得到目標檢測和實例分割的結(jié)果。

圖1 Mask R-CNN整體結(jié)構(gòu)Fig.1 Overall structure of Mask R-CNN

同時，Mask R-CNN 引入了ROI Align，如圖2所示，其思想是簡單地取消量化操作，使用雙線性插值得到浮點數(shù)坐標像素上的圖像值，將特征聚集過程轉(zhuǎn)化為一個連續(xù)的操作，以得到更準確的檢測結(jié)果輸出。值得注意的是，ROI Align 并不只是補充候選區(qū)域邊界上的坐標點，然后將它們集中起來。

圖2 Mask R-CNN所采用的ROI AlignFig.2 ROI Align used by Mask R-CNN

Mask R-CNN 主干網(wǎng)絡(luò)可以采用ResNet50 或者ResNet101，也可以用FPN 替換前面的整體結(jié)構(gòu)。本文采用ResNet101 作為Mask R-CNN 的骨干網(wǎng)絡(luò)進行特征提取，ResNet中包括有多個由conv、bias、BN（Batch Norm）組成的運算塊，考慮到在模型訓(xùn)練完成后只做前向運算的模型存在一些冗余的計算步驟。為了減少這些冗余的步驟，本文將每次bias 運算的βb（偏置），BN 運算的α（規(guī)模）、β（偏置）、μ（均值）和σ2（方差）五個參數(shù)合并簡化成α'和β'兩個參數(shù)，然后通過Y=α'X+β計算結(jié)果，減少運算塊中所需的運算次數(shù)和運算參數(shù)，從而達到提高模型運行速度的目的。

2 車道線自適應(yīng)擬合處理

2.1 聚類模型設(shè)計

雖然通過深度學(xué)習(xí)到了車道線特征，但提取到的車道線特征只有離散的車道線的坐標信息，并不能直接使用。因此本文提出一種將車道線的特征點聚類方法，這樣不僅可以有效地排除多車道線互相之間的干擾，還能進一步獲多車道線信息，為后續(xù)車道線的擬合提供更精準、更全面的輸入。

F(x，y) 表示提取到的特征點坐標，特征段B(xs，ys，xe，ye，k，b，n)表示由一系列車道線坐標組成的車道線標記線段信息。其中：(xs，ys)和(xe，ye)表示一段車道線的起始坐標和結(jié)束坐標，k和b為聚類特征坐標的直線參數(shù)，n表示當(dāng)前車道線線段的坐標數(shù)量。

通過深度學(xué)習(xí)提取到的車道線線段已經(jīng)包含的特征坐標信息點可以表示當(dāng)前車道線特征線段，于是本文采用最小二乘直線結(jié)合特征點來聚類特征直線，并根據(jù)特征點判斷線段橫向位置的連續(xù)性，具體采用的聚類方程如下：

其中B(k)表示為：

B(b) 表示為：

橫向約束條件為：

其中d為特征點的最大偏移距離。在圖像的透視效果下，d隨距離的增大而減小。

2.2 道路區(qū)域劃分

在進行擬合算法設(shè)計之前，需要先對路面區(qū)域進行劃分，假設(shè)智能駕駛車輛在數(shù)據(jù)采集過程中，車載攝機采集周期為10 ms，最高時速為200 km/h，通過計算，可以知道一個周期內(nèi)大約前進10 m。原則上，攝像機能得到的車輛前方最多能獲得100 m 標線的清晰圖像，過于遠處的車道線人眼也很難識別。通過攝像機采集得到的原始圖像如圖3 所示，本文將網(wǎng)絡(luò)模型識別到的整體車道線的上邊緣作為區(qū)域C，此區(qū)域以上是天空圖像，不包含車道標識線信息；B 區(qū)是中視野區(qū)域，存在弧度較大的曲線，其中的車道信息反映了車道線的曲率，需要采用復(fù)雜的擬合模型進行擬合處理；A 區(qū)是近視野區(qū)域，也是視野的主要部分，其中的車道可以近似為直線，可以采用簡單的擬合模型進行處理；這樣根據(jù)整體路面信息劃分之后，在設(shè)計擬合算法時，只需在劃分好的路面區(qū)域內(nèi)關(guān)注當(dāng)前車輛前方圖像的近視野和中視野區(qū)域內(nèi)的車道線以及不同區(qū)域內(nèi)的線性特點設(shè)計不同的擬合模型，以此提高擬合算法的準確性。

圖3 駕駛區(qū)域劃分Fig.3 Driving area division

2.3 擬合模型設(shè)計

2.3.1 直線擬合模型設(shè)計

近視野區(qū)域A 主要由直線組成，所以本文采用直線擬合模型進行處理。通常采用霍夫變換（Hough Transform，HT）和最小二乘法（Least Squares，LS）兩種算法獲取直線。霍夫變化是將直線檢測問題轉(zhuǎn)化為霍夫空間中的峰值問題；但霍夫變化算法本身有一些限制，當(dāng)霍夫變化算法應(yīng)用于含噪聲特征時，如果分辨率太小，則粗分辨率中的單元的數(shù)量將被分配到在精細分辨率下的多個較小的離散參數(shù)單元。累加器無法獲得足夠的累積票數(shù)，導(dǎo)致檢測失敗。因此，在有噪聲的影響的情況下，霍夫變化的檢測精度有限。

最小二乘法作為常用的線性回歸方法之一，則是從均方誤差的意義上獲得給定數(shù)據(jù)集的絕對精確的線；但最小二乘法對偏離回歸線的異常值非常敏感。若數(shù)據(jù)集中含有強噪聲時，整個數(shù)據(jù)集的分布標準偏差都會受到噪聲點影響，這使得噪聲點很容易被誤認為是正常的數(shù)據(jù)點，因此這些異常值不能被消除。當(dāng)這些數(shù)據(jù)點相對集中但包含一些強度相等并且在兩側(cè)分布的噪聲點時，它將導(dǎo)致新的回歸線在消除噪聲后在相反的方向上更加偏向一邊。因此，消除噪點在相反的方向變得越來越困難。

考慮到霍夫變換和最小二乘法各自的優(yōu)缺點，本文結(jié)合這兩種算法提出一種新的檢測方法，整體流程如圖4所示。

圖4 直線擬合整體流程Fig.4 Flowchart of linear fitting

首先利用霍夫變換確定直線所在的大致區(qū)域，然后對每條直線區(qū)域內(nèi)的已經(jīng)經(jīng)過聚類的特征點信息使用改進的最小二乘法確定直線參數(shù)，整體步驟如下：

1）對車道線離散特征點進行霍夫變換，獲取直線信息；

2）特征點集S中尋找距離得到的直線不大于d的特征點，構(gòu)成集合E；

3）集合E中利用最小二乘法確定直線參數(shù)k和b，以及均方誤差e；

4）對集合E中的任一特征點(xi，yi)進行劃分，滿足kxi+b＞yi的特征點構(gòu)成子集Epos，滿足kxi+b＜yi的特征點構(gòu)成Eneg；

5）在Epos和Eneg兩個集合中，找出并移除誤差最大的點，然后更新集合Epos和Eneg，重復(fù)第3）步，直到誤差e＜ε。

2.3.2 曲線擬合模型設(shè)計

對于車道線曲率不大的區(qū)域，直線擬合模型獲得的車道線信息基本可以滿足車道線檢測的需求，但并不能適應(yīng)曲率較大的車道線環(huán)境。本文將直線擬合模型只用于區(qū)域A中的車道線擬合，對于線性特點更加復(fù)雜的區(qū)域B 采用曲線模型設(shè)計?？紤]到常用的拋物線曲線擬合模型在直線和彎道的連接處不具有自適應(yīng)能力，本文在此之上采用一種線性的三階方程擬合模型，具體公式如下：

圖5 顯示了具有兩條車道的曲線擬合的示意圖，本文用式（6）中的三次多項式f(x)對聚類后的點進行擬合處理。在擬合過程中，每條車道線都是獨立的三次樣條模型。其中，L0，L1，L2，L3是曲線模型的參數(shù)信息，L0代表航向和偏航角，L1代表斜率，L2代表曲率，L3則代表曲率的變化率。

圖5 曲線擬合示意圖Fig.5 Schematic diagram of curve fitting

3 實驗結(jié)果及分析

3.1 Mask R-CNN模型實驗結(jié)果

在分割中通常使用交并比（Intersection Over Union，IOU）作為對分割精準度的一個標準測量標準。本文引入IOU 作為判別依據(jù)，將車道線的判斷準則定義如下：給定一條檢測到的車道線及其對應(yīng)的標注真值，將其柵格化為點集。定義車道線標注真值點集到檢測車道線點集的距離小于20 cm 的點個數(shù)為該標注車道線到檢測車道線的匹配點數(shù)。因此，輸入的離散點在真值區(qū)域內(nèi)被視為正檢點，正檢點的總長度為TP；輸入的離散點在真值區(qū)域內(nèi)被視為錯檢點，錯檢點的總長度為FP；所有標注真值的點集總和與TP的差為漏檢值漏檢長度FN，則最后得到的精度IOU表示為：

本文在CityScapes 數(shù)據(jù)集上驗證模型速度和精準度，CityScapes數(shù)據(jù)集是奔馳公司發(fā)布的一個大規(guī)模數(shù)據(jù)集，其中包含了50 個城市不同情況下的街景，以及30 類物體標注，共有超過5 000張的精細標注圖像，是目前公認的自動駕駛領(lǐng)域內(nèi)最具權(quán)威性和專業(yè)性的圖像語義分割評測集之一。本文在顯卡為GTX1080ti 的硬件設(shè)備下訓(xùn)練改進后的神經(jīng)網(wǎng)絡(luò)模型，并最后給出了和Mask R-CNN在該數(shù)據(jù)集上的檢測精度和處理速度，表1 為與原始模型的處理速度（Frame Per Second，PFS）對比，表2為與其他模型的精度對比。

表1 顯示了本文改進后的Mask R-CNN 模型與原始的Mask R-CNN 模型處理速度之間的對比。從表1中可以看出，本文改進后的模型與原始的模型相比，處理速度得到了較大提高。

表1 模型處理速度對比Tab.1 Comparison of model processing speed

本文在Cityscapes 數(shù)據(jù)集上將本文的模型和其他現(xiàn)有的模型進行了精度實驗對比，表2列出了對比實驗結(jié)果。從表2中可以看出，本文的模型分割精度具有較高的檢測精度，高于之前的分割模型，具有較好的魯棒性。

表2 Cityscapes數(shù)據(jù)集上模型精度對比Tab.2 Comparison of model accuracy on Cityscapes dataset

圖6 顯示了在不同場景下本文模型的訓(xùn)練結(jié)果，其中第一行為檢測的車道線信息，第二、三行為有整體路面信息約束下的車道線信息。從圖6中可以看出，本文提出的模型可以準確地識別不同駕駛場景下的車道線信息，同時也能很好地適應(yīng)不同的駕駛環(huán)境，在路面遮擋、曝光強等不同復(fù)雜環(huán)境干擾下依然能準確地檢測出當(dāng)前路面環(huán)境下的車道線特征。實驗結(jié)果證明，本文方法具有較高的檢測精度，能夠適應(yīng)不同的復(fù)雜真實環(huán)境，但在車道線邊緣仍存在一些噪點。噪點的出現(xiàn)和模型訓(xùn)練樣本數(shù)量不夠多、模型迭代次數(shù)較少有很大的關(guān)系，將采用更多的標注數(shù)據(jù)對模型訓(xùn)練、迭代，進一步提高模型的分割精度。

圖6 Mask R-CNN訓(xùn)練結(jié)果Fig.6 Training results of Mask R-CNN

3.2 車道線自適應(yīng)擬合實驗結(jié)果

為了驗證車道線擬合算法的魯棒性，本文在多個數(shù)據(jù)集上進行了當(dāng)前車道線檢測和多車道線檢測。其中包括國家自然科學(xué)基金委和西安交通大學(xué)發(fā)布的TSD 數(shù)據(jù)集，TSD 為第十屆中國自主駕駛未來挑戰(zhàn)賽（2018）視覺信息環(huán)境基本認知能力離線測試提供的測試數(shù)據(jù)集，TSD 數(shù)據(jù)集全部采集自中國的真實駕駛化境下的道路場景，其中包括陰影、遮擋、磨損和曝光過強等復(fù)雜的路面環(huán)境。表3 給出了在TSD 數(shù)據(jù)集下本文的自適應(yīng)分段擬合算法和其他擬合算法擬合精度之間的對比。實驗表明，本文的擬合算法平均精度為97.05%，均高于樣條曲線和貝塞爾曲線的擬合精度，具有較好的魯棒性。

表3 TSD數(shù)據(jù)集上不同擬合模型的結(jié)果 單位：%Tab.3 Results of different fitting models on TSD dataset unit：%

圖7 顯示了部分復(fù)雜場景下對車道線的擬合結(jié)果。從圖7中可以看出，直線模型或曲線模型只能單一解決不同的場景特點，當(dāng)場景明顯發(fā)生變化時，精度較差，無法很好地適應(yīng)不同場景下車道線彎道、遠處端點變換率大的線性特點。本文提出的自適應(yīng)分段擬合方法很好地解決了這個問題，本文采用擬合算法更符合真實的車道線特點，在車道線線段的近點、結(jié)合處和遠端擬合精度高，從圖中可以看出，本文的方法在彎曲角度較大、受到遮擋等干擾的復(fù)雜場景下依然具有較好的擬合效果，很好地適應(yīng)了不同真實駕駛環(huán)境下車道線的線性特點，生成的擬合方程更加精準。

圖7 多車道場景下擬合結(jié)果Fig.7 Fitting results in multi-lane scene

4 結(jié)語

本文提出了一種基于實例分割方法的復(fù)雜場景下車道線檢測方法。該方法將深度學(xué)習(xí)與傳統(tǒng)算法相結(jié)合。首先利用改進后深度學(xué)習(xí)網(wǎng)絡(luò)模型提高特征點提取的精度和處理速度；然后在不同視野內(nèi)利用分段擬合算法對提取的特征信息進行擬合；最后實現(xiàn)在各種復(fù)雜環(huán)境下車道線信息的魯棒提取。結(jié)果表明，本文改進的深度學(xué)習(xí)網(wǎng)絡(luò)模型能夠更好地適應(yīng)各種類型的道路場景，在直線、彎道、背光場景及車輛遮擋場景下，該算法具有較好的檢測精度，魯棒性強，并具有更高的檢測速度。為了使其更具有市場實用性，進一步提高處理速度和檢測精度是下一步工作的研究重點。