呂可晶，嚴(yán) 虹

(1.中國科學(xué)院地理科學(xué)與資源研究所 資源與環(huán)境信息系統(tǒng)國家重點實驗室，北京 100101；2.中國科學(xué)院大學(xué) 資源與環(huán)境學(xué)院，北京 100049)

隨著無人駕駛的興起，以及其他基于位置的新型服務(wù)和行業(yè)的出現(xiàn)，使得地圖的服務(wù)對象不再僅僅是人類，而是逐漸向機(jī)器過渡，這對地圖的精度、內(nèi)容結(jié)構(gòu)和計算模式等都提出了新的要求[1]。高精度地圖作為實現(xiàn)無人駕駛中的重要環(huán)節(jié)，包含了豐富的動態(tài)信息，可以為無人駕駛提供精準(zhǔn)的定位、輔助環(huán)境感知，同時提高無人駕駛的安全性[2]。相比于傳統(tǒng)的導(dǎo)航電子地圖，高精度地圖不僅要求亞米級的高精度絕對坐標(biāo)，而且要能準(zhǔn)確描繪道路形狀、車道線、車道中心線和交通標(biāo)志等道路交通信息元素，具備高精度(高地圖數(shù)據(jù)精度)、高豐富度(高地圖數(shù)據(jù)類型)、高實時性(高地圖更新頻率)等特點[3]。車道線是自動駕駛高精度地圖的重要組成部分，指示并約束車輛在車道中行駛，車道線檢測成為高精度地圖生產(chǎn)的重要環(huán)節(jié)之一。

目前，高精度地圖的車道線檢測多是采用車載單/多目攝像機(jī)傳感器獲取車道線信息，這類車道檢測方法分為兩類，一種是基于特征方法，通過分析圖像的顏色、梯度以及邊緣等低層次特征提取車道線[4-6]。如：周宏宇等[7]使用Haar特征提取車道線特征，選擇AdaBoost分類器實現(xiàn)了較高的檢測精度；易世春等[8]利用圖像梯度對道路有效邊緣特征進(jìn)行提取、聚類和分類形成車道線；另一種則利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力進(jìn)行車道線檢測[9-10]。如Huval等[11]基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車道線的檢測；Neven等[12]設(shè)計了LaneNet和H-Net分支網(wǎng)絡(luò)模型，預(yù)測轉(zhuǎn)換矩陣H，并使用轉(zhuǎn)換矩陣H透視變換到鳥瞰視圖，對屬于同一車道線的像素點進(jìn)行聚類，實現(xiàn)了多條車道線端到端的檢測。

但是這些基于車載影像的檢測方法存在以下問題：1)地面攝像頭的成像范圍有限，單次檢測覆蓋范圍過小，大規(guī)模檢測時效率較低，不適合大規(guī)模的高精度地圖制作；2)地面成像視角，使檢測的車道線需要經(jīng)過透視變換獲得俯視圖生成完整的高精度地圖，透視變換會引入投影誤差，當(dāng)多張俯視圖拼接時誤差累計傳遞難以控制；3)地面影像采集設(shè)備依賴GPS和慣性導(dǎo)航設(shè)備獲取坐標(biāo)信息，定位信號的丟失會造成局部車道線位置信息丟失；4)地面數(shù)據(jù)采集車成本高、部署不便，高精度地圖的每次更新都需要將采集設(shè)備發(fā)送到任務(wù)區(qū)，經(jīng)濟(jì)性不高，更新不靈活。

高分辨率遙感影像是地圖繪制的重要數(shù)據(jù)源，利用高分辨率影像提取道路信息[13-16]，一直以來都是比較熱門的研究課題，但受限于遙感影像的空間分辨率(大多為米級以上)，難以提取車道級信息(需要厘米級)，此外遙感影像更新周期也不夠靈活。相較于衛(wèi)星遙感影像，無人機(jī)可以靈活獲取厘米級精度的高分辨率影像，同時與車載攝像頭相比，無人機(jī)具有成像視角和成像高度的優(yōu)勢，可以獲得大范圍的俯視影像，是繪制更新高精度地圖的理想數(shù)據(jù)源。但是由于無人機(jī)影像中非道路區(qū)域背景復(fù)雜，車道線目標(biāo)狹小難以直接檢測，目前基于航拍影像提取車道的研究很少，現(xiàn)有如：Azimi等[17]提出了一種Aerial LaneNet網(wǎng)絡(luò)，基于全卷積網(wǎng)絡(luò)直接從無人機(jī)影像檢測車道線；Jin等[18]通過離散小波變換對無人機(jī)影像將分辨率處理，使用傳統(tǒng)的閾值分割識別道路區(qū)域，過濾非車道區(qū)域的特征。

綜上所述，基于車載影像檢測車道線的方法不適用大規(guī)模高精度地圖制作和更新，而衛(wèi)星遙感影像方法受限于空間分辨率和更新周期，無法快速靈活獲得車道級的信息。目前少量的基于無人機(jī)影像數(shù)據(jù)的車道檢測研究，也存在以下問題：1)針對航拍影像的車道線檢測數(shù)據(jù)集相對缺失，航拍影像中車道線目標(biāo)較小容易造成樣本不均衡，且航拍道路影像中道路路面具有相似性，難以產(chǎn)生差異性的樣本集[19]，這直接影響深度學(xué)習(xí)方法的訓(xùn)練和檢測效果；2)現(xiàn)有基于航拍影像提取車道線的研究，多使用傳統(tǒng)方法識別道路區(qū)域，難以有效去除非道路區(qū)域噪聲干擾。

針對這些問題，筆者提出了新的基于U-Net網(wǎng)絡(luò)和圖像視覺特征的解決方案。使用U-Net網(wǎng)絡(luò)對無人機(jī)影像語義分割獲取道路區(qū)域，再結(jié)合影像的視覺特征在道路區(qū)域內(nèi)進(jìn)一步檢測車道線，實現(xiàn)基于無人機(jī)航拍影像的車道線提取。本方法的優(yōu)點是：1)以無人機(jī)影像作為數(shù)據(jù)源，具有影像成像范圍廣和無須透視變換的特點，避免了地面攝像頭影像成像范圍小，多次透視變換拼接誤差累積的問題；2)采用深度學(xué)習(xí)U-Net網(wǎng)絡(luò)識別道路區(qū)域，更好地解決非道路區(qū)域背景噪聲影響；3)在道路區(qū)域內(nèi)利用車道線顏色和結(jié)構(gòu)特性檢測車道線，不需要額外高質(zhì)量的訓(xùn)練數(shù)據(jù)集。本研究中提出的車道線檢測方法可以幫助高精度地圖實現(xiàn)低成本、高效、靈活的繪制與更新。

1 技術(shù)路線

本文中基于無人機(jī)影像提取車道線的方法分為：道路區(qū)域識別、車道線特征提取和道路區(qū)域內(nèi)的車道線檢測，如圖1所示。道路區(qū)域識別通過構(gòu)建U-Net網(wǎng)絡(luò)模型，并對其訓(xùn)練用以分割無人機(jī)航拍影像，識別出道路區(qū)域作為掩膜。道路區(qū)域內(nèi)的車道線提取依賴于無人機(jī)影像的視覺特征，通過顏色空間變換提取圖像顏色特征，使用Sobel算子提取車道線邊緣方向的梯度，并借助道路區(qū)域掩膜過濾掉非道路背景噪聲，使用Otsu算法對車道線顏色特征和梯度特征分割，獲得二值化車道線特征圖。車道線檢測基于形態(tài)學(xué)濾波后的二值化特征圖，使用滑動窗口算法實現(xiàn)車道線的定位并采用多項式擬合。

圖1 基于無人機(jī)影像提取車道線方法流程Fig. 1 Flow chart of lane line extraction based on UAV image

2 研究方法

2.1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

U-Net網(wǎng)絡(luò)[20]建立在FCN網(wǎng)絡(luò)基礎(chǔ)之上，最初用來做醫(yī)學(xué)圖像的處理目前也已廣泛應(yīng)用到遙感地物提取方面。U-Net網(wǎng)絡(luò)是一種U型編碼器——解碼器結(jié)構(gòu)，與CNN等大多數(shù)網(wǎng)絡(luò)類似，U-Net網(wǎng)絡(luò)主要由輸入層、隱藏層、輸出層構(gòu)成。編碼階段圖2左側(cè)與VGG網(wǎng)絡(luò)類似，主要由簡單的卷積、池化下采樣構(gòu)成。采用的是3×3和1×1的卷積核進(jìn)行卷積操作，其中3×3用于提取特征，1×1用于改變維度。將用于下采樣的最大池化層尺寸設(shè)置為2×2，獲得包括輸入的圖像總計5個尺度。在解碼階段圖2右側(cè)進(jìn)行上采樣和多尺度特征融合，逐步恢復(fù)空間維度并修復(fù)物體的細(xì)節(jié)信息。U-Net網(wǎng)絡(luò)使用轉(zhuǎn)置卷積卷積完成上采樣，將編碼階段各個尺度的特征信息進(jìn)行拷貝，分別疊加到解碼階段相對應(yīng)的特征圖中實現(xiàn)多尺度特征融合。對比于FCN的躍級結(jié)構(gòu)不同，U-Net網(wǎng)絡(luò)特征融合的方式在channel維度進(jìn)行拼接形成更厚的高維度特征，從而減少下采樣過程中的信息損失，為特征圖增加細(xì)節(jié)信息提高分割的精度。

隨著網(wǎng)絡(luò)層數(shù)的加深，激活函數(shù)輸入值的分布在訓(xùn)練過程中會逐漸偏移，使得反向傳播時低層的神經(jīng)網(wǎng)絡(luò)梯度消失。針對梯度消失問題，使用批標(biāo)準(zhǔn)化(batch normalization，BN)，固定每層神經(jīng)網(wǎng)絡(luò)的輸入分布，以此解決梯度彌散問題。

圖2 U-Net網(wǎng)絡(luò)模型結(jié)構(gòu)Fig. 2 Structure of U-Net

2.2 車道線視覺特征提取

我國對于車道線的線型、線寬、顏色等有明確的規(guī)定，相對于路面環(huán)境車道線的顏色特性和結(jié)構(gòu)特性明顯，根據(jù)這些特征即可實現(xiàn)車道線的檢測和定位，使用梯度特征和顏色特征進(jìn)行車道線檢測。

2.2.1 顏色特征

低空無人機(jī)影像多采用RGB顏色模式，顏色空間是一種心理物理色的顏色系統(tǒng)，難以模擬人類對顏色的視覺感知，且不易分割和計算。根據(jù)《道路交通標(biāo)志和標(biāo)線》[21]規(guī)定，我國的車道線為白色和黃色兩種，在HSL顏色空間中白色和黃色的飽和度明顯高于路面環(huán)境顏色，因此HSL顏色空間更適合分離車道線。HSL空間以S分量表示飽和度，白色和黃色在的值遠(yuǎn)大于路面顏色，根據(jù)S分量可以從路面區(qū)域中分離出車道線。

2.2.2 梯度特征

車道線相比于周圍路面環(huán)境有著明顯的梯度、灰度等邊緣特征。常用的等邊緣提取算法如Canny算法，提取車道線特征的同時，也會提取圖像中其他方向無關(guān)的邊緣梯度特征引入噪音。相對于Canny算子，Sobel算子可以單獨計算橫向或者縱向的梯度，通過橫向和縱向的梯度獲得像素的梯度方向，因此使用Sobel算子來提取道路的邊緣梯度特征。Sobel算子求圖像方向梯度的過程可以理解為求圖像的x、y方向的一階偏導(dǎo)數(shù)，為了簡化計算往往使用離散差分算子來求得近似的梯度，如圖3所示。

圖3 Sobel算子Fig. 3 Sobel operator

(1)

式中：Gx，Gy分別表示沿x和y方向的方向梯度，θ表示梯度方向。

2.2.3 特征提取

路面背景下車道線視覺特征明顯，因此使用閾值法分別從增強(qiáng)后的顏色和梯度特征圖中提取車道線特征。閾值法的關(guān)鍵是選擇一個合適的閾值，針對不同影像閾值多有差別，Otsu算法可以通過最大化自動設(shè)置最佳閾值。

(2)

Gx∪SHSL，

(3)

式中：Gx表示圖像的橫向梯度二值矩陣，SHSL表示HSL顏色空間S分量的閾值二值矩陣。

2.3 滑動窗口檢測算法

基于車道線的顏色和梯度特征，采用滑動窗口算法來進(jìn)一步檢測車道線，算法流程如圖4所示。首先，設(shè)定諸如滑動窗口尺寸、窗口內(nèi)最少非零像素點數(shù)等參數(shù)，根據(jù)滑窗高度以及航拍影像的尺寸，計算出滑動窗口個數(shù)n。分別以各車道線的大致位置作為初始滑窗的下邊界中點，保存窗口內(nèi)的所有非零像素點的坐標(biāo)，統(tǒng)計該窗口內(nèi)的非零像素點個數(shù)并于閾值，若大于閾值計算滑窗內(nèi)所有非零像素點的橫坐標(biāo)均值，作為下一個滑窗的下邊線中點，該滑窗的上邊界縱坐標(biāo)始終作為下一個滑窗的下邊界縱坐標(biāo)，循環(huán)直至滑窗個數(shù)達(dá)到n完成該條車道線的滑窗檢測。完成滑窗檢測后，根據(jù)存儲的滑窗中非零像素點的坐標(biāo)，進(jìn)行多項式擬合分別提出各條車道線實例。

圖4 滑動窗口算法流程圖Fig. 4 Flow chart of sliding window algorithm

3 實驗

3.1 實驗數(shù)據(jù)

訓(xùn)練數(shù)據(jù)包括來源于2015 CCF大賽的航拍數(shù)據(jù)和筆者自采的湖北某地航拍數(shù)據(jù)，共256幅。前者共標(biāo)注了5類物體，分別是背景(標(biāo)記為0)、植被(標(biāo)記為1)、道路(標(biāo)記為2)、建筑(標(biāo)記為3)、水體(標(biāo)記為4)，這里對該數(shù)據(jù)標(biāo)簽進(jìn)行修改，僅分為道路和非道路兩類。所有數(shù)據(jù)的尺寸被統(tǒng)一調(diào)整為512×512，構(gòu)成整個數(shù)據(jù)集，并按照7：2：1的比例劃分訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)。

3.2 U-Net模型訓(xùn)練及道路區(qū)域識別

選用二元交叉熵?fù)p失函數(shù)(binary cross entropy，BCE)，將批大小(Batchsize)設(shè)置為4，將初始學(xué)習(xí)率設(shè)為0.001，采用Polynomial學(xué)習(xí)率下降方法和Adam優(yōu)化算法，并設(shè)置迭代次數(shù)(Epoch)為100，通過最小化二元交叉熵?fù)p失函數(shù)訓(xùn)練U-Net網(wǎng)絡(luò)，損失函數(shù)值的下降過程如圖5所示。盡管U-Net網(wǎng)絡(luò)在較小的數(shù)據(jù)集上就能表現(xiàn)出強(qiáng)大的分割性能，但是作為深度學(xué)習(xí)網(wǎng)絡(luò)，網(wǎng)絡(luò)的性能極大地依賴于訓(xùn)練數(shù)據(jù)集。因此，在訓(xùn)練時通過隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)、截取、模糊，以及隨機(jī)變換亮度、對比度、飽和度、色調(diào)等手段對數(shù)據(jù)集增強(qiáng)。使用訓(xùn)練好的網(wǎng)絡(luò)模型對航拍影像進(jìn)行語義分割。

圖5 損失函數(shù)下降過程Fig. 5 Loss function diagram

道路區(qū)域識別本質(zhì)是圖像語義分割，可以使用混淆矩陣來定量的評價分割的精度，因此采用準(zhǔn)確率P、召回率R以及交并比IoU作為基礎(chǔ)的評價指標(biāo)。這些評價指標(biāo)定義如下：

(4)

式中：NTP表示被正確分割為道路區(qū)域像素點的個數(shù)，NFP表示非道路區(qū)域像素但被分割為道路區(qū)域的像素個數(shù)，NFN表示道路區(qū)域像素但被分割為非道路區(qū)域的像素個數(shù)，分割結(jié)果見表1和圖6。

表1 U-Net網(wǎng)絡(luò)道路區(qū)域識別評價

圖6 道路區(qū)域識別效果Fig. 6 Result of road area recognition

3.3 車道線特征提取

通過顏色空間變換將原始航拍影像變換為HSL顏色空間，HSL即色相、飽和度、亮度，該顏色空間使用一個圓錐空間模型來描述，可以很好地反映色調(diào)、亮度和飽和度的變化，并且可以更好地定義和描述一種顏色，十分適合處理飽和度變化明顯的圖像。如圖7所示在道路區(qū)域中，黃色和白色的車道線相對于路面顏色飽和度差異明顯，因此選用HSL中的S通道提取車道線的顏色特征。

圖7 HSL顏色空間各通道顏色特征Fig. 7 Color characteristics of each channel in color space HSL

車道線的結(jié)構(gòu)性特征使得車道線邊緣梯度突變往往發(fā)生在某一特定方向，求取該方向的梯度能夠有效提取出車道邊緣特征，也避免了引入其他方向的邊緣噪聲。該方向可以通過統(tǒng)計梯度方向的眾數(shù)獲得，對圖像施加該角度的旋轉(zhuǎn)變換，使得車道線與圖像橫向邊緣垂直，計算變換之后的橫向梯度間接獲得車道線在該方向上的梯度邊緣特征，如圖8所示。

圖8 車道線梯度特征Fig. 8 Gradient characteristics of lane

對上述特征分別進(jìn)行ROI掩膜處理過濾非道路區(qū)域噪音，并使用Otsu算法進(jìn)行閾值分割獲得二值化的車道線顏色和梯度，聯(lián)合車道線顏色梯度特征，并使用形態(tài)學(xué)濾波的方法對特征圖進(jìn)行處理，消除二值圖像中的小目標(biāo)(如毛刺和孤立點)，填充凹陷彌合孔洞和裂縫，獲得如圖9所示的二值化后的車道線特征。

圖9 Otsu算法二值化的車道線特征Fig. 9 Binary lane feature by Otsu

3.4 車道線檢測

滑動窗口算法需要確定車道線的起始位置以及車道線的數(shù)目，將表示車道線顏色和梯度特征的二值圖像按一定角度旋轉(zhuǎn)變換，使得車道線垂直于特征圖的橫向邊緣，統(tǒng)計特征圖每列非零像元個數(shù)繪制特征直方圖(圖10(a))，根據(jù)車道線之間像素距離確定特征直方圖的局部最大值，以此確定車道線的數(shù)目和車道線在圖像中的初始位置，并使用滑動窗口算法準(zhǔn)確地檢測車道線像素，如圖10(b)所示，并采用多項式擬合滑窗內(nèi)的非零像素，擬合結(jié)果如圖11所示。

圖10 車道線特征直方圖及滑動窗口檢測車道線Fig. 10 Histogram of lane line and result of sliding window algorithm

圖11 車道線檢測擬合效果圖Fig. 11 Reuslt of lane line detection

目前評估車道線檢測的方法主要通過統(tǒng)計檢測到的車道線條數(shù)與真實車道線條數(shù)的比例來計算準(zhǔn)確率和召回率。準(zhǔn)確率為檢測到的車道線中真實車道線的比例，召回率為檢測正確的車道線占全部真實車道線的比例。據(jù)文獻(xiàn)[22]，針對車載攝像頭影像，Hough變換檢測方法的準(zhǔn)確率和召回率為63.47%和59.04%，LaneNet的準(zhǔn)確率和召回率為92.81%和93.19%。在檢測效率方面，按照攝像頭平均成像幀率30 fps，車輛行駛速度60 km/h換算，Hough變換檢測方法的檢測效率為4.6 m/s，LaneNet方法的檢測效率為10.4 m/s。

在實驗中，根據(jù)無人機(jī)俯視影像的特點，將車道線的寬度定義為10個像素建立車道線緩沖區(qū)，檢測的車道線與實際車道線的緩沖區(qū)有重疊則認(rèn)為檢測正確，以檢測到的車道線長度與真實車道線完全重合的長度比例來計算準(zhǔn)確率和召回率。參照上文公式(4)，其中TP表示被正確識別的車道線長度，F(xiàn)P表示錯誤識別為車道線的長度，F(xiàn)N表示真實車道線中未被識別的長度。經(jīng)實驗計算精確率為79.01%，召回率為83.12%。而在檢測效率方面，單幅影像檢測的道路長度達(dá)到了百米以上，檢測效率為25.2 m/s。因此如表2所示，相比其他方法，本方法具有明顯的效率優(yōu)勢。

同時，本檢測方法在單次檢測結(jié)果的基礎(chǔ)上，還可以經(jīng)過質(zhì)量檢查調(diào)整滑窗和擬合參數(shù)，進(jìn)行二次修正，最終能夠達(dá)到100%擬合實際車道線的效果。

表2 實驗結(jié)果對比

4 結(jié)論與討論

選用無人機(jī)影像作為數(shù)據(jù)源，充分利用無人機(jī)影像空間分辨率高、成像范圍廣和無須透視變換的優(yōu)點。針對無人機(jī)影像的特點，避開了采用單一深度學(xué)習(xí)直接檢測車道線的方法，而是提出了新的深度學(xué)習(xí)和圖像視覺特征相結(jié)合的車道線提取方案：使用U-Net網(wǎng)絡(luò)對航拍影像分割獲取道路區(qū)域，計算道路區(qū)域內(nèi)車道線的梯度和顏色特征，并使用Otsu算法進(jìn)行閾值分割，借助特征直方圖使用滑動窗口和多項式擬合檢測擬合車道線。通過實驗測試，本方法在保證一定精度前提下，實現(xiàn)了遠(yuǎn)高于地面影像的檢測效率，在一定程度上可以幫助高精度地圖低成本、高效、靈活地獲取與更新車道線信息。未來將進(jìn)一步針對路面標(biāo)線模糊、陰影遮擋、路面車輛等問題進(jìn)行優(yōu)化研究。