王志紅，王少博，顏莉蓉，袁 雨

(武漢理工大學(xué) 汽車工程學(xué)院，湖北 武漢 430070)

0 引言

根據(jù)統(tǒng)計(jì)數(shù)據(jù)顯示，自2007年以來中國(guó)16.12%的交通事故都與低附著率的道路狀況有關(guān)[1]。通過對(duì)事故特點(diǎn)的分析，可以得出在水、雪、冰、凍結(jié)路面條件下，交通事故率增加，路面條件對(duì)公路交通安全和運(yùn)輸效率影響較大。試驗(yàn)表明，駕駛員及時(shí)了解當(dāng)前行駛的路面狀況，能夠有效地降低交通事故的發(fā)生，因此關(guān)于路面狀況識(shí)別技術(shù)的研究已經(jīng)很迫切[2]。

在汽車制動(dòng)性能的研究中，常將路面狀況分表1所示的8種情況，這幾種情況基本已經(jīng)涵蓋了所有汽車可能行駛的路面狀態(tài)，冰雪路面附著系數(shù)明顯低于普通路面附著系數(shù)，也是交通事故頻發(fā)的重要原因。

表1 路面狀況分類及附著系數(shù)[3]Tab.1 Road condition classification and adhesion coefficient[3]

目前路面識(shí)別技術(shù)主要包括：(1)通過光學(xué)傳感器測(cè)量路面粗糙度和干濕狀態(tài)預(yù)測(cè)路面附著系數(shù)[4]。(2)通過輪胎中安裝壓電傳感器測(cè)量局部應(yīng)變應(yīng)力識(shí)別路面[5]。(3)通過附著系數(shù)隨滑移率的變化識(shí)別路面[6]。(4)通過麥克風(fēng)獲取車輛和輪胎噪聲，進(jìn)行路面狀態(tài)識(shí)別[7]。(5)基于機(jī)器視覺的方法識(shí)別路面。但是方法1由于光學(xué)傳感器受工作環(huán)境和外部因素影響較大，所以近些年研究較少；方法2因傳感器安裝在車輪中，所以需要無線傳輸和能量自給，導(dǎo)致價(jià)格較高，不夠穩(wěn)定；方法3對(duì)外界的抗干擾性比較差，并且對(duì)滑移率的估計(jì)精度要求較高；方法4因行車中噪音較多并且噪音產(chǎn)生機(jī)理比較復(fù)雜，因此難以準(zhǔn)確預(yù)測(cè)[8]；方法5因硬件成本低、識(shí)別效果好，成為了當(dāng)今研究的熱點(diǎn)。

目前有以下幾種效果較好的路面識(shí)別技術(shù)，提出了一種通過車載攝像頭，使用多分類器的路面狀態(tài)識(shí)別系統(tǒng)。該系統(tǒng)首先通過攝像頭獲取路面信息，通過預(yù)處理模塊獲得感興趣區(qū)域，然后通過預(yù)訓(xùn)練的多分類器進(jìn)行路面識(shí)別獲取分類結(jié)果，試驗(yàn)結(jié)果表明干濕路面的分類精度為86%。文獻(xiàn)[9]提出一種基于BP神經(jīng)網(wǎng)絡(luò)的路面狀態(tài)識(shí)別方法，BP網(wǎng)絡(luò)的輸入?yún)?shù)通過多傳感器獲得，試驗(yàn)表明在特定車輛模型和速度恒定的情況下，路面附著系數(shù)預(yù)測(cè)誤差為0.05左右，但是神經(jīng)網(wǎng)絡(luò)參數(shù)需要針對(duì)特定車輛模型，因此難以普及使用。文獻(xiàn)[10]提出一種基于SVM(支持向量機(jī))對(duì)攝像頭獲取的路面圖片進(jìn)行分類的算法，試驗(yàn)結(jié)果表明分類精度可達(dá)90%。文獻(xiàn)[11]提出一種使用加速度傳感器和相機(jī)特征數(shù)據(jù)融合對(duì)路面類型進(jìn)行分類的方法，試驗(yàn)結(jié)果表明分類精度可達(dá)90%。文獻(xiàn)[12]提出了一種深度學(xué)習(xí)模型，通過處理攝像頭獲取的路面信息進(jìn)行路面附著系數(shù)的識(shí)別，算法分為兩步，第1步進(jìn)行路面種類的識(shí)別，第2步進(jìn)行路面附著系數(shù)高低的評(píng)估。試驗(yàn)結(jié)果表明第1步精度可達(dá)97%，第2步精度可達(dá)89%。以上效果較好的識(shí)別算法中大部分是基于機(jī)器視覺的，也說明了機(jī)器視覺是當(dāng)今路面識(shí)別算法的主流。雖然以上方法取得了一定的成果，但是識(shí)別算法的魯棒性和識(shí)別精度仍然有較大的提升空間。

本研究基于深度學(xué)習(xí)語義分割模型[13-14]提出了一種新的識(shí)別算法。首先通過Label(一種數(shù)據(jù)集標(biāo)注工具)對(duì)收集的路面數(shù)據(jù)集進(jìn)行像素點(diǎn)和類別的標(biāo)注，使用深度學(xué)習(xí)語義分割模型對(duì)制作好的數(shù)據(jù)集進(jìn)行800 epoch(批次)的訓(xùn)練，保存訓(xùn)練權(quán)重。根據(jù)訓(xùn)練權(quán)重預(yù)測(cè)通過攝像頭采集到的路面圖片，結(jié)果會(huì)得到圖片中每一個(gè)像素點(diǎn)的分類標(biāo)簽，除去背景標(biāo)簽，將數(shù)目最多的類型標(biāo)簽作為最終道路類型的預(yù)測(cè)結(jié)果。

1 制作數(shù)據(jù)集和搭建網(wǎng)絡(luò)模型

1.1 制作數(shù)據(jù)集

根據(jù)中國(guó)常見道路類型，從百度、360、搜狗搜索引擎中下載大量路面圖片，這樣可以保證數(shù)據(jù)集樣本的多樣性。將篩選出的路面圖片分為以下9類：瀝青(干)、瀝青(濕)、混凝土(干)、混凝土(濕)、土路(干)、土路(濕)、礫石、雪地(壓實(shí))和冰面。共挑選出2 700張路面圖片，每1類別包含300張。訓(xùn)練、驗(yàn)證和測(cè)試的圖片數(shù)量如表2所示。

表2 數(shù)據(jù)集結(jié)構(gòu)及數(shù)目Tab.2 Data set structure and numbers

使用Ubuntu系統(tǒng)的Labelme[15]工具對(duì)收集的數(shù)據(jù)集進(jìn)行標(biāo)注，不同類別的道路使用不同的標(biāo)簽。標(biāo)注完成后，每張圖片會(huì)得到一個(gè)Json類型的文件。通過Python編程實(shí)現(xiàn)Json文件批量轉(zhuǎn)化為圖片格式，轉(zhuǎn)化時(shí)每種類別的標(biāo)簽采用不同的顏色。表3是從每一類道路數(shù)據(jù)集中選取的樣本。數(shù)據(jù)集的結(jié)構(gòu)分為test，test_labe，train，train_label，val，val_label和class_dict, 前6個(gè)文件夾分別存放測(cè)試、訓(xùn)練和驗(yàn)證數(shù)據(jù)集的圖片和標(biāo)簽，class_dict用來說明每一個(gè)標(biāo)簽對(duì)應(yīng)的RGB值。

表3 數(shù)據(jù)集樣本Tab.3 Data set samples

1.2 搭建FC-DensenNet56模型

本研究使用的語義分割網(wǎng)絡(luò)模型是FC-DensenNet56[16-17]。此網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，主要包括5個(gè)下采樣模塊TD和5個(gè)上采樣模塊TU。實(shí)線代表模塊之間的連接，箭頭代表數(shù)據(jù)的流向，中間的虛線代表跳變連接，它將下采樣路徑中的特征圖直接與上采樣路徑中對(duì)應(yīng)的特征圖連接起來。

圖1 FC-DensenNet56網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Fc-DensenNet56 network structure

模型中包含10個(gè)DB模塊[18]，每個(gè)DB模塊主要包括4個(gè)卷積層。第1層產(chǎn)生k個(gè)特征圖，這k個(gè)特征圖直接與輸出相連，同時(shí)傳入第2層。第2層也產(chǎn)生k個(gè)特征圖，同時(shí)輸入到第3層。這樣的操作進(jìn)行4 次，最終會(huì)輸出4×k個(gè)特征圖。DB網(wǎng)絡(luò)模型用于語義分割主要有以下3個(gè)優(yōu)點(diǎn)：(1)緩解了特征圖數(shù)量的激增。(2)DB 模塊采用的上采樣結(jié)構(gòu)比普通的上采樣效果要好。(3)該模型無需預(yù)訓(xùn)練模型和后處理。

模型中包含5個(gè)TU模塊 ，TU模塊為上采樣模塊。它由1層反卷積層組成，采用3×3的卷積核對(duì)DB模塊輸出的特征圖進(jìn)行反卷積操作，步長(zhǎng)為2。卷積核的最優(yōu)參數(shù)可以通過學(xué)習(xí)得到，因此上采樣效果優(yōu)于插值方法的上采樣操作效果。

數(shù)據(jù)集中的圖片來源于互聯(lián)網(wǎng)，因此圖片尺寸不同。為了減少網(wǎng)絡(luò)參數(shù)和資源的占用，在圖片輸入到網(wǎng)絡(luò)之前，將圖片尺寸統(tǒng)一裁剪成128×96。

2 訓(xùn)練模型和預(yù)測(cè)圖片

2.1 訓(xùn)練語義分割模型

使用前面制作的路面分類數(shù)據(jù)集，對(duì)FC-DensenNet56語義分割網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練時(shí)的基本參數(shù)設(shè)置如表4所示。其中深度學(xué)習(xí)模型的梯度下降學(xué)習(xí)率值一般根據(jù)經(jīng)驗(yàn)值獲取，即一般不存在普遍性規(guī)律，本研究參數(shù)采用經(jīng)驗(yàn)值0.000 1。

表4 模型基本參數(shù)設(shè)置Tab.4 Setting basic parameters of model

經(jīng)過大約7 h的訓(xùn)練，完成800 epoch。訓(xùn)練過程中平均Loss隨epoch的變化如圖2所示，平均驗(yàn)證精度隨epoch的變化如圖3所示，平均Iou值隨epoch的變化如圖4所示。

圖2 平均損失函數(shù)圖Fig.2 Graph of average loss function

圖3 訓(xùn)練驗(yàn)證精度圖Fig.3 Graph of training verification accuracy

圖4 平均占空比精度圖Fig.4 Graph of average IOU accuracy

由圖2可知經(jīng)過800 epoch的訓(xùn)練，損失值已經(jīng)明顯下降到比較低的水平，到訓(xùn)練結(jié)束平均損失值大約為0.6左右，并且逐漸收斂。由圖3可知，單個(gè)像素點(diǎn)的平均驗(yàn)證精度已達(dá)95%左右。由圖4可知平均Iou值也隨著訓(xùn)練的進(jìn)行逐漸上升，最終平均Iou值為0.9左右。

2.2 預(yù)測(cè)圖片

使用訓(xùn)練好的權(quán)重和搭建的模型對(duì)200張圖片進(jìn)行預(yù)測(cè)，訓(xùn)練和預(yù)測(cè)使用的平臺(tái)硬件配置如表5所示，針對(duì)像素點(diǎn)的預(yù)測(cè)正確率如表6所示，預(yù)測(cè)效果指標(biāo)如表7所示。由表6可知，9種路面所對(duì)應(yīng)像素點(diǎn)的正確率平均為98%，背景所對(duì)應(yīng)像素點(diǎn)的正確率為93.9%。單張圖片中的背景像素點(diǎn)占總像素點(diǎn)的比例較大，背景像素點(diǎn)的預(yù)測(cè)精度較低。同時(shí)可以發(fā)現(xiàn)結(jié)構(gòu)化路面的識(shí)別精度較高，例如瀝青、混泥土路面；非結(jié)構(gòu)化路面識(shí)別精度較低，例如冰面、雪地和礫石路面。由表7可知，所有像素點(diǎn)的平均精度為94%左右；每張圖片的平均預(yù)測(cè)時(shí)間為0.028 6 s，視頻輸出達(dá)到25幀以上時(shí)可滿足實(shí)時(shí)性要求，處理時(shí)間理論上滿足實(shí)時(shí)預(yù)測(cè)的要求。

表5 試驗(yàn)平臺(tái)硬件配置參數(shù)Tab.5 Hardware configuration parameters of experimental platform

表6 圖片像素點(diǎn)的識(shí)別結(jié)果Tab.6 Image pixel recognition result

表7 預(yù)測(cè)效果指標(biāo)Tab.7 Prediction effect indicators

3 理論分析預(yù)測(cè)結(jié)果

語義分割模型是對(duì)圖片中的每一個(gè)像素點(diǎn)進(jìn)行預(yù)測(cè)，輸入模型中的每一張圖片的每一個(gè)像素點(diǎn)都會(huì)得到一個(gè)預(yù)測(cè)標(biāo)簽值，每一種標(biāo)簽對(duì)應(yīng)一種道路類別。輸入模型中的圖片統(tǒng)一裁剪成128×96，每張圖片共計(jì)122 88個(gè)標(biāo)簽值。語義分割模型無法直接得到整張圖片的道路類型識(shí)別結(jié)果。統(tǒng)計(jì)圖片中每一個(gè)像素點(diǎn)的預(yù)測(cè)標(biāo)簽數(shù)目，將數(shù)目最多的預(yù)測(cè)標(biāo)簽作為整張圖片的道路類型預(yù)測(cè)結(jié)果，預(yù)測(cè)整體流程如圖5所示。

圖5 道路類型預(yù)測(cè)流程圖Fig.5 Flowchart of pavement type prediction

統(tǒng)計(jì)每張圖片含有道路類型的數(shù)目，統(tǒng)計(jì)結(jié)果如下：含有一種路面類型的圖片數(shù)目占總數(shù)據(jù)集圖片數(shù)目的比例如式(1)所示，含有多種路面類型的圖片數(shù)目占總數(shù)據(jù)集圖片數(shù)目的比例如式(2)所示。

統(tǒng)計(jì)每張圖片含有道路類型的數(shù)目。統(tǒng)計(jì)結(jié)果如下：含有一種路面類型的圖片數(shù)目占總數(shù)據(jù)集圖片數(shù)目的比例如式(1)所示，含有多種路面類型的圖片數(shù)目占總數(shù)據(jù)集圖片數(shù)目的比例如式(2)所示。

Proad=1=95.132%，

(1)

Proad=n=4.868%。

(2)

根據(jù)圖片中包含以上9種道路類型的數(shù)目，對(duì)整張圖片的道路類型預(yù)測(cè)精度進(jìn)行以下理論推導(dǎo)，理論推導(dǎo)過程分為以下2種情況：

(1)圖片中只包含一種路面，圖片中只包含1種路面的概率見式(3)。

Proad=1=95.132%。

(3)

此路面為當(dāng)前行駛路面。圖片中含有背景和真實(shí)路面2類標(biāo)簽，只有當(dāng)兩者的誤判像素點(diǎn)數(shù)目大于真實(shí)路面的像素點(diǎn)數(shù)目時(shí)才會(huì)出現(xiàn)誤判。假設(shè)兩者都以最大概率出現(xiàn)誤判，并且誤判為同一種錯(cuò)誤道路類型。以上假設(shè)為只有1種路面情況時(shí)出現(xiàn)誤判的最大概率。

假設(shè)真實(shí)路面所占比例為A，背景所占比例為B，總像素點(diǎn)的個(gè)數(shù)為Z。通過以上圖片驗(yàn)證結(jié)果可知，平均預(yù)測(cè)精度為94%，誤判率為6%。當(dāng)滿足式(4)時(shí)會(huì)出現(xiàn)誤判，根據(jù)式(4)和式(5)解得式(6)。

Z×(A+B)×6%>A×(1-6%)，

(4)

A+B=1，

(5)

A<6.38%。

(6)

通過對(duì)數(shù)據(jù)集的統(tǒng)計(jì)分析，滿足式(6)時(shí)的概率為式(7)。

P(A<6.38%)=0.27%

(7)

圖片中只包含一種路面情況的誤判概率為式(8)。

P1=Proad=1×P(A<6.38%)=0.257%。

(8)

(2)圖片中含有兩種及以上路面，圖片中含有兩種及以上路面的概率見式(9)，由于此情況比較復(fù)雜不易計(jì)算出誤判概率。因此采用最大誤判概率P(all)=1時(shí)進(jìn)行計(jì)算，如式(10)所示。

Proad=n=4.868%，

(9)

P2=Proad=n×P(all)=4.868%。

(10)

兩種情況誤判概率為Pfalse如式(11)所示，預(yù)測(cè)正確的概率Pright如式(12)所示。

Pfalse=P1+P2=0.257%+4.868%=5.125%，

(11)

Pright=1-Pfalse=94.875%。

(12)

4 算法驗(yàn)證及結(jié)果對(duì)比

為了驗(yàn)證以上理論推導(dǎo)，更全面地分析模型的實(shí)際效果，采集實(shí)際路面圖片對(duì)Acc(accuracy)、PR(precision)和RE(recall)進(jìn)行分析[15]。Acc指的是所有預(yù)測(cè)正確圖片的數(shù)量占總預(yù)測(cè)圖片的比例，它是模型效果對(duì)比最常用的指標(biāo)；PR指的是預(yù)測(cè)標(biāo)簽為某一類別中預(yù)測(cè)正確的比例；RE指的是真實(shí)標(biāo)簽為某一類圖片中預(yù)測(cè)正確的比例。算法驗(yàn)證結(jié)果如表8所示。

表8 算法驗(yàn)證結(jié)果Tab.8 Algorithm verification result

將算法驗(yàn)證測(cè)得的路面識(shí)別結(jié)果和當(dāng)前主流的路面識(shí)別效果做以下對(duì)比，如表9所示，對(duì)比結(jié)果表明，本研究識(shí)別的道路種類比原來識(shí)別系統(tǒng)的識(shí)別種類要多，精度要高，在一定程度上說明了本方法具有較好的魯棒性和較高的精度，對(duì)未來道路類型識(shí)別研究具有一定的幫助。

表9 識(shí)別效果對(duì)比Tab.9 Comparison of recognition effects

5 結(jié)論

本研究提出基于語義分割模型識(shí)別路面類型的新方法，并通過試驗(yàn)驗(yàn)證得出結(jié)論如下：

(1)通過試驗(yàn)驗(yàn)證本研究提出的方法具有較好的識(shí)別效果，平均精度可達(dá)94%左右。

(2)試驗(yàn)結(jié)果表明本方法具有一定的魯棒性，對(duì)于復(fù)雜環(huán)境下的路面都能有較好的識(shí)別效果。

(3)試驗(yàn)結(jié)果表明采用本研究提出的方法每張圖片的平均測(cè)試時(shí)間為0.028 6 s，滿足實(shí)時(shí)性的要求。

該方法具有較好的應(yīng)用前景，能夠較容易的嵌入到車輛系統(tǒng)中。將道路類型的預(yù)測(cè)結(jié)果應(yīng)用到ADAS中可以有效提高行車安全性。在未來的工作中，將會(huì)對(duì)語義分割模型進(jìn)行優(yōu)化，直接輸出路面識(shí)別類型，減少模型計(jì)算參數(shù)。同時(shí)提高數(shù)據(jù)集質(zhì)量，將路面類型所對(duì)應(yīng)的附著系數(shù)區(qū)間進(jìn)一步細(xì)化，達(dá)到路面附著系數(shù)更加精確的估計(jì)。