何銀銀 賴水長(zhǎng) 侯建赭

摘? 要： 地表分類技術(shù)對(duì)地面無(wú)人駕駛車輛的感知能力有著重要影響。而針對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Networks）地表分類效果不佳的問(wèn)題，本文提出一種結(jié)合多通道深度學(xué)習(xí)和隨機(jī)森林的地表分類算法。算法先通過(guò)圖像計(jì)算得到人工設(shè)計(jì)的特征LBP;再采用多通道融合技術(shù)，將原彩色圖像的RGB三通道和LBP通道加以融合形成融合圖像;然后構(gòu)建并預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，以此提取融合圖像的關(guān)鍵特征信息;最后用隨機(jī)森林分類器代替卷積神經(jīng)網(wǎng)絡(luò)輸出層完成地表分類。實(shí)驗(yàn)結(jié)果表明，本文算法識(shí)別正確率達(dá)到98.56%，相比于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)能取得更好的分類結(jié)果，具有一定的魯棒能力。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò);多通道融合;地表分類;隨機(jī)森林;LBP特征

【Abstract】： Surface classification technology has an important effect on perception ability of ground driverless vehicles. To solve the problem of ineffective land surface classification of traditional Convolutional Neural Networks （CNN）， the paper proposes a land surface classification algorithm based on multi-channel deep learning and random forest. The algorithm firstly obtains artificially designed feature LBP by image calculation， then fuses RGB three-channel and LBP channel of original color image to form the fusion image with multi-channel fusion technology， constructs and pretrains convolutional neural network to extract key feature information of the fusion image， finally replaces output layer of convolutional neural network with random forest classifier to complete surface classification. Experimental results show recognition accuracy of the algorithm reaches 98.56%. Compared with traditional convolution neural network， the algorithm can achieve better classification results and has some certain robustness.

【Key words】： Convolutional neural network; Multi-channel fusion; Surface classification; Random forest; LBP characteristics

0? 引言

近年來(lái)，隨著計(jì)算機(jī)硬件水平與模式識(shí)別技術(shù)的發(fā)展，無(wú)人駕駛車輛的研究得到了得到了重大發(fā)展[1-3]，其廣泛應(yīng)用于國(guó)防等各個(gè)領(lǐng)域。地表分類是無(wú)人駕駛車輛研究的一個(gè)重要課題，對(duì)于提升車輛的感知能力有重要影響。

目前，針對(duì)非結(jié)構(gòu)化道路的地表分類技術(shù)還不成熟，因?yàn)樵诜墙Y(jié)構(gòu)化的行車環(huán)境下，場(chǎng)景結(jié)構(gòu)復(fù)雜，光照條件多變，圖像品質(zhì)隨感知距離增大而下降，非結(jié)構(gòu)化環(huán)境感知成為亟待解決且極具挑戰(zhàn)性的問(wèn)題。文獻(xiàn)[4]提出一種基于 PCA-SVM 準(zhǔn)則改進(jìn)區(qū)域生長(zhǎng)的方法，因?yàn)榻稻S可能會(huì)忽略原圖像部分特征，導(dǎo)致對(duì)道路邊緣相似地表的識(shí)別效果不佳。文獻(xiàn)[5]提出多通道卷積神經(jīng)網(wǎng)絡(luò)模型，雖然處理的是完整圖像，效果良好，但對(duì)紋理特征信息并不重視，針對(duì)復(fù)雜紋理地表圖像的區(qū)分效果不佳。

上述的兩種方法都使用了原圖像作為輸入，而如果直接對(duì)原圖像進(jìn)行處理是較為容易忽略部分關(guān)鍵特征的。而本文提出算法先對(duì)圖像處理生成紋理特征，將其與原圖像融合形成多通道的方法就可以在這方面做到比較好的解決，同時(shí)對(duì)非結(jié)構(gòu)化道路的適應(yīng)性更強(qiáng)，對(duì)于非結(jié)構(gòu)化地表分類的研究有極大的參考價(jià)值。

本文算法采用多通道融合技術(shù)將RGB彩色圖像和人工設(shè)計(jì)的特征LBP[6]加以融合，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)提取融合圖像的關(guān)鍵特征信息，再將關(guān)鍵特征信息輸入隨機(jī)森林分類器使其自分類學(xué)習(xí)，最終得到圖像分類結(jié)果。

1? 地表圖像特征提取及分類

地表圖像分類是根據(jù)地表圖像及其反映的傳統(tǒng)特征，將不同類別的地表圖像進(jìn)行區(qū)分。鑒于直接使用原彩色圖像可能并不能很好地刻畫紋理特征，我們先從原圖像提取得紋理信息;再將其與原彩色圖像加以融合[7]，利用深度學(xué)習(xí)技術(shù)對(duì)其再處理提取更為有效地的信息。

算法流程如圖1所示。

整個(gè)算法由多通道融合特征模塊、卷積神經(jīng)網(wǎng)絡(luò)提取模塊以及隨機(jī)森林分類器兩部分組成。首先，由樣本圖像計(jì)算出LBP紋理特征，再將其與原彩色圖像融合處理成新的張量。然后，采用預(yù)訓(xùn)練多通道卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)多次卷積、池化和降采樣操作，得到更關(guān)鍵的特征向量。最后將特征向量輸入隨機(jī)森林分類器，分類器進(jìn)行運(yùn)算與分類后，完成最終分類。

1.1? 多通道融合特征

本算法采用多通道融合特征，包含地表原彩色圖像以及LBP紋理特征圖。

LBP（局部二值模式）算子主要用于描述圖像的紋理特征信息，具有灰度不變性、旋轉(zhuǎn)不變性等優(yōu)點(diǎn)。

LBP算子是對(duì)圖像中的任意像素都進(jìn)行以下處理：以其為中心取一個(gè)3*3大小的矩形窗口，將其像素值設(shè)置為閾值pc，窗口內(nèi)其他像素值x若大于此閾值則取一、小于其則取零，這樣窗口內(nèi)將產(chǎn)生八位二進(jìn)制數(shù)字，按順序組合起來(lái)則為中心像素的LBP值（取值范圍為0-255），即反映了該區(qū)域的紋理特征。LBP的計(jì)算公式如下：

通過(guò)該算子對(duì)所有像素進(jìn)行計(jì)算，每個(gè)像素填入LBP值，最終生成與原圖大小一致的LBP特征圖，作為第四通道數(shù)據(jù)。

最后將四個(gè)通道疊加，輸入構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)。采用RGBA圖像格式可視化顯示如圖2所示。

1.2? 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)特征提取

卷積神經(jīng)網(wǎng)絡(luò)CNN[8-13]是一種經(jīng)典神經(jīng)網(wǎng)絡(luò)，其模型是模仿人腦神經(jīng)元細(xì)胞信息傳遞的機(jī)制，該模型對(duì)視覺信息處理非常有效，近年來(lái)被廣泛使用在圖像處理領(lǐng)域并取得顯著成果。卷積神經(jīng)網(wǎng)絡(luò)對(duì)地表圖像進(jìn)行逐層特征處理，不斷提取更為重要的特征數(shù)據(jù)輸入到下一層中，直到最后一層通過(guò)全連接層轉(zhuǎn)換到類別向量，與標(biāo)記類別進(jìn)行對(duì)比，并通過(guò)BP[14]算法將結(jié)果誤差信息反饋給前層網(wǎng)絡(luò)，使網(wǎng)絡(luò)模型根據(jù)數(shù)據(jù)集不斷學(xué)習(xí)，最終得到參數(shù)訓(xùn)練好的模型。

卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層、最大池化層、全連接層。輸入層，將雙通道融合特征圖輸入模型。卷積層，將前一層的特征圖迭代乘上若干個(gè)卷積核，得多層特征圖像。卷積層的計(jì)算公式如下：

如圖3所示，為本文在調(diào)整Alexnet網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上構(gòu)建的地表分類CNN模型結(jié)構(gòu)。

相比于大卷積核，多個(gè)小的卷積核可以使模型引入更多的非線性，得到更多圖像特征，同時(shí)減少模型參數(shù)量[15]，所以模型采用3*3的小卷積核。

Dropout層為隨機(jī)失活層，即根據(jù)丟失幾率隨機(jī)將某全連接層的部分節(jié)點(diǎn)設(shè)置為不參與運(yùn)算，以此來(lái)降低網(wǎng)絡(luò)模型的過(guò)擬合幾率，使網(wǎng)絡(luò)更加健壯，對(duì)復(fù)雜數(shù)據(jù)具有更好的魯棒性，所以模型在卷積層及全連接層中引入Dropout抑制過(guò)擬合。

在全連接層中，神經(jīng)元個(gè)數(shù)減少的同時(shí)，特征語(yǔ)義性更強(qiáng)，但卻導(dǎo)致部分低級(jí)語(yǔ)義特征喪失，對(duì)FC2層神經(jīng)元個(gè)數(shù)的選取極為重要。通過(guò)調(diào)整FC2層神經(jīng)元個(gè)數(shù)設(shè)計(jì)5種網(wǎng)絡(luò)如表1所示，通過(guò)后序?qū)嶒?yàn)選擇性能最優(yōu)的網(wǎng)絡(luò)。

由于卷積神經(jīng)網(wǎng)絡(luò)輸出層softmax分類器較為簡(jiǎn)單，分類能力較弱，所以使用訓(xùn)練集預(yù)訓(xùn)練模型，獲得模型參數(shù)后，將特征圖輸入模型后取出倒數(shù)第二層數(shù)據(jù)獲得特征向量。使用其他分類器對(duì)特征向量進(jìn)行分類。

1.3? 隨機(jī)森林分類器

分類模型選取了隨機(jī)森林[16]分類器，即在訓(xùn)練集中隨機(jī)重采樣選出一定數(shù)量的樣本（可重復(fù)采樣），在所有樣本上，對(duì)這些樣本建立分類器，重復(fù)以上兩步多次，獲得相應(yīng)個(gè)數(shù)的分類器。在測(cè)試實(shí)驗(yàn)中，將測(cè)試數(shù)據(jù)輸入隨機(jī)森林分類器，它會(huì)傳入所有分類器，進(jìn)行各自分類，最后根據(jù)分類器匯總的投票結(jié)果，選擇票數(shù)最多的類別作為最終結(jié)果輸出。

由于隨機(jī)森林分類器實(shí)際上擁有多個(gè)分類器，所以對(duì)數(shù)據(jù)的泛化能力好，出錯(cuò)率低。

2? 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提出的基于多通道卷積神經(jīng)網(wǎng)絡(luò)的地表分類模型的有效性，將本文中提出的方法在南京理工大學(xué)自然紋理數(shù)據(jù)庫(kù)上進(jìn)行了測(cè)試，并將測(cè)試結(jié)果與其他常用方法進(jìn)行了對(duì)比。

2.1? 數(shù)據(jù)集介紹

數(shù)據(jù)集選用南京理工大學(xué)自然紋理數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)庫(kù)一共包含8997張分辨率為64X64的彩色地表圖像，其中泥土圖像2999張，草地圖像2999張，沙礫圖像2999張。將數(shù)據(jù)集按7：3的比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集。部分?jǐn)?shù)據(jù)集如圖4所示。

為實(shí)現(xiàn)更好的分類效果，首先對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行預(yù)處理，將圖像RGB每個(gè)通道等分為16個(gè)灰度級(jí)，以該灰度占各通道比例做直方圖，以該直方圖為特征（圖5所示）用kmeans進(jìn)行聚類，肘方法（參

考文獻(xiàn)）確定最佳的聚類簇?cái)?shù)。將泥土樣本分為2個(gè)子類，砂石樣本分為3個(gè)子類，草地樣本保持不變，一共6個(gè)類別，如圖6所示。

2.2? 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

實(shí)驗(yàn)使用搭載有NVIDIA Tesla T4的服務(wù)器進(jìn)行訓(xùn)練，顯存為16GB。使用tensorflow平臺(tái)訓(xùn)練模型，實(shí)驗(yàn)批尺度為32，模型共迭代200次，設(shè)置初始學(xué)習(xí)率為0.001，為防止過(guò)擬合設(shè)置學(xué)習(xí)率衰減項(xiàng)為0.000001，動(dòng)量為0.9進(jìn)行優(yōu)化。

針對(duì)表1中的5種網(wǎng)絡(luò)，在南京理工大學(xué)自然紋理數(shù)據(jù)庫(kù)上采用原圖像RGB三通道加LBP人工設(shè)計(jì)特征通道共四通道為輸入進(jìn)行實(shí)驗(yàn)測(cè)試，得到結(jié)果如表2所示。

由表2可知，網(wǎng)絡(luò)Ⅲ具有最好的分類性能，其FC2層的神經(jīng)元個(gè)數(shù)為128個(gè)，說(shuō)明在網(wǎng)絡(luò)其他結(jié)構(gòu)及輸入輸出相同的條件下，F(xiàn)C2層大小選擇128較為合理。

以網(wǎng)絡(luò)Ⅲ為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在南京理工大學(xué)自然紋理數(shù)據(jù)庫(kù)上采用RGB、LBP、HOG、gray等通道及支持向量機(jī)（SVM）、隨機(jī)森林（RFC）分類器進(jìn)行試驗(yàn)，為減少偶然性，每組實(shí)驗(yàn)做5次取平均，得到表3所示的結(jié)果數(shù)據(jù)。

表中給出了灰度圖、RGB彩色圖、HOG特征圖、LBP特征圖、RGB+HOG多通道圖、RGB+LBP多通道特征圖在不同分類組合下的測(cè)試集正確率，可以看出，相較于單一的灰度特征，顏色信息的加入對(duì)于地表分類效果有明顯的提升，并且RGB顏色信息和人工設(shè)計(jì)的特征HOG、LBP的融合識(shí)別率也高于單獨(dú)使用的實(shí)驗(yàn)結(jié)果，且采用LBP特征與RGB融合效果更好。同時(shí)，采用CNN作為特征提取器與傳統(tǒng)分類器組合的方式優(yōu)于單獨(dú)使用效果，隨機(jī)森林分類器的表現(xiàn)優(yōu)于SVM。

使用本文提出的方法，得到最終各類別的識(shí)別正確率及混淆矩陣如表4和表5所示。

2.3? 泛化性測(cè)試

為測(cè)試模型的泛化性，下面是在野外真實(shí)場(chǎng)景中進(jìn)行分類的實(shí)驗(yàn)結(jié)果，其中，圖7為分辨率為2048768的原圖像，圖8為由本文分類方法分類得到的圖像，其中黑色為泥土區(qū)域，灰色為草地區(qū)域，白色為砂石區(qū)域。

圖8可以看出，本文提出的基于RGB和LBP的多通道深度學(xué)習(xí)結(jié)合隨機(jī)森林的模型能夠較好地識(shí)別地表紋理圖像。

3? 結(jié)語(yǔ)

針對(duì)非結(jié)構(gòu)化道路識(shí)別中特征繁多、分類困難，本文采用基于多通道深度學(xué)習(xí)的方法，在保留原始特征的同時(shí)，結(jié)合人工設(shè)計(jì)的特征LBP，加強(qiáng)了紋理特征的刻畫，并采用隨機(jī)森林完成最后分類，以提升分類能力。實(shí)驗(yàn)結(jié)果也表明該方法具有良好的分類性能，識(shí)別正確率達(dá)到98.56%。相較傳統(tǒng)方法，本文方法可以更好提升地面無(wú)人駕駛車輛非結(jié)構(gòu)化環(huán)境感知能力與水平。

參考文獻(xiàn)

[1]Chavez-Garcia R O， Guzzi J， Gambardella L M， and Giusti A. Learning ground traversability from simulations [J]. IEEE Robotics and Automation Letters， 3（3）： 1695-1702， July 2018.

[2]Andrakhanov A， Stuchkov A. Traversability estimation system for mobile robot in heterogeneous environment with different underlying surface characteristics[C]. In Proceedings of CSIT， pp. 549-554， September 04-08， 2017， Lviv， Ukraine.

[3]劉家銀， 唐振民， 吳國(guó)星. 基于MVSVM和超像素的可通行區(qū)域檢測(cè)方法[J].? 華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版）， 43（增刊I）： 345-249， 2015.

[4]王新晴， 孟凡杰， 呂高旺， et al. 基于PCA-SVM準(zhǔn)則改進(jìn)區(qū)域生長(zhǎng)的非結(jié)構(gòu)化道路識(shí)別[J]. 計(jì)算機(jī)應(yīng)用， 2017（6）.

[5]崔巍， 楊健， 常合友. 基于多通道卷積神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化道路路表分析[J]. 計(jì)算機(jī)應(yīng)用與軟件，2016， 33（1）： 159-162.

[6]盧官明， 左加闊. 基于二維局部保持鑒別分析的特征提取算法[J]. 南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2014， 34（5）： 1-8.

[7]毛鶯池， 王靜， 陳小麗， 徐淑芳， 陳豪. 基于特征組合與CNN的大壩缺陷識(shí)別與分類方法[J]. 計(jì)算機(jī)科學(xué)， 2019， 46（03）： 267-274.

[8]Ji S ， Xu W ， Yang M ， et al. 3D Convolutional Neural Networks for Human Action Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（1）： 221-231.

[9]Lee H， Grosse R， Ranganath R， et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th annual international conference on machine learning. ACM， 2009： 609-616.

[10]Gong Y， Jia Y， Leung T， et al. Deep convolutional ranking for multilabel image annotation[J]. arXiv preprint arXiv： 1312. 4894， 2013.

[11]Chan T H， Jia K， Gao S， et al. PCANet： A simple deep learning baseline for image classification？[J]. IEEE transactions on image processing， 2015， 24（12）： 5017-5032.

[12]Ji S， Xu W， Yang M， et al. 3D convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（1）： 221-231.

[13]Ji S， Xu W， Yang M， et al. 3D convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（1）： 221-231.

[14]LeCun Y， Boser B， Denker J S， et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation， 1989， 1（4）： 541-551.

[15]Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv： 1409. 1556， 2014.

[16]李玲， 李晉宏. 基于隨機(jī)森林修正的加權(quán)二部圖推薦算法[J]. 軟件， 2018， 39（01）： 110-115.