劉慶

安徽汽車職業(yè)技術(shù)學(xué)院，安徽合肥 230601

0 引言

隨著科學(xué)技術(shù)的發(fā)展與人民生活水平的提高，汽車成為人們的主要出行工具[1]。汽車使用量的增加，導(dǎo)致交通擁堵現(xiàn)象日益嚴(yán)重,交通事故頻發(fā)，駕駛員的生命和財(cái)產(chǎn)安全受到威脅[2]。為此，智能化管理成為汽車行業(yè)的發(fā)展趨勢(shì)，一種充分利用電動(dòng)、智能、網(wǎng)聯(lián)及共享優(yōu)勢(shì)的智能網(wǎng)聯(lián)技術(shù)逐漸應(yīng)用到汽車上[3]。智能化是智能網(wǎng)聯(lián)汽車開發(fā)過(guò)程的關(guān)鍵，而環(huán)境自動(dòng)感知與檢測(cè)技術(shù)是實(shí)現(xiàn)智能化的關(guān)鍵，在汽車智能化中發(fā)揮著重要作用[4]。

近年來(lái)，諸多學(xué)者對(duì)智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知方法進(jìn)行了大量研究。尹慧琳等[5]提出了基于層次因子圖的智能網(wǎng)聯(lián)汽車環(huán)境感知方法，隗寒冰等[6]提出了基于融合歷史軌跡的智能網(wǎng)聯(lián)汽車環(huán)境感知方法。這些方法能自動(dòng)感知汽車環(huán)境，在一定程度上減少了交通事故的發(fā)生，增強(qiáng)了駕車體驗(yàn)舒適感，但在進(jìn)行汽車環(huán)境感知時(shí)，每執(zhí)行1個(gè)任務(wù)就需要執(zhí)行網(wǎng)絡(luò)更換操作，過(guò)程復(fù)雜、成本較高，獲取的環(huán)境信息有限，難以滿足深層次的汽車環(huán)境感知需求[7]。

多任務(wù)神經(jīng)網(wǎng)絡(luò)由編碼器和解碼器組成，可以在同1個(gè)網(wǎng)絡(luò)中完成不同的任務(wù)[8]。本文采用基于多任務(wù)神經(jīng)網(wǎng)絡(luò)的智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知方法，在執(zhí)行環(huán)境感知任務(wù)時(shí)，無(wú)需更換網(wǎng)絡(luò)就可實(shí)現(xiàn)語(yǔ)義分割及對(duì)目標(biāo)的跟蹤檢測(cè)，且網(wǎng)絡(luò)性能與目標(biāo)檢測(cè)效果較好，更好地實(shí)現(xiàn)交通環(huán)境自動(dòng)感知，降低交通事故發(fā)生的概率，滿足實(shí)際智能網(wǎng)聯(lián)汽車的環(huán)境自動(dòng)感知需求。

1 智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知多任務(wù)神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)是1類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一，除了具有傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的良好容錯(cuò)性、自適應(yīng)性和較強(qiáng)的自學(xué)習(xí)能力等特點(diǎn)，還具有自動(dòng)提取特征、權(quán)值共享及輸入圖像與網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合良好等優(yōu)點(diǎn)，包括卷積層、池化層、批量歸一化(batch normalization，BN)層及激活函數(shù)層[9]。

1.1.1 卷積層

卷積層主要負(fù)責(zé)提取采集的智能網(wǎng)聯(lián)汽車環(huán)境圖像特征信息，通過(guò)卷積核對(duì)特征圖像執(zhí)行滑動(dòng)操作實(shí)現(xiàn)[10]。卷積計(jì)算過(guò)程為：

式中：ai，j為卷積計(jì)算結(jié)果；wm，n為第m行第n列卷積核的權(quán)重；xk+m，l+n為汽車環(huán)境圖像中第k行第l列的元素；wb為常數(shù)偏置項(xiàng)，一般狀況下滿足wb=0；f(·)為激活函數(shù)。

卷積運(yùn)算過(guò)程可歸結(jié)為：1)對(duì)采集到的汽車環(huán)境圖像執(zhí)行圖像輸入操作，圖像的分辨率設(shè)置為5×5；2)將卷積核的大小、步長(zhǎng)及wb分別設(shè)置為3×3、2與0，將激活函數(shù)設(shè)置為ReLU；3)在輸入的汽車環(huán)境圖像上通過(guò)卷積核執(zhí)行滑動(dòng)操作，在汽車環(huán)境圖像對(duì)應(yīng)位置的像素執(zhí)行乘法與加法操作；4)對(duì)經(jīng)過(guò)執(zhí)行步驟1)～3)操作的汽車環(huán)境圖像執(zhí)行輸出操作，將輸出圖像的分辨率設(shè)置為2×2。

1.1.2 池化層

池化層主要包括最大池化操作與平均池化操作2種，與卷積層相比，池化層在執(zhí)行池化操作時(shí)不需要學(xué)習(xí)參數(shù)[11-13]。池化操作過(guò)程如圖1所示。

圖1 池化操作過(guò)程

在池化層中，將輸入汽車環(huán)境圖像的分辨率、池化層及步長(zhǎng)分別設(shè)置為4×4、2×2與2；在輸出汽車環(huán)境圖像的左上角放置輸入汽車環(huán)境圖像左上角的4個(gè)像素位置的最大像素；在輸出汽車環(huán)境圖像的右上角，通過(guò)執(zhí)行滑動(dòng)操作，放置輸入汽車環(huán)境圖像右上角的4個(gè)像素位置的最大像素；重復(fù)執(zhí)行滑動(dòng)操作，得到汽車環(huán)境感知結(jié)果圖像。

1.1.3 BN層與激活函數(shù)層

BN層主要負(fù)責(zé)執(zhí)行對(duì)卷積層的規(guī)范操作，提高網(wǎng)絡(luò)收斂速度，避免過(guò)度擬合現(xiàn)象發(fā)生[14-15]。激活函數(shù)層[16]的工作原理是對(duì)數(shù)據(jù)執(zhí)行非線性映射操作，達(dá)到提高網(wǎng)絡(luò)表達(dá)能力的目的。ReLU激活函數(shù)用公式表示為：

ReLU(x)=max(0,x)，

式中x為激活函數(shù)的自變量。

1.2 多任務(wù)神經(jīng)網(wǎng)絡(luò)

1.2.1 多任務(wù)神經(jīng)網(wǎng)絡(luò)構(gòu)建

多任務(wù)神經(jīng)網(wǎng)絡(luò)包括編碼器與解碼器2部分[17-18]。編碼器執(zhí)行提取特征操作，是整個(gè)網(wǎng)絡(luò)構(gòu)建過(guò)程最重要的部分；解碼器包括語(yǔ)義分割解碼器與目標(biāo)檢測(cè)解碼器，執(zhí)行處理特征操作[19]。

根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的原理，將縮放因子為5的雙線性插值層增添到卷積神經(jīng)網(wǎng)絡(luò)的底層[20]，對(duì)卷積神經(jīng)網(wǎng)絡(luò)的均值池化層執(zhí)行修改操作。H與W分別為均值池化層輸入的智能網(wǎng)聯(lián)汽車環(huán)境感知特征圖像的高與寬，kh與sh分別為均值池化層池化窗口的高與步長(zhǎng)，kw與sw分別為池化窗口的寬與步長(zhǎng)，得到的修改結(jié)果為：第1層滿足kh=H、kw=W、sh=H、sw=W；第2層滿足kh=H/2、kw=W/2、sh=H/2、sw=W/2；第3層滿足kh=H/3、kw=W/3、sh=H/3、sw=W/3；第4層滿足kh=H/6、kw=W/6、sh=H/6、sw=W/6。

將修改后的卷積神經(jīng)網(wǎng)絡(luò)用于智能網(wǎng)聯(lián)汽車環(huán)境感知多任務(wù)神經(jīng)網(wǎng)絡(luò)中，多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在構(gòu)建的智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)中，定義池化層為環(huán)境自動(dòng)感知網(wǎng)絡(luò)的編碼器；在解碼器中輸入智能網(wǎng)聯(lián)汽車環(huán)境感知圖像特征，語(yǔ)義分割解碼器執(zhí)行語(yǔ)義分割操作，結(jié)合分割結(jié)果利用解碼器感知圖像特征，根據(jù)圖像特征感知結(jié)果得到智能網(wǎng)聯(lián)汽車環(huán)境感知結(jié)果。

1.2.2 多任務(wù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練

進(jìn)行多任務(wù)網(wǎng)絡(luò)訓(xùn)練時(shí)，為更好地執(zhí)行向前傳播操作，需要計(jì)算網(wǎng)絡(luò)的多任務(wù)損失，通過(guò)計(jì)算語(yǔ)義分割損失及目標(biāo)檢測(cè)損失實(shí)現(xiàn)[21]。

語(yǔ)義分割損失計(jì)算以共享編碼器特征圖為媒介，通過(guò)求解交叉熵?fù)p失函數(shù)得到語(yǔ)義分割網(wǎng)絡(luò)損失

式中：N為各訓(xùn)練批次樣本數(shù)量，bi為隸屬于類別i的數(shù)據(jù)，I為類別數(shù)量，c為多任務(wù)網(wǎng)絡(luò)語(yǔ)義分割的類別數(shù)據(jù)，C為最大類別數(shù)據(jù)。

目標(biāo)檢測(cè)損失計(jì)算通過(guò)執(zhí)行對(duì)目標(biāo)網(wǎng)絡(luò)的邊界坐標(biāo)損失與求解置信度交叉熵?fù)p失函數(shù)實(shí)現(xiàn)[22-24]，求解過(guò)程為：

Oobj=O1(p,q)+Oobj-con，

式中：O1(p,q)為目標(biāo)檢測(cè)網(wǎng)絡(luò)邊界框坐標(biāo)損失，其中p為預(yù)測(cè)值，q為標(biāo)簽；δqi為邊界坐標(biāo)損失；xpi、ypi分別為目標(biāo)網(wǎng)絡(luò)節(jié)點(diǎn)pi的橫、縱坐標(biāo)；xqi、yqi分別為目標(biāo)網(wǎng)絡(luò)節(jié)點(diǎn)qi的橫、縱坐標(biāo)；wpi、wqi分別為pi、qi的權(quán)重；hpi、hqi分別為pi、qi的深度；Oobj-con為多任務(wù)網(wǎng)絡(luò)的置信度；zi(c)、ki(c)分別為pi、qi的信息熵函數(shù)；Oobj為多任務(wù)網(wǎng)絡(luò)的目標(biāo)損失。

智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知多任務(wù)神經(jīng)網(wǎng)絡(luò)的總損失

O=λ1Oobj+λ2Oseg，

式中λ1、λ2分別為Oobj、Oseg的損失權(quán)重。

在執(zhí)行智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知多任務(wù)神經(jīng)網(wǎng)絡(luò)反向傳播操作時(shí)[25-26]，通過(guò)Adam優(yōu)化函數(shù)執(zhí)行網(wǎng)絡(luò)權(quán)重參數(shù)更新操作，網(wǎng)絡(luò)權(quán)重參數(shù)更新過(guò)程用公式表示為：

mt=umt-1+(1-u)gt，

采用小批量訓(xùn)練方法進(jìn)行智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知多任務(wù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，分別滿足η=0.000 1，ε=0.000 01，u=0.9，v=0.999，在此基礎(chǔ)上將網(wǎng)絡(luò)第二層正規(guī)化操作加入到智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知多任務(wù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，避免過(guò)度擬合現(xiàn)象的發(fā)生，神經(jīng)網(wǎng)絡(luò)第二層正規(guī)化系數(shù)一般為0.000 5。

2 試驗(yàn)與分析

以A市4種不同環(huán)境的道路為試驗(yàn)對(duì)象，借助Husky-200移動(dòng)平臺(tái)搭建多任務(wù)神經(jīng)網(wǎng)絡(luò)，驗(yàn)證本文方法在智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知的性能。

采集到的4種道路圖像如圖3所示。圖3a)中道路1全長(zhǎng)1200 m，路面平坦，車輛與行人較多；圖3b)中道路2全長(zhǎng)860 m，路面陡峭、彎曲，道路兩旁為茂密的森林；圖3c)中道路3全長(zhǎng)460 m，路面布滿石子；圖3d)中道路4全長(zhǎng)560 m，路面為土路，不平坦，但路面質(zhì)量高于道路3。

a)道路1 b)道路2 c)道路3 d)道路4 圖3 智能網(wǎng)聯(lián)汽車道路環(huán)境圖像

應(yīng)用本文方法的智能網(wǎng)聯(lián)汽車在4種不同道路的行駛狀態(tài)如表1所示。

表1 智能網(wǎng)聯(lián)汽車行駛狀態(tài)

由表1可知：智能網(wǎng)聯(lián)汽車在道路1和道路2行駛時(shí)，白天和夜間均能實(shí)現(xiàn)道路環(huán)境的自動(dòng)感知，行駛過(guò)程中可自行避障，人工干預(yù)的次數(shù)為0，夜間的平均行駛速度與圖像處理速度稍有下降；智能網(wǎng)聯(lián)汽車在道路3和道路4行駛時(shí)，白天和夜間的平均行駛速度與圖像處理速度有所下降，行駛過(guò)程中出現(xiàn)少數(shù)人工干預(yù)狀況。說(shuō)明本文方法可有效感知不同道路環(huán)境：路況較好時(shí)，可實(shí)現(xiàn)自動(dòng)避障；路況較差時(shí)，可通過(guò)人工與自動(dòng)相結(jié)合的方式實(shí)現(xiàn)避障。

應(yīng)用本文方法的智能網(wǎng)聯(lián)汽車在不同光照強(qiáng)度下的目標(biāo)檢測(cè)效果如圖4所示。

a)光線較強(qiáng) b)光線較暗 圖4 智能網(wǎng)聯(lián)汽車在不同光照強(qiáng)度時(shí)的目標(biāo)檢測(cè)效果

由圖4可知：智能網(wǎng)聯(lián)汽車在光線較強(qiáng)和光線較暗時(shí)均能實(shí)現(xiàn)對(duì)前方行駛車輛的目標(biāo)檢測(cè)，能有效降低交通事故的發(fā)生概率，滿足智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知需要。

在實(shí)際的智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知過(guò)程中，網(wǎng)絡(luò)性能直接影響環(huán)境感知效果。實(shí)時(shí)性與網(wǎng)絡(luò)語(yǔ)義分割精度是衡量智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知網(wǎng)絡(luò)性能的重要指標(biāo)，實(shí)時(shí)性指每秒處理的汽車環(huán)境感知圖像幀數(shù)，網(wǎng)絡(luò)語(yǔ)義分割精度指通過(guò)真實(shí)值與預(yù)測(cè)值交集與并集比值的平均值，不同噪聲下的網(wǎng)絡(luò)性能如圖5所示。

圖5 不同噪聲下的網(wǎng)絡(luò)性能

由圖5可知：隨著噪聲干擾增強(qiáng)，智能網(wǎng)聯(lián)汽車環(huán)境感知網(wǎng)絡(luò)實(shí)時(shí)性與網(wǎng)絡(luò)語(yǔ)義分割精度逐漸降低，但曲線下降趨勢(shì)緩慢，說(shuō)明采用本文方法的智能網(wǎng)聯(lián)汽車即使環(huán)境自動(dòng)感知網(wǎng)絡(luò)中噪聲干擾較強(qiáng)，仍具有良好的環(huán)境自動(dòng)感知網(wǎng)絡(luò)性能，且自動(dòng)感知精度較高。

3 結(jié)語(yǔ)

為提升智能網(wǎng)聯(lián)汽車的駕駛體驗(yàn)感，設(shè)計(jì)了基于多任務(wù)神經(jīng)網(wǎng)絡(luò)的智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知方法，在不同道路環(huán)境、不同光線強(qiáng)度和不同噪聲水平下可實(shí)現(xiàn)環(huán)境自動(dòng)感知與目標(biāo)檢測(cè)，滿足實(shí)際智能網(wǎng)聯(lián)汽車環(huán)境自動(dòng)感知需求。應(yīng)用多任務(wù)網(wǎng)絡(luò)使環(huán)境感知效率提高、成本降低，但環(huán)境感知的實(shí)時(shí)性還有待進(jìn)一步提高。