金旺 易國(guó)洪 洪漢玉 陳思媛
摘要:針對(duì)現(xiàn)有障礙物檢測(cè)方法存在檢測(cè)精度和速度不足的問(wèn)題,提出一種基于門控循環(huán)單元(Cated Recurrent Unit,GRU)的障礙物檢測(cè)方法。通過(guò)構(gòu)建單向GRU網(wǎng)絡(luò)提取障礙物的幾何特征,結(jié)合障礙物的時(shí)序特征實(shí)現(xiàn)障礙物檢測(cè)。在GRU的基礎(chǔ)上,提出三種優(yōu)化模型注意力GRU模型、正則化CRU模型以及雙向GRU模型用于提高障礙物檢測(cè)精度或檢測(cè)速度。為了驗(yàn)證所提方法的有效性,在真實(shí)采集的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),結(jié)果表明,相較于卷積神經(jīng)網(wǎng)絡(luò),GRU網(wǎng)絡(luò)能夠以較高的精度和速度實(shí)現(xiàn)障礙物的檢測(cè),其中,正則化CRU模型收斂速度更快,檢測(cè)速度更高,綜合性能最好。
關(guān)鍵詞:障礙物檢測(cè);GRU;正則化;注意力機(jī)制;循環(huán)神經(jīng)網(wǎng)絡(luò)
中圖分類號(hào):TP391 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2020)33-0001-03
開(kāi)放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
1 引言
障礙物檢測(cè)是自動(dòng)駕駛和工業(yè)機(jī)器人等領(lǐng)域的關(guān)鍵技術(shù),是確保汽車和機(jī)器人以及相關(guān)操作人員安全的重要手段。目前已有的障礙物檢測(cè)方法根據(jù)檢測(cè)工具可分為基于相機(jī)的檢測(cè)方法[1-6]以及基于激光雷達(dá)的檢測(cè)方法[7-10]?;谙鄼C(jī)的檢測(cè)方法通常利用幀差法,通過(guò)判斷連續(xù)幀數(shù)據(jù)的差異來(lái)完成障礙物的檢測(cè)。該種方法檢測(cè)設(shè)備成本更低,檢測(cè)更為便捷,然而相機(jī)受環(huán)境因素影響較大,不利于室外環(huán)境的障礙物檢測(cè)。黃如林等[7]提出了一種基于多特征融合的障礙物檢測(cè)方法,利用激光雷達(dá)的脈沖回波寬度信息和障礙物輪廓信息描述障礙物特征,實(shí)現(xiàn)了大尺寸障礙物的檢測(cè),但是該方法缺乏對(duì)尺寸較小障礙物的檢測(cè)能力;文獻(xiàn)[8-9]利用障礙物的幾何特征實(shí)現(xiàn)障礙物檢測(cè),然而單一的幾何特征導(dǎo)致檢測(cè)準(zhǔn)確率不高;Asvadi等[10]提出了一種基于體素和平面的三維感知系統(tǒng)用于障礙物檢測(cè),通過(guò)結(jié)合障礙物的輪廓信息和地理位置信息實(shí)現(xiàn)障礙物的檢測(cè),具有較高的檢測(cè)精度,然而三維感知系統(tǒng)檢測(cè)環(huán)境構(gòu)建復(fù)雜,設(shè)備成本高。
時(shí)間序列是一組按照時(shí)間先后順序排列且內(nèi)部關(guān)聯(lián)的數(shù)列。通過(guò)對(duì)時(shí)間序列的分析,獲取障礙物的時(shí)序特征??紤]到障礙物數(shù)據(jù)的空間特征和時(shí)序特征,將循環(huán)神經(jīng)網(wǎng)絡(luò)(Re-current Neural Network.RNN)應(yīng)用于障礙物檢測(cè)。RNN具有短期記憶的特點(diǎn),當(dāng)時(shí)間序列很長(zhǎng)時(shí),RNN難以將早期特征傳遞到后期步驟中,且RNN在反向傳播階段會(huì)出現(xiàn)梯度消失的問(wèn)題。長(zhǎng)短期記憶(Long Short-Term Memory,LSTM)模型彌補(bǔ)了RNN的梯度消失和梯度爆炸、長(zhǎng)期記憶能力不足等問(wèn)題,使得循環(huán)神經(jīng)網(wǎng)絡(luò)能夠真正有效地利用長(zhǎng)距離的時(shí)序信息[11]。隨后,Stanford在2014年提出了GRU模型,相較于LSTM模型,GRU模型計(jì)算效率更高,參數(shù)規(guī)模更小,訓(xùn)練速度更快。目前,GRU在語(yǔ)音識(shí)別和機(jī)器翻譯等領(lǐng)域取得了良好的效果[12-13],因此,將GRU應(yīng)用于障礙物檢測(cè)領(lǐng)域具有充分的可行性。同時(shí)考慮到障礙物數(shù)據(jù)樣本集的規(guī)模較小的問(wèn)題,為了防止出現(xiàn)過(guò)擬合的問(wèn)題,引入正則化使模型稀疏。稀疏模型能夠去除大量冗余變量,使模型具有更好的解釋性。劉建偉等[14]對(duì)現(xiàn)有的正則化稀疏模型做了比較全面的總結(jié)。注意力機(jī)制能夠使模型更多的關(guān)注障礙物關(guān)鍵特征,進(jìn)一步加強(qiáng)對(duì)障礙物的檢測(cè)。
為了在機(jī)器人運(yùn)動(dòng)過(guò)程中實(shí)現(xiàn)障礙物的檢測(cè),確保機(jī)器人等設(shè)備的安全,首次將GRU模型應(yīng)用于障礙物檢測(cè)領(lǐng)域,通過(guò)構(gòu)建一個(gè)單向GRU網(wǎng)絡(luò)提取樣本中的障礙物特征,進(jìn)而實(shí)現(xiàn)障礙物的檢測(cè)。為了改善障礙物的檢測(cè)精度和速度,在GRU網(wǎng)絡(luò)基礎(chǔ)上,提出三種GRU優(yōu)化模型,分別為注意力GRU模型、正則化GRU模型以及雙向GRU模型。最后,在真實(shí)采集的數(shù)據(jù)集中進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果表明,GRU檢測(cè)法能夠很好地實(shí)現(xiàn)障礙物的檢測(cè),增加正則化后,模型更為精煉,檢測(cè)速度更快,綜合性能最好。
2 障礙物檢測(cè)
2.1感興趣區(qū)域過(guò)濾
使用激光雷達(dá)作為障礙物檢測(cè)設(shè)備,由于激光雷達(dá)檢測(cè)范圍偏大的原因,通常會(huì)采集到不需要的數(shù)據(jù),稱之為噪聲點(diǎn),而這會(huì)造成檢測(cè)結(jié)果造成偏差。例如,在自動(dòng)駕駛領(lǐng)域,車輛行駛過(guò)程中,通常對(duì)車輛前方的障礙物進(jìn)行檢測(cè);在工業(yè)機(jī)器人領(lǐng)域,通常對(duì)機(jī)器人下方垂直方法進(jìn)行障礙物檢測(cè)。 通過(guò)設(shè)置感興趣區(qū)域,確定激光雷達(dá)的檢測(cè)范圍,使用條件過(guò)濾的方法有效地去除噪聲點(diǎn),消除噪聲對(duì)檢測(cè)結(jié)果造成的影響,同時(shí)也能夠減少計(jì)算量。
2.2 GRU檢測(cè)模型
通過(guò)搭建一個(gè)單向GRU網(wǎng)絡(luò)用以實(shí)現(xiàn)障礙物的檢測(cè),GRU網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。X表示輸入,h表示隱藏層狀態(tài),v為輸出。
GRU模型檢測(cè)算法如表1所示。步驟2構(gòu)造了GRU單層的網(wǎng)絡(luò)結(jié)構(gòu),步驟3用于GRU單層結(jié)構(gòu)的優(yōu)化,步驟4將優(yōu)化后的單層網(wǎng)絡(luò)結(jié)構(gòu)拼接成完整的GRU網(wǎng)絡(luò)結(jié)構(gòu),步驟5計(jì)算GRU前向傳播的輸出值,得到輸出值outputs,經(jīng)過(guò)softmax,得到算法預(yù)測(cè)值和損失值。
2.3 GRU優(yōu)化模型
以往的研究結(jié)果表明,通過(guò)引入注意力機(jī)制,增加正則化或構(gòu)建雙向循環(huán)網(wǎng)絡(luò)能夠有效提高GRU網(wǎng)絡(luò)在語(yǔ)音識(shí)別等任務(wù)中的性能?;谶@一原因,提出三種優(yōu)化的GRU模型,分別為注意力GRU模型、正則化GRU模型以及雙向GRU模型。
(1)注意力GRU模型
注意力機(jī)制是指通過(guò)訓(xùn)練樣本數(shù)據(jù)中樣本點(diǎn)的重要程度來(lái)提取障礙物的關(guān)鍵特征。在GRU網(wǎng)絡(luò)的隱藏層中,引入注意力機(jī)制,計(jì)算各個(gè)輸入的注意力概率分布值,進(jìn)一步提取障礙物的關(guān)鍵特征。注意力機(jī)制計(jì)算公式如下:
(2)正則化GRU模型
正則化方法通常指對(duì)權(quán)重系數(shù)進(jìn)行懲罰,稱之為權(quán)重衰減。權(quán)重衰減通常使用L1范式或L2范式作為正則化項(xiàng)。L2權(quán)重衰減使最常見(jiàn)的形式,實(shí)驗(yàn)中使用L2式對(duì)權(quán)重進(jìn)行約束來(lái)對(duì)模型進(jìn)行優(yōu)化。L2正則化計(jì)算公式如下:
式(3)中,w為網(wǎng)絡(luò)權(quán)重參數(shù),九為權(quán)衡參數(shù)。當(dāng)九為0時(shí)表示沒(méi)有進(jìn)行正則化,λ越大,對(duì)于w的正則化懲罰越大。
(3)雙向GRU模型
雙向GRU模型由兩個(gè)普通的GRU組成,包括一個(gè)正向的GRU和一個(gè)逆向的GRU。正向GRU利用過(guò)去的信息,逆向GRU利用未來(lái)的信息,這樣,在t時(shí)刻,既能使用t-1時(shí)刻的信息,又能使用t+1時(shí)刻的信息。一般而言,可使用信息越多,網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率越高。
3 實(shí)驗(yàn)及分析
3.1 實(shí)驗(yàn)環(huán)境
實(shí)驗(yàn)環(huán)境包括兩部分:數(shù)據(jù)采集和網(wǎng)絡(luò)訓(xùn)練。數(shù)據(jù)采集平臺(tái)配置如下:操作系統(tǒng)Windowsl0,Intel Core i7-8750H@2.20GHZ六核處理器,8GB內(nèi)存,SICK TIM561雷達(dá),運(yùn)行環(huán)境.NET Framework4.5。網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)平臺(tái)配置如下:操作系統(tǒng)Ubuntu16.04,Intel Core i7-8750H@2.20GHZ六核處理器,8GB內(nèi)存,Nvidia GTX 1050Ti 4GB GPU,深度學(xué)習(xí)框架為ten-sorflow。
3.2 實(shí)驗(yàn)數(shù)據(jù)集
在采集了激光雷達(dá)數(shù)據(jù)之后,需要將數(shù)據(jù)進(jìn)行預(yù)處理使數(shù)據(jù)在(0,1)區(qū)間內(nèi),數(shù)據(jù)處理方法如式(4)所示,其中x表示預(yù)處理后得到的數(shù)據(jù),d和0表示獲取雷達(dá)距離值以及雷達(dá)射線與垂直平面的偏轉(zhuǎn)角。
通過(guò)閾值來(lái)確定樣本數(shù)據(jù)的標(biāo)簽,設(shè)定閾值為0.8,當(dāng)x大于0.8時(shí),寫入0,表示非障礙物點(diǎn),當(dāng)x小于0.8時(shí),寫入1,表示障礙物點(diǎn)。通過(guò)這種方式,構(gòu)建一個(gè)訓(xùn)練樣本數(shù)據(jù)集,數(shù)據(jù)集大小為1355。
3.3 網(wǎng)絡(luò)參數(shù)和評(píng)價(jià)指標(biāo)
GRU網(wǎng)絡(luò)初始參數(shù)設(shè)置如下:學(xué)習(xí)率為le-3,隱藏層數(shù)和隱藏節(jié)點(diǎn)數(shù)分別為1和32,最大迭代次數(shù)為100,批量大小256。
性能評(píng)價(jià)指標(biāo)主要有檢測(cè)精度,網(wǎng)絡(luò)訓(xùn)練收斂速度,檢測(cè)速度。檢測(cè)精度是指障礙物檢測(cè)的準(zhǔn)確率。網(wǎng)絡(luò)訓(xùn)練收斂速度是指網(wǎng)絡(luò)收斂迭代輪次。檢測(cè)速度是指在1秒內(nèi)檢測(cè)數(shù)據(jù)的幀數(shù)。
3.4 障礙物檢測(cè)對(duì)比實(shí)驗(yàn)及結(jié)果分析
障礙物檢測(cè)對(duì)比實(shí)驗(yàn)在GRU網(wǎng)絡(luò)的基礎(chǔ)上,分別引入注意力機(jī)制(Attention)、正則化以及將單向GRU改為雙向GRU,進(jìn)行對(duì)比實(shí)驗(yàn),網(wǎng)絡(luò)初始參數(shù)不變。同時(shí),受文獻(xiàn)[15]啟發(fā),構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)( Convolutional Neural Networks,CNN)用于障礙物的檢測(cè),與GRU方法進(jìn)行對(duì)比實(shí)驗(yàn)。表2顯示了所有對(duì)比實(shí)驗(yàn)的結(jié)果。
從表2中可以看出:相較于CNN檢測(cè)方法,GRU檢測(cè)方法具有更高的檢測(cè)精度和檢測(cè)速度;相較于原始GRU模型,引入注意力機(jī)制后,檢測(cè)精度得到略微提升,但是檢測(cè)速度大幅下降;引入正則化后,檢測(cè)精度略微下降,但是檢測(cè)速度得到一定的提升;雙向GRU模型檢測(cè)精度沒(méi)有提升,然而檢測(cè)速度大幅下降。綜合考慮,確定正則化GRU方法為最佳的檢測(cè)方法,在檢測(cè)精度略微損失的情況下,檢測(cè)速度得到提升。正則化GRU檢測(cè)方法以較高的精度和速度實(shí)現(xiàn)障礙物的檢測(cè),能夠滿足實(shí)際工業(yè)生產(chǎn)的需求。
圖2顯示了原始GRU模型和正則化GRU模型的訓(xùn)練損失率。從圖2可以看出,相較于原始GRU模型,正則化GRU模型在訓(xùn)練過(guò)程中收斂速度更快。
通過(guò)實(shí)驗(yàn)分析可知,使用門控循環(huán)單元網(wǎng)絡(luò)能夠以較高的精度和速度實(shí)現(xiàn)的檢測(cè)障礙物,增加正則化后,縮減了模型的模型參數(shù)規(guī)模,提升了障礙物檢測(cè)速度,達(dá)到了障礙物檢測(cè)的實(shí)際需求。
4 結(jié)論與未來(lái)工作
本文提出了一種基于門控循環(huán)單元的障礙物檢測(cè)方法。通過(guò)門控循環(huán)單元構(gòu)建特征向量矩陣以提取障礙物的特征,通過(guò)優(yōu)化對(duì)比實(shí)驗(yàn),確定正則化GRU為最優(yōu)的障礙物檢測(cè)方法,能夠以較高的檢測(cè)精度和速度實(shí)現(xiàn)障礙物的檢測(cè)。實(shí)驗(yàn)結(jié)果證明,相較于卷積神經(jīng)網(wǎng)絡(luò),基于門控循環(huán)單元的方法在障礙物檢測(cè)上具有更高的檢測(cè)精度以及檢測(cè)速度,引入正則化后,檢測(cè)速度更快。
目前,由于設(shè)備限制未能在自動(dòng)駕駛車輛上進(jìn)行實(shí)驗(yàn)。缺乏如雨天、夜晚等不同環(huán)境下的障礙物樣本數(shù)據(jù),也對(duì)實(shí)驗(yàn)結(jié)果造成一定的影響。因此,在未來(lái)的工作中,需要擴(kuò)大樣本數(shù)據(jù)集的類別尤其是不同環(huán)境下的樣本數(shù)據(jù)。在自動(dòng)駕駛車輛上的試驗(yàn)也是未來(lái)重點(diǎn)研究的方向。
參考文獻(xiàn):
[1]王錚,趙曉,佘宏杰,等.基于雙目視覺(jué)的AGV障礙物檢測(cè)與避障[J].計(jì)算機(jī)集成制造系統(tǒng),2018,24(2):400-409.
[2]楊磊,蔡紀(jì)源,任衍允,等.一種基于深度信息的障礙物檢測(cè)方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25(8):43-47.
[3] Nissimov S.Goldberger J,Alchanatis V.Obstacle detection ina greenhouse enwronment using the Kinect sensor[J].Comput- ers and Electronics in Agriculture,2015,113:104-115.
[4]張晴晴,林強(qiáng)強(qiáng).盲道區(qū)域中障礙物的視覺(jué)檢測(cè)方法[J].價(jià)值工程,2019,38(9):148-151.
[5]丁斗建,趙曉林,王長(zhǎng)根,等.基于視覺(jué)的機(jī)器人自主定位與障礙物檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用,2019,39(6):1849-1854.
[6] Levi D,Carnett N.Fetaya E.StixeINet:a deep convolutional net-work for obstacle detection and road segmentation[C]//Proced-ings of the British Machine Vision Conference 2015.Swansea.British Machine Vision Association,2015:109.1-109.12.
[7]黃如林,梁華為,陳佳佳,等.基于激光雷達(dá)的無(wú)人駕駛汽車動(dòng)態(tài)障礙物檢測(cè)、跟蹤與識(shí)別方法[J].機(jī)器人,2016,38(4):437-443.
[8]譚寶成,楊成.激光雷達(dá)動(dòng)態(tài)障礙物檢測(cè)[J].西安工業(yè)大學(xué)學(xué)報(bào),2015,35(3):205-209.
[9]張穗華,駱云志,王鈐,等.基于三維激光雷達(dá)的障礙物檢測(cè)方法研究[Jl.機(jī)電產(chǎn)品開(kāi)發(fā)與創(chuàng)新,2016,29(6):14-17.
[10] Asvadi A,Premebida C,Peixoto P,et al.3D Lidar-based stat-ic and moving obstacle detection in driving environments:anapproach based on voxels and multi-region ground planes[J].Robotics and Autonomous Systems,2016,83:299-311.
[11]王鑫,吳際,劉超,等,基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測(cè)[J].北京航空航天大學(xué)學(xué)報(bào),2018,44(4):772-784.
[12]蔣暢江,溫登峰,唐賢倫,等.基于改進(jìn)型輕門控循環(huán)單元的語(yǔ)音識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì),2019,40(11):3265-3268,3356.
[13]段生月,王長(zhǎng)坤,張柳艷.基于正則化GRU模型的洪水預(yù)測(cè)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2019,28(5):196-201.
[14]劉建偉,崔立鵬,劉澤宇,等.正則化稀疏模型[J].計(jì)算機(jī)學(xué)報(bào),2015,38(7):1307-1325.
[15]張舜,郝泳濤.基于深度學(xué)習(xí)的障礙物檢測(cè)研究[J].電腦知識(shí)與技術(shù),2019,15(34):185-187,193.
【通聯(lián)編輯:唐一東】
作者簡(jiǎn)介:金旺(1995-).湖北天門人,碩士,主要研究方向?yàn)橛?jì)算機(jī)視覺(jué),三維物體識(shí)別;易國(guó)洪(1972-),男,副教授,碩士生導(dǎo)師,碩士,主要研究方向?yàn)檐浖y(cè)試,大數(shù)據(jù);洪漢玉(1964-),男,教授,博士生導(dǎo)師,主要研究方向?yàn)閳D像處理;陳思媛(1996—),女,碩士,主要研究方向?yàn)楦卟l(fā)通信,