劉桂宇
(一汽解放汽車有限公司 吉林 長(zhǎng)春 130011)
隨著自動(dòng)駕駛技術(shù)的不斷發(fā)展,三維目標(biāo)識(shí)別技術(shù)的重要程度不斷提升,自動(dòng)駕駛領(lǐng)域?qū)c(diǎn)云目標(biāo)識(shí)別算法的可靠性和魯棒性需求日益迫切[1]。在城市、港口和高速等復(fù)雜環(huán)境中,準(zhǔn)確識(shí)別目標(biāo)和感知環(huán)境內(nèi)障礙物信息是自動(dòng)駕駛汽車行駛安全和決策控制的重要基礎(chǔ)[2],直接決定了自動(dòng)駕駛系統(tǒng)的可靠性和安全性。因此,研究面向激光雷達(dá)點(diǎn)云的三維目標(biāo)識(shí)別算法尤為關(guān)鍵。
在自動(dòng)駕駛領(lǐng)域,基于激光雷達(dá)點(diǎn)云的感知任務(wù)可分為低層次感知和高層次感知兩個(gè)層次。低層次感知即障礙物檢測(cè),只需探測(cè)到前方存在障礙物即可,無法感知障礙物類別。高層次感知即目標(biāo)識(shí)別,需要在障礙物檢測(cè)的基礎(chǔ)上,對(duì)障礙物信息進(jìn)一步分類,感知障礙物具體類型和空間信息。經(jīng)典點(diǎn)云目標(biāo)識(shí)別流程包括點(diǎn)云預(yù)處理[3]、區(qū)域分割[4]、障礙物聚類[5]、物體類型識(shí)別和包圍框擬合等過程。整體流程較為復(fù)雜,需要對(duì)點(diǎn)云進(jìn)行分割、聚類和分類等多步驟處理。此外,由于點(diǎn)云數(shù)據(jù)具有不均勻、噪聲等特點(diǎn)[6],經(jīng)典點(diǎn)云目標(biāo)識(shí)別算法在目標(biāo)物體類型識(shí)別方面存在劣勢(shì)。
近些年人工智能技術(shù)發(fā)展迅速,在二維圖像深度學(xué)習(xí)算法的基礎(chǔ)上,三維點(diǎn)云深度學(xué)習(xí)算法研究取得了一系列顯著的成果[7-8],促使點(diǎn)云目標(biāo)識(shí)別算法不斷推陳出新。在自動(dòng)駕駛場(chǎng)景語義分割[9]、場(chǎng)景理解、目標(biāo)檢測(cè)[10]和目標(biāo)分類[11]等多項(xiàng)任務(wù)中,深度學(xué)習(xí)算法得到了廣泛應(yīng)用。與經(jīng)典點(diǎn)云目標(biāo)檢測(cè)算法相比,基于深度學(xué)習(xí)的點(diǎn)云目標(biāo)識(shí)別算法能夠滿足更多的目標(biāo)感知需求,目標(biāo)類型識(shí)別準(zhǔn)確率更高[12],算法魯棒性更強(qiáng),具備廣闊的應(yīng)用前景。
經(jīng)典點(diǎn)云目標(biāo)識(shí)別算法可從激光雷達(dá)等傳感器獲取的點(diǎn)云數(shù)據(jù)中識(shí)別出障礙物目標(biāo),并解算出其空間位置、尺寸大小、幾何形狀、運(yùn)動(dòng)朝向等數(shù)據(jù)信息,并通過擬合邊界框或多邊形輪廓實(shí)現(xiàn)目標(biāo)輪廓信息描述。
其中,點(diǎn)云預(yù)處理主要通過應(yīng)用濾波算法實(shí)現(xiàn)點(diǎn)云模型數(shù)據(jù)量的減少,并剔除點(diǎn)云模型中部分噪聲點(diǎn),減少噪聲數(shù)據(jù)對(duì)后續(xù)分割、聚類算法的處理過程和運(yùn)算結(jié)果產(chǎn)生影響。常用的濾波算法包括直通濾波、體素網(wǎng)格[13]和統(tǒng)計(jì)濾波等。在實(shí)際應(yīng)用過程中,可根據(jù)噪聲類型和場(chǎng)景需求選取合適的濾波算法。
區(qū)域分割算法主要通過將點(diǎn)云劃分為多個(gè)同質(zhì)區(qū)域,實(shí)現(xiàn)道路、建筑等區(qū)域劃分,實(shí)現(xiàn)相同區(qū)域內(nèi)的數(shù)據(jù)點(diǎn)具有一致屬性。常見的區(qū)域分割任務(wù)主要為地面分割,用于減少后續(xù)障礙物聚類過程中地面點(diǎn)云對(duì)非地面點(diǎn)云產(chǎn)生的干擾。地面分割算法主要包括基于統(tǒng)計(jì)量的地面分割算法、基于角度的地面分割算法[14]、平面擬合算法[15]和基于面元的區(qū)域生長(zhǎng)算法等。獲取地面點(diǎn)云并分割后,保留地面上的非地面障礙物點(diǎn),用于后續(xù)聚類算法。
點(diǎn)云模型經(jīng)過區(qū)域分割處理后,僅保留非地面點(diǎn)云,背景區(qū)域以及地面已被移除。通過應(yīng)用聚類算法,可實(shí)現(xiàn)單獨(dú)的車輛、行人等障礙物提取。在障礙物聚類過程中,通過對(duì)點(diǎn)云分割結(jié)果應(yīng)用無監(jiān)督聚類算法,可將障礙物點(diǎn)云聚類為不同的類簇,每個(gè)類簇即代表一個(gè)障礙物目標(biāo)。常用的聚類算法包括基于歐式距離的聚類算法[16]和基于密度的聚類算法[17]。結(jié)合激光雷達(dá)點(diǎn)云數(shù)據(jù)特點(diǎn),可針對(duì)不同范圍的點(diǎn)云設(shè)定相應(yīng)的聚類條件,提升點(diǎn)云聚類效果。
物體識(shí)別過程可以采用特征提取配合分類器實(shí)現(xiàn)障礙物分類,獲取目標(biāo)類別信息。由于點(diǎn)云數(shù)據(jù)較為稀疏,且通常不完整,僅依靠特征提取和匹配的方法,目標(biāo)識(shí)別效果一般,容易出現(xiàn)障礙物類型識(shí)別錯(cuò)誤的現(xiàn)象。
在聚類基礎(chǔ)上,對(duì)每一個(gè)類簇進(jìn)行包圍框擬合處理,并計(jì)算障礙物屬性,具體包括中心點(diǎn)、質(zhì)心點(diǎn)、長(zhǎng)寬高等。包圍框擬合共有三種擬合形式,包括外接矩形、最小外接框和最小包圍框。為最大程度表征出真實(shí)的障礙物大小,常用最小外接框和最小包圍框進(jìn)行障礙物包圍框擬合。
經(jīng)典點(diǎn)云目標(biāo)識(shí)別算法整體流程較為繁瑣,需要對(duì)點(diǎn)云進(jìn)行分割、聚類和分類匹配等處理。此外,由于點(diǎn)云具有目標(biāo)物體數(shù)據(jù)不完整性、數(shù)據(jù)密度低等特點(diǎn),經(jīng)典的點(diǎn)云目標(biāo)識(shí)別算法可以支撐低層次感知任務(wù)實(shí)現(xiàn),但在目標(biāo)識(shí)別準(zhǔn)確率方面存在一定不足,難以滿足自動(dòng)駕駛系統(tǒng)對(duì)目標(biāo)識(shí)別準(zhǔn)確率的需求。
針對(duì)經(jīng)典點(diǎn)云目標(biāo)識(shí)別算法在激光雷達(dá)點(diǎn)云目標(biāo)感知與識(shí)別方面的不足,近些年國(guó)內(nèi)外學(xué)者開始深度學(xué)習(xí)算法應(yīng)用于點(diǎn)云目標(biāo)識(shí)別過程,實(shí)現(xiàn)點(diǎn)云目標(biāo)識(shí)別效果的提升。然而,與二維圖像數(shù)據(jù)相比,激光雷達(dá)點(diǎn)云數(shù)據(jù)存在點(diǎn)云密度不均勻、數(shù)據(jù)不完整、噪聲等特點(diǎn)。此外,點(diǎn)云模型無特定方向,數(shù)據(jù)量大,應(yīng)用深度學(xué)習(xí)算法處理大量點(diǎn)云數(shù)據(jù)會(huì)產(chǎn)生較高時(shí)間成本,無法保證自動(dòng)駕駛系統(tǒng)對(duì)目標(biāo)識(shí)別的實(shí)時(shí)性需求。
為了解決上述難題,國(guó)內(nèi)外學(xué)者提出了一些創(chuàng)新性的深度學(xué)習(xí)模型構(gòu)建方法[18-19],實(shí)現(xiàn)了深度學(xué)習(xí)算法在點(diǎn)云目標(biāo)識(shí)別領(lǐng)域的創(chuàng)新性應(yīng)用。目前大多數(shù)三維點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)主要集中在以體素(Voxel)、點(diǎn)云(Point Cloud)、圖(Graph)、和視圖(View)等四種點(diǎn)云表示方式來構(gòu)建網(wǎng)絡(luò)。
基于體素的深度學(xué)習(xí)網(wǎng)絡(luò)[20]通過將點(diǎn)云劃分為具有一定大小的規(guī)則網(wǎng)格,借助網(wǎng)格模型描述點(diǎn)云數(shù)據(jù)的三維空間分布。其中,網(wǎng)格尺寸大小取決于點(diǎn)云模型整體數(shù)據(jù)量大小。為了降低算法運(yùn)算量,提高算法運(yùn)行效率,需要對(duì)每個(gè)網(wǎng)格中數(shù)據(jù)點(diǎn)進(jìn)行隨機(jī)采樣。經(jīng)過網(wǎng)格化處理后,可以將主要適用于具有規(guī)則數(shù)據(jù)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于點(diǎn)云,并在體素網(wǎng)格中直接應(yīng)用卷積[21]和池化操作。然而,點(diǎn)云經(jīng)過網(wǎng)格化處理后,并不是所有的網(wǎng)格中都存在數(shù)據(jù)點(diǎn),該數(shù)據(jù)表達(dá)方式仍存在優(yōu)化空間。此外,網(wǎng)格尺寸設(shè)定需要十分謹(jǐn)慎,因?yàn)槠淙菀讓?dǎo)致點(diǎn)云數(shù)據(jù)輸出尺寸發(fā)生變化,破壞本屬于同一目標(biāo)物體的數(shù)據(jù)點(diǎn)幾何關(guān)聯(lián)關(guān)系。
基于點(diǎn)云的深度學(xué)習(xí)網(wǎng)絡(luò)[22]可以保留點(diǎn)云三維空間信息和內(nèi)部局部幾何關(guān)系,既可以學(xué)習(xí)全局點(diǎn)的特征,也可以學(xué)習(xí)局部點(diǎn)的特征,可以滿足多種三維目標(biāo)識(shí)別需求。通過直接將三維點(diǎn)云數(shù)據(jù)輸入網(wǎng)絡(luò)并進(jìn)行訓(xùn)練,可以在一定程度上減少數(shù)據(jù)信息缺失。目前,基于點(diǎn)云的深度學(xué)習(xí)網(wǎng)絡(luò)的難點(diǎn)主要在于解決點(diǎn)云輸入排列問題,研究如何避免丟失點(diǎn)云局部特征,以及忽略點(diǎn)及其相鄰點(diǎn)之間的幾何關(guān)系。
基于圖的深度學(xué)習(xí)網(wǎng)絡(luò)[23]通過將點(diǎn)云表示為圖結(jié)構(gòu),并在此基礎(chǔ)上應(yīng)用卷積神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)特征提取和目標(biāo)識(shí)別。圖是一種非歐氏數(shù)據(jù)結(jié)構(gòu),在用于表示點(diǎn)云時(shí),節(jié)點(diǎn)代表點(diǎn)云中各個(gè)數(shù)據(jù)點(diǎn),邊則代表各相鄰點(diǎn)之間的數(shù)據(jù)關(guān)系。隨著卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展,越來越多的圖卷積網(wǎng)絡(luò)被應(yīng)用于三維數(shù)據(jù)。相比于其他深度學(xué)習(xí)網(wǎng)絡(luò),基于圖的深度學(xué)習(xí)網(wǎng)絡(luò)具備一定的優(yōu)勢(shì),能夠完整保留點(diǎn)及其相鄰點(diǎn)之間幾何關(guān)系。然而,構(gòu)建基于圖的深度模型同樣具備難點(diǎn),需要定義適用于動(dòng)態(tài)鄰域大小的卷積神經(jīng)網(wǎng)絡(luò),并建立權(quán)重共享機(jī)制。
基于視圖的深度學(xué)習(xí)網(wǎng)絡(luò)通過從不同方向?qū)θS點(diǎn)云進(jìn)行二維投影[24],并應(yīng)用完善的卷積神經(jīng)網(wǎng)絡(luò)和基于圖像數(shù)據(jù)集的預(yù)訓(xùn)練網(wǎng)絡(luò)對(duì)二維投影視圖進(jìn)行運(yùn)算處理,例如AlexNet、VGG 和ResNet 等,最終實(shí)現(xiàn)目標(biāo)識(shí)別。與基于體素的深度學(xué)習(xí)網(wǎng)絡(luò)相比,該算法可以對(duì)感興趣區(qū)域進(jìn)行多視角識(shí)別,并對(duì)識(shí)別結(jié)果進(jìn)行融合分析,輸出最佳識(shí)別果,提高三維目標(biāo)檢測(cè)準(zhǔn)確性。二維視圖投影與點(diǎn)云或體素網(wǎng)格等三維數(shù)據(jù)格式相比,由于減少了一維數(shù)據(jù)信息,因此可以大大降低計(jì)算成本,且目標(biāo)分辨率更高。此外,通過應(yīng)用現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò),可以更好地利用點(diǎn)云投影視圖中的局部和全局信息,提高算法適應(yīng)性。然而,從三維空間到二維視圖投影會(huì)導(dǎo)致部分幾何空間信息丟失,且多投影視圖相互之間存在數(shù)據(jù)冗余問題。
綜上分析,基于深度學(xué)習(xí)的點(diǎn)云目標(biāo)識(shí)別算法在目標(biāo)識(shí)別準(zhǔn)確率方面具備一定優(yōu)勢(shì),但由于點(diǎn)云數(shù)據(jù)具備無序性、不均勻等特點(diǎn),因此在網(wǎng)絡(luò)構(gòu)建和模型訓(xùn)練方面存在一定挑戰(zhàn),上述各類深度學(xué)習(xí)網(wǎng)絡(luò)在減少信息丟失方面仍存在優(yōu)化空間。
在自動(dòng)駕駛技術(shù)領(lǐng)域,基于三維點(diǎn)云實(shí)現(xiàn)障礙物目標(biāo)是目前主流研究方向。相比于二維圖像信息,激光雷達(dá)獲得的三維點(diǎn)云數(shù)據(jù)包含了物體空間位置和幾何信息,獲取目標(biāo)信息更加豐富,可以幫助自動(dòng)駕駛車輛更好地規(guī)避行駛風(fēng)險(xiǎn)。本文針對(duì)三維點(diǎn)云目標(biāo)識(shí)別技術(shù),分別對(duì)經(jīng)典點(diǎn)云目標(biāo)識(shí)別算法和基于深度學(xué)習(xí)的點(diǎn)云目標(biāo)識(shí)別算法進(jìn)行了分析,并對(duì)兩種算法的優(yōu)缺點(diǎn)進(jìn)行了總結(jié)。
總體而言,相比于經(jīng)典點(diǎn)云目標(biāo)識(shí)別算法,基于深度學(xué)習(xí)的點(diǎn)云目標(biāo)識(shí)別算法在目標(biāo)識(shí)別準(zhǔn)確率和魯棒性方面更具優(yōu)勢(shì)。近幾年,國(guó)內(nèi)外研究學(xué)者在三維點(diǎn)云深度學(xué)習(xí)模型構(gòu)建方面取得了一定成果,提出了多種創(chuàng)新性的深度學(xué)習(xí)模型構(gòu)建方法。然而,由于點(diǎn)云數(shù)據(jù)自身的無序性、遮擋、噪聲和數(shù)據(jù)量大等特點(diǎn),如何進(jìn)一步完善深度學(xué)習(xí)網(wǎng)絡(luò)在點(diǎn)云目標(biāo)識(shí)別任務(wù)中的應(yīng)用仍然具有挑戰(zhàn)。
基于深度學(xué)習(xí)的點(diǎn)云目標(biāo)識(shí)別算法發(fā)展時(shí)間尚短,未來仍有非常多的方向值得研究和探索。為彌補(bǔ)點(diǎn)云數(shù)據(jù)無序性、不均勻的缺陷,可研究面向多源數(shù)據(jù)融合的深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建,將包括圖像、激光雷達(dá)點(diǎn)云和毫米波雷達(dá)數(shù)據(jù)融合后,基于統(tǒng)一的深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)識(shí)別,提升目標(biāo)識(shí)別準(zhǔn)確性。研究多尺度特征融合策略,提取激光雷達(dá)點(diǎn)云前后幀關(guān)鍵信息,實(shí)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)目標(biāo)對(duì)象數(shù)據(jù)的充分利用。為解決點(diǎn)云無序性問題,研究魯棒性的點(diǎn)云數(shù)據(jù)表示方法,在體素、點(diǎn)云、圖和視圖表示方法的基礎(chǔ)上,探索更加新穎的三維數(shù)據(jù)表示方式。通過對(duì)以上方面的研究和探索,不斷提升激光雷達(dá)點(diǎn)云目標(biāo)識(shí)別智能化程度。