王宇唯 黃宏成

(上海交通大學(xué)機(jī)械與動(dòng)力工程學(xué)院,上海 200240)

1 仿真數(shù)據(jù)集研究現(xiàn)狀

3D檢測(cè)是自動(dòng)駕駛技術(shù)的基礎(chǔ),隨著技術(shù)的發(fā)展,3D檢測(cè)也從最初的基于圖像和基于點(diǎn)云的方法發(fā)展到了基于融合的方法[1］。但隨著技術(shù)的快速發(fā)展,業(yè)界也對(duì)自動(dòng)駕駛數(shù)據(jù)集提出的更高的要求,如要求激光雷達(dá)數(shù)據(jù)要有更高的線數(shù),要求數(shù)據(jù)集包含多模態(tài)數(shù)據(jù)等。這時(shí),傳統(tǒng)多模態(tài)數(shù)據(jù)集時(shí)效性差、標(biāo)注成本高、校準(zhǔn)困難等問(wèn)題就暴露出來(lái),仿真數(shù)據(jù)集在進(jìn)行算法快速迭代時(shí)成為了不二之選。

仿真數(shù)據(jù)集具有獲取成本低、易獲取極端場(chǎng)景、有較強(qiáng)的連續(xù)性等特征,已經(jīng)有如SHIFT[2］這樣的多尺度、多場(chǎng)景、多模態(tài)的連續(xù)性仿真數(shù)據(jù)集問(wèn)世。大多數(shù)仿真數(shù)據(jù)集都是基于CARLA這樣的仿真平臺(tái)生成的,但這些平臺(tái)都不重視點(diǎn)云的第四維度即點(diǎn)云反射率的值(點(diǎn)云的4維分別為x, y, z, intensity),往往通過(guò)一些簡(jiǎn)單的填充方式把一些與反射率無(wú)關(guān)的值填到第四維上,這在做3D檢測(cè)算法時(shí)會(huì)白白損失掉一維重要的信息,在檢測(cè)車牌、車輛表面、車道線等高反物體上是極其不利的。所以,本文基于BRDF反射率模型對(duì)CARLA的激光雷達(dá)模型進(jìn)行了重建,使其可以生成具有較為準(zhǔn)確反射率的點(diǎn)云,并利用該模型搭建了一個(gè)多模態(tài)仿真數(shù)據(jù)集的生成框架。

2 基于BRDF的激光雷達(dá)反射率模型

2.1 CARLA仿真平臺(tái)及其激光雷達(dá)模型

CARLA是一個(gè)基于虛幻4引擎為了支持自動(dòng)駕駛系統(tǒng)的開發(fā)、訓(xùn)練和驗(yàn)證而被開發(fā)出來(lái)的開源自動(dòng)駕駛仿真平臺(tái)。CARLA具有很高的靈活性,支持相機(jī)、激光雷達(dá)、深度相機(jī)等多種傳感器,支持雨天、雪天、霧天、夜晚等復(fù)雜天氣與光照情況,支持城鎮(zhèn)、鄉(xiāng)村、高速、居民區(qū)等多種場(chǎng)景,支持控制多個(gè)動(dòng)態(tài)或靜態(tài)交通參與者。同時(shí),CARLA代碼完全開源,具有很強(qiáng)的二次開發(fā)性,用戶可自定義傳感器、地圖場(chǎng)景、車輛模型等,對(duì)自動(dòng)駕駛感知、決策都能起到強(qiáng)大的賦能作用。

CARLA并未對(duì)激光雷達(dá)的反射率進(jìn)行準(zhǔn)確建模,其反射率公式為

I=e-ad

(1)

其中a為衰減系數(shù),d為距離,衰減系數(shù)與激光波長(zhǎng)以及空氣有關(guān),同一情況下為定值。不難看出,CARLA對(duì)激光雷達(dá)反射率的建模只與距離有關(guān),距離越大,反射率越小,與被照射的物體的性質(zhì)無(wú)關(guān),這顯然是不符合現(xiàn)實(shí)的,所以需要對(duì)激光雷達(dá)模型進(jìn)行重建。

2.2 基于BRDF的反射率模型

BRDF(Bidirectional Reflectance Distribution Function)是一種常用在圖形學(xué)算法中的用于描述光反射現(xiàn)象的基本模型。一般來(lái)說(shuō),物體對(duì)光的反射分為漫反射和鏡面反射,對(duì)于一個(gè)物體,單個(gè)光源照射到物體上反射到觀測(cè)點(diǎn)的輻射強(qiáng)度可以表示為式(2)。

(2)

則反射率可表示為

(3)

其中,Lo是出射的輻亮度,Li是入射的輻亮度,θi是入射角,kd是不發(fā)生鏡面反射的比例,rd是漫反射的系數(shù),ks是發(fā)生鏡面反射的比例,rs是鏡面反射的系數(shù),他們之間存在以下關(guān)系:

(4)

進(jìn)一步地,根據(jù)Cook-Torrance的BRDF模型[3］,反射過(guò)程的示意圖如圖1所示。

圖1 BRDF反射過(guò)程示意圖

其中,L為反射點(diǎn)指向光源的單位向量,N為反射點(diǎn)的法向單位向量,V為反射點(diǎn)指向觀察點(diǎn)的單位向量,H為V和L的角平分線單位向量,R是遵循鏡面反射的出射單位向量。

ks,kd,rs,rd,分別等于:

(5)

(6)

(7)

(8)

其中,F0為反射率,表達(dá)式如式(9)所示。

F0=0.04+(albedo-0.04)×metallic

(9)

(10)

a=roughness2

(11)

到現(xiàn)在,還只剩下albedo、metallic、roughness三個(gè)未知量,metallic和roughness容易理解,分別為金屬度和粗糙度,為0～1之間的小數(shù),albedo為物體的基礎(chǔ)反射率,也為0～1之間的小數(shù),同一物體對(duì)不同波長(zhǎng)的光的基礎(chǔ)反射率是不同的,在UE4引擎中,所有物體的基礎(chǔ)反射率都為一個(gè)三維的矩陣,分別表示對(duì)RGB三個(gè)通道的光的基礎(chǔ)反射率,由于激光雷達(dá)用的是近紅外光,物體對(duì)激光的基礎(chǔ)反射率與紅光的近似,所以采用R通道的基礎(chǔ)反射率作為物體對(duì)激光的基礎(chǔ)反射率。通過(guò)CARLA的相機(jī)傳感器接后處理獲取到場(chǎng)景的金屬度、粗糙度和基礎(chǔ)反射率,把得到的屬性圖像傳到client端,后處理的藍(lán)圖如下頁(yè)圖2所示。

圖2 基礎(chǔ)反射率、金屬度、粗糙度后處理藍(lán)圖

獲取各個(gè)通道的灰度圖如下頁(yè)圖3。

圖3 R通道基礎(chǔ)反射率、金屬度、粗糙度灰度圖

3 仿真數(shù)據(jù)集生成框架

已經(jīng)有了激光雷達(dá)的模型,還需要一個(gè)自動(dòng)化的仿真數(shù)據(jù)集生成框架,在該框架中,只需通過(guò)一個(gè)簡(jiǎn)單的config文件對(duì)雷達(dá)的線數(shù)、視場(chǎng)角、分辨率等進(jìn)行配置,就可以在仿真場(chǎng)景中進(jìn)行仿真數(shù)據(jù)采集。

3.1 仿真點(diǎn)云生成

大部分的激光雷達(dá)的垂直視場(chǎng)角都在30°以內(nèi),所以獲取屬性的相機(jī)傳感器的視場(chǎng)角設(shè)為60°,這樣在垂直視場(chǎng)角上單個(gè)相機(jī)就可以涵蓋絕大部分的激光雷達(dá),至于水平方向,當(dāng)激光雷達(dá)的水平視場(chǎng)角大于60°時(shí),通過(guò)在水平方向上堆疊多個(gè)相機(jī)獲取多張圖像從而實(shí)現(xiàn)大于60°的水平視場(chǎng)角的圖像獲取,示意圖如圖4所示。

圖4 3個(gè)相機(jī)組成180°視場(chǎng)角

獲取到金屬度、粗糙度、基礎(chǔ)反射率的圖像后,需要獲取到激光雷達(dá)點(diǎn)云投影到圖像坐標(biāo)系下對(duì)應(yīng)的像素點(diǎn),只需要利用坐標(biāo)系轉(zhuǎn)換公式,把激光雷達(dá)坐標(biāo)系下的點(diǎn)坐標(biāo)轉(zhuǎn)到相機(jī)坐標(biāo)系下即可,由于激光雷達(dá)的位置坐標(biāo)和相機(jī)的位置坐標(biāo)相同,所以只需對(duì)激光雷達(dá)坐標(biāo)系下的點(diǎn)坐標(biāo)進(jìn)行旋轉(zhuǎn)變換即可,公式如下

xcam=Axlidar

(12)

其中,坐標(biāo)系用的是左手系,正前方為x軸,正上方為z軸,yaw表示相機(jī)相對(duì)于雷達(dá)的z軸轉(zhuǎn)角。

轉(zhuǎn)換到相機(jī)坐標(biāo)系后,把相機(jī)坐標(biāo)系下的三維點(diǎn)坐標(biāo)轉(zhuǎn)到圖像的二維坐標(biāo)系下,這樣即可實(shí)現(xiàn)激光點(diǎn)云對(duì)應(yīng)的金屬度、粗糙度、基礎(chǔ)反射率的獲取,圖5為變換后采樣點(diǎn)的示意圖,其中黑色點(diǎn)為采樣點(diǎn)。

圖5 基礎(chǔ)反射率、金屬度、粗糙度采樣圖

采樣讀取各個(gè)灰度圖的值,得到采樣點(diǎn)的金屬度、粗糙度、基礎(chǔ)反射率,利用公式(3)～(8)即可計(jì)算出點(diǎn)云的反射率,利用jet色度圖對(duì)點(diǎn)云進(jìn)行可視化(反射率從低到高變化時(shí)點(diǎn)云的顏色從藍(lán)色向紅色過(guò)渡),得到的點(diǎn)云示意圖如圖6所示。

圖6 點(diǎn)云示意圖

可以看到車道線、車牌等高反物體的反射率明顯高于其他物體,通過(guò)BRDF模型對(duì)激光雷達(dá)建模的結(jié)果正確。

3.2 標(biāo)注框獲取

通過(guò)UE4的hitresult獲取點(diǎn)對(duì)應(yīng)的actor id,在client端通過(guò)actor id讀取到actor,通過(guò)CARLA自帶的Api獲取actor的綁定框即可,獲取到的綁定框如圖7所示。

圖7 帶標(biāo)注框的點(diǎn)云示意圖

3.3 多模態(tài)數(shù)據(jù)集框架搭建

利用config文件對(duì)雷達(dá)和相機(jī)參數(shù)進(jìn)行配置,如圖8所示。

圖8 數(shù)據(jù)集采集框架配置示意

在該配置中,cameras_fov和cameras_pos是兩個(gè)長(zhǎng)度相同的列表,分別表示相機(jī)的視場(chǎng)角和相對(duì)于數(shù)據(jù)采集車的位置,位置列表有三個(gè)量,分別表示相對(duì)于數(shù)據(jù)采集車的Δx,Δy和Δyaw(左手系,車輛正前方為x軸正方向),把上圖的配置注入腳本后,得到的數(shù)據(jù)集如圖9所示。

圖9 采集到的多模態(tài)數(shù)據(jù)集

4 結(jié) 論

本文基于BRDF模型對(duì)CARLA中的激光雷達(dá)模型進(jìn)行了重建,使激光雷達(dá)反饋回較為準(zhǔn)確的反射率結(jié)果,同時(shí)在該激光雷達(dá)的基礎(chǔ)上搭建了一個(gè)自動(dòng)化的多模態(tài)數(shù)據(jù)集采集框架,自動(dòng)化地獲取多模態(tài)的3D檢測(cè)數(shù)據(jù)集。