劉 鈺，張 馳，3，李垚辰，李 力，劉躍虎，3，鄭南寧

（1.西安交通大學(xué)人工智能與機器人研究所，西安710049；2.西安交通大學(xué)軟件學(xué)院，西安710049；3.陜西省數(shù)字技術(shù)與智能系統(tǒng)重點實驗室，西安710049；4.清華大學(xué)自動化系，北京100083）

1 引 言

無人駕駛環(huán)境感知算法的離線測試需要大量、多樣、典型交通場景數(shù)據(jù)以盡可能覆蓋自主行駛遇到的交通狀況，特別是蘊含影響感知算法性能的不利條件的交通場景，稱之為邊界交通場景［1］，如交通事故場景、施工場景、危險駕駛場景等。邊界交通場景的多傳感數(shù)據(jù)是無人駕駛離線測試考察道路環(huán)境認(rèn)知智能算法正確性和環(huán)境適應(yīng)性的有力測試數(shù)據(jù)［2］。由于其出現(xiàn)概率小、持續(xù)過程短，導(dǎo)致現(xiàn)場采集數(shù)據(jù)困難。因此，本文面臨如何從已有傳感數(shù)據(jù)生成邊界交通場景數(shù)據(jù)的問題，其本質(zhì)是在操縱空間對場景內(nèi)容的改變。從操縱空間的維度來講，對場景內(nèi)容操縱可以分為2D 圖像編輯與3D 空間操縱。

傳統(tǒng)的基于2D 圖像編輯方法在圖像內(nèi)容操縱方面已經(jīng)取得一定的進(jìn)展［3］。但2D 圖像是三維世界的二維光學(xué)采樣，2D圖像編輯忽略了自然世界的三維本質(zhì)屬性［4］，容易產(chǎn)生包含錯誤空間位置關(guān)系的場景外觀，如由于缺乏道路幾何約束，新加入的車輛在視覺上容易發(fā)生浮于空中或是陷入路面的情形。此外，圖像平面上的二維操縱無法真實反映現(xiàn)實世界中的旋轉(zhuǎn)等三維操縱。因此，從已有傳感數(shù)據(jù)生成邊界交通場景數(shù)據(jù)可以看作是在3D 操縱空間改變場景內(nèi)容的過程。

現(xiàn)有的3D 空間操縱方法一般遵循由真實數(shù)據(jù)獲取、場景3D 重建、場景操縱到新數(shù)據(jù)生成的流程［5］。具體地，交通場景操縱技術(shù)通過從真實道路場景數(shù)據(jù)中獲取道路幾何形狀屬性，構(gòu)建交通場景模型，再利用仿真?zhèn)鞲衅髂Ｐ蜕勺兓蟮慕煌▓鼍皞鞲袛?shù)據(jù)［6］，所生成交通場景傳感數(shù)據(jù)的真實感與建模精細(xì)程度正相關(guān)。由于同一時刻同一位置所采集的多傳感數(shù)據(jù)反映相同的交通場景，其場景內(nèi)容具有語義一致性，即圖像數(shù)據(jù)的語義信息會隨著場景點云數(shù)據(jù)的改變而改變。因此，相較于針對道路幾何與語義功能精確建模生成對車輛運動的精細(xì)約束，通過對點云與圖像數(shù)據(jù)中的路面及道路邊界的估計即可構(gòu)成有效的運動約束。此外，原始場景數(shù)據(jù)包含大量形狀信息及外觀信息，能夠滿足新場景數(shù)據(jù)生成的需要。

基于以上觀點，本文研究生成邊界交通場景多傳感數(shù)據(jù)所需的簡化3D操縱空間表示方法，通過對多模態(tài)傳感數(shù)據(jù)的操縱與復(fù)用，實現(xiàn)邊界交通場景數(shù)據(jù)的快速生成。本文主要關(guān)注包含危險駕駛行為的邊界交通場景，如逆向行駛、右側(cè)超車等。方向包圍盒（Oriented Bounding Box，OBB）具有圖元關(guān)系簡單、特征明顯、描述參數(shù)少的特點，是交通參與者的最簡3D 描述。本文提出OBB 的操縱空間表征，通過復(fù)用原始場景多傳感數(shù)據(jù)中的形狀信息及外觀信息，實現(xiàn)從真實數(shù)據(jù)獲取、基于方向包圍盒的3D空間操縱到數(shù)據(jù)合成過程，操縱道路場景點云與圖像數(shù)據(jù)生成新的邊界交通場景數(shù)據(jù)，如圖1所示。

本文的主要貢獻(xiàn)：

圖1 4D（1D時-3D空）多傳感數(shù)據(jù)操縱實現(xiàn)流程Fig.1 Implementation process of 4D（1D for time and 3D for space）manipulation for multi-sensor data

（1）提出OBB 的操縱空間表征，有效提升交通元素定位與提取效率。提出局部路面的漸進(jìn)式OBB 構(gòu)建方法，從而動態(tài)添加路面幾何約束，改善交通場景的視覺傳感數(shù)據(jù)生成效果。

（2）提出產(chǎn)生邊界交通場景數(shù)據(jù)的時-空操縱方法，實驗驗證了所生成的邊界交通場景數(shù)據(jù)對道路環(huán)境感知算法的影響，是豐富無人駕駛離線測試用例的有效途徑之一。

2 基于OBB的簡化操縱空間表示

3D操縱空間表征是場景內(nèi)容操縱的基礎(chǔ)問題。當(dāng)前常見的3D 操縱空間表征可以分為柵格化形式如體素，幾何形式如點云、多邊形網(wǎng)格等［7］。由于三維物體的幾何形狀信息集中在表面，體素表征方式具有信息稀疏性，造成內(nèi)存占用與計算復(fù)雜度高等問題［8］；多邊形網(wǎng)格是廣泛使用的3D操縱空間表征形式［9］，幾何連續(xù)性描述佳，內(nèi)存占用低，但其圖元關(guān)系與組合連接模式復(fù)雜，在轉(zhuǎn)換和形變時需要進(jìn)行大量的圖元連接［10］；激光點云為無人駕駛常用的傳感數(shù)據(jù)，雖然包含豐富的三維信息，但對三維幾何的連續(xù)性描述不足［11］，操縱不便，如定位、提取操縱對象困難，添加道路幾何約束復(fù)雜等。為避免上述問題，本文提出構(gòu)建OBB 表征的簡化操縱空間，其特點是圖元關(guān)系簡單、特征明顯、描述參數(shù)少。在操縱空間中，OBB 的表示參數(shù)由其位置參數(shù)(x，y，z)（OBB 幾何中心在所定義坐標(biāo)系下的空間位置坐標(biāo)；x，y，z分別代表橫軸、縱軸、豎軸坐標(biāo)）、旋轉(zhuǎn)參數(shù)(α，θ，γ)（OBB三個正交邊相對于所定義坐標(biāo)系三個軸的旋轉(zhuǎn)角度；α，θ，γ分別為OBB的俯仰角、方位角與側(cè)傾角）及尺寸參數(shù)(w，l，h)（分別為寬、長、高）組成。

在生成邊界交通場景數(shù)據(jù)的操縱過程中，交通參與者是危險駕駛行為的來源之一，道路幾何給予交通參與者充分的運動約束，因此本文重點關(guān)注道路與交通參與者在操縱空間中的簡化表示。對于交通參與者，通過聚類得到其OBB表示。對于道路幾何，為降低操縱空間的構(gòu)建開銷，提出局部路面的漸進(jìn)式OBB構(gòu)建方法來動態(tài)添加運動約束。

2.1 交通參與者OBB表示的聚類生成

本文首先探究交通參與者的實例級別OBB 簡化表示。由于輸入點云數(shù)據(jù)的語義信息僅包含類別信息，缺乏區(qū)分不同實例的描述信息?？紤]到點間距離能夠?qū)崿F(xiàn)對點云簇的有效空間劃分，即相同實例點云簇中的點間距離較近，不同實例點云簇中的點間距離較遠(yuǎn)。因此，本文利用歐氏距離作為相似度度量，將點云聚類為表示不同交通參與者的點云簇，從而估計其OBB表示參數(shù)。具體步驟如下：

首先通過對已有點云數(shù)據(jù)的預(yù)處理，去除背景元素如建筑物、樹木等。采用基于歐氏距離的聚類方法對其中的交通參與者進(jìn)行實例級聚類。剔除無效點，對每一有效點在其設(shè)置半徑范圍的球域內(nèi)尋找鄰接點。若該點與查詢點的歐氏距離在設(shè)置半徑范圍以內(nèi)即為查詢點的鄰接點。查詢點與鄰接點賦予相同的標(biāo)簽，按照標(biāo)簽對點云進(jìn)行聚類分割得到點云簇。

得到點云的聚類結(jié)果后，對每一點云簇找到其OBB。獲取每一個點云簇的凸包并排除凸包內(nèi)部的點，這些點對后續(xù)計算無用。繼而計算凸包每一個面的角度，找到點云簇的外接OBB。

2.2 局部路面的漸進(jìn)式OBB構(gòu)建

交通參與者在操縱空間運動時受到道路幾何約束。若不考慮此運動約束，所產(chǎn)生數(shù)據(jù)會出現(xiàn)不合理的空間位置關(guān)系，如車輛陷入路面等情況。因此，建立道路的OBB表示，引入道路幾何約束，可獲得交通參與者更為精確合理的位姿。

由于真實道路通常是不平坦的，如果使用簡單平面擬合路面OBB 會引入較大誤差。然而精細(xì)幾何模型描述路面會帶來圖元連接多、結(jié)構(gòu)復(fù)雜、內(nèi)存占用高的問題。本文假設(shè)交通參與者所處局部路面區(qū)域是平坦的。為新增交通參與者添加道路幾何約束時，實際僅需估計所處局部路面法向信息，使新增交通參與者OBB 底面法向與其保持一致。

由此，本文提出局部路面的漸進(jìn)式OBB構(gòu)建方法動態(tài)添加道路幾何約束。每一時刻以運動交通參與者重心的2D位置為中心，選取尺寸為(wr，lr，hr)的局部路面點云構(gòu)建OBB。本文中設(shè)置wr=wv+1，lr=lv+ 1,hr= 0.3m，(wv，lv，hv)為交通參與者OBB 尺寸參數(shù)?；诰植柯访鍻BB與交通參與者OBB，交互設(shè)定交通參與者運動的道路幾何約束，如圖2所示。假定t0時刻，新增交通參與者OBB的2D位置坐標(biāo)為(xv0，y0v)，方位角為θv0，尺寸為(wv，lv，hv)。以(xv0，y0v)位置為中心，選取尺寸為(wv+ 1，lv+ 1，0.3)的局部路面點云進(jìn)行OBB 構(gòu)建，得到其旋轉(zhuǎn)參數(shù)(αr0，θr0，γr0)。通過坐標(biāo)系變換，令新增交通參與者OBB的旋轉(zhuǎn)參數(shù)為(αr0，θv0，γr0)，得到其新的三維位置坐標(biāo)。以此類推，每一運動時刻交互設(shè)定交通參與者運動的道路幾何約束。

圖2 局部路面的漸進(jìn)式OBB構(gòu)建Fig.2 Gradual construction of regional road area’s bounding box

3 交通場景多傳感數(shù)據(jù)生成

如圖1所示，操縱車輛OBB 生成交通場景多傳感數(shù)據(jù)的一般流程是：先基于OBB操縱空間交互控制車輛點云簇的空間變換，而后將場景點云的改變作用在圖像上。本文利用場景點云中尺寸近似車輛的幾何外觀構(gòu)建所控制車輛的完整點云，從而生成指定運動位姿下的新點云視圖，并投影在場景語義圖像上，最終通過圖像翻譯網(wǎng)絡(luò)生成具有真實交通紋理的圖像數(shù)據(jù)。

3.1 車輛完整點云構(gòu)建

操縱交通參與者生成與原始場景不同的駕駛行為往往意味著交通參與者位姿的改變，存在生成新視圖的需求。受激光雷達(dá)的物理特性影響，所獲取的點云與視點位置、方向相關(guān)，通常不能完整描述交通參與者的幾何外觀。僅利用這些信息無法滿足生成新點云視圖的需求。點云序列中存在與視點方向呈不同角度的交通參與者，能夠潛在滿足交通參與者完整點云的生成需求。對于交通參與者，本文重點關(guān)注車輛。

本文根據(jù)OBB描述的車輛尺寸信息，檢索指定車輛的最近似幾何外觀，利用對稱性先驗信息指導(dǎo)點云拼接融合，最終構(gòu)建車輛完整點云信息，如圖3所示。

3.2 邊界交通場景圖像數(shù)據(jù)生成

操縱改變場景點云后，需要將內(nèi)容改變作用到圖像域以生成邊界交通場景圖像數(shù)據(jù)。

圖3 車輛完整點云構(gòu)建Fig.3 Construction of the vehicle’s complete point cloud

一種直觀的思路是將改變的點云數(shù)據(jù)借助空間變換關(guān)系投影到圖像上。但是點云數(shù)據(jù)具有稀疏性，很難在復(fù)雜紋理情形下獲得連續(xù)的投影外觀。近年來，從語義圖像生成真實紋理的圖像翻譯方法取得了長足的進(jìn)展［12］。據(jù)此，本文將新增車輛點云投影到紋理簡單、顏色單一的語義圖像上，如圖4（a）黃色區(qū)域所示。并采用基于八鄰域結(jié)構(gòu)元膨脹方法填補投影的不連續(xù)外觀，如圖4（b）所示。最后，通過圖像翻譯網(wǎng)絡(luò)pix2pixHD［13］生成具有交通場景紋理的圖像。訓(xùn)練步驟中，使用2126張來源于vKITTI 數(shù)據(jù)集［14］，尺寸為1242×375 的RGB 圖像數(shù)據(jù)與對應(yīng)的語義圖像數(shù)據(jù)輸入網(wǎng)絡(luò)，生成具有真實感的邊界交通場景圖像數(shù)據(jù)，如圖4（c）所示。

4 實驗驗證與分析

4.1 道路幾何約束的生成圖像效果對比

引入道路幾何約束前后所產(chǎn)生的一組語義圖像如圖5所示。根據(jù)場景點云數(shù)據(jù)，此場景道路右側(cè)高于道路左側(cè)。從圖5可以看出在無道路幾何約束時，新加入車輛出現(xiàn)陷入路面的情況，而引入道路幾何約束后，車輛在生成圖像中的空間位置關(guān)系符合常理。

4.2 邊界交通場景生成案例

通過設(shè)置新增交通參與者的時-空運動，產(chǎn)生邊界交通場景數(shù)據(jù)，部分實驗結(jié)果展示于圖6。場景中一輛車行駛于道路中央，另一輛車搶道超車，造成兩輛車相撞。這是一個典型的邊界交通場景，其中包含了諸多影響交通場景復(fù)雜度的危險駕駛行為。

圖4 邊界交通場景圖像數(shù)據(jù)生成Fig.4 Generation of critical traffic images

4.3 邊界交通場景對車輛檢測算法影響程度測試

為測試所生成的邊界交通場景數(shù)據(jù)對無人車環(huán)境感知智能算法性能的影響，我們使用在MS COCO 數(shù)據(jù)集上預(yù)訓(xùn)練的Mask R-CNN［15］網(wǎng)絡(luò)在生成圖像上進(jìn)行車輛檢測。

考慮到車輛檢測算法性能變差也可能是圖像質(zhì)量的原因，我們選取常用的結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）和峰值信噪比（Peek Signal to Noise Ratio，PSNR）作為圖像質(zhì)量評價指標(biāo)。將原始RGB 圖像作為參考圖像，分別衡量其與利用原始語義圖像通過圖像翻譯網(wǎng)絡(luò)產(chǎn)生的交通場景圖像（翻譯圖像）和經(jīng)過操縱后生成的語義圖像通過網(wǎng)絡(luò)產(chǎn)生的邊界交通場景圖像（生成圖像）之間的相似度。結(jié)果表明所產(chǎn)生的圖像質(zhì)量退化主要來源于圖像翻譯網(wǎng)絡(luò)而非操縱過程。

對于車輛檢測結(jié)果，我們選擇Precision、Recall和F1-measure 作為評價指標(biāo)，Mask R-CNN 算法的車輛檢測結(jié)果見表1。可以看出在翻譯圖像上，算法性能稍有下降，表明圖像翻譯網(wǎng)絡(luò)對結(jié)果有一定的影響。繼而對比生成圖像與翻譯圖像上的測試結(jié)果，兩者圖像質(zhì)量相近，但在生成圖像的測試，車輛檢測算法性能下降明顯。這表明所產(chǎn)生的邊界交通場景數(shù)據(jù)對算法性能有明顯影響，可以用于測試智能算法對不同交通場景的適應(yīng)性。

圖5 引入道路幾何約束前后的效果對比（上：引入道路幾何約束前，下：引入道路幾何約束后）Fig.5 Effect of adding road geometric constraints

圖6 邊界交通場景生成示例（大圖為圖像翻譯網(wǎng)絡(luò)生成的交通場景圖像，右下角為其對應(yīng)語義圖像）Fig.6 The generated critical traffic scenarios

表1 Mask R-CNN算法在所生成場景上的車輛檢測結(jié)果Table1 The vehicles detection results of Mask R-CNN tested on generated scenarios

5 結(jié) 論

本文所討論方法的目的是通過對交通場景內(nèi)容進(jìn)行4D 操縱產(chǎn)生新的邊界交通場景數(shù)據(jù)。為使操縱更為便捷準(zhǔn)確，提出利用OBB表征的操縱空間完成4D操縱。為引入道路幾何約束，本文提出局部路面的漸進(jìn)式OBB構(gòu)建方法，改善了視覺數(shù)據(jù)生成效果。實驗結(jié)果表明，道路環(huán)境感知算法對所生成的邊界交通場景數(shù)據(jù)敏感，可以用于豐富無人駕駛環(huán)境感知智能算法離線測試的測試用例。