高彥東, 王由道

1(長安大學 信息工程學院, 西安 710064)

2(長安大學, 西安 710018)

1 引言

伴隨著物聯(lián)網(wǎng)、云計算以及人工智能、大數(shù)據(jù)等新一代信息技術(shù)的不斷發(fā)展, 工業(yè)信息化、智能制造和智慧城市的研究進程正在迅速推進.同時我國提出的“中國制造2025”與德國“工業(yè)4.0”完成合作對接, 以實現(xiàn)部署全面推進實施制造強國戰(zhàn)略[1].數(shù)字孿生(digital-twin)作為工業(yè)4.0的主要概念之一, 被越來越多的應用于工業(yè)領域和研究計劃[2].其中, 基于數(shù)字孿生的測試和檢測作為一項能夠?qū)⑽锢硐到y(tǒng)與虛擬系統(tǒng)實現(xiàn)虛實結(jié)合和信息融合的應用方向[3], 在自動駕駛測試中也發(fā)揮著重要的作用.現(xiàn)階段基于場景庫的自動駕駛測試體系中, 主要包括軟件仿真SIL (Software In the Loop)、硬件在環(huán)HIL (Hardware In the Loop)、整車在環(huán)VIL (Vehicle In the Loop)以及封閉、開放和半開放場景下的實車場地測試和道路測試幾種方法[4].其中, SIL是通過虛擬仿真軟件進行的測試, HIL是在將真實的控制器單元部署在虛擬的測試環(huán)境中對進行測試, VIL是在汽車實驗室中將整車作為對象進行測試,實車場地測試和道路測試是實車分別在測試場和道路中進行的測試.基于數(shù)字孿生的自動駕駛測試需要倚靠與物理空間中結(jié)構(gòu)、狀態(tài)對應一致的真實車輛作為測試對象, 并在虛擬空間中實現(xiàn)同步對應.

數(shù)字孿生通過將物理模型和傳感器數(shù)據(jù)在虛擬空間中實現(xiàn)映射從而構(gòu)建起物理世界與信息世界的溝通橋梁[5], 數(shù)字孿生體能夠在虛擬系統(tǒng)中呈現(xiàn)出完整的生命周期; 同時將真實環(huán)境的內(nèi)容融入到虛擬場景, 并實現(xiàn)雙向交互式反饋的過程又稱為混合現(xiàn)實[6], 這一技術(shù)的特點是能夠通過虛擬現(xiàn)實技術(shù)實現(xiàn)物理實體與虛擬空間的互動, 同時又具備將數(shù)據(jù)融合分析和決策迭代優(yōu)化應用于物理實體的功能性擴展中, 從而實現(xiàn)虛實結(jié)合, 虛實交互的系統(tǒng)形態(tài).

本文針對現(xiàn)階段幾種自動駕駛測試體系中無法同時將車輛動力、道路、駕駛員納入測試環(huán)境中的情況,或者忽略了價值成本、安全性、可重復性方面的問題,提出了一種混合現(xiàn)實的數(shù)字孿生三維交通環(huán)境構(gòu)建方法, 通過數(shù)字孿生技術(shù)將物理空間中的真實車輛以數(shù)字孿生體的形式映射到虛擬的三維場景中; 同時將虛擬三維場景中的道路、天氣以及光照環(huán)境以視覺形式反饋給駕駛員; 不僅如此, 車輛數(shù)字孿生體可以與虛擬場景中的其他交通參與者產(chǎn)生交互行為, 以此構(gòu)建混合現(xiàn)實的數(shù)字孿生三維交通環(huán)境.

2 相關工作

現(xiàn)階段的數(shù)字孿生技術(shù)在研究構(gòu)建混合現(xiàn)實的場景方面, 正處于不斷發(fā)展完善的過程中, 伍朝輝等[7]從數(shù)字孿生概念、發(fā)展和關鍵技術(shù)的角度對交通場景數(shù)字孿生的研究與應用進行了分析和展望; 由國家工信部發(fā)布的《數(shù)字孿生應用白皮書2020》[8]中指出了將建立實體的數(shù)字化映射作為虛擬仿真與真實環(huán)境相結(jié)合的自動駕駛測試系統(tǒng)中包含的搭建虛擬仿真平臺數(shù)字孿生系統(tǒng)的核心之一.Wang等[9,10]利用車載到云V2C (Vehicle-to-Cloud)通信, 通過將傳感器數(shù)據(jù)經(jīng)過服務器傳輸?shù)教摂M空間中經(jīng)過相應的模型計算得到?jīng)Q策提議并實時反饋給駕駛員; Pan等[11]通過將現(xiàn)實世界中獲取的具有紋理特征的圖像和連續(xù)片段的視頻通過特征匹配融合到虛擬場景中, 在虛擬場景中構(gòu)建出更加真實的數(shù)字孿生體.Wu等[12]設計出一種將二維全景圖、衛(wèi)星紋理和三維模型融合在一起的大尺度場景多視角實時監(jiān)控的混合現(xiàn)實框架, 并用于生成數(shù)字孿生的三維道路場景.

在與自動駕駛測試場景的構(gòu)建相關的研究中, 李銀國等[13]提出了一種基于雙目視覺的三維場景重建方法, 可以用于大規(guī)模智能駕駛場景的場景重建, 并且能夠滿足智能駕駛系統(tǒng)的實時需求.湯輝等[14]研究了一種將模擬駕駛器融入到自動駕駛場景中, 同時駕駛員通過駕駛模擬器控制后臺駕駛車輛, 模擬現(xiàn)實世界中的駕駛行為, 該方法可以很好地促進自主駕駛車輛的仿真測試.Song等[15]提出了一種涵蓋傳感器模塊、車輛動力學模塊、場景模塊和控制算法模塊的虛擬聯(lián)合仿真技術(shù)平臺, 解決了包括全天候道路、傳感器選型設計、自動控制算法、駕駛性能測試等難以驗證的難題, 同時提高了系統(tǒng)的自主駕駛性能.

綜上所述, 數(shù)字孿生技術(shù)在構(gòu)建虛實結(jié)合的自動駕駛測試場景方法研究方面, 一直以來處于相對比較空缺的地位.而通過虛實結(jié)合形式構(gòu)建的自動駕駛測試場景, 相比較于傳統(tǒng)的幾種測試方法中的SIL而言具有真實車輛和控制單元的優(yōu)勢, 對于HIL則可以實現(xiàn)將整車作為對象的測試, 相比于VIL可以實現(xiàn)更低成本, 并且能夠在不同道路環(huán)境中進行的測試, 而對比實地測試場和道路測試, 具備更好的安全性、可重復性, 成本低廉等特點.

3 車輛數(shù)字孿生體的構(gòu)建

3.1 空間坐標映射

為了實現(xiàn)物理空間中的真實車輛與虛擬空間中對應的數(shù)字孿生體在位姿上的一致性, 需要將車輛數(shù)字孿生體在虛擬世界坐標系下的位置、旋轉(zhuǎn)角度的變換進行耦合.假設在虛擬世界坐標系下, 車輛數(shù)字孿生體的當前坐標為p(x,y,z), 經(jīng)過齊次坐標變換后為p′(x′,y′,z′), 則p′與p之間的變換矩陣表示為:

其中,T表示平移矩陣, 如式(2)所示:

其中,Tx,Ty,Tz分別表示物體在x,y,z三個坐標軸方向上的平移分量.

R表示旋轉(zhuǎn)矩陣, 分別在x,y,z三個坐標軸方向上具有對應不同旋轉(zhuǎn)角度的旋轉(zhuǎn)矩陣Rx,Ry,Rz, 并且有如下關系:

繞x軸旋轉(zhuǎn)角度為 α的旋轉(zhuǎn)矩陣Rx為:

繞y軸旋轉(zhuǎn)角度為 β的旋轉(zhuǎn)矩陣Ry為:

繞z軸旋轉(zhuǎn)角度為 γ 的旋轉(zhuǎn)矩陣Rz為:

經(jīng)過以上的變換過程, 可以實現(xiàn)將物理空間中真實車輛的位姿變化映射到虛擬空間中對應的車輛數(shù)字孿生體.

3.2 碰撞檢測模型

由于物理空間中的車輛具有真實的實體結(jié)構(gòu), 因此在虛擬空間中為了滿足對應的實際要求, 需要對虛擬空間中的車輛數(shù)字孿生體設置相應的約束條件.

本文采用基于包圍盒[16]的碰撞檢測.其中最常用的是分離軸定理SAT (Separating Axis Theorem)[17]下的碰撞檢測模型, 如圖1所示.

圖1 分離軸定理原理圖

對于A、B兩個具有OBB屬性的碰撞物體, 其中心點與頂尖的間距在分離軸S上的投影分別為l1與l2,且A、B兩個物體的中心點之間的間距在分離軸S上的投影為L, 那么驗證A、B兩個物體是否發(fā)生碰撞的條件為:

當碰撞檢測標志 δ ＞0時, 表明A、B兩個物體之間處于分離狀態(tài); 當 δ ≤0時, 則表明A、B物體之間發(fā)生碰撞.

3.3 虛擬場景注冊

虛擬場景注冊是為了突出數(shù)字孿生原型在虛擬空間的表達過程中具有一致的空間和時間屬性, 并且具有與物理實體相同的生命周期, 以便用于數(shù)字孿生系統(tǒng)的可見性和預測性以及假設分析的應用研究[18].

本文構(gòu)建出的虛擬空間中的車輛數(shù)字孿生體, 在時空屬性上與物理空間中的車輛具有一致性.其中的時空屬性包括車輛ID (Identity Document)、GPS(Global Positioning System)位置坐標P、行駛速度V、航向角 θ、時間戳T.通過車輛ID建立具有時間序列的車輛時空屬性參數(shù)表, 如表1所示.

表1 車輛時空屬性參數(shù)表

時空屬性中行駛速度和航向角的表達方式中, 行駛速度除了在虛擬空間中的參數(shù)與物理空間形成一致,另外在虛擬空間中通過基于PhysX物理引擎[19]的車輛動力單元對車輛孿生體的運動進行驅(qū)動; 航向角參數(shù)通過本文3.1節(jié)虛擬空間映射中的旋轉(zhuǎn)矩陣R將相應的參數(shù)值代入計算, 從而實現(xiàn)將物理空間中真實車輛的航向角與虛擬空間中車輛數(shù)字孿生體對應的航向角形成一致關系.

4 混合現(xiàn)實系統(tǒng)環(huán)境

本文依據(jù)數(shù)字孿生五維結(jié)構(gòu)模型[3]設計出一種面向混合現(xiàn)實的自動駕駛測試系統(tǒng)模型, 包括物理層、數(shù)據(jù)層以及測試層.其中物理層包含物理空間中由駕駛員操控的真實車輛和V2X車載通信設備, 用于構(gòu)成車輛數(shù)字孿生體的原型; 數(shù)據(jù)層包含具有時間序列的真實車輛時空屬性和對應的參數(shù)以及通過LTE-V和TCP/IP分別構(gòu)成的V2X通信單元和數(shù)據(jù)傳輸通信單元; 測試層主要包含虛擬空間中的車輛數(shù)字孿生體以及基于封閉測試場地的三維場景建模、虛擬的圖像傳感器和交通參與者, 用于構(gòu)成虛擬空間中的測試主體和測試環(huán)境, 如圖2所示.

圖2 混合現(xiàn)實系統(tǒng)環(huán)境

基于上述自動駕駛測試系統(tǒng)模型構(gòu)建的混合現(xiàn)實系統(tǒng)環(huán)境由真實單元和虛擬單元構(gòu)成; 真實單元包含由物理空間中駕駛員操控的真實車輛和封閉測試場地;虛擬單元包含圖像傳感器、基于封閉測試場地的三維場景建模以及交通參與者.混合現(xiàn)實的系統(tǒng)環(huán)境結(jié)構(gòu)示意圖如圖3所示.

圖3 混合現(xiàn)實系統(tǒng)環(huán)境

5 實驗結(jié)果分析

本文通過虛擬現(xiàn)實平臺Unity3D搭建混合現(xiàn)實測試環(huán)境, 實際中的測試主體為一輛比亞迪電動汽車、測試道路為長安大學交通運輸部認定自動駕駛封閉場地測試基地、數(shù)據(jù)的采集和傳輸過程通過搭載的智能車載終端以及布設在測試基地中的路側(cè)設施完成.

場地方面, 實際測試路段選擇的是一段空曠、無遮擋的150 m直線道路, 如圖4所示.

圖4 封閉場地測試路段

實驗過程中的測試環(huán)境和場地道路如圖5所示.

圖5 實際道路測試環(huán)境

道路行駛測試過程中, 車輛和智能車載終端的相關參數(shù)和配置方法見表2.

表2 車輛及智能車載終端參數(shù)表

如圖6所示為混合現(xiàn)實系統(tǒng)虛擬場景中的數(shù)字孿生車輛行駛過程, 左下角為駕駛員視角.

圖6 虛擬場景車輛行駛過程

對應于數(shù)字孿生原型車輛, 虛擬場景中作為測試主體的數(shù)字孿生車輛, 其動力學參數(shù)需要結(jié)合實際的車輛配置以及虛擬物理引擎的碰撞特征經(jīng)過相應計算后進行調(diào)整, 虛擬場景中數(shù)字孿生車輛的參數(shù)配置見表3.

表3 數(shù)字孿生車輛參數(shù)表

根據(jù)安全性能評估測試方法, 分別在場景中設置了虛擬車輛、行人, 并且進行不同項目的安全測試, 圖7和圖8分別為車輛碰撞檢測和行人碰撞檢測項目測試.

圖7 車輛碰撞檢測

圖8 行人碰撞檢測

虛擬空間中的數(shù)字孿生車輛具有基于包圍盒的碰撞檢測系統(tǒng)和剛體(RigidBody)[20]組件屬性, 因而在與虛擬的車輛和行人發(fā)生碰撞時會產(chǎn)生物理碰撞效果,圖9和圖10分別為數(shù)字孿生車輛與虛擬的車輛和行人之間發(fā)生碰撞的結(jié)果及示意圖.

圖9 車輛碰撞結(jié)果及示意圖

圖10 行人碰撞結(jié)果及示意圖

碰撞檢測邊界指的是具有包圍盒結(jié)構(gòu)的物體的邊緣屬性, 中心距離是指兩個物體的包圍盒中心點之間的距離.

實際測試過程中的結(jié)果表明, 本文構(gòu)建的混合現(xiàn)實數(shù)字孿生自動駕駛測試環(huán)境具有實際車輛與虛擬交通參與者之間的交互特征, 并且能夠進行基本的碰撞測試.

系統(tǒng)性能方面, 通過在50 ms、200 ms和1000 ms采樣頻率下對采集的數(shù)據(jù)序列進行了丟包情況的統(tǒng)計分析, 統(tǒng)計標準為序列時間內(nèi)兩次采樣間隔超過采樣頻率, 結(jié)果如表4所示.

表4 不同采樣頻率丟包情況

以及在系統(tǒng)在各采樣頻率下運行的幀率, 測試環(huán)境為Windows 7操作系統(tǒng), CPU: Intel Core i5-3210M,內(nèi)存: 8 GB, 顯卡: GTX660M, 測試的結(jié)果如圖11所示.

圖11 各采樣頻率下的系統(tǒng)運行幀率

對以上的實驗結(jié)果進行分析, 從計算結(jié)果角度來看, 數(shù)字孿生車輛原型在真實道路下的行駛軌跡與映射在虛擬空間中的車輛行駛軌跡基本吻合, 且二者呈現(xiàn)線性相關; 同時文中分別測試了3種采樣頻率下, 數(shù)字孿生車輛在虛擬空間的行駛過程中分別與道路、車輛、建筑的碰撞檢測.結(jié)果表明數(shù)字孿生車輛在不同采樣頻率下均能準確識別所有的碰撞物體, 但對于車輛和建筑的識別有先后次序的差別, 最先檢測到車輛的是采用200 ms采樣頻率下的識別結(jié)果, 最先檢測到建筑的是采用50 ms采樣頻率下的識別結(jié)果.另外, 從系統(tǒng)性能來看, 文中分別統(tǒng)計了幾種采樣頻率下的丟包情況, 采樣頻率在200 ms和1000 ms的條件下, 系統(tǒng)的數(shù)據(jù)采集均未出現(xiàn)丟包; 而當采樣頻率設置為50 ms時, 出現(xiàn)了很嚴重的丟包情況; 最后文中還分析了各采樣頻率下的系統(tǒng)運行幀率, 當系統(tǒng)工作在50 ms和200 ms的采樣頻率下時, 均出現(xiàn)明顯的掉幀情況,而在1000 ms采樣頻率下, 系統(tǒng)的平均幀率相比較其他兩種采樣頻率的系統(tǒng)幀率要高, 并且沒有出現(xiàn)特別明顯的掉幀情況.

以上結(jié)果表明, 文中構(gòu)建的混合現(xiàn)實的數(shù)字孿生自動駕駛測試環(huán)境中數(shù)字孿生原型車輛的位置和軌跡能夠很好地表達在虛擬空間中, 同時能夠?qū)χ車奈矬w進行有效識別并檢測到碰撞物體.系統(tǒng)性能結(jié)果分析表明, 當系統(tǒng)運行在200 ms采樣頻率下不會出現(xiàn)丟包但會出現(xiàn)一定的掉幀情況, 當在1000 ms采樣頻率下時, 既不會出現(xiàn)丟包也不會出現(xiàn)掉幀情況, 此時環(huán)境下的系統(tǒng)運行最穩(wěn)定.

6 結(jié)束語

本文提出了一種基于混合現(xiàn)實的數(shù)字孿生自動駕駛測試環(huán)境的構(gòu)建方法, 通過構(gòu)建基于真實車輛的數(shù)字孿生體, 實現(xiàn)了數(shù)字孿生車輛原型在虛擬空間中的坐標映射和碰撞檢測; 同時基于數(shù)字孿生五維結(jié)構(gòu)模型構(gòu)建了混合現(xiàn)實的自動駕駛測試系統(tǒng)模型, 并且通過實驗對比分析了3種采樣頻率下的車輛數(shù)字孿生計算結(jié)果的準確性以及系統(tǒng)的性能, 得出了車輛具有很好的數(shù)字孿生特性以及系統(tǒng)在特定條件下具有穩(wěn)定性的結(jié)論.下一步將考慮車輛在網(wǎng)絡傳輸和通信過程中產(chǎn)生的延時問題, 通過解決和改善系統(tǒng)延時特性, 能夠進一步提高車輛數(shù)字孿生結(jié)果的準確性和可靠性.