白雪松,鄧偉文,任秉韜,劉 鵬,李江坤,丁 娟
(1.北京航空航天大學(xué)交通科學(xué)與工程學(xué)院,北京 100191;2.東風(fēng)汽車集團有限公司技術(shù)中心,武漢 430056;3.浙江天行健智能科技有限公司,嘉興 314000)
智能化是汽車行業(yè)未來的發(fā)展趨勢[1]。汽車的安全性一直以來受到汽車企業(yè)和科研機構(gòu)的廣泛關(guān)注,自動駕駛技術(shù)的發(fā)展賦予了汽車安全相關(guān)研究新的需求,進而導(dǎo)致自動駕駛的測試與評價研究成為當(dāng)前全球關(guān)注的熱點問題[2]。近年來Uber、Tesla等的事故暴露了其面對復(fù)雜行駛環(huán)境時應(yīng)對能力不足的問題,與此同時Waymo的虛擬測試?yán)锍虜?shù)已達到100億英里[3],百度自動駕駛仿真系統(tǒng)也進行著大量測試,基于模擬仿真場景的虛擬測試已成為主流趨勢,仿真測試場景理論的相關(guān)研究成為自動駕駛仿真測試驗證亟需的新方法和重要手段[4]。
駕駛場景模擬仿真的本質(zhì)是使用計算機建模物理世界,其目的是要將無限的物理世界映射到有限的仿真場景中,其首要環(huán)節(jié)是確定場景要素。在駕駛場景理論相關(guān)研究中,國內(nèi)外學(xué)者針對測試場景的組成、構(gòu)建以及評價的理論和方法開展了不同程度的研究,但場景要素的種類和形式目前在學(xué)術(shù)界和產(chǎn)業(yè)界還未達成共識,德國PEGASUA和ASAM是目前廣受關(guān)注的測試場景研發(fā)項目組織,其定義了“功能-邏輯-具體”的場景分層體系[5]。OpenX系列和ISO3450X系列是目前最為常用的場景描述標(biāo)準(zhǔn),其中OpenDrive和OpensSenario是最為常用的開源文件格式[6-7],但其定義文件對如何確定標(biāo)準(zhǔn)中的基本場景要素和屬性沒有進行明確闡述。在場景要素的組成和提取方面,Geyer等[8]認為場景是測試時預(yù)先定義的駕駛環(huán)境、駕駛?cè)蝿?wù)、靜態(tài)要素和動態(tài)要素;RAND公司報告中將場景要素分為5層,分別為道路信息、道路基礎(chǔ)設(shè)施、道路信息與道路設(shè)施的動態(tài)變化、動態(tài)目標(biāo)以及環(huán)境狀況等;Hallerbach等[9]從參數(shù)賦值的角度提出了仿真關(guān)鍵場景的識別方法,建立了評價車輛安全和交通質(zhì)量的指標(biāo);Matthaei等[10]討論了天氣和光照是否應(yīng)列為場景要素。Erwin等[11]認為在系統(tǒng)開發(fā)的前期,只需道路和其他交通參與者的基本信息。綜上分析可知,當(dāng)前研究主要是基于已知的場景要素進行分析且更多傾向場景構(gòu)建的理論方法,在場景要素定義層面多為主觀分析,缺少客觀的場景要素提取方法作為支撐;同時針對如何解釋和設(shè)計針對某一測試主體的要素組成沒有進行提及。以上問題導(dǎo)致了不同仿真平臺對于場景理解和架構(gòu)設(shè)計不一致,也帶來了場景庫接口與轉(zhuǎn)換的障礙。針對場景的組成要素的可解釋描述是場景理論研究的基礎(chǔ)。
針對以上問題本文中提出一種汽車自動駕駛仿真測試場景的關(guān)鍵要素提取方法。本文的創(chuàng)新點有:(1)采用一種從自動駕駛系統(tǒng)角度逐級分解的方法分析了場景要素對硬件及感知、決策和控制系統(tǒng)的影響;(2)建立一種場景要素-系統(tǒng)結(jié)構(gòu)-系統(tǒng)功能平面映射方程用于量化要素影響的重要性;(3)基于平面節(jié)點判別矩陣建立要素提取模型用于實現(xiàn)場景關(guān)鍵要素的判別與篩選。最后分析了第四屆世界智能駕駛仿真挑戰(zhàn)賽的行人安全避撞場景元素構(gòu)成,說明了方法的合理性和有效性。
面向自動駕駛仿真測試的場景構(gòu)建的基礎(chǔ)是討論場景要素對自動駕駛汽車的影響,目前相關(guān)研究分散且不明確,同時相關(guān)場景定義均未對場景要素的合理性進行說明,本節(jié)從自動駕駛汽車及其工作過程說明要素的選擇及其合理性。
汽車自動駕駛將傳統(tǒng)的人-車-環(huán)境的駕駛情形外延到車-環(huán)境,導(dǎo)致了自動駕駛系統(tǒng)在進行工作時除面對車輛的自身狀態(tài),還要對行駛環(huán)境進行認知。自動駕駛汽車是多種結(jié)構(gòu)和功能的集成體[12],結(jié)構(gòu)是指系統(tǒng)的硬件構(gòu)成,包括車載傳感器(相機、雷達、定位系統(tǒng)以及通信系統(tǒng)等)和線控車輛平臺兩部分;功能是指系統(tǒng)的關(guān)鍵算法(感知識別算法、決策規(guī)劃算法以及運動控制算法)。自動駕駛汽車在系統(tǒng)算法和結(jié)構(gòu)的協(xié)調(diào)下驅(qū)動車輛實現(xiàn)預(yù)期的運動,如圖1所示。工作時通過車載傳感器收集行駛環(huán)境信息后結(jié)合自身的駕駛?cè)蝿?wù),使用感知識別算法對車載傳感信號進行處理,決策規(guī)劃算法接收感知輸出后進行信息融合,然后決策和規(guī)劃相應(yīng)的軌跡,運動控制算法控制車輛平臺對已規(guī)劃軌跡進行跟隨,車輛平臺接收運動控制信號后驅(qū)動車輛運動。
圖1 自動駕駛汽車及其工作過程
場景是對車輛行駛環(huán)境的一種數(shù)學(xué)映射描述,映射過程能夠刻劃和模擬場景的不同要素對自動駕駛汽車影響與作用,其中車外的行駛環(huán)境主要由氣象、道路設(shè)施和交通組成。本節(jié)將分析和量化場景要素對自動駕駛汽車的影響。
1.2.1 氣象要素的影響
氣象要素包含光照、雨、雪、霧、風(fēng)等,氣象要素的影響方面很多,光照強度會影響相機的成像距離。色溫導(dǎo)致同一物體在不同光照顏色下成像的顏色會發(fā)生變化,影響目標(biāo)識別算法的性能。雨滴形成的雨線會對激光雷達的激光束產(chǎn)生反射,降低激光雷達的探測距離。無規(guī)律飄落的雪花隨機分布在圖像上影響目標(biāo)識別算法。霧會影響相機的成像距離。風(fēng)會使車輛搖動,影響車輛的穩(wěn)定性和路徑跟蹤效果。毫米波雷達的探測原理是接收信號強度大于最小的可識別強度時,通過處理信號獲得目標(biāo)信息,氣象因素中的雪要素對其探測影響很大。降雪引起的雷達系統(tǒng)功率損耗[13]的計算公式為
式中:f為頻率,GHz;I為降雪強度,cm/h。
對于77 GHz的毫米波雷達,在不同降雪強度下的雪衰損耗如表1所示。
表1 毫米波雷達雪衰損耗
圖像是獲取場景信息(顏色和紋理)的主要途徑,但相機易受天氣和光照的影響,從成像機理來看,影響圖像清晰度的因素如圖2所示。
圖2 圖像清晰度的氣象影響因素
1.2.2 道路場地要素的影響
道路場地要素包含道路設(shè)施和路邊建筑等。道路曲率直接影響路徑規(guī)劃功能,道路的曲率越大路徑越彎曲,規(guī)劃出行駛路徑難度越大。坡度直接影響車輛的路徑跟蹤能力,上坡和下坡過程由于車輛重力的影響增大了路徑跟蹤的控制難度。路面的材料和紋理會影響使用相機作為傳感器的自動駕駛系統(tǒng)的感知算法。路面附著系數(shù)直接影響車輛的底盤系統(tǒng)的穩(wěn)定性控制。車道數(shù)影響任務(wù)決策。交叉口中不同交通流向的路徑交叉會影響自動駕駛系統(tǒng)的決策過程,交叉口中左轉(zhuǎn)路徑與右轉(zhuǎn)路徑曲率的差異和多處人車沖突的存在對自動駕駛的決策和路徑規(guī)劃都有直接影響。
1.2.3 交通及其設(shè)施要素的影響
場景中交通標(biāo)識類型、數(shù)量越多,識別的難度越大。路邊建筑的臨路遮擋影響傳感器的探測范圍,導(dǎo)致硬件感知性能衰減。交通參與者的物理屬性主要是外形尺寸、材質(zhì)和運動特性。外形尺寸屬性影響硬件感知和目標(biāo)識別兩方面。交通車的外形會對自動駕駛的傳感產(chǎn)生物理遮擋,同時會影響目標(biāo)識別的難度,車輛越小識別難度越大。不同的材質(zhì)會影響目標(biāo)識別的效果,仿真場景中車輛運動的不同屬性和運動的不確定性會嚴(yán)重影響自動駕駛系統(tǒng)的決策與規(guī)劃。交通及其設(shè)施因素對于決策規(guī)劃系統(tǒng)的影響主要體現(xiàn)在周邊交通車的運動行為,交通車的數(shù)量對場景復(fù)雜度的影響巨大[14],紋理材質(zhì)和運動狀態(tài)等會影響場景的復(fù)雜度等屬性。
綜合上述分析并結(jié)合實際行駛環(huán)境的抽象總結(jié),可確定仿真測試場景的關(guān)鍵要素組成結(jié)構(gòu),如表2所示。仿真場景的主要因素可劃分為具有靜態(tài)特征的道路設(shè)施和具有動態(tài)特征的氣象和交通,具體包括道路、建筑物、天氣、光照、交通設(shè)施、周邊車輛和交通路況等信息。
表2 測試場景關(guān)鍵要素及屬性
物理世界的無窮無盡導(dǎo)致汽車所能遇到的場景也充滿無限可能,而不同結(jié)構(gòu)和功能的自動駕駛仿真測試所需的場景要素也不同,為解決場景要素的可解釋性和場景設(shè)計的合理性,本文提出了影響要素的提取模型。
物理系統(tǒng)的運行面臨各種環(huán)境因素的干擾,一般的解決方案是通過建模進行仿真。典型的場景建模是將行駛環(huán)境進行有限維度映射的過程,由于環(huán)境要素不可窮舉的特性和計算機模擬需要的有限維度是矛盾的。如何從環(huán)境要素中提取對物理系統(tǒng)有影響的要素成為關(guān)鍵問題。場景要素的提取過程就是分析環(huán)境要素對特定物理系統(tǒng)影響的過程??紤]物理系統(tǒng)可分為結(jié)構(gòu)和功能兩部分,為更好地進行降維,提出基于系統(tǒng)的結(jié)構(gòu)和功能耦合分析的環(huán)境影響要素的提取模型,如圖3所示。
圖3 影響因素提取模型
影響要素提取模型是將系統(tǒng)的結(jié)構(gòu)和功能解耦后逐一分析場景因素對系統(tǒng)不同部分的影響,最后得出場景因素對系統(tǒng)是否有影響的結(jié)論,具體如下。
(1)物理系統(tǒng)的結(jié)構(gòu)劃分
物理系統(tǒng)是由子結(jié)構(gòu)組成,使用目標(biāo)樹的思想將物理系統(tǒng)按照最小結(jié)構(gòu)進行劃分,這時物理系統(tǒng)被描述為不同最小結(jié)構(gòu)的集合。
式中:n為子結(jié)構(gòu)個數(shù);Si為第i個子結(jié)構(gòu)。
(2)物理系統(tǒng)的功能劃分
類比物理系統(tǒng)的結(jié)構(gòu)劃分,可依據(jù)物理系統(tǒng)的工作原理對功能進行劃分和建模,同樣采取目標(biāo)樹將系統(tǒng)進行功能劃分為不同的子功能。
式中:m為子功能個數(shù);Fj為第j個子功能。
(3)分析環(huán)境因素對物理系統(tǒng)的影響
由于單個環(huán)境因素對物理系統(tǒng)的影響被分別映射到不同的子結(jié)構(gòu)和子功能,所以可通過逐一分析該因素對不同基本單元的影響,得到該因素對于系統(tǒng)的整體影響??紤]到不同環(huán)境因素對不同基礎(chǔ)單元的影響不同,模型將影響程度劃分為高、中、低和無4個等級(影響程度對應(yīng)取值為1、2/3、1/3和0)。當(dāng)將對應(yīng)的影響進行數(shù)學(xué)量化后,形成了要素-結(jié)構(gòu)關(guān)系向量。同理可以得到要素-功能關(guān)系向量。
(4)要素-結(jié)構(gòu)-功能矩陣及其分析
模型能夠反映出場景要素對相應(yīng)的子結(jié)構(gòu)和子功能的影響關(guān)系。當(dāng)分析某一場景因素對于整個系統(tǒng)的影響時,通過對不同維度的要素關(guān)系進行定義后,即可得到要素-結(jié)構(gòu)-功能平面(E?S?F平面),將要素間的影響關(guān)系進行量化后代入對應(yīng)平面就形成了要素-結(jié)構(gòu)-功能矩陣(E?S?F矩陣),通過平面分析得到場景要素和物理系統(tǒng)的結(jié)構(gòu)與功能之間的聯(lián)系,定義要素-結(jié)構(gòu)-功能矩陣的性質(zhì)即可評估要素是否對物理系統(tǒng)有影響,E?S?F矩陣定義如下。
式中:aij為基本量化節(jié)點,是通過綜合分析定義的,表征場景要素對由對應(yīng)結(jié)構(gòu)組成系統(tǒng)功能的影響;amj為硬件綜合影響,通過計算得到,表示硬件在不同子功能中影響的綜合評價;ain為功能綜合影響,也可計算得到,表征子功能在不同硬件中影響的綜合評價;am1為元素本身性質(zhì),考慮模型的目的是分析特定要素對自動駕駛系統(tǒng)的影響,元素本身的相互響應(yīng)一般定義為無??紤]到不同場景要素對于自動駕駛系統(tǒng)的影響存在主次關(guān)系,選取ωk作為權(quán)重因子,可在針對某一測試主體選擇場景要素時反映不同子功能和子結(jié)構(gòu)對于整體系統(tǒng)影響程度的差異。
矩陣的大小一般用范數(shù)來衡量,常見的范數(shù)包括1?范數(shù),2?范數(shù)和F?范數(shù),F(xiàn)范數(shù)描述了矩陣到原點的距離。本文中使用式(5)計算E?S?F矩陣的F?范數(shù)。
為確定所提取的要素是否保留,提出式(6)作為判斷條件:
式中σ表示篩選閾值,該閾值模擬出篩選過程具有一定的慣性,即避免篩選過程只是邊際效益,根據(jù)不同的分析定義,對于自動駕駛安全相關(guān)的分析一般取0。如果式(6)滿足,則認為該要素對特定物理系統(tǒng)有影響,須保留為場景要素,否則即認為該要素對自動駕駛系統(tǒng)無影響,不予考慮。
在完成整個系統(tǒng)的要素分析后,如果系統(tǒng)添加了新的子結(jié)構(gòu)和子功能,只須在影響要素提取模型的某一維度增加一個因素后形成分析平面,通過分析對應(yīng)的矩陣即可重新進行分析。
雨天是常見天氣現(xiàn)象,本節(jié)具體闡述雨要素在模型中具體節(jié)點的評價和量化過程。
(1)雨對系統(tǒng)結(jié)構(gòu)硬件影響的分析
雨對相機的影響為大:陰雨天氣下光照強度下降,雨水的反射會導(dǎo)致鏡面反射,影響相機的成像效果;雨滴下落時圖像中會出現(xiàn)雨線遮蓋目標(biāo)物體,同時雨滴屬于亮點,對圖像的對比度和信噪比會產(chǎn)生較大影響,降低圖像質(zhì)量。
雨對雷達的影響為?。汉撩撞ɡ走_具有較強的穿透力,能夠適應(yīng)大部分的惡劣天氣,因此認為雨對毫米波雷達的影響為小。
雨對定位系統(tǒng)的影響為?。盒l(wèi)星信號傳播時發(fā)生折射使傳播路徑變長,導(dǎo)致接收信號產(chǎn)生時間誤差并被傳遞到求偽距和反解接收機位置坐標(biāo)的過程,對定位系統(tǒng)造成影響。
雨對V2X的影響為無:V2X具有突破視覺死角和跨越遮擋物的信息獲取能力,V2X幾乎不受天氣狀況的影響。
雨對車輛平臺的影響為大:雨雪等惡劣天氣使附著系數(shù)顯著降低,而導(dǎo)致制動距離增加,驅(qū)動輪易打滑甚至空轉(zhuǎn),在積水路面上可能出現(xiàn)滑水現(xiàn)象,降低了行車安全性。
(2)雨對系統(tǒng)功能算法的影響分析
雨對感知識別系統(tǒng)的影響為中:雨粒子類似于噪聲,會對目標(biāo)物造成遮擋,雨天會導(dǎo)致相機拍攝的圖片中由于有雨滴而變得模糊,會影響感知算法的識別準(zhǔn)確性。
雨對決策規(guī)劃系統(tǒng)的影響為無:決策規(guī)劃系統(tǒng)是根據(jù)傳感感知系統(tǒng)的輸出進行決策和規(guī)劃,一般認為雨只影響傳感感知系統(tǒng),對決策規(guī)劃系統(tǒng)沒有影響。
雨對運動控制系統(tǒng)的影響為中:雨對車輛運動控制系統(tǒng)體現(xiàn)在不同降雨條件下的道路附著系數(shù)不同,雨天時路面附著系數(shù)小,極易將車輛引入極限工作狀態(tài)。
(3)綜合分析
根據(jù)上述分析得到了雨-結(jié)構(gòu)-功能平面,如圖4所示。
圖4 雨-結(jié)構(gòu)-功能平面
具體測試場景用例要素篩選方法是以影響要素提取模型為核心而形成的,如圖5所示。
圖5 場景要素提取流程
(1)定義需要分析的行駛環(huán)境要素
根據(jù)表2可知,場景要素劃分為氣象、道路設(shè)施和交通。通過對場景要素使用問題樹的思想進行啟發(fā)式搜索后形成一個子要素?zé)o限豐富的場景要素列表。
(2)輸入到影響因素提取模型
將列表中要素輸入到影響因素模型進行遍歷,得到對應(yīng)的要素-結(jié)構(gòu)-功能平面,對影響關(guān)系節(jié)點進行量化后,得到對應(yīng)的E?S?F矩陣。
(3)判定該因素是否為場景要素
得到要素-結(jié)構(gòu)-功能矩陣后,依據(jù)式(4)~式(6)判定是否決定存儲為場景要素。
(4)所有行駛環(huán)境要素遍歷完成后結(jié)束
在將第(1)步中的所有要素遍歷完成后,提取結(jié)束后形成場景關(guān)鍵要素列表,位于表中的要素后續(xù)建立實際測試場景時需要著重考慮。
限于研發(fā)周期和成本,特別是安全因素的考慮,近年來面向自動駕駛測試的仿真場景構(gòu)建研究主要依托于數(shù)字虛擬仿真平臺來實現(xiàn)。作者所在團隊自主開發(fā)了PanoSim智能駕駛模擬仿真平臺,并將其應(yīng)用在第四屆世界智能駕駛挑戰(zhàn)賽(WIDC)中,首次實現(xiàn)國產(chǎn)仿真軟件支持國際比賽。行人安全避撞場景是感知決策控制組的比賽題目,如圖6所示。該賽題指定使用相機傳感器,參賽隊伍須使用感知算法識別目標(biāo)。本文對賽題“行人安全避撞場景”使用影響要素提取模型進行了分析,評價其要素組成并給出相應(yīng)的場景設(shè)計建議。
圖6 行人安全避撞仿真場景
由于行人安全避撞場景的指定傳感器為車載像機,因此模型的硬件結(jié)構(gòu)維度僅包括像機和車輛平臺兩個節(jié)點,系統(tǒng)功能維度則依舊是感知識別系統(tǒng)、決策規(guī)劃系統(tǒng)和運動控制系統(tǒng),針對行人避撞具體場景而構(gòu)建的場景要素提取模型如圖7所示。
圖7 行人安全避撞場景要素提取模型
為分析和解釋行人安全避撞場景中的要素組成,使用具體測試場景用例要素篩選方法進行了篩選,提取結(jié)果與分析如表3所示。表中對場景要素相對應(yīng)的要素-結(jié)構(gòu)-功能矩陣的F范數(shù)進行了計算,并給出對應(yīng)的篩選閾值,同時評價了該要素在已有場景中是否存在和存在要素的潛在解釋性問題。特別是,由于自動駕駛測試中安全要求的嚴(yán)苛性,本文中選取篩選閾值全部為0。
表3 行人安全避撞測試場景要素提取與評估
根據(jù)場景要素提取結(jié)果,行人安全避撞測試場景要素的組成主要包括道路、交通設(shè)施、路旁建筑和交通參與物中的機動車和行人等元素,這些元素對自動駕駛的測試極其重要,但經(jīng)過分析可知,已有元素中類似于路旁建筑對行人安全避撞算法的測試意義不大,同時如果在比賽場景內(nèi)豐富一些元素,例如雨雪、交通標(biāo)志牌和非機動車等,會對自動駕駛系統(tǒng)的行人安全避撞算法起到更好的測試和區(qū)分作用。
針對場景要素組成的基礎(chǔ)研究和不同測試主體的場景要素選擇與設(shè)計問題,本文中提出了一種汽車自動駕駛仿真測試場景的關(guān)鍵要素提取方法。首先采用從自動駕駛系統(tǒng)角度逐級分解的方法分析了場景要素對硬件及感知、決策和控制系統(tǒng)的影響,然后建立了一種場景要素-系統(tǒng)結(jié)構(gòu)-系統(tǒng)功能平面映射方程,用于量化要素影響的重要性;接著基于平面節(jié)點判別矩陣建立了要素提取模型,用于場景關(guān)鍵要素的判別與篩選;最后通過第四屆世界智能駕駛仿真挑戰(zhàn)賽的行人安全避撞場景元素的實例構(gòu)成應(yīng)用驗證了該方法的合理性和有效性。