王韋清

摘 要：如何客觀準確的對自動駕駛汽車功能、性能進行測試評價，已成為其準入和上路通行落地最需要解決的問題。本文基于多支柱法，對安全性、合規(guī)性、智能性等多維度的自動駕駛汽車測試評價體系構(gòu)建方法進行了概述，并對評價指標組合、解耦及計算閾值求解、迭代方法進行了分析。

關(guān)鍵詞：自動駕駛汽車；多支柱法；測試評價體系；閾值計算

中央級公益性科研院所基本科研業(yè)務(wù)費專項資金資助項目 ： 面向自動駕駛準入的交通安全場景庫及仿真測試技術(shù)研究（111041000000180001220302）

目前，自動駕駛汽車技術(shù)日益成熟，但大規(guī)模商業(yè)化落地前仍面臨諸多挑戰(zhàn)，如何驗證自動駕駛汽車多維功能性能的安全性、合規(guī)性以及可靠性等方面尚未有系統(tǒng)、完整的方案。國際上對于智能網(wǎng)聯(lián)汽車的測試評價采用的多支柱法[1-2]測評體系已獲得廣泛共識，是在封閉場地和開放道路測試出現(xiàn)效率低、成本高且無法遍歷所有測試場景時，綜合高確定性、高置信度、高可靠性的仿真模擬的保障復(fù)雜自動駕駛系統(tǒng)合理驗證與評估的方式。

1多支柱如何實現(xiàn)協(xié)同測評

從仿真模擬、封閉場地至開放道路，測試覆蓋的范圍和功能逐漸減小，而真實交通場景出現(xiàn)概率和評價維度反之。基于仿真測試和封閉場地測試的評價結(jié)果，可以不斷完善評價準則和測試場景庫。其中封閉場地測試承擔承上啟下的作用，對于高危險性、低概率、復(fù)現(xiàn)難度大的場景可以進行功能和性能的測試評估，其測試精度可控的特點能夠最大程度保障自動駕駛性能真實評價，可以驗證仿真和道路測試的準確性。開放道路測試覆蓋了日常典型駕駛場景且具有偶發(fā)性，能夠?qū)ψ詣玉{駛系統(tǒng)應(yīng)對真實交通狀況的能力進行評價，通過開放道路測試得出的危險場景，可以反饋到仿真測試中，有針對性的去迭代場景參數(shù)。而仿真測試場景覆蓋度最大，能夠復(fù)現(xiàn)各種可能性的場景、測試自動駕駛系統(tǒng)的決策控制能力，避免問題進入場地道路測試環(huán)節(jié)，降低風(fēng)險，是自動駕駛汽車安全上路的必要條件。三者之間互相補充，形成測評閉環(huán)，共同促進自動駕駛汽車的研發(fā)和標準體系建立。

2多支柱測評體系的構(gòu)建

2.1場景選取和搭建

基于自動駕駛汽車ODC覆蓋的方法和不同場景的關(guān)鍵影響因子設(shè)計測試方案[3]，確定測試規(guī)則和通過條件。通過中國道路運行特征及通行規(guī)則分析，基于收集的自然駕駛、事故調(diào)查和道路測試等多源異構(gòu)數(shù)據(jù)[4]進行關(guān)鍵要素提取，得到邏輯場景。將場景劃分出不同道路類型、交通標志標線、天氣環(huán)境狀況、車輛通行狀態(tài)等層級，每一層級可以細分，如道路相關(guān)場景可分為高速、城市道路、窄路窄橋、匝道、環(huán)島、隧道等，道路又可以進一步考慮曲率、坡度、破損度等特征對自動駕駛汽車功能性能的影響。通過道路設(shè)計、交通流分析、實際道路場景分析等方法，構(gòu)建基于道路交通情景的測試場景。

在仿真場景搭建中使用較為頻繁的有PreScan、VTD、Vissim等平臺，通過構(gòu)建復(fù)雜的交通環(huán)境，編輯交通標志標牌、樹木和建筑物等基礎(chǔ)組件，模擬機動車、自行車和行人等交互行為，修改雨、雪、霧等天氣條件以及能見度來構(gòu)建豐富的仿真場景。場地測試中利用模擬交通參與者，基于路側(cè)系統(tǒng)集成和氣象模擬等技術(shù)，搭建包含真實交通要素的場地測試場景。道路測試中依托于區(qū)域特色的開放試點道路，結(jié)合邊緣計算、毫米波雷達、通信單元等智能路側(cè)設(shè)備，全域覆蓋高精定位和高精地圖，構(gòu)建滿足安全性和魯棒性測試的差異化道路測試場景。如甘肅開放的測試路段依托公路貨運大通道，同時又具備人車稀少、極寒極旱、強紫外線、風(fēng)沙雨雪等環(huán)境條件，具有構(gòu)建典型、極端測試場景的優(yōu)勢。

2.2場景復(fù)現(xiàn)及參數(shù)研究

場景參數(shù)的設(shè)計是保證場景復(fù)現(xiàn)的關(guān)鍵，由于道路結(jié)構(gòu)、測試環(huán)境和實時變化的駕駛行為導(dǎo)致場景復(fù)雜多樣，需要設(shè)計各ODD中的關(guān)鍵參數(shù)提取方法，進行參數(shù)采樣統(tǒng)計，并建立時間與場景覆蓋度的關(guān)聯(lián)模型。根據(jù)交規(guī)、自然駕駛、交通事故等數(shù)據(jù)提取環(huán)境天氣、道路類型、標志標線等靜態(tài)和速度、加速度、航向角等動態(tài)測試工況參數(shù)，通過多次測試驗證參數(shù)設(shè)計有效性，確定系統(tǒng)邊界并優(yōu)化后記錄場景參數(shù)，實現(xiàn)場景高度還原和復(fù)現(xiàn)。

測試場景的覆蓋度具有不可窮舉的特點，尤其是具有偶發(fā)性的道路測試場景。從統(tǒng)計學(xué)角度來說道路測試場景覆蓋度與測試里程和測試時長成正相關(guān)[5]，基于海量采集的道路測試數(shù)據(jù)構(gòu)建場景是最簡單的方法，但效率較低。可以根據(jù)場景中主車與其他目標物的相對位置及相對運動關(guān)系，進一步抽取特征元素，通過場景參數(shù)重組、確定泛化區(qū)間、隨機化擴充等方式來構(gòu)建。對于前期積累數(shù)據(jù)建立的測試周期與場景覆蓋關(guān)聯(lián)模型，周期更新的測試數(shù)據(jù)可以實現(xiàn)數(shù)據(jù)反哺，不斷訓(xùn)練和驗證模型參數(shù)，當然要預(yù)先進行測試數(shù)據(jù)異常值檢驗和誤差分析，若更新的數(shù)據(jù)僅個別特征發(fā)生變化、其余情況基本一致，則不必重復(fù)驗證所有數(shù)據(jù)?；谙到y(tǒng)架構(gòu)和設(shè)計運行條件進行分析，從測試功能、性能等需求及安全、合規(guī)等評價角度出發(fā)，有針對性的進行道路測試用例的設(shè)計，對于難以覆蓋的Corner Case結(jié)合仿真模擬、封閉場地進行測試，這樣即使無法做到全覆蓋的情況下，也能滿足區(qū)域、道路、氣候、交通等特征下的測試驗證需求。

2.3測試數(shù)據(jù)采集存儲和解析

由于測試過程中可能存在網(wǎng)絡(luò)延時和通訊干擾等問題，需要對多源高并發(fā)數(shù)據(jù)利用高同步、高精度的采集存儲工具，實現(xiàn)高效采集、無損存儲和數(shù)據(jù)保真。為解決測試時存在的交通參與者行為特征難以識別的問題，需要基于車輛動力學(xué)、自動控制理論、軟件工程、統(tǒng)計分析、數(shù)據(jù)解析融合技術(shù)等，結(jié)合車輛行為、交通狀況等動態(tài)要素和道路拓撲結(jié)構(gòu)、交通標志標線等靜態(tài)要素，以及車輛軌跡等自動駕駛系統(tǒng)交互數(shù)據(jù)進行解析，結(jié)構(gòu)化處理后得到包含目標物信息、環(huán)境信息、交通標志信息、信號燈信息、車道信息、輪胎接地點信息等可用于自動化評價的測試數(shù)據(jù)。

2.4評價體系和方法

從交規(guī)遵守能力和事故預(yù)防能力驗證需求的角度出發(fā)，對于測試中基準邏輯場景和復(fù)雜危險場景，采取拆解動態(tài)駕駛?cè)蝿?wù)的思想，結(jié)合高精度的仿真數(shù)據(jù)及多模態(tài)的道路場地測試數(shù)據(jù)，分析動靜態(tài)場景要素。通過相關(guān)工具解析目標物信息、環(huán)境信息、交通標志信息等結(jié)構(gòu)化數(shù)據(jù)，針對不同指標對評價結(jié)果的影響程度，基于層次分析法、熵權(quán)法等算法，構(gòu)造判斷矩陣研究評價指標組合的權(quán)重。建立不同指標值的規(guī)范化、加權(quán)和聚合方法，將指標組合值映射到不同評價維度，構(gòu)建衡量典型駕駛功能優(yōu)劣的仿真模擬、封閉場地和開放道路測試協(xié)同評價指標體系，實現(xiàn)基于多支柱的自動駕駛汽車功能、性能、安全、合規(guī)等評價指標在不同場景下科學(xué)合理的評估驗證。

3測評體系研究維度

測評維度應(yīng)以自動駕駛的故障響應(yīng)、系統(tǒng)安全、人機交互、目標檢測、數(shù)據(jù)存儲和人車路協(xié)同等重點功能測試需求為依據(jù)，結(jié)合復(fù)雜環(huán)境條件下的仿真模擬、封閉場地、開放道路等組合測試手段，針對不同場景，進行基礎(chǔ)道路、交通設(shè)施、交通狀況、環(huán)境等不同層級的評價指標設(shè)計，從安全性、合規(guī)性、智能性、可靠性、舒適性、能效性等多維度進行評價指標提取，建立指標到數(shù)值空間的映射并實現(xiàn)量化，通過加權(quán)以及參數(shù)賦予對不同場景下高適應(yīng)度、高匹配度的組合評價指標進行綜合分析。

4評價指標閾值確定方法

現(xiàn)有自動駕駛安全性評價指標閾值主要由經(jīng)驗設(shè)置所得，雖簡單但適用場景覆蓋度不高，可以結(jié)合比較法、波動法、專家咨詢法與數(shù)理統(tǒng)計方法進行求解?？紤]交通沖突嚴重程度劃分邊界，基于交通規(guī)則常態(tài)化設(shè)計和交通事故危害調(diào)查，以及智能駕駛系統(tǒng)接管事件風(fēng)險挖掘等方式，可以提取評價指標閾值參考區(qū)間并進行比較分析。

對于待確定閾值的指標，參考人類駕駛?cè)笋{駛行為特性統(tǒng)計[6]，通常需要收集如自然駕駛數(shù)據(jù)、風(fēng)險場景測試數(shù)據(jù)、交通事故數(shù)據(jù)等，根據(jù)車輛運行軌跡和動態(tài)駕駛行為計算該評價指標在時間序列下的歷史值分布，并使用核密度估計等方法建立概率分布模型，在一定置信度下利用模型殘差的計算方法來確定閾值。例如在惡劣天氣且能見度較低的情況下應(yīng)保持合適的安全速度和安全距離，車輛應(yīng)以不急不緩的制動減速度進行自我調(diào)整，減速度區(qū)間的上下限可以通過采集的穩(wěn)定收斂自然駕駛數(shù)據(jù)及惡劣天氣物理模擬場景測試數(shù)據(jù)進行計算。

5評價指標解耦及閾值迭代更新方法

不同指標之間存在沖突與依賴關(guān)系，因此需要研究不同測試算法和測試場景下評價指標的解耦方法，建立每個評價指標獨立的等級衡量標準，創(chuàng)建自動駕駛汽車評價指標融合度模型。由于評價指標適用場景不同且具有閾值的差異問題，需結(jié)合開放道路隨機測試場景特征與封閉場地特定測試場景特征，分析不同場景下指標閾值的敏感性。通過研究自動駕駛汽車測試運行數(shù)據(jù)與道路幾何特征，建立起不同場景的交通沖突動態(tài)判別模型。

在求解評價指標閾值后，需要使用數(shù)理統(tǒng)計的方法進行指標閾值的校準與驗證，實現(xiàn)測評的可靠性、有效性以及適用性，通過誤差分析不斷調(diào)整參數(shù)或模型，盡可能減少評價模型出現(xiàn)過擬合、閾值過度發(fā)散等情況。應(yīng)用測試數(shù)據(jù)反復(fù)迭代的方法，既保證了測試用例有足夠泛化代表性、盡可能多的覆蓋中國特色的測試場景特征，又驗證了在近似服從同一數(shù)據(jù)分布下的同類場景中評價指標閾值的合理性。

6結(jié)論與展望

以上通過分析多支柱法下自動駕駛汽車協(xié)同測試評價方法，對測試場景選取、搭建、復(fù)現(xiàn)、泛化以及測試數(shù)據(jù)采集、存儲和解析進行了概述，并從評價指標的提取方法、組合權(quán)重、閾值求解以及數(shù)據(jù)迭代等方面進行分析，可以為自動駕駛汽車測評技術(shù)研究和運行安全水平驗證提供啟示。自動駕駛綜合測評不僅要考慮功能安全，還要考慮預(yù)期功能安全，通過構(gòu)建中國特色的測試用例庫，對區(qū)域、道路、氣候、交通特征和中國駕駛員行為習(xí)慣等方面深入挖掘，進行針對上路通行需求的工況覆蓋度高、場景類型豐富的測試評價技術(shù)研究，從而推動自動駕駛企業(yè)自我評估和第三方檢驗技術(shù)發(fā)展、加快我國高級別自動駕駛汽車準入落地。

參考文獻

[1]Proposal for a new UN Regulation on uniform provisions concerning the approval of vehicles with regards to ALKS，ECE/TRANS/ WP.29/2020/81.

[2]Proposal for the Future Certification of Automated/Autonomous Driving Systems，E C E / T R ANS/ W P. 2 9 / GRVA / 2 0 1 9 / 1 3 ， ht t p： // www.unece.org/trans/main/wp29/wp29wgs/ wp29grva/grva2019.html.

[3]劉法旺，何豐，周時瑩，梁偉強，何博，陳貞，徐曉慶，曹建永.基于場景的智能網(wǎng)聯(lián)汽車模擬仿真測試評估方法與實踐[J/OL].汽車工程學(xué)報：1-11[2022-11-14]. http：//kns.cnki.net/kcms/ detail/50.1206.U.20220805.1658.002.html.

[4]孫巍，應(yīng)朝陽，潘漢中，等. 基于交通事故案例解構(gòu)的自動駕駛車輛測試場景構(gòu)建方法和測試方法，CN108765235A[P]. 2018.

[5]鹿暢，劉穎，趙麗影，等. 自動駕駛路測融合度建模與分析[J]. 同濟大學(xué)學(xué)報：自然科學(xué)版，2022（005）：050.

[6]劉瑞，馬志雄，武彪，等. 駕駛員駕駛行為的統(tǒng)計學(xué)特性[J]. 同濟大學(xué)學(xué)報：自然科學(xué)版，2019（6）：10.

交通運輸部印發(fā)《關(guān)于促進道路交通自動駕駛技術(shù)發(fā)展和應(yīng)用的指導(dǎo)意見》

2020年交通運輸部發(fā)布《關(guān)于促進道路交通 自動駕駛技術(shù)發(fā)展和應(yīng)用的知道意見》提出，到2025年，自動駕駛基礎(chǔ)理論研究取得積極進展，道路基礎(chǔ)設(shè)施智能化、車路協(xié)同等關(guān)鍵技術(shù)及產(chǎn)品研發(fā)和測試驗證取得重要突破；出臺一批自動駕駛方面的基礎(chǔ)性、關(guān)鍵性標準；建成一批國家級自動駕駛測試基地和先導(dǎo)應(yīng)用示范工程，再不分場景實現(xiàn)規(guī)?；瘧?yīng)用，推動自動駕駛技術(shù)產(chǎn)業(yè)化落地。

以習(xí)近平新時代中國特色社會主義思想為指導(dǎo)，深入貫徹黨的十九大和十九屆二中、三中、四中、五中全會精神，堅定不移的貫徹新發(fā)展理念，充分發(fā)揮新驅(qū)動在交通強國建設(shè)中的第一動力總用，以關(guān)鍵技術(shù)研發(fā)為支撐，以典型場景示范為先導(dǎo)，以政策和標準為保障，堅持鼓勵創(chuàng)新、多元發(fā)展、試點先行、確保安全的原則，加快推動自動假死技術(shù)在我國道路交通運輸中發(fā)展應(yīng)用，全面提升交通運輸現(xiàn)代化水平，更好滿足人民群眾多元化、高品質(zhì)出行需求，為加快建設(shè)交通強國提供支撐。

到2025年，自動駕駛基礎(chǔ)理論研究去的積極進展，道路基礎(chǔ)設(shè)施智能化、車路協(xié)同等關(guān)鍵技術(shù)及產(chǎn)品研發(fā)和測試驗證取得重要突破；出臺一批自動駕駛方面的基礎(chǔ)性、關(guān)鍵性標準；建成一批國家級自動駕駛測試基地和先導(dǎo)應(yīng)用示范工程，在部分場景實現(xiàn)規(guī)模化應(yīng)用，推動自動駕駛技術(shù)產(chǎn)業(yè)化落地。