王韋清

摘 要：如何客觀準(zhǔn)確的對自動駕駛汽車功能、性能進(jìn)行測試評價，已成為其準(zhǔn)入和上路通行落地最需要解決的問題。本文基于多支柱法，對安全性、合規(guī)性、智能性等多維度的自動駕駛汽車測試評價體系構(gòu)建方法進(jìn)行了概述，并對評價指標(biāo)組合、解耦及計算閾值求解、迭代方法進(jìn)行了分析。

關(guān)鍵詞：自動駕駛汽車；多支柱法；測試評價體系；閾值計算

中央級公益性科研院所基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目 ： 面向自動駕駛準(zhǔn)入的交通安全場景庫及仿真測試技術(shù)研究（111041000000180001220302）

目前，自動駕駛汽車技術(shù)日益成熟，但大規(guī)模商業(yè)化落地前仍面臨諸多挑戰(zhàn)，如何驗(yàn)證自動駕駛汽車多維功能性能的安全性、合規(guī)性以及可靠性等方面尚未有系統(tǒng)、完整的方案。國際上對于智能網(wǎng)聯(lián)汽車的測試評價采用的多支柱法[1-2]測評體系已獲得廣泛共識，是在封閉場地和開放道路測試出現(xiàn)效率低、成本高且無法遍歷所有測試場景時，綜合高確定性、高置信度、高可靠性的仿真模擬的保障復(fù)雜自動駕駛系統(tǒng)合理驗(yàn)證與評估的方式。

1多支柱如何實(shí)現(xiàn)協(xié)同測評

從仿真模擬、封閉場地至開放道路，測試覆蓋的范圍和功能逐漸減小，而真實(shí)交通場景出現(xiàn)概率和評價維度反之?；诜抡鏈y試和封閉場地測試的評價結(jié)果，可以不斷完善評價準(zhǔn)則和測試場景庫。其中封閉場地測試承擔(dān)承上啟下的作用，對于高危險性、低概率、復(fù)現(xiàn)難度大的場景可以進(jìn)行功能和性能的測試評估，其測試精度可控的特點(diǎn)能夠最大程度保障自動駕駛性能真實(shí)評價，可以驗(yàn)證仿真和道路測試的準(zhǔn)確性。開放道路測試覆蓋了日常典型駕駛場景且具有偶發(fā)性，能夠?qū)ψ詣玉{駛系統(tǒng)應(yīng)對真實(shí)交通狀況的能力進(jìn)行評價，通過開放道路測試得出的危險場景，可以反饋到仿真測試中，有針對性的去迭代場景參數(shù)。而仿真測試場景覆蓋度最大，能夠復(fù)現(xiàn)各種可能性的場景、測試自動駕駛系統(tǒng)的決策控制能力，避免問題進(jìn)入場地道路測試環(huán)節(jié)，降低風(fēng)險，是自動駕駛汽車安全上路的必要條件。三者之間互相補(bǔ)充，形成測評閉環(huán)，共同促進(jìn)自動駕駛汽車的研發(fā)和標(biāo)準(zhǔn)體系建立。

2多支柱測評體系的構(gòu)建

2.1場景選取和搭建

基于自動駕駛汽車ODC覆蓋的方法和不同場景的關(guān)鍵影響因子設(shè)計測試方案[3]，確定測試規(guī)則和通過條件。通過中國道路運(yùn)行特征及通行規(guī)則分析，基于收集的自然駕駛、事故調(diào)查和道路測試等多源異構(gòu)數(shù)據(jù)[4]進(jìn)行關(guān)鍵要素提取，得到邏輯場景。將場景劃分出不同道路類型、交通標(biāo)志標(biāo)線、天氣環(huán)境狀況、車輛通行狀態(tài)等層級，每一層級可以細(xì)分，如道路相關(guān)場景可分為高速、城市道路、窄路窄橋、匝道、環(huán)島、隧道等，道路又可以進(jìn)一步考慮曲率、坡度、破損度等特征對自動駕駛汽車功能性能的影響。通過道路設(shè)計、交通流分析、實(shí)際道路場景分析等方法，構(gòu)建基于道路交通情景的測試場景。

在仿真場景搭建中使用較為頻繁的有PreScan、VTD、Vissim等平臺，通過構(gòu)建復(fù)雜的交通環(huán)境，編輯交通標(biāo)志標(biāo)牌、樹木和建筑物等基礎(chǔ)組件，模擬機(jī)動車、自行車和行人等交互行為，修改雨、雪、霧等天氣條件以及能見度來構(gòu)建豐富的仿真場景。場地測試中利用模擬交通參與者，基于路側(cè)系統(tǒng)集成和氣象模擬等技術(shù)，搭建包含真實(shí)交通要素的場地測試場景。道路測試中依托于區(qū)域特色的開放試點(diǎn)道路，結(jié)合邊緣計算、毫米波雷達(dá)、通信單元等智能路側(cè)設(shè)備，全域覆蓋高精定位和高精地圖，構(gòu)建滿足安全性和魯棒性測試的差異化道路測試場景。如甘肅開放的測試路段依托公路貨運(yùn)大通道，同時又具備人車稀少、極寒極旱、強(qiáng)紫外線、風(fēng)沙雨雪等環(huán)境條件，具有構(gòu)建典型、極端測試場景的優(yōu)勢。

2.2場景復(fù)現(xiàn)及參數(shù)研究

場景參數(shù)的設(shè)計是保證場景復(fù)現(xiàn)的關(guān)鍵，由于道路結(jié)構(gòu)、測試環(huán)境和實(shí)時變化的駕駛行為導(dǎo)致場景復(fù)雜多樣，需要設(shè)計各ODD中的關(guān)鍵參數(shù)提取方法，進(jìn)行參數(shù)采樣統(tǒng)計，并建立時間與場景覆蓋度的關(guān)聯(lián)模型。根據(jù)交規(guī)、自然駕駛、交通事故等數(shù)據(jù)提取環(huán)境天氣、道路類型、標(biāo)志標(biāo)線等靜態(tài)和速度、加速度、航向角等動態(tài)測試工況參數(shù)，通過多次測試驗(yàn)證參數(shù)設(shè)計有效性，確定系統(tǒng)邊界并優(yōu)化后記錄場景參數(shù)，實(shí)現(xiàn)場景高度還原和復(fù)現(xiàn)。

測試場景的覆蓋度具有不可窮舉的特點(diǎn)，尤其是具有偶發(fā)性的道路測試場景。從統(tǒng)計學(xué)角度來說道路測試場景覆蓋度與測試?yán)锍毯蜏y試時長成正相關(guān)[5]，基于海量采集的道路測試數(shù)據(jù)構(gòu)建場景是最簡單的方法，但效率較低?？梢愿鶕?jù)場景中主車與其他目標(biāo)物的相對位置及相對運(yùn)動關(guān)系，進(jìn)一步抽取特征元素，通過場景參數(shù)重組、確定泛化區(qū)間、隨機(jī)化擴(kuò)充等方式來構(gòu)建。對于前期積累數(shù)據(jù)建立的測試周期與場景覆蓋關(guān)聯(lián)模型，周期更新的測試數(shù)據(jù)可以實(shí)現(xiàn)數(shù)據(jù)反哺，不斷訓(xùn)練和驗(yàn)證模型參數(shù)，當(dāng)然要預(yù)先進(jìn)行測試數(shù)據(jù)異常值檢驗(yàn)和誤差分析，若更新的數(shù)據(jù)僅個別特征發(fā)生變化、其余情況基本一致，則不必重復(fù)驗(yàn)證所有數(shù)據(jù)。基于系統(tǒng)架構(gòu)和設(shè)計運(yùn)行條件進(jìn)行分析，從測試功能、性能等需求及安全、合規(guī)等評價角度出發(fā)，有針對性的進(jìn)行道路測試用例的設(shè)計，對于難以覆蓋的Corner Case結(jié)合仿真模擬、封閉場地進(jìn)行測試，這樣即使無法做到全覆蓋的情況下，也能滿足區(qū)域、道路、氣候、交通等特征下的測試驗(yàn)證需求。

2.3測試數(shù)據(jù)采集存儲和解析

由于測試過程中可能存在網(wǎng)絡(luò)延時和通訊干擾等問題，需要對多源高并發(fā)數(shù)據(jù)利用高同步、高精度的采集存儲工具，實(shí)現(xiàn)高效采集、無損存儲和數(shù)據(jù)保真。為解決測試時存在的交通參與者行為特征難以識別的問題，需要基于車輛動力學(xué)、自動控制理論、軟件工程、統(tǒng)計分析、數(shù)據(jù)解析融合技術(shù)等，結(jié)合車輛行為、交通狀況等動態(tài)要素和道路拓?fù)浣Y(jié)構(gòu)、交通標(biāo)志標(biāo)線等靜態(tài)要素，以及車輛軌跡等自動駕駛系統(tǒng)交互數(shù)據(jù)進(jìn)行解析，結(jié)構(gòu)化處理后得到包含目標(biāo)物信息、環(huán)境信息、交通標(biāo)志信息、信號燈信息、車道信息、輪胎接地點(diǎn)信息等可用于自動化評價的測試數(shù)據(jù)。

2.4評價體系和方法

從交規(guī)遵守能力和事故預(yù)防能力驗(yàn)證需求的角度出發(fā)，對于測試中基準(zhǔn)邏輯場景和復(fù)雜危險場景，采取拆解動態(tài)駕駛?cè)蝿?wù)的思想，結(jié)合高精度的仿真數(shù)據(jù)及多模態(tài)的道路場地測試數(shù)據(jù)，分析動靜態(tài)場景要素。通過相關(guān)工具解析目標(biāo)物信息、環(huán)境信息、交通標(biāo)志信息等結(jié)構(gòu)化數(shù)據(jù)，針對不同指標(biāo)對評價結(jié)果的影響程度，基于層次分析法、熵權(quán)法等算法，構(gòu)造判斷矩陣研究評價指標(biāo)組合的權(quán)重。建立不同指標(biāo)值的規(guī)范化、加權(quán)和聚合方法，將指標(biāo)組合值映射到不同評價維度，構(gòu)建衡量典型駕駛功能優(yōu)劣的仿真模擬、封閉場地和開放道路測試協(xié)同評價指標(biāo)體系，實(shí)現(xiàn)基于多支柱的自動駕駛汽車功能、性能、安全、合規(guī)等評價指標(biāo)在不同場景下科學(xué)合理的評估驗(yàn)證。

3測評體系研究維度

測評維度應(yīng)以自動駕駛的故障響應(yīng)、系統(tǒng)安全、人機(jī)交互、目標(biāo)檢測、數(shù)據(jù)存儲和人車路協(xié)同等重點(diǎn)功能測試需求為依據(jù)，結(jié)合復(fù)雜環(huán)境條件下的仿真模擬、封閉場地、開放道路等組合測試手段，針對不同場景，進(jìn)行基礎(chǔ)道路、交通設(shè)施、交通狀況、環(huán)境等不同層級的評價指標(biāo)設(shè)計，從安全性、合規(guī)性、智能性、可靠性、舒適性、能效性等多維度進(jìn)行評價指標(biāo)提取，建立指標(biāo)到數(shù)值空間的映射并實(shí)現(xiàn)量化，通過加權(quán)以及參數(shù)賦予對不同場景下高適應(yīng)度、高匹配度的組合評價指標(biāo)進(jìn)行綜合分析。

4評價指標(biāo)閾值確定方法

現(xiàn)有自動駕駛安全性評價指標(biāo)閾值主要由經(jīng)驗(yàn)設(shè)置所得，雖簡單但適用場景覆蓋度不高，可以結(jié)合比較法、波動法、專家咨詢法與數(shù)理統(tǒng)計方法進(jìn)行求解?？紤]交通沖突嚴(yán)重程度劃分邊界，基于交通規(guī)則常態(tài)化設(shè)計和交通事故危害調(diào)查，以及智能駕駛系統(tǒng)接管事件風(fēng)險挖掘等方式，可以提取評價指標(biāo)閾值參考區(qū)間并進(jìn)行比較分析。

對于待確定閾值的指標(biāo)，參考人類駕駛?cè)笋{駛行為特性統(tǒng)計[6]，通常需要收集如自然駕駛數(shù)據(jù)、風(fēng)險場景測試數(shù)據(jù)、交通事故數(shù)據(jù)等，根據(jù)車輛運(yùn)行軌跡和動態(tài)駕駛行為計算該評價指標(biāo)在時間序列下的歷史值分布，并使用核密度估計等方法建立概率分布模型，在一定置信度下利用模型殘差的計算方法來確定閾值。例如在惡劣天氣且能見度較低的情況下應(yīng)保持合適的安全速度和安全距離，車輛應(yīng)以不急不緩的制動減速度進(jìn)行自我調(diào)整，減速度區(qū)間的上下限可以通過采集的穩(wěn)定收斂自然駕駛數(shù)據(jù)及惡劣天氣物理模擬場景測試數(shù)據(jù)進(jìn)行計算。

5評價指標(biāo)解耦及閾值迭代更新方法

不同指標(biāo)之間存在沖突與依賴關(guān)系，因此需要研究不同測試算法和測試場景下評價指標(biāo)的解耦方法，建立每個評價指標(biāo)獨(dú)立的等級衡量標(biāo)準(zhǔn)，創(chuàng)建自動駕駛汽車評價指標(biāo)融合度模型。由于評價指標(biāo)適用場景不同且具有閾值的差異問題，需結(jié)合開放道路隨機(jī)測試場景特征與封閉場地特定測試場景特征，分析不同場景下指標(biāo)閾值的敏感性。通過研究自動駕駛汽車測試運(yùn)行數(shù)據(jù)與道路幾何特征，建立起不同場景的交通沖突動態(tài)判別模型。

在求解評價指標(biāo)閾值后，需要使用數(shù)理統(tǒng)計的方法進(jìn)行指標(biāo)閾值的校準(zhǔn)與驗(yàn)證，實(shí)現(xiàn)測評的可靠性、有效性以及適用性，通過誤差分析不斷調(diào)整參數(shù)或模型，盡可能減少評價模型出現(xiàn)過擬合、閾值過度發(fā)散等情況。應(yīng)用測試數(shù)據(jù)反復(fù)迭代的方法，既保證了測試用例有足夠泛化代表性、盡可能多的覆蓋中國特色的測試場景特征，又驗(yàn)證了在近似服從同一數(shù)據(jù)分布下的同類場景中評價指標(biāo)閾值的合理性。

6結(jié)論與展望

以上通過分析多支柱法下自動駕駛汽車協(xié)同測試評價方法，對測試場景選取、搭建、復(fù)現(xiàn)、泛化以及測試數(shù)據(jù)采集、存儲和解析進(jìn)行了概述，并從評價指標(biāo)的提取方法、組合權(quán)重、閾值求解以及數(shù)據(jù)迭代等方面進(jìn)行分析，可以為自動駕駛汽車測評技術(shù)研究和運(yùn)行安全水平驗(yàn)證提供啟示。自動駕駛綜合測評不僅要考慮功能安全，還要考慮預(yù)期功能安全，通過構(gòu)建中國特色的測試用例庫，對區(qū)域、道路、氣候、交通特征和中國駕駛員行為習(xí)慣等方面深入挖掘，進(jìn)行針對上路通行需求的工況覆蓋度高、場景類型豐富的測試評價技術(shù)研究，從而推動自動駕駛企業(yè)自我評估和第三方檢驗(yàn)技術(shù)發(fā)展、加快我國高級別自動駕駛汽車準(zhǔn)入落地。

參考文獻(xiàn)

[1]Proposal for a new UN Regulation on uniform provisions concerning the approval of vehicles with regards to ALKS，ECE/TRANS/ WP.29/2020/81.

[2]Proposal for the Future Certification of Automated/Autonomous Driving Systems，E C E / T R ANS/ W P. 2 9 / GRVA / 2 0 1 9 / 1 3 ， ht t p： // www.unece.org/trans/main/wp29/wp29wgs/ wp29grva/grva2019.html.

[3]劉法旺，何豐，周時瑩，梁偉強(qiáng)，何博，陳貞，徐曉慶，曹建永.基于場景的智能網(wǎng)聯(lián)汽車模擬仿真測試評估方法與實(shí)踐[J/OL].汽車工程學(xué)報：1-11[2022-11-14]. http：//kns.cnki.net/kcms/ detail/50.1206.U.20220805.1658.002.html.

[4]孫巍，應(yīng)朝陽，潘漢中，等. 基于交通事故案例解構(gòu)的自動駕駛車輛測試場景構(gòu)建方法和測試方法，CN108765235A[P]. 2018.

[5]鹿暢，劉穎，趙麗影，等. 自動駕駛路測融合度建模與分析[J]. 同濟(jì)大學(xué)學(xué)報：自然科學(xué)版，2022（005）：050.

[6]劉瑞，馬志雄，武彪，等. 駕駛員駕駛行為的統(tǒng)計學(xué)特性[J]. 同濟(jì)大學(xué)學(xué)報：自然科學(xué)版，2019（6）：10.

交通運(yùn)輸部印發(fā)《關(guān)于促進(jìn)道路交通自動駕駛技術(shù)發(fā)展和應(yīng)用的指導(dǎo)意見》

2020年交通運(yùn)輸部發(fā)布《關(guān)于促進(jìn)道路交通 自動駕駛技術(shù)發(fā)展和應(yīng)用的知道意見》提出，到2025年，自動駕駛基礎(chǔ)理論研究取得積極進(jìn)展，道路基礎(chǔ)設(shè)施智能化、車路協(xié)同等關(guān)鍵技術(shù)及產(chǎn)品研發(fā)和測試驗(yàn)證取得重要突破；出臺一批自動駕駛方面的基礎(chǔ)性、關(guān)鍵性標(biāo)準(zhǔn)；建成一批國家級自動駕駛測試基地和先導(dǎo)應(yīng)用示范工程，再不分場景實(shí)現(xiàn)規(guī)模化應(yīng)用，推動自動駕駛技術(shù)產(chǎn)業(yè)化落地。

以習(xí)近平新時代中國特色社會主義思想為指導(dǎo)，深入貫徹黨的十九大和十九屆二中、三中、四中、五中全會精神，堅(jiān)定不移的貫徹新發(fā)展理念，充分發(fā)揮新驅(qū)動在交通強(qiáng)國建設(shè)中的第一動力總用，以關(guān)鍵技術(shù)研發(fā)為支撐，以典型場景示范為先導(dǎo)，以政策和標(biāo)準(zhǔn)為保障，堅(jiān)持鼓勵創(chuàng)新、多元發(fā)展、試點(diǎn)先行、確保安全的原則，加快推動自動假死技術(shù)在我國道路交通運(yùn)輸中發(fā)展應(yīng)用，全面提升交通運(yùn)輸現(xiàn)代化水平，更好滿足人民群眾多元化、高品質(zhì)出行需求，為加快建設(shè)交通強(qiáng)國提供支撐。

到2025年，自動駕駛基礎(chǔ)理論研究去的積極進(jìn)展，道路基礎(chǔ)設(shè)施智能化、車路協(xié)同等關(guān)鍵技術(shù)及產(chǎn)品研發(fā)和測試驗(yàn)證取得重要突破；出臺一批自動駕駛方面的基礎(chǔ)性、關(guān)鍵性標(biāo)準(zhǔn)；建成一批國家級自動駕駛測試基地和先導(dǎo)應(yīng)用示范工程，在部分場景實(shí)現(xiàn)規(guī)模化應(yīng)用，推動自動駕駛技術(shù)產(chǎn)業(yè)化落地。