徐家正 王景升

中國人民公安大學(xué)交通管理學(xué)院，北京 100038

道路交通和汽車的快速發(fā)展為人們的生活和出行提供了極大的便利，促進(jìn)了社會經(jīng)濟(jì)發(fā)展，但由此產(chǎn)生的交通安全事故和城市污染問題也愈發(fā)嚴(yán)重。21 世紀(jì)以來，在世界范圍內(nèi)，道路交通事故每年造成約135 萬人死亡，5000 萬人受傷，造成直接經(jīng)濟(jì)損失約5180億美元。隨著人工智能技術(shù)的迅速發(fā)展，以自動駕駛為核心的智能汽車技術(shù)可以有效地解決上述問題。但在自動駕駛車輛投入大規(guī)模生產(chǎn)前，如何確保自動駕駛車輛足夠安全可靠是一個亟待解決的關(guān)鍵問題。在此背景下，基于場景的虛擬測試能夠有效加速自動駕駛系統(tǒng)的研究，為解決交通相關(guān)問題提供有效助力。

基于場景的虛擬測試?yán)糜嬎銠C仿真等技術(shù)，通過重構(gòu)各種道路場景、道路環(huán)境和車輛駕駛模型來對自動駕駛系統(tǒng)進(jìn)行測試，能在真實道路測試前對自動駕駛系統(tǒng)進(jìn)行大量且安全的測試，以驗證其在不同場景下的性能和穩(wěn)定性，并且具備高效率、經(jīng)濟(jì)性和可控性等優(yōu)點，逐漸成為自動駕駛測試的主要方式與途徑。在測試過程中，合理的測試場景適用能夠有效提高測試效率，而有效的測試方法評價是進(jìn)行安全性測試場景適用性分析的基礎(chǔ)。

安全性虛擬測試場景旨在測試自動駕駛車輛的安全能力邊界，當(dāng)下自動駕駛虛擬測試面臨著真實道路的復(fù)雜多變、場景構(gòu)建的要求精細(xì)以及系統(tǒng)安全邊界難以確定等困難。此外，測試中存在著虛擬測試方法測試目標(biāo)不清晰，與測試需求不適應(yīng)等問題，從而導(dǎo)致安全性虛擬測試效率及結(jié)果置信度不高，不能很好的發(fā)揮其測試作用。因此，針對安全性虛擬測試方法進(jìn)行評價及適用性分析成為一個亟需解決且很有意義的問題。

1 安全性虛擬測試需求分析

安全性虛擬測試為各主體提供了新的測試思路和強力的測試支持，但由于不同主體對于安全性測試需求不同，明確不同主體測試需求成為提高測試效率的關(guān)鍵?，F(xiàn)階段各主體的安全性虛擬測試需求如表1所示。

表1 安全性虛擬測試需求分析Table1 Analysis of Safety Virtual Test Requirements

虛擬測試的關(guān)鍵在于如何構(gòu)建測試場景，因此針對不同主體的需求構(gòu)建相應(yīng)場景，有利于提高測試效率和結(jié)果置信度，理論上可以優(yōu)化測試進(jìn)程。

2 虛擬測試場景構(gòu)建方法分類及進(jìn)展

安全性測試旨在評估AV 在應(yīng)對不同交通情形的響應(yīng)和行為，除了常規(guī)交通情形外，重點檢測AV在異常情況、緊急情況及各種危險情形下的應(yīng)對能力。

在自動駕駛測試階段，安全性測試都存在由易到難、由簡單到復(fù)雜的測試過程，從場景復(fù)雜度、任務(wù)難度等角度出發(fā)，不同的構(gòu)建方法可適用于不同難度場景。

2.1 場景構(gòu)建方法

安全性測試目標(biāo)是檢驗AV 在不同交通情景下是否能夠準(zhǔn)確識別風(fēng)險并進(jìn)行合理的路徑規(guī)劃來實現(xiàn)對其自身安全的保障。挖掘測試場景的重要性與場景參數(shù)的耦合規(guī)律，開展測試場景動靜態(tài)要素的變尺度重構(gòu)是安全性測試場景構(gòu)建方法的發(fā)展趨勢[1]。在此基礎(chǔ)上，本部分選取以下測試場景構(gòu)建方法進(jìn)行研究。

2.1.1 優(yōu)化搜索（Optimization-based Search）。優(yōu)化搜索方法基于主車行為進(jìn)行建模，調(diào)整參數(shù)并進(jìn)行故障搜索，以直接構(gòu)建違反測試需求的邊緣測試場景，并在循環(huán)迭代中構(gòu)建更多關(guān)鍵測試場景，有效地解決了冗余測試場景過多的問題。如在Althofs M 等[2，3]中，研究人員構(gòu)建出復(fù)雜城市場景下的關(guān)鍵場景，并計算AV 行駛安全區(qū)域來評估這些場景的嚴(yán)重性；也有研究人員[4]通過一種基于優(yōu)化的方法定義具有挑戰(zhàn)性的場景，并對該方法的違背測試需求場景方面進(jìn)行詳細(xì)研究[5]。該類方法核心思想是將主車與場景的交互看作優(yōu)化求解問題，因此應(yīng)考慮如何設(shè)計關(guān)鍵搜索函數(shù)和高效的優(yōu)化算法，以快速準(zhǔn)確地求解。好的搜索算法應(yīng)考慮場景模型、參數(shù)的選取及調(diào)整等內(nèi)容，通過找到參數(shù)分布中關(guān)鍵點的方式可以構(gòu)建邊緣場景，可以有效降低冗余場景數(shù)量隨場景參數(shù)變化而激增的風(fēng)險。

優(yōu)化搜索的搜索空間（目標(biāo)函數(shù)）代表著要解決的問題，因此要保證搜索空間的合理性。Klischat[6]等使用一個較小的安全限制范圍（搜索空間）進(jìn)行搜索，并驗證所得路徑能否避免碰撞，為縮小搜索空間，作者使用二分搜索法改變交通參與者的初始狀態(tài)，并要求測試車輛立刻做出正確決策，該方法同時進(jìn)行了搜索空間可行性分析，并進(jìn)一步改善了優(yōu)化手段。喬僑[7]提出一種基于危險分析驅(qū)動的AV 測試場景構(gòu)建方法，該方法通過分析事故原因，確定關(guān)鍵影響因素并通過概率分布量化各因素范圍；采用FMECA 分析提取危險場景、SPTA 分析確定運行約束條件、FTA 分析進(jìn)行場景要素組合，并建立場景危險邊界模型，以構(gòu)建具體測試場景，針對部分場景參數(shù)的連續(xù)化，采用基于約束的最優(yōu)化方法構(gòu)建最接近危險邊界的具體測試場景。

此外，搜索函數(shù)的選擇對于測試也十分關(guān)鍵。Fellner[8]等借鑒快速探索隨機樹算法（RRT），提出啟發(fā)式引導(dǎo)的分支搜索算法，用于基于模型、突變驅(qū)動的測試場景構(gòu)建。該算法將分支搜索與尋找模型變異值相結(jié)合，并應(yīng)用于場景構(gòu)建框架MoMuT 中，通過調(diào)整RRT，利用搜索數(shù)據(jù)構(gòu)建包含2300多種場景要素的測試場景，但該方法沒有合理約束模型變異的條件，影響了結(jié)果準(zhǔn)確度。

現(xiàn)有的AV 測試主要關(guān)注碰撞測試，常采用TTC等指標(biāo)作為目標(biāo)函數(shù)進(jìn)行優(yōu)化搜索，忽略了真實場景中多動態(tài)因素和高交互性的特點，降低了場景維度。此外，該類方法屬于黑盒測試，AV 系統(tǒng)內(nèi)多功能間的復(fù)雜行為導(dǎo)致的故障無法被準(zhǔn)確發(fā)現(xiàn)，同時，優(yōu)化搜索函數(shù)的構(gòu)建中計算效率很重要，但更應(yīng)該關(guān)注函數(shù)的合理性，這是現(xiàn)階段研究最值得關(guān)注的問題，結(jié)合優(yōu)化搜索的特點，通過分析預(yù)先縮小安全邊界，再使用高計算效率的優(yōu)化搜索算法直接構(gòu)建邊緣場景將是十分有效的手段。

2.1.2 聚類分析（Cluster analysis）。通過將類似的測試場景歸為一類，幫助自動駕駛車輛在虛擬場景中更全面地進(jìn)行測試，有助于提高虛擬測試的覆蓋范圍和效率，從而更好地保證自動駕駛車輛的安全性和穩(wěn)定性。聚類分析中挖掘自然駕駛數(shù)據(jù)中的危險場景十分關(guān)鍵，郭柏蒼[9]等采用閘值法和人工法獲取59 例真實變道切入行為數(shù)據(jù)，并基于單因素方差、皮爾遜相關(guān)性檢驗分別分析場景類型元素、連續(xù)場景元素對風(fēng)險感知系數(shù)的影響，進(jìn)而確定與變道切入危險場景高度相關(guān)的四類特征要素，采用基于層次聚類優(yōu)化的K-means 算法得到了四類典型變道切入場景，可用于驗證AV 在危險情形下的安全性。此外，聚類分析不僅可以通過場景要素作為聚類變量構(gòu)建特定場景，還能選取其他指標(biāo)充當(dāng)聚類變量。如Kruber等[10，11]采用一種基于相似度閾值的無監(jiān)督聚類方法，用于處理新的測量數(shù)據(jù)并生成新的簇，先經(jīng)無監(jiān)督聚類技術(shù)將測量數(shù)據(jù)分組成簇，在加入新測量數(shù)據(jù)時，若其相似度高于定義閾值則被分配給現(xiàn)有簇，否則創(chuàng)建一個新的簇來存放該測量數(shù)據(jù)。Watanabe[12]等則定義一種混合相似度標(biāo)準(zhǔn)，旨在量化不同類型場景中交通信號間的距離及其聚類中心程度，并基于此方法比較近似Kcovers 算法（分層聚類方法）和K-medoids 算法（分區(qū)聚類方法）。

此外，聚類分析難以處理邊界情況，并且對初始參數(shù)比較敏感，需要經(jīng)過反復(fù)調(diào)整和驗證才能保證測試結(jié)果的穩(wěn)定性。

2.1.3 標(biāo)準(zhǔn)強化學(xué)習(xí)（Standard Reinforcement Learning）。標(biāo)準(zhǔn)強化學(xué)習(xí)通過反饋獎勵來驅(qū)動智能體與環(huán)境進(jìn)行交互，環(huán)境可以不斷強化智能體做出更好的決策以促進(jìn)學(xué)習(xí)過程[13]，這種不斷迭代優(yōu)化的優(yōu)勢有利于構(gòu)建挑戰(zhàn)性測試場。如Kochenderfer及其研究小組通過使用SRL 找到最有效的關(guān)鍵場景，并稱其為適應(yīng)性壓力測試[14]?，F(xiàn)階段SRL 主要關(guān)注如何引入不同標(biāo)準(zhǔn)的獎勵函數(shù)以構(gòu)建更復(fù)雜的場景，此外，強化學(xué)習(xí)也常與神經(jīng)網(wǎng)絡(luò)相結(jié)合，如深度強化學(xué)習(xí)，這樣可以處理高維數(shù)據(jù)輸入問題[15]，同時依賴強化學(xué)習(xí)強大的搜索能力，可以依據(jù)反饋結(jié)果實時調(diào)整構(gòu)建方法。

李江坤[16]等為解決測試中邊緣場景概率小、風(fēng)險低的問題，利用場景動力學(xué)建模和強化學(xué)習(xí)算法設(shè)計一個邊緣場景控制器，自動構(gòu)建促使主車發(fā)生緊急制動行為的邊緣場景，實驗結(jié)果表明，構(gòu)建的場景可以較好地模擬真實交通中的對抗與博弈行為。馬依寧[17]等提出了一種生成模型背景車輛用于構(gòu)建自演繹虛擬測試場景，該方法利用強化學(xué)習(xí)模型和可觀測馬爾可夫決策過程來訓(xùn)練不同風(fēng)格、具有交互能力和自主決策的駕駛員模型，并按照不同比例組合，構(gòu)建出不同測試能力的自演繹場景。強化學(xué)習(xí)也常用于訓(xùn)練場景中的要素，Koren[18]等提出一種測試AV 決策的場景構(gòu)建方法，通過改變交通環(huán)境中的場景要素使得主車發(fā)生碰撞，并將碰撞問題描述為馬爾可夫決策過程，分別提出基于蒙特卡羅樹搜索和強化學(xué)習(xí)兩種方案（步驟見圖1），以構(gòu)建最可能發(fā)生碰撞的事故場景，結(jié)果表明強化學(xué)習(xí)可以通過調(diào)整更少的參數(shù)構(gòu)建更多的事故場景。

圖1 強化學(xué)習(xí)方案Figure 1 Reinforcement learning program

標(biāo)準(zhǔn)強化學(xué)習(xí)具有很多優(yōu)勢，構(gòu)建的場景交互性較好，但存在易構(gòu)建重復(fù)性高、無意義的場景等問題，并且測試效率較低、不具備針對性，此外，在高維空間和復(fù)雜環(huán)境下計算數(shù)據(jù)困難，構(gòu)建的場景可解釋性也較差，難以用于分析AV的決策過程和表現(xiàn)性能。

2.1.4 對抗性強化學(xué)習(xí)（Adversarial Reinforcement Learning）。在測試場景中,標(biāo)準(zhǔn)強化學(xué)習(xí)（SRL）通常讓被測車輛與環(huán)境進(jìn)行交互，學(xué)習(xí)安全駕駛行為，對抗性強化學(xué)習(xí)則主動引入對抗對象以構(gòu)建危險或困難的場景，使智能體需要適應(yīng)惡劣場景并提高駕駛水平。該方法側(cè)重于調(diào)整測試場景配置對測試進(jìn)行擾動，以構(gòu)建導(dǎo)致事故行為的場景，因此對抗性強化學(xué)習(xí)可以幫助AV 更好地應(yīng)對異常、復(fù)雜或危險的道路條件。

Feng[19]等通過訓(xùn)練背景車學(xué)習(xí)在駕駛過程中執(zhí)行對抗性駕駛動作，構(gòu)建用于智能測試的測試場景，首先將場景分為自然駕駛場景和對抗性測試場景，分別采用重要性采樣、蒙特卡洛采樣的數(shù)據(jù)驅(qū)動方法模擬背景車的自然行為模式以生成對抗性測試場景，該方法兼顧了測試準(zhǔn)確性與建模復(fù)雜度，并經(jīng)高速公路模擬駕駛驗證，相比于自然場景對抗性場景大幅加速了測試過程。Behzadan[20]等提出一種基于強化學(xué)習(xí)的測試框架，用于在邊緣場景（訓(xùn)練得到的最優(yōu)對抗器可使被測系統(tǒng)進(jìn)入危險狀態(tài))中測試AV 的運動規(guī)劃能力和避撞能力。結(jié)果表明該方法適用于測試邊緣場景下的駕駛行為，且經(jīng)訓(xùn)練的對抗器可以有效定量測量AV。

因為ARL需要同時訓(xùn)練代理與對手，相較于傳統(tǒng)的單模型訓(xùn)練，其計算復(fù)雜度大大增加，并且由于訓(xùn)練對象之間的相互影響，訓(xùn)練過程會出現(xiàn)不穩(wěn)定現(xiàn)象，導(dǎo)致僅得到局部最優(yōu)解，使訓(xùn)練過程更加困難、費時。

2.2 方法總結(jié)

本部分系統(tǒng)梳理了部分虛擬測試場景構(gòu)建方法的研究進(jìn)展及應(yīng)用情況，并對這些方法進(jìn)行具體分析和總結(jié)，結(jié)果表明：

（1）優(yōu)化搜索和聚類分析為交互性較低的場景構(gòu)建方法，主要用于驗證在常規(guī)情況下AV的安全性能，限制條件固定，交通狀態(tài)較簡單，多涉及常見的安全場景，覆蓋交通情形完善，具有一定普適性。

（2）標(biāo)準(zhǔn)強化學(xué)習(xí)和對抗性強化學(xué)習(xí)為交互性較高的場景構(gòu)建方法，具備較高的邊緣性和動態(tài)性，對AV 的決策能力、緊急情況應(yīng)對能力要求較高，具備很強的不確定性，適用于挖掘潛在的安全風(fēng)險，測試AV的實際安全邊界，對于AV的測試認(rèn)證有重要意義。

3 場景構(gòu)建方法評價及適用性分析

當(dāng)前自動駕駛測試評價標(biāo)準(zhǔn)體系仍不完善，無法支撐虛擬測試場景構(gòu)建方法的合理適用，針對這一問題，本部分在前文總結(jié)分析各類方法的基礎(chǔ)上，對各類方法進(jìn)行評價，以分析各方法對于不同主體的適用性。

3.1 場景構(gòu)建方法評價

測試場景構(gòu)建方法的評價內(nèi)容包括經(jīng)濟(jì)性、效率、適用性、安全性等，而現(xiàn)階段自動駕駛測試的核心問題仍然是安全問題。覆蓋度指要素種類、數(shù)量、屬性組成不同的場景數(shù)量，與主車的魯棒性、適應(yīng)性相關(guān)；邊緣性強的方法可構(gòu)建已有場景難度范圍之外的邊緣性場景；真實性則是在符合物理規(guī)律的前提下，場景的道路情況、交通組成、天氣等方面與真實道路環(huán)境的相似程度。這三方面能較好地代表場景的安全可靠性，因此本部分從這三個角度出發(fā)，結(jié)合前文討論內(nèi)容對各類場景構(gòu)建方法對比分析。

（1）聚類分析從真實自然、事故數(shù)據(jù)中建立場景要素之間的關(guān)系，聚類出典型場景，覆蓋度較廣，構(gòu)建場景真實性好，置信度高，但現(xiàn)有數(shù)據(jù)中復(fù)雜場景較少，因此該方法邊緣性不高。

（2）優(yōu)化搜索方法則利用真實道路數(shù)據(jù)，通過在場景空間中尋找罕見或極端的邊界構(gòu)建場景，因此邊緣性較好，但考慮復(fù)雜問題時搜索空間難以確定，真實度不能保證，覆蓋度一般。

（3）標(biāo)準(zhǔn)強化學(xué)習(xí)可以進(jìn)行個性化場景構(gòu)建，根據(jù)自動駕駛的特定需求精準(zhǔn)的評估車輛，并且適應(yīng)性強，真實性、邊緣性高，但計算復(fù)雜度過高，難以進(jìn)行大批量測試，覆蓋度不高。

（4）對抗性強化學(xué)習(xí)在交互性方面表現(xiàn)優(yōu)秀，由于它們更注重探索策略以模擬異常情況，因此有著更好的邊緣性，以實現(xiàn)更加智能、自主性強的自動駕駛決策系統(tǒng)，創(chuàng)建的場景更具挑戰(zhàn)性和復(fù)雜性，但也需要大量的計算來訓(xùn)練模型，難以繼續(xù)大批量測試，導(dǎo)致覆蓋度不高。具體評價結(jié)果如圖2所示。

圖2 評價結(jié)果柱狀圖Figurg 2 Histogram of evaluation results

3.2 構(gòu)建方法與不同測試主體適用性分析

在分析不同測試主體特點及安全性目標(biāo)的基礎(chǔ)上，根據(jù)已整理構(gòu)建方法的特點及評價結(jié)果，進(jìn)行不同主體測試需求與構(gòu)建方法間的適用性分析。需要說明的是，本文研究的不是某一特定具體文獻(xiàn)，而是一類方法對于自動駕駛測試需求的適用，這種適用不代表否定其他方法，而是代表該類方法相比于其他方法更能滿足某一測試主體的特定需求。具體分析結(jié)果如下表2所示。

表2 本文分類方法與不同測試主體適用性分析Table 2 Classification Method and Applicability Analysis for Different Test Subjects in this paper

4 總結(jié)與啟示

本文研究了不同測試需求與各虛擬場景構(gòu)建方法的適用性，對各類方法的現(xiàn)狀、優(yōu)缺點進(jìn)行了綜合分析，提出了真實性、邊緣性、覆蓋度三個指標(biāo)進(jìn)行評價，并針對不同測試主體的需求進(jìn)行對應(yīng)的適應(yīng)性分析。研究結(jié)果表明針對性的場景構(gòu)建方法能夠有效滿足安全測試需求。聚類分析方法能夠構(gòu)建各種類型測試場景，覆蓋大部分場景，幫助汽車制造研發(fā)企業(yè)進(jìn)行大規(guī)模測試，提高其測試研發(fā)效率，對于政府機構(gòu)，聚類分析能夠幫助其評估日常場景的風(fēng)險等級；優(yōu)化搜索可幫助研發(fā)機構(gòu)發(fā)現(xiàn)特定駕駛情形中潛在的安全風(fēng)險，提高研發(fā)車輛的安全等級，對于第三方測試機構(gòu)，優(yōu)化搜索因其搜索空間的針對性，在測試特定功能如識別、緊急制動等功能方面表現(xiàn)良好；標(biāo)準(zhǔn)強化學(xué)習(xí)、對抗性強化學(xué)習(xí)能夠構(gòu)建真實性強、邊緣性強的測試場景，幫助車輛研發(fā)企業(yè)在復(fù)雜、危險情形下驗證自動駕駛車輛的綜合安全性能，政府機構(gòu)也能借助它們進(jìn)行危險場景標(biāo)準(zhǔn)確定，對于第三方測試機構(gòu)，能夠幫助發(fā)現(xiàn)測試車輛的安全風(fēng)險及漏洞。

在研究過程中，還發(fā)現(xiàn)各類方法的應(yīng)用還存在一些不足，主要體現(xiàn)在兩個方面。一方面數(shù)據(jù)集質(zhì)量難以支撐測試，已有數(shù)據(jù)集在完整性、真實性等方面質(zhì)量不一，影響測試結(jié)果，聚類分析、強化學(xué)習(xí)等數(shù)據(jù)驅(qū)動方法可以顯著提高測試的真實性，這些方法的有效性高度依賴數(shù)據(jù)集質(zhì)量；另一方面關(guān)于虛擬測試置信度的研究有待加強，置信度代表虛擬測試結(jié)果與實際情況的差異，現(xiàn)有研究側(cè)重于測試需求而忽略了真實性，異構(gòu)交通主體動力學(xué)模型過于簡化、參數(shù)標(biāo)定不準(zhǔn)確，以及復(fù)雜交通流特征難以精準(zhǔn)刻畫及復(fù)現(xiàn)，對測試的置信度影響較為嚴(yán)重。

為了更好的加速自動駕駛測試研究，助推自動駕駛車輛盡快商業(yè)化落地，未來還應(yīng)進(jìn)一步彌補現(xiàn)有測試漏洞。通過對測試主體及方法適配性的研究，發(fā)現(xiàn)尚有關(guān)鍵需求未能被滿足，如汽車制造研發(fā)企業(yè)的安全性標(biāo)準(zhǔn)測試缺乏時效性，自動駕駛車輛的不同應(yīng)用階段對于自動駕駛車輛的安全標(biāo)準(zhǔn)和認(rèn)證會存在差異，面對這種問題，企業(yè)應(yīng)積極關(guān)注并參與標(biāo)準(zhǔn)的制定，靈活調(diào)整自己的研發(fā)測試策略，提高安全性研發(fā)測試的可變性和普適性，確保研發(fā)測試成果符合最新的標(biāo)準(zhǔn)要求。如聚類分析方法在構(gòu)建場景過程中易出現(xiàn)分類標(biāo)準(zhǔn)不清晰的情況，導(dǎo)致場景分類不規(guī)范，未來應(yīng)加強分類算法研究，以提高測試的準(zhǔn)確性及有效性。