隨著人工智能技術(shù)的迅速發(fā)展，人們普遍認為，未來的交通系統(tǒng)將由自動駕駛汽車（AV）所主導。可以說，對于更為安全的交通設施的需求是引起人們對自動駕駛汽車感興趣并推動其發(fā)展的一個主要推動力。但不可否認，就現(xiàn)在而言，可靠和具有魯棒性的自動駕駛汽車技術(shù)的發(fā)展仍然是一個持續(xù)的挑戰(zhàn)，對可靠的運動規(guī)劃和碰撞避免機制的研究尤其重要。最近，堪薩斯州立大學（Kansas State University，KSU）的科學家提出了一種基于深度強化學習的新框架，用于對自動駕駛汽車的碰撞避免機制的行為進行基準測試。

現(xiàn)如今，隨著人們對自主導航興趣的日益增長，關于運動規(guī)劃和碰撞避免技術(shù)（collision avoidance techniques）的研究已經(jīng)加速了全新提議和新進展的速度。然而，新技術(shù)的復雜性及其安全性要求使得當前的大部分基準測試框架不充分，因此對高效的比較技術(shù)的需求沒有得到滿足。這項研究提出了一種基于深度強化學習的新框架，用于在處理最佳對抗性智能體的最壞情況下，對碰撞避免機制的行為進行基準測試，該最佳對抗性智能體進行訓練從而將系統(tǒng)驅(qū)動到不安全狀態(tài)。我們將這個框架的體系結(jié)構(gòu)和流程描述為一個基準測試解決方案，并通過一個比較兩種碰撞避免機制的可靠性的實際案例研究來證明其有效性，從而對有意識的碰撞嘗試做出回應。

人們普遍認為，未來的交通系統(tǒng)將由自動駕駛汽車（AV）所主導。隨著近年來這一領域的迅速發(fā)展，許多人預測這種轉(zhuǎn)變將在未來十年內(nèi)發(fā)生。對更為安全的交通運輸?shù)男枨螅且鹑藗兣d趣和推動自動駕駛汽車發(fā)展的一個主要動機。一般認為，用專家計算模型代替人類駕駛員的內(nèi)在缺陷，可以顯著減少由駕駛員的誤差所導致的事故數(shù)量。然而，可靠和具有魯棒性的自動駕駛汽車技術(shù)的發(fā)展仍然是一個持續(xù)的挑戰(zhàn)，并且人們正在積極從各個研究和發(fā)展方向來實現(xiàn)這一目標。

對可靠的運動規(guī)劃和碰撞避免機制的研究尤其重要。在過去數(shù)十年的時間里，科學家們已經(jīng)提出了許多解決這個問題的方法，從控制理論形式化和最優(yōu)控制方法到潛在的基于場和規(guī)則的技術(shù)（field- and rule-based techniques）等。最近，機器學習的進步使得基于諸如模仿學習和深度強化學習（RL）等技術(shù)的全新數(shù)據(jù)驅(qū)動的碰撞避免方法成為可能。然而，隨著其部署環(huán)境和機制的日益復雜，為這些解決方案提供安全保障的挑戰(zhàn)變得越來越困難。一個值得注意的例子是交通碰撞避免系統(tǒng)（TCAS），在它廣泛部署到NextGen商用飛機之前，它就已經(jīng)滿足了美國聯(lián)邦航空局（FAA）的嚴格安全要求。然而，最近的一些表現(xiàn)表明，它在現(xiàn)代高密度空域中非常不可靠，在一定程度上，它可能會導致不可避免的碰撞狀態(tài)（ICS）——不管未來的軌跡如何，最終都會發(fā)生碰撞。此外，最近的研究表明，自動感知和避免機制可以被對抗性地加以利用來操縱自動駕駛車輛的運動軌跡。

作為回應，科學家們提出了越來越多的緩解技術(shù)和全新的安全運動規(guī)劃方法，但每一種都有特定的基于案例的假設和驗證程序。因此，對這些方法進行定量比較變得非常困難。當前最為先進的方法包括在運動規(guī)劃和碰撞避免中對安全行為進行基準測試的幾次嘗試，但是許多現(xiàn)有的框架未能滿足基于機器學習的新自適應技術(shù)的要求。而且，目前的基準測試框架并不能提供全面的和具有魯棒性的探測機制，用于在不理想狀態(tài)和軌跡的復雜空間中進行探索。這種框架中的突出方法是基于隨機化或基于情景的障礙產(chǎn)生，這些障礙很容易丟失特定于被測機制的關鍵ICS或其他不需要的狀態(tài)。這些框架中的另一種方法依賴于計算上昂貴的碰撞狀態(tài)可達性分析技術(shù)，而這也無法為安全運行的關鍵邊界提供具體的保證。

為了彌補以安全為中心的基準測試的缺陷，本文提出了一種基于機器學習的新框架，用于在與最優(yōu)對抗性智能體進行交互的最壞情況下，對新技術(shù)的可靠性進行基準測試。該框架采用深度強化學習的強大的探索和優(yōu)化性能來訓練對抗性自主智能體，而該智能體的目標是學習旨在將系統(tǒng)驅(qū)動到ICS和其他不安全狀態(tài)的最佳導航策略。根據(jù)分析的參數(shù)和目標，這些目標可能包括對抗性智能體與自動駕駛汽車的直接碰撞，或利用避免碰撞機制來操縱自動駕駛汽車的軌跡以改變和控制其路徑，或間接誘發(fā)自動駕駛汽車和環(huán)境中的其他物體之間的碰撞。

在此基礎上，這項研究的主要貢獻包括：

1）提出碰撞避免算法的最壞情況基準測試的計算框架和處理流程，且獨立于其復雜性、隨機性以及自適應動力學。

2）提出深度強化學習過程流程以無縫地適應于被測系統(tǒng)，并克服完全隨機或基于情景的探索機制的缺點。

3）提出關于碰撞避免算法標準化比較的全新的衡量指標。

4）通過一個比較兩種碰撞避免機制應對故意碰撞企圖的可靠性的實際案例研究，來證明所提出框架的實際應用和效果。

總而言之，在本文中，我們提出了一個流程和框架，它利用對抗性深度強化學習來衡量自動駕駛汽車的運動規(guī)劃和碰撞避免機制的可靠性。我們已經(jīng)確立了這一框架的優(yōu)勢，要超過當前的基準測試規(guī)劃，其中包括靈活性和通用性、通過針對特定系統(tǒng)下測試、樣本效率和自定義探索機制對對抗性策略進行訓練獲得的適用性探測，以及為不同系統(tǒng)之間的基準測試和比較提供基線（例如最壞的情況）測量。

可以這樣說，本文所提出框架的直接架構(gòu)為進一步研究提供了一些潛在的研究領域。緊隨而來的下一個步驟就是將此框架應用于顯著的和最近發(fā)布的運動規(guī)劃和碰撞避免技術(shù)中，目的是為相關研究項目創(chuàng)建參考基準。另一個有發(fā)展前景的研究領域是檢查近期發(fā)布技術(shù)的適用性，這些已發(fā)布的技術(shù)聲稱在對抗性干擾下進行訓練可以增強策略的適應力和魯棒性。因此，通過對對抗性策略和碰撞避免的強化學習模型的結(jié)合性訓練進行調(diào)查，可能會出現(xiàn)潛在的緩解和防御技術(shù)。