摘 要：為了保障匝道合流區(qū)的安全高效通行，提出了一種基于多智能體強(qiáng)化學(xué)習(xí)算法的多車協(xié)同控制方法。以提升系統(tǒng)計(jì)算效率為目標(biāo)，設(shè)計(jì)了基于多智能體確定性策略梯度算法（MADDPG）的分布式訓(xùn)練框架；針對(duì)智能體模型難以應(yīng)對(duì)連續(xù)車流場(chǎng)景的問題，通過構(gòu)建相對(duì)靜止環(huán)境，改進(jìn)策略更新梯度，保障智能體面向連續(xù)車流環(huán)境的平穩(wěn)性；拆分匝道合流區(qū)場(chǎng)景為準(zhǔn)備區(qū)和匯入?yún)^(qū)，分別依據(jù)兩區(qū)域控制目標(biāo)設(shè)計(jì)了狀態(tài)、動(dòng)作空間及獎(jiǎng)勵(lì)函數(shù)。結(jié)果表明：在不同交通流量下，與基于規(guī)則的方法相比，該方法通行合流區(qū)的總延誤時(shí)間平均縮短25.46%；與全局優(yōu)化方法相比，延誤時(shí)間相差8.47%，但控制時(shí)長(zhǎng)上不會(huì)隨車輛數(shù)量增加而增長(zhǎng)。該文所提出匝道合流區(qū)多車協(xié)同控制方法能夠更好地兼顧通行效率提升與系統(tǒng)實(shí)時(shí)性。

關(guān)鍵詞： 多智能體確定性策略梯度算法（MADDPG） ；多智能體強(qiáng)化學(xué)習(xí)；多車協(xié)同控制；匝道合流

中圖分類號(hào)： U 491.1 文獻(xiàn)標(biāo)識(shí)碼： A DOI： 10.3969/j.issn.1674-8484.2024.06.014

匝道合流區(qū)域作為高速公路與其他道路交匯的關(guān)鍵部分，常常成為交通擁堵和事故高發(fā)區(qū)域[1]。而隨著智能網(wǎng)聯(lián)汽車（intelligent connected vehicles，ICV） 技術(shù)的進(jìn)步，車與車之間得以信息共享[2] ，在匝道合流場(chǎng)景下，主線車輛和匝道車輛之間可以通過綜合協(xié)調(diào)控制避免軌跡沖突，開展智能網(wǎng)聯(lián)環(huán)境下的匝道合流區(qū)多車協(xié)同控制方法研究，對(duì)于提升匝道合流區(qū)車輛行駛安全性與道路整體通行效率有著重要意義[3]。

目前，針對(duì)匝道合流問題的多車協(xié)同控制方法研究以優(yōu)化方法為主流[4]。東南大學(xué)劉暢[5] 采用混合整數(shù)線性規(guī)劃和動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)合流次序優(yōu)化，并構(gòu)建了考慮車輛動(dòng)力學(xué)的多車安全合流軌跡規(guī)劃方法。XULinghui 等[6] 將以主道車輛行駛時(shí)間最小和合流車輛數(shù)量最大為優(yōu)化目標(biāo)，采用遺傳算法求解最優(yōu)合并順序。HUANG Tianyu 等[7] 則設(shè)計(jì)了一種雙層動(dòng)態(tài)規(guī)劃的求解方法以縮短計(jì)算時(shí)長(zhǎng)，上層尋找最優(yōu)合并次序，下層在給定的合并策略中優(yōu)化車輛軌跡。XUE Yongjie 等[8]側(cè)重降低匝道車流匯入對(duì)主道交通的干擾，應(yīng)用灰色預(yù)測(cè)模型與模型預(yù)測(cè)控制分別完成多車的規(guī)劃與控制。

然而，基于優(yōu)化的方法計(jì)算復(fù)雜度往往會(huì)隨車輛增加急劇增長(zhǎng)，實(shí)際應(yīng)用中計(jì)算資源需求較大[9]。在此背景下，基于深度強(qiáng)化學(xué)習(xí)的方法因其能夠?qū)崿F(xiàn)離線訓(xùn)練的特性，因而具有較好的實(shí)時(shí)性[10]，在匝道合流區(qū)多車協(xié)同控制問題上具有獨(dú)特優(yōu)勢(shì)。

基于強(qiáng)化學(xué)習(xí)的匝道合流研究方法中，單智能體強(qiáng)化學(xué)習(xí)相關(guān)研究主要以匝道車輛為研究對(duì)象，探究單車匯入場(chǎng)景為主[11]，較少考慮多車交互，而多智能體強(qiáng)化學(xué)習(xí)則在多車協(xié)同方面有獨(dú)特優(yōu)勢(shì)，目前多數(shù)研究集中應(yīng)用在非信控交叉路口，少數(shù)學(xué)者開始探索將其應(yīng)用于匝道場(chǎng)景。ZHOU Shanxing 等[12] 采用多智能體確定性策略梯度（multi-agent deep deterministic policygradient，MADDPG） 算法解決了混合交通下的匝道匯入問題，著重降低匝道匯入過程中的能耗，其協(xié)同車輛數(shù)目局限在3 輛車。ZHUANG Huanbiao 等[13] 使用集中式訓(xùn)練、分布式執(zhí)行架構(gòu)的多智能體近端策略優(yōu)化 （multi-agent proximal policy optimization，MAPPO）算法研究無信控交叉路口下的車輛協(xié)同問題，協(xié)同車輛數(shù)目最多為4 輛ICV 與5 輛重型車輛（heavy-dutyvehicles，HDV）。CHENG Dong 等[14] 面向含有HDV的混合交通匝道合流場(chǎng)景提出了具有動(dòng)作掩蔽、局部獎(jiǎng)勵(lì)、課程學(xué)習(xí)與參數(shù)共享等特點(diǎn)的分布式架構(gòu)多智能體強(qiáng)化學(xué)習(xí)算法，最多實(shí)現(xiàn)6 輛ICV與5 輛HDV 的匯入場(chǎng)景。

綜上，多智能體強(qiáng)化學(xué)習(xí)方法在解決匝道合流區(qū)多車協(xié)同控制問題上，相較優(yōu)化方法與單智能體強(qiáng)化學(xué)習(xí)方法兼顧了實(shí)時(shí)性與通行效率[15]，但是在當(dāng)前研究中，普遍存在協(xié)同車輛數(shù)量少的問題，訓(xùn)練場(chǎng)景多側(cè)重應(yīng)對(duì)固定數(shù)量智能體場(chǎng)景[16]，較少探究連續(xù)車流解決方案。

因此，本文提出了一種基于多智能體深度確定性策略梯度算法的匝道合流區(qū)多車協(xié)同控制方法。基于匝道合流場(chǎng)景建立分布式MADDPG 算法訓(xùn)練架構(gòu)； 針對(duì)連續(xù)車流訓(xùn)練場(chǎng)景中智能體環(huán)境動(dòng)態(tài)變化的問題，通過構(gòu)建相對(duì)靜止環(huán)境，改進(jìn)策略更新梯度，拓展協(xié)同車輛數(shù)目；在此基礎(chǔ)上，為準(zhǔn)備區(qū)與匯入?yún)^(qū)分別設(shè)計(jì)狀態(tài)、動(dòng)作空間及獎(jiǎng)勵(lì)函數(shù)，構(gòu)建匝道合流區(qū)訓(xùn)練環(huán)境進(jìn)行模型訓(xùn)練并提出模型合并應(yīng)用方法；最后，本文選取現(xiàn)有典型的全局優(yōu)化方法與基于規(guī)則的方法作為對(duì)比算法，對(duì)所提出匝道合流控制方法的高效性與實(shí)時(shí)性進(jìn)行驗(yàn)證。

1 問題描述

本文的研究場(chǎng)景為圖 1 所示在理想通信條件下的高速公路匝道合流區(qū)，區(qū)域內(nèi)車輛均為智能網(wǎng)聯(lián)車輛，通過車端無線通信設(shè)備與路側(cè)單元交換信息。合流區(qū)道路分為主道與匝道，加速車道區(qū)域位于匝道末端，在該區(qū)域內(nèi)車輛可以換道并入主道中。為了優(yōu)化強(qiáng)化學(xué)習(xí)訓(xùn)練效果，減小單個(gè)回合內(nèi)智能體任務(wù)量，本文將如圖1 所示的匝道合流區(qū)劃分為加速車道前800 m 的準(zhǔn)備區(qū)與200 m 長(zhǎng)含加速車道區(qū)域的匯入?yún)^(qū)，并根據(jù)匝道合流區(qū)不同區(qū)域，拆解匝道合流的任務(wù)，制定不同控制目標(biāo)與訓(xùn)練方案。