錢(qián)立軍，陳 晨，陳 健，陳欣宇，熊 馳

（1.合肥工業(yè)大學(xué)汽車(chē)與交通工程學(xué)院，合肥230009；2.南昌理工學(xué)院機(jī)電工程學(xué)院，南昌330044）

前言

當(dāng)前，各國(guó)主要大型城市已建立為自動(dòng)駕駛服務(wù)的高智能化基礎(chǔ)設(shè)施，并開(kāi)展了車(chē)輛位置實(shí)時(shí)采集、低時(shí)延通信等功能測(cè)試。自動(dòng)駕駛汽車(chē)為主體的無(wú)信號(hào)燈交叉口自動(dòng)管理策略已成為一個(gè)研究熱點(diǎn)。

離散的分布式控制是一類(lèi)有效的車(chē)輛控制策略，能分?jǐn)偪刂破鞯挠?jì)算負(fù)荷。此時(shí)，各車(chē)擁有單獨(dú)的控制器，能夠識(shí)別相鄰車(chē)的運(yùn)動(dòng)并協(xié)商通行權(quán)。為了降低控制算法的復(fù)雜度，可根據(jù)不同的行駛?cè)蝿?wù)對(duì)交叉口的物理空間進(jìn)行劃分。一般地，車(chē)輛在無(wú)信號(hào)燈交叉口的任務(wù)被分解為：狀態(tài)觀察、到達(dá)時(shí)間優(yōu)化和軌跡跟蹤控制。由于離散化程度越高的分布式方法擁有更好的實(shí)時(shí)性，則將最小控制單元轉(zhuǎn)化為車(chē)隊(duì)可以有效減少控制對(duì)象的數(shù)量。

在提升交通性能方面，車(chē)隊(duì)已被證明具有足夠的應(yīng)用潛力，并在高速場(chǎng)景中得到驗(yàn)證。但是，大部分擁堵和事故發(fā)生于交通瓶頸處，在非高速場(chǎng)景驗(yàn)證車(chē)隊(duì)的優(yōu)勢(shì)也十分必要。一方面，運(yùn)動(dòng)趨勢(shì)相同的車(chē)輛在進(jìn)行組隊(duì)時(shí)，可以減少通信開(kāi)銷(xiāo)。另一方面，在自適應(yīng)巡航等自組織策略中，適當(dāng)規(guī)模的車(chē)隊(duì)將會(huì)使道路通行能力得到成倍提升。此外，車(chē)隊(duì)可使信號(hào)燈交叉口的交通性能指標(biāo)得到優(yōu)化。

然而，固定規(guī)模的車(chē)隊(duì)無(wú)法適應(yīng)不同密度的車(chē)流環(huán)境?？紤]到城市場(chǎng)景中車(chē)流量的不確定性，無(wú)信號(hào)燈交叉口環(huán)境下需要更為靈活的組隊(duì)策略。另外，受限于基礎(chǔ)設(shè)施的范圍和帶寬，隊(duì)形調(diào)整的時(shí)間和空間并不充裕。因此，研究快捷且智能的隊(duì)形選擇系統(tǒng)來(lái)應(yīng)對(duì)復(fù)雜的城市交通環(huán)境有一定必要性。

近年來(lái)，強(qiáng)化學(xué)習(xí)（reinforcement learning，RL）因其適應(yīng)性強(qiáng)的特點(diǎn)在交通領(lǐng)域得到深入研究。除了調(diào)控信號(hào)燈配時(shí)之外，RL也逐漸被應(yīng)用于車(chē)輛的視覺(jué)學(xué)習(xí)、轉(zhuǎn)向控制、運(yùn)動(dòng)規(guī)劃等方面。考慮到車(chē)輛的動(dòng)力學(xué)特性具有馬爾科夫性，可使用無(wú)模型的RL方法來(lái)求解部分可觀測(cè)的馬爾科夫決策過(guò)程。但是，信號(hào)燈周期仍然是當(dāng)前智能體學(xué)習(xí)過(guò)程中不可缺失的參數(shù)之一，而RL在無(wú)信號(hào)燈交叉口的研究并不充分。

為此，本文在基于Q學(xué)習(xí)的組隊(duì)決策過(guò)程中結(jié)合固定時(shí)距跟車(chē)模型，提出一種基于多車(chē)隊(duì)協(xié)同規(guī)劃的交通流離散策略，設(shè)計(jì)了包含車(chē)隊(duì)選型與車(chē)輛軌跡規(guī)劃的計(jì)算框架。并且，結(jié)合了基于車(chē)隊(duì)的交通流模型和多車(chē)隊(duì)協(xié)同策略，定義了一個(gè)車(chē)隊(duì)通行時(shí)間的安全約束。

其次，考慮到車(chē)隊(duì)組合中的狀態(tài)變量有限，選擇高效的Q學(xué)習(xí)方法進(jìn)行建模，設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)的同時(shí)考慮了通行效率、行車(chē)延誤和燃油經(jīng)濟(jì)性等指標(biāo)。并且，根據(jù)交叉口功能區(qū)間定義了初始狀態(tài)和動(dòng)作空間，用于確定車(chē)隊(duì)組合狀態(tài)。

最后，在建立多車(chē)隊(duì)協(xié)同最優(yōu)控制問(wèn)題時(shí)，設(shè)計(jì)了一個(gè)預(yù)防追尾碰撞的安全約束。基于高斯偽譜法對(duì)合流區(qū)內(nèi)的車(chē)隊(duì)軌跡進(jìn)行預(yù)求解。通過(guò)仿真試驗(yàn)，分析了所提策略有效性和車(chē)隊(duì)協(xié)同的優(yōu)勢(shì)。

1 問(wèn)題描述與建模

在智能交通環(huán)境下，道路專(zhuān)用短程通信技術(shù)（dedicated short range communication，DSRC）覆蓋范圍內(nèi)的交叉口路網(wǎng)可被劃分為緩沖區(qū)、核心區(qū)和自由駕駛區(qū)。本文聚焦于孤立交叉口，根據(jù)文獻(xiàn)［14］選擇一個(gè)典型的單車(chē)道十字路口為研究場(chǎng)景。交叉口中的觀察區(qū)、協(xié)同區(qū)和合流區(qū)分別對(duì)應(yīng)于路網(wǎng)中的功能區(qū)間，如圖1所示。、和分別表示觀察區(qū)、協(xié)同區(qū)和合流區(qū)的長(zhǎng)度尺寸，為車(chē)道寬度。

圖1 交叉口功能區(qū)間示意圖

1.1 交通流離散控制框架

在以車(chē)隊(duì)為通行單元的要求下，以任意車(chē)輛為例來(lái)說(shuō)明其組合分配、隊(duì)形排列和通過(guò)路口的過(guò)程。其中，以交叉口中心點(diǎn)為原點(diǎn)，車(chē)道上第輛車(chē)的位置記為x。該車(chē)輛駛過(guò)交叉口過(guò)程中須經(jīng)歷以下4個(gè)步驟。

步驟1：位置觀察階段。首先，車(chē)輛位于觀察區(qū)以外，X表示所有在觀察區(qū)內(nèi)車(chē)輛位置的集合。當(dāng)該車(chē)進(jìn)入觀察區(qū)后（x≤++），其位置、速度和加速度等信息被路側(cè)單元所識(shí)別。識(shí)別到的車(chē)輛會(huì)被添加進(jìn)集合中，即X=X∪x。

步驟2：組合分配階段。定義同時(shí)間段內(nèi)協(xié)同通過(guò)交叉口的車(chē)隊(duì)集合為一個(gè)組合。在協(xié)同區(qū)內(nèi)，將采用Q學(xué)習(xí)方法，于X中選擇最優(yōu)的車(chē)隊(duì)規(guī)模。當(dāng)有車(chē)輛到達(dá)協(xié)同區(qū)時(shí)（x=+），建立Q學(xué)習(xí)的可用狀態(tài)空間?；谒⒌莫?jiǎng)勵(lì)函數(shù)和約束條件，選擇當(dāng)前情況下的最優(yōu)組合狀態(tài)=(，，，)。

步驟3：車(chē)隊(duì)排列階段。此步驟同樣發(fā)生在協(xié)同區(qū)內(nèi)。根據(jù)得到的最優(yōu)車(chē)隊(duì)規(guī)模，各車(chē)道上的車(chē)輛將受到以下控制：（1）各車(chē)道上位置最靠前的車(chē)輛被定義為領(lǐng)航車(chē)，其他車(chē)輛為跟隨車(chē)，且所有的領(lǐng)航車(chē)將同時(shí)到達(dá)合流區(qū)，即x()=；（2）跟隨車(chē)將在時(shí)刻之前，與其領(lǐng)航車(chē)排列成標(biāo)準(zhǔn)車(chē)隊(duì)。被選中的車(chē)輛也將從X中被剔除。

步驟4：軌跡跟蹤階段。文獻(xiàn)［15］表明，可通過(guò)尋找離線(xiàn)的運(yùn)動(dòng)方案來(lái)提高協(xié)同運(yùn)動(dòng)的實(shí)時(shí)性?；诖?，在時(shí)刻之后，所有的車(chē)隊(duì)將在合流區(qū)內(nèi)跟蹤事先儲(chǔ)存的安全軌跡，直至其通過(guò)交叉口。此交通流離散控制框架如圖2所示。

圖2 離散控制框架流程圖

經(jīng)過(guò)上述步驟，各車(chē)道上連續(xù)的交通流被拆分為多個(gè)小規(guī)模車(chē)隊(duì)，并在不同時(shí)間段內(nèi)受到分布式控制。

1.2 車(chē)隊(duì)離散模型

對(duì)于車(chē)道上規(guī)模為n∈Ν的車(chē)隊(duì)，其領(lǐng)航車(chē)的運(yùn)動(dòng)學(xué)模型為

式中：L為車(chē)隊(duì)總長(zhǎng)度；v為車(chē)隊(duì)通過(guò)交叉口的平均速度。虛擬車(chē)隊(duì)如圖3所示，圖中藍(lán)色箭頭形象描述虛擬車(chē)隊(duì)的構(gòu)造。當(dāng)多個(gè)車(chē)隊(duì)形成的組合進(jìn)入交叉口時(shí)，有沖突隱患的車(chē)隊(duì)可以被視為虛擬隊(duì)列，該虛擬車(chē)隊(duì)被定義為一個(gè)組合。假設(shè)各車(chē)隊(duì)在交叉口處的平均速度均為常數(shù)，則此組合的交叉口占用時(shí)間為

圖3 虛擬車(chē)隊(duì)與間隙

式中：表示此組合的時(shí)間窗口；表示在該組合中包含的車(chē)隊(duì)數(shù)目；τ為此組合中第個(gè)車(chē)隊(duì)在交叉口的占有時(shí)間；G表示組合中兩個(gè)車(chē)隊(duì)之間的排隊(duì)間隙與交叉口尺寸的差值，表示這些差值的總和?；诖?，交叉口的瞬時(shí)吞吐量（輛/h）為

式中：表示該組合中的車(chē)輛總數(shù)；n表示第個(gè)車(chē)隊(duì)的規(guī)模。以為自變量對(duì)求偏導(dǎo)，可得

由于式（7）恒為負(fù)，可知減少虛擬間隙是提高瞬時(shí)吞吐量的有效途徑。并且，圖3和式（7）展示了以下規(guī)律：對(duì)任何控制策略，=0時(shí)，控制效果與虛擬隊(duì)列的最優(yōu)效果相當(dāng)；＞0時(shí)，過(guò)大的車(chē)隊(duì)間隙會(huì)增大交叉口的占用時(shí)間；當(dāng)＜0時(shí)，將優(yōu)于虛擬隊(duì)列的控制效果。因此，在選擇組合形式時(shí)，定義一個(gè)強(qiáng)制性約束：

2 車(chē)隊(duì)組合分配

根據(jù)步驟2所定義，在協(xié)同區(qū)內(nèi)的車(chē)輛將根據(jù)集合X來(lái)選擇最優(yōu)的組合形式。由此，無(wú)信號(hào)燈交叉口的車(chē)隊(duì)協(xié)同通行問(wèn)題被轉(zhuǎn)化為車(chē)隊(duì)間的組合問(wèn)題。由于在通信范圍限制下車(chē)隊(duì)組合形式有限，故選擇Q學(xué)習(xí)算法對(duì)車(chē)隊(duì)組合情況進(jìn)行尋優(yōu)。

在協(xié)同區(qū)中，轉(zhuǎn)化后的強(qiáng)化學(xué)習(xí)問(wèn)題為一個(gè)無(wú)模型的Markov決策過(guò)程。在每個(gè)時(shí)刻，一個(gè)動(dòng)作a∈將有的概率使環(huán)境狀態(tài)s∈轉(zhuǎn)變?yōu)樾碌臓顟B(tài)s。在狀態(tài)s下的動(dòng)作a將獲得一個(gè)價(jià)值r∈。Q學(xué)習(xí)方法中的價(jià)值迭代公式為

式中：∈(0，1)為學(xué)習(xí)率；∈(0，1)為系統(tǒng)折扣因子。

2.1 狀態(tài)向量設(shè)計(jì)

對(duì)于車(chē)隊(duì)而言，車(chē)速、跟車(chē)間距、規(guī)模等是影響其運(yùn)動(dòng)狀態(tài)的重要參數(shù)。在尺寸受限的場(chǎng)景中，車(chē)隊(duì)規(guī)模的影響高于其他參數(shù)。尤其在失去信號(hào)燈控制的平面交叉口，過(guò)大的車(chē)隊(duì)規(guī)模將延誤其他車(chē)輛。因此，將狀態(tài)空間定義為車(chē)隊(duì)規(guī)模的組合情況。對(duì)于四向單車(chē)道交叉口而言，狀態(tài)向量由4個(gè)元素組成=(，，，)∈S，其中n表示在此組合中第車(chē)道上的車(chē)隊(duì)規(guī)模。

基于此，在所研究的固定場(chǎng)景中，狀態(tài)量的總數(shù)為

式中表示單一車(chē)隊(duì)中的車(chē)輛數(shù)目上限。

2.2 動(dòng)作空間設(shè)計(jì)

由于狀態(tài)向量是車(chē)隊(duì)的組合類(lèi)型，所以智能體的動(dòng)作是篩選一個(gè)合適的車(chē)隊(duì)組合。為了滿(mǎn)足狀態(tài)向量之間的切換條件，定義動(dòng)作為

式中a表示該組合中位于車(chē)道上車(chē)隊(duì)的規(guī)模增減，且每次變動(dòng)的車(chē)輛數(shù)目為一輛。并且，狀態(tài)轉(zhuǎn)移過(guò)程中必須滿(mǎn)足邊界約束：

然而，在實(shí)際計(jì)算中并不是所有動(dòng)作都是可行的。因此，可使'滿(mǎn)足式（8）且'?X時(shí)的定義為一個(gè)有效動(dòng)作。

2.3 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

通行效率和行車(chē)延誤等參數(shù)是最能反映控制策略有效性的指標(biāo)。為了提高交叉口流量上限并降低延誤，在設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)時(shí)同時(shí)考慮了~4個(gè)指標(biāo)。

表示各狀態(tài)下在合流區(qū)內(nèi)呈現(xiàn)的瞬時(shí)效率。

表示車(chē)輛平均等待時(shí)間：

式中ε為各車(chē)隊(duì)的行車(chē)延誤。

為各車(chē)隊(duì)的行程時(shí)間標(biāo)準(zhǔn)差（standard deviation of travel time，SDTT）：

為合流區(qū)內(nèi)的平均燃油消耗（L/100 km）：

式中為車(chē)輛的平均瞬時(shí)油耗，L/h。

明確評(píng)價(jià)指標(biāo)之后，狀態(tài)下的獎(jiǎng)勵(lì)值定義為

式中：X為對(duì)各指標(biāo)的樣本標(biāo)準(zhǔn)化處理后的值；、、和表示權(quán)重系數(shù)，且∑||=1；負(fù)號(hào)表示該指標(biāo)值呈負(fù)相關(guān)關(guān)系。

對(duì)于大流量的城市交叉口而言，減少擁堵是首要目標(biāo)。因此，瞬時(shí)效率的重要程度要遠(yuǎn)高于其他指標(biāo)。由于權(quán)重賦值過(guò)程具有強(qiáng)烈的主觀性，采用G1法對(duì)評(píng)價(jià)指標(biāo)進(jìn)行重要度排序，并確定權(quán)重系數(shù)的具體數(shù)值。

2.4 初始狀態(tài)設(shè)計(jì)

在確定可行動(dòng)作空間和獎(jiǎng)勵(lì)值之后，需對(duì)狀態(tài)的尋優(yōu)過(guò)程設(shè)計(jì)一個(gè)初始值。類(lèi)似于二維路徑規(guī)劃的過(guò)程，從不同初始點(diǎn)出發(fā)找到的運(yùn)動(dòng)路徑也是不同的。在觀察區(qū)的尾部定義一個(gè)尺寸為的子區(qū)間，如圖4所示。該子區(qū)間只用于確定初始狀態(tài)，對(duì)其他過(guò)程不產(chǎn)生干擾。

圖4 子區(qū)間示意圖

此時(shí)，智能體初始狀態(tài)被定義為

式中：n為車(chē)道上被選入初始狀態(tài)的車(chē)輛數(shù)目；(?)表 示 在 時(shí) 刻中，滿(mǎn) 足x()∈[+，++]的x的個(gè)數(shù)。當(dāng)有車(chē)輛到達(dá)協(xié)同區(qū)的時(shí)刻，將觸發(fā)和n的計(jì)算流程。并且，首個(gè)到達(dá)協(xié)同區(qū)的車(chē)輛被定義為觸發(fā)車(chē)輛。例如，圖4所示車(chē)道上的n=2。因此，由式（11）可知Q學(xué)習(xí)模型中狀態(tài)的變化過(guò)程為

式中：為最優(yōu)狀態(tài)；為最優(yōu)狀態(tài)下位于第車(chē)道上的車(chē)隊(duì)規(guī)模；表示學(xué)習(xí)步數(shù)；表示Q學(xué)習(xí)迭代次數(shù)。

3 車(chē)隊(duì)軌跡規(guī)劃

3.1 協(xié)同區(qū)內(nèi)軌跡規(guī)劃

根據(jù)式（19）確定最優(yōu)狀態(tài)后，被選中的車(chē)輛將在各車(chē)道內(nèi)協(xié)同組隊(duì)，其過(guò)程分兩個(gè)階段。

階段1：車(chē)道上的前輛車(chē)將組合成一個(gè)車(chē)隊(duì)。第1輛車(chē)為領(lǐng)航車(chē)，位置記為x。其他車(chē)輛根據(jù)式（2）所示的跟車(chē)策略，調(diào)整與領(lǐng)航車(chē)之間的相對(duì)位置。

階段2：不同車(chē)道的領(lǐng)航車(chē)也將調(diào)整其相對(duì)位置。為了適應(yīng)合流區(qū)內(nèi)的預(yù)存軌跡，對(duì)領(lǐng)航車(chē)的軌跡進(jìn)行規(guī)劃時(shí)必須滿(mǎn)足下列條件：

對(duì)于?∈S，?＞0，有x()=成立，且≠0。為領(lǐng)航車(chē)到達(dá)合流區(qū)的時(shí)刻。為提升交通效率，將協(xié)同過(guò)程定義為一個(gè)時(shí)間最優(yōu)的控制問(wèn)題，構(gòu)建的Bolza問(wèn)題如下：

式中為觸發(fā)車(chē)輛到達(dá)協(xié)同區(qū)的時(shí)刻。并且，為了交叉口占用時(shí)間不重疊，須施加時(shí)距約束：

式中表示組合中領(lǐng)航車(chē)到合流區(qū)的時(shí)刻。此外，當(dāng)領(lǐng)航車(chē)執(zhí)行其最優(yōu)軌跡時(shí)，同車(chē)道內(nèi)的跟隨車(chē)將根據(jù)式（2）進(jìn)行跟車(chē)運(yùn)動(dòng)。

3.2 合流區(qū)內(nèi)軌跡規(guī)劃

到達(dá)合流區(qū)的任意組合將受到全局的多車(chē)隊(duì)協(xié)同控制，這也是Q學(xué)習(xí)的建?；A(chǔ)?？紤]所有車(chē)輛的安全約束，同樣以時(shí)間窗口為最優(yōu)化目標(biāo)，構(gòu)建最優(yōu)控制問(wèn)題為

式中：-的負(fù)號(hào)表示車(chē)輛駛離；為所有車(chē)輛離開(kāi)合流區(qū)的時(shí)刻；安全約束的集合=[，，…，，…，d]；且d表示不同車(chē)隊(duì)中車(chē)輛之間的距離。具體地，每輛車(chē)都將與其他車(chē)隊(duì)的所有車(chē)輛進(jìn)行約束，即

式中n和n分別為車(chē)隊(duì)和車(chē)隊(duì)的規(guī)模。使用高斯偽譜法對(duì)式（20）和式（22）所示的最優(yōu)控制問(wèn)題進(jìn)行轉(zhuǎn)化，并選擇snopt求解器進(jìn)行計(jì)算。

4 仿真結(jié)果與分析

設(shè)計(jì)了兩種工況，對(duì)基于Q模型的組隊(duì)過(guò)程進(jìn)行描述，驗(yàn)證所提策略的有效性。在不同車(chē)流量工況下，與非組隊(duì)方法及傳統(tǒng)虛擬隊(duì)列方法進(jìn)行對(duì)比，驗(yàn)證所提方法的優(yōu)勢(shì)。

設(shè)計(jì)式（16）中獎(jiǎng)勵(lì)權(quán)重時(shí)，前后指標(biāo)間的比值分別選為1.8、1.8和1.4，由此確定的權(quán)重系數(shù)以及其他Q模型參數(shù)如表1所示。

表1 Q模型仿真參數(shù)

4.1 組隊(duì)過(guò)程分析

選擇主支路型、流量均衡型交叉口為研究場(chǎng)景，在Matlab/Vissim仿真平臺(tái)中定義各車(chē)道流量，仿真所需的道路及車(chē)輛參數(shù)如表2所示。

表2 道路及車(chē)輛參數(shù)

工況1：主支路型交叉口兩個(gè)方向上的車(chē)流量差距顯著，設(shè)計(jì)各車(chē)道上的流量為=1600輛/h，=700輛/h，=1800輛/h，=600輛/h。為了描述車(chē)輛排隊(duì)的過(guò)程，以前兩個(gè)組合的運(yùn)動(dòng)軌跡舉例說(shuō)明。

如圖5所示，前兩個(gè)組合包含14輛車(chē)，仿真前10 s內(nèi)所有車(chē)輛均在協(xié)同區(qū)外。在第10.81 s時(shí)，第1輛車(chē)到達(dá)協(xié)同區(qū)，根據(jù)車(chē)輛位置確定組合1的狀態(tài)向量為=(2，2，2，2)。隨后，組合1中的領(lǐng)航車(chē)同時(shí)在19.84 s到達(dá)合流區(qū)，記為。

圖5 工況1中的車(chē)輛軌跡

另一方面，組合1以外的車(chē)輛在第19.75 s到達(dá)協(xié)同區(qū)，并同時(shí)確定組合2的狀態(tài)向量為=(3，0，3，0)。組合2中的車(chē)輛在經(jīng)過(guò)位置調(diào)整后于第25.64 s到達(dá)合流區(qū)，記為。

為檢驗(yàn)安全性，給出同車(chē)道內(nèi)相鄰車(chē)輛間的距離，如圖6所示。車(chē)流密度的差異導(dǎo)致各車(chē)道上的初始車(chē)距相差明顯。當(dāng)組合1中的車(chē)輛于10.81 s時(shí)開(kāi)始組隊(duì)，其跟車(chē)距離逐漸減小。在組合2形成后，受式（21）的時(shí)間間隔約束，相同車(chē)道上不同組合的車(chē)輛間距開(kāi)始明顯增大，如車(chē)道1與車(chē)道3中的。并且，車(chē)隊(duì)進(jìn)入合流區(qū)后將保持車(chē)距隊(duì)形，即在運(yùn)動(dòng)的全過(guò)程中車(chē)距均大于，說(shuō)明沒(méi)有追尾事故發(fā)生。

圖6 工況1中的車(chē)間距

工況2：對(duì)于流量均衡型交叉口，各支路上的車(chē)流密度較接近，設(shè)計(jì)各車(chē)道上的流量為=1400輛/h，=1600輛/h，=1500輛/h，=1400輛/h。

此時(shí)，前兩個(gè)組合中共包含24輛車(chē)。由于車(chē)流密度相近，每個(gè)車(chē)道上均有6輛車(chē)，其軌跡如圖7所示。圖中，車(chē)道2~4上的軌跡線(xiàn)型與車(chē)道1線(xiàn)型一致，且顏色屬性與圖5相同。不同于工況1，由于車(chē)輛分布均勻且密集，所分配的狀態(tài)向量為==(3，3，3，3)。并 且，兩 個(gè) 組 合 內(nèi) 的 車(chē) 分 別 于 第11.08 s和第19.17 s開(kāi)始組隊(duì)，并于=18.60 s和=26.31 s到達(dá)合流區(qū)。

圖7 工況2中的車(chē)輛軌跡

工況2中的車(chē)距變化曲線(xiàn)如圖8所示，可以觀察到與工況1類(lèi)似的分組動(dòng)作。并且，所有車(chē)輛之間均保持著足夠安全的距離。

圖8 工況2中的車(chē)間距

根據(jù)上述兩個(gè)工況的仿真結(jié)果，可發(fā)現(xiàn)兩個(gè)現(xiàn)象：（1）相比于車(chē)輛較為稀疏的情況，大流量工況更利于隊(duì)列的形成，即當(dāng)狀態(tài)向量集包含足夠多的元素時(shí)，所提方法趨向于找到價(jià)值更高的解，驗(yàn)證了Q學(xué)習(xí)模型的有效性；（2）在兩種工況下，都能滿(mǎn)足-＞的條件，說(shuō)明前后組合之間存在式（21）中定義的空檔期。由此可認(rèn)為上述工況中的車(chē)流量均未達(dá)到所提方法的飽和流量。因此，為了驗(yàn)證組隊(duì)方法在大流量工況下的優(yōu)勢(shì)，設(shè)計(jì)如下對(duì)比試驗(yàn)。

4.2 交通性能對(duì)比

為了驗(yàn)證車(chē)輛組隊(duì)后的飽和吞吐量，在不同流量工況下進(jìn)行對(duì)比仿真。此時(shí)，選擇虛擬隊(duì)列法和非組隊(duì)的離散控制策略作為對(duì)比方法，對(duì)獎(jiǎng)勵(lì)函數(shù)中的評(píng)價(jià)指標(biāo)進(jìn)行比較。仿真時(shí)各車(chē)道平均流量為1 200~2 200輛/h，進(jìn)行5次計(jì)算后統(tǒng)計(jì)對(duì)比結(jié)果。

如圖9所示，虛擬隊(duì)列法的飽和吞吐量約為3 200輛/h，由于仿真工況均超出其極限值，故計(jì)算結(jié)果標(biāo)準(zhǔn)差較小，在圖中無(wú)法顯示。對(duì)于非組隊(duì)方法，其通行能力首先隨著到達(dá)車(chē)輛的增加而增大。當(dāng)平均流量超過(guò)1 800輛/h之后，可知其飽和吞吐量大約為6 250輛/h。因此，1 800輛/h可定義為非組隊(duì)方法的極限工況。當(dāng)車(chē)流量小于極限工況時(shí)，吞吐量的計(jì)算值會(huì)因各車(chē)道上車(chē)流密度的隨機(jī)性產(chǎn)生波動(dòng)，體現(xiàn)為較大的標(biāo)準(zhǔn)差狀態(tài)。對(duì)于組隊(duì)方法而言，即使平均流量達(dá)到2 200輛/h時(shí)其吞吐量約可為8 400輛/h，且未達(dá)到飽和狀態(tài)。

圖9 通行能力對(duì)比結(jié)果

因此，可進(jìn)一步對(duì)極限吞吐量的理論值進(jìn)行對(duì)比。在流量足夠大時(shí)，組隊(duì)方法的最優(yōu)狀態(tài)向量為=(3，3，3，3)。類(lèi)似地，非組隊(duì)方法的最優(yōu)狀態(tài)向量為=(1，1，1，1)。此外，由于虛擬隊(duì)列方法只允許一輛車(chē)進(jìn)入交叉口，則其最優(yōu)狀態(tài)向量為=(1，0，0，0)。3種狀態(tài)下的交叉口占有時(shí)間為4.96、2.25和1.10 s。由式（6）可知，其飽和吞吐量的理論值分別為8 710、6 400和3 273輛/h，與仿真結(jié)果相對(duì)應(yīng)。因此，組隊(duì)方式可提升約36.1%的通行能力。

通行能力的差異也表現(xiàn)在行車(chē)延誤方面。如圖10所示，虛擬隊(duì)列無(wú)法處理大流量工況，隨著車(chē)流密度的增大，行車(chē)延誤也急劇增大。對(duì)于非組隊(duì)方法，在平均流量低于極限工況時(shí)，行車(chē)延誤變化不大；在突破極限工況后，延誤數(shù)值急劇增大。對(duì)于所提的組隊(duì)方法而言，由于未達(dá)到飽和狀態(tài)，所以交通流的整體運(yùn)動(dòng)沒(méi)有受到很大影響。并且，相比于非組隊(duì)的方法，組隊(duì)后的車(chē)輛最多可以降低約65%的延誤時(shí)間。

圖10 行車(chē)延誤對(duì)比結(jié)果

SDTT和油耗在獎(jiǎng)勵(lì)函數(shù)中的權(quán)重遠(yuǎn)小于上述兩個(gè)參數(shù)，因此其對(duì)比結(jié)果呈現(xiàn)出不同的特征。如圖11所示，非組隊(duì)方法的SDTT值最小，約為組隊(duì)方法的1/3。就變化趨勢(shì)而言，虛擬隊(duì)列法因其行車(chē)延誤的增加，SDTT也隨著車(chē)流量的增大而增大。對(duì)于非組隊(duì)和組隊(duì)方法而言，得益于任務(wù)分解的控制策略，它們的SDTT值在高流量工況中呈下降趨勢(shì)。

圖11 SDTT對(duì)比結(jié)果

類(lèi)似的特征同樣表現(xiàn)在燃油消耗上，如圖12所示。虛擬隊(duì)列方法的油耗數(shù)值呈穩(wěn)定增長(zhǎng)狀態(tài)。另外兩種方法的油耗峰值出現(xiàn)在中等流量工況，此結(jié)論已在作者之前的工作中得到證明。

圖12 燃油消耗對(duì)比結(jié)果

對(duì)比結(jié)果表明，在權(quán)重的影響下，盡管組隊(duì)策略可以提升交叉口吞吐量，但會(huì)略微增加交通流的波動(dòng)和汽車(chē)的燃油消耗。

5 結(jié)論

本文中提出一種考慮車(chē)隊(duì)的離散控制策略。首先推導(dǎo)出多車(chē)隊(duì)協(xié)同軌跡規(guī)劃的篩選約束，并基于此約束設(shè)計(jì)了用于車(chē)隊(duì)規(guī)模選型的Q學(xué)習(xí)模型，以通行效率、行車(chē)延誤等為復(fù)合指標(biāo)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)。

其次，在安全性方面，以跟車(chē)模型為基礎(chǔ)，提出了防追尾的安全約束。通過(guò)兩種工況的仿真結(jié)果表明了車(chē)輛組隊(duì)的有效性，并驗(yàn)證了過(guò)程中的安全性。

最后，將所提方法與其他方法進(jìn)行比較，結(jié)果表明組隊(duì)策略可以提升大約36.1%的交叉口通行能力，且無(wú)更大的行車(chē)延誤。但是，由組隊(duì)引起的自組織過(guò)程將使燃油消耗略微增加。因此，在提升交通效率的基礎(chǔ)上，進(jìn)一步降低車(chē)隊(duì)油耗也值得深入研究。