王 蛟,蔡英鳳,陳 龍,劉擎超,王 海

(1.江蘇大學(xué) 汽車(chē)工程研究院,江蘇 鎮(zhèn)江 212013;2.江蘇大學(xué) 汽車(chē)與交通工程學(xué)院,江蘇 鎮(zhèn)江 212013)

0 引言

交通需求量和車(chē)輛保有量每年都在增長(zhǎng),預(yù)計(jì)到2030年為止,全球車(chē)輛總量將超過(guò)20億輛[1]。由此,交通擁堵問(wèn)題顯得更加尖銳,而高速公路匝道入口的匯流區(qū)是產(chǎn)生交通擁堵的瓶頸地區(qū)之一[2-3],匯流區(qū)車(chē)輛數(shù)量較多時(shí)容易造成交通擁堵,甚至引發(fā)交通事故;同時(shí),匯流區(qū)的通行效率很大程度上也影響著整個(gè)高速路段車(chē)流的通行質(zhì)量[4-5],因此,車(chē)輛通行效率提高也能一定程度從整體上提高燃油經(jīng)濟(jì)性,減少污染氣體的排放。

針對(duì)高速公路匝道匯流問(wèn)題,國(guó)內(nèi)外已有不少科研人員進(jìn)行了研究,研究方法可大致分為基于模型的方法、基于規(guī)則的方法和基于機(jī)器學(xué)習(xí)的方法3類(lèi)。

其中,基于模型的方法研究較為成熟,研究成果較多。如付銳等[6]為了將汽車(chē)換道輔助系統(tǒng)的預(yù)警時(shí)刻提前,改進(jìn)輔助系統(tǒng)的工作效能,建立了一種基于多證據(jù)融合識(shí)別的換道意圖識(shí)別模型,對(duì)駕駛?cè)藫Q道意圖的準(zhǔn)確識(shí)別有助于智能駕駛車(chē)輛更好地進(jìn)行決策。陳斌[7]引入智能主體理論,將Agent與車(chē)道變換行為聯(lián)系起來(lái),建立了基于多智能主體系統(tǒng)的車(chē)道變換模型。劉偉銘等[8]利用DV和數(shù)據(jù)采集儀對(duì)廣東多條高速匝道匯流區(qū)車(chē)輛變道行為進(jìn)行了調(diào)查,分析出車(chē)道變換特性,應(yīng)用微分法建立了車(chē)輛的變道模型。王崇倫等[9]針對(duì)不同類(lèi)型司機(jī)對(duì)安全距離敏感程度不同,提出了一種基于不同速度以及不同司機(jī)類(lèi)型的最小安全距離模型——?jiǎng)討B(tài)橢圓最小安全距離模型。該模型較之傳統(tǒng)最小安全距離模型在相應(yīng)情形下的約束空間具有更高的安全性和靈活性。李瑋等[10]采用矩形對(duì)車(chē)輛進(jìn)行包裹,提出一種基于多項(xiàng)式理論的車(chē)輛換道軌跡規(guī)劃算法?；谀Ｐ偷姆椒m然計(jì)算方便、可移植性好、可操作性強(qiáng),但是在建立模型時(shí)都進(jìn)行了一定程度的簡(jiǎn)化和前提假設(shè),這使得基于模型的方法有時(shí)不能適應(yīng)復(fù)雜多變的真實(shí)場(chǎng)景。

基于規(guī)則的決策方法,如張榮輝等[11]基于多車(chē)協(xié)同駕駛控制結(jié)構(gòu),提出了一種換道匯入的模型和策略,給出避免碰撞的條件準(zhǔn)則,從而確保無(wú)人駕駛車(chē)輛匯入過(guò)程中多車(chē)行駛的安全性和穩(wěn)定性。Chen等[12]提出了一種通過(guò)控制匝道車(chē)輛流入主干道的數(shù)量的方法,根據(jù)匯流區(qū)主干道車(chē)流的大小,在匯入車(chē)道和匝道之間分配路權(quán)。當(dāng)主干道車(chē)流量較大時(shí),匝道車(chē)輛會(huì)因?yàn)橐恢钡貌坏铰窓?quán)而導(dǎo)致排隊(duì)等待。Long等[13]提出了可變限速策略,在匯流區(qū)之前的主干道上限制車(chē)輛通過(guò)匯流區(qū)的車(chē)速來(lái)改善交通擁堵問(wèn)題。基于規(guī)則的方法便于理解、可操作性強(qiáng),但是在遇到復(fù)雜環(huán)境或者突發(fā)情況時(shí),此方法的優(yōu)勢(shì)將不明顯。

近年來(lái),隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,越來(lái)越多的研究者在此領(lǐng)域進(jìn)行創(chuàng)新。蘇銻[14]采用分類(lèi)回歸樹(shù)的方法來(lái)解決多車(chē)協(xié)同匯流的問(wèn)題,并且采用模型預(yù)測(cè)控制法規(guī)劃匯流路徑。還有一些學(xué)者提出了基于貝葉斯網(wǎng)絡(luò)、基于博弈論和基于模糊推理的機(jī)器學(xué)習(xí)匯流模型[15-17]?；谪惾~斯網(wǎng)絡(luò)的模型,當(dāng)屬性個(gè)數(shù)較多或者屬性之間相關(guān)性較大時(shí),分類(lèi)效果不好,而且需要知道先驗(yàn)概率,否則會(huì)影響分類(lèi)結(jié)果。而基于模糊推理的模型對(duì)內(nèi)存需求較大,處理速度較慢的特點(diǎn)。

強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)領(lǐng)域,但卻得到較多的關(guān)注。因?yàn)?強(qiáng)化學(xué)習(xí)的方法能夠讓智能駕駛車(chē)輛通過(guò)自適應(yīng)學(xué)習(xí),自我學(xué)習(xí)到最優(yōu)策略,對(duì)于復(fù)雜多變的環(huán)境有更好的適應(yīng)能力。Wang等[18]提出了一種深度強(qiáng)化學(xué)習(xí)框架,使用長(zhǎng)短期記憶(long short term memory,LSTM)神經(jīng)網(wǎng)絡(luò)可以在做決策時(shí)考慮到歷史信息的影響。將包含歷史信息的狀態(tài)量輸入進(jìn)DQN網(wǎng)絡(luò)進(jìn)行決策,使得決策結(jié)果更具有時(shí)間上的連續(xù)性。徐洋[19]采用超限學(xué)習(xí)機(jī)(extreme learning machine,ELM)在線(xiàn)學(xué)習(xí)駕駛員的駕駛數(shù)據(jù),進(jìn)行了換道決策模型的個(gè)性化,同時(shí)解決了有新樣本加入時(shí)需要重新訓(xùn)練的問(wèn)題,降低了模型的運(yùn)行時(shí)間。Bouton等[20]基于強(qiáng)化學(xué)習(xí)方法提出了一種考慮周?chē){駛員協(xié)作等級(jí)的匯流方法,在交通流密度較大的情況下也能夠成功地匯入。Yoshda等[21]基于最大化智能駕駛車(chē)輛的平均行駛速度原則,有效地減少了整個(gè)路段的車(chē)輛密度,提高了通行效率。

目前許多交通場(chǎng)景都假設(shè)車(chē)輛全部為智能駕駛車(chē)輛,并且假設(shè)所有車(chē)輛類(lèi)型相同,這些假設(shè)過(guò)于理想化,只能應(yīng)用在理論階段。Zhang等[22]提出了一種高速公路匝道出入口智能駕駛車(chē)輛之間的協(xié)同控制策略,將所有車(chē)輛視為智能駕駛車(chē)輛。Jing等[23]提出了一種高速匝道入口處基于合作博弈的最優(yōu)匯入序列,其交通參與者全部視為智能駕駛車(chē)輛。在現(xiàn)有的研究當(dāng)中,還存在著不足：試驗(yàn)中的交通場(chǎng)景往往與實(shí)際場(chǎng)景差異較大,導(dǎo)致智能駕駛車(chē)輛在面對(duì)混行匯流任務(wù)時(shí)可能會(huì)影響決策效果;沒(méi)有考慮到不同駕駛風(fēng)格的情況。

為了提高混行交通條件下高速公路匝道匯流區(qū)車(chē)輛的通行效率,并降低車(chē)輛污染物質(zhì)的排放量,于是提出了一種基于DQN的主道智能駕駛車(chē)輛預(yù)見(jiàn)性換道的匯流策略。并將模型與IDM模型結(jié)果在仿真實(shí)驗(yàn)中進(jìn)行對(duì)比。結(jié)果顯示,模型有效地提高了匯流區(qū)車(chē)輛的通行效率和經(jīng)濟(jì)性,污染物質(zhì)排放量明顯下降。工作的意義如下：

1) 提出了基于DQN的智能駕駛車(chē)輛預(yù)見(jiàn)性換道匯入模型,創(chuàng)新了基于平均道路時(shí)空利用率的優(yōu)化目標(biāo)函數(shù),實(shí)現(xiàn)了整體車(chē)輛通行效率的提高。

2) 降低了平均每車(chē)的燃油消耗,提高了經(jīng)濟(jì)性,減少了污染物質(zhì)的排放量,有利于實(shí)現(xiàn)節(jié)能減排的目標(biāo)。

1 方法

1.1 平均道路時(shí)空利用率評(píng)價(jià)指標(biāo)

研究場(chǎng)景如圖1所示,主道由內(nèi)側(cè)車(chē)道、外側(cè)車(chē)道和加速車(chē)道組成,匝道車(chē)輛進(jìn)入?yún)R流區(qū)后,可以在加速車(chē)道中調(diào)整自身車(chē)速和位置。所有車(chē)輛均視為小型乘用車(chē)。

圖1 車(chē)輛數(shù)量和密度分布

為了提高匯流區(qū)整體的通行效率,對(duì)道路時(shí)空上的利用率進(jìn)行研究分析。就空間上而言,通常自由車(chē)流中,車(chē)輛行駛時(shí)的位置分布并不是均勻的。如圖1(a)所示,有些駕駛員為了避免與匯入車(chē)輛進(jìn)行交互,會(huì)優(yōu)先選擇離匝道口較遠(yuǎn)的車(chē)道通行,因此,內(nèi)側(cè)車(chē)道上車(chē)輛數(shù)量往往比外側(cè)車(chē)道上車(chē)輛數(shù)量要多,這將導(dǎo)致車(chē)輛在空間上的分布不合理。內(nèi)側(cè)車(chē)道車(chē)道密度見(jiàn)式(1)。

(1)

式中：Ll為內(nèi)側(cè)車(chē)道上第一輛車(chē)車(chē)頭到最后一輛車(chē)車(chē)尾的距離;V1l,V2l,…,Vnl為內(nèi)側(cè)車(chē)道上的車(chē)輛標(biāo)號(hào);nl為車(chē)輛數(shù)量。外側(cè)車(chē)道車(chē)道密度見(jiàn)式(2)。

(2)

式中：Lr為外側(cè)車(chē)道上第一輛車(chē)車(chē)頭到最后一輛車(chē)車(chē)尾的距離;V1r,V2r,…,Vmr為外側(cè)車(chē)道上的車(chē)輛標(biāo)號(hào);mr為車(chē)輛數(shù)量。由此,2個(gè)車(chē)道上,車(chē)輛分布的不合理導(dǎo)致了道路在空間上的利用率較低。相反,如圖1(b)中所示,內(nèi)側(cè)車(chē)道車(chē)道密度見(jiàn)式(3)。

(3)

式中：V1l,V2l,…,Vql為內(nèi)側(cè)車(chē)道上的車(chē)輛標(biāo)號(hào);ql為車(chē)輛數(shù)量。外側(cè)車(chē)道車(chē)道密度見(jiàn)式(4)。

(4)

式中：V1r,V2r,…,Vqr為外側(cè)車(chē)道上的車(chē)輛標(biāo)號(hào),qr為車(chē)輛數(shù)量。此時(shí),2個(gè)車(chē)道的車(chē)輛分布較為均勻,道路在空間上的利用率較高。

但是,這只是在某一時(shí)刻是均勻的,還需要考慮道路時(shí)間上的利用率。2個(gè)車(chē)道上,車(chē)輛行駛的速度是有差異的。具體表現(xiàn)為,內(nèi)側(cè)車(chē)道車(chē)速較快,外側(cè)車(chē)道車(chē)速較慢。因此,在相同的時(shí)間內(nèi),能夠通過(guò)的車(chē)輛數(shù)量是不同的。能通過(guò)的車(chē)輛數(shù)量與車(chē)輛平均速度成正比。

以此為訓(xùn)練目標(biāo)的智能駕駛車(chē)輛會(huì)選擇車(chē)輛數(shù)量和密度較少的車(chē)道行駛。但當(dāng)智能駕駛車(chē)輛滲透率較低時(shí),其數(shù)量并不能徹底彌補(bǔ)車(chē)道之間的差異時(shí),仍會(huì)出現(xiàn)不平均的情況。綜上,盡量保持2個(gè)車(chē)道的車(chē)輛在時(shí)空上是平均的,最大化地利用道路承載量,從而提高道路整體的通行效率。

1.2 深度Q學(xué)習(xí)

2013年,DeepMind團(tuán)隊(duì)在NIPS上發(fā)表了關(guān)于深度Q學(xué)習(xí)的論文,論文中利用深度學(xué)習(xí)網(wǎng)絡(luò)直接從高緯度提取有效特征,然后結(jié)合Q學(xué)習(xí)中的最優(yōu)策略,這種結(jié)合深度學(xué)習(xí)的Q學(xué)習(xí)方法稱(chēng)為深度Q學(xué)習(xí)。深度Q學(xué)習(xí)的應(yīng)用場(chǎng)景有非常多,比如圖片分類(lèi)、檢測(cè)和自動(dòng)駕駛等等。2015年,DeepMind團(tuán)隊(duì)又加入了經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)兩大利器,改善了訓(xùn)練不穩(wěn)定的問(wèn)題。

DQN在經(jīng)驗(yàn)回放機(jī)制中,建立了記憶庫(kù)。在記憶庫(kù)中,包含了許多之前的學(xué)習(xí)經(jīng)歷,即樣本,并在學(xué)習(xí)的過(guò)程中隨機(jī)地加入這些樣本,能夠讓神經(jīng)網(wǎng)絡(luò)訓(xùn)練更加高效。從環(huán)境交互中獲得的樣本記為(st,at,rt,st+1)。其中,st是t時(shí)刻的狀態(tài),at是t時(shí)刻選擇的動(dòng)作,rt是從環(huán)境中獲得的獎(jiǎng)勵(lì),st+1是t+1時(shí)刻的狀態(tài)。此外,DQN使用了2個(gè)結(jié)構(gòu)完全相同但參數(shù)不同的神經(jīng)網(wǎng)絡(luò),即目標(biāo)Q網(wǎng)絡(luò)和估計(jì)Q網(wǎng)絡(luò),參數(shù)分別為θt和θp。智能體使用估計(jì)Q網(wǎng)絡(luò)實(shí)時(shí)估計(jì)Q值,即Qt(s,a;θt),與環(huán)境進(jìn)行交互。目標(biāo)Q網(wǎng)絡(luò)則使用很久之前的參數(shù)來(lái)估計(jì)Q值,即Qp(s,a;θp),然后在固定的步數(shù)之后將估計(jì)Q網(wǎng)絡(luò)的參數(shù)賦值給目標(biāo)Q網(wǎng)絡(luò)來(lái)進(jìn)行更新。一定程度上降低了當(dāng)前Q值和目標(biāo)Q值的相關(guān)性,提高了算法穩(wěn)定性。

DQN和Q學(xué)習(xí)的更新方式一樣。初始化記憶庫(kù)、2個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)和需要交互的環(huán)境?；睾祥_(kāi)始后,根據(jù)狀態(tài)值st,選擇動(dòng)作值at,然后執(zhí)行動(dòng)作,觀察從環(huán)境得到的下一個(gè)狀態(tài)值st+1和獎(jiǎng)勵(lì)rt,并將(st,at,rt,st+1)存放在記憶庫(kù)中。當(dāng)循環(huán)到一定次數(shù)后,開(kāi)始學(xué)習(xí)過(guò)程,從記憶庫(kù)中隨機(jī)地選擇一部分樣本。估計(jì)Q網(wǎng)絡(luò)的計(jì)算方法見(jiàn)式(5)。

Qp=rt+γmaxaQp(st+1,a;θp)

(5)

式中,γ為折扣系數(shù)。

網(wǎng)絡(luò)更新公式見(jiàn)式(6)。

Qp(st,at)←Qp(st,at)+

α[rt+γmaxaQp(st+1,a;θp)-Qt(st,at;θt)]

(6)

式中,α為學(xué)習(xí)率。每隔一定的步數(shù)后,將估計(jì)Q網(wǎng)絡(luò)的參數(shù)θp復(fù)制給目標(biāo)Q網(wǎng)絡(luò)的θt來(lái)更新網(wǎng)絡(luò)參數(shù)。

1.3 基于平均道路時(shí)空利用率的算法改進(jìn)

根據(jù)上文分析,對(duì)深度Q學(xué)習(xí)算法進(jìn)行改進(jìn)。以主道2個(gè)車(chē)道上的車(chē)輛數(shù)量和車(chē)輛密度作為神經(jīng)網(wǎng)絡(luò)的狀態(tài)輸入,以智能車(chē)輛是否采用預(yù)見(jiàn)性換道策略作為神經(jīng)網(wǎng)絡(luò)的輸出,將平均道路時(shí)空利用率指標(biāo)作為算法的優(yōu)化目標(biāo)函數(shù)。假設(shè)只考慮距離匯區(qū)200 m以?xún)?nèi)的車(chē)輛數(shù)量和密度,即將到達(dá)匯流區(qū)內(nèi)側(cè)車(chē)道車(chē)輛數(shù)量為kl,由于匝道車(chē)輛會(huì)匯入外側(cè)車(chē)道,所以即將到達(dá)外側(cè)車(chē)道的車(chē)輛數(shù)量k為原本外側(cè)車(chē)道數(shù)量加上匝道匯入的車(chē)輛數(shù)量見(jiàn)式(7)。

k=kr+km

(7)

式中：kr為主道外側(cè)車(chē)道的車(chē)輛數(shù)量;km為匝道匯入的車(chē)輛數(shù)量。因此,即將到達(dá)匯流區(qū)內(nèi)側(cè)車(chē)道的車(chē)輛密度見(jiàn)式(8)。

(8)

即將到達(dá)匯流區(qū)外側(cè)車(chē)道的車(chē)輛密度見(jiàn)式(9)。

dr=k/200

(9)

DQN網(wǎng)絡(luò)t時(shí)刻輸入狀態(tài)空間st為(kl,k,dl,dr),t時(shí)刻輸出動(dòng)作空間at為(0,1),其中0表示主道進(jìn)入的智能汽車(chē)不需要進(jìn)行換道,1表示主道進(jìn)入的智能汽車(chē)需要進(jìn)行換道。優(yōu)化目標(biāo)函數(shù)R見(jiàn)式(10)。

R=-10[(kl-λk)2+(dl-λdr)2]

(10)

式中：λ為2個(gè)車(chē)道車(chē)輛平均速度的比值。即將到達(dá)匯流區(qū)內(nèi)、外側(cè)車(chē)道車(chē)輛數(shù)量和密度相差越大,則獎(jiǎng)勵(lì)越低;反之亦反。其他的參數(shù)設(shè)置見(jiàn)表1所示。

表1 深度Q學(xué)習(xí)模型參數(shù)設(shè)置

DQN模型的訓(xùn)練結(jié)果如圖2所示。從圖2可以看出,記憶庫(kù)設(shè)置為3 000步,當(dāng)訓(xùn)練到10 000步之后,Q值逐漸趨于收斂,模型訓(xùn)練完成。

圖2 深度Q學(xué)習(xí)模型訓(xùn)練結(jié)果

2 混行交通場(chǎng)景建立

混行交通場(chǎng)景是指智能駕駛車(chē)輛和人類(lèi)駕駛車(chē)輛在高速公路中混合行駛的場(chǎng)景。本文采用Mirror-Traffic數(shù)據(jù)集,數(shù)據(jù)集中包含某市高速公路匝道匯流區(qū)車(chē)輛的行駛數(shù)據(jù)。視頻采集時(shí)間為2020年3月31號(hào)8點(diǎn)30分,時(shí)長(zhǎng)30 min,交通量為1 520 veh/h,車(chē)輛樣本量為760輛,合流數(shù)量62次。數(shù)據(jù)集中的場(chǎng)景如圖3所示,車(chē)道分為主道和匝道,其中主道分為內(nèi)側(cè)車(chē)道Lane1和外側(cè)車(chē)道Lane2;匝道分為加速車(chē)道Lane3和應(yīng)急車(chē)道Lane4,車(chē)輛行駛方向從右向左。本文假設(shè)所有車(chē)輛均為乘用車(chē),且智能駕駛車(chē)輛只會(huì)從主道的2個(gè)車(chē)道中駛?cè)?將從主道駛?cè)氲闹悄荞{駛車(chē)輛數(shù)量與從主道駛?cè)氲目傑?chē)輛數(shù)量之比設(shè)為智能駕駛車(chē)輛的滲透率。

圖3 某高速公路匝道入口匯流區(qū)

根據(jù)Mirror-Traffic數(shù)據(jù)集中提供的車(chē)輛行駛數(shù)據(jù)來(lái)設(shè)定人類(lèi)駕駛車(chē)輛的運(yùn)動(dòng)控制參數(shù)。采用K-means聚類(lèi)算法,從車(chē)頭時(shí)距,最高車(chē)速和加速度3個(gè)維度將人類(lèi)駕駛車(chē)輛分成3類(lèi)。分類(lèi)結(jié)果如圖4所示,3種類(lèi)型駕駛員聚類(lèi)數(shù)據(jù)見(jiàn)表2所示。

圖4 考慮車(chē)頭時(shí)距,最高車(chē)速和加速度的聚類(lèi)結(jié)果

表2 駕駛員類(lèi)型聚類(lèi)數(shù)據(jù)

圖4中,藍(lán)色點(diǎn)所代表車(chē)輛的最高車(chē)速最大,為88.09 km/h,由于該路段限速80 km/h,該類(lèi)型車(chē)輛普遍已經(jīng)超速。同時(shí),其加速度也最大,為1.12 m/s2。由于車(chē)速較高,車(chē)頭時(shí)距相對(duì)較小,駕駛風(fēng)格較為激進(jìn),可視為激進(jìn)型車(chē)輛。圖中紅色點(diǎn)所代表車(chē)輛,其最高車(chē)速和加速度與綠色點(diǎn)所代表車(chē)輛相近,但是車(chē)頭時(shí)距為6.97 s,大約是綠色點(diǎn)所代表車(chē)輛的3倍,駕駛風(fēng)格較為溫和,可視為保守型車(chē)輛。最后,綠色點(diǎn)所代表車(chē)輛,其最高車(chē)速、加速度和車(chē)頭時(shí)距相對(duì)適中,介于激進(jìn)型車(chē)輛和保守型車(chē)輛之間,駕駛風(fēng)格適中,可視為常規(guī)型車(chē)輛。

3 仿真實(shí)驗(yàn)

根據(jù)K-means聚類(lèi)的結(jié)果設(shè)定仿真實(shí)驗(yàn)中人類(lèi)駕駛車(chē)輛的運(yùn)動(dòng)控制參數(shù)。假設(shè)人類(lèi)駕駛車(chē)輛從主道和匝道進(jìn)入。具體仿真參數(shù)設(shè)置見(jiàn)表3所示。

表3 人類(lèi)駕駛車(chē)輛運(yùn)動(dòng)參數(shù)設(shè)定

通常,激進(jìn)型、常規(guī)型和保守型駕駛員的最大加速度設(shè)為2.5、2.0和1.5 m/s2,最大減速度設(shè)為4.5 m/s2。根據(jù)聚類(lèi)結(jié)果,將最高車(chē)速分別設(shè)為88.09、72.29和77.18 m/s,最高車(chē)速分布服從高斯分布,方差為0.1;將車(chē)頭時(shí)距分別設(shè)為3.55、2.17和6.97 s。由此可以建立3種類(lèi)型人類(lèi)駕駛車(chē)輛的混行車(chē)流。

假設(shè)智能駕駛汽車(chē)只從主道進(jìn)入,將常規(guī)型駕駛類(lèi)型的運(yùn)動(dòng)控制參數(shù)設(shè)為其參數(shù)。最大加速度設(shè)為2 m/s2,最大減速度設(shè)為4.5 m/s2,最高車(chē)速設(shè)為72.29 m/s,車(chē)頭時(shí)距設(shè)為2.17 s,車(chē)身長(zhǎng)度設(shè)為5 m。在仿真軟件SUMO中建立匯流場(chǎng)景,示意圖如圖5所示。主道匯流區(qū)上游長(zhǎng)度L1=300 m,匯流區(qū)長(zhǎng)度L2=200 m,匯流區(qū)下游長(zhǎng)度L3=200 m。主道設(shè)為內(nèi)側(cè)車(chē)道和外側(cè)車(chē)道2個(gè)車(chē)道。匝道設(shè)為單車(chē)道,加速車(chē)道長(zhǎng)度L4=200 m。

圖5 匯流區(qū)場(chǎng)景

使用訓(xùn)練的DQN換道模型來(lái)控制從主道進(jìn)入的智能駕駛車(chē)輛,而其他人類(lèi)駕駛車(chē)輛則采用IDM模型行駛。IDM模型參數(shù)如下：最小間隙2.5 m,車(chē)輛加速度范圍[-4.5 m/s2,2.5 m/s2],緊急制動(dòng)減速度9 m/s2,安全時(shí)距1 s,加速度指數(shù)為4。在仿真過(guò)程中,將匯流區(qū)車(chē)流量分為小流量、中流量和大流量3個(gè)級(jí)別。其中,小流量時(shí),主道車(chē)輛的車(chē)流為2 400 veh/h,匝道車(chē)輛的車(chē)流為600 veh/h;中流量時(shí),主道車(chē)輛的車(chē)流為3 000 veh/h,匝道車(chē)輛的車(chē)流為1 200 veh/h;大流量時(shí),主道車(chē)輛的車(chē)流為3 600 veh/h,匝道車(chē)輛的車(chē)流為2 400 veh/h。仿真結(jié)束,得到車(chē)輛總通行時(shí)間和車(chē)輛平均時(shí)間損失隨智能駕駛車(chē)輛滲透率變化的規(guī)律。通行時(shí)間和時(shí)間損失仿真結(jié)果見(jiàn)圖6所示。

圖6 3種流量下總通行時(shí)間和時(shí)間損失隨滲透率的變化

圖6(a)中橫坐標(biāo)表示主道智能駕駛汽車(chē)的滲透率,縱坐標(biāo)表示總通行時(shí)間。當(dāng)智能駕駛汽車(chē)滲透率為0時(shí),所有車(chē)輛均為人類(lèi)駕駛車(chē)輛,采用IDM模型。

在小流量情況下,基于IDM模型的車(chē)輛的總通行時(shí)間為168 s,當(dāng)主道參與的智能駕駛車(chē)輛滲透率為40%時(shí),總通行時(shí)間下降為138 s,通行效率提升了17.86%。當(dāng)車(chē)流流量逐漸增大到中流量時(shí),基于IDM模型的車(chē)輛的總通行時(shí)間為202 s,當(dāng)主道參與的智能駕駛車(chē)輛滲透率為40%時(shí),總通行時(shí)間下降為155 s,通行效率提升了23.27%。相反,在大流量情況下,基于IDM模型的車(chē)輛的總通行時(shí)間為245 s,當(dāng)主道參與的智能駕駛車(chē)輛滲透率為40%時(shí),總通行時(shí)間下降為176 s,通行效率提升了28.16%。

總之,與IDM模型相比,在3種不同流量情況下,基于DQN換道模型的智能駕駛車(chē)輛滲透率增加后,道路的通行效率都得到了提升。并且,隨著交通流量的增加,智能駕駛車(chē)輛對(duì)通行效率的影響也在增加。車(chē)流流量越大,智能駕駛車(chē)輛對(duì)通行效率的增益效果就越明顯。

圖6(b)中,橫坐標(biāo)表示智能駕駛汽車(chē)的滲透率,縱坐標(biāo)表示車(chē)輛的平均時(shí)間損失。隨著主道和匝道車(chē)輛流量增加時(shí),車(chē)輛的平均損失時(shí)間逐漸增加。當(dāng)車(chē)流較小時(shí),車(chē)輛分布較為稀疏,匝道車(chē)輛有足夠的空間匯入,所以車(chē)輛需要調(diào)整車(chē)速的情況不多;當(dāng)車(chē)流量為中流量時(shí),主道和匝道中車(chē)輛的數(shù)量增加,車(chē)輛交互次數(shù)變多,可供匯流的空間變小,車(chē)輛停停走走的現(xiàn)象增多,車(chē)輛的平均時(shí)間損失增加;當(dāng)車(chē)流量為大流量時(shí),交通流量接近道路的最大承載量,車(chē)輛分布較為密集,可供匝道車(chē)輛匯入的空間很少,因此,匝道車(chē)輛出現(xiàn)了大量停停走走甚至停車(chē)等待的現(xiàn)象,車(chē)輛平均時(shí)間損失最大。

圖7為3種不同車(chē)流情況下,平均每車(chē)燃油消耗量隨著智能駕駛車(chē)輛滲透率的增加呈現(xiàn)下降的趨勢(shì)。例如,在小流量情況下,平均每車(chē)燃油消耗量下降了6.78 mL,減少約10.5%。相應(yīng)地,在其他2種交通流量下,平均每車(chē)燃油消耗量分別降低了11.19 mL和8.74 mL,減少約15.8%和11.8%。因此,相比于IDM模型,基于DQN的主道換道匯流模型有助于車(chē)輛燃油能源的消耗量減少,提高車(chē)輛的燃油經(jīng)濟(jì)性。

圖7 3種流量下平均每車(chē)燃油消耗量隨滲透率的變化

同時(shí),平均每車(chē)廢氣排放量也有一定的減少,平均每車(chē)各類(lèi)廢氣排放量見(jiàn)圖8所示。圖8(a)和(b)統(tǒng)計(jì)了小、中和大流量情況下,平均每車(chē)CO和CO2的排放量。由圖可知,平均每車(chē)CO和CO2的排放量都明顯呈下降趨勢(shì),CO減少幅度約為10%,CO2減少幅度約為20%。

圖8(c)、(d)和(e)統(tǒng)計(jì)了不同流量情況下,平均每車(chē)碳?xì)浠衔铩⒌趸衔锖皖w粒物的排放量變化。在圖8(c)中,平均每車(chē)的碳?xì)浠衔锱欧帕繌?2.31 mg減少到11.16 mg,氮氧化物排放量從59.68 mg下降到53.52 mg,顆粒物排放量從2.77 mg降低到2.46 mg,都大約降低了10%。圖8(d)和圖8(e)中各物質(zhì)排放量的下降趨勢(shì)與圖8(c)相似。

4 結(jié)論

本文分析了道路時(shí)空利用率,提出了一種基于DQN的智能駕駛車(chē)輛換道匯流策略。根據(jù)真實(shí)的交通數(shù)據(jù)集,使用K-means聚類(lèi)算法對(duì)駕駛風(fēng)格進(jìn)行了分類(lèi),通過(guò)SUMO仿真軟件建立了混行交通場(chǎng)景,仿真試驗(yàn)驗(yàn)證了模型的有效性。仿真得出了以下結(jié)論。

1) 相比IDM模型,在3種不同交通流量情況下,基于DQN換道模型的智能駕駛車(chē)輛滲透率增加后,道路的通行效率都得到了提升。當(dāng)交通流量越大,智能駕駛車(chē)輛對(duì)通行效率的增益效果越明顯。

2) 隨著智能駕駛車(chē)輛滲透率增加后,平均每車(chē)燃油消耗量呈現(xiàn)下降趨勢(shì),平均每車(chē)污染氣體和顆粒物的排放量明顯減少。

在全智能汽車(chē)時(shí)代之前的過(guò)渡階段,智能汽車(chē)必須能夠應(yīng)對(duì)混行交通場(chǎng)景。本文提出的匯流策略,為高速公路匝道匯流區(qū)混行場(chǎng)景的匯流問(wèn)題提供了解決方案。本文還存在以下不足,希望在以后的研究中進(jìn)行改進(jìn)：

1) 本文對(duì)復(fù)雜交通場(chǎng)景進(jìn)行了簡(jiǎn)化,僅研究了高速公路匯流區(qū)主道為2個(gè)車(chē)道情況,未來(lái)工作將對(duì)更多車(chē)道場(chǎng)景下,車(chē)道之間的波及影響和優(yōu)化決策控制問(wèn)題開(kāi)展研究。

2) 本文中的車(chē)輛雖然考慮了3種駕駛風(fēng)格,但是沒(méi)有考慮車(chē)輛類(lèi)型的影響,在真實(shí)的環(huán)境當(dāng)中,外側(cè)車(chē)道上的車(chē)輛速度較慢,車(chē)輛類(lèi)型通常為大客車(chē)或者大貨車(chē),這類(lèi)車(chē)輛的運(yùn)動(dòng)控制參數(shù)和車(chē)身參數(shù)與普通乘用車(chē)之間都有著巨大的差別。未來(lái)的研究可以考慮外側(cè)車(chē)道輸入一定數(shù)量的大型車(chē)輛,使交通場(chǎng)景更接近現(xiàn)實(shí)世界。