吳忠強, 馬博巖

(燕山大學(xué) 工業(yè)計算機控制工程河北省重點實驗室，河北 秦皇島 066004)

1 引 言

隨著燃油汽車的不斷增加以及石油資源的大量消耗,環(huán)境污染、能源短缺等問題日趨嚴(yán)重,交通領(lǐng)域電氣化轉(zhuǎn)型已成為解決這些問題的有效方法之一[1]?；旌蟿恿ζ?hybrid electric vehicle,HEV)憑借其優(yōu)越的環(huán)保性能以及燃油經(jīng)濟性,成為交通電氣化的重要組成部分[2]。HEV中通常有2個或多個動力源,通過合適的能量分配策略,使多個動力源之間能夠協(xié)同高效工作,從而提升整車運行效率,減少燃油消耗以及尾氣污染物排放[3]。目前,常見的能量分配策略主要包括基于規(guī)則、基于優(yōu)化以及基于學(xué)習(xí)的能量分配策略3類。

基于規(guī)則的能量分配策略主要包括基于確定性規(guī)則以及基于模糊規(guī)則。這些方法簡單、易于實現(xiàn)且實時性高,已廣泛應(yīng)用到車輛實際中。然而此類方法在很大程度上依賴于工程師的經(jīng)驗和專業(yè)知識,缺乏良好的工況適應(yīng)性[4]。

基于優(yōu)化的能量分配策略可分為全局優(yōu)化方法和實時優(yōu)化方法。全局優(yōu)化方法以動態(tài)規(guī)劃(dynamic programming,DP)為代表,在滿足一定約束條件下,通過遍歷已知工況全部可行解,獲得優(yōu)化目標(biāo)下的最優(yōu)控制量[5,6]。然而DP需要事先知道路況信息,且需要消耗大量計算資源,無法應(yīng)用于實時系統(tǒng)。為此,提出了實時優(yōu)化方法,如等效燃油消耗最小策略(equivalent consumption minimization strategy,ECMS)[7]、模型預(yù)測控制(model predictive control,MPC)[8,9]等,這些方法主要思想是將全局優(yōu)化問題轉(zhuǎn)化為瞬時優(yōu)化問題,以提高在線執(zhí)行的可行性。實時優(yōu)化方法在一定程度上提高了能量分配策略的實時性,然而基于實時優(yōu)化的方法最終并不一定能保證獲得全局最優(yōu)解。

近年來隨著人工智能技術(shù)的不斷發(fā)展,基于學(xué)習(xí)的方法逐漸成為能量分配策略中極具前途的研究方向,以機器學(xué)習(xí)(machine learning,ML)為代表的人工智能算法在能量分配中的應(yīng)用得到廣泛關(guān)注[10]。文獻[11,12]利用機器學(xué)習(xí)方法對未來時間內(nèi)行車速度進行了預(yù)測,提升了擾動量的預(yù)測精度,有效地解決了基于MPC的能量分配中車速預(yù)測準(zhǔn)確性差的問題;石琴等[13]對多種典型行駛工況信息進行采集和分析,利用粒子群優(yōu)化的支持向量機(PSO-SVM)算法對車輛行駛工況進行識別,并與ECMS相結(jié)合提出了一種基于PSO-SVM算法工況識別的能量分配策略,相比于基于傳統(tǒng)ECMS的能量分配策略,整車燃油經(jīng)濟性得到了提升。以神經(jīng)網(wǎng)絡(luò)、支持向量機(support vector machine,SVM)等作為主要工具的機器學(xué)習(xí)算法在很大程度上會受到訓(xùn)練數(shù)據(jù)集質(zhì)量的影響。作為機器學(xué)習(xí)一個重要的分支,具有自學(xué)習(xí)能力的強化學(xué)習(xí)(reinforcement learning,RL)被認(rèn)為是解決HEV能量分配策略的有效方法。Chen等[14]針對插電式混合動力汽車(plug-in hybrid electric vehicle,PHEV),使用Q學(xué)習(xí)(Q-learning)策略來決定發(fā)動機和電池組間的能量合理分配,降低油耗的同時限制了電池的最大放電功率;Sun等[15]針對燃料電池混合動力汽車(fuel cell hybrid electric vehicles,FCHEV),提出了一種基于Q學(xué)習(xí)的分層能量分配策略,有效地提高了計算效率以及燃油經(jīng)濟性,同時減少了燃料電池的波動性。然而RL在高維狀態(tài)空間中計算負(fù)擔(dān)會急劇增加從而造成“維度災(zāi)難”,減低了優(yōu)化效率,限制了其應(yīng)用。為了解決這些局限性,將深度學(xué)習(xí)與強化學(xué)習(xí)相結(jié)合的深度強化學(xué)習(xí)(deep reinforcement learning,DRL)得到了廣泛的研究與應(yīng)用。Du等[16]針對串聯(lián)式HEV,開發(fā)了1種基于深度Q網(wǎng)絡(luò)(deep Q-network,DQN)的能量分配策略,采用1種新的方法對神經(jīng)網(wǎng)絡(luò)進行優(yōu)化,以實現(xiàn)更快的訓(xùn)練速度和更低的油耗;張昊等[17]基于DQN算法設(shè)計了1種專門針對多燃燒模式混動系統(tǒng)的能量分配策略,有效地降低了燃料模式切換頻率。DQN算法有效地解決了RL“維度災(zāi)難”的問題,但其本身是1個面向離散控制的算法,對于連續(xù)動作無法做到輸出最優(yōu)。為此深度確定性策略梯度算法(deep deterministic policy gradient,DDPG)被提出,He等[18]結(jié)合速度規(guī)劃以及基于DDPG的能量分配策略,提出了一種HEV實時分配方法,該方法能夠根據(jù)交通信息實時優(yōu)化燃油經(jīng)濟性,同時滿足行車安全和行車時間的約束。DDPG具有處理連續(xù)狀態(tài)和動作向量方面的優(yōu)勢,然而算法本身對超參數(shù)較為敏感,處理復(fù)雜任務(wù)時容易發(fā)散,且存在Q值估值過高導(dǎo)致所學(xué)策略失效的問題[19]。Fujimoto[20]等為解決這1問題提出了1種優(yōu)化算法——雙延遲深度確定性策略梯度(twin delayed deep deterministic policy gradient,TD3)算法,研究表明其性能相比于DDPG有了很大的提升。

本文針對并聯(lián)式HEV設(shè)計了1種基于改進DRL的能量分配策略。首先在DRL算法結(jié)構(gòu)中嵌入1個基于規(guī)則的約束,以消除發(fā)動機和電機間不合理的轉(zhuǎn)矩分配; 其次針對傳統(tǒng)TD3算法進行改進,引入雙重回放緩沖區(qū)機制,提出DRB-TD3算法以進一步提升原算法的采樣效率和收斂速度; 最后針對所提出的能量分配策略進行了仿真實驗,并以基于DP的能量分配結(jié)果作為基準(zhǔn),分別與基于DDPG和TD3的能量分配策略進行對比,驗證了所提策略的可行性和有效性。

2 混合動力汽車模型

2.1 整車結(jié)構(gòu)

本文選用某款單軸并聯(lián)式HEV進行研究,車輛動力結(jié)構(gòu)如圖1所示,主要由發(fā)動機、離合器、電池組、電機、無級變速器(continuously variable transmission,CVT)、主減速器等部件組成。

2.2 需求功率模型

本文采用后向建模方法,因此不需要駕駛員模型。車輪牽引力Fw與速度、有效載荷、道路坡度以及車輛動力系統(tǒng)參數(shù)等因素有關(guān),計算公式如式(1)所示:

Fw=Fi+Fr+Ff+Fg

(1)

式中:Fi表示慣性力;Fr表示滾動摩擦力;Ff表示空氣阻力;Fg表示坡度阻力。各阻力計算公式如式(2)所示:

(2)

式中:m表示整車有效載荷;δ表示整車旋轉(zhuǎn)質(zhì)量換算系數(shù);v表示車速;a表示加速度;ρ表示空氣密度(通常為1.25 kg/m3);A表示車輛迎風(fēng)面積;CD表示空氣阻力系數(shù);g表示重力加速度;α表示路面坡度;μf表示滾動摩擦系數(shù)。

2.3 動力系統(tǒng)部件建模

發(fā)動機和電機均采用靜態(tài)MAP圖建立模型,且忽略了溫度的影響。發(fā)動機燃油消耗率be可由發(fā)動機瞬時轉(zhuǎn)矩Te和角速度ωe通過查表法求得,T時間內(nèi)燃油總消耗Ffuel通過對燃油消耗率積分求得,相應(yīng)計算公式如式(3)所示:

(3)

發(fā)動機MAP圖如圖2所示,圖中數(shù)值218等表示燃油消耗率,單位為g/kWh。

圖2 發(fā)動機MAP圖

在實際應(yīng)用中,電機既可以作為發(fā)電機也可以作為牽引電動機使用,不同模式下電機功率如式(4)所示:

(4)

式中:ηm=f(Tm,ωm)表示電機效率,可由電機瞬時轉(zhuǎn)矩Tm和角速度ωm通過查表法求得。電機效率MAP圖如圖3所示。

圖3 電機效率MAP圖

電池采用內(nèi)阻模型建模,忽略溫度以及電池自身老化的影響,模型如式(5)所示:

(5)

式中:Pbat表示電池功率;Ib表示電池電流;Qbat表示電池額定容量; SOC表示電池荷電狀態(tài)(state of charge);Voc=f(SOC)和rint=f(SOC)分別表示電池開路電壓和等效內(nèi)阻,都是關(guān)于SOC的函數(shù),其關(guān)系如圖4所示。

圖4 電池特性曲線

3 基于改進TD3算法的能量分配策略

3.1 問題描述

3.1.1 狀態(tài)空間S

本文以混合動力系統(tǒng)作為外部環(huán)境,與作為智能體的能量管理策略進行交互,將車速vt、加速度at以及電池荷電狀態(tài)SOCt作為狀態(tài)信息反饋給智能體。因此定義狀態(tài)空間S為:

S={vt,at,SOCt}

(6)

3.1.2 動作空間A

作為車輛主要動力部件的發(fā)動機和電機,不同的工作狀態(tài)會影響燃油的消耗以及電池SOC的平衡,由于本文研究對象為單軸并聯(lián)式混合動力汽車,因此電機轉(zhuǎn)矩Tm可以由總需求轉(zhuǎn)矩Ttot與發(fā)動機轉(zhuǎn)矩Te之差求得,如式(7)所示,因此將發(fā)動機轉(zhuǎn)矩Te設(shè)為控制動作,即A={Te}。

Tm=Ttot-Te

(7)

3.1.3 獎勵函數(shù)r

能量管理策略最終目標(biāo)是減少燃油消耗的同時維持電池SOC,因此獎勵函數(shù)需要包括燃油消耗量以及電池SOC狀態(tài),且由于智能體每次要選擇最大化獎勵的動作,因此需要添加一個負(fù)號,如式(8)所示。

(8)

式中:Fuelt表示動作at持續(xù)時間內(nèi)的燃油消耗量; SOCref表示SOC的參考值; SOCH和SOCL分別表示維持電池高效率工作的SOC上限和下限;β表示SOC校正系數(shù)。

3.2 基于雙回放緩沖區(qū)的TD3算法

在強化學(xué)習(xí)中,由于所探索到的經(jīng)驗數(shù)據(jù)間相互影響,具有高度的時間相關(guān)性,造成網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定,易陷入局部最優(yōu)。為解決這個問題,DRL引入了經(jīng)驗回放機制[21]。經(jīng)驗回放實質(zhì)上是設(shè)置了一個回放緩沖區(qū)(replay buffer)用來存儲一段時間內(nèi)的經(jīng)驗數(shù)據(jù),之后從中隨機抽取一小批數(shù)據(jù)作為樣本進行訓(xùn)練,來更新和優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值。經(jīng)驗回放機制有效地弱化了樣本間的強相關(guān)性,然而由于采用隨機抽樣,忽略了回放緩沖區(qū)中不同經(jīng)驗數(shù)據(jù)間重要性的差異,降低了采樣效率。為此本文針對TD3算法進行改進,設(shè)計了1種雙重回放緩沖區(qū)(dual replay buffers,DRB)機制來對不同重要性程度的經(jīng)驗數(shù)據(jù)分類存放,在網(wǎng)絡(luò)訓(xùn)練時按照不同概率從每個回放緩沖區(qū)中選取部分經(jīng)驗數(shù)據(jù)作為樣本。

同時為了減輕遍歷整個回放緩沖區(qū)造成的計算負(fù)擔(dān),采用了和樹(SumTree)結(jié)構(gòu)來存儲數(shù)據(jù)[22],在該結(jié)構(gòu)中使用時序差分誤差(TD-error)的絕對值|δ|作為每個葉節(jié)點的存儲值,如式(9)所示,父節(jié)點的值等于其子節(jié)點的值求和。

(9)

式中:q(s,a)是指在一個給定狀態(tài)s下,采取某一個動作a之后,后續(xù)的各個狀態(tài)所能得到的回報。

在訓(xùn)練時,每批次以較大概率從P1中選取高重要性的樣本數(shù)據(jù),同時為保證樣本數(shù)據(jù)多樣性,以較小的概率從P2中選取少量立即獎勵值小、低重要性的樣本數(shù)據(jù),構(gòu)成小批量采樣(mini-batch)。具體抽樣方法如式(10)所示:

(10)

式中:NP1,NP2分別表示從回放緩沖區(qū)P1和P2中抽取的樣本數(shù)據(jù)個數(shù);η∈[0,1]表示抽取概率;m表示小批量采樣樣本數(shù)。

3.3 基于規(guī)則的約束器設(shè)計

在大多數(shù)基于DRL的能量分配策略中,通常選用發(fā)動機和電機轉(zhuǎn)矩作為動作,以發(fā)動機或電機轉(zhuǎn)矩最小值和最大值之間的區(qū)域作為動作空間進行探索,忽略了由于發(fā)動機和電機各自物理特性所帶來的動態(tài)限制[23],導(dǎo)致智能體在探索過程中可能會出現(xiàn)一些不合理或者無意義的轉(zhuǎn)矩分配。

為解決此問題,本文設(shè)計了一種基于規(guī)則的約束器,如圖5所示。將所設(shè)計的約束器嵌入到DRL算法結(jié)構(gòu)中,在智能體每次探索前通過計算所允許的發(fā)動機和電機瞬時轉(zhuǎn)矩,使動作空間動態(tài)更新,縮小了探索范圍,減少不必要的動作探索。

圖5 基于規(guī)則的約束器流程圖

圖5中,SOCmin和SOCmax分別表示電池SOC所設(shè)定的最小值和最大值,Tm_L和Tm_U表示電機轉(zhuǎn)矩在給定轉(zhuǎn)速下的下限和上限,Te_L和Te_U表示發(fā)動機轉(zhuǎn)矩在給定轉(zhuǎn)速下的下限和上限,Te_A表示由Actor網(wǎng)絡(luò)選擇的動作。

3.4 基于改進TD3算法的HEV能量分配策略

針對單軸并聯(lián)式HEV,本文設(shè)計的基于改進TD3算法的能量分配策略具有以下特點:1) 在DRL算法結(jié)構(gòu)中嵌入1個基于規(guī)則的約束器,以提高探索效率;2) 提出了雙回放緩沖區(qū)經(jīng)驗回放機制,以提升TD3算法的采樣效率?；贒RB-TD3算法的能量分配策略框架如圖6所示。

圖6 帶規(guī)則約束器及基于DRB-TD3的能量分配策略框架

4 仿真實驗

整車參數(shù)如表1所示。

表1 HEV主要參數(shù)

為驗證帶約束器及基于DRB-TD3的能量分配策略的可行性和有效性,本文以基于DP的能量分配結(jié)果作為基準(zhǔn),分別選用DDPG和TD3作為對比算例,并在城市道路循環(huán)(urban dynamometer driving schedule,UDDS)行駛路況(如圖7所示)下進行仿真實驗。采用MATLAB/Simulink搭建HEV模型,在Python 3.6環(huán)境下實現(xiàn)DRB-TD3算法。

圖7 UDDS城市道路行駛工況

4.1 仿真參數(shù)設(shè)置

由圖4電池特性曲線可知,當(dāng)SOC處于[0.6,0.8]范圍內(nèi)時電池內(nèi)阻較小,充電/放電效率較高,因此分別設(shè)置SOCL和SOCH為0.6和0.8,同時令SOCref=0.60,SOC校正系數(shù)β=200。

為保證仿真實驗對比的公平性,實驗中DRB-TD3、TD3及DDPG參數(shù)相同。Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)具有相同的結(jié)構(gòu),均由3個隱藏層構(gòu)成,每層含有120個神經(jīng)元,激活函數(shù)為修正線性單元(rectified linear unit,ReLU),算法其余主要參數(shù)如表2所示。

表2 參數(shù)設(shè)置

4.2 仿真結(jié)果與分析

為了獲得更加穩(wěn)定的控制效果,同時評估各算法的性能,對各DRL算法的收斂性進行了驗證。將每次迭代的總獎勵值進行累加,并根據(jù)行駛工況長度計算得出平均獎勵值,平均獎勵值的收斂速度反映了該算法能否快速搜尋到固定策略,其數(shù)值大小體現(xiàn)了算法能否收斂于最優(yōu)策略[24]。分別繪制各DRL算法在UDDS行駛工況下平均獎勵值曲線,如圖8所示。

圖8 各DRL算法平均獎勵值曲線

由圖8可以看出,DDPG、TD3以及DRB-TD3的收斂點分別為第67、38和26次迭代,DRB-TD3的收斂性能最佳。約束器可以根據(jù)當(dāng)前所要求的扭矩和動力總成特性來調(diào)整搜索空間,針對不合理和無意義的動作可以動態(tài)調(diào)整,從而有助于算法的快速收斂。同時由于引入了雙回放緩沖區(qū)機制,相比于原始TD3算法中隨機采樣策略,新的采樣策略效率更高,在迭代前期可以學(xué)習(xí)到更多高獎勵值的樣本序列,使改進后的TD3算法在迭代前期收斂較快,波動較小。

基于DP和各DRL算法的能量分配策略在UDDS行駛工況下的電池SOC軌跡如圖9所示。

圖9 不同能量分配策略下的SOC軌跡

由圖9可見,相比于DRL算法,基于DP能量分配的SOC變化較為緩慢,所需扭矩主要由發(fā)動機提供,電機提供輔助扭矩?；贒DPG和TD3的能量分配,其SOC軌跡較為相似,SOC下降幅度較大,表明此時發(fā)動機和電機同時作為動力源,進入到混合驅(qū)動模式。而基于DRB-TD3能量分配的SOC軌跡介于上述軌跡之間,相比于其余DRL算法,當(dāng)車輛持續(xù)較平穩(wěn)運行時(800～1 000 s),其SOC能維持在一個相對較高的水平。基于DP、DDPG、TD3以及DRB-TD3的能量分配發(fā)動機工作點分布如圖10所示。

圖10 不同能量分配策略下的發(fā)動機工作點分布

如圖10(a)所示,基于DP能量分配其發(fā)動機工作點大多分布在高燃油效率的工作區(qū)域內(nèi),尤其是處于發(fā)動機轉(zhuǎn)速和扭矩都較低的工況條件下,發(fā)動機和電機得到了充分的利用。相比之下,如圖10(b)和圖10(c)所示,基于DRL算法能量分配的發(fā)動機工作點非常接近最佳燃油消耗曲線,但在低發(fā)動機轉(zhuǎn)速和扭矩的工況條件下,發(fā)動機可以工作在燃油效率較低的區(qū)域內(nèi)。如圖10(d)所示,由于嵌入了約束器,基于DRB-TD3能量分配的發(fā)動機工作點更加靠近最佳燃油消耗曲線,同時減少了低燃油效率工作區(qū)域內(nèi)的發(fā)動機工作點數(shù)量,發(fā)動機平均效率得到了提升?；诓煌惴ǖ哪芰糠峙湫阅鼙容^結(jié)果如表3所示。

表3 基于不同算法的能量分配性能比較

在UDDS行駛工況下,相比于基于DDPG和TD3算法的能量分配策略,基于DRB-TD3算法的能量分配策略具有更好的燃油經(jīng)濟性,平均燃油消耗分別降低了3.3%和2.3%,燃油性能達到了基于DP的95.2%,電池終止SOC也有所提升,能夠保持在較好水平,同時算法收斂效率相比于DDPG和TD3算法分別提高了61.2%和31.6%。

5 結(jié) 論

本文針對單軸并聯(lián)式HEV,提出了1種基于改進DRL算法的能量分配策略。將基于規(guī)則的約束器嵌入到DRL算法結(jié)構(gòu)中,以避免動作空間不合理的探索;引入了雙重回放緩沖區(qū)機制改進TD3算法,提出1種新的DRB-TD3算法,有效地提升了原算法的采樣效率。選用UDDS行駛工況進行仿真實驗,并以基于DP的能量分配性能結(jié)果作為基準(zhǔn),將本文所提出的基于改進DRL算法的能量分配策略分別與基于DDPG和TD3算法的能量分配策略進行了對比實驗,仿真實驗結(jié)果表明:

1) 相比于DDPG和傳統(tǒng)TD3算法,DRB-TD3算法收斂性能最佳,收斂效率分別提高了61.2%和31.6%,具有更好的控制穩(wěn)定性。

2) 基于DRB-TD3算法的能量分配策略的發(fā)動機工作點更加靠近最佳燃油消耗曲線,減少了低燃油效率工作區(qū)域內(nèi)的發(fā)動機工作點數(shù)量,發(fā)動機平均效率得到了提升,同時電池終止SOC保持在了較好的水平,有利于延長電池的使用壽命。

3) 與基于DDPG和TD3算法的能量分配策略相比,基于DRB-TD3算法的能量分配策略平均燃油消耗分別降低了3.3%和2.3%,燃油性能達到了基于DP的95.2%,燃油經(jīng)濟性最佳。

綜上,本文所提出的基于改進DRL算法的HEV能量分配策略在性能魯棒性、發(fā)動機平均效率、燃油經(jīng)濟性等方面均要優(yōu)于基于傳統(tǒng)DRL算法,更有利于HEV的實際應(yīng)用。在之后的研究中,將更多考慮提升算法的運行速度,并通過硬件在環(huán)或?qū)嵻嚋y試等方法進一步驗證本文所提能量分配策略的有效性和可行性。