胡樹良，黃 偉，陸文麗，莫錦傳

（廣西大學(xué) 機(jī)械工程學(xué)院，廣西 南寧 530004）

0 引言

能量控制策略作為油電混合動(dòng)力汽車的關(guān)鍵技術(shù)，是各車企及車輛院校研究的焦點(diǎn)。根據(jù)實(shí)現(xiàn)的原理不同，可將混合動(dòng)力車輛能量管理策略劃分為3類，包括基于規(guī)則、基于優(yōu)化和基于智能算法的能量管理策略[1]。

基于規(guī)則型能量管理策略（rule-based energy manage system，RB-EMS）是一種實(shí)時(shí)能量管理策略，其門限規(guī)則的制定缺乏數(shù)學(xué)分析和理論基礎(chǔ)，導(dǎo)致很難準(zhǔn)確制定?；趦?yōu)化的能量管理策略分為全局優(yōu)化和瞬時(shí)優(yōu)化兩類。全局優(yōu)化計(jì)算量大且需要知道整個(gè)循環(huán)工況，所以并不能應(yīng)用于實(shí)車控制，但其仿真結(jié)果可在其他控制策略設(shè)計(jì)時(shí)作為參考[2]。全局優(yōu)化依托的優(yōu)化方法目前有動(dòng)態(tài)規(guī)劃（dynamic programming，DP）、粒子群等，其中以DP算法最具有代表性[2-3]。瞬時(shí)優(yōu)化只能求解當(dāng)前的最優(yōu)解，或者在滾動(dòng)預(yù)測(cè)步長(zhǎng)內(nèi)的最優(yōu)[4]。為逼近最優(yōu)解，一般是結(jié)合多種優(yōu)化算法或者采用更智能的算法[5]。如文獻(xiàn)[5]針對(duì)某功率分流式混合動(dòng)力汽車，設(shè)計(jì)了基于粒子群優(yōu)化算法（Particle swarm optimization，PSO）的具有雙層結(jié)構(gòu)的多目標(biāo)能量管理策略，實(shí)現(xiàn)了降低整車油耗和維持電池電量的目標(biāo)，但是基于瞬時(shí)優(yōu)化方法最終并不一定實(shí)現(xiàn)全局最優(yōu)。

隨著AI算法和車聯(lián)網(wǎng)智能交通技術(shù)的發(fā)展，越來越多的學(xué)者將AI算法，如強(qiáng)化學(xué)習(xí)，應(yīng)用到混合動(dòng)力汽車的能量管理策略的設(shè)計(jì)，提出適應(yīng)性更強(qiáng)，控制效果更好的智能能量管理策略[6-10]。研究表明，強(qiáng)化學(xué)習(xí)算法在混合動(dòng)力能量管理策略方面的應(yīng)用具有很好的適用性，經(jīng)過學(xué)習(xí)訓(xùn)練可快速自主收斂到全局最優(yōu)解。文獻(xiàn)[9]針對(duì)一款插電式混合動(dòng)力汽車設(shè)計(jì)了由強(qiáng)化學(xué)習(xí)框架訓(xùn)練和生成的智能SOC（State of charge）分配策略，研究表明油耗明顯低于兩種常用的SOC分配策略。自適應(yīng)動(dòng)態(tài)規(guī)劃（adapted dynamic programming，ADP）具有DP算法和強(qiáng)化學(xué)習(xí)兩種算法的優(yōu)勢(shì)，能在避免“維數(shù)災(zāi)”的同時(shí)使系統(tǒng)自主收斂到一個(gè)最優(yōu)的全局近似解，在無人機(jī)控制、航天器控制等研究方向具有廣泛的應(yīng)用[11-12]，并取得不錯(cuò)的控制效果。

以國(guó)內(nèi)某雙行星排混合動(dòng)力客車為研究對(duì)象，以提高整車燃油經(jīng)濟(jì)性和維持SOC平衡為目標(biāo)，基于Matlab仿真軟件，對(duì)混合動(dòng)力客車（HEV）進(jìn)行整車建模，然后搭建基于ADHDP算法能量控制策略，并在C-WTVC工況下與自適應(yīng)等效燃油消耗最小控制策略（adapted equivalent consumption minimization strategy，A-ECMS）、基于DP算法控制策略進(jìn)行仿真對(duì)比分析。

1 雙行星排混合動(dòng)力客車建模

1.1 整車結(jié)構(gòu)及參數(shù)

基于Matlab仿真軟件，對(duì)國(guó)內(nèi)某雙行星排混合動(dòng)力客車（HEV）進(jìn)行整車建模，整車參數(shù)見表1。

給定客車車速ua，需求功率Pdem可由下式計(jì)算得出：

其中，f、i為滾阻系數(shù)和道路坡度；CD和A為風(fēng)阻系數(shù)和迎風(fēng)面積，δ和m為旋轉(zhuǎn)質(zhì)量系數(shù)和整備質(zhì)量。

1.2 雙行星排動(dòng)力耦合機(jī)構(gòu)分析

整車結(jié)構(gòu)如圖1所示，公交車傳動(dòng)系統(tǒng)采用雙行星排動(dòng)力耦合結(jié)構(gòu)，發(fā)動(dòng)機(jī)、電機(jī)MG1分別與前行星排P1的行星架、太陽輪相連，通過控制b1、b2離合器的開關(guān)可實(shí)現(xiàn)多種工作模式。電機(jī)MG2與后行星排P2的太陽輪相連，后行星排齒圈固定，前行星排P1的齒圈與后行星排P2的行星架相連，經(jīng)主減速器傳遞動(dòng)力至車輪以驅(qū)動(dòng)車輛。

圖1 雙行星排式混合動(dòng)力公交車整車結(jié)構(gòu)

不計(jì)行星齒輪耦合機(jī)構(gòu)的內(nèi)部摩擦和轉(zhuǎn)動(dòng)慣量，根據(jù)發(fā)動(dòng)機(jī)、電機(jī)MG1、電機(jī)MG2與前后行星排的連接方式，可推算出輸出轉(zhuǎn)速轉(zhuǎn)矩的關(guān)系：

式中，uout、Tout分別為雙行星排輸出軸的轉(zhuǎn)速和轉(zhuǎn)矩；ne、nMG、nMG2分別為發(fā)動(dòng)機(jī)、電機(jī)MG1和電機(jī)MG2的轉(zhuǎn)速；Te、TMG2分別為發(fā)動(dòng)機(jī)、電機(jī)MG2的轉(zhuǎn)矩。行星排參數(shù)見表1。

1.3 發(fā)動(dòng)機(jī)、電機(jī)、電池模型

發(fā)動(dòng)機(jī)的參數(shù)見表1，基于發(fā)動(dòng)機(jī)臺(tái)架數(shù)據(jù)，通過數(shù)值建模得到發(fā)動(dòng)機(jī)準(zhǔn)靜態(tài)模型，如圖2所示。

圖2 發(fā)動(dòng)機(jī)燃油消耗率map圖

電機(jī)參數(shù)（表1），MG1和MG2模型也通過數(shù)值模型建立，如圖3所示。

圖3 電機(jī)2效率map圖

電機(jī)轉(zhuǎn)矩為正時(shí)處于驅(qū)動(dòng)狀態(tài)，電機(jī)轉(zhuǎn)矩為負(fù)時(shí)處于發(fā)電狀態(tài)。驅(qū)動(dòng)和發(fā)電的電機(jī)功率計(jì)算分別為：

式中，nm、Tm為電機(jī)的轉(zhuǎn)速和轉(zhuǎn)矩，η為電機(jī)效率，Pm_dis為電機(jī)處于驅(qū)動(dòng)狀態(tài)時(shí)的功率，Pm_chg為電機(jī)放電時(shí)提供的功率。

電池模型選用電池內(nèi)阻模型，電池功率計(jì)算式為：

式中，Pbatt為電池功率；E為電池開路電壓；Ibatt為電池電流；Rbatt為電池總內(nèi)阻。E與電池的荷電狀態(tài)SOC有關(guān)，如圖4所示。

圖4 電池模型

由此求得電池電流

則電池SOC可由下式計(jì)算：

式中，SOC（t）為電池經(jīng)過充放電時(shí)間t后的S OC；SOC0為電池的起始S OC；CAh為電池容量。

2 控制策略的設(shè)計(jì)

2.1 動(dòng)態(tài)規(guī)劃

DP算法是由美國(guó)數(shù)學(xué)家R.E.Bellman等人基于最優(yōu)性原理提出。應(yīng)用解決多階段決策問題的一般步驟為：首先需要對(duì)所研究的多階段決策問題進(jìn)行階段的劃分；其次需要確定優(yōu)化過程中的狀態(tài)變量、控制變量與狀態(tài)轉(zhuǎn)移方程；最后須確定單個(gè)階段成本函數(shù)和全過程的最優(yōu)目標(biāo)函數(shù)，從而建立動(dòng)態(tài)規(guī)劃基本方程。

式中，x為狀態(tài)變量，u為控制變量，L（x0，u0）為單步成本函數(shù)，J[x]為系統(tǒng)的總代價(jià)函數(shù)。

將電池SOC作為優(yōu)化過程中的狀態(tài)變量，發(fā)動(dòng)機(jī)轉(zhuǎn)速作為控制變量，設(shè)計(jì)單步成本函數(shù)：

fue l（xk，uk）為第k步等效油耗，SOC（k）為電池荷電狀態(tài)，λ為油電轉(zhuǎn)換系數(shù)，則通過遞歸求解，可獲得全局最優(yōu)的控制變量和電池SOC的最優(yōu)軌跡。

2.2 基于自適應(yīng)動(dòng)態(tài)規(guī)劃算法能量控制策略

2.2.1 基于自適應(yīng)動(dòng)態(tài)規(guī)劃算法能量控制策略結(jié)構(gòu)

自適應(yīng)動(dòng)態(tài)規(guī)劃（ADP）源于向前動(dòng)態(tài)規(guī)劃，最早由Werbos首先提出[12]，其將執(zhí)行網(wǎng)（Action）和評(píng)價(jià)網(wǎng)（Critic）組成一個(gè)智能體，Action作用于系統(tǒng)后，基于貝爾曼原理，通過環(huán)境在不同階段產(chǎn)生獎(jiǎng)勵(lì)/懲罰來更新Critic的參數(shù)。自適應(yīng)動(dòng)態(tài)規(guī)劃具有DP算法和強(qiáng)化學(xué)習(xí)兩種算法的優(yōu)勢(shì)，能在避免“維數(shù)災(zāi)”的同時(shí)使系統(tǒng)自主收斂到一個(gè)最優(yōu)的全局近似解。強(qiáng)化學(xué)習(xí)所研究的是智能體和環(huán)境的序貫決策過程，在數(shù)學(xué)上其規(guī)范為一個(gè)馬爾科夫決策過程（Markov Decision Process，MDP）。一個(gè)馬爾科夫過程由一個(gè)五元組（S，A，P{s|a}，γ，R）構(gòu)成，S表示狀態(tài)集，A表示一組動(dòng)作，P{s|a}表示狀態(tài)轉(zhuǎn)移概率，γ表示折扣因子，R為回報(bào)函數(shù)。

定義狀態(tài)集S的三個(gè)分量為電池SOC、需求車速ua和需求功率Pdem，并將這三個(gè)分量作為執(zhí)行網(wǎng)的輸入，如圖所示。定義發(fā)動(dòng)機(jī)的轉(zhuǎn)速ne作為系統(tǒng)采取的動(dòng)作，即為執(zhí)行網(wǎng)的輸出。回報(bào)函數(shù)R為L(zhǎng)（k）函數(shù)的期望，如下：

將系統(tǒng)狀態(tài)集和執(zhí)行網(wǎng)的輸出作為評(píng)價(jià)網(wǎng)的輸入，其輸出為系統(tǒng)總代價(jià)函數(shù)的估計(jì)J＾，采取TD方法對(duì)評(píng)價(jià)網(wǎng)網(wǎng)絡(luò)權(quán)值進(jìn)行更新，TD的誤差可通過擬合動(dòng)態(tài)規(guī)劃基本方程獲得，該方程為：

式中，EC為TD誤差，J＾（k）為評(píng)價(jià)網(wǎng)的輸出，即總代價(jià)函數(shù)的估計(jì)值，L（k）為單步成本函數(shù)。

根據(jù)最優(yōu)性原理，最優(yōu)控制應(yīng)滿足一階微分必要條件，故執(zhí)行網(wǎng)可通過策略梯度實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)值更新。如圖5所示。

圖5 ADP算法能量控制策略結(jié)構(gòu)

2.2.2 ADP求解過程

基于在“策略改進(jìn)程序”和“值確定運(yùn)算”之間循環(huán)，ADP算法的求解原理如下：

（1）策略改進(jìn)程序

策略改進(jìn)在“執(zhí)行網(wǎng)”進(jìn)行，給定一個(gè)控制律ui，可計(jì)算系統(tǒng)下一個(gè)狀態(tài)轉(zhuǎn)移xk+1和對(duì)應(yīng)的代價(jià)Ji（xk+1，ui），則依據(jù)下式改進(jìn)控制律：

式中，ui+1為改進(jìn)的控制律；L（xk，ui）為系統(tǒng)的效用函數(shù)；J（xk+1，ui）為系統(tǒng)在控制律ui作用下從狀態(tài)xk轉(zhuǎn)移至xk+1的累計(jì)成本。

（2）值確定運(yùn)算

值運(yùn)算在“評(píng)價(jià)網(wǎng)”進(jìn)行，給定一個(gè)控制律ui，則代價(jià)函數(shù)可依據(jù)下式更新：

當(dāng)循環(huán)產(chǎn)生兩個(gè)相同的控制律或著連續(xù)的兩個(gè)控制律相差在一定精度范圍內(nèi)，算法終止。

求解過程應(yīng)在發(fā)動(dòng)機(jī)、電機(jī)允許工作的轉(zhuǎn)速、轉(zhuǎn)矩范圍之內(nèi)進(jìn)行計(jì)算：

式中，ne、Te為發(fā)動(dòng)機(jī)的轉(zhuǎn)速和轉(zhuǎn)矩；nm、Tm為MG2的轉(zhuǎn)速和轉(zhuǎn)矩；ng、Tg為MG1的轉(zhuǎn)速和轉(zhuǎn)矩。

為了避免出現(xiàn)電池過充過放等不利于電池長(zhǎng)期使用的現(xiàn)象和提高電池的充放電效率，需要限制電池始終保持工作在最大充電功率與最大放電功率區(qū)間內(nèi)，同時(shí)限定電池的SOC工作區(qū)間。

式中，SOC為電池荷電狀態(tài)；Pbatt為電池功率。

3 仿真分析

在Matlab軟件平臺(tái)下基于C-WTVC工況，對(duì)ADP控制策略進(jìn)行仿真；并將仿真結(jié)果與自適應(yīng)等效燃油消耗最小控制策略（A-ECMS）、DP控制策略的仿真結(jié)果進(jìn)行對(duì)比分析。

從圖6中可以看出，值確定誤差經(jīng)過1000次訓(xùn)練后，評(píng)價(jià)網(wǎng)誤差穩(wěn)定在設(shè)計(jì)2×10-3范圍，表明ADP控制策略具有良好的適應(yīng)性。

圖6 評(píng)價(jià)網(wǎng)誤差均值

由圖7～11可以看出，三種控制策略在低速工況均傾向于選擇純電動(dòng)模式，在市區(qū)和公路循環(huán)的工作模式差別不大；而在高速循環(huán)工況下，ADP與DP的選擇模式更接近，即更傾向于混動(dòng)模式，有利于維持SOC的穩(wěn)定。同時(shí)在ADP控制策略下的發(fā)動(dòng)機(jī)工作點(diǎn)與DP的也更接近。

圖7 DP電機(jī)MG2工作點(diǎn)

圖8 ADP電機(jī)MG2工作點(diǎn)

圖9 發(fā)動(dòng)機(jī)工作點(diǎn)

圖10 混動(dòng)模式占比

圖11 仿真電池SOC軌跡

通過分別統(tǒng)計(jì)混動(dòng)模式和純電動(dòng)模式在驅(qū)動(dòng)模式的占比可以看出，三種控制策略的混動(dòng)模式占比均達(dá)到47%以上，差距不大（表2）。從原理上分析，深度混動(dòng)的驅(qū)動(dòng)能量的來源最終是來源于發(fā)動(dòng)機(jī)，合理減少純電動(dòng)驅(qū)動(dòng)次數(shù)，在維持電機(jī)對(duì)發(fā)動(dòng)機(jī)的工作點(diǎn)的調(diào)節(jié)所需的能量的前提下，可減少能量轉(zhuǎn)換，從而減少能量損失，提升整車燃油經(jīng)濟(jì)性。

表2 驅(qū)動(dòng)模式

從表3仿真結(jié)果可以看出，ADP和DP在維持SOC平衡方面要優(yōu)于A-ECMS，雖然電池SOC值均能回到初始值60%附近，但是仿真過程A-ECMS的SOC波動(dòng)更大。在油耗方面，盡管DP具有優(yōu)異的表現(xiàn)，百公里油耗僅為15.89 L，但是仿真時(shí)長(zhǎng)達(dá)到了1 h15 min，并不合適于實(shí)車控制；而ADP在仿真時(shí)間僅需25 s的同時(shí)百公里油耗僅為18.12 L，較DP算法控制策略的差距僅為10.77%，展現(xiàn)了其可應(yīng)用于實(shí)車控制的良好前景。

表3 仿真結(jié)果

4 結(jié)語

（1）經(jīng)過訓(xùn)練，ADP能量管理策略可快速到全局最優(yōu)解，展現(xiàn)了ADP算法具有良好的適應(yīng)性。

（2）三種控制策略在低速工況均傾向于選擇純電動(dòng)模式，而在高速循環(huán)工況下，ADP與DP的選擇模式比較接近，即更傾向于混動(dòng)模式。

（3）ADP控制策略達(dá)到了維持SOC平衡的目標(biāo)的同時(shí)，百公里油耗與DP算法控制策略的差距僅為10.77%，具有較好的燃油經(jīng)濟(jì)性，擁有可應(yīng)用于實(shí)車控制的良好前景。