孔澤慧　劉港　吳慧

摘 要：文章針對一串聯(lián)式混合動力汽車，提出了一種基于強(qiáng)化學(xué)習(xí)的能量管理策略。首先為了便于分析，對該串聯(lián)式混合動力汽車動力學(xué)模型進(jìn)行簡化，包括汽車功率需求模型、電池模型和發(fā)動機(jī)-發(fā)電機(jī)模型等。其次，基于強(qiáng)化學(xué)習(xí)算法，建立串聯(lián)式混合動力汽車能量管理策略優(yōu)化模型。最后，基于目標(biāo)工況進(jìn)行仿真分析，求解控制策略，獲得燃油消耗。結(jié)果表明，基于強(qiáng)化學(xué)習(xí)的能量管理策略相比于基于規(guī)則的能量管理策略，其燃油經(jīng)濟(jì)性提升了12%。

關(guān)鍵詞：混合動力車輛 能量管理策略 強(qiáng)化學(xué)習(xí)

1 引言

隨著汽車保有量的持續(xù)增加，全世界所面臨的能源緊缺和環(huán)境惡化等問題日趨嚴(yán)重。在節(jié)能減排和車輛驅(qū)動系統(tǒng)電氣化發(fā)展的背景下，新能源汽車得到飛速發(fā)展[1-2]。其中，混合動力汽車將傳統(tǒng)的內(nèi)燃機(jī)、電動機(jī)和能量存儲裝置等組合在一起，結(jié)合了電驅(qū)動系統(tǒng)和傳的內(nèi)燃機(jī)驅(qū)動系統(tǒng)，充分發(fā)揮了二者的優(yōu)勢，一方面，混合動力汽車可以節(jié)省燃油消耗，另一方面不受電池續(xù)駛里程和充電樁等建設(shè)設(shè)備的制約[3]?；旌蟿恿ζ囈殉蔀閭鹘y(tǒng)車輛向純電動車輛過渡的必然階段，是最具實(shí)際開發(fā)意義的低油耗、低排放汽車。

目前混合動力汽車實(shí)際應(yīng)用的能量管理策略主要分為基于規(guī)則的能量管理策略、基于優(yōu)化的能量管理策略和基于學(xué)習(xí)的能量管理策略三種[4]?；谝?guī)則的能量管理策略是目前應(yīng)用最廣泛的能量管理策略，T Hofman提出了一種基于規(guī)則的灰狼優(yōu)化能量管理方法，改善了基于規(guī)則的控制性能，有效降低了一插電式混合動力汽車控制算法的復(fù)雜性和計算量，同時提升了汽車的燃油經(jīng)濟(jì)性[5]。然而，基于規(guī)則的能量管理策略依賴工程經(jīng)驗等，無法實(shí)時調(diào)整控制參數(shù)，適應(yīng)性差[6]?；趦?yōu)化的能量管理策略又可以分為全局優(yōu)化和實(shí)時優(yōu)化的能量管理策略。楊超等基于智能網(wǎng)聯(lián)，采用最小值原理實(shí)現(xiàn)了插電式混合動力汽車的能量優(yōu)化，其可適應(yīng)多種工況，實(shí)現(xiàn)了全局與瞬時優(yōu)化的有效融合[7]。但是，基于優(yōu)化的能量管理策略，如動態(tài)規(guī)劃等無法用于實(shí)時控制，或是達(dá)不到優(yōu)化效果。因此，基于學(xué)習(xí)的能量管理策略成為研究熱點(diǎn)。張松[8]，Qi C[9]等為了防止自監(jiān)督模型陷入“自我良好”的境地，采用強(qiáng)化學(xué)習(xí)進(jìn)行校準(zhǔn)，實(shí)現(xiàn)了燃油消耗的優(yōu)化性。強(qiáng)化學(xué)習(xí)算法不僅可以減少汽車的燃油消耗，提升汽車的燃油經(jīng)濟(jì)性，而且可以用于實(shí)時控制。本課題主要針對一串聯(lián)式混合動力車輛，研究了一種基于強(qiáng)化學(xué)習(xí)的能量管理策略。同時，通過仿真分析驗證了該能量管理策略的有效性。

2 混合動力車輛數(shù)學(xué)模型

圖1為串聯(lián)式混合動力車輛結(jié)構(gòu)示意圖，兩側(cè)驅(qū)動輪由電機(jī)獨(dú)立驅(qū)動，由發(fā)動機(jī)-發(fā)電機(jī)組和動力電池組共同為整車提供動力。發(fā)動機(jī)通過發(fā)電機(jī)產(chǎn)生電能，給兩個驅(qū)動電機(jī)提供電能，進(jìn)而驅(qū)動車輛行駛，發(fā)動機(jī)并不直接參與車輛驅(qū)動。表1為該串聯(lián)式混合動力汽車的關(guān)鍵參數(shù)。

2.1 車輛動力學(xué)模型

為便于進(jìn)行動力學(xué)分析，根據(jù)動力學(xué)定律，在保證足夠準(zhǔn)確的前提下，簡化串聯(lián)式混合動力車輛的功率需求模型，如下所示：

（1）

式中，F(xiàn)1，F(xiàn)2為兩驅(qū)動輪的驅(qū)動力，F(xiàn)r1，F(xiàn)r2為車輛的滾動阻力，F(xiàn)w與Fi分別代表車輛行駛過程中所收到的行駛過程中所受到的空氣阻力與坡度阻力，m為混合動力汽車的整車質(zhì)量，a為汽車加速度。

空氣阻力為：

式中，CD代表空氣阻力系數(shù)，A為混合動力車輛迎風(fēng)面積，v為車輛平均速度。

坡度阻力為：

式中，θ為路面坡度角，g是重力加速度。

滾動阻力為：

式中，f為滾動阻力系數(shù)。

2.2 動力電池組模型

忽略動力電池的溫度影響，簡化動力電池組模型。動力電池組采用開路電壓和等效內(nèi)阻的電池模型[10]，其荷電狀態(tài)SOC為：

式中，Ib是電池的實(shí)際電流，Cb為電池的額定容量。

電池的電流Ib為：

式中，VOC為電池開路電壓，Rint為電池內(nèi)阻，Pb表示電池的輸出功率。

根據(jù)上式，則可以求出電池的荷電狀態(tài)SOC的微分，如下所示：

2.3 發(fā)動機(jī)-發(fā)電機(jī)模型

對于該串聯(lián)式混合動力汽車，發(fā)動機(jī)只通過發(fā)電機(jī)產(chǎn)生電能，因此可將發(fā)動機(jī)-發(fā)電機(jī)簡化為一個整體，建立發(fā)動機(jī)-發(fā)電機(jī)等效電路模型，簡化模型如圖2所示。其中， 發(fā)電機(jī)的電磁轉(zhuǎn)矩用Tg表示，Ug代表發(fā)動機(jī)-發(fā)電機(jī)組的輸出電壓，Keωg是發(fā)動機(jī)的等效電動勢，ωg代表電機(jī)的同步角速度，Kxωg表示發(fā)動機(jī)的等效阻抗，發(fā)電機(jī)的輸出電流用Ig代表。發(fā)動機(jī)-發(fā)電機(jī)組的輸出電壓與發(fā)電機(jī)的電磁轉(zhuǎn)矩計算方程為[10]：

在串聯(lián)式混合動力汽車中，發(fā)動機(jī)和發(fā)電機(jī)為機(jī)械連接，二者的轉(zhuǎn)速是一樣的。因此，發(fā)動機(jī)的轉(zhuǎn)矩和轉(zhuǎn)速可以由以下公式計算得出。其中，發(fā)電機(jī)和發(fā)動機(jī)的轉(zhuǎn)速用ng，neng表示；Teng表示發(fā)動機(jī)的轉(zhuǎn)矩；Jeng為發(fā)動機(jī)的轉(zhuǎn)動慣量；Jg表示發(fā)電機(jī)的轉(zhuǎn)動慣量；

3 基于強(qiáng)化學(xué)習(xí)建立串聯(lián)式混合動力汽車能量管理策略優(yōu)化模型

3.1 強(qiáng)化學(xué)習(xí)算法

強(qiáng)化學(xué)習(xí)是通過研究智能主體（Agent）在環(huán)境中應(yīng)該怎樣采取行動以最大化所獲得的累積獎勵[5-6]。智能主體在學(xué)習(xí)時，會根據(jù)環(huán)境對行為的反饋，即獎勵或懲罰，來不斷優(yōu)化不同狀態(tài)下所應(yīng)該采取的行動，不斷去使智能主體更加適應(yīng)環(huán)境，以獲得最大化累積獎勵，進(jìn)而獲得最優(yōu)的控制策略[11]。

Q-learning是常用的強(qiáng)化學(xué)習(xí)方法之一，在已知控制策略π，在狀態(tài)st下執(zhí)行動作at時的動作值函數(shù)可以用下表示：

式中，γ表示取值范圍為[0，1]的折扣因子，將未來回報折算入當(dāng)前的Q值，r是單步回報。

最優(yōu)動作值函數(shù)Q*定義為以下表達(dá)式：

基于最優(yōu)動作值函數(shù)反推得出最優(yōu)控制策略，如下所示[12]：

3.2 串聯(lián)式混合動力車輛能量管理策略問題建模

選擇發(fā)動機(jī)轉(zhuǎn)速neng和電池的荷電狀態(tài)SOC作為狀態(tài)變量，選擇發(fā)動機(jī)的節(jié)氣門開度作為控制變量thr。為了便于計算，將狀態(tài)變量和控制變量進(jìn)行離散化處理，其中發(fā)動機(jī)轉(zhuǎn)速neng等分為30份，范圍為neng∈[1200，6000]，電池SOC也等分為30份，范圍為SOC∈[0.6，0.9]，節(jié)氣門開度thr等分為10份，范圍為thr∈[0，1]。

選擇發(fā)動機(jī)的燃油消耗量與電池SOC變化量的函數(shù)作為目標(biāo)函數(shù)，如方程（13）所示，其中SOC的變化量指的是在整個行駛工況中，動力電池SOC在初始和結(jié)束的差值。目的是將SOC的差值等效為燃油消耗量計入到目標(biāo)函數(shù)中，并乘以一定的懲罰因子β。

（14）

式中，用f（k）代表每一步的發(fā)動機(jī)燃油消耗量。

4 仿真分析

選取圖3為目標(biāo)工況，根據(jù)強(qiáng)化學(xué)習(xí)算法，求解串聯(lián)式混合動力車輛的最優(yōu)控制序列。選取發(fā)電機(jī)的初始轉(zhuǎn)速ng為1200 r/min，動力電池SOC的初始值為0.75。

圖4為基于強(qiáng)化學(xué)習(xí)算法獲得的SOC的變化曲線。從圖中可以看出，在整個目標(biāo)工況下，動力電池的SOC始終在0.70-0.76之間變動。圖5 為發(fā)動機(jī)和電池的功率分配曲線。

圖6為在目標(biāo)工況下，采用強(qiáng)化學(xué)習(xí)得出的最優(yōu)控制策略獲得的發(fā)動機(jī)的工作點(diǎn)。該發(fā)動機(jī)工作點(diǎn)主要分布在轉(zhuǎn)速3000-4000r/min。發(fā)動機(jī)多工作在最佳工作區(qū)間，以減少燃油消耗。

表2為基于強(qiáng)化學(xué)習(xí)和基于動態(tài)規(guī)劃的能量管理策略的燃油消耗，可以看出，基于強(qiáng)化學(xué)習(xí)的能量管理策略的燃油消耗可十分接近于基于動態(tài)規(guī)劃的能量管理方法。

5 結(jié)論

文章首先建立了串聯(lián)式混合動力車輛的動力學(xué)模型、電池模型和發(fā)動機(jī)-發(fā)電機(jī)模型等。其次，基于強(qiáng)化學(xué)習(xí)算法，建立了串聯(lián)式混合動力汽車的能量管理控制優(yōu)化模型，求解混合動力汽車的最優(yōu)控制策略。最后，通過仿真分析，求解特定工況下，采用該策略的燃油消耗。結(jié)果表明，基于強(qiáng)化學(xué)習(xí)的能量管理策略相比于基于規(guī)則的能量管理策略，燃油消耗減小，燃油經(jīng)濟(jì)性提升了12%。

基金項目：廣西高校中青年教師（科研）基礎(chǔ)能力提升項目——基于機(jī)器學(xué)習(xí)的混合動力汽車預(yù)測能量管理策略研究項目資助（項目編號：2022KY1073）。

參考文獻(xiàn)：

[1]鄧文娟，吳彤峰，謝冰.油電并聯(lián)混合動力系統(tǒng)能量管理策略研究[J].? 2022（6）.

[2]曾曉帆，胡明輝，徐磊.基于實(shí)車試驗大數(shù)據(jù)分析的插電式混合動力汽車能量管理策略解析[J].重慶大學(xué)學(xué)報，2023，46（2）：11-29.

[3]唐香蕉，高祖成，曾令全，等.城市道路下混合動力汽車雙層能量管理策略[J].中國機(jī)械工程，2022（016）：033.

[4]張瑞軒黃晨王猛猛.混合動力汽車能量管理策略研究現(xiàn)狀與發(fā)展趨勢[J].林業(yè)機(jī)械與木工設(shè)備，2022，50（10）：50-55.

[5]Pritam Keshavdas GujarathiVarsha A. ShahMakarand M. Lokhande.Combined Rule Based-Grey Wolf Optimization Energy Management Algorithm for Emission Reduction of Converted Plug-In Hybrid Electric Vehicle[J].SAE International Journal of Passenger Cars-Electronic and Electrical Systems，2019，12（2）.

[6]彭靖宇.智能網(wǎng)聯(lián)插電式混合動力汽車協(xié)同優(yōu)化能量管理策略研究[D].重慶：重慶大學(xué)，2019.

[7]楊超，杜雪龍，王偉達(dá)，等.智能網(wǎng)聯(lián)環(huán)境下的PHEV實(shí)時優(yōu)化能量管理策略法[J].汽車安全與節(jié)能學(xué)報，2021，12（2）：9.

[8]張松，王坤羽，楊蓉，等.混合動力公交車深度強(qiáng)化學(xué)習(xí)能量管理策略研究[J].2021.

[9]Qi C，Zhu Y，Song C，et al.Self-supervised reinforcement learning-based energy management for a hybrid electric vehicle[J].Journal of Power Sources，2021（Dec.1）：514.

[10]Kong Z，Zou Y，Liu T .Implementation of real-time energy management strategy based on reinforcement learning for hybrid electric vehicles and simulation validation[J].Plos One，2017，12（7）.

[11]王冬黎，高陽，陳世福.強(qiáng)化學(xué)習(xí)綜述[C]//中國人工智能學(xué)會第10屆全國學(xué)術(shù)年會.0[2023-08-23].

[12]賴晨光，龐玉涵，胡博，等.基于深度強(qiáng)化學(xué)習(xí)的混合動力汽車能量管理策略[J].[2023-08-23].