張小俊 沈亮屹 唐鵬 史延雷 李彥辰

（1.河北工業(yè)大學(xué)，天津 300401；2.中國(guó)汽車技術(shù)研究中心有限公司，天津 300300）

主題詞：深度強(qiáng)化學(xué)習(xí) 插電式混合動(dòng)力汽車 能量管理 層歸一化 自適應(yīng)巡航

1 前言

混合動(dòng)力汽車同時(shí)配備電動(dòng)機(jī)和內(nèi)燃機(jī)，在減少能源消耗的同時(shí)可保證較長(zhǎng)的續(xù)航里程，但多動(dòng)力源提高了驅(qū)動(dòng)系統(tǒng)的結(jié)構(gòu)復(fù)雜度，故對(duì)混合動(dòng)力汽車的能量管理策略進(jìn)行研究具有重要意義。

目前，基于規(guī)則的能量管理策略因設(shè)計(jì)簡(jiǎn)單、易于實(shí)現(xiàn)[1-2]而被廣泛應(yīng)用?；谝?guī)則的能量管理策略依賴于一組簡(jiǎn)單的規(guī)則，不需要駕駛條件的先驗(yàn)知識(shí)，且具有很高的魯棒性，但是缺乏靈活性和適應(yīng)性[3]，因而基于優(yōu)化的能量管理策略被提出，動(dòng)態(tài)規(guī)劃算法[4]、模型預(yù)測(cè)控制[5]與等效燃油消耗最小策略[6]是較為常見的方法[7]。但是動(dòng)態(tài)規(guī)劃算法很難應(yīng)用于實(shí)時(shí)問題[8]，而模型預(yù)測(cè)控制與等效燃油消耗最小策略無法對(duì)車速進(jìn)行精準(zhǔn)預(yù)測(cè)。

隨著人工智能技術(shù)的發(fā)展，基于深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning，DRL）的能量管理策略近年受到廣泛關(guān)注。Qi 等人使用深度Q 學(xué)習(xí)（Deep QLearning，DQL）算法對(duì)某混合動(dòng)力汽車的駕駛數(shù)據(jù)進(jìn)行處理，提出了最佳燃料使用策略[9]。Han 等人使用更為精準(zhǔn)的雙Q 學(xué)習(xí)（Double Deep Q-Learning，DDQL）算法解決了DQL 算法的過估計(jì)問題，使得車輛燃油經(jīng)濟(jì)性提高了7.1%[10]。

DQL算法更適用于離散型動(dòng)作，在連續(xù)動(dòng)作的應(yīng)用上稍顯欠缺。王勇等人對(duì)THS 平臺(tái)的混合動(dòng)力汽車建立了后向仿真模型，將更加適用于連續(xù)動(dòng)作的深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法應(yīng)用在此模型中，發(fā)現(xiàn)使用DDPG 算法的車輛燃油經(jīng)濟(jì)性較基于規(guī)則的能量管理策略提升了19%[7]。Fujimoto 等人在DDPG 基礎(chǔ)上進(jìn)行改進(jìn)，得到了雙延遲深度確定性策略梯度（Twin Delayed Deep Deterministic policy gradient，TD3）算法[11]。

目前，基于深度強(qiáng)化學(xué)習(xí)的混合動(dòng)力汽車能量管理研究已經(jīng)取得了一定的成果，但大多建立在后向仿真模型基礎(chǔ)上，很難模擬真實(shí)的駕駛過程。因此，本文對(duì)THS-Ⅲ平臺(tái)的插電式混合動(dòng)力汽車建立前向仿真模型，建立其能量管理的馬爾可夫過程，應(yīng)用DDPG 和TD3算法進(jìn)行能量管理策略研究，并將該策略應(yīng)用于自適應(yīng)巡航工況中，對(duì)基于深度強(qiáng)化學(xué)習(xí)的能量管理策略進(jìn)行驗(yàn)證。

2 THS-Ⅲ平臺(tái)的PHEV模型建立

功率分流式插電式混合動(dòng)力汽車（Plug-in Hybrid Electric Vehicle，PHEV）的結(jié)構(gòu)和控制最為復(fù)雜，THS-Ⅲ平臺(tái)的PHEV 是功率分流型PHEV 的代表[12]。因此本文對(duì)THS-Ⅲ平臺(tái)的PHEV進(jìn)行閉環(huán)前向仿真模型的搭建，以便還原真實(shí)的駕駛過程，優(yōu)化能量管理策略。

2.1 整車模型的建立

前向仿真模型常用于汽車的完整設(shè)計(jì)過程，它可以較大程度地還原車輛的真實(shí)運(yùn)行狀態(tài)，提高仿真的真實(shí)性和可靠性[13]，故本文選擇建立THS-Ⅲ平臺(tái)PHEV的前向仿真模型，其結(jié)構(gòu)如圖1所示。

圖1 車輛前向仿真模型結(jié)構(gòu)示意

THS-Ⅲ平臺(tái)插電式混合動(dòng)力汽車結(jié)構(gòu)如圖2 所示，它主要由發(fā)動(dòng)機(jī)、電動(dòng)機(jī)、發(fā)電機(jī)、電池和功率分流機(jī)構(gòu)組成。發(fā)動(dòng)機(jī)、電動(dòng)機(jī)和發(fā)電機(jī)通過2個(gè)行星齒輪和動(dòng)力耦合裝置將動(dòng)力傳輸至差速器，通過車橋驅(qū)動(dòng)汽車。

圖2 THS-Ⅲ平臺(tái)插電式混合動(dòng)力汽車結(jié)構(gòu)

2.2 車輛主要參數(shù)和約束條件

發(fā)動(dòng)機(jī)萬有特性曲線如圖3所示，本文的發(fā)動(dòng)機(jī)工作點(diǎn)均在圖中最佳燃油消耗率曲線上。

圖3 發(fā)動(dòng)機(jī)萬有特性

通過圖3可以得到燃油消耗率mf，通過查表可以得到發(fā)電機(jī)效率ηm和電動(dòng)機(jī)效率ηg：

式中，ωeng、Teng分別為發(fā)動(dòng)機(jī)轉(zhuǎn)速和轉(zhuǎn)矩；σeng為發(fā)動(dòng)機(jī)查表函數(shù)；ωm、Tm分別為電動(dòng)機(jī)轉(zhuǎn)速和轉(zhuǎn)矩；σm為電動(dòng)機(jī)查表函數(shù)；ωg、Tg分別為發(fā)電機(jī)轉(zhuǎn)速和轉(zhuǎn)矩；σg為發(fā)電機(jī)查表函數(shù)。

閉環(huán)前向仿真模型通過駕駛員模型來模擬真實(shí)的油門踏板和制動(dòng)踏板開度。通過油門踏板開度可以得到車輛所需的總功率Pr，功率流平衡方程滿足：

式中，Peng、Pele分別為發(fā)動(dòng)機(jī)和電動(dòng)機(jī)的功率。

出于安全考慮，車輛電池的荷電狀態(tài)（State of Charge，SOC）應(yīng)限制在[0.3,0.8]范圍內(nèi)。車輛的ωeng、ωm、ωg、Teng、Tm、Tg等參數(shù)均應(yīng)滿足自身的約束條件，車輛主要參數(shù)如表1所示。

表1 車輛主要參數(shù)

3 深度強(qiáng)化學(xué)習(xí)

深度強(qiáng)化學(xué)習(xí)（DRL）的出現(xiàn)為人工智能的實(shí)現(xiàn)提供了理論基礎(chǔ)。一方面，深度學(xué)習(xí)對(duì)策略和狀態(tài)具有強(qiáng)大的表征能力，能夠用于模擬復(fù)雜的決策過程；另一方面，強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）賦予智能體自監(jiān)督學(xué)習(xí)能力，使其能夠自主地與環(huán)境交互，在試錯(cuò)中不斷進(jìn)步[14]。

3.1 馬爾可夫決策過程

馬爾可夫決策過程（Markov Decision Process，MDP）是深度強(qiáng)化學(xué)習(xí)的理論基礎(chǔ)，適用于解決序列決策問題。用元組(S,A,P,R,γ)來描述馬爾可夫決策過程，其中S為有限的狀態(tài)集合，A為有限的動(dòng)作集合，P為狀態(tài)轉(zhuǎn)移概率，R為獎(jiǎng)勵(lì)函數(shù)，γ為折扣因子。馬爾可夫性是指系統(tǒng)的下一個(gè)狀態(tài)只與當(dāng)前狀態(tài)有關(guān)，而與歷史狀態(tài)無關(guān)，其數(shù)學(xué)描述可表示為：

在式（5）的狀態(tài)轉(zhuǎn)移過程中會(huì)產(chǎn)生獎(jiǎng)勵(lì)函數(shù)R，在給定一個(gè)策略π的前提下，智能體累積獲得的獎(jiǎng)勵(lì)Gt為：

式中，γk為折扣因子；Rt+1+k為(t+1)時(shí)刻的即時(shí)獎(jiǎng)勵(lì)函數(shù)。

本文希望智能體能夠與其所處的環(huán)境進(jìn)行交互，根據(jù)環(huán)境反饋來學(xué)習(xí)最佳行為，并通過反復(fù)試驗(yàn)不斷改進(jìn)行動(dòng)策略，選擇累計(jì)回報(bào)值最大的策略：

式中，π(s,a)為策略函數(shù)；E為均值函數(shù)。

為了獲得最優(yōu)策略，需要對(duì)每個(gè)動(dòng)作的價(jià)值進(jìn)行評(píng)估：

式中，Rt+1為(t+1)時(shí)刻的即時(shí)獎(jiǎng)勵(lì)；Q(St+1,At+1)為(t+1)時(shí)刻的Q值；Eπ為采取π策略下的均值函數(shù)；Qπ(s,a)為采取策略π時(shí)，在s狀態(tài)下采取動(dòng)作a的價(jià)值。

在深度強(qiáng)化學(xué)習(xí)中，可以利用神經(jīng)網(wǎng)絡(luò)的強(qiáng)大表征能力來代替?zhèn)鹘y(tǒng)強(qiáng)化學(xué)習(xí)中的Q表，通過更新神經(jīng)網(wǎng)絡(luò)中的參數(shù)θ表示某一動(dòng)作的Q值，得到每個(gè)狀態(tài)的最佳Q值：

式中，Q*(s,a)為s狀態(tài)下的最佳Q值。

通過最大化Q值，產(chǎn)生最佳策略π*(s,a)：

式中，π*(s,a)為在s狀態(tài)下的最佳策略。

3.2 層歸一化與深度強(qiáng)化學(xué)習(xí)

在監(jiān)督學(xué)習(xí)中，數(shù)據(jù)歸一化可以縮短訓(xùn)練時(shí)間、提升網(wǎng)絡(luò)穩(wěn)定性[15]。在深度強(qiáng)化學(xué)習(xí)中，層歸一化（Layer Normalization，LN）已應(yīng)用于分布式深度確定性梯度策略（Distributed Distributional DDPG，D4PG）和近端策略優(yōu)化（Proximal Policy Optimization，PPO）算法[16-17]。Bhatt等人將層歸一化與DDPG算法進(jìn)行融合，在某些環(huán)境下的訓(xùn)練中獲得了良好效果[18]。

層歸一化針對(duì)單個(gè)訓(xùn)練樣本進(jìn)行，不依賴于其他數(shù)據(jù)，將輸入的元素xi歸一化為

將歸一化層加入到演員（Actor）網(wǎng)絡(luò)和評(píng)論家（Critic）網(wǎng)絡(luò)的輸入層，如圖4所示。

圖4 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

3.3 DDPG與TD3算法

DeepMind 團(tuán)隊(duì)基于演員-評(píng)論家（Actor-Critic）算法框架，結(jié)合確定策略梯度（Deterministic Policy Gradient，DPG）開發(fā)出DDPG 算法。基于確定策略梯度的深度強(qiáng)化學(xué)習(xí)算法優(yōu)點(diǎn)在于需要采樣的數(shù)據(jù)少、算法效率高[19]，這種特點(diǎn)適用于車載計(jì)算平臺(tái)。在DDPG 算法中有演員和評(píng)論家2個(gè)網(wǎng)絡(luò)，演員網(wǎng)絡(luò)近似表示策略函數(shù)，其輸入為狀態(tài)s，輸出為動(dòng)作a，表示為：

為了保證確定性策略的探索性，需要在策略動(dòng)作中加入噪聲ψ，則策略函數(shù)為：

評(píng)論家網(wǎng)絡(luò)用來近似價(jià)值函數(shù)，輸入為狀態(tài)s和動(dòng)作a，輸出為Q值。評(píng)論家網(wǎng)絡(luò)采用最小化損失函數(shù)來更新網(wǎng)絡(luò)：

其中：

DDPG 中引入演員目標(biāo)網(wǎng)絡(luò)和評(píng)論家目標(biāo)網(wǎng)絡(luò)來提高訓(xùn)練的穩(wěn)定性。目標(biāo)網(wǎng)絡(luò)的更新方式為：

Fujimoto[11]在DDPG 算法的基礎(chǔ)上進(jìn)行改進(jìn)得到TD3算法。Fujimoto發(fā)現(xiàn)DDPG的算法中存在價(jià)值估計(jì)過高的問題，并引入DDQL 的思想將DDPG 中的式（15）改為：

式中，ε～clip(N(0,σ),-c,c)為clip 參數(shù)；N(0,σ)表示期望為0，標(biāo)準(zhǔn)差為σ的高斯分布；c為目標(biāo)平滑范圍。

式（17）解決了DDPG的過估計(jì)和峰值故障問題，并對(duì)目標(biāo)策略進(jìn)行平滑處理。

此外，在TD3 中，演員網(wǎng)絡(luò)的參數(shù)更新頻率低于評(píng)論家網(wǎng)絡(luò)的更新頻率，降低了DDPG中由于策略的更新導(dǎo)致的目標(biāo)變化所帶來的波動(dòng)性。

3.4 基于深度強(qiáng)化學(xué)習(xí)的能量管理策略

本文將深度強(qiáng)化學(xué)習(xí)算法應(yīng)用在THS-Ⅲ平臺(tái)PHEV 的能量管理中，智能體分別采用DDPG 和TD3算法，外部交互環(huán)境為車輛模型，整體框架如圖5所示。

圖5 基于深度強(qiáng)化學(xué)習(xí)的能量管理策略框架

馬爾可夫決策過程中的狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)值的定義在基于深度強(qiáng)化學(xué)習(xí)的混合動(dòng)力汽車能量管理中極其關(guān)鍵。

a.狀態(tài)的定義。從算法的穩(wěn)定性和收斂性角度考慮，本文僅選取較為關(guān)鍵的狀態(tài)，狀態(tài)S可表示為：

式中，v為車輛速度；SSOC為荷電狀態(tài)；d為車輛行駛里程。

b.動(dòng)作的定義。前向仿真模型通過駕駛員模型控制踏板開度并計(jì)算當(dāng)前總功率需求Pr，通過A={a=[η]T}將Pr分配給發(fā)動(dòng)機(jī)和電動(dòng)機(jī)：

式中，η∈[0,1]為功率分配系數(shù)。

c.獎(jiǎng)勵(lì)值的定義。獎(jiǎng)勵(lì)值決定馬爾可夫決策過程的解，且影響收斂精度和收斂速度。強(qiáng)化學(xué)習(xí)算法的目標(biāo)是獲取最大的預(yù)期累計(jì)獎(jiǎng)勵(lì)值，本文設(shè)定即時(shí)獎(jiǎng)勵(lì)值為時(shí)間步長(zhǎng)內(nèi)燃油消耗量與電量消耗的總花費(fèi)之和的相反數(shù)，即時(shí)獎(jiǎng)勵(lì)值r(s,a)為：

累計(jì)回報(bào)Gt為：

式中，mt為t時(shí)刻的燃油消耗量；pfuel為燃油價(jià)格；Et為t時(shí)刻的電能消耗量；pele為電價(jià)。

4 訓(xùn)練數(shù)據(jù)的準(zhǔn)備

圖6所示為數(shù)據(jù)訓(xùn)練過程：首先使用工況數(shù)據(jù)對(duì)控制策略進(jìn)行離線訓(xùn)練，然后將訓(xùn)練好的策略下載到控制器中進(jìn)行在線學(xué)習(xí)。

圖6 數(shù)據(jù)訓(xùn)練過程

4.1 典型工況

新歐洲駕駛循環(huán)（New European Driving Cycle，NEDC）工況是一種經(jīng)典的測(cè)試工況，但其測(cè)試有非常大的局限性，在新能源汽車的測(cè)試中尤為明顯。GB 19578—2021《乘用車燃料消耗量限值》[20]規(guī)定使用全球統(tǒng)一輕型車輛測(cè)試循環(huán)（Worldwide Light-duty Test Cycle，WLTC）工況代替NEDC 工況。與NEDC 工況相比，WLTC 工況引入了更多的瞬態(tài)過程，勻速比例降低，加速和減速更為頻繁，有利于評(píng)價(jià)車輛在瞬態(tài)工況和高速工況下的能源消耗和排放水平[21]。本文采用WLTC-Class3工況，如圖7所示，主要參數(shù)如表2所示。

圖7 WLTC-Class3工況

表2 WLTC-Class3工況主要參數(shù)

4.2 ACC-60工況

本文將車輛的自適應(yīng)巡航控制（Adaptive Cruise Control，ACC）與基于深度強(qiáng)化學(xué)習(xí)的能量管理策略相結(jié)合，并設(shè)定巡航速度為60 km/h，提出一種新的工況，即ACC-60工況。相比于訓(xùn)練單純的傳統(tǒng)工況，與車輛真實(shí)功能的結(jié)合將促進(jìn)基于深度強(qiáng)化學(xué)習(xí)的能量管理的實(shí)際應(yīng)用。

本文通過MATLAB 中的自動(dòng)駕駛工具箱建立相關(guān)的道路和車輛環(huán)境。通過Simulink搭建ACC算法，并將巡航速度設(shè)置為60 km/h。該環(huán)境與控制算法能夠較好地還原車輛在ACC狀態(tài)下的速度變化情況。相關(guān)工況如圖8所示，主要參數(shù)如表3所示。

圖8 ACC-60工況

5 仿真分析

通過WLTC-Class3 和ACC-60 工況對(duì)基于深度強(qiáng)化學(xué)習(xí)的能量管理策略進(jìn)行仿真驗(yàn)證和結(jié)果分析。

5.1 算法驗(yàn)證

為了匹配工況和車輛的行駛數(shù)據(jù)，將仿真工況設(shè)定為2 個(gè)WLTC-Class3 循環(huán)和5 個(gè)ACC-60 循環(huán)。圖9 所示分別為WLTC-Class3和ACC-60在100個(gè)回合內(nèi)的訓(xùn)練結(jié)果，可以看出，無論哪種工況和算法，加入層歸一化均有助于算法的穩(wěn)定和收斂。

圖9 不同策略和工況下的訓(xùn)練結(jié)果

圖10 所示為在2 種訓(xùn)練工況下帶有層歸一化的雙延遲深度確定性梯度策略（TD3(LN)）和帶有層歸一化的深度確定性梯度策略（DDPG(LN)）算法的對(duì)比?？梢钥闯?，二者在收斂過程和最終收斂值上區(qū)別不大。雖然TD3為DDPG的改進(jìn)算法，但二者基本原理一致，TD3雖然有助于提高網(wǎng)絡(luò)收斂的穩(wěn)定性，但是在本文中DDPG也可以實(shí)現(xiàn)很好的收斂效果，而且DDPG相比于TD3擁有更為簡(jiǎn)單的網(wǎng)絡(luò)架構(gòu)，計(jì)算成本更低[11]。

圖10 TD3(LN)和DDPG(LN)算法訓(xùn)練結(jié)果對(duì)比

5.2 仿真結(jié)果分析

圖11 所示為2 種工況下不同算法的車輛SOC 隨時(shí)間變化趨勢(shì)的對(duì)比?？梢园l(fā)現(xiàn)，DDPG(LN)和TD3(LN)算法產(chǎn)生的變化趨勢(shì)非常近似。另外，修改基于規(guī)則算法中的參數(shù)，使其SOC在[0.3,0.8]的范圍內(nèi)。

圖11 2種工況下SOC隨時(shí)間的變化情況

表4和表5所示分別為WLTC-Class3和ACC-60工況的仿真結(jié)果。以DDPG(LN)為例，可以得出，基于深度強(qiáng)化學(xué)習(xí)的能量管理策略在WLTC-Class3 工況下比基于規(guī)則的能量管理策略總花費(fèi)節(jié)省了16.51%，燃油消耗量下降了15.56%，而在ACC-60 工況下比基于規(guī)則的能量管理策略總花費(fèi)節(jié)省了31.95%，燃油消耗量下降了29.96%。在2 種工況中，與動(dòng)態(tài)規(guī)劃（Dynamic Programming，DP）算法相比，總花費(fèi)差距僅為1.7%和0.4%。

表4 WLTC-Class3工況仿真結(jié)果

表5 ACC-60工況仿真結(jié)果

圖12 和圖13 所示分別為2 種工況下的電動(dòng)機(jī)功率和轉(zhuǎn)矩隨時(shí)間的變化曲線。可以看出，基于深度強(qiáng)化學(xué)習(xí)的能量管理策略比基于規(guī)則的策略將更多的功率和轉(zhuǎn)矩分配給了電動(dòng)機(jī)，節(jié)省了燃油。另外，在動(dòng)力電池能量超出安全范圍被限制使用后，車輛可以利用制動(dòng)能回收技術(shù)對(duì)動(dòng)力電池進(jìn)行充電，進(jìn)一步節(jié)約費(fèi)用。

圖12 2種工況下電動(dòng)機(jī)功率隨時(shí)間的變化

圖13 2種工況下電動(dòng)機(jī)轉(zhuǎn)矩隨時(shí)間的變化

6 結(jié)束語

本文基于MATLAB/Simulink 建立前向仿真車輛模型，通過對(duì)車輛能量管理MDP過程建模，將深度強(qiáng)化學(xué)習(xí)算法應(yīng)用到THS-Ⅲ平臺(tái)的混合動(dòng)力汽車中，并得到如下結(jié)論：

a.加入層歸一化的DDPG(LN)和TD3(LN)算法更加穩(wěn)定，有助于算法的收斂。DDPG(LN)和TD3(LN)算法收斂數(shù)值和產(chǎn)生的策略非常相似，但DDPG(LN)的計(jì)算成本更低。

b.基于深度強(qiáng)化學(xué)習(xí)的能量管理策略不僅可以節(jié)省一定的費(fèi)用，并且可以減少燃油消耗量，有助于保護(hù)環(huán)境。

c.在WLTC-Class3 工況下，DDPG(LN)和TD3(LN)算法都表現(xiàn)出很好的適應(yīng)性。此外，2種算法在自行建立的ACC-60工況下也表現(xiàn)良好，表明其可以與車輛自適應(yīng)巡航控制很好地結(jié)合，這將有助于基于深度強(qiáng)化學(xué)習(xí)的能量管理策略的實(shí)際應(yīng)用。