李永穎,張振東,朱順良

(1.上海理工大學(xué)，機(jī)械工程學(xué)院，上海 200093; 2.國(guó)家機(jī)動(dòng)車產(chǎn)品質(zhì)量檢測(cè)與監(jiān)督中心，新能源研究所，上海 201800)

0 引言

電動(dòng)汽車動(dòng)力電池的電荷狀態(tài)(State of Charge, SOC)、健康狀態(tài)(State of Health, SOH)、峰值功率(State-of-power, SOP)、能量狀態(tài) (State of Energy，SOE)、剩余壽命(Residual Life, RUL)等參數(shù)是電池管理系統(tǒng)BMS(Battery Management System)對(duì)動(dòng)力電池進(jìn)行實(shí)時(shí)狀態(tài)分析的支撐。動(dòng)力電池電化學(xué)反應(yīng)過(guò)程復(fù)雜，受到溫度、濕度、老化等諸多因素的共同影響，具有不確定性，其數(shù)學(xué)建模涉及多學(xué)科和多領(lǐng)域，一直是學(xué)術(shù)界和工業(yè)界研究的難點(diǎn)和重點(diǎn)[1]。神經(jīng)網(wǎng)絡(luò)模型具有很好的非線性逼近能力，在處理非線性時(shí)變問(wèn)題上具有巨大優(yōu)勢(shì)。蔡信等[2]利用ADVISOR仿真數(shù)據(jù)對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行SOC估計(jì)，結(jié)果表明模型的估計(jì)值和輸出值之間的誤差為4%左右。蘇振浩等[3]使用經(jīng)過(guò)等效電路模型修正后的數(shù)據(jù)對(duì)雙隱層BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與SOC預(yù)測(cè)，證明了人工神經(jīng)網(wǎng)絡(luò)模型對(duì)SOC估算的有效性。劉征宇等[4]基于量子微粒群算法(QPSO)的BP神經(jīng)網(wǎng)絡(luò)模型用于SOC預(yù)測(cè)，結(jié)果表明此方法比現(xiàn)有的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法準(zhǔn)確度更高，且具備很好的實(shí)用性。JOHNSONVH[5]基于ADVISOR平臺(tái)建立一個(gè)雙隱層神經(jīng)網(wǎng)絡(luò)的電池模型。用電池負(fù)載功率和 SOC輸入到模型，輸出為電流和電壓。針對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法困難、模型運(yùn)算時(shí)間較長(zhǎng)、對(duì)芯片運(yùn)算能力要求高等原因降低其實(shí)用性的問(wèn)題。在這里提出了能有效減少模型運(yùn)算時(shí)間的訓(xùn)練算法和基于數(shù)學(xué)規(guī)劃的神經(jīng)網(wǎng)絡(luò)模型構(gòu)架設(shè)計(jì)方法。為神經(jīng)網(wǎng)絡(luò)對(duì)電池狀態(tài)估計(jì)的工程應(yīng)用提供一個(gè)解決方案，具有參考價(jià)值。

1 前饋神經(jīng)網(wǎng)絡(luò)模型構(gòu)架設(shè)計(jì)

模型深度和寬度的選擇是一個(gè)非常復(fù)雜的問(wèn)題，目前并沒(méi)有理論的指導(dǎo)，沒(méi)有一個(gè)好的解析式來(lái)表示。隱藏層單元數(shù)目與問(wèn)題的需求、輸入、輸出單元數(shù)都有直接的關(guān)系。一般情況下僅能靠經(jīng)驗(yàn)來(lái)確定模型的寬度和深度。

關(guān)于BP神經(jīng)網(wǎng)絡(luò)的隱藏層的設(shè)計(jì)有以下幾種設(shè)計(jì)經(jīng)驗(yàn)參考：

1)1987年Hechtnielsen[6]提出隱藏層節(jié)點(diǎn)的數(shù)目為2n+1，式中n為輸入的節(jié)點(diǎn)數(shù)。

2)1988年Liu W[7]根據(jù)實(shí)驗(yàn)發(fā)現(xiàn)，在高維輸入時(shí)，第一隱藏層對(duì)第二隱藏層的最佳節(jié)點(diǎn)比列為3:1。

3)1990年Nelson和Illingworth[8]建議隱藏層節(jié)點(diǎn)數(shù)應(yīng)為4n。

4)隱含層的的節(jié)點(diǎn)數(shù)設(shè)計(jì)經(jīng)驗(yàn)公式[9]:

(1)

式中,n為輸入層神經(jīng)元數(shù)目；m為輸出層神經(jīng)數(shù)目；d為 1～10 之間的整數(shù)。

5)最佳隱藏層單元數(shù)可參照以下公式[10]:

l

(2)

l=log2n

(3)

式中,n為輸入層單元數(shù)。

根據(jù)實(shí)驗(yàn)數(shù)據(jù)，采用數(shù)學(xué)規(guī)劃的思想對(duì)神經(jīng)網(wǎng)絡(luò)構(gòu)架進(jìn)行選擇。取模型訓(xùn)練至預(yù)測(cè)時(shí)間稱為運(yùn)算時(shí)間Ct，及每個(gè)預(yù)測(cè)點(diǎn)的平均絕對(duì)誤差Ess為性能指標(biāo)。Ess計(jì)算公式如式(4)。Ct與CUP性能、模型結(jié)構(gòu)及算法等有關(guān)，運(yùn)算時(shí)間Ct和平均絕對(duì)誤差Ess作為設(shè)計(jì)模型的重要參考。

(4)

可以建立多目標(biāo)線性規(guī)劃模型來(lái)選擇最優(yōu)模型。其數(shù)學(xué)模型如下：

minCt

(5)

minEss

(6)

s.t.

0≤Ct≤max(Cti)

0≤Ess≤max(Essi)

式中,i是按模型隱含層數(shù)劃分的模型序號(hào)(i=1,…,5)。

Hornik, Cybenko等[11-13]表明，一個(gè)前饋神經(jīng)網(wǎng)絡(luò)如果具有線性輸出層和至少一層具有任何一種“擠壓”性質(zhì)的激活函數(shù)的隱藏層，只要給予網(wǎng)絡(luò)足夠數(shù)量的隱藏單元，它可以以任意精度來(lái)近似任何一個(gè)有限維空間到另一個(gè)有限維空間的Borel函數(shù)。

在網(wǎng)絡(luò)結(jié)構(gòu)和閾值相同的情況下，BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差和均方誤差、輸出單元激活函數(shù)的關(guān)系如表1[14]所示。隱含層和輸出層激活函數(shù)的選擇對(duì)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度有較大的影響。

在權(quán)衡收斂速度和預(yù)測(cè)誤差后，用tan sig函數(shù)為隱藏層激活函數(shù)，purelin函數(shù)為輸出層激活函數(shù)，它們的表達(dá)式為：

(7)

purelin(x)=x

(8)

tan sig和purelin函數(shù)圖形如圖1。tansig函數(shù)具有“擠壓性質(zhì)”。

圖1 激活函數(shù)圖形

tansig函數(shù)導(dǎo)數(shù)為：

(9)

式中,a為常數(shù)，tansig函數(shù)導(dǎo)數(shù)的這個(gè)性質(zhì)將導(dǎo)數(shù)運(yùn)算轉(zhuǎn)換為乘法運(yùn)算可以節(jié)省大量的計(jì)算時(shí)間，同時(shí)也提高了運(yùn)算精度。

2 模型優(yōu)化算法

2.1 模型訓(xùn)練算法

雖然隨機(jī)梯度下降(SGD)在一般的機(jī)器學(xué)習(xí)中是應(yīng)用最多的優(yōu)化算法，特別是在深度學(xué)習(xí)中，但其學(xué)習(xí)過(guò)程有時(shí)會(huì)很慢。動(dòng)量方法可以加速學(xué)習(xí)，特別是處理高曲率、小但一致的梯度，或者是帶有噪聲的梯度。隨機(jī)梯度下降和動(dòng)量方法的結(jié)合，有利于神經(jīng)網(wǎng)絡(luò)性能的提升。Nesterov動(dòng)量算法[15]，是帶動(dòng)量的隨機(jī)梯度下降算法，在凸批量梯度的情況下，Nesterov動(dòng)量將額外誤差收斂率從O(1/k)(k步后)改進(jìn)到O(1/k2)，有效減少了神經(jīng)網(wǎng)絡(luò)陷入局部最小值的風(fēng)險(xiǎn)。使用粒子群算法對(duì)權(quán)值和閾值優(yōu)化，有效的提高了模型的泛化性能。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率的取值在[0,1]之間，學(xué)習(xí)率越大，對(duì)閾值的修改就越大，網(wǎng)絡(luò)學(xué)習(xí)速度越快。但是過(guò)大的學(xué)習(xí)率將使閾值學(xué)習(xí)過(guò)程產(chǎn)生震蕩，過(guò)小的學(xué)習(xí)率使網(wǎng)絡(luò)收斂慢，閾值難以穩(wěn)定。變學(xué)習(xí)率在BP神經(jīng)網(wǎng)絡(luò)進(jìn)化初期較大，網(wǎng)絡(luò)收斂迅速，隨著學(xué)習(xí)過(guò)程的進(jìn)行，學(xué)習(xí)率不斷減小，網(wǎng)絡(luò)趨于穩(wěn)定。變學(xué)習(xí)率計(jì)算公式為：

(10)

基于上述深度神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)優(yōu)化算法Nesterov動(dòng)量算法和參數(shù)初始化算法RMSProp算法[16]，兩者相結(jié)合，在此基礎(chǔ)增加了變學(xué)習(xí)率算法得到模型訓(xùn)練算法如下所示，式中用符號(hào)?表示Hadamard乘積。

基于Nesterov動(dòng)量的RMSProp變學(xué)習(xí)率算法：

Resquire：全局衰減率ρ，動(dòng)量參數(shù)α

Resquire：初始參數(shù)θ、學(xué)習(xí)率、速度v，初始累計(jì)變量γ=0

while 沒(méi)有到達(dá)停止準(zhǔn)則 do

從訓(xùn)練集中采含m個(gè)樣本{x1,x2,…,xm}的小批量，對(duì)應(yīng)目標(biāo)為yi。

累計(jì)平方梯度：γ←ργ+(1-ρ)g?g

權(quán)值/閾值更新：θ←θ+v

end

2.2 模型參數(shù)優(yōu)化算法

粒子群優(yōu)化[17](Particle Swarm Optimization，PSO)算法是由Kennedy 和 Eberhart在1995年在受到鳥(niǎo)類覓食現(xiàn)象啟發(fā)，提出的一種全局智能隨機(jī)優(yōu)化算法。PSO算法，每只鳥(niǎo)”被看作一個(gè)“粒子”。在R維解空間中第i個(gè)粒子的位置可表示為pi=(pi1，pi2,…,piR);第i個(gè)粒子的速度表示為vi=(vi1,vi2, …,viR)。第i個(gè)粒子在空間飛行路線中的最好點(diǎn)表示為ti= (ti1，ti2，…，tiR)；粒子群內(nèi)部所有粒子飛行過(guò)的最好的點(diǎn)表示為tg=(tb1，tb2，…，tbF)，粒子群的每個(gè)粒子的速度和位置更新迭代公式為：

(11)

(12)

式中,wi為慣性權(quán)重，r1和r2為0到1的隨機(jī)數(shù)，c1為局部學(xué)習(xí)因子、c2為全局學(xué)習(xí)因子。

對(duì)模型參數(shù)使用粒子群算法優(yōu)化，避免了目標(biāo)函數(shù)陷入局部最小值的風(fēng)險(xiǎn)，同時(shí)也提高了模型的訓(xùn)練速度和泛化性能。

2.3 過(guò)擬合優(yōu)化措施

過(guò)擬合(overfitting)是神經(jīng)網(wǎng)絡(luò)模型不可避免的，目前有兩種常用于緩解神經(jīng)網(wǎng)絡(luò)過(guò)擬合的方法，第一種策略是“早?！?early stopping):將數(shù)據(jù)分成訓(xùn)練集和測(cè)試集，訓(xùn)練集用來(lái)計(jì)算梯度、更新權(quán)值和閾值，驗(yàn)證集用來(lái)估計(jì)誤差，若訓(xùn)練集誤差低但測(cè)試集誤差升高，則停止訓(xùn)練，同時(shí)返回具有最小驗(yàn)證集誤差權(quán)值和閾值。第二種策略是”正則化”(regularization)[10],其基本思想是在誤差目標(biāo)函數(shù)中增加一個(gè)用于描述網(wǎng)絡(luò)復(fù)雜度的部分。

3 模型優(yōu)化算法數(shù)學(xué)證明

總優(yōu)化算法流程如圖2所示。

圖2 模型算法流程

給定訓(xùn)練集D={(x1,y1),(x2,y2),…,(xm,ym)}xi∈Rs×m,yi∈Rn×m,即輸入示例有s個(gè)特征屬性描述，輸出n×m實(shí)值矩陣?；贜esterov動(dòng)量的RMSProp變學(xué)習(xí)率算法參數(shù)迭代更新公式推導(dǎo)如下，符號(hào)說(shuō)明如表2。

表2 符號(hào)說(shuō)明

對(duì)訓(xùn)練集(xk,yk)假定網(wǎng)絡(luò)輸出為:

(11)

網(wǎng)絡(luò)在訓(xùn)練集(xk,yk)的均方誤差為：

(12)

參數(shù)更新估計(jì)式為：

Δθ=θ+v

(13)

以隱藏層到輸出層的連接權(quán)值whj例來(lái)推導(dǎo)。給初始學(xué)習(xí)率，有：

Δwhj=-

(14)

臨時(shí)更新：

(15)

(16)

根據(jù)uj的定義，顯然有：

(17)

輸出層使用purelin函數(shù)，由式(11)和(12)有：

(13)

累計(jì)梯度：

rhj=ρrhj+(1-ρ)gj·gj

(14)

速度更新：

(15)

得連接權(quán)值whj更新公式：

(16)

類似可以得到其閾值的更新公式：

(17)

4 前饋神經(jīng)網(wǎng)絡(luò)SOC估計(jì)結(jié)果與分析

模型的輸入為負(fù)載功率P、電流I、溫度T及隨機(jī)干擾信號(hào)D，輸出為SOC預(yù)測(cè)值。訓(xùn)練數(shù)據(jù)采用溫度為20℃下，純電動(dòng)車整車在CYC_NEDC(新歐洲行駛循環(huán))工況下的8次循環(huán)中電池包的電流、負(fù)載功率、溫度的0.1 s采樣值，使用經(jīng)預(yù)處理的15 381個(gè)高質(zhì)量數(shù)據(jù)樣本對(duì)模型進(jìn)行訓(xùn)練和預(yù)測(cè)。整車參數(shù)如表3。8次新歐洲行駛工況曲線如圖3，其對(duì)應(yīng)的電池組參數(shù)變化曲線如圖4，可看出SOC變化是高度非線性，并且受到老化、溫度等多因素影響。使用如圖5所示的干擾信號(hào)模擬隨機(jī)因素對(duì)SOC估計(jì)的干擾。

表3 整車技術(shù)參數(shù)

運(yùn)算時(shí)間在Intel(R)Core(TM)i7-4510U CUP@2GHz處理器，Matlab平臺(tái)上對(duì)對(duì)電池包實(shí)驗(yàn)數(shù)據(jù)進(jìn)行訓(xùn)練和預(yù)測(cè)所計(jì)算得到，因?yàn)椴煌男酒\(yùn)算性能不同，SOC預(yù)測(cè)時(shí)間也不同，但是模型的優(yōu)化效果具有相同的趨勢(shì)，這里對(duì)模型運(yùn)算時(shí)間進(jìn)行定性分析。

圖3 8次CYC_NEDC循環(huán)工況曲線圖

圖4 電池組參數(shù)變化曲線

圖5 隨機(jī)干擾信號(hào)

參考神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)經(jīng)驗(yàn)并根據(jù)實(shí)驗(yàn)數(shù)據(jù)，利用多目標(biāo)數(shù)學(xué)規(guī)劃選擇出不同深度的神經(jīng)網(wǎng)絡(luò)最優(yōu)構(gòu)架。由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)存在不穩(wěn)定性，即每次訓(xùn)練和預(yù)測(cè)的結(jié)果存在細(xì)微差別，故每個(gè)構(gòu)架進(jìn)行多次訓(xùn)練和預(yù)測(cè)，對(duì)運(yùn)算時(shí)間和平均絕對(duì)誤差取平均值。采用傳統(tǒng)Levenberg_Marquardt的BP訓(xùn)練算法作對(duì)比，其優(yōu)化效果如表4所示，經(jīng)過(guò)粒子群算法和基于Nesterov動(dòng)量的RMSProp變學(xué)習(xí)率訓(xùn)練算法優(yōu)化后，在保證SOC平均絕對(duì)誤差滿足工程要求的前提下，有效減少了運(yùn)算時(shí)間，特別是單元數(shù)多的構(gòu)架，這證明這套模型優(yōu)化方法能快速找到最優(yōu)的模型參數(shù)，減少迭代次數(shù)，從而減少運(yùn)算時(shí)間，并且設(shè)計(jì)出的最優(yōu)構(gòu)架結(jié)構(gòu)簡(jiǎn)單、SOC預(yù)測(cè)精度高，具有一定的參考價(jià)值。

表4 不同模型架構(gòu)的優(yōu)化效果

由不同構(gòu)架的神經(jīng)網(wǎng)絡(luò)對(duì)電池SOC估計(jì)的結(jié)果分析，同一深度前饋神經(jīng)網(wǎng)絡(luò)SOC預(yù)測(cè)精度隨著單元數(shù)的增多而減少，但是運(yùn)算時(shí)間也增加。預(yù)測(cè)精度隨著網(wǎng)絡(luò)深度的增加而減少，運(yùn)算時(shí)間增加。因此，在相同輸入輸出數(shù)據(jù)集條件下，神經(jīng)網(wǎng)絡(luò)運(yùn)算時(shí)間與模型訓(xùn)練算法、模型構(gòu)架和芯片性能有關(guān)。

根據(jù)行業(yè)標(biāo)準(zhǔn)，考慮到SOC估算時(shí)間及其平均絕對(duì)誤差，還有模型結(jié)構(gòu)復(fù)雜度和可靠性。選擇優(yōu)化后的雙隱層，構(gòu)架為[4 2 3 1]的神經(jīng)網(wǎng)絡(luò)模型作為鋰電池SOC的估算模型，運(yùn)算時(shí)間為0.460 7秒，SOC預(yù)測(cè)平均絕對(duì)誤差為0.129 0，擬合曲線如圖6所示,R值在每次運(yùn)算時(shí)都能達(dá)到0.9，接近1，可見(jiàn)該模型穩(wěn)定性高，預(yù)測(cè)精度可靠。并且期迭代77次左右時(shí)，殘差已經(jīng)收斂，達(dá)到期望誤差。如果搭載神經(jīng)網(wǎng)絡(luò)專用芯片或性能更高的芯片，運(yùn)算時(shí)間會(huì)進(jìn)一步減少，實(shí)時(shí)預(yù)測(cè)成為可能。

圖6 雙隱層最優(yōu)構(gòu)架回歸曲線圖

分別使用同樣的數(shù)據(jù)集，對(duì)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBF)、廣義回歸神經(jīng)網(wǎng)絡(luò)(GRNN)和Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和預(yù)測(cè)，結(jié)果如圖7所示。由圖可以看出由于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，結(jié)合上述優(yōu)化算法，使其在動(dòng)力電池狀態(tài)估計(jì)上比其他常見(jiàn)的神經(jīng)網(wǎng)絡(luò)模型具有更少的運(yùn)算時(shí)間和較好的預(yù)測(cè)精度。證明經(jīng)過(guò)優(yōu)化后的雙隱層BP神經(jīng)網(wǎng)絡(luò)具有更好的工程實(shí)用性。

圖7 常見(jiàn)神經(jīng)網(wǎng)絡(luò)模型SOC估計(jì)對(duì)比圖

5 結(jié)論

由整車實(shí)驗(yàn)數(shù)據(jù)，參考BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)經(jīng)驗(yàn)，研究更深的神經(jīng)網(wǎng)絡(luò)模型構(gòu)架設(shè)計(jì)，對(duì)不同構(gòu)架的神經(jīng)網(wǎng)絡(luò)進(jìn)行了性能分析。針對(duì)這類模型SOC估計(jì)運(yùn)算時(shí)間長(zhǎng)、構(gòu)架設(shè)計(jì)困難、對(duì)芯片性能要求高、無(wú)法實(shí)時(shí)預(yù)測(cè)等困難，使用能有效減少模型運(yùn)算時(shí)間的粒子群優(yōu)化算法和基于Nesterov動(dòng)量的RMSProp變學(xué)習(xí)率訓(xùn)練算法，對(duì)模型進(jìn)行了優(yōu)化。SOC估計(jì)誤差范圍的條件下，運(yùn)用數(shù)學(xué)規(guī)劃方法選擇一個(gè)平均絕對(duì)誤差小且訓(xùn)練時(shí)間短、穩(wěn)定性高并具有實(shí)用性的雙隱層神經(jīng)網(wǎng)絡(luò)模型用于SOC估計(jì)。由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本數(shù)沒(méi)有理論指導(dǎo)，套模型優(yōu)化方法與模型設(shè)計(jì)方法沒(méi)有在訓(xùn)練樣本數(shù)上進(jìn)行研究，但為神經(jīng)網(wǎng)絡(luò)模型在電池其他狀態(tài)估算上提供有價(jià)值的參考。隨著神經(jīng)網(wǎng)絡(luò)專用芯片不斷投入市場(chǎng)，神經(jīng)網(wǎng)絡(luò)模型電池狀態(tài)估計(jì)有較大的應(yīng)用前景。