亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進(jìn)Q學(xué)習(xí)算法的儲(chǔ)能系統(tǒng)實(shí)時(shí)優(yōu)化決策研究

        2018-03-01 06:33:24鄭文迪
        電氣技術(shù) 2018年2期
        關(guān)鍵詞:充放電時(shí)段儲(chǔ)能

        汪 波 鄭文迪

        (福州大學(xué)電氣工程與自動(dòng)化學(xué)院,福州 350116)

        儲(chǔ)能系統(tǒng)具有平衡功率波動(dòng),對(duì)負(fù)荷曲線削峰填谷的優(yōu)點(diǎn),也可以提高分布式設(shè)備的利用率,節(jié)省分布式電源容量成本,還可以保持系統(tǒng)穩(wěn)定[1-5]。中關(guān)村儲(chǔ)能產(chǎn)業(yè)技術(shù)聯(lián)盟發(fā)布的《儲(chǔ)能產(chǎn)業(yè)研究白皮書 2016》預(yù)測(cè),到 2020年,理想情景下,我國(guó)儲(chǔ)能市場(chǎng)總裝機(jī)規(guī)模將達(dá) 24.2GW;常規(guī)情景下,我國(guó)儲(chǔ)能市場(chǎng)總裝機(jī)規(guī)模也將達(dá)到 14.5GW。隨著分布式能源近年來(lái)大規(guī)模接入電網(wǎng),其作用更加重要,而儲(chǔ)能投資成本近年來(lái)也不斷下降,儲(chǔ)能產(chǎn)業(yè)將快速發(fā)展并推動(dòng)能源變革。

        目前,儲(chǔ)能系統(tǒng)的運(yùn)行主要面臨兩個(gè)問(wèn)題:①絕大部分的儲(chǔ)能系統(tǒng)控制策略都是將其作為輔助元件,被動(dòng)的接收調(diào)度命令,如文獻(xiàn)[6]提出一種消納高滲透分布式光伏發(fā)電有功功率波動(dòng)的集中式儲(chǔ)能電站實(shí)時(shí)調(diào)度方法。文獻(xiàn)[7]在孤島運(yùn)行微電網(wǎng)能量?jī)?yōu)化管理中,不僅對(duì)分布式發(fā)電輸出功率進(jìn)行優(yōu)化分配,還根據(jù)模糊邏輯對(duì)蓄電池的充放電進(jìn)行能量的調(diào)度。文獻(xiàn)[8]將蓄電池虛擬放電和充電價(jià)格計(jì)入群體尋優(yōu)目標(biāo)函數(shù),結(jié)合協(xié)同進(jìn)化遺傳算法,使用群體尋優(yōu)目標(biāo)函數(shù)和精英尋優(yōu)目標(biāo)函數(shù)尋求分階段經(jīng)濟(jì)調(diào)度最優(yōu)解。在這種情況下,當(dāng)電力用戶和中間商都參與進(jìn)來(lái)的時(shí)候,調(diào)度需要考慮太多因素,不滿足實(shí)時(shí)調(diào)度的實(shí)時(shí)性需求。②目前的儲(chǔ)能系統(tǒng)充放電策略優(yōu)化算法有遺傳算法[9]、粒子群算法[10]、模擬退火算法[11]、動(dòng)態(tài)規(guī)劃算法[12]等,這些方法都是針對(duì)負(fù)荷曲線為確定情況,而在實(shí)時(shí)調(diào)度期間,實(shí)時(shí)負(fù)荷功率與預(yù)測(cè)值有誤差,以上方法都需要重新計(jì)算策略,不滿足實(shí)時(shí)性需求。文獻(xiàn)[13]研究了儲(chǔ)能系統(tǒng)能量調(diào)度及需求響應(yīng)聯(lián)合優(yōu)化問(wèn)題,對(duì)儲(chǔ)能單元?jiǎng)幼骷翱裳訒r(shí)負(fù)荷動(dòng)作進(jìn)行優(yōu)化控制,但是其并沒有量化儲(chǔ)能系統(tǒng)的充放電數(shù)值,而且其采用的傳統(tǒng)Q學(xué)習(xí)算法,收斂速度較慢,需要調(diào)整好參數(shù)才能收斂。

        本文使儲(chǔ)能系統(tǒng)以凈負(fù)荷功率曲線方差最小為目標(biāo),決策其每一實(shí)時(shí)調(diào)度周期的充放電功率值。提出了用全局最優(yōu)懲罰項(xiàng)的方法來(lái)引導(dǎo)Q學(xué)習(xí)算法獲得一天的最優(yōu)動(dòng)作值,相比于傳統(tǒng)Q學(xué)習(xí)算法,收斂速度更快;用訓(xùn)練好的Q值表指導(dǎo)儲(chǔ)能系統(tǒng)在實(shí)時(shí)調(diào)度周期做出最優(yōu)充放電動(dòng)作決策,在凈負(fù)荷功率預(yù)測(cè)不準(zhǔn)確的情況下不需要重新迭代運(yùn)算獲得最優(yōu)動(dòng)作值,從而滿足實(shí)時(shí)性要求。

        1 優(yōu)化模型

        儲(chǔ)能系統(tǒng)擁有者不同,其目標(biāo)函數(shù)也會(huì)不一樣,本文研究對(duì)象是電網(wǎng)投資建設(shè)的儲(chǔ)能系統(tǒng),其目的是使凈負(fù)荷功率曲線更加平坦,而方差可以反映曲線的平坦程度,因此其目標(biāo)函數(shù)為

        式中,Pd(t)為負(fù)荷功率;Pact(t)為儲(chǔ)能系統(tǒng)吸收功率決策值,當(dāng)Pact>0時(shí),表示儲(chǔ)能系統(tǒng)吸收功率,當(dāng)Pact<0時(shí),表示儲(chǔ)能系統(tǒng)釋放功率,凈負(fù)荷功率為負(fù)荷功率加上儲(chǔ)能系統(tǒng)吸收功率決策值;為一天的負(fù)荷功率平均值;N為一天總的實(shí)時(shí)調(diào)度周期數(shù),每一個(gè)實(shí)時(shí)調(diào)度周期時(shí)間間隔為1440/N分鐘;t為實(shí)時(shí)調(diào)度周期數(shù)。

        儲(chǔ)能系統(tǒng)在致力于使目標(biāo)函數(shù)最優(yōu)時(shí),自身限制和算法需要存在如下一些約束條件。

        1)存儲(chǔ)電量約束

        儲(chǔ)能系統(tǒng)能夠存儲(chǔ)的電量值是一定的,其最小值為Emin,最大值為Emax,即

        儲(chǔ)能系統(tǒng)在循環(huán)充放電過(guò)程中,其存儲(chǔ)電量不能超過(guò)其限值,否則會(huì)損害其壽命。

        2)末時(shí)段存儲(chǔ)電量約束

        為了使儲(chǔ)能系統(tǒng)工作周期為一天持續(xù)進(jìn)行,每天初始實(shí)時(shí)調(diào)度周期和末端實(shí)時(shí)調(diào)度周期的存儲(chǔ)電量需相等

        這樣,儲(chǔ)能系統(tǒng)的充放電策略就不會(huì)影響一天的負(fù)荷功率平均值。當(dāng) t調(diào)度周期儲(chǔ)能系統(tǒng)存儲(chǔ)電量E(t)大于末時(shí)段要求E0時(shí),假設(shè)一天中剩余調(diào)度周期可釋放功率的調(diào)度周期數(shù)為m1,如果

        3)充放電動(dòng)作約束

        儲(chǔ)能系統(tǒng)受爬坡速率約束,其充放電動(dòng)作值不能超過(guò)其充電功率最大值

        如果負(fù)荷功率預(yù)測(cè)是準(zhǔn)確的,那么大部分的尋優(yōu)算法都可以得出儲(chǔ)能系統(tǒng)在一天的充放電最優(yōu)值,但是實(shí)際情況下負(fù)荷預(yù)測(cè)是不準(zhǔn)確的,提前一天的短時(shí)預(yù)測(cè)值與實(shí)時(shí)調(diào)度周期的實(shí)際值會(huì)存在誤差,而實(shí)時(shí)調(diào)度周期時(shí)間間隔短,無(wú)記憶功能的尋優(yōu)算法在實(shí)時(shí)調(diào)度周期需要重新計(jì)算最優(yōu)動(dòng)作值,不滿足實(shí)時(shí)性要求。本文提出改進(jìn)的Q學(xué)習(xí)算法,可以將訓(xùn)練好的Q值表用于儲(chǔ)能系統(tǒng)在實(shí)時(shí)調(diào)度周期快速做充放電決策。

        2 Q學(xué)習(xí)算法

        2.1 傳統(tǒng)Q學(xué)習(xí)算法

        Q學(xué)習(xí)算法適用于解決含不確定性的控制問(wèn)題,且算法執(zhí)行效率與模型的復(fù)雜程度相關(guān)性較小。Q學(xué)習(xí)算法基本形式為式中,k為迭代次數(shù);Q(s(k), a(k))表示s(k)狀態(tài)采取a(k)動(dòng)作后得到的Q值;α為學(xué)習(xí)率;R(k)為即時(shí)報(bào)酬;γ為遺忘因子,采取a(k)動(dòng)作后得到s(k+1)狀態(tài);Q(s(k+1),a)為 s(k+1)狀態(tài)采取所有可能動(dòng)作 a后得到的所有Q值。

        2.2 改進(jìn)Q學(xué)習(xí)算法

        傳統(tǒng)的Q學(xué)習(xí)算法需要調(diào)整學(xué)習(xí)率和遺忘因子兩個(gè)參數(shù),其最優(yōu)解的獲得是通過(guò)一定概率選取不同動(dòng)作看是否使總收益增大,這種方法在迭代中可能得到較優(yōu)的策略,但是也有可能得到較差的策略,具有較大的偶然性,學(xué)習(xí)速度慢,迭代次數(shù)較多,而且其參數(shù)的選取對(duì)得到最優(yōu)值的迭代次數(shù)具有較大影響,當(dāng)參數(shù)選取不合適甚至可能得不到最優(yōu)解。

        基于Q值表的記憶功能,本文提出去掉遺忘因子項(xiàng),取0γ=,即得到的即時(shí)報(bào)酬只是反映單個(gè)狀態(tài)下采取單個(gè)動(dòng)作可以獲得的報(bào)酬值,它們之間的關(guān)系是解耦的,用離線數(shù)據(jù)學(xué)習(xí)訓(xùn)練后可以得到一個(gè)初始Q值表,再引入全局優(yōu)化懲罰項(xiàng)Rc,基于訓(xùn)練好的初始Q值表,用全局優(yōu)化懲罰項(xiàng)引導(dǎo)算法收斂,獲得整個(gè)過(guò)程的最優(yōu)動(dòng)作策略,改進(jìn)后的Q學(xué)習(xí)算法基本形式變?yōu)?/p>

        3 儲(chǔ)能系統(tǒng)Q學(xué)習(xí)模型

        3.1 全局優(yōu)化懲罰項(xiàng)設(shè)計(jì)

        由于本文所提改進(jìn)算法是利用全局優(yōu)化懲罰項(xiàng)來(lái)引導(dǎo)其收斂,所以改進(jìn)算法的關(guān)鍵是設(shè)計(jì)好全局優(yōu)化懲罰項(xiàng)。將改進(jìn)算法應(yīng)用到儲(chǔ)能系統(tǒng),基于附錄A推導(dǎo),考慮到儲(chǔ)能系統(tǒng)充放電功率大小有約束,并且充放電動(dòng)作值采用的是離散值,本文提出懲罰判據(jù)項(xiàng)為

        式中,Δ P (t) = P (t) + a (t) ?,M0為t0調(diào)度周期所d 在峰谷時(shí)段調(diào)度周期個(gè)數(shù)的一半;M1為(M0?t0)到(M0+t0)調(diào)度周期中 Δ P(t) > ΔP(t0)的調(diào)度周期個(gè)數(shù);M2為(M0?t0)到(M0+t0)調(diào)度周期中 Δ P(t) < ΔP(t0)的調(diào)度周期個(gè)數(shù)。為儲(chǔ)能系統(tǒng)充電功率動(dòng)作值最大值,為儲(chǔ)能系統(tǒng)充電功率動(dòng)作值最小值,即放電功率最大值。

        基于懲罰判據(jù)項(xiàng),動(dòng)作值為吸收功率時(shí)全局優(yōu)化懲罰項(xiàng)為

        3.2 狀態(tài)空間集合

        儲(chǔ)能系統(tǒng)在進(jìn)行充放電決策之前需要先判斷其所處狀態(tài)空間。將實(shí)時(shí)調(diào)度周期 t、實(shí)時(shí)負(fù)荷功率Pd(t)、峰谷時(shí)段負(fù)荷功率最值與平均值差值的絕對(duì)值、峰谷時(shí)段剩余所需負(fù)荷功率和儲(chǔ)能系統(tǒng)存儲(chǔ)能量值S作為描述系統(tǒng)狀態(tài)的狀態(tài)量。將C個(gè)調(diào)度周期作為一個(gè)狀態(tài),一共有N/C個(gè)狀態(tài)。將一天負(fù)荷功率求得平均值,把負(fù)荷功率最與平均值的差值取M個(gè)區(qū)間,負(fù)荷功率區(qū)間長(zhǎng)度ΔPd如下

        將一天分為兩個(gè)峰時(shí)段和兩個(gè)谷時(shí)段,針對(duì)當(dāng)前調(diào)度周期所在時(shí)段余下調(diào)度周期所需充電或放電的負(fù)荷功率,稱為剩余所需負(fù)荷功率,將其分為 X個(gè)狀態(tài)空間,剩余所需負(fù)荷功率這個(gè)狀態(tài)量在所需負(fù)荷較小時(shí),可以使得儲(chǔ)能系統(tǒng)做出較大充放電動(dòng)作值決策,而當(dāng)剩余所需負(fù)荷功率較多時(shí),該狀態(tài)量作用很??;再將當(dāng)前調(diào)度周期所在峰谷區(qū)段的最值與一天的平均值之差的絕對(duì)值分為Y個(gè)狀態(tài);儲(chǔ)能系統(tǒng)存儲(chǔ)的能量分為Z個(gè)狀態(tài)區(qū)間。這樣系統(tǒng)總共有 N×M×X×Y×Z/C個(gè)狀態(tài)。

        3.3 動(dòng)作策略的選取

        1)動(dòng)作策略集合

        Q學(xué)習(xí)算法只能采用離散的動(dòng)作值,因此本文將儲(chǔ)能系統(tǒng)充放電功率值動(dòng)作值離散為如下(2h+1)個(gè)固定值

        2)動(dòng)作選擇概率

        在迭代時(shí)各動(dòng)作的選擇采用貪婪策略,貪婪策

        3)動(dòng)作越限懲罰

        式中,Qc為懲罰值,其值取較大,這樣就可以使s(k)狀態(tài)不再選擇動(dòng)作Pact(k)。

        3.4 即時(shí)報(bào)酬

        在Q學(xué)習(xí)算法中,即時(shí)報(bào)酬應(yīng)該為正數(shù),且總的報(bào)酬值越大越好,因此將式(1)右邊拆開后可以得到

        將式(4)求和符號(hào)里面的項(xiàng)作為儲(chǔ)能系統(tǒng)在每一調(diào)度周期充放電動(dòng)作的即時(shí)報(bào)酬,為使每一天的報(bào)酬值有關(guān)聯(lián)性,每一項(xiàng)都除以每天負(fù)荷功率最大值與最小值差的平方,可以得到即時(shí)報(bào)酬函數(shù)如下

        3.5 狀態(tài)量實(shí)時(shí)修正

        Q學(xué)習(xí)算法是根據(jù)狀態(tài)來(lái)做出動(dòng)作策略的,而負(fù)荷功率實(shí)際值與預(yù)測(cè)值存在誤差,得到的狀態(tài)與實(shí)際所處狀態(tài)有偏差,在實(shí)時(shí)調(diào)度周期對(duì)描述狀態(tài)的量進(jìn)行實(shí)時(shí)修正,可以使動(dòng)作策略更準(zhǔn)確。由于實(shí)時(shí)調(diào)度周期和儲(chǔ)能系統(tǒng)存儲(chǔ)能量值這兩個(gè)狀態(tài)量與負(fù)荷功率預(yù)測(cè)不準(zhǔn)確沒有關(guān)系,峰谷時(shí)段剩余所需負(fù)荷功率只與后面調(diào)度周期負(fù)荷預(yù)測(cè)值有關(guān),所以只需要實(shí)時(shí)修正負(fù)荷功率平均值和峰谷時(shí)段負(fù)荷功率的最值。實(shí)時(shí)調(diào)度周期的負(fù)荷功率平均值修正方法如下

        由于考慮到最值和當(dāng)前峰谷時(shí)段取值關(guān)系更大,所以將最值預(yù)測(cè)值直接加上當(dāng)前時(shí)段誤差平均值,得到最小值修正方法如下

        式中,Pmin為當(dāng)前峰谷時(shí)段負(fù)荷功率預(yù)測(cè)值最小值;

        d n為該谷時(shí)段已經(jīng)出現(xiàn)的實(shí)時(shí)調(diào)度周期數(shù);i為該谷時(shí)段初始調(diào)度周期。最大值修正方法與最小值相類似,不再贅述。

        3.6 模型求解

        基于上文內(nèi)容,得到整個(gè)模型的求解流程如下:

        1)初始化各參數(shù)值,在學(xué)習(xí)之前 Q值表中的值取零。

        2)初始學(xué)習(xí)階段,保持Rc(k)=0,取η=0,即各動(dòng)作被選擇的概率相同,經(jīng)式(3)用負(fù)荷功率離線數(shù)據(jù)訓(xùn)練,獲得儲(chǔ)能系統(tǒng)在各狀態(tài)解耦情況采取不同充放電動(dòng)作的即時(shí)報(bào)酬,得到初始Q值表Q1,該階段并沒有進(jìn)行優(yōu)化迭代,只是為了得到各狀態(tài)情況下所有動(dòng)作策略的即時(shí)報(bào)酬。

        3)獲得初始 Q值表后,引入全局優(yōu)化懲罰項(xiàng)Rc,取η=1,即采用完全貪婪策略,經(jīng)式(3)和k初始Q值表進(jìn)行策略的優(yōu)化迭代,使用離線數(shù)據(jù)學(xué)習(xí)得到Q值表Q2。

        4)在實(shí)時(shí)調(diào)度周期,儲(chǔ)能系統(tǒng)實(shí)時(shí)修正狀態(tài)量并判定其所處狀態(tài),取η=1,基于訓(xùn)練好的Q值表Q2,采用完全貪婪策略獲得其最優(yōu)充放電動(dòng)作策略。

        4 算例分析

        負(fù)荷功率數(shù)據(jù)采用福建省某地區(qū)6個(gè)月小時(shí)級(jí)數(shù)據(jù),其預(yù)測(cè)值由小時(shí)級(jí)氣象數(shù)據(jù)經(jīng)神經(jīng)網(wǎng)絡(luò)擬合得到。因?yàn)橐獞?yīng)用到實(shí)時(shí)調(diào)度周期,取N=288,C=3,將負(fù)荷功率實(shí)際值用 spline函數(shù)擬合,預(yù)測(cè)值用線性插值法擬合分別得到 5min的負(fù)荷功率實(shí)際值和預(yù)測(cè)值,選取一天出來(lái)作為驗(yàn)證負(fù)荷。

        本文設(shè)定有3種模型,這3種模型的目標(biāo)函數(shù)、約束條件、狀態(tài)空間、動(dòng)作集合和即時(shí)報(bào)酬函數(shù)都一樣,不同點(diǎn)如下。

        1)模型Ⅰ

        采用傳統(tǒng)Q學(xué)習(xí)算法,取α=0.5,γ=0.8,η= 0 .5,負(fù)荷功率為已知值,即實(shí)際值與預(yù)測(cè)值一樣,使用式(1)迭代尋優(yōu),迭代200次,獲得儲(chǔ)能系統(tǒng)一天內(nèi)各調(diào)度周期充放電功率最優(yōu)決策值,所有運(yùn)算都是離線運(yùn)算。

        2)模型Ⅱ

        采用本文所提方法尋優(yōu),取 α = 0 .5,完成初始學(xué)習(xí)階段得到初始Q值表Q1,負(fù)荷功率為已知值,即實(shí)際值與預(yù)測(cè)值一樣,使用式(3)優(yōu)化迭代,迭代200次,獲得儲(chǔ)能系統(tǒng)一天內(nèi)各調(diào)度周期充放電決策值,所有運(yùn)算為離線運(yùn)算。

        3)模型Ⅲ

        采用本文所提方法尋優(yōu),取α=0.5,完成初始學(xué)習(xí)階段得到初始Q值表Q1,并使用式(3)用離線數(shù)據(jù)訓(xùn)練學(xué)習(xí)得到Q值表Q2,在實(shí)時(shí)調(diào)度周期實(shí)時(shí)修正其狀態(tài)量,并基于Q2用完全貪婪策略在線得出最優(yōu)充放電決策。得到3種模型的凈負(fù)荷功率曲線,如圖1所示。

        圖1 凈負(fù)荷曲線

        圖1 (a)中實(shí)線為模型Ⅰ得到的凈負(fù)荷功率值,虛線為負(fù)荷功率實(shí)際值;圖1(b)中實(shí)線為模型Ⅱ得到的凈負(fù)荷功率值,虛線為負(fù)荷功率實(shí)際值;圖1(c)中不帶加號(hào)實(shí)線為模型Ⅲ得到的凈負(fù)荷功率值,虛線為負(fù)荷功率實(shí)際值,帶加號(hào)實(shí)線為負(fù)荷功率預(yù)測(cè)值。

        3種模型凈負(fù)荷功率曲線方差見表1。

        表1 三種模型凈負(fù)荷功率曲線方差

        由表1可以看出,模型Ⅱ削峰填谷效果最好,模型Ⅲ次之,模型Ⅰ最差。模型Ⅰ采用傳統(tǒng)Q學(xué)習(xí)算法迭代得到儲(chǔ)能系統(tǒng)最好充放電策略,由圖1(a)可以看出,雖然具有一定削峰填谷效果,但是充放電動(dòng)作值連續(xù)性較差,變化幅度較大,與理想最優(yōu)策略相差較大,還需要進(jìn)一步的迭代以及參數(shù)的調(diào)整。模型Ⅱ采用本文所提的尋優(yōu)方法,得到的削峰填谷效果很好,并且相同條件下迭代完成后得到的動(dòng)作策略是一樣的,而模型Ⅰ每次迭代完成后得到的結(jié)果是不一樣的。模型Ⅲ第一個(gè)谷時(shí)段和峰時(shí)段得到的凈負(fù)荷功率曲線已接近模型Ⅱ,這是因?yàn)楫?dāng)剩余負(fù)荷功率相對(duì)于儲(chǔ)能系統(tǒng)可用充放電功率較大時(shí),其充放電動(dòng)作的選擇與該時(shí)段的最值以及當(dāng)前調(diào)度周期的負(fù)荷功率相關(guān)性較大,而在該峰谷時(shí)段內(nèi),預(yù)測(cè)值與實(shí)際值誤差都為正或者都為負(fù),最值的修正較為準(zhǔn)確,得到的充放電動(dòng)作決策也會(huì)較為準(zhǔn)確。對(duì)于第二個(gè)谷時(shí)段,負(fù)荷功率預(yù)測(cè)值與實(shí)際值誤差正負(fù)號(hào)多次變化,最值的修正誤差較大,狀態(tài)判斷不夠準(zhǔn)確,得到的動(dòng)作策略與模型Ⅱ動(dòng)作策略差距較大,而在第一個(gè)谷時(shí)段和第二個(gè)峰時(shí)段也有負(fù)荷功率預(yù)測(cè)值與實(shí)際值誤差正負(fù)不一致情況,但出現(xiàn)的時(shí)間在峰谷時(shí)段后半段,對(duì)最值的修正影響不大,所以其動(dòng)作策略與模型Ⅱ動(dòng)作策略相差不大。

        5 結(jié)論

        本文基于Q值表的記憶功能,提出改進(jìn)的Q學(xué)習(xí)算法,去掉了遺忘因子,將不同狀態(tài)下即時(shí)報(bào)酬之間的關(guān)系解耦,用全局最優(yōu)懲罰項(xiàng)引導(dǎo)算法收斂,使儲(chǔ)能系統(tǒng)獲得一天的最優(yōu)充放電動(dòng)作決策,這種方法是基于初始Q值表對(duì)各種狀態(tài)情況下采取不同動(dòng)作的即時(shí)報(bào)酬有了認(rèn)識(shí)以后才進(jìn)行的,相比于傳統(tǒng)Q學(xué)習(xí)算法,其收斂速度更快,準(zhǔn)確性更高,迭代完成后的結(jié)果具有惟一性。而且,Q值表具有記憶功能,在實(shí)時(shí)調(diào)度周期不需要因?yàn)樨?fù)荷功率預(yù)測(cè)值不準(zhǔn)確而重新進(jìn)行迭代尋優(yōu),只需修正并判斷其當(dāng)前所處狀態(tài),基于訓(xùn)練好的Q值表使用貪婪策略可快速獲得當(dāng)前狀態(tài)最優(yōu)動(dòng)作值。但是這種方法需要較大的內(nèi)存存儲(chǔ)Q值表中的數(shù)值,后續(xù)工作可以考慮如何減少狀態(tài)總數(shù),從而減少Q(mào)值表中的值,以避免維數(shù)過(guò)大。

        附錄A

        目標(biāo)函數(shù)為

        所以,此時(shí)當(dāng)a≤c時(shí),只需要b=0和d=b+d,當(dāng)a>c時(shí),只需要b=b+d和d=0,那么(a ? b )2+(c ? d )2可以獲得最小值。只有當(dāng)a≤c時(shí),t0調(diào)度周期需要減少充電動(dòng)作值,此時(shí)c ? a> b + d 可以得到c?d>a+b≥a?b,即有c ? d> a ? b ,此時(shí)t0調(diào)度周期充電動(dòng)作值b應(yīng)該減小b。

        當(dāng)|a ? c | ≤b + d 時(shí),

        2)同時(shí)釋放功率

        此時(shí) a <0 , b ≤ 0 , c <0 , d ≤ 0 ,且a、c和(b + d)為定值,且a + c ≤ b + d 。

        若|a ? c | ≤|b + d|,有

        所以,當(dāng)a≤c時(shí),只需要b=0和d=b+d,當(dāng)a>c時(shí),只需要b = b + d 和 d = 0 ,那么 ( a ? b )2+ ( c ? d )2可以獲得最小值。

        當(dāng) t0調(diào)度周期為充電動(dòng)作而 t調(diào)度周期為放電動(dòng)作時(shí),c ? d < a ? b ;當(dāng)t0調(diào)度周期為放電動(dòng)作而t調(diào)度周期為充電動(dòng)作時(shí),c ? d> a ? b ,兩種情況都與上述情況正好相反,所以不會(huì)影響。

        [1] 李樂. 微網(wǎng)的經(jīng)濟(jì)運(yùn)行研究[D]. 北京: 華北電力大學(xué), 2011.

        [2] 張明, 樸政國(guó). 含儲(chǔ)能的分布式光伏并網(wǎng)系統(tǒng)對(duì)配電網(wǎng)調(diào)峰的研究[J]. 電氣技術(shù), 2016, 17(12): 11-14, 19.

        [3] 孫建龍, 竇曉波, 張子仲, 等. 直流對(duì)等式微電網(wǎng)混合儲(chǔ)能系統(tǒng)協(xié)調(diào)控制策略[J]. 電工技術(shù)學(xué)報(bào), 2016,31(4): 194-202.

        [4] 李銳, 李鵬. 儲(chǔ)能系統(tǒng)在孤島微網(wǎng)中應(yīng)用[J]. 電氣技術(shù), 2014, 15(6): 15-18.

        [5] 李建林, 馬會(huì)萌, 惠東. 儲(chǔ)能技術(shù)融合分布式可再生能源的現(xiàn)狀及發(fā)展趨勢(shì)[J]. 電工技術(shù)學(xué)報(bào), 2016,31(14): 1-10, 20.

        [6] 劉皓明, 陸丹, 楊波, 等. 可平抑高滲透分布式光伏發(fā)電功率波動(dòng)的儲(chǔ)能電站調(diào)度策略[J]. 高電壓技術(shù),2015, 41(10): 3213-3223.

        [7] Chaouachi A, Kamel R M, Andoulsi R, et al.Multiobjective intelligent energy management for a microgrid[J]. IEEE Transactions on Industrial Electronics, 2013, 60(4): 1688-1699.

        [8] 宋曉英, 王艷松. 基于協(xié)同進(jìn)化遺傳算法的微網(wǎng)經(jīng)濟(jì)環(huán)保調(diào)度[J]. 電力系統(tǒng)保護(hù)與控制, 2014(5):85-89.

        [9] 李秀磊, 耿光飛, 季玉琦, 等. 考慮實(shí)際運(yùn)行的配電網(wǎng)電池儲(chǔ)能系統(tǒng)的優(yōu)化配置研究[J]. 電力系統(tǒng)保護(hù)與控制, 2017, 45(9): 88-94.

        [10] Lee T Y. Operating schedule of battery energy storage system in a Time-of-Use rate industrial user with wind turbine generators: a multipass iteration particle swarm optimization approach[J]. IEEE Transactions on Energy Conversion[J]. Sept, 2007, 22(3): 774-782.

        [11] 李樹雷, 展海艷, 薛松, 等. 考慮間歇性分布式電源并網(wǎng)的分布式儲(chǔ)能系統(tǒng)最優(yōu)控制策略[J]. 華東電力,2013, 41(11): 2338-2343.

        [12] 鮑冠南, 陸超, 袁志昌, 等. 基于動(dòng)態(tài)規(guī)劃的電池儲(chǔ)能系統(tǒng)削峰填谷實(shí)時(shí)優(yōu)化[J]. 電力系統(tǒng)自動(dòng)化,2012, 36(12): 11-16.

        [13] 高雪瑩, 唐昊, 苗剛中, 等. 儲(chǔ)能系統(tǒng)能量調(diào)度與需求響應(yīng)聯(lián)合優(yōu)化控制[J]. 系統(tǒng)仿真學(xué)報(bào), 2016, 28(5):1165-1172.

        猜你喜歡
        充放電時(shí)段儲(chǔ)能
        V2G模式下電動(dòng)汽車充放電效率的研究
        相變儲(chǔ)能材料的應(yīng)用
        煤氣與熱力(2021年6期)2021-07-28 07:21:24
        基于SG3525的電池充放電管理的雙向DC-DC轉(zhuǎn)換器設(shè)計(jì)
        電子制作(2019年23期)2019-02-23 13:21:36
        四個(gè)養(yǎng)生黃金時(shí)段,你抓住了嗎
        儲(chǔ)能技術(shù)在電力系統(tǒng)中的應(yīng)用
        儲(chǔ)能真要起飛了?
        能源(2017年12期)2018-01-31 01:42:59
        直流儲(chǔ)能型準(zhǔn)Z源光伏并網(wǎng)逆變器
        鋰離子電池充放電保護(hù)電路的研究
        傍晚是交通事故高發(fā)時(shí)段
        分時(shí)段預(yù)約在PICC門診維護(hù)中的應(yīng)用與探討
        人妻久久久一区二区三区| 久久久精品3d动漫一区二区三区| AV教师一区高清| 亚洲国产成人精品一区刚刚| 精品人妻久久一区二区三区| 极品嫩模高潮叫床| 午夜精品一区二区三区的区别| 永久免费av无码网站性色av| 亚洲天堂成人在线| 国产精品无码久久久久下载| 中文字幕中文字幕三区| 人妻中文字幕在线中文字幕| 精东天美麻豆果冻传媒mv| 亚洲乱码日产精品bd| 日本欧美小视频| 亚洲一区二区av偷偷| 一本一道久久综合久久| 国产日韩欧美一区二区东京热| 男女做爰猛烈啪啪吃奶动| 中文字幕欧美一区| www.五月激情| 亚洲精品中文字幕不卡| 久久亚洲精品成人av无码网站| 亚洲男人第一av网站| 国产精品亚洲片夜色在线| 强d漂亮少妇高潮在线观看| 男女动态视频99精品| 亚洲综合欧美色五月俺也去| 亚洲 自拍 另类 欧美 综合| 乱人伦人妻中文字幕不卡| 在线观看在线观看一区二区三区| 国产亚洲精品美女久久久| 久久久亚洲色| 亚洲人成网站18男男| 不卡一区二区三区国产| 国产亚洲精品久久情侣| 欧美日韩国产码高清综合人成| 亚洲精品美女久久久久久久| 午夜视频一区二区在线观看 | 视频在线播放观看免费| 久久精品99国产精品日本|