牛亞琳李華玥李松嶺楊涌文

1.上海電力大學(xué)能源與機械工程學(xué)院

2.上海電力大學(xué)計算機科學(xué)與技術(shù)學(xué)院

0 引言

綠色發(fā)展是建設(shè)生態(tài)文明、構(gòu)建高質(zhì)量現(xiàn)代化經(jīng)濟體系的必然要求，核心是節(jié)約資源和保護生態(tài)環(huán)境。近年來，為了解決環(huán)境污染問題，政府加大了對分布式能源的支持，提高可再生能源的占比，對電動汽車既具備移動負(fù)荷又具有儲能特性的設(shè)備提出了一系列的政策支持和目標(biāo)規(guī)劃。但大量電動汽車和分布式能源直接入網(wǎng)會造成電網(wǎng)原有的功率平衡破壞，使電網(wǎng)負(fù)荷的峰谷變大。因此，如何將電動汽車與分布式能源有機結(jié)合，充分發(fā)揮分布式能源和大電網(wǎng)之間的協(xié)同作用，幫助電網(wǎng)實現(xiàn)削峰填谷成為眾多研究關(guān)注的熱點。

如今，針對分布式能源接入后電動汽車實時電價響應(yīng)控制策略的研究主要集中在分布式能源與大電網(wǎng)的協(xié)同優(yōu)化運行方面。文獻[1]提出了一種發(fā)電側(cè)與供電側(cè)的分時電價聯(lián)動模型，并結(jié)合實際數(shù)據(jù)對不同的電動汽車入網(wǎng)方式和放電電價模式進行仿真，驗證了模型的有效性，但其提出的峰谷電價響應(yīng)度是一個固定值，尚未考慮車主充放電行為受價格信號等因素的影響。文獻[2]根據(jù)計及網(wǎng)內(nèi)可再生能源出力與負(fù)荷情況不平衡率所發(fā)布的實時電價，通過對比有序充電和無序放電情況下微電網(wǎng)運行情況，驗證了其策略在微網(wǎng)運行優(yōu)化方面的有效性，但尚未提出當(dāng)微電網(wǎng)儲能不夠供應(yīng)汽車充電時應(yīng)如何進行處理的方案。文獻[3]提出了考慮可再生能源利用率和投資運行成本的多目標(biāo)優(yōu)化配置數(shù)學(xué)模型，通過算例求解，得到不同光伏利用率下的充電站各單元最優(yōu)容量配置。文獻[4-6]雖考慮了微網(wǎng)內(nèi)RES出力不確定性，但電價形式較為單一，在反映系統(tǒng)動態(tài)供需關(guān)系方面有失靈活。文獻[7]提出了一種批量強化學(xué)習(xí)（RL）算法，從一批轉(zhuǎn)換樣本中學(xué)習(xí)最優(yōu)的降低成本計費策略，并在新情況下進行成本降低的計費決策，使用實際定價數(shù)據(jù)的模擬結(jié)果表明，在使用建議的充電方法時，PEV所有者可節(jié)省10%～50%的成本。

綜上所述，隨著分布式能源的規(guī)模化應(yīng)用，分布式能源與大電網(wǎng)協(xié)同作用的研究日益增多，但在考慮當(dāng)電動汽車接入后，如何有效運用分布式能源與電網(wǎng)之間的作用，并在微網(wǎng)儲能系統(tǒng)不夠供應(yīng)汽車充電時應(yīng)如何進行處理等方面研究甚少。針對以上問題，本文將分布式能源和電動汽車相結(jié)合，實現(xiàn)可再生能源就地消納，并提出了一種基于強化學(xué)習(xí)的電網(wǎng)實時電價控制策略制定科學(xué)的實時電價，進一步通過實時電價調(diào)控機制，引導(dǎo)用戶有序充電，使分布式能源和大電網(wǎng)之間的協(xié)同作用得到充分發(fā)揮，從而達(dá)到能源的綠色使用。

1 分布式能源接入后電動汽車的充電策略

1.1 風(fēng)光儲充電站

含有風(fēng)光儲的充電站微電網(wǎng)如圖1所示。微網(wǎng)內(nèi)有風(fēng)力和光伏發(fā)電兩種分布式電源，當(dāng)可再生能源出力小于電動汽車群負(fù)荷時，考慮充電站儲能系統(tǒng)和電網(wǎng)兩種電源協(xié)同供電。電動汽車負(fù)荷通過充電站內(nèi)充電樁進行充電。充電站管理系統(tǒng)監(jiān)測各部分的運行情況，合理發(fā)布電價，充分調(diào)動網(wǎng)內(nèi)電能。

圖1 風(fēng)光儲充電站微電網(wǎng)示意圖

1.2 電動汽車負(fù)荷模型

為便于研究，引入電動汽車群的概念。電動汽車群是指一定數(shù)量的電動汽車聚集體，其起始充電時刻服從于式（1）的充電分布規(guī)律。

式中：μs，σs為對應(yīng)的期望和標(biāo)準(zhǔn)差，x為起始充電時刻。

1.3 能量協(xié)同策略

微電網(wǎng)內(nèi)不平衡功率可以表示為：

1.4 風(fēng)光儲充電站儲能系統(tǒng)的電價模型

根據(jù)調(diào)查研究，制定充電站的儲能系統(tǒng)SOC與電價的關(guān)系[8]如圖2所示：

圖2 充電站儲能系統(tǒng)SOC與電價的關(guān)系

電價隨儲能的減少而線性增加。當(dāng)SOC=1時，充電站儲能系統(tǒng)電價為0.8元/kWh，與僅靠風(fēng)光出力時的電價相等；當(dāng)SOC＜1且Pgap＜0時，此時電網(wǎng)介入?yún)f(xié)同供電，電費按照儲能系統(tǒng)與電網(wǎng)供電比例綜合收??；當(dāng)SOC接近0時，此時幾乎完全由電網(wǎng)供電，電價也基本與電網(wǎng)電價一致。

在傳統(tǒng)充電方式中，電動汽車先由風(fēng)光儲充電站先行供電，當(dāng)SOC降為0時，再接入電網(wǎng)繼續(xù)供電。此類由儲能系統(tǒng)供電直接切換至電網(wǎng)供電方法會導(dǎo)致電網(wǎng)瞬時功率不平衡，影響電網(wǎng)的穩(wěn)定運行。并且，該充電方式并未考慮到隨著SOC的降低，儲能系統(tǒng)供電的電價將不斷上升，由此將降低總體的經(jīng)濟性。因此，我們考慮儲能系統(tǒng)和電網(wǎng)協(xié)同給電動汽車供電，從而有效地解決了以上問題。

2 基于強化學(xué)習(xí)的實時電價調(diào)控策略

當(dāng)微網(wǎng)儲能系統(tǒng)不足以供電動汽車充電而接入電網(wǎng)時，本文提出了一種基于強化學(xué)習(xí)的電網(wǎng)實時電價控制策略。通過實時電價調(diào)控機制，鼓勵用戶在谷時段充電。

強化學(xué)習(xí)是智能體以“試錯”的方式進行學(xué)習(xí)，通過與環(huán)境進行交互獲得的獎賞指導(dǎo)行為，目標(biāo)是使智能體獲得最大的獎賞，強化學(xué)習(xí)不同于連接主義學(xué)習(xí)中的監(jiān)督學(xué)習(xí)，主要表現(xiàn)在教師信號上，強化學(xué)習(xí)中由環(huán)境提供的強化信號是對產(chǎn)生動作的好壞作一種評價(通常為標(biāo)量信號)，而不是告訴強化學(xué)習(xí)系統(tǒng)RLS如何去產(chǎn)生正確的動作。由于外部環(huán)境提供的信息很少，RLS必須靠自身的經(jīng)歷進行學(xué)習(xí)。通過這種方式，RLS在行動-評價的環(huán)境中獲得知識，改進行動方案以適應(yīng)環(huán)境。

2.1 模型的建立

在強化學(xué)習(xí)中，我們定義算法的狀態(tài)空間

我們希望電網(wǎng)負(fù)荷能穩(wěn)定在一個可控范圍內(nèi)，因此制定一個基準(zhǔn)負(fù)荷l，并將回報函數(shù)定義如下：

其中，ta為初始時刻。

遺憾的是，由于電價的不確定性，我們很難對其進行有效的預(yù)測。因此，采用Q-learning算法，其中，Q函數(shù)可以定義為：

由上式，我們可以得到一個最優(yōu)策略：

即為在系統(tǒng)狀態(tài)g下，能夠最大化Q函數(shù)的策略。

2.2 算法流程

算法流程見表1。

表1 基于強化學(xué)習(xí)電網(wǎng)實時電價算法流程

3 算例分析

以某地區(qū)的微網(wǎng)為例，該微網(wǎng)分布式能源由800個光伏陣列和50臺風(fēng)力發(fā)電機組成。光伏陣列由4×5光伏電池板組成，其額定功率為4kW，光電轉(zhuǎn)化效率為20%。風(fēng)機的容量為6MW，切入風(fēng)速、切出風(fēng)速和額定風(fēng)速分別為3.5m/s,25m/s,15 m/s。該地區(qū)使用充電服務(wù)的電動汽車數(shù)量為2 000輛，其電池容量為20 kWh，充電功率為6kW，充電效率為85%。

為驗證分布式充電站與電網(wǎng)聯(lián)合運行策略的有效性，我們對聯(lián)合運行和無聯(lián)合運行時電網(wǎng)負(fù)荷分別做了仿真模擬如圖3所示。

圖3 聯(lián)合運行和無聯(lián)合運行時電網(wǎng)的負(fù)荷情況

從圖3中可以看出，當(dāng)無聯(lián)合運行時，由于在開始僅使用儲能供電，在凌晨5∶00時，當(dāng)充電站儲能被消耗完，此時如果將充電汽車直接接入電網(wǎng)，會造成電網(wǎng)負(fù)荷的迅速上升，給電網(wǎng)造成極大沖擊。同理，雖然白天用戶較少，且光伏為儲能充電，但由于中午充電需求較大，依然會在短時間造成較大的峰谷差。在使用分布式充電站與電網(wǎng)聯(lián)合運行并利用強化學(xué)習(xí)算法實時調(diào)整電價后，當(dāng)充電站儲能較少時，由電網(wǎng)提前介入分擔(dān)部分充電壓力，防止儲能消耗殆盡，使電動汽車充電負(fù)荷對電網(wǎng)沖擊相對平緩；同時，因在儲能充足時電價較為經(jīng)濟，使充電站儲能得到及時高效的利用。

4 結(jié)論

本文基于風(fēng)光儲的微電網(wǎng)系統(tǒng)與大電網(wǎng)的交互，提出一種不同于電動汽車分時電價的動態(tài)響應(yīng)控制策略。首先考慮了分布式能源接入后，通過計算微網(wǎng)不平衡功率，提出了一種儲能系統(tǒng)與電網(wǎng)協(xié)同運行的策略，既實現(xiàn)了可再生能源的就地消納，又有效地防止了電網(wǎng)瞬間接入可能造成的電網(wǎng)負(fù)荷迅速上升，造成峰谷差過大的問題。針對電動汽車接入電網(wǎng)充電部分，通過強化學(xué)習(xí)算法，得到了電價控制模型。綜合考慮了可再生能源出力及負(fù)荷的波動，根據(jù)微電網(wǎng)的實時運行情況進行調(diào)整，適用性較強，并得出以下結(jié)論：

(1)本文所提及的動態(tài)電價調(diào)整策略相比分時電價策略能更好地發(fā)揮電動汽車的儲能特性，且提高了新能源利用率，實現(xiàn)了微電網(wǎng)中分布式電源和電動汽車的協(xié)調(diào)控制。

(2)電動汽車有序的充放電使日用電負(fù)荷曲線變得平緩，更利于微電網(wǎng)與大電網(wǎng)的穩(wěn)定運行。

(3)電動汽車的有序充放電可以減少微電網(wǎng)中儲能的配置，相比無序充電可以配置更少的儲能裝置，提高資源利用率，使微電網(wǎng)運行更經(jīng)濟。