許冠亞　耿玲娜　邵平　趙肖旭　靳棟曼　謝添

【摘 要】文章研究了基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度策略，如果場(chǎng)景的電價(jià)方式不同，利用強(qiáng)化學(xué)習(xí)算法，可以將模型的自主性充分發(fā)揮出來(lái)，結(jié)合學(xué)習(xí)環(huán)境信息，確定最優(yōu)調(diào)度策略。

【關(guān)鍵詞】深度強(qiáng)化學(xué)習(xí);微電網(wǎng);儲(chǔ)能調(diào)度;控制策略

【中圖分類號(hào)】TM73 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2019）11-0059-02

微電網(wǎng)屬于一種能源網(wǎng)絡(luò)系統(tǒng)，其中最重要的組成部分是儲(chǔ)能系統(tǒng)。儲(chǔ)能系統(tǒng)通過(guò)儲(chǔ)存和釋放多余能量，避免能源發(fā)電過(guò)程的產(chǎn)生波動(dòng)，提高微電網(wǎng)運(yùn)行的穩(wěn)定性，微電網(wǎng)可以利用智能系統(tǒng)實(shí)現(xiàn)儲(chǔ)能調(diào)度，保障整體運(yùn)行效益。

1 微電網(wǎng)儲(chǔ)能調(diào)度概述

利用微電網(wǎng)儲(chǔ)能調(diào)度工作，可以維護(hù)能源系統(tǒng)運(yùn)行的穩(wěn)定性，但是因?yàn)榭稍偕茉幢容^特殊，通常因?yàn)殚g歇性和隨機(jī)性等特征可以加大微電網(wǎng)儲(chǔ)能調(diào)度的難度。微電網(wǎng)可以利用隨機(jī)優(yōu)化措施，提升可再生能源發(fā)電的準(zhǔn)確性。研究人員可以建立隨機(jī)優(yōu)化的模型，設(shè)置真實(shí)的離散場(chǎng)景集合模式，轉(zhuǎn)化可再生能源發(fā)電的不確定性。但是在各種外界因素的影響下，微電網(wǎng)儲(chǔ)能調(diào)度單模型可能會(huì)產(chǎn)生各種誤差，導(dǎo)致調(diào)度結(jié)構(gòu)不符合實(shí)際狀況[1]。

強(qiáng)化學(xué)習(xí)算法屬于無(wú)模型的調(diào)度方法，因此無(wú)需利用系統(tǒng)模型。利用強(qiáng)化學(xué)習(xí)算法和智能體的動(dòng)態(tài)性，可以確定最優(yōu)控制策略。利用深度Q值強(qiáng)化學(xué)習(xí)機(jī)制，智能體交互與微電網(wǎng)調(diào)度環(huán)境，可以確定最優(yōu)儲(chǔ)能調(diào)度策略，科學(xué)地管理微電網(wǎng)儲(chǔ)儲(chǔ)能設(shè)備的能量。利用微電網(wǎng)系統(tǒng)調(diào)度模型，根據(jù)微電網(wǎng)儲(chǔ)能調(diào)度工作的特殊性，利用Q值強(qiáng)化學(xué)習(xí)機(jī)制，提高微電網(wǎng)儲(chǔ)能調(diào)度的科學(xué)性，再通過(guò)高仿真研究，確定各種觀測(cè)量場(chǎng)景中，深度Q值的性能。

2 微電網(wǎng)儲(chǔ)能調(diào)度模型

2.1 微電網(wǎng)結(jié)構(gòu)

微電網(wǎng)中包括各種復(fù)雜的裝置，利用公共連接點(diǎn)連接配電網(wǎng)，需要平衡微電網(wǎng)的整體功率，如果設(shè)置的負(fù)荷量不滿足光伏發(fā)電需求，需要立即落實(shí)純調(diào)度策略，主要是調(diào)節(jié)微電網(wǎng)的電池裝置，在這一過(guò)程中需要發(fā)揮控制器的作用，也可以和主電網(wǎng)之間進(jìn)行電能交易，這些方法都可以對(duì)于功率起到平衡作用。

2.2 電池結(jié)構(gòu)

在物理?xiàng)l件的約束下，利用儲(chǔ)能調(diào)度策略，可以優(yōu)化微電網(wǎng)充放電時(shí)間和電量，提高微電網(wǎng)儲(chǔ)能系統(tǒng)的安全性。電池包括閑置、充電、放電3種運(yùn)行模式，利用電池容量約束和電池充放電速率約束，可以保證電池運(yùn)行的穩(wěn)定性。電池容量需要承受物理閑置，控制電池電量，根據(jù)要求調(diào)整電池電量，這樣可以延長(zhǎng)電池的使用時(shí)間。綜合考慮電池使用壽命和容量等方面，科學(xué)地設(shè)置電池的充放電效率[2]。

當(dāng)前，電力市場(chǎng)不夠穩(wěn)定，需要結(jié)合電力瞬時(shí)供需，提高實(shí)時(shí)電價(jià)的科學(xué)性，維護(hù)電力系統(tǒng)的安全運(yùn)行，電力市場(chǎng)需要考慮電能邊際成本再定價(jià)，提高定價(jià)的科學(xué)性。電力公司在更改實(shí)時(shí)地電價(jià)的時(shí)候，需要加強(qiáng)管理用戶行為，因?yàn)橛脩粼谥鲃?dòng)用電的過(guò)程中，已經(jīng)成為電網(wǎng)運(yùn)行的重要影響因素。用戶結(jié)合電力企業(yè)的實(shí)時(shí)電價(jià)信息，再考慮自身的用電需求，科學(xué)地調(diào)整用電狀態(tài)，合理控制用電時(shí)間和用電量，最終的目的是節(jié)省用電成本，這樣也可以提高電力企業(yè)的運(yùn)營(yíng)收益性。

電力企業(yè)需要科學(xué)地測(cè)量光伏發(fā)電量，在觀測(cè)過(guò)程中結(jié)合時(shí)間序列信息，科學(xué)地制定儲(chǔ)能調(diào)度策略，這樣可以高效利用電池，保障微電網(wǎng)的收益，減少電能購(gòu)買量。在智能體輸入更多的有用信息，可以改善學(xué)習(xí)調(diào)度策略性能，保證電池應(yīng)用的高效性，提高充放電行為的合理性，實(shí)現(xiàn)微電網(wǎng)收入的最大化。

3 實(shí)現(xiàn)微電網(wǎng)儲(chǔ)能調(diào)度策略

3.1 深度卷積神經(jīng)網(wǎng)絡(luò)

利用深度卷積神經(jīng)網(wǎng)絡(luò)可以準(zhǔn)確獲取數(shù)據(jù)特征，同時(shí)可以獲得有效的學(xué)習(xí)時(shí)間序列信息。綜合微電網(wǎng)儲(chǔ)能系統(tǒng)充放電動(dòng)作的時(shí)間序列，利用深度強(qiáng)化學(xué)習(xí)算法，可以有效處理時(shí)間序列數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)第一個(gè)卷積層直接輸入數(shù)據(jù)，利用卷積核濾波器獲取局部特征，通過(guò)池化采樣操作確定基礎(chǔ)特征。利用第二個(gè)卷積層結(jié)構(gòu)，通過(guò)組合、抽象基礎(chǔ)特征，建立高階特征。通過(guò)非線性處理措施，通過(guò)卷積層的輸出層，確定離散化動(dòng)作Q值[3]。

3.2 Q值強(qiáng)化學(xué)習(xí)過(guò)程

基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度，主要是利用儲(chǔ)能系統(tǒng)的時(shí)間序列，并且以此作為決策的主要變量條件，學(xué)習(xí)智能體環(huán)境之間實(shí)施交互學(xué)習(xí)，并且可以發(fā)出反饋信息，電力企業(yè)結(jié)合反饋信息，建立科學(xué)的調(diào)整決策?；谏疃葟?qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度策略，利用雙重Q網(wǎng)絡(luò)結(jié)構(gòu)獲取相關(guān)函數(shù)，提高值函數(shù)的合理性，通過(guò)公雙重Q網(wǎng)絡(luò)，可以提高值函數(shù)估計(jì)工作的科學(xué)性。

4 基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度策略

4.1 固定電價(jià)調(diào)度策略

為了強(qiáng)化學(xué)習(xí)調(diào)度策略的性能，本文分析了強(qiáng)化學(xué)習(xí)調(diào)度策略性能。結(jié)合不同的場(chǎng)景，確定不同微電網(wǎng)儲(chǔ)能調(diào)度結(jié)果。如果電池核電水平初始值是不同的，微電網(wǎng)工作穩(wěn)定性不會(huì)因此受到影響。在工作過(guò)程中不斷增加負(fù)荷消耗量，利用光伏發(fā)電方式，可以在最大限度地滿足微電網(wǎng)負(fù)荷要求。在工作過(guò)程中，智能體也會(huì)不斷獲取智能體觀測(cè)量，利用智能體可以控制微電網(wǎng)的充放電工作，保障微電網(wǎng)收入的最大化，提升調(diào)度策略的科學(xué)性。當(dāng)獲取到更多的有效性信息時(shí)，智能體觀測(cè)就會(huì)越充分地發(fā)揮學(xué)習(xí)調(diào)度策略的性能[4]。

4.2 實(shí)時(shí)電價(jià)調(diào)度策略

在每天晚上11：00到早上的6：00，這一階段實(shí)時(shí)電價(jià)處于低價(jià)狀態(tài)，微電網(wǎng)在這一階段需要獲取電網(wǎng)電能，微電網(wǎng)電池在這個(gè)階段處于充電的狀態(tài)。電池核電達(dá)到90%以上，電池即可閑置。在每天的8：00～16：00，實(shí)時(shí)電價(jià)相對(duì)來(lái)說(shuō)較高，智能體需要控制電池放電過(guò)程，如果實(shí)時(shí)電價(jià)比較低，電池要保持閑置。時(shí)間為19：00～21：00，實(shí)時(shí)電價(jià)比較高，電池處于持續(xù)性發(fā)電節(jié)點(diǎn)，如果電池核電水平達(dá)到10%，電池就要保持閑置狀態(tài)。

微電網(wǎng)需要綜合考慮實(shí)時(shí)電價(jià)，提高學(xué)習(xí)調(diào)度策略的靈活性，利用靈活的調(diào)度動(dòng)作，提高微電網(wǎng)的整體效益。

4.3 CPLEX基準(zhǔn)驗(yàn)證

利用GAMS建模軟件，可以提高電網(wǎng)儲(chǔ)能調(diào)度策略的科學(xué)性，利用準(zhǔn)確的算法，轉(zhuǎn)化微電網(wǎng)運(yùn)行過(guò)程存在的問(wèn)題，利用優(yōu)化求解器解答混合整數(shù)規(guī)劃問(wèn)題，再通過(guò)實(shí)時(shí)電價(jià)場(chǎng)景驗(yàn)證。利用GAMS建立微電網(wǎng)模型，該模型當(dāng)中需要具備全面的微電網(wǎng)信息，最后通過(guò)優(yōu)化求解器確定最優(yōu)收益。

在無(wú)干擾場(chǎng)景當(dāng)中，無(wú)模型強(qiáng)化學(xué)習(xí)算法和模型最優(yōu)化算法具有一定的偏差大。未來(lái)預(yù)測(cè)信息發(fā)生變化，不會(huì)影響到模型最優(yōu)化算法，這種狀態(tài)不會(huì)產(chǎn)生任何干擾。在光伏發(fā)電預(yù)測(cè)量干擾下，利用強(qiáng)化學(xué)習(xí)策略，各個(gè)性能指標(biāo)不會(huì)產(chǎn)生較大的變化，但是干擾因素會(huì)影響到優(yōu)化求解器的最優(yōu)化求解，提升基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度策略的有效性和準(zhǔn)確性。

5 結(jié)語(yǔ)

本文根據(jù)微電網(wǎng)調(diào)度問(wèn)題環(huán)境模型，針對(duì)不同組合模型對(duì)于基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度策略的影響，提出針對(duì)性的儲(chǔ)能調(diào)度策略?；谏疃葟?qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度過(guò)程中需要利用兩種電價(jià)方式，通過(guò)組合場(chǎng)景模式，獲取光伏測(cè)量信息，提升微電網(wǎng)儲(chǔ)能策略的科學(xué)性，實(shí)現(xiàn)微電網(wǎng)收益的最大化。微電網(wǎng)需要結(jié)合實(shí)時(shí)電價(jià)信息，在預(yù)測(cè)光伏發(fā)電量的過(guò)程中考慮時(shí)間序列信息，建立科學(xué)的微電網(wǎng)儲(chǔ)能調(diào)度策略，利用場(chǎng)景模型組合的方式，科學(xué)地考慮各種可能發(fā)生的場(chǎng)景，使微電網(wǎng)的收益性不斷提升。將20%光伏發(fā)電量加入到微電網(wǎng)模型當(dāng)中，如果微電網(wǎng)運(yùn)行出現(xiàn)波動(dòng)性，可以利用新的場(chǎng)景組合，始終保證微電網(wǎng)儲(chǔ)能調(diào)度測(cè)量的有效性。各種因素都會(huì)干擾到微電網(wǎng)收益情況，微電網(wǎng)處于無(wú)干擾場(chǎng)景當(dāng)中，有利于控制整體收益偏差，因此微電網(wǎng)需要提高場(chǎng)景組合模型的適應(yīng)性，而本文提出的基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度策略，在一般微電網(wǎng)系統(tǒng)儲(chǔ)能調(diào)度當(dāng)中都可以利用。

參 考 文 獻(xiàn)

[1]朱永強(qiáng)，劉康，張泉，等.考慮儲(chǔ)能系統(tǒng)調(diào)度的交直流混合微電網(wǎng)中互聯(lián)變流器容量配置[J].電力建設(shè)，2019（10）：84-93.

[2]王亞?wèn)|，崔承剛，錢申晟，等.基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度策略研究[J].可再生能源，2019，37（8）：1220-1228.

[3]黃敏，賀利軍.混合儲(chǔ)能微電網(wǎng)并網(wǎng)調(diào)度多目標(biāo)灰熵?zé)熁ㄋ惴╗J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2019，28（8）：176-182.

[4]胡詩(shī)堯，安佳坤，韓璟琳，等.基于一致性算法的智能電網(wǎng)儲(chǔ)能單元分布式調(diào)度策略[J].沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2019，41（4）：372-377.

[5]王春梅，熊斌宇.基于儲(chǔ)能調(diào)度模式的微電網(wǎng)不平衡功率平抑兩階段優(yōu)化方法[J].智慧電力，2019，47（2）：22-28，55.

[6]顏寧，潘霄，張明理，等.基于復(fù)合儲(chǔ)能的多互聯(lián)微電網(wǎng)日內(nèi)調(diào)度研究[J].電工技術(shù)學(xué)報(bào)，2018，33（S2）：577-585.