范培瀟 楊 軍 溫裕鑫 柯 松 謝黎龍

基于可進(jìn)化模型預(yù)測控制的含電動(dòng)汽車多微電網(wǎng)智能發(fā)電控制策略

范培瀟 楊 軍 溫裕鑫 柯 松 謝黎龍

（武漢大學(xué)電氣與自動(dòng)化學(xué)院 武漢 430072）

多微電網(wǎng)中的環(huán)境狀態(tài)、控制資源及偶然事件均具有強(qiáng)不確定性，而電動(dòng)汽車在參與電網(wǎng)削峰填谷的同時(shí)也給發(fā)電控制帶來了挑戰(zhàn)。為此，該文提出一種基于可進(jìn)化模型預(yù)測控制（LBMPC）的含電動(dòng)汽車多微電網(wǎng)發(fā)電控制策略。首先，基于控制器交互的多微電網(wǎng)互聯(lián)結(jié)構(gòu)，考慮了發(fā)電機(jī)端電壓調(diào)節(jié)和負(fù)荷頻率控制（LFC）之間的耦合關(guān)系，建立含電動(dòng)汽車多微電網(wǎng)的發(fā)電控制模型；然后，設(shè)計(jì)了一種基于多智能體的控制器參數(shù)自適應(yīng)算法：頻率控制器以實(shí)時(shí)頻偏和EV站輸出功率邊界為狀態(tài)集，以模型預(yù)測控制（MPC）控制器的可調(diào)參數(shù)矩陣作為動(dòng)作集，以頻率偏差為獎(jiǎng)勵(lì)函數(shù)指標(biāo)，電壓控制器同理，從而實(shí)現(xiàn)MPC與PI控制器權(quán)重參數(shù)的自適應(yīng)調(diào)整；最后，仿真結(jié)果表明，自動(dòng)調(diào)壓（AVR）回路增加了有功功率干擾，對(duì)LFC控制器提出了更高的要求，與傳統(tǒng)控制和MPC算法相比，應(yīng)用于控制器互聯(lián)結(jié)構(gòu)的可進(jìn)化模型預(yù)測控制器能夠在子微電網(wǎng)之間進(jìn)行信息交換，并且根據(jù)環(huán)境狀態(tài)實(shí)時(shí)更新控制器參數(shù)，顯著提高了多微電網(wǎng)頻率控制過程的魯棒性和快速性。同時(shí)，與純深度確定性策略梯度（DDPG）控制器相比，該文提出的雙層控制結(jié)構(gòu)在機(jī)器學(xué)習(xí)智能體出現(xiàn)故障無法正常輸出動(dòng)作時(shí)，能更好地保證系統(tǒng)的安全穩(wěn)定運(yùn)行。

多微電網(wǎng)負(fù)荷頻率控制 電動(dòng)汽車 發(fā)電機(jī)端電壓 多智能體算法 模型預(yù)測控制

0 引言

在“碳達(dá)峰”與“碳中和”的國家能源戰(zhàn)略背景下[1]，以化石能源為驅(qū)動(dòng)力的常規(guī)發(fā)電機(jī)組逐漸被風(fēng)力發(fā)電與光伏發(fā)電等可再生能源發(fā)電機(jī)組所代替[2]。而具有開發(fā)和延伸特性的微電網(wǎng)能夠充分促進(jìn)這類具有強(qiáng)隨機(jī)性的分布式電源的大規(guī)模接入，從而得到了高速的發(fā)展建設(shè)[3]。同時(shí)，發(fā)展電動(dòng)汽車（Electric Vehicle, EV）是保障低碳能源的趨勢(shì)，我國也將電動(dòng)汽車作為戰(zhàn)略性新興產(chǎn)業(yè)，微電網(wǎng)的發(fā)展也促使電動(dòng)汽車開始廣泛應(yīng)用于電網(wǎng)的削峰填谷、抑制功率波動(dòng)中[4]。

但是，在大規(guī)模電動(dòng)汽車接入微電網(wǎng)的同時(shí)，孤島運(yùn)行的微電網(wǎng)的電能質(zhì)量也會(huì)下降，從而引起整個(gè)微電網(wǎng)的不穩(wěn)定[5]。因此，新型微電網(wǎng)結(jié)構(gòu)與穩(wěn)定控制策略必須能夠自適應(yīng)地應(yīng)對(duì)各類外部環(huán)境狀態(tài)、控制資源及偶然事件中的強(qiáng)不確定性。

為了解決孤島單一微電網(wǎng)容量有限，容易受到各種非線性隨機(jī)波動(dòng)的影響的問題[6-7]，各子微電網(wǎng)之間存在功率耦合關(guān)系的多微電網(wǎng)系統(tǒng)（Multi-Microgrid System, MMS）逐步被廣泛應(yīng)用。但是，多微電網(wǎng)的結(jié)構(gòu)組成復(fù)雜，其穩(wěn)定控制面臨著更大的挑戰(zhàn)[8]，系統(tǒng)的頻率與發(fā)電機(jī)端電壓的穩(wěn)定是衡量電能質(zhì)量的標(biāo)準(zhǔn)。而現(xiàn)有研究也將PID[9-12]、模糊控制[13-15]等經(jīng)典控制方法應(yīng)用到多微電網(wǎng)的傳統(tǒng)結(jié)構(gòu)中，以此改善孤島微電網(wǎng)系統(tǒng)的運(yùn)行效果。但是，上述研究中，所選取的多微電網(wǎng)模型均只包含聯(lián)絡(luò)線間的功率交互，控制器之間不存在信息交互，難以實(shí)現(xiàn)各子微電網(wǎng)之間“去中心化”的協(xié)調(diào)控制；同時(shí)，上述研究中僅有文獻(xiàn)[12, 15]考慮了電動(dòng)汽車參與微電網(wǎng)調(diào)控的情況，且相應(yīng)的控制模型沒有考慮電動(dòng)汽車站輸出邊界的隨機(jī)性。而事實(shí)上，電動(dòng)汽車在參與電網(wǎng)削峰填谷、抑制功率波動(dòng)的同時(shí)，其輸出功率約束邊界會(huì)受到用戶出行需求[16]、用戶充電行為[17]、電動(dòng)汽車移動(dòng)性[18]等因素的影響。進(jìn)而，文獻(xiàn)[9,12-15]在負(fù)荷頻率控制（Load Frequency Control, LFC）過程中，忽略了發(fā)電機(jī)端電壓對(duì)系統(tǒng)有功功率平衡的影響，在實(shí)際情況中，兩者的調(diào)節(jié)過程具有強(qiáng)耦合性。而文獻(xiàn)[10-11]雖然考慮了端電壓調(diào)控過程所引起的有功功率擾動(dòng)，但其與上述研究所采用的方法均依賴權(quán)重的優(yōu)化求解、參數(shù)的設(shè)置或隸屬函數(shù)的建立，難以在控制模型中設(shè)定控制系統(tǒng)中的各類約束條件，對(duì)多微電網(wǎng)復(fù)雜拓?fù)浣Y(jié)構(gòu)變化、電動(dòng)汽車與分布式電源的強(qiáng)隨機(jī)性的適應(yīng)性不足。

此外，也有相關(guān)研究開始基于這些方法完成逆變器設(shè)計(jì)[19]，以實(shí)現(xiàn)微電網(wǎng)負(fù)荷頻率控制，例如文獻(xiàn)[20]提出了一種多重逆變器復(fù)雜控制策略用于微電網(wǎng)的運(yùn)行控制，但可控負(fù)載和高比例新能源單元會(huì)給這類轉(zhuǎn)換器的設(shè)計(jì)過程帶來巨大挑戰(zhàn)。

基于此，能夠?qū)⒖刂七^程轉(zhuǎn)換為求解優(yōu)化問題，從而很好地適應(yīng)分布式電源與電動(dòng)汽車的強(qiáng)隨機(jī)性的魯棒模型預(yù)測控制（Model Predictive Control, MPC）[21]被應(yīng)用于含電動(dòng)汽車多微電網(wǎng)的控制中。文獻(xiàn)[22]則基于魯棒模型預(yù)測控制理論，設(shè)計(jì)了一種改進(jìn)的帶有線性二次調(diào)節(jié)器的魯棒模型預(yù)測控制器，可用于含電動(dòng)汽車多微電網(wǎng)的頻率控制；文獻(xiàn)[23]提出了一種新的自適應(yīng)智能模型預(yù)測控制方案，能夠在考慮到電動(dòng)汽車電池荷電狀態(tài)（State of Charge, SOC）控制的情況下完成多微電網(wǎng)系統(tǒng)的穩(wěn)定性控制。但是，上述多微電網(wǎng)模型均沒有考慮發(fā)電機(jī)端電壓調(diào)節(jié)和系統(tǒng)頻率控制之間的耦合關(guān)系，且傳統(tǒng)的魯棒模型預(yù)測控制在面對(duì)電動(dòng)汽車站輸出邊界發(fā)生周期性變化、端電壓調(diào)控引起有功干擾，以及系統(tǒng)遭遇極端擾動(dòng)等強(qiáng)非線性影響時(shí)，已經(jīng)整定好參數(shù)的控制器不具有進(jìn)化性能，其控制性能會(huì)受到較大影響，甚至導(dǎo)致閉環(huán)系統(tǒng)不穩(wěn)定；同時(shí)，各控制器獨(dú)立存在于各個(gè)子微電網(wǎng)中，不存在信息耦合關(guān)系，因此各子微電網(wǎng)之間無法根據(jù)實(shí)時(shí)運(yùn)行環(huán)境提前實(shí)現(xiàn)協(xié)調(diào)互助和“去中心化”協(xié)調(diào)控制。

現(xiàn)今，具備在線學(xué)習(xí)與經(jīng)驗(yàn)回放能力的強(qiáng)化學(xué)習(xí)智能算法已經(jīng)得到了深入的研究[24]，其可通過數(shù)據(jù)的有效積累保證控制能力在訓(xùn)練過程能夠持續(xù)的進(jìn)化。機(jī)器學(xué)習(xí)在微電網(wǎng)中的研究更多地集中在單一智能體在微電網(wǎng)控制中的應(yīng)用，文獻(xiàn)[25]與文獻(xiàn)[26]分別基于()學(xué)習(xí)與深度學(xué)習(xí)算法，設(shè)計(jì)出能夠應(yīng)對(duì)孤島單一微電網(wǎng)中分布式電源隨機(jī)性的負(fù)荷頻率控制器，但這些算法的動(dòng)作空間是非連續(xù)性，在應(yīng)用于含電動(dòng)汽車多微電網(wǎng)這種復(fù)雜場景時(shí)，可能會(huì)出現(xiàn)動(dòng)作空間“維數(shù)爆炸”的問題。同時(shí)，多智能體算法具有“集中式訓(xùn)練、分布式執(zhí)行”的協(xié)調(diào)控制思想[27]，能夠更好地適應(yīng)分布式電源的強(qiáng)隨機(jī)特性、系統(tǒng)頻率與發(fā)電機(jī)端電壓耦合作用與電動(dòng)汽車的隨機(jī)輸出功率約束。文獻(xiàn)[28]將多智能體深度確定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient, MA-DDPG）應(yīng)用于多微電網(wǎng)系統(tǒng)的負(fù)荷頻率協(xié)同控制中，能夠很好地保證多微電網(wǎng)系統(tǒng)的整體穩(wěn)定性。但是，文獻(xiàn)[28]與文獻(xiàn)[25-26]中的機(jī)器學(xué)習(xí)控制器的輸出直接連接并決定了各調(diào)頻機(jī)組的出力，其主要基于數(shù)據(jù)的有效積累，以保證控制能力在訓(xùn)練過程能夠持續(xù)的進(jìn)化。該過程可被視為黑盒子，當(dāng)這類機(jī)器學(xué)習(xí)控制器一旦遇到訓(xùn)練中未曾遇到的復(fù)雜場景，則無法保證正常輸出，將直接影響到微電網(wǎng)中調(diào)頻機(jī)組的正常運(yùn)行，難以應(yīng)用到含電動(dòng)汽車多微電網(wǎng)這種安全性要求比較高的工程應(yīng)用中。

因此，本文提出一種基于可進(jìn)化模型預(yù)測控制的含電動(dòng)汽車多微電網(wǎng)智能發(fā)電控制策略。

1）在系統(tǒng)模型設(shè)計(jì)方面，基于控制器互聯(lián)的新型多微電網(wǎng)控制結(jié)構(gòu)，考慮了發(fā)電機(jī)端電壓調(diào)節(jié)和系統(tǒng)頻率控制之間的耦合關(guān)系，為實(shí)現(xiàn)系統(tǒng)頻率與發(fā)電機(jī)端電壓在孤島微電網(wǎng)運(yùn)行下的自治協(xié)調(diào)控制提供模型基礎(chǔ)，更加符合實(shí)際場景。

2）在算法設(shè)計(jì)方面，設(shè)計(jì)出可進(jìn)化的MPC與PI參數(shù)自適應(yīng)控制器?？刂破髦械腄DPG多智能體組可以在經(jīng)驗(yàn)積累的基礎(chǔ)上不斷進(jìn)化，從而根據(jù)含電動(dòng)汽車多微電網(wǎng)的復(fù)雜運(yùn)行場景對(duì)MPC與PI控制器的權(quán)重參數(shù)進(jìn)行自適應(yīng)調(diào)整；同時(shí)在“集中式訓(xùn)練、分布式執(zhí)行”的架構(gòu)下，能夠根據(jù)實(shí)時(shí)運(yùn)行狀態(tài)信息實(shí)現(xiàn)各子微電網(wǎng)之間的協(xié)同控制。

3）在安全運(yùn)行方面，當(dāng)上層機(jī)器學(xué)習(xí)智能體故障無法正常輸出動(dòng)作時(shí)，下層MPC與PI控制器能夠采用提前整定好的參數(shù)完成控制過程，直到上層控制器恢復(fù)正常，在提高控制效果的同時(shí)保證了系統(tǒng)的安全性。

1 多微電網(wǎng)控制模型

在電力系統(tǒng)中自動(dòng)發(fā)電控制主要包含頻率控制與電壓控制，兩者的調(diào)節(jié)過程具有一定耦合關(guān)系。本節(jié)將依次完成微電網(wǎng)系統(tǒng)的負(fù)荷頻率控制模型與自動(dòng)調(diào)壓（Automatic Voltage Regulation, AVR）模型，以及相應(yīng)的耦合模型。微電網(wǎng)中分布式電源較多，主要包含微型燃?xì)廨啓C(jī)（Micro Turbine, MT）、電動(dòng)汽車站與新能源機(jī)組（以風(fēng)力發(fā)電為主）。

1.1 電動(dòng)汽車負(fù)荷頻率控制模型[29]

電動(dòng)汽車充電站能夠作為靈活儲(chǔ)能參與微電網(wǎng)的頻率調(diào)控過程中，但是其會(huì)因?yàn)樗哂械囊苿?dòng)性與用戶行為隨機(jī)性，而影響到實(shí)時(shí)的輸出功率邊界，由此影響到電動(dòng)汽車充電站的頻率調(diào)控過程；而充電站內(nèi)電動(dòng)汽車的實(shí)時(shí)狀態(tài)與分布情況受到用戶行為隨機(jī)性的影響，其主要包括電動(dòng)汽車的日常駕駛里程和出發(fā)/返回時(shí)間。根據(jù)文獻(xiàn)[26]，建立相應(yīng)的概率密度函數(shù)，有

式中，為平均值；為標(biāo)準(zhǔn)差，其具體值受區(qū)域類型影響；為時(shí)間；為距離。

此外，電動(dòng)汽車進(jìn)入充電站后的初始充電過程會(huì)一直持續(xù)到充電狀態(tài)達(dá)到SOCm（該值的含義為保證電動(dòng)汽車拔掉電源后有足夠的電量完成正常行駛過程）。由此可根據(jù)日行駛里程計(jì)算出進(jìn)站后，電池荷電狀態(tài)到SOCm所需的時(shí)間c為

式中，c為充電功率；100為百公里耗電量；total為EV的平均滿功率；m為SOC=SOCm時(shí)EV的平均功率。

進(jìn)而，EV在站內(nèi)的停滯時(shí)間可以定義為Δ，離開充電站的時(shí)間定義為leave，并滿足約束

式中，T為正隨機(jī)數(shù)，取值可根據(jù)用戶出行習(xí)慣確定；enter為進(jìn)入EV站的時(shí)間。

綜上所述，電動(dòng)汽車輸出功率邊界模型如圖1所示，可根據(jù)SOC0狀態(tài)對(duì)進(jìn)站的EV進(jìn)行分類。如圖1a所示，當(dāng)SOC0＜SOCm時(shí)，EV將進(jìn)行強(qiáng)制充電并至少持續(xù)到荷電量達(dá)到SOCm。如圖1b所示，當(dāng)SOC0≥SOCm時(shí)，電動(dòng)汽車可以直接參與微電網(wǎng)的調(diào)節(jié)過程，且這一放電過程不會(huì)使SOC低于SOCm。而SOCmax是保證電池壽命的最大SOC值，halfway是EV離站前的時(shí)間。即，而不同荷電狀態(tài)的電動(dòng)汽車將具有不同充放電狀態(tài)，處于“強(qiáng)制充電”狀態(tài)的車輛無法參與到微電網(wǎng)的頻率控制過程中，而處于充電邊界與放電邊界之間的電動(dòng)汽車，則能夠根據(jù)微電網(wǎng)的實(shí)際情況，參與到微電網(wǎng)的調(diào)控過程中。

圖1 電動(dòng)汽車輸出功率邊界模型

因此，在時(shí)間時(shí)，站內(nèi)共有輛EV，且有輛EV處于強(qiáng)制充電狀態(tài)（SOC＜SOCm），輛EV的SOC達(dá)到SOCmax，所以處于不可充電狀態(tài)，而剩余的EV（SOCm＜SOC＜SOCmax），處于可充可放的狀態(tài)。由此可得EV站的輸出上、下邊界分別為

式中，dis和ch分別為單體EV的平均放電和充電功率。

圖2 電動(dòng)汽車負(fù)荷頻率控制模型

1.2 其余調(diào)頻機(jī)組模型

本文的新能源機(jī)組以風(fēng)力發(fā)電為例，且由于其頻率響應(yīng)特性具有極強(qiáng)的隨機(jī)性，故可視作擾動(dòng)源。此外，將微型燃汽輪機(jī)[26]作為主調(diào)頻機(jī)組加入到多微電網(wǎng)系統(tǒng)中，以保證調(diào)控過程的穩(wěn)定性。

1.3 微電網(wǎng)負(fù)荷頻率控制模型

由此，在不考慮發(fā)電機(jī)自動(dòng)調(diào)壓裝置與系統(tǒng)頻率之間的耦合情況下，可得到孤島單一微電網(wǎng)的負(fù)荷頻率控制模型，如圖3所示。圖3中，Δw為風(fēng)電擾動(dòng)功率，ΔL為負(fù)荷擾動(dòng)功率，ΔMT為微型燃?xì)廨啓C(jī)的輸出功率增量，ΔEV為EV站的輸出功率增量，t是微電網(wǎng)的慣性常量，ΔMT為控制器發(fā)送至燃?xì)廨啓C(jī)的LFC信號(hào)，ΔMT為燃料系統(tǒng)的閥門位置變化的增量，f、t分別為燃料系統(tǒng)和渦輪機(jī)的時(shí)間常數(shù)，為調(diào)速器系數(shù)，±m(xù)t為功率爬坡約束的上、下限，±m(xù)t為功率增量約束的上、下限。風(fēng)力發(fā)電與負(fù)載一同向系統(tǒng)輸入擾動(dòng)功率，而微型燃?xì)廨啓C(jī)與電動(dòng)汽車站一起作為微電網(wǎng)的調(diào)頻機(jī)組。

圖3 含電動(dòng)汽車的微網(wǎng)負(fù)荷頻率控制模型

1.4 發(fā)電機(jī)自動(dòng)調(diào)壓模型

而發(fā)電機(jī)自動(dòng)調(diào)壓裝置能夠?qū)Πl(fā)電機(jī)端電壓進(jìn)行調(diào)控。發(fā)電機(jī)自動(dòng)調(diào)壓模型如圖4所示，包含電壓控制器、放大器、勵(lì)磁裝置、發(fā)電機(jī)及電壓傳感器。圖4中，ref為參考電壓，t為實(shí)時(shí)實(shí)際電壓，?為電壓偏差，A、E和G分別為放大器、勵(lì)磁裝置和發(fā)電機(jī)的增益，A、E和G分別為放大器、勵(lì)磁裝置和發(fā)電機(jī)的時(shí)間常數(shù)。將傳感器所捕獲到的實(shí)時(shí)電壓值與電壓標(biāo)準(zhǔn)值進(jìn)行比對(duì)，其生成的差值會(huì)發(fā)送給調(diào)壓控制器，由此控制器發(fā)送調(diào)節(jié)信號(hào)并經(jīng)過放大器、勵(lì)磁裝置，最終調(diào)節(jié)發(fā)電機(jī)端的勵(lì)磁，從而保證無功功率的平衡，完成電壓的調(diào)控過程。

圖4 發(fā)電機(jī)自動(dòng)調(diào)壓模型

1.5 多微網(wǎng)負(fù)荷頻率與發(fā)電機(jī)電壓耦合調(diào)控模型

由此，可將微電網(wǎng)的負(fù)荷頻率控制（LFC）與自動(dòng)調(diào)壓（AVR）模型進(jìn)行耦合處理，所得到的耦合調(diào)控模型如圖5所示。圖5中，隨機(jī)與負(fù)荷功率波動(dòng)會(huì)通過引起頻率偏差而影響到端電壓的控制過程；同樣地，在對(duì)端電壓進(jìn)行調(diào)整的過程中，AVR回路也會(huì)給微電網(wǎng)系統(tǒng)造成有功功率干擾ΔAVR，并作用于LFC過程。由此，可搭建出多微電網(wǎng)系統(tǒng)的頻率控制模型架構(gòu)如圖6所示。圖6中，AVR方框代表發(fā)電機(jī)電壓耦合調(diào)控模塊，ΔAVR為AVR回路向微電網(wǎng)系統(tǒng)輸出的有功功率干擾，而Δti為子微網(wǎng)向聯(lián)絡(luò)線輸出的功率增量。同時(shí)，本文提出了一種雙層耦合控制器結(jié)構(gòu)和一種控制器互連的多微電網(wǎng)結(jié)構(gòu)。傳統(tǒng)的聯(lián)絡(luò)線電力模型可以實(shí)現(xiàn)微電網(wǎng)之間的電力傳輸，如圖6右側(cè)點(diǎn)畫線框中的綠色連接線所示，可以傳輸和連接各個(gè)微電網(wǎng)的電力。然而，這種傳統(tǒng)的聯(lián)絡(luò)線電力模型無法在MMS中實(shí)現(xiàn)控制器之間的信息交換，對(duì)分布式電源即插即用、微電網(wǎng)拓?fù)渥儞Q等復(fù)雜運(yùn)行環(huán)境的適應(yīng)性較差。因此，本文中的MMS采用了多智能體控制。每個(gè)子微電網(wǎng)中的DDPG控制器之間存在互聯(lián)，共享決策信息，如圖6中的左側(cè)控制器互聯(lián)藍(lán)色連接線所示。此外，每個(gè)微電網(wǎng)的頻率偏差也反饋給每個(gè)DDPG與MPC控制器，如圖所示由圖6中的橙色粗虛線和頻率偏差輸出側(cè)的紅色虛線組成。由此，MA-DDPG 控制器組可以判斷每個(gè)微電網(wǎng)的工作狀態(tài)是否正常，并以MMS的整體穩(wěn)定性為最大目標(biāo)，以實(shí)現(xiàn)協(xié)調(diào)控制每個(gè)子微電網(wǎng)。

圖5 負(fù)荷頻率與發(fā)電機(jī)電壓耦合調(diào)控模型

圖6 考慮AVR的多微電網(wǎng)負(fù)荷頻率控制模型結(jié)構(gòu)

進(jìn)而，為了保證智能控制器的運(yùn)行安全，本文提出了一種雙層耦合控制器結(jié)構(gòu)。如圖6紫框所示，兩層控制器的上層由機(jī)器學(xué)習(xí)代理組成，下層是MPC 控制器。當(dāng)機(jī)器學(xué)習(xí)智能體組正常運(yùn)行時(shí)，下層MPC控制器通過接收上層命令調(diào)整控制參數(shù)，根據(jù)狀態(tài)空間信息調(diào)整系統(tǒng)單元的輸出，實(shí)現(xiàn)頻率控制；當(dāng)機(jī)器學(xué)習(xí)智能體發(fā)生故障無法正常輸出動(dòng)作時(shí)，下層MPC控制器也可以使用預(yù)先設(shè)置的參數(shù)完成頻率控制過程，直到上層控制器恢復(fù)正常。

2 基于可進(jìn)化MPC的負(fù)荷頻率控制器

傳統(tǒng)的MPC不具備進(jìn)化能力，其物理模型和控制參數(shù)不會(huì)隨著被控對(duì)象和運(yùn)行環(huán)境的變化進(jìn)行自適應(yīng)調(diào)整。而強(qiáng)化學(xué)習(xí)具備在線學(xué)習(xí)與經(jīng)驗(yàn)回放能力，能夠根據(jù)有效數(shù)據(jù)的積累，使得自身的預(yù)測能力在理論上不斷進(jìn)化，但其控制過程被視為黑匣子，對(duì)于很多安全性要求較高的項(xiàng)目來說是無法接受的。由此可見，MPC和強(qiáng)化學(xué)習(xí)可以相得益彰。本文采用DDPG算法實(shí)現(xiàn)MPC控制器中輸出權(quán)重矩陣的自適應(yīng)調(diào)整，設(shè)計(jì)出一種基于可進(jìn)化MPC的負(fù)荷頻率控制器來保持多微電網(wǎng)的穩(wěn)定性。

2.1 基于模型預(yù)測控制的多微電網(wǎng)模型

當(dāng)魯棒模型預(yù)測控制策略應(yīng)用于多微電網(wǎng)控制時(shí)，各子微電網(wǎng)的狀態(tài)空間方程需要設(shè)置為

具體來說，為

式中，Δf為頻率偏差；Δti為聯(lián)絡(luò)線功率變化；ΔMTi為燃?xì)廨啓C(jī)功率變化；ΔEVi為電動(dòng)汽車站功率變化；和為電動(dòng)汽車站。因此，通過組合多個(gè)子微電網(wǎng)的狀態(tài)變量，可以得到多微電網(wǎng)系統(tǒng)的狀態(tài)變量為

式中，為MMS中子微電網(wǎng)的總數(shù)。

多微電網(wǎng)系統(tǒng)的輸入、輸出和擾動(dòng)可以設(shè)置為

因此，結(jié)合上面建立的各調(diào)頻單元的LFC模型和狀態(tài)空間方程，狀態(tài)空間矩陣可以表示為

在此基礎(chǔ)上，可以得到多微電網(wǎng)系統(tǒng)集成離散后的狀態(tài)空間方程為

為了保證子微電網(wǎng)的頻率穩(wěn)定性，目標(biāo)函數(shù)可設(shè)置為

綜上所述，微電網(wǎng)的頻率控制過程可以轉(zhuǎn)換為一個(gè)優(yōu)化問題，即目標(biāo)是最小化目標(biāo)函數(shù)的上限，并添加對(duì)多微電網(wǎng)、分布式電源和電動(dòng)汽車的約束[22]，有

2.2 基于可進(jìn)化模型預(yù)測控制器的控制結(jié)構(gòu)

作為一種深度強(qiáng)化學(xué)習(xí)，DDPG可以實(shí)現(xiàn)MPC算法中輸出權(quán)重矩陣的自適應(yīng)調(diào)整?？刂破鹘Y(jié)構(gòu)對(duì)比示意圖如圖7所示。圖7a顯示了以機(jī)器學(xué)習(xí)算法為核心的單層控制器的結(jié)構(gòu)設(shè)計(jì)[28]。強(qiáng)化學(xué)習(xí)控制器直接與微電網(wǎng)相連，并向微電網(wǎng)的各個(gè)調(diào)頻單元發(fā)送控制信號(hào)。如果強(qiáng)化學(xué)習(xí)控制器遇到?jīng)]有學(xué)習(xí)過的極端場景時(shí)，其控制能力就會(huì)失效，無法輸出合理的動(dòng)作，導(dǎo)致微電網(wǎng)系統(tǒng)不穩(wěn)定。因此，本文提出了一種基于DDPG與MPC的雙層耦合控制結(jié)構(gòu)，如圖7b所示，當(dāng)強(qiáng)化學(xué)習(xí)智能體出現(xiàn)故障時(shí)，MPC控制器也可以使用預(yù)先設(shè)置的參數(shù)完成頻率控制過程，直到強(qiáng)化學(xué)習(xí)智能體恢復(fù)正常。

圖7 控制器結(jié)構(gòu)對(duì)比示意圖

2.3 DDPG智能體中狀態(tài)、動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)的定義

綜上所述，DDPG算法中的動(dòng)作集代表了智能體在當(dāng)前環(huán)境狀態(tài)下所執(zhí)行的動(dòng)作，本文DDPG智能體的動(dòng)作集可以定義為MPC控制器的可調(diào)輸出權(quán)重矩陣，即

Δ

U

=[

q

mt

q

ev

] （19）

同時(shí)，根據(jù)實(shí)際情況，權(quán)重矩陣的值應(yīng)該是大于等于0的實(shí)數(shù)，且權(quán)重上限過大會(huì)引起動(dòng)作空間過大。因此，對(duì)動(dòng)作空間的約束設(shè)置合適的基準(zhǔn)值后，標(biāo)幺化后的動(dòng)作集可以設(shè)置為

而智能體的環(huán)境空間則為微電網(wǎng)頻率控制閉環(huán)系統(tǒng)的狀態(tài)量：實(shí)時(shí)頻率偏差Δ()、實(shí)時(shí)上下限約束集和電動(dòng)汽車充電站充電功率。由此，狀態(tài)空間可以定義為

此外，優(yōu)秀的獎(jiǎng)勵(lì)函數(shù)可以提高強(qiáng)化學(xué)習(xí)的訓(xùn)練收斂速度，不合理的獎(jiǎng)勵(lì)規(guī)則甚至?xí)?dǎo)致平均獎(jiǎng)勵(lì)曲線出現(xiàn)振蕩。因此，根據(jù)我國電力安全工作規(guī)定的原則，并考慮一定的調(diào)整死區(qū)，以微電網(wǎng)1中的智能體為例，其獎(jiǎng)勵(lì)函數(shù)可設(shè)計(jì)為

式中，0、1、2和3為子微電網(wǎng)1頻率偏差所對(duì)應(yīng)的權(quán)重系數(shù)；0、1、2和3為其余子微電網(wǎng)頻率的權(quán)重系數(shù)；1為循環(huán)過程中的固定獎(jiǎng)勵(lì)：一個(gè)循環(huán)中的總步長越長，固定獎(jiǎng)勵(lì)的總值就越大，從而鼓勵(lì)智能體盡可能避免訓(xùn)練暫停的情況；為固定懲罰因子，以對(duì)頻率波動(dòng)進(jìn)行懲罰；(Δ)為不同頻率波動(dòng)死區(qū)下的懲罰值；(Δ)為終止懲罰，當(dāng)觸發(fā)該懲罰項(xiàng)時(shí)，系統(tǒng)會(huì)自動(dòng)停止訓(xùn)練；2為終止懲罰值，該懲罰值的數(shù)額極大，遠(yuǎn)大于其余類型的懲罰值。

可見，當(dāng)某個(gè)子微網(wǎng)的的智能體環(huán)境滿足終止?fàn)顟B(tài)時(shí)，所有智能體都將結(jié)束本輪訓(xùn)練，即無法輸出動(dòng)作并獲取獎(jiǎng)勵(lì)值。只有當(dāng)各智能體協(xié)調(diào)配合，保證系統(tǒng)中沒有任何一個(gè)智能體環(huán)境滿足終止條件，才能在整體上獲得高額獎(jiǎng)勵(lì)值。而最終的參數(shù)取值需要通過大量的基于實(shí)例的仿真驗(yàn)證來獲得，以保證學(xué)習(xí)的收斂速度和效果。

3 發(fā)電機(jī)自動(dòng)調(diào)壓控制器的設(shè)計(jì)

進(jìn)而，需要設(shè)計(jì)位于各個(gè)子微電網(wǎng)之中的發(fā)電機(jī)自動(dòng)調(diào)壓控制器，各AVR回路相互獨(dú)立，僅對(duì)本子微電網(wǎng)的LFC過程造成直接性的影響。因此其控制難度低于LFC過程，僅需應(yīng)用基于DDPG的PI算法，以減少設(shè)計(jì)難度與建設(shè)成本。

3.1 狀態(tài)空間與動(dòng)作變量

DDPG智能體的狀態(tài)空間可設(shè)置為：實(shí)際電壓與參考電壓誤差的標(biāo)幺值D，實(shí)際電壓的標(biāo)幺值、電壓誤差的標(biāo)幺值的積分D。

式中，D=-1。

因此，DDGP的輸出動(dòng)作將對(duì)PI控制參數(shù)進(jìn)行實(shí)時(shí)調(diào)節(jié)，即為比例系數(shù)P與積分系數(shù)I。

action=(

K

P

,

K

I

) （28）

3.2 獎(jiǎng)勵(lì)函數(shù)

電壓控制器的獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)思路與前文類似，實(shí)時(shí)電壓偏差越大，智能體所得到的懲罰值越大。因此可得所有電壓控制器的獎(jiǎng)勵(lì)函數(shù)為

式中，0、1、2、3為不同電壓偏差區(qū)間對(duì)應(yīng)的懲罰系數(shù)；為正獎(jiǎng)勵(lì)值；3為智能體進(jìn)入終止?fàn)顟B(tài)時(shí)獲得的最大懲罰值。

4 算例分析

4.1 多微電網(wǎng)系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

為了評(píng)估上述策略的控制效果，構(gòu)建了一個(gè)包含3個(gè)子微電網(wǎng)的多微電網(wǎng)系統(tǒng)，其具體構(gòu)架如圖8所示。子微電網(wǎng)編號(hào)分別為MG1、MG2、MG3，具體機(jī)組參數(shù)設(shè)置見表1。

圖8 本文多微電網(wǎng)系統(tǒng)結(jié)構(gòu)

表1 多微電網(wǎng)LFC模型的系統(tǒng)參數(shù)

基于此，本文基于多微電網(wǎng)結(jié)構(gòu)進(jìn)行大量仿真測試，能夠獲得獎(jiǎng)勵(lì)函數(shù)中各權(quán)值及超參數(shù)的具體取值：0、1、2和3為0.18、0.08、0.03、0.01；0、1、2和3為0.1、0.04、0.015與0.005；0、1、2與3為1、5、10與15；1=0.01，2=10，=10，53200；折扣因子為0.9，學(xué)習(xí)率為0.001。

4.2 預(yù)訓(xùn)練階段

DDPG算法隸屬于一種深度強(qiáng)化學(xué)習(xí)，該控制器在投入使用前需要經(jīng)過一段隨機(jī)試錯(cuò)的預(yù)訓(xùn)練階段。在該階段，智能體能夠根據(jù)大量有效數(shù)據(jù)完成經(jīng)驗(yàn)的積累，從而獲得最優(yōu)值函數(shù)網(wǎng)絡(luò)[30]，并由此保證其投入運(yùn)行后的穩(wěn)定性。以MG1中的頻率控制器為例，其具體的訓(xùn)練過程如圖9所示。

圖9 頻率控制器的智能體訓(xùn)練過程

由圖9可見，頻率控制智能體訓(xùn)練了15 000回合，共耗時(shí)163 457 s。在整個(gè)訓(xùn)練過程中，頻率控制器的智能體起初無法適應(yīng)AVR回路、電動(dòng)汽車和分布式電源的隨機(jī)性帶來的非線性效應(yīng)，實(shí)時(shí)獎(jiǎng)勵(lì)函數(shù)波動(dòng)很大，且平均獎(jiǎng)勵(lì)仍然很低。而在訓(xùn)練后期，智能體逐漸進(jìn)化，其輸出動(dòng)作的質(zhì)量得到顯著提升，實(shí)時(shí)獎(jiǎng)勵(lì)函數(shù)和平均獎(jiǎng)勵(lì)函數(shù)均達(dá)到了高水平，這意味著所設(shè)計(jì)的控制器收斂速度快、振蕩小、在線學(xué)習(xí)能力強(qiáng)，可用于多微電網(wǎng)不同情況下的穩(wěn)定性仿真。

4.3 自動(dòng)調(diào)壓效果與其對(duì)LFC過程的影響

經(jīng)過預(yù)學(xué)習(xí)后的DDPG-PI控制器可以根據(jù)發(fā)電機(jī)端電壓變化，實(shí)時(shí)地調(diào)整控制參數(shù)，使端電壓更快達(dá)到額定值。為體現(xiàn)DDPG-PI控制器的優(yōu)越性，引入傳統(tǒng)PI控制器進(jìn)行對(duì)比，如圖10所示。

圖10 微電網(wǎng)AVR回路端電壓

可見，傳統(tǒng)PI控制具有較大的超調(diào)量且響應(yīng)速度較慢，而可進(jìn)化PI控制器下的電壓響應(yīng)速度較快，且不存在超調(diào)量，電壓更易穩(wěn)定。同時(shí)，DDPG控制器對(duì)PI控制器參數(shù)實(shí)時(shí)優(yōu)化的結(jié)果如圖11所示。

圖11 PI控制器參數(shù)優(yōu)化結(jié)果

可見，DDPG-PI控制器能夠?qū)崿F(xiàn)控制器參數(shù)自適應(yīng)，在不同的階段選擇不同的比例-積分系數(shù)。同時(shí)，為了驗(yàn)證AVR回路和LFC回路存在一定程度上的耦合，可在傳統(tǒng)控制下的多微電網(wǎng)中，于0 s時(shí)對(duì)子微電網(wǎng)1施加0.04(pu)的有功功率干擾，分析AVR回路對(duì)LFC的影響，考慮與不考慮AVR耦合時(shí)的頻率偏移如圖12所示。

圖12 考慮與不考慮AVR耦合時(shí)的頻率偏移

可見，AVR回路增加了多微電網(wǎng)系統(tǒng)的有功功率干擾，從而使得負(fù)荷頻率發(fā)生了更大的偏移，這對(duì)LFC控制器提出了更高的要求。而后文有關(guān)負(fù)荷頻率控制相關(guān)的算例場景中，所使用的多微電網(wǎng)模型均將考慮AVR回路的影響。

4.4 場景1：系統(tǒng)受到隨機(jī)擾動(dòng)與負(fù)載擾動(dòng)

假設(shè)某工作日0:00，對(duì)穩(wěn)態(tài)微電網(wǎng)系統(tǒng)的隨機(jī)擾動(dòng)包括負(fù)荷擾動(dòng)和風(fēng)電擾動(dòng)，且組合擾動(dòng)的具體情況如圖13所示?？梢?，負(fù)荷擾動(dòng)呈現(xiàn)2次相反的階躍，因此在50 s后即為0，此后總擾動(dòng)完全與風(fēng)電擾動(dòng)重合。而在85 s后，為了能夠在擾動(dòng)逐漸消失后，比較各控制算法下微電網(wǎng)頻率的恢復(fù)速度，作者在原有的風(fēng)電歷史數(shù)據(jù)后，加入了一段穩(wěn)態(tài)過程。并假設(shè)MG1在60 s發(fā)生極端故障，微型燃?xì)廨啓C(jī)無法輸出功率，即Δ=0。

圖13 多微電網(wǎng)系統(tǒng)受到的強(qiáng)隨機(jī)擾動(dòng)

基于此，以子微電網(wǎng)1為例，在不同控制器管控下的頻率波動(dòng)如圖14、圖15所示。與 PID 控制、模糊控制和傳統(tǒng)的 MPC相比（控制器參數(shù)與結(jié)構(gòu)見附錄），本文提出的基于學(xué)習(xí)的MPC控制器具有最好的性能。同時(shí)，可將MG1的頻率偏移絕對(duì)值作為考核對(duì)象，考核優(yōu)秀率閾值可設(shè)置為±0.01 Hz，85 s后恢復(fù)至0.005 Hz以下所需時(shí)間定義為恢復(fù)時(shí)間。從而得到此場景下的頻率控制效果分析見表2、表3。

圖14 強(qiáng)隨機(jī)擾動(dòng)下的多微電網(wǎng)系統(tǒng)頻率偏差

圖15 發(fā)生極端故障時(shí)的多微電網(wǎng)系統(tǒng)頻率偏差

表2 強(qiáng)隨機(jī)擾動(dòng)下的微電網(wǎng)1的控制結(jié)果（0:00）

Tab.2 Control results of microgrid 1 at 0:00

表3 發(fā)生極端故障時(shí)的的微電網(wǎng)1控制結(jié)果

Tab.3 Microgrid 1 control results in case 1

由此可知，當(dāng)MG1受到隨機(jī)擾動(dòng)與負(fù)載擾動(dòng)，且部分調(diào)頻機(jī)組出現(xiàn)極值故障時(shí)，PID、模糊和傳統(tǒng)MPC控制下的微電網(wǎng)頻率穩(wěn)定性受到極大影響，頻率控制優(yōu)秀率分別下跌至32.31%、64.15%和93.06%。同時(shí)，恢復(fù)時(shí)間也均不理想：三者均達(dá)5 s以上。而深度強(qiáng)化學(xué)習(xí)智能體組能夠以MMS整體穩(wěn)定性最大化為目標(biāo)，提前協(xié)調(diào)MPC控制組對(duì)MG2和MG3的功率輸出進(jìn)行調(diào)整，以輔助MG1防止功率失控，因此可見DDPG控制器與可進(jìn)化MPC控制器管控下的微電網(wǎng)頻率優(yōu)秀率處于較高水平，但基于各評(píng)價(jià)指標(biāo)的全面性分析，可進(jìn)化MPC控制器依然優(yōu)于純機(jī)器學(xué)習(xí)控制器。而其管控下微電網(wǎng)的各設(shè)備及連線的具體功率變化如圖16所示。

圖16 場景1的微電網(wǎng)1中各機(jī)組輸出功率增量

從圖16可見，當(dāng)某次微電網(wǎng)的調(diào)頻單元遇到極端故障時(shí)，MT機(jī)組無法調(diào)節(jié)功率增量，電動(dòng)汽車作為輔助調(diào)頻機(jī)組，出力也得到了一定提升，而微電網(wǎng)之間電力交換的增加與變化尤為顯著，這是通過控制器互連和輸電線路實(shí)現(xiàn)的。此外，圖16中的綠色、紫色線條呈現(xiàn)出明顯的鋸齒狀，以EV1為例，其有功出力在30 s與80 s時(shí)因輸出邊界而發(fā)生明顯的突變，發(fā)生數(shù)次小型階躍型突變。由此可見電動(dòng)汽車輸出功率限幅受到用戶行為的隨機(jī)影響。

4.5 場景2：電動(dòng)汽車移動(dòng)性對(duì)LFC過程的影響

在實(shí)際系統(tǒng)中，電動(dòng)汽車站的輸出功率邊界會(huì)在一天內(nèi)發(fā)生相應(yīng)變化。為了探索電動(dòng)汽車對(duì)頻率控制的影響，并驗(yàn)證所設(shè)計(jì)的控制器在面對(duì)電動(dòng)汽車隨機(jī)性時(shí)的魯棒性，本節(jié)基于場景1中的仿真，并假設(shè)擾動(dòng)發(fā)生在17:00，且60 s時(shí)不再發(fā)生極端故障。易知，在0:00時(shí)，幾乎所有電動(dòng)汽車均停留在充電站并能夠參與到調(diào)頻中，而在17:00時(shí)，大部分電動(dòng)汽車已經(jīng)離開充電站，并處于返程的行駛過程中，無法參與微電網(wǎng)的調(diào)頻。在這種情況下，傳統(tǒng)控制器將無法適應(yīng)電動(dòng)汽車站輸出功率邊界的階段性突變，從而影響頻率控制效果。而本文所提出的基于學(xué)習(xí)的MPC控制器能夠基于預(yù)學(xué)習(xí)過程中積累的經(jīng)驗(yàn)，實(shí)時(shí)改變MPC控制器參數(shù)以適應(yīng)一日內(nèi)所發(fā)生的EV站輸出功率邊界的變化。

在0:00和17:00時(shí)，DDPG智能體動(dòng)作集的動(dòng)態(tài)變化如圖17所示（標(biāo)幺化后）?？梢钥闯?，在每個(gè)時(shí)段內(nèi)，MPC控制器的參數(shù)不會(huì)因?yàn)殡S機(jī)擾動(dòng)而發(fā)生劇烈變化。但在一天中的不同時(shí)段中，DDPG 智能體能夠分階段調(diào)整MPC控制器的參數(shù)，以適應(yīng)電動(dòng)汽車站輸出功率邊界的周期性變化。此外，根據(jù)場景1中的評(píng)估標(biāo)準(zhǔn)，計(jì)算在沒有極端故障時(shí)，三組控制器在17:00的仿真結(jié)果見表4?？梢钥闯?，在17:00，MG1 在 PID、模糊和傳統(tǒng)MPC控制器控制下的頻率調(diào)節(jié)能力明顯低于凌晨0:00。但在基于學(xué)習(xí)的MPC下，MG1的頻率偏移仍能保持在0.01 Hz以內(nèi)，達(dá)到98.95%的優(yōu)秀率，這是通過參數(shù)自適應(yīng)和協(xié)調(diào)控制實(shí)現(xiàn)的。

圖17 DDPG智能體動(dòng)作集的動(dòng)態(tài)變化

表4 在17:00時(shí)微電網(wǎng)1的控制結(jié)果

Tab.4 Control results of microgrid 1 at 17:00

4.6 場景3：機(jī)器學(xué)習(xí)控制器無法正常輸出動(dòng)作

進(jìn)而，為了驗(yàn)證雙層控制結(jié)構(gòu)對(duì)微電網(wǎng)控制過程安全性的保證，在基于學(xué)習(xí)的MPC控制器和DDPG控制器之間進(jìn)行了對(duì)比實(shí)驗(yàn)。基于場景1（調(diào)頻機(jī)組不發(fā)生極端故障），假設(shè)兩組系統(tǒng)中的DDPG控制器均在40 s時(shí)面對(duì)“未曾學(xué)習(xí)過”的復(fù)雜場景而發(fā)生故障，無法正常輸出動(dòng)作，并在80 s時(shí)恢復(fù)。比較兩組控制器的頻率控制效果，如圖18所示。

圖18 機(jī)器學(xué)習(xí)控制器故障時(shí)的多微電網(wǎng)系頻率偏差

可見，DDPG控制下的微電網(wǎng)系統(tǒng)在故障期間完全喪失了調(diào)頻能力，因?yàn)镈DPG智能體無法正常輸出動(dòng)作，不能向系統(tǒng)的調(diào)頻單元下達(dá)指令。因此，在DDPG智能體恢復(fù)后，系統(tǒng)穩(wěn)定性也難以恢復(fù)，嚴(yán)重影響微電網(wǎng)運(yùn)行過程的安全性。而基于學(xué)習(xí)的MPC控制器采用了雙層控制結(jié)構(gòu)，當(dāng)DDPG控制器出現(xiàn)故障時(shí)，MPC控制器可以在預(yù)先設(shè)定的控制參數(shù)下正常運(yùn)行：在40 s時(shí)，頻率發(fā)生了極小的波動(dòng)，100%的頻率控制優(yōu)秀率在整個(gè)控制過程中依然能得到保證。

深度強(qiáng)化學(xué)習(xí)算法控制器在正常運(yùn)行場景下的穩(wěn)定性是值得肯定的，本文作者與其他學(xué)者均已在該領(lǐng)域建立了大量研究基礎(chǔ)[25-26,28-29]。機(jī)器學(xué)習(xí)算法所具有的黑盒特性是其主要缺陷，在面對(duì)“未曾學(xué)習(xí)過”的復(fù)雜場景時(shí)，則有可能出現(xiàn)本節(jié)所描述的故障，而本文同樣通過“雙層控制器結(jié)構(gòu)”解決了該缺陷引起的安全性問題，凸顯了所提策略的優(yōu)越性。

5 結(jié)論

本文提出了一種可進(jìn)化的模型預(yù)測控制的含電動(dòng)汽車多微電網(wǎng)智能發(fā)電控制策略，得到結(jié)論如下：

1）與傳統(tǒng)多微電網(wǎng)模型相比，考慮了控制器互聯(lián)結(jié)構(gòu)，并在傳統(tǒng)負(fù)荷頻率控制模型中增加了自動(dòng)電壓調(diào)節(jié)系統(tǒng)，考慮了發(fā)電機(jī)端電壓調(diào)節(jié)和系統(tǒng)頻率控制之間的耦合關(guān)系，更符合實(shí)際場景。

2）與PID和模糊控制相比，可進(jìn)化的MPC控制器不僅可以根據(jù)被控對(duì)象的歷史信息和未來輸入預(yù)測系統(tǒng)的未來輸出；還可以將頻率控制過程轉(zhuǎn)換為求解優(yōu)化問題，從而很好地適應(yīng)多微電網(wǎng)系統(tǒng)中的隨機(jī)場景。在負(fù)載擾動(dòng)和風(fēng)電擾動(dòng)下，基于學(xué)習(xí)的MPC控制器下的微電網(wǎng)頻率控制效果明顯優(yōu)于傳統(tǒng)控制器。

3）與傳統(tǒng)MPC相比，基于學(xué)習(xí)的MPC控制器可以應(yīng)用于控制器互聯(lián)的多微電網(wǎng)系統(tǒng)，從而實(shí)現(xiàn)多微電網(wǎng)的協(xié)調(diào)控制；還可以通過DDPG智能體基于實(shí)時(shí)運(yùn)行環(huán)境狀態(tài)調(diào)整MPC參數(shù)，從而更好地適應(yīng)系統(tǒng)各類復(fù)雜工況。當(dāng)系統(tǒng)發(fā)生各類極端故障時(shí)，所提出的控制器仍能將微電網(wǎng)的頻率波動(dòng)控制在0.01 Hz以內(nèi)，控制優(yōu)秀率仍能達(dá)到99.8%，恢復(fù)時(shí)間小于1 s，顯著增強(qiáng)了多微電網(wǎng)的穩(wěn)定性。

4）與DDPG控制器相比，所提出的雙層保護(hù)結(jié)構(gòu)具有更強(qiáng)的安全性和穩(wěn)定性。當(dāng)機(jī)器學(xué)習(xí)智能體遭遇未學(xué)習(xí)過的環(huán)境，不能正常輸出動(dòng)作時(shí)，MPC控制器可以利用預(yù)先設(shè)置的參數(shù)完成頻率控制過程，直到機(jī)器學(xué)習(xí)控制器恢復(fù)正常，確保微電網(wǎng)的頻率波動(dòng)控制在0.01 Hz以內(nèi)，明顯優(yōu)于DDPG控制器。

[1] 何晨可, 朱繼忠, 劉云, 等. 計(jì)及碳減排的電動(dòng)汽車充換儲(chǔ)一體站與主動(dòng)配電網(wǎng)協(xié)調(diào)規(guī)劃[J]. 電工技術(shù)學(xué)報(bào), 2022, 37(1): 92-111.

He Chenke, Zhu Jizhong, Liu Yun, et al. Coordinated planning of electric vehicle charging-swapping-storage integrated station and active distribution network considering carbon reduction[J]. Transactions of China Electrotechnical Society, 2022, 37(1): 92-111.

[2] Pascual J, Arcos-Aviles D, Ursúa A, et al. Energy management for an electro-thermal renewable–based residential microgrid with energy balance forecasting and demand side management[J]. Applied Energy, 2021, 295: 117062.

[3] 周瑋, 藍(lán)嘉豪, 麥瑞坤, 等. 無線充電電動(dòng)汽車V2G模式下光儲(chǔ)直流微電網(wǎng)能量管理策略[J]. 電工技術(shù)學(xué)報(bào), 2022, 37(1): 82-91.

Zhou Wei, Lan Jiahao, Mai Ruikun, et al. Research on power management strategy of DC microgrid with photovoltaic, energy storage and EV-wireless power transfer in V2G mode[J]. Transactions of China Electrotechnical Society, 2022, 37(1): 82-91.

[4] 隨權(quán), 魏繁榮, 林湘寧, 等. 一種基于可控負(fù)荷效率控制的孤島微網(wǎng)新型調(diào)度策略[J]. 中國電機(jī)工程學(xué)報(bào), 2019, 39(24): 7168-7178, 7490.

Sui Quan, Wei Fanrong, Lin Xiangning, et al. A novel dispatching strategy for isolated microgrid based on controllable load efficiency control[J]. Proceedings of the CSEE, 2019, 39(24): 7168-7178, 7490.

[5] 李長云, 徐敏靈, 蔡淑媛. 計(jì)及電動(dòng)汽車違約不確定性的微電網(wǎng)兩段式優(yōu)化調(diào)度策略[J]. 電工技術(shù)學(xué)報(bào), 2023, 38(7): 1838-1851.

Li Changyun, Xu Minling, Cai Shuyuan. Two-stage optimal Scheduling strategy for micro-grid considering EV default uncertainty[J]. Journal of Electrotechnical Technology, 2023, 38(7): 1838-1851.

[6] 劉迎澍, 陳曦, 李斌, 等. 多微網(wǎng)系統(tǒng)關(guān)鍵技術(shù)綜述[J]. 電網(wǎng)技術(shù), 2020, 44(10): 3804-3820.

Liu Yingshu, Chen Xi, Li Bin, et al. State of art of the key technologies of multiple microgrids system[J]. Power System Technology, 2020, 44(10): 3804-3820.

[7] Bevrani H, Feizi M R, Ataee S. Robust frequency control in an islanded microgrid: H∞andm-synthesis approaches[J]. IEEE Transactions on Smart Grid, 2016, 7(2): 706-717.

[8] 張釋中, 裴瑋, 楊艷紅, 等. 基于柔性直流互聯(lián)的多微網(wǎng)集成聚合運(yùn)行優(yōu)化及分析[J]. 電工技術(shù)學(xué)報(bào), 2019, 34(5): 1025-1037.

Zhang Shizhong, Pei Wei, Yang Yanhong, et al. Optimization and analysis of multi-microgrids integration and aggregation operation based on flexible DC interconnection[J]. Transactions of China Electrotechnical Society, 2019, 34(5): 1025-1037.

[9] Khokhar B, Dahiya S, Singh Parmar K P. Load frequency control of a microgrid employing a 2D Sine Logistic map based chaotic sine cosine algorithm[J]. Applied Soft Computing, 2021, 109: 107564.

[10] Esmaeili Karkevandi A, Daryani M J, Usta O. ANFIS-based intelligent PI controller for secondary frequency and voltage control of microgrid[C]//2018 IEEE PES Innovative Smart Grid Technologies Conference Europe (ISGT-Europe), Sarajevo, Bosnia and Herzegovina, 2018: 1-6.

[11] 崔明勇, 曹朋, 朱大偉, 等. 基于FOPI+FOPD控制器的單區(qū)域電力系統(tǒng)頻率控制及電壓調(diào)節(jié)[J]. 燕山大學(xué)學(xué)報(bào), 2022, 46(2): 157-165, 176.

Cui Mingyong, Cao Peng, Zhu Dawei, et al. Frequency control and voltage regulation of single area power system based on FOPI+FOPD controller[J]. Journal of Yanshan University, 2022, 46(2): 157-165, 176.

[12] Jan M U, Ai Xin, Abdelbaky M A, et al. Adaptive and fuzzy PI controllers design for frequency regulation of isolated microgrid integrated with electric vehicles[J]. IEEE Access, 2020, 8: 87621-87632.

[13] Mohammadzadeh A, Kayacan E. A novel fractional-order type-2 fuzzy control method for online frequency regulation in ac microgrid[J]. Engineering Applications of Artificial Intelligence, 2020, 90: 103483.

[14] Mahdi M M, Ahmad A Z. Load frequency control in microgrid using fuzzy logic table control[C]//2017 11th IEEE International Conference on Compatibility, Power Electronics and Power Engineering (CPE-POWERENG), Cadiz, Spain, 2017: 318-323.

[15] 項(xiàng)雷軍, 陳昊, 郭新華, 等. 基于模糊分?jǐn)?shù)階PID的含電動(dòng)汽車的多能源微電網(wǎng)二次頻率控制[J]. 電力自動(dòng)化設(shè)備, 2021, 41(11): 74-80.

Xiang Leijun, Chen Hao, Guo Xinhua, et al. Secondary frequency control of multi-energy microgrid with electric vehicles based on fuzzy fractional-order PID[J]. Electric Power Automation Equipment, 2021, 41(11): 74-80.

[16] Yang Jun, Zeng Zhili, Tang Yufei, et al. Load frequency control in isolated micro-grids with electrical vehicles based on multivariable generalized predictive theory[J]. Energies, 2015, 8(3): 2145-2164.

[17] Fan Peixiao, Ke Song, Kamel S, et al. A frequency and voltage coordinated control strategy of island microgrid including electric vehicles[J]. Electronics, 2021, 11(1): 17.

[18] Mounce R, Nelson J D. On the potential for one-way electric vehicle car-sharing in future mobility systems[J]. Transportation Research Part A: Policy and Practice, 2019, 120: 17-30.

[19] Chen Lei, Lu Xiaomin, Min Yong, et al. Optimization of governor parameters to prevent frequency oscillations in power systems[J]. IEEE Transactions on Power Systems, 2018, 33(4): 4466-4474.

[20] 王敏, 李想, 張程飛. 基于多重逆變器復(fù)雜控制策略的微電網(wǎng)運(yùn)行控制[J]. 現(xiàn)代電力, 2016, 33(5): 24-29.

Wang Min, Li Xiang, Zhang Chengfei. The operation and control of microgrid based on the complex control strategy of multiple inverters[J]. Modern Electric Power, 2016, 33(5): 24-29.

[21] Hu Jianchen, Ding Baocang. Output feedback robust MPC for linear systems with norm-bounded model uncertainty and disturbance[J]. Automatica, 2019, 108: 108489.

[22] Rao Yingqing, Yang Jun, Xiao Jinxing, et al. A frequency control strategy for multimicrogrids with V2G based on the improved robust model predictive control[J]. Energy, 2021, 222: 119963.

[23] Khokhar B, Singh Parmar K P. A novel adaptive intelligent MPC scheme for frequency stabilization of a microgrid considering SoC control of EVs[J]. Applied Energy, 2022, 309: 118423.

[24] 劉全, 翟建偉, 章宗長, 等. 深度強(qiáng)化學(xué)習(xí)綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2018, 41(1): 1-27.

Liu Quan, Zhai Jianwei, Zhang Zongchang, et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers, 2018, 41(1): 1-27.

[25] 余濤, 梁海華, 周斌. 基于()學(xué)習(xí)的孤島微電網(wǎng)智能發(fā)電控制[J]. 電力系統(tǒng)保護(hù)與控制, 2012, 40(13): 7-13.

Yu Tao, Liang Haihua, Zhou Bin. Smart power generation control for microgrids islanded operation based on() learning[J]. Power System Protection and Control, 2012, 40(13): 7-13.

[26] 范培瀟, 楊軍, 肖金星, 等. 基于深度Q學(xué)習(xí)的含電動(dòng)汽車孤島微電網(wǎng)負(fù)荷頻率控制策略[J]. 電力建設(shè), 2022, 43(4): 91-99.

Fan Peixiao, Yang Jun, Xiao Jinxing, et al. Load frequency control strategy based on deep Q learning for island microgrid with electric vehicles[J]. Electric Power Construction, 2022, 43(4): 91-99.

[27] 趙星宇, 丁世飛. 深度強(qiáng)化學(xué)習(xí)研究綜述[J]. 計(jì)算機(jī)科學(xué), 2018, 45(7): 1-6.

Zhao Xingyu, Ding Shifei. Research on deep reinforcement learning[J]. Computer Science, 2018, 45(7): 1-6.

[28] 范培瀟, 柯松, 楊軍, 等. 基于改進(jìn)多智能體深度確定性策略梯度的多微網(wǎng)負(fù)荷頻率協(xié)同控制策略[J]. 電網(wǎng)技術(shù), 2022, 46(9): 3504-3515.

Fan Peixiao, Ke Song, Yang Jun, et al. Load frequency coordinated control strategy of multi-microgrid based on improved MA-DDPG[J]. Power System Technology, 2022, 46(9): 3504-3515.

[29] Fan Peixiao, Ke Song, Yang Jun, et al. A load frequency coordinated control strategy for multimicrogrids with V2G based on improved MA-DDPG[J]. International Journal of Electrical Power & Energy Systems, 2023, 146: 108765.

[30] 李捷, 余濤, 潘振寧. 基于強(qiáng)化學(xué)習(xí)的增量配電網(wǎng)實(shí)時(shí)隨機(jī)調(diào)度方法[J]. 電網(wǎng)技術(shù), 2020, 44(9): 3321-3332.

Li Jie, Yu Tao, Pan Zhenning. Real-time stochastic dispatch method for incremental distribution network based on reinforcement learning[J]. Power System Technology, 2020, 44(9): 3321-3332.

A Multi Microgrid Intelligent Generation Control Strategy with Electric Vehicles Based on Evolutionary Model Predictive Control

Fan Peixiao Yang Jun Wen Yuxin Ke Song Xie Lilong

（School of Electrical and Automation Wuhan University Wuhan 430072 China）

Under the background of the national energy strategy of "carbon peaking" and "carbon neutrality", conventional generators driven by fossil energy are gradually replaced by renewable energy units such as wind power and photovoltaics. The microgrid with the characteristics of development and extension can fully promote the large-scale access of such distributed power sources with strong randomness, thus achieving rapid development and construction. At the same time, the development of electric vehicles (EV) is a trend to ensure low-carbon energy. China also regards the development of electric vehicles as a strategic emerging industry. The development of microgrids has also prompted electric vehicles to be widely used in power grid shaving peaks and valleys, and curb power fluctuations. However, when large-scale electric vehicles are connected to the microgrid at the same time, it may also lead to the degradation of the power quality of the islanded microgrid, and even the instability of the entire microgrid. To this end, a multi-microgrid power generation control strategy with electric vehicles based on evolvable model predictive control (MPC) is proposed in this paper.

Firstly, based on the multi-microgrid interconnection structure of controller interaction, considering the coupling relationship between generator terminal voltage regulation and system frequency control, a power generation control model with multiple microgrids with electric vehicles is established. Secondly, an adaptive algorithm of controller parameters based on MA-DDPG is designed: the frequency controller takes the real-time frequency offset and EV station output power boundary as the state set, and the adjustable parameter matrixof the MPC controller as the action set, and the frequency deviation is used as the reward function index, and the voltage controller takes the real-time voltage as the state set, the proportional-integral coefficient of the PI controller as the action set, and the voltage offset as the reward function index; so as to realize the adaptive adjustment of the weight parameters of the MPC and the PI controller. Meanwhile, under the architecture of "centralized training and distributed execution", the intelligent agent group can realize the cooperative control between the sub-microgrids according to the real-time operating status information.

The simulation results show that, the automatic voltage regulation loop increases the active power disturbance, which puts forward higher requirements for the load frequency controller. Under the load disturbance and wind power disturbance, the microgrid frequency control effect under the learning-based MPC controller is significantly better than that of the traditional controller. When various extreme faults occur in the system, the proposed controller can still control the frequency fluctuation of the microgrid within 0.01 Hz through coordinated control and parameter self-adaptation, the control excellence rate can still reach 100%, and the recovery time is still less than 1 s, the robustness of the multi-microgrid performance is significantly enhanced, and the performance is better than the traditional MPC controller in all aspects. In addition, when the machine learning controller fails, the proposed two-layer controller structure can still ensure that the frequency fluctuation of the microgrid is controlled within 0.01 Hz, and the control excellence rate can reach 100%, which is significantly better than the DDPG controller.

The following conclusions can be drawn from the simulation analysis: (1) Compared with PID and fuzzy control, the evolvable MPC controller can transform the frequency control process into solving an optimization problem, and thus well adapt to the stochastic scene in the multi-microgrid system. (2) Compared with the traditional MPC, the DDPG agent can adjust the MPC and PI control parameters according to the real-time operating environment state, so as to better adapt to the complex working conditions where the system parameters and structure change with time. (3) Compared with the DDPG controller, the proposed double-layer protection structure has stronger security and stability. When the machine learning agent fails and cannot output actions normally, the MPC controller can use the preset parameters to complete the frequency control process until the machine learning controller returns to normal.

Multi-microgrid load frequency control, electric vehicle, generator terminal voltage, MA-DDPG algorithm, model predictive control

TM727

10.19595/j.cnki.1000-6753.tces.222138

國家自然科學(xué)基金資助項(xiàng)目（51977154）。

2022-11-13

2023-02-16

范培瀟 男，1999年生，碩士研究生，研究方向?yàn)槲㈦娋W(wǎng)智能控制。E-mail：whufpx0408@163.com

楊 軍 男，1977年生，教授，博士生導(dǎo)師，研究方向?yàn)殡妱?dòng)汽車、電力系統(tǒng)運(yùn)行安全與穩(wěn)定等。E-mail：JYang@whu.edu.cn（通信作者）

（編輯 赫 蕾）