摘要：為充分挖掘火儲(chǔ)聯(lián)合系統(tǒng)中儲(chǔ)能單元的一次調(diào)頻潛力，同時(shí)減少火電機(jī)組調(diào)頻頻度，提出了一種基于雙延遲深度確定性策略梯度算法的儲(chǔ)能輔助火電機(jī)組一次調(diào)頻控制策略。搭建了典型含有火儲(chǔ)聯(lián)合調(diào)頻系統(tǒng)的區(qū)域電網(wǎng)一次調(diào)頻模型；以提高電網(wǎng)頻率控制效果、維持儲(chǔ)能荷電狀態(tài)（SOC）平穩(wěn)、減少火電機(jī)組調(diào)頻動(dòng)作次數(shù)等多項(xiàng)目標(biāo)建立優(yōu)化問題，綜合考慮電網(wǎng)運(yùn)行狀態(tài)及調(diào)頻動(dòng)作的約束，將儲(chǔ)能輔助火電機(jī)組一次調(diào)頻問題建模為一個(gè)馬爾可夫決策過程；使用雙延遲深度確定性策略梯度算法進(jìn)行優(yōu)化問題求解。典型調(diào)頻任務(wù)場景的仿真結(jié)果表明，與傳統(tǒng)火儲(chǔ)聯(lián)合調(diào)頻控制算法相比，所提出的儲(chǔ)能輔助火電機(jī)組智能調(diào)頻控制策略可使電網(wǎng)頻率偏差均值降低約10.4%、火電機(jī)組的調(diào)頻動(dòng)作次數(shù)減少約56.2%，驗(yàn)證了該策略能在有效釋放火儲(chǔ)聯(lián)合系統(tǒng)的調(diào)頻潛力，同時(shí)大幅減少火電機(jī)組一次調(diào)頻頻次。

關(guān)鍵詞：一次調(diào)頻；深度強(qiáng)化學(xué)習(xí)；下垂控制；調(diào)頻死區(qū)；荷電狀態(tài)

中圖分類號：TM734 文獻(xiàn)標(biāo)志碼：A

DOI：10.7652/xjtuxb202406017 文章編號：0253-987X（2024）06-0186-07

Deep Reinforcement Learning Control Strategy for Primary Frequency Regulation of

Energy Storage Assisted Thermal Power Units

WANG Jianbo1， SUN Ran1，" LIU Zhongkai2， ZHANG Xiaoke3， GUO Hongzuo1， HU Huaizhong2

（1. State Grid Henan Electric Power Company， Zhengzhou 450000， China;

2. School of Automation Science and Engineering， Xi’an Jiaotong University， Xi’an 710100， China;

3. Electric Power Research Institute of State Grid Henan Electric Power Company， Zhengzhou 450052， China）

Abstract：In order to fully tap the potential of primary frequency modulation in the energy storage unit of the thermal-storage combined system and reduce the frequency regulation of thermal power units， a twin delayed deep deterministic policy gradient algorithm based energy storage assisted primary frequency regulation control strategy for thermal power unit is proposed. A typical regional power grid primary frequency regulation model containing thermal-storage combined frequency regulation system is established. Optimization problems with multiple objectives such as improving the frequency control effect of the power grid， maintaining a stable state of charge （SOC）， and reducing the frequency regulation actions of thermal power unit are set. Taking into account the constraints of power grid operation status and frequency regulation actions， the primary frequency regulation problem of thermal power unit assisted by energy storage is modeled as a Markov decision process. Twin delayed deep deterministic policy gradient algorithm is used for optimization problem solving. The simulation results of typical frequency regulation task scenarios show that compared with traditional frequency regulation system control algorithms， the proposed energy storage assisted intelligent frequency regulation control strategy for thermal power units can reduce the average frequency difference of the power grid by about 10.4%， and reduce the frequency regulation actions of thermal power unit by about 56.2%. This verifies that the strategy can effectively release the frequency regulation potential of the thermal-storage combined system while significantly reducing frequency regulation of thermal power units.

Keywords：primary frequency control; deep reinforcement learning; droop control; frequency dead band; state of charge

近年來，我國風(fēng)電、光伏裝機(jī)容量已躍居世界第一［1］。隨著發(fā)電能源結(jié)構(gòu)的清潔低碳化，以風(fēng)能、太陽能為代表的清潔能源正逐步取代傳統(tǒng)化石能源，成為電力系統(tǒng)的重要組成部分。然而，由于清潔能源發(fā)電的隨機(jī)性和波動(dòng)性，大規(guī)模接入將給電網(wǎng)調(diào)頻帶來巨大的挑戰(zhàn)［2-3］，火電機(jī)組的調(diào)頻壓力也日益增加［4-6］。電池儲(chǔ)能作為一種解決清潔能源并網(wǎng)的有效手段，其憑借著響應(yīng)速度快、控制精度高、具有雙向調(diào)節(jié)能力等優(yōu)點(diǎn)在一次調(diào)頻領(lǐng)域備受關(guān)注［7-8］。

針對儲(chǔ)能輔助火電機(jī)組的一次調(diào)頻控制策略，目前已經(jīng)有了許多研究。文獻(xiàn)［9］采用了虛擬下垂控制，并根據(jù)儲(chǔ)能荷電狀態(tài)設(shè)計(jì)了自適應(yīng)系數(shù)優(yōu)化了調(diào)頻效果。文獻(xiàn)［10］虛擬下垂控制的基礎(chǔ)上添加了虛擬慣性控制，并根據(jù)電網(wǎng)頻率偏差以及偏差變化劃分出了多個(gè)模式，進(jìn)一步提高了儲(chǔ)能的調(diào)頻能力。文獻(xiàn)［11］分析了儲(chǔ)能參與一次調(diào)頻過程，并根據(jù)頻率偏差是否達(dá)到最大值劃分了控制模式，充分發(fā)揮了虛擬慣性控制以及虛擬下垂控制的優(yōu)點(diǎn)。文獻(xiàn)［12］分析了一次調(diào)頻中的頻率變換特性，指出了頻率恢復(fù)期這一特殊的階段，并提出了負(fù)虛擬慣性控制，從而平滑了儲(chǔ)能調(diào)頻動(dòng)作，且顯著提高了電網(wǎng)的暫態(tài)穩(wěn)定質(zhì)量。此外，部分文獻(xiàn)在一次調(diào)頻死區(qū)內(nèi)兼顧了荷電狀態(tài)恢復(fù)，提高了儲(chǔ)能的持續(xù)調(diào)頻能力。文獻(xiàn)［13］提出了兼顧荷電狀態(tài)恢復(fù)的一次調(diào)頻策略，當(dāng)電網(wǎng)頻率處于死區(qū)內(nèi)時(shí)，儲(chǔ)能可根據(jù)電網(wǎng)以及自身荷電狀態(tài)情況，控制儲(chǔ)能進(jìn)行荷電狀態(tài)恢復(fù)，有效改善了儲(chǔ)能的荷電狀態(tài)。文獻(xiàn)［14］在兼顧荷電狀態(tài)恢復(fù)的基礎(chǔ)上，采用模糊控制的方式確定虛擬慣性以及虛擬下垂的自適應(yīng)因子，有效平滑了儲(chǔ)能調(diào)頻動(dòng)作，提升了其自適應(yīng)調(diào)節(jié)能力。文獻(xiàn)［15］進(jìn)一步優(yōu)化了荷電狀態(tài)恢復(fù)效果，其根據(jù)當(dāng)前負(fù)荷狀態(tài)調(diào)節(jié)荷電狀態(tài)（SOC）恢復(fù)基準(zhǔn)，并且根據(jù)當(dāng)前頻率偏差以及恢復(fù)基準(zhǔn)確定儲(chǔ)能調(diào)頻動(dòng)作，使SOC長期處于良好狀態(tài)。文獻(xiàn)［16-17］研究了調(diào)頻死區(qū)設(shè)置對于儲(chǔ)能參與一次調(diào)頻的影響，并通過合理的死區(qū)設(shè)置有效改善了火電機(jī)組調(diào)頻頻繁動(dòng)作的問題。

綜上，目前電池儲(chǔ)能參與一次調(diào)頻的研究其控制方式主要為虛擬慣性結(jié)合虛擬下垂控制，并根據(jù)儲(chǔ)能荷電狀態(tài)、電網(wǎng)頻率偏差及其變化調(diào)整儲(chǔ)能出力，但是這導(dǎo)致了控制模式及其變量過多，參數(shù)選取困難。此外，文獻(xiàn)［16-17］通過優(yōu)化儲(chǔ)能死區(qū)設(shè)置來降低火電機(jī)組調(diào)頻動(dòng)作頻率，但依然存在著優(yōu)化的空間。

為解決上述問題，本文采用智能決策的方法，通過深度強(qiáng)化學(xué)習(xí)算法訓(xùn)練智能體。該智能體可以根據(jù)當(dāng)前儲(chǔ)能荷電狀態(tài)、電網(wǎng)頻率及其變化率控制儲(chǔ)能系統(tǒng)參與一次調(diào)頻，從而提高火儲(chǔ)聯(lián)合調(diào)頻系統(tǒng)的頻率控制效果、維持儲(chǔ)能荷電狀態(tài)平穩(wěn)、以及減少火電機(jī)組調(diào)頻動(dòng)作次數(shù)。

3 實(shí)驗(yàn)驗(yàn)證

本文評價(jià)對比指標(biāo)為頻率偏差均值、SOC偏差均值以及火電機(jī)組調(diào)頻動(dòng)作次數(shù)，其中頻率偏差均值為Δfp，SOC偏差均值為ΔSp?；痣姍C(jī)組調(diào)頻動(dòng)作次數(shù)計(jì)算方式如下：如頻率頻差從火電機(jī)組調(diào)頻死區(qū)內(nèi)到火電機(jī)組調(diào)頻死區(qū)外則視為進(jìn)行了一次動(dòng)作。

3.1 實(shí)驗(yàn)設(shè)置

本文將圖1所示的儲(chǔ)能參與一次調(diào)頻模型作為智能體交互的環(huán)境。火電機(jī)組參數(shù)取自某1 000 MW機(jī)組，該機(jī)組汽輪機(jī)為CCLN1000-25.0/600/600型四缸四排汽、凝氣式汽輪機(jī)。最大調(diào)頻負(fù)荷變化幅度為50 MW，控制方式采用下垂控制，其一次調(diào)頻閥位因子為20；儲(chǔ)能采用磷酸鐵鋰電池，其容量為1 MW·h，最大輸入輸出功率為10 MW，荷電狀態(tài)范圍限制在20%～80%，儲(chǔ)能出力最大變化率為15%；火電機(jī)組以及儲(chǔ)能系統(tǒng)的控制間隔均為1 s。含儲(chǔ)能以及火電機(jī)組的電網(wǎng)一次調(diào)頻動(dòng)態(tài)模型參數(shù)如表1所示。

本文算法中Actor網(wǎng)絡(luò)輸入層有3個(gè)神經(jīng)元，對應(yīng)智能體觀測的3個(gè)維度，其隱藏層有3層，前兩層各有128個(gè)神經(jīng)元，第3層則有64個(gè)神經(jīng)元；Critc網(wǎng)絡(luò)有3個(gè)隱藏層，前兩層各有256個(gè)神經(jīng)元，第3層則有128個(gè)神經(jīng)元。激活函數(shù)均采用RELU，算例運(yùn)行硬件環(huán)境為11th Gen lntel（R）Core（TM） i5-11400 @ 2.60GHz，所有訓(xùn)練以及測試在 python3.6環(huán)境中運(yùn)行，使用了深度學(xué)習(xí)框架pytorch。

對比方法分別選擇了兼顧荷電狀態(tài)恢復(fù)的定K法［21-23］以及當(dāng)前控制效果較好的變K法［13-15］，并設(shè)置儲(chǔ)能的調(diào)頻動(dòng)作死區(qū)小于火電機(jī)組［24-25］，具體數(shù)值上為火電機(jī)組調(diào)頻死區(qū)的60%［16］。其中變K法可以在儲(chǔ)能進(jìn)行一次調(diào)頻時(shí)兼顧荷電狀態(tài)恢復(fù)。當(dāng)頻率處于儲(chǔ)能調(diào)頻死區(qū)外時(shí)，這種方法可以根據(jù)頻率偏差以及當(dāng)前荷電狀態(tài)自適應(yīng)改變當(dāng)前出力，可有效提高調(diào)頻效果；當(dāng)頻率處于死區(qū)內(nèi)時(shí)，其可以根據(jù)頻率偏差以及當(dāng)前荷電狀態(tài)綜合決定儲(chǔ)能荷電狀態(tài)恢復(fù)的方向以及力度，這種方式可以一定程度上減少火電機(jī)組的調(diào)頻動(dòng)作次數(shù)。

3.2 智能體策略訓(xùn)練

向模型中加入功率不超過25 MW，長1 000 s隨機(jī)生成的擾動(dòng)。智能體訓(xùn)練時(shí)的獎(jiǎng)勵(lì)曲線如圖2所示，共進(jìn)行了約2×107步的訓(xùn)練，每過3×105步對當(dāng)前智能體表現(xiàn)進(jìn)行測試，選取測試中表現(xiàn)最好的智能體保存作為最優(yōu)控制策略。

3.3 典型負(fù)荷擾動(dòng)下控制效果對比

設(shè)置初始荷電狀態(tài)為50%，向圖1所示模型中加入擾動(dòng)，典型負(fù)荷擾動(dòng)曲線如圖3所示，擾動(dòng)時(shí)長為1 000 s，將其與定K法以及變K法的控制效果進(jìn)行對比，評價(jià)指標(biāo)的數(shù)值結(jié)果如表2所示，頻率波動(dòng)曲線對比如圖4所示，測試中儲(chǔ)能荷電狀態(tài)變化以及儲(chǔ)能不同控制策略下火電機(jī)組調(diào)頻動(dòng)作對比如圖5、圖6所示。

由表2可知，本文控制策略下的頻率偏差均值小于對比策略的，這表明本文策略能有效提高儲(chǔ)能調(diào)頻能力。本文控制策略下SOC偏差均值為0.122 3，小于定K法的0.125 0以變K法的0.123 6，表明本策略下的荷電狀態(tài)恢復(fù)能力更好，荷電狀態(tài)控制能力更強(qiáng)。結(jié)合圖4可知，本文策略下的頻率波動(dòng)曲線頻率處于火電機(jī)組調(diào)頻死區(qū)內(nèi)的時(shí)間較對比策略更久，本文策略在維持頻率穩(wěn)定上的性能優(yōu)于對比策略。

在火電機(jī)組調(diào)頻動(dòng)作次數(shù)上，本方法較對比策略有極大的提升。由表2可知，本文方法控制下的火電機(jī)組調(diào)頻動(dòng)作次數(shù)較對比策略降低超50%。結(jié)合圖6可以看到，在440～520 s之間，對比方法中的火電機(jī)組經(jīng)常出現(xiàn)小幅調(diào)頻出力，相比之下本文方法中的火電機(jī)組并不進(jìn)行調(diào)頻動(dòng)作，顯示出了本文方法對死區(qū)附近的高頻擾動(dòng)有著較好的提前抑制作用，從而大大減少了火電機(jī)組調(diào)頻動(dòng)作次數(shù)。

3.4 隨機(jī)負(fù)荷擾動(dòng)下控制效果對比

按照上述參數(shù)設(shè)置，繼續(xù)向模型中加入多次隨機(jī)負(fù)荷擾動(dòng)，對其控制效果進(jìn)行統(tǒng)計(jì)，取平均值后，其控制效果對比如表3所示?？芍诤呻姞顟B(tài)控制效果相近下，本文方法頻率偏差均值相比于定K法降低了10.4%，較變K法降低了6.2%。在火電機(jī)組調(diào)頻動(dòng)作次數(shù)方面，本文方法較定K法降低了56.2%，較變K法降低了54.6%，可見本文方法極大減少了火電機(jī)組的調(diào)頻動(dòng)作次數(shù)。

4 結(jié) 論

為充分挖掘火儲(chǔ)聯(lián)合系統(tǒng)中儲(chǔ)能單元的一次調(diào)頻潛力，同時(shí)減少火電機(jī)組調(diào)頻頻度，本文提出了一種基于TD3的儲(chǔ)能輔助火電機(jī)組一次調(diào)頻控制策略，并與傳統(tǒng)控制策略定K法以及變K法進(jìn)行仿真對比，可得如下結(jié)論：

（1）本文控制策略根據(jù)當(dāng)前電網(wǎng)頻率、電網(wǎng)頻率變化以及儲(chǔ)能荷電狀態(tài)控制儲(chǔ)能輔助火電機(jī)組一次調(diào)頻，可有效提高頻率控制效果；

（2）本文控制策略極大減少了火電機(jī)組在調(diào)頻死區(qū)附近的小幅度高頻率一次調(diào)頻動(dòng)作次數(shù)，極大幅減少了火電機(jī)組一次調(diào)頻頻次。

參考文獻(xiàn)：

［1］張劍云， 李明節(jié). 新能源高滲透的電力系統(tǒng)頻率特性分析 ［J］. 中國電機(jī)工程學(xué)報(bào)， 2020， 40（11）： 3498-3506.

ZHANG Jianyun， LI Mingjie. Analysis of the frequency characteristic of the power systems highly penetrated by new energy generation ［J］. Proceedings of the CSEE， 2020， 40（11）： 3498-3506.

［2］葉林， 王凱豐， 賴業(yè)寧， 等. 低慣量下電力系統(tǒng)頻率特性分析及電池儲(chǔ)能調(diào)頻控制策略綜述 ［J］. 電網(wǎng)技術(shù)， 2023， 47（2）： 446-462.

YE Lin， WANG Kaifeng， LAI Yening， et al. Review of frequency characteristics analysis and battery energy storage frequency regulation control strategies in power system under low inertia level ［J］. Power System Technology， 2023， 47（2）： 446-462.

［3］LIU Ju， YAO Wei， WEN Jinyu， et al. Impact of power grid strength and PLL parameters on stability of grid-connected DFIG wind farm ［J］. IEEE Transactions on Sustainable Energy， 2020， 11（1）： 545-557.

［4］張小科， 王子杰， 夏大偉， 等. 一種面向深度調(diào)峰運(yùn)行火電機(jī)組的一次調(diào)頻能力建模新方法 ［J］. 電網(wǎng)技術(shù)， 2022， 46（12）： 4947-4953.

ZHANG Xiaoke， WANG ZI Jie， XIA Dawei， et al. New modeling for primary frequency regulation capability of thermal power units under deep peak regulation ［J］. Power System Technology， 2022， 46（12）： 4947-4953.

［5］趙東元， 胡楠， 傅靖， 等. 提升新能源電力系統(tǒng)靈活性的中國實(shí)踐及發(fā)展路徑研究 ［J］. 電力系統(tǒng)保護(hù)與控制， 2020， 48（24）： 1-8.

ZHAO Dongyuan， HU Nan， FU Jing， et al. Research on the practice and road map of enhancing the flexibility of a new generation power system in China ［J］. Power System Protection and Control， 2020， 48（24）： 1-8.

［6］卓振宇， 張寧， 謝小榮， 等. 高比例可再生能源電力系統(tǒng)關(guān)鍵技術(shù)及發(fā)展挑戰(zhàn) ［J］. 電力系統(tǒng)自動(dòng)化， 2021， 45（9）： 171-191.

ZHUO Zhenyu， ZHANG Ning， XIE Xiaorong， et al. Key technologies and developing challenges of power system with high proportion of renewable energy ［J］. Automation of Electric Power Systems， 2021， 45（9）： 171-191.

［7］張程銘， 柳璐， 程浩忠， 等. 考慮頻率安全的電力系統(tǒng)規(guī)劃與運(yùn)行優(yōu)化研究綜述與展望 ［J］. 電網(wǎng)技術(shù)， 2022， 46（1）： 250-264.

ZHANG Chengming， LIU Lu， CHENG Haozhong， et al. Review and prospects of planning and operation optimization for electrical power systems considering frequency security ［J］. Power System Technology， 2022， 46（1）： 250-264.

［8］劉暢， 卓建坤， 趙東明， 等. 利用儲(chǔ)能系統(tǒng)實(shí)現(xiàn)可再生能源微電網(wǎng)靈活安全運(yùn)行的研究綜述 ［J］. 中國電機(jī)工程學(xué)報(bào)， 2020， 40（1）： 1-18.

LIU Chang， ZHUO Jiankun， ZHAO Dongming， et al. A review on the utilization of energy storage system for the flexible and safe operation of renewable energy microgrids ［J］. Proceedings of the CSEE， 2020， 40（1）： 1-18.

［9］李欣然， 鄧濤， 黃際元， 等. 儲(chǔ)能電池參與電網(wǎng)快速調(diào)頻的自適應(yīng)控制策略 ［J］. 高電壓技術(shù)， 2017， 43（7）： 2362-2369.

LI Xinran， DENG Tao， HUANG Jiyuan， et al. Battery energy storage systems self-adaptation control strategy in fast frequency regulation ［J］. High Voltage Engineering， 2017， 43（7）： 2362-2369.

［10］鄧霞， 孫威， 肖海偉. 儲(chǔ)能電池參與一次調(diào)頻的綜合控制方法 ［J］. 高電壓技術(shù)， 2018， 44（4）： 1157-1165.

DENG Xia， SUN Wei， XIAO Haiwei. Integrated control strategy of battery energy storage system in primary frequency regulation ［J］. High Voltage Engineering， 2018， 44（4）： 1157-1165.

［11］李欣然， 崔曦文， 黃際元， 等. 電池儲(chǔ)能電源參與電網(wǎng)一次調(diào)頻的自適應(yīng)控制策略 ［J］. 電工技術(shù)學(xué)報(bào)， 2019， 34（18）： 3897-3908.

LI Xinran， CUI Xiwen， HUANG Jiyuan， et al. The Self-Adaption control strategy of energy storage batteries participating in the primary frequency regulation ［J］. Transactions of China Electrotechnical Society， 2019， 34（18）： 3897-3908.

［12］吳啟帆， 宋新立， 張靜冉， 等. 電池儲(chǔ)能參與電網(wǎng)一次調(diào)頻的自適應(yīng)綜合控制策略研究 ［J］. 電網(wǎng)技術(shù)， 2020， 44（10）： 3829-3836.

WU Qifan， SONG Xinli， ZHANG Jingran， et al. Study on self-adaptation comprehensive strategy of battery energy storage in primary frequency regulation of power grid ［J］. Power System Technology， 2020， 44（10）： 3829-3836.

［13］李軍徽， 侯濤， 穆鋼， 等. 基于權(quán)重因子和荷電狀態(tài)恢復(fù)的儲(chǔ)能系統(tǒng)參與一次調(diào)頻策略 ［J］. 電力系統(tǒng)自動(dòng)化， 2020， 44（19）： 63-72.

LI Junhui， HOU Tao， MU Gang， et al. Primary frequency regulation strategy with energy storage system based on weight factors and state of charge recovery ［J］. Automation of Electric Power Systems， 2020， 44（19）： 63-72.

［14］王育飛， 楊銘誠， 薛花， 等. 計(jì)及SOC的電池儲(chǔ)能系統(tǒng)一次調(diào)頻自適應(yīng)綜合控制策略 ［J］. 電力自動(dòng)化設(shè)備， 2021， 41（10）： 192-198， 219.

WANG Yufei， YANG Mingcheng， XUE Hua， et al. Self-adaptive integrated control strategy of battery energy storage system considering SOC for primary frequency regulation ［J］. Electric Power Automation Equipment， 2021， 41（10）： 192-198， 219.

［15］李軍徽， 高卓， 應(yīng)鴻， 等. 基于動(dòng)態(tài)下垂系數(shù)與SOC基點(diǎn)的儲(chǔ)能一次調(diào)頻控制策略 ［J］. 電力系統(tǒng)保護(hù)與控制， 2021， 49（5）： 1-10.

LI Junhui， GAO Zhuo， YING Hong， et al. Primary frequency regulation control strategy of energy storage based on dynamic droop coefficient and SOC reference ［J］. Power System Protection and Control， 2021， 49（5）： 1-10.

［16］馬智慧， 李欣然， 譚莊熙， 等. 考慮儲(chǔ)能調(diào)頻死區(qū)的一次調(diào)頻控制方法 ［J］. 電工技術(shù)學(xué)報(bào)， 2019， 34（10）： 2102-2115.

MA Zhihui， LI Xinran， TAN Zhuangxi， et al. Integrated control of primary frequency regulation considering dead band of energy storage ［J］. Transactions of China Electrotechnical Society， 2019， 34（10）： 2102-2115.

［17］張峰， 游歡歡， 丁磊. 新能源一次調(diào)頻死區(qū)影響機(jī)理建模及系數(shù)修正策略 ［J］. 電力系統(tǒng)自動(dòng)化， 2023， 47（6）： 158-167.

ZHANG Feng， YOU Huanhuan， DING Lei. Influential mechanism modelling of dead band in primary frequency regulation of renewable energy and its coefficient correction strategy ［J］. Automation of Electric Power Systems， 2023，47（6）： 158-167.

［18］HU Junyan， NIU Hanlin， CARRASCO J， et al. Voronoi-based multi-robot autonomous exploration in unknown environments via deep reinforcement learning ［J］. IEEE Transactions on Vehicular Technology， 2020， 69（12）： 14413-14423.

［19］FUJIMOTO S，VAN HOOF H， MEGER D. Addressing function approximation error in actor-critic methods ［C］//Proceedings of the 35th International Conference on Machine Learning. Chia Laguna Resort， Sardinia， Italy： PMLR， 2018： 1587-1596.

［20］LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning［EB/OL］. （2019-07-05）［2023-06-06］. https：//arxiv.org/abs/1509.02971.

［21］ZHANG Yingjun， ZHAO Changhong， TANG Wanrong， et al. Profit-maximizing planning and control of battery energy storage systems for primary frequency control ［J］. IEEE Transactions on Smart Grid， 2018， 9（2）： 712-723.

［22］劉英培， 田仕杰， 梁海平， 等. 考慮SOC的電池儲(chǔ)能系統(tǒng)一次調(diào)頻策略研究 ［J］. 電力系統(tǒng)保護(hù)與控制， 2022， 50（13）： 107-118.

LIU Yingpei， TIAN Shijie， LIANG Haiping， et al. Control strategy of a battery energy storage system considering SOC in primary frequency regulation of power grid ［J］. Power System Protection and Control， 2022， 50（13）： 107-118.

［23］修連成， 熊連松， 康志亮， 等. 運(yùn)用下垂控制的并網(wǎng)儲(chǔ)能系統(tǒng)慣量阻尼特性分析 ［J］. 西安交通大學(xué)學(xué)報(bào)， 2018， 52（12）： 112-120.

XIU Liancheng， XIONG Liansong， KANG Zhiliang， et al. Analysis on dynamic characteristics of grid-tied energy storage system with droop control ［J］. Journal of Xi’an Jiaotong University， 2018， 52（12）： 112-120.

［24］FRADLEY J， PREECE R， BARNES M.Fast frequency response from MMC-HVDC with varying dead band implementation ［J］. IFAC-PapersOnLine， 2018， 51（28）： 49-54.

［25］LIU Muyang， BIZZARRI F， BRAMBILLA A M， et al. On the impact of the dead-band of power system stabilizers and frequency regulation on power system stability ［J］. IEEE Transactions on Power Systems， 2019， 34（5）： 3977-3979.

（編輯 趙煒）