唐成鵬， 張粒子， 鄧 暉， 肖艷煒

(1.華北電力大學 電氣與電子工程學院，北京 102206；2.國網浙江省電力有限公司 電力科學研究院，浙江 杭州 310014；3.國網浙江省電力有限公司 電力市場仿真實驗室，浙江 杭州 310014；4.國網浙江省電力有限公司，浙江 杭州 310000)

0 引 言

能源轉型是實現“碳達峰、碳中和”(簡稱“雙碳”)目標的重要途徑[1]。2060年時我國新能源發(fā)電量占比可能超過50%，屆時新能源的不確定性、波動性和低邊際成本等特性對電力系統(tǒng)的影響將顯著放大，高比例新能源不僅需要系統(tǒng)提供充足的靈活性，還會對功率平衡及運行控制、市場價格信號和發(fā)電容量充裕性等產生一系列深遠影響。在未來“以新能源為主體的新型電力系統(tǒng)”建設過程中，如何引導資源的靈活性改造和規(guī)劃建設，以及如何充分調用和合理激勵現有資源提供靈活性，將為電力市場設計帶來嚴峻挑戰(zhàn)。

放眼國外，對于高比例水電系統(tǒng)，南美(如智利、巴西)已有相對成熟的電力市場建設經驗[2，3]；歐洲和美國也相繼提出了碳減排目標，積極探索高比例新能源電力系統(tǒng)下的市場設計[4，5]。我國相關專家深刻剖析了能源轉型下電力市場建設面臨的挑戰(zhàn)[6]，并對促進新能源發(fā)展的措施和市場機制進行了深入探討[7-9]。理論研究方面，文獻[10-13]對國內外促進新能源發(fā)展的激勵政策、交易模式，以及新能源對電力市場的影響、適應高比例可再生能源的電力市場機制設計等方面的研究現狀做了比較詳細的綜述；仿真研究方面，文獻[14-16]借助均衡分析方法對以火電為主系統(tǒng)在單一電能量市場機制下的均衡情況進行了仿真模擬。然而，當前對能源轉型下多類靈活性資源參與不同電能量或輔助服務市場機制的研究仍有不足，難以推演各類靈活性資源及市場激勵機制的作用，進而為面向雙碳目標的電力規(guī)劃和機制設計提供重要參考。

為解決上述問題，本文主要進行了三個方面的研究工作：1)闡述新型電力系統(tǒng)建設過程中重點發(fā)展資源的靈活性，對激勵靈活性的市場機制進行梳理和總結；2)提出均衡分析方法，包括由各類資源報價決策模型、電能量與靈活爬坡輔助服務聯合出清模型構成的雙層優(yōu)化模型，以及基于深度強化學習的模型求解方法；3)構建多種靈活性資源配比、不同靈活性激勵機制案例，驗證所提方法的有效性，分析各類靈活性資源及市場激勵機制的作用。

1 靈活性資源及其激勵機制

1.1 面向雙碳目標的靈活性資源

電力資源靈活性的主要特征通常包括三個方面：可調節(jié)容量范圍、輸出功率變化速度和電能量持續(xù)時間[17]。在最小和最大技術出力之間具有大范圍功率調節(jié)能力的資源、爬坡速率較快的資源，以及能夠在較長時間保持能量水平的資源，可以更好地適應電力系統(tǒng)的供需變化或維持電力系統(tǒng)平衡，都屬于靈活性資源。因此，靈活性資源不僅限于電源側，還包括可調節(jié)負荷、儲能設備等，不同類型資源的靈活性有很大差異。

下面簡單介紹新型電力系統(tǒng)建設過程中重點發(fā)展的靈活性資源，而諸如火電、核電、水電等常規(guī)電源的特性不再贅述。

(1)新能源。在新能源占比較小的保障性消納階段，其出力通常被視為固定的、不可調節(jié)的，需要其他資源提供靈活性，以適應新能源的波動性和不確定性。然而，受系統(tǒng)運行特性限制，新能源消納的嚴格優(yōu)先未必是最經濟和低碳的，在新能源占比較高的電力系統(tǒng)中可能也難以實現全部新能源發(fā)電量的保障性消納。若將新能源納入整個系統(tǒng)的經濟調度，即允許經濟性或可靠性棄能，則新能源自身就能提供很好的靈活性，同時也使得整個系統(tǒng)運行更經濟。由此，新能源從靈活性問題的原因轉變?yōu)榻鉀Q方案的一部分，降低了系統(tǒng)靈活性對常規(guī)電源的依賴性。上述方式在美國電力市場(如PJM、NYISO、MISO)已有實際應用，并取得了大量效益，甚至還有學者研究新能源參與輔助服務市場的可行性[18]。

(2)抽水蓄能。以抽水蓄能為代表的儲能設備，在實際運行過程中扮演著發(fā)電廠和用戶的雙重角色，具有工況轉換靈活、反應迅速、大幅調節(jié)、儲存容量大等特點，可以實現秒級啟動、分鐘級滿負荷運行，是優(yōu)良的靈活性資源?！冻樗钅苤虚L期發(fā)展規(guī)劃(2021-2035年)》提出，加快發(fā)展抽水蓄能，是構建以新能源為主體的新型電力系統(tǒng)的迫切要求；2030年抽水蓄能投產總規(guī)模將達到1.2億千瓦左右。

(3)可調節(jié)負荷?？烧{節(jié)負荷參與需求響應，可以通過響應價格信號、激勵或調度機構的指令而主動改變其用電行為，使得電力需求成為虛擬的可控資源?？烧{節(jié)負荷與多種電源類型結合，可以有效克服新能源隨機性及其與用電時間不匹配對電力系統(tǒng)運行造成的不利影響，通過削峰、填谷、平抑波動等方式為系統(tǒng)提供靈活性。短期來看，可調節(jié)負荷參與需求響應有利于穩(wěn)定電價、約束市場力、提高經濟效率，長期來看還可以減少新增發(fā)輸電容量的投資。

1.2 激勵靈活性的市場機制

許多運行特性都會限制靈活性，靈活性的增加可能會增加成本，因此需要在必要時才調用額外靈活性，并為此提供相應激勵。隨著電力現貨市場建設的逐步深化，新型電力系統(tǒng)下市場設計需要重點考慮兩個問題：一是市場設計是否為進入市場的新資源提供激勵，使其在系統(tǒng)需要的時間和地點新增所需的靈活性，以促進形成合理的電源結構，這是長期容量充裕性問題；二是市場設計是否為現有資源提供激勵，實現多種靈活性資源的高效和全面整合，以獎勵靈活性和準確預測，這是短期市場設計問題。下面結合國內外實踐經驗，對激勵靈活性的市場機制進行梳理和總結。

(1)靈活性資源整合

為實現資源的全面整合和充分調用，需要將新能源、儲能設備、可調節(jié)負荷等新興資源統(tǒng)一納入市場，通過優(yōu)化市場交易、出清和價格機制等措施，充分契合各類資源的特性，實現源源互補、源荷互動，以提高系統(tǒng)靈活性。例如，美國PJM在市場出清模型中加入新能源、抽水蓄能機組和需求響應的相關約束[19，20]；大多數歐洲國家(如西班牙、葡萄牙)已經對需求響應的參與開放了市場，并通過日內滾動交易、逼近實時的關閘時間等機制，為新能源提供充足的偏差調整和交易計劃修正的機會。我國在此方面也進行了積極探索，如推進源網荷儲一體化和多能互補發(fā)展、完善風光儲價格形成機制、鼓勵新型主體參與市場等。相反地，在某些市場中，市場主體可通過提交自調度計劃等方式提前鎖定資源的運行計劃，該機制一定程度上減少了可供系統(tǒng)調度使用的靈活性資源。

(2)現貨市場優(yōu)化調度與精細化結算

優(yōu)化調度與分時定價。以集中式市場為例，市場運營機構基于市場報價(或發(fā)電成本)，在統(tǒng)一的現貨交易平臺進行集中優(yōu)化調度。該過程以社會福利最大化(或生產成本最小化)為目標優(yōu)化發(fā)電計劃，以滿足電力系統(tǒng)安全和機組運行約束條件下的電能量和輔助服務需求，進而給每個市場主體提供有效的調度指令和合理的收益，使得市場主體的出力水平始終反映價格的變化，并避免其在發(fā)電成本高于價格的水平上運行。其中，在邊際出清機制下，新能源接近零的邊際成本特性使其自動獲得了優(yōu)先調度權，而多種資源的統(tǒng)一優(yōu)化調度實現了新能源的經濟消納；分時定價機制可以較好的反映電力系統(tǒng)在不同時段的供需特性，通過價格信號對發(fā)用兩側的引導，可以實現系統(tǒng)調峰。具體而言，在新能源發(fā)電能力充沛的時段，市場價格走低，常規(guī)電源發(fā)電意愿也相應變低，儲能設備及可調節(jié)負荷的用電需求增加，由此為新能源消納創(chuàng)造了更大的空間；在新能源發(fā)電能力較低的時段，市場價格走高，常規(guī)電源發(fā)電意愿較高，儲能設備及可調節(jié)負荷的用電需求減少，由此保證了系統(tǒng)中有充裕的資源提供電能。

較短的調度周期及與之匹配的結算顆粒度。調度周期的縮短可以更精細地確定調度計劃和定價，有助于調用靈活性和減少輔助服務需求。美國PJM、NYISO等電力市場在實時階段均以5分鐘為周期進行調度和定價，已取得了比較好的運行效果。然而，并非所有的美國電力市場都以該粒度進行結算。例如，PJM實時市場以6個調度周期的平均價格結算；NYISO和SPP采用與調度周期相同的結算顆粒度。后者保證了靈活性資源獲得了與其調度指令相稱的獎勵，更有利于激勵資源提供爬坡能力。

安全和收益保障。除了在出清過程中充分考慮電網安全和機組運行特性外，電力現貨市場采用可靠性機組組合機制進一步保障系統(tǒng)安全。基于對新能源及負荷不確定性的預測分析，可靠性機組組合可以對系統(tǒng)次日運行安全進行評估，判斷靈活性資源的充裕性，并在靈活性可能不足時優(yōu)化調整機組啟停計劃。并且，為了靈活性資源的有效激勵，市場運營機構采用全成本補償(make-whole payment)或凸包定價[21]等機制確保被調用的資源能夠得到合理的回報，保證所獲收益能完全覆蓋其提供電能量和輔助服務的所有成本。

(3)多種輔助服務產品及主輔聯合優(yōu)化

主輔市場聯合優(yōu)化有助于高效地為電能量和輔助服務安排資源，并相應地為兩類服務定價。通過對調頻、備用等輔助服務的分別調用和定價，有利于激勵市場資源提供靈活性。美國CAISO和MISO市場還將爬坡能力作為獨立產品進行交易、優(yōu)化和定價，引入了新的輔助服務產品——靈活爬坡服務(flexible ramping products，FRP；或稱爬坡能力產品ramp capability product)[22，23]，致力于解決系統(tǒng)中負荷與新能源帶來的不確定性問題，確保有足夠的爬坡能力跟隨凈負荷變化，保障系統(tǒng)實時平衡。FRP的引入在美國電力市場取得了一定的效果[24]，但也發(fā)現一些問題需要進一步修正和改進[25，26]。

(4)長期投資引導

隨著新能源占比的不斷提高，一方面常規(guī)機組的發(fā)電利用小時數將不斷下降，其主要功能及收入來源將由提供電能量向輔助服務轉變；另一方面，較高的新能源占比會降低平均能源價格，增加價格波動性和低價格的頻率，并抬高輔助服務的價格。常規(guī)電源的成本回收和長期激勵可能面臨風險，在必要時可以建立的長期容量充裕性保障機制(如容量補償、容量市場、稀缺定價機制)。此外，更大范圍的電網互聯及市場融合、長期的電力規(guī)劃(如“十四五”規(guī)劃)等措施，都有利于靈活性資源的長期投資引導和優(yōu)化配置。

各種機制協同作用，共同促進新能源和靈活性資源建設同步發(fā)展，實現靈活性資源的充分調用、合理激勵和充裕性保障。

2 均衡分析方法

本節(jié)建立適應于多類靈活性資源參與不同市場機制的通用型均衡分析方法，主要包括雙層均衡模型和求解算法兩個部分。其中，上層模型為各類資源以利潤最大化為目標的報價決策模型，其利潤計算方式與市場定價和結算機制相對應；下層模型為與市場交易和出清機制相對應的出清模型，此處重點考慮電能量與FRP輔助服務聯合出清模型。對于模型求解算法，為避免繁瑣的模型轉化、方便各類資源或機制的靈活組合或設置，適合于采用基于深度強化學習的迭代求解法。

2.1 上層：市場主體報價決策模型

首先，分別對風電、光伏、火電機組，以及以抽水蓄能為代表的儲能設備進行市場行為建模。其中，新能源機組僅參與電能量市場，謀求電能量市場的收益最大化；火電機組和抽水蓄能同時參與電能量和FRP市場，追求兩市場的總利潤最大化。由于單個可調節(jié)負荷用電量較小，本文考慮可調節(jié)負荷以負荷聚合商的形式提供激勵型需求響應服務(incentive-based demand response，IDR)，并以實際成本進行報價，暫不考慮其策略行為。需要注意的是：①機組運行特性在下層市場出清中考慮；②抽水蓄能考慮變速機組，其運維成本以抽發(fā)效率的形式在運行特性約束中計及；③市場主體只提交電能量市場報價，無需對FRP進行報價，FRP價格由機會成本確定。

1)新能源機組 (i∈Iwind∪Isolar)

(1)

0≤ki≤Kmax

(2)

式(2)為報價約束。其中Kmax表示報價上限。

2)火電機組(i∈Icoal∪Igas)

(3)

其中，

(4)

(5)

(6)

約束條件同式(2)。

3)抽水蓄能電站(j∈J)

(7)

0≤kj≤Kmax

(8)

2.2 下層：電能量與FRP輔助服務聯合出清模型

聯合出清的安全約束機組組合(Security Constrained Unit Commitment，SCUC)模型以社會福利最大化為目標，約束條件包括系統(tǒng)約束、FRP需求約束、需求響應相關約束，以及各種發(fā)電機組和儲能設備的運行特性約束。

1)目標函數：

(9)

其中，

(10)

(11)

(12)

(13)

(14)

(15)

2)系統(tǒng)約束：

(16)

3)FRP輔助服務需求約束

(17)

(18)

(19)

其他包括新能源、火電、需求響應、抽水蓄能等各類靈活性資源的運行特性約束，整理于附錄A。

上述雙層均衡模型是完整的通用型模型，不僅適合于分析多類資源參與電能量及FRP市場的均衡結果，還可通過修改市場出清周期、電費結算參數、機組最小出力參數等方式，靈活考慮調度和結算顆粒度、市場主體提交自調度計劃等多種機制設計的影響。

2.3 基于深度強化學習的模型求解

整個模型框架可基于深度強化學習方法進行迭代求解，本文選擇深度確定性策略梯度算法(Deep Deterministic Policy Gradient，DDPG)[28]，其中市場出清模型屬于混合整數二次規(guī)劃問題，可借助商用求解器Gurobi進行優(yōu)化計算。整體求解流程與前述循環(huán)迭代優(yōu)化過程一致，如圖1所示。

圖1 DDPG求解雙層模型框架圖

以各主體作為有自主學習能力的智能體(Agent)，而將與之交互的市場出清過程作為環(huán)境。其要素包括：

2)動作a：Agent的動作即為報價決策變量ki或kj(∈A=[0,Kmax])。

(20)

式中：ε表示衰減率，通常為極小的正數，TB表示儲存器的容量，Ttrain為訓練總次數。

4)回報r：以Agent與環(huán)境交互所獲得的利潤(對應式(1)或(3)或(7))作為回報。

5)主Q網絡(參數為ω)的訓練目標是最小化樣本Q值和目標Q值之間的均方差，其誤差函數為：

(21)

(22)

ω按下式更新：

(23)

6)主策略網絡(參數為θ)的確定性策略梯度公式為：

(24)

θ按下式更新：

(25)

7)目標網絡軟更新：

(26)

式中：τ為目標網絡的學習速率。

整個算法基于PyTorch和Gurobi框架進行編程和計算。

3 算例分析

圖B1 負荷及新能源出力曲線圖

3.1 靈活性資源的影響分析

以火電與新能源構成的系統(tǒng)作為基礎案例，分別添加抽水蓄能機組或IDR，得到各案例下的市場均衡結果如表1所示。

表1 不同靈活性資源整合案例均衡結果

對比各案例的市場均衡結果可以看到，抽水蓄能和IDR等資源都可以增加系統(tǒng)靈活性，多種資源的整合能有效促進新能源消納。相較而言，抽水蓄能的調節(jié)能力更強，在相同調節(jié)容量情況下其調用量高于IDR，對系統(tǒng)靈活性貢獻更大。在日平衡運行模式下，抽水蓄能和IDR通過響應市場價格優(yōu)化自身運行曲線，在平抑市場價格波動的同時，提供系統(tǒng)靈活性。

圖2以案例4為例，展示了市場價格、抽水蓄能機組出力和分時爬坡需求(按凈負荷計算)曲線，可以反映抽水蓄能機組調用與市場價格及爬坡需求的相關性。一方面，抽水蓄能的基本運行模式是“低抽高發(fā)”，通過響應價格實現自身利益和綜合效益的最大化；另一方面，作為該系統(tǒng)中調節(jié)性能最好的資源，抽水蓄能也跟隨系統(tǒng)爬坡需求適時提供靈活性。由此也反映出，單一電能量現貨市場可以在一定程度上激勵資源提供靈活性。

圖2 抽水蓄能機組調用與市場價格及爬坡需求的相關性

3.2 靈活性激勵機制影響分析

(1)減少市場主體鎖定資源的影響

市場主體可通過提交自調度計劃等方式，提前確定其啟停狀態(tài)及基礎出力曲線，富余容量可參與市場優(yōu)化。為分析市場主體鎖定資源的影響，本文假設機組全天各時段的自調度計劃相同，在案例1的基礎上，通過改變機組最小出力的方式模擬不同自調度計劃場景下的市場出清結果(如圖3所示)。

圖3 不同自調度計劃場景結果

算例設置了從20%gmax到60%gmax的5種自調度計劃場景?？梢钥吹?，自調度計劃比例越高，則可供系統(tǒng)調度的靈活性資源越少，最終消納的新能源也越少。該結果也一定程度上反映了火電靈活性改造等措施對提高系統(tǒng)靈活性和促進新能源消納的作用。

(2)增加FRP輔助服務產品的影響

FRP輔助服務產品的引入，不僅考慮了新能源出力和負荷波動造成的系統(tǒng)爬坡需求，還為其不確定性預留容量，以保障系統(tǒng)能提供所需的爬坡能力。算例基于案例4構建了多個不同預測誤差σ的場景，各場景的爬坡需求由式(19)計算得到。各場景的市場價格如表2所示。

表2 不同預測誤差場景下市場價格情況

由上述結果可以看到，在案例4系統(tǒng)中，引入FRP輔助服務產品對電能量市場的價格影響較小。FRP服務的價格由機會成本確定，隨凈負荷預測誤差的增加而升高。各類靈活性資源的FRP服務中標情況如圖4所示。

圖4 不同預測誤差場景的FRP服務中標情況

通過對比可以看出，調節(jié)性能越好的資源中標的FRP服務量越大，即FRP產品有助于激勵調節(jié)性能優(yōu)越的資源提供靈活性。下面進一步分析新能源占比更高情況下的市場運行情況。

3.3 電源結構的影響分析

在前述σ=1場景(新能源裝機占比47.1%)基礎上，本節(jié)逐步增加20%新能源裝機容量，其出力曲線同比例調整，構建多個場景，市場均衡結果如表3和表4所示。

表3 不同新能源比例場景下市場價格情況

表4 不同新能源比例場景下市場均衡結果

綜合上述結果可知：

1)隨著新能源占比提高，電能量市場價格逐漸降低、FRP價格逐步上升，但FRP價格仍處于較低水平。

2)新能源占比提高會擠壓火電發(fā)電量空間，即使在引入FRP輔助服務產品情況下，其收益也大大降低。在新能源裝機占比64%場景下，火電FRP市場收益也僅占其總收益的0.12%，表明FRP對火電的激勵性不足。

3)在由火電、新能源、抽水蓄能和IDR組成的系統(tǒng)中，新能源裝機與△t調節(jié)容量(由△t時間的爬坡能力計算)的合理配比大約為3∶1，有助于促進新能源消納。

4)在高比例新能源電力系統(tǒng)中，新能源報價趨同化、市場價格趨零化現象嚴重，可能對市場運營造成較大影響，亟需開展適應新型電力系統(tǒng)的市場出清及價格機制等研究工作。

4 結 論

本文對各類靈活性資源及市場激勵機制進行了梳理和總結，并通過結合雙層優(yōu)化模型和深度強化學習的市場均衡分析方法，仿真分析了各類靈活性資源及激勵機制的作用，結論如下：

(1)相較于傳統(tǒng)火電機組，抽水蓄能和需求側響應的調節(jié)性能更優(yōu)，源荷儲等多類資源的全面整合和優(yōu)化調度，有助于充分提供新型電力系統(tǒng)所需的靈活性；

(2)減少市場主體鎖定資源有助于充分調用靈活性；FRP輔助服務產品有助于激勵調節(jié)性能優(yōu)越的資源提供靈活性，但其價格可能偏低，是否對靈活性資源形成充分激勵還需進一步探討，有必要進行靈活性激勵機制的創(chuàng)新；

(3)在當前的市場價格機制下，隨著新能源占比的提高，市場價格逐漸走低，出現零電價的頻次增加，需要開展適應新型電力系統(tǒng)的市場出清及價格機制等方面的研究工作；

(4)新能源的發(fā)展離不開靈活性資源的支撐，需要通過市場機制引導電力規(guī)劃，形成合理的能源結構，降低實際運行階段的市場運行壓力和風險，有助于建設新型電力系統(tǒng)和實現雙碳目標。

上述提到的研究方向將是后續(xù)的研究重點。