郝 然, 艾 芊, 姜子卿

(上海交通大學電子信息與電氣工程學院, 上海市 200240)

0 引言

隨著工業(yè)生產(chǎn)和居民用戶的能源需求日趨多樣,供能設(shè)備和形式向著高品位、低成本的方向發(fā)展,能源傳輸與設(shè)備的革新促使能源系統(tǒng)間的進一步耦合,使得綜合能源系統(tǒng)從理論概念逐漸轉(zhuǎn)變?yōu)橐环N切實有效的能源整合手段。區(qū)域綜合能源系統(tǒng)(regional integrated energy system, RIES)是能源互聯(lián)網(wǎng)中常見的載體,涉及能源的轉(zhuǎn)換、分配與協(xié)調(diào),其核心是實現(xiàn)多能互濟和能源的梯級利用[1-2]。近年來,歐美和日本結(jié)合自身能源發(fā)展需求,在政策、技術(shù)和示范工程方面做了大量嘗試[3],國內(nèi)也針對“互聯(lián)網(wǎng)+智慧能源”的理念開展了大量的研究和實踐[4]。

為實現(xiàn)區(qū)域能源網(wǎng)多能互補的系統(tǒng)優(yōu)化,需采用合作博弈的方法?？紤]冷熱電多主體多能流的協(xié)同,以最優(yōu)化區(qū)域用能能源效率或供能費用為目標,整合系統(tǒng)內(nèi)多個主體的可調(diào)控資源,制定合理的系統(tǒng)級調(diào)度計劃。而各個主體的利益訴求需要在能源市場非合作競價博弈中得以體現(xiàn),進一步降低用戶用能成本。

針對RIES多主體、高耦合的內(nèi)在特性,探索合理的運行機制和多主體市場互動機制是多能互補協(xié)同優(yōu)化的必要條件。在電力系統(tǒng)的研究中,經(jīng)典博弈論被廣泛應用于電力市場競價策略研究,但其基本假設(shè)是每個市場參與者都具有“理性的共同認識”,這種方法存在較大局限性[5-6]。在多主體競價博弈中,能源市場的相互耦合使得參與主體難以準確掌握全部信息而做出最佳反應動態(tài)(best-response dynamic, BRD)[7]。多能市場具有混沌性因而對仿真初值較為敏感,參與主體無法通過構(gòu)造確定性的動態(tài)模型推演系統(tǒng)穩(wěn)定點。本文基于有限假設(shè)理性設(shè)計博弈策略,參與者的知識遠不能包括全部的博弈結(jié)構(gòu)和規(guī)則[8],通過某種傳遞機制而非純理性選擇策略參與博弈,因此本文的博弈強調(diào)策略的動態(tài)性和穩(wěn)定性。

多能協(xié)調(diào)優(yōu)化的合作方法一直是多能互補的研究熱點,其重點在于分析能量轉(zhuǎn)換與耦合元件特性[9]。多能流靜態(tài)耦合模型被用于冷熱電協(xié)同調(diào)度和穩(wěn)態(tài)分析中[10-11],研究證明多主體協(xié)同互補可降低用能成本、提高能源利用效率[12-13]。為模擬市場中主體的有限理性行為和市場價格形成的動態(tài)過程,文獻[14-16]將多代理技術(shù)應用于電力市場和規(guī)劃的動態(tài)模擬系統(tǒng)中,通過強化學習算法仿真各個主體間的互動博弈行為,研究電力規(guī)劃和市場定價的決策方法。文獻[17]應用多代理技術(shù),對日前電力市場建立動態(tài)貝葉斯網(wǎng)絡模型,通過貝葉斯學習法仿真發(fā)電廠智能體分時段競價行為?？紤]供需雙方的動態(tài)交互,文獻[18]提出一個雙邊博弈模型,通過市場驅(qū)動發(fā)電規(guī)劃和清潔能源的擴容。文獻[19-20]運用節(jié)點邊際定價(locational marginal pricing, LMP)機制,考慮輸電網(wǎng)最優(yōu)潮流和具體的網(wǎng)絡拓撲,仿真多個發(fā)電廠競價策略。目前,多數(shù)研究集中于輸電網(wǎng)發(fā)電市場仿真,少有研究涉及RIES能源市場的競價仿真。

本文以綜合能源系統(tǒng)多主體的博弈行為為研究對象。首先,對其關(guān)鍵機組組件的運行特性進行分析,建立基于合作博弈的多能互補下層調(diào)度模型并研究上層區(qū)域能源市場的競價演化規(guī)律?？紤]邊際成本報價和按報價結(jié)算(pay as bid price,PAB)的收益機制,能源商代理根據(jù)下層合作博弈的調(diào)度結(jié)果,應用強化學習算法分析有限的歷史信息,選擇不同利潤率的報價策略。

1 多主體雙層博弈策略

RIES雖與大電網(wǎng)相連,但其生產(chǎn)的電能大部分用于滿足內(nèi)部需求,即某種意義上的直購電,僅有少數(shù)電能通過聯(lián)絡線上網(wǎng),冷熱需求也是自給自足的,其內(nèi)部的能量轉(zhuǎn)化和利用是相對獨立的。因此,系統(tǒng)的冷熱電價格可由運營部門制定。另外,RIES規(guī)模有限,對于機組運行優(yōu)化的要求較高,不適于采用分時統(tǒng)一價格出清機制,可通過上報包含盈利和邊際成本的功率—價格曲線,一方面保證了供能商信息安全,另一方面為園區(qū)考慮機組優(yōu)化調(diào)度提供參考依據(jù)。

本文設(shè)計的多主體雙層博弈策略可根據(jù)功能劃分為調(diào)度層和競價層,如圖1所示。調(diào)度層的主體為園區(qū)獨立系統(tǒng)運營商(independent system operator, ISO),接收綜合供能商的報價,以單一的系統(tǒng)級經(jīng)濟性為合作優(yōu)化目標,在可調(diào)范圍內(nèi)進行機組邊際一致性優(yōu)化。第二層為競價層,供能商進行非合作博弈,供能商在不知道對手運行參數(shù)的情況下,學習每日不同的利潤率報價下的日供能收益并給ISO報價。由此形成調(diào)度—競價雙層博弈功能上的循環(huán)。

圖1 調(diào)度-競價雙層博弈策略Fig.1 Dispatch-bidding bi-level game strategy

大型輸電網(wǎng)競價一般是由專家進行分時投標競價,即每小時出價并由專門的交易平臺給出市場出清價格(market clearing price, MCP)。但該方法并不適合規(guī)模較小的RIES。因此,本文的競價方案僅需確定該機組的盈利率,每日上報一次價格。沒有基于完全開放的電力市場假設(shè),與電網(wǎng)的聯(lián)絡線功率仍按照分時電價計算,更適用于當今市場環(huán)境下的綜合能源系統(tǒng)。

整個能源市場中,全部類型的能源供應商,只要處于運行階段,都可以競價上網(wǎng)。各供能立體結(jié)合區(qū)域能源市場信息不完全性,依據(jù)自身發(fā)電成本通過Q-Learning學習算法自主調(diào)整每個周期的競價策略以獲取最大收益。多主體雙層博弈的具體策略如圖2所示,其中CCHP表示冷熱電聯(lián)供。

圖2 多主體雙層博弈策略Fig.2 Multi-agent bi-level game strategy

考慮PAB方式的市場模式,在相同發(fā)電報價下,相比系統(tǒng)邊際價格(system marginal price,SMP)機制可節(jié)省系統(tǒng)購電總成本。在PAB機制下,供能商沒有持留容量的利益驅(qū)動(假定持留容量前后報價不變),其最優(yōu)的產(chǎn)量決策是上報最大可用容量,從而可防止供能商在系統(tǒng)容量緊缺時利用持留容量措施操縱市場價格。ISO結(jié)合多個主體上報的報價曲線,以系統(tǒng)用能成本最優(yōu)為目標,充當區(qū)域調(diào)度中心的撮合者,使不同主體在日前調(diào)度上實現(xiàn)合作博弈。為保證公平公正,利益主體在日前調(diào)度優(yōu)化時上報的策略對所有利益主體公開,機組真實的邊際成本曲線對外保密。

由于RIES中的傳輸線路較短,且負荷與供能設(shè)備交替布置,故本策略不考慮最優(yōu)潮流。采用邊際定價(marginal pricing,MP)的報價模式簡單易行,充分考慮了各臺機組的運行特性,實現(xiàn)園區(qū)的經(jīng)濟調(diào)度,因而可真正地通過多能互補整合各個主體的資源,進而提高能源利用率和新能源利用率。

2 冷熱電日前調(diào)度合作博弈

2.1 目標函數(shù)

ISO調(diào)度部門以園區(qū)用能費用F最小作為目標函數(shù),協(xié)調(diào)各個主體合作優(yōu)化系統(tǒng)目標。目標函數(shù)如下:

(1)

供能商成本包括能源轉(zhuǎn)化成本fe,j(t)和運行管理成本fOM,j,邊際成本fj(t)可表示為:

fj(t)=fe,j(t)+fOM,j

(2)

(3)

(4)

CCHP機組燃氣—發(fā)電—發(fā)熱關(guān)系均由標準工況下的實驗數(shù)據(jù)得到,機組實驗數(shù)據(jù)特性如圖3(a)所示。

圖3 不同機組運行和經(jīng)濟特性圖Fig.3 Operation and economic features of different units

余熱鍋爐發(fā)熱—燃氣量關(guān)系由一次函數(shù)擬合為H=3.98g,其中H為CCHP機組的熱功率,g為天然氣消耗量。CCHP機組發(fā)電邊際成本隨燃氣的增加而降低,二次函數(shù)擬合得到的結(jié)果如下:

p=9×10-4g2+0.086g-18.828

2 020 m3/h≤g≤3 980 m3/h

(5)

式中:p為CCHP機組輸出的電功率。

根據(jù)燃氣鍋爐的機組特性,其供能費用隨運行功率的變化曲線可表示為:

fGB=aGBp2+bGBp+cGB

(6)

溴化鋰機組的轉(zhuǎn)換效率η=0.8。電制冷性能系數(shù)(COP)值取4,其供能費用隨實時電價波動。綜上,各個機組的能源轉(zhuǎn)化成本如圖3(b)所示,光伏能源轉(zhuǎn)化成本視為0。

2.2 標準工況運行約束

(7)

(8)

(9)

系統(tǒng)約束考慮冷熱電功率平衡、區(qū)域電網(wǎng)聯(lián)絡線功率PLine約束、冷熱電儲能充放電約束、冷熱電儲能爬坡約束及其荷電狀態(tài)約束,如式(10)所示。溴化鋰機組將熱功率轉(zhuǎn)化為電功率的效率取為80%。

(10)

3 非完全信息下的非合作競價博弈

3.1 用戶博弈模型

參考基于用戶心理學的分時電價用戶需求響應模型[21],設(shè)計多種能源消費背景下的用戶博弈模型。為保證所有Nash均衡點在合理范圍內(nèi),用戶代表與供能商簽訂最高出價價格bmax。bref1和bref2為彈性段的投標價格區(qū)間。且為防止博弈中出現(xiàn)壟斷而出現(xiàn)不合理的價格,用戶通過自身的需求響應特性參與博弈,冷熱電的用戶用能量—價格彈性模型如圖4所示。

圖4 多能流用戶用能量-價格彈性模型Fig.4 Elastic model of energy-price for multiple energy users

用電量—電價曲線公式如下:

(11)

3.2 機組邊際成本報價機制

為ISO調(diào)度提供決策支撐,供能商應根據(jù)自身機組運行特性計算邊際成本并設(shè)計相應的報價策略。為簡化分析,本文假定參與主體的報價曲線是成本曲線的比例函數(shù),則引入利潤系數(shù)kj,設(shè)主體j的供能成本曲線為f(t),則報價曲線為bj(t)=kjfj(t),CCHP機組對冷熱電獨立報價,在計算發(fā)電成本時視當前冷熱價格和工作狀態(tài)不變,即發(fā)電成本等于總成本減去供冷供熱的收益,其他的成本計算同理可得。

實際的RIES包含多個利益主體,在競價決策時單個主體往往無法獲得所有主體的全部成本和容量信息。Q-Learning算法提供智能系統(tǒng)在馬爾可夫環(huán)境中利用經(jīng)歷的動作序列選擇最優(yōu)動作。其優(yōu)點在于不需要對所處的動態(tài)環(huán)境建模,可將多能耦合競價—調(diào)度的復雜過程視為“黑箱”,根據(jù)當前信息選擇最優(yōu)動作改變影響動態(tài)環(huán)境[22-23]。

參考Q-Learning算法[5],設(shè)計基于Q-Learning的多能競價博弈。多代理博弈過程的信息集合為{N,S,R,B,U},其中:N為參與博弈的代理集合;S={si}為博弈的報價的所有離散狀態(tài)集合,包括各個主體的報價曲線,由下文智能體競價知識庫給出;B={bmin,…,bmax}為主體的報價曲線集合;R={R1,R2,…,Rj,…,Rn}為參與者的收益函數(shù)集合,收益函數(shù)為參與主體的盈利,具體表達式如式(12)所示。

(12)

參與者的收益函數(shù)與博弈狀態(tài)和參與者的策略有關(guān),即Rj:(si,bj)→R。b-j為競爭對手的報價策略,定義轉(zhuǎn)移概率為在狀態(tài)S下的狀態(tài)轉(zhuǎn)移概率U(S,bj,b-j)∈[0,1]。α和γ分別為學習因子和折扣因子。

Q狀態(tài)更新過程:

Qj(si,bj,b-j)=(1-α)Qj(si,bj,b-j)+

α(Rj(sj,bj,b-j)+γVj(si′))

(13)

Vj定義為在對手采取歷史動作b-j,而主體采取可行策略bj∈Br后的最大收益值。

(14)

Prj(si,b-j)是主體對于對手策略的預測。設(shè)λj(si,b-j)為對手j在si狀態(tài)下采取b-j策略的次數(shù)。僅基于對手歷史數(shù)據(jù)下的經(jīng)驗給出不同策略的概率:

(15)

Q-Learning算法思想是不去顧及環(huán)境模型,直接優(yōu)化可迭代計算的Q函數(shù),通過評價“狀態(tài)—行為”對Qj(si,bj,b-j)進行優(yōu)化,其學習步驟如下。

1)觀察當前的狀態(tài)si和歷史報價b-j。

2)選擇并且執(zhí)行一個動作bj。

3)觀察下一個狀態(tài)si′。

4)根據(jù)歷史數(shù)據(jù)和收益函數(shù)計算立即收益Rj和下一動作后的最大收益V(si′)。

5)更新Q值。

競價主體僅僅依據(jù)Q值大小選取策略,很容易陷入局部最優(yōu),一般采用ε-Greedy策略進行優(yōu)化。策略的突變將導致收益或支付的變化,并不產(chǎn)生新策略,即競價主體以較大概率選擇Q值最大的策略作為最優(yōu)策略,同時以一個較小概率ε,隨機選擇除Q值最大以外的其他策略,選擇除最優(yōu)策略以外的其他策略的概率相同。

(16)

概率ε隨著過程的收斂而減小,具體表達式為:

(17)

式中:εmax為最大變異概率;m為迭代次數(shù);h為某一保證收斂的迭代次數(shù)。

智能體競價知識庫中一共有7種動作,在上一次策略利潤率的基礎(chǔ)上浮動,最大步長為0.06,具體如下:

(18)

4 算例仿真

仿真中,取學習因子α=0.85,折扣因子γ=0.8,最大變異概率εmax=0.15,h=40。燃氣輪機的天然氣價格為4.03元/m3,燃氣鍋爐的氣價為3.03元/m3。系統(tǒng)包括2臺CCHP機組,1臺燃氣輪機,最大功率為8 MW的光伏設(shè)備和容量為50 MW的電制冷機組。CCHP機組額定功率和ISO運行特性見圖3,配備6 MW的溴化鋰機組。算例中配電網(wǎng)分時電價為:谷時段(00:00—07:00)為0.514元/(kW·h),峰時段(09:00—23:00)為1.071元/(kW·h),平時段(07:00—09:00,23:00—00:00):0.792元/(kW·h)。

ISO冷熱電儲能的配置如表1所示,用戶需求彈性參數(shù)如附錄A表A1所示。

表1 冷熱電儲能配置Table 1 Configuration of cold, thermal and electric storage

4.1 仿真結(jié)果

采用某重點項目園區(qū)夏季冷熱電典型負荷進行仿真?？紤]光伏電站、CCHP能源站、燃氣鍋爐供暖站和電制冷中央空調(diào)4個能源供應商主體進行冷熱電競價仿真,結(jié)果如圖5所示。

圖5 能源市場多主體非完全信息競價仿真Fig.5 Simulation of multi-agent incomplete information bidding for energy markets

從仿真結(jié)果來看,各個供能主體的利潤率均從較低水平逐漸增加至均衡點。由于CCHP冷熱電以及電制冷的冷電耦合關(guān)系,3個競價過程演化過程類似:均在開始階段上升較快,供能主體對負荷的競爭關(guān)系在第8次到第25次博弈過程中較為明顯,在第25次后逐漸平穩(wěn)。

優(yōu)化調(diào)度在CPLEX平臺采用混合整數(shù)線性規(guī)劃實現(xiàn)。由于僅有燃氣鍋爐和燃氣輪機具有二次非線性的函數(shù)特征,兩臺機組非線性成本函數(shù)均由ISO情況下實驗數(shù)據(jù)通過構(gòu)造輔助變量分段線性化表示。在各個主體盈利率均達到均衡點時,冷熱電日前合作博弈的調(diào)度結(jié)果如附錄A圖A1所示。

由算例分析競價和調(diào)度的耦合機理。ISO根據(jù)供能商的報價曲線,本著價格最低的原則制定24 h機組出力,而供能商結(jié)合24 h的調(diào)度結(jié)果計算每個時段的邊際價格,計算并預測收益,通過有限理性機器學習模擬人工智能報價并上報,完成層間互動。結(jié)合競價和調(diào)度兩個過程,分析日前調(diào)度結(jié)果如下。

1)受限于容量限制,電制冷機組調(diào)度功率較大。溴化鋰機組受燃氣輪機的影響工作在07:00—22:00,蓄冷設(shè)備在白天平均電價較高時放冷,在夜間電費較低時吸收冷量。

2)由熱能調(diào)度結(jié)果可知,燃氣鍋爐在熱負荷水平較低時具有價格優(yōu)勢,CCHP機組在熱負荷水平較高時具有價格優(yōu)勢。熱儲能調(diào)節(jié)機組運行狀態(tài),優(yōu)化機組運行點以降低能量轉(zhuǎn)化費用。

3) 光伏發(fā)電時間分布不均,其供能成本低因而基本工作在最大功率點。燃氣輪機發(fā)電成本隨發(fā)電功率增加而降低,在負荷較高時燃氣輪機運行在額定運行點附近,夜間負荷較低時由配電網(wǎng)和儲能供電。

4.2 策略式博弈的局部Nash均衡性證明

(19)

根據(jù)定義驗證博弈平衡點的Nash均衡性,假設(shè)電價已穩(wěn)定,設(shè)pi為CCHP機組采用si動作的概率,qj為燃氣鍋爐采用sj動作的概率,選擇概率由上文的ε-Greedy算法決定,由貪心策略選擇的最大概率為85%,選擇其他策略的概率相同,為2.5%。kj的修正步長取最小值0.02?？傻脙蓚€主體給定點附近的7種策略對應的收益矩陣A7×7和B7×7,其元素aij和bij分別表示兩個主體的使用si策略和sj策略時的凈收益。

則博弈者1采用策略sj的效用函數(shù)為:

(20)

同理可得博弈者2的效用函數(shù)為:

(21)

4.3 用戶收益對比分析

考慮以下3種模式,對比分析不同策略下的用戶收益。

模式1:依據(jù)該實際園區(qū)的現(xiàn)有固定冷熱電價格結(jié)算,優(yōu)化系統(tǒng)經(jīng)濟運行。冷熱結(jié)算價格分別為0.587元/(kW·h)、0.563元/(kW·h),CCHP上網(wǎng)電價為0.745元/(kW·h),光伏上網(wǎng)電價為0.75元/(kW·h)。

模式2:應用本文提出的調(diào)度合作博弈模型,競價博弈不考慮用戶需求響應的參與,通過本文強化學習方法指導競價行為。

模式3:考慮用戶需求響應的參與,應用本文所提的雙層博弈調(diào)度—競價策略。

3種模式下分時段總用能成本見附錄B表B4,定義平均綜合用能成本λ為:

(22)

3種模式平均綜合用能成本計算結(jié)果見圖6。由仿真結(jié)果可知,3種模式不同時段的平均用能價格基本有規(guī)律:模式1>模式2>模式3。模式3雙層博弈后該園區(qū)的冷熱電的平均收購價格維持在0.524,0.512,0.72元/(kW·h)。相比于該實際園區(qū)的現(xiàn)有的固定價格機制,應用相同的調(diào)度方法,平均綜合購能成本可降低7.19%。

5 結(jié)語

圖6 3種模式平均綜合用能成本計算Fig.6 Average combined energy cost under 3 modes

本文提出RIES多主體雙層博弈策略融合多能互補調(diào)度和能源市場競價過程,以有限的信息和理性為假設(shè)基礎(chǔ)更接近實際情況。調(diào)度部門的合作博弈以系統(tǒng)級優(yōu)化目標協(xié)調(diào)各機組和能源,充分發(fā)揮了RIES多能互補協(xié)調(diào)優(yōu)化的優(yōu)勢。建立了能源市場日前競價模型,滿足供能商的利益訴求并降低能源供應價格。相比單一電力市場仿真,本文提出的策略不僅考慮了調(diào)度—競價兩個過程的雙層耦合關(guān)系,并且將多能耦合模型從調(diào)度模型擴展到能量耦合機組的報價策略。由實際算例分析,多主體在本文的競價機制下均可達到Nash均衡點,ISO在現(xiàn)有報價的基礎(chǔ)上制定系統(tǒng)經(jīng)濟最優(yōu)的調(diào)度策略。與現(xiàn)行固定價格結(jié)算相比,本文的競價策略可降低園區(qū)7.19%的平均綜合用能成本。

然而,本文分析的報價模式是日前統(tǒng)一使用MP策略的報價模式?？紤]能源混合潮流的擴展LMP報價策略和結(jié)合實際工程數(shù)據(jù)進行分析將會在后續(xù)的研究中展開。

附錄見本刊網(wǎng)絡版(http://www.aeps-info.com/aeps/ch/index.aspx)。

[1] 賈宏杰,王丹,徐憲東,等.區(qū)域綜合能源系統(tǒng)若干問題研究[J].電力系統(tǒng)自動化,2015,39(7):198-207.DOI:10.7500/AEPS20141009011.

JIA Hongjie, WANG Dan, XU Xiandong, et al. Research on some key problems related to integrated energy systems[J]. Automation of Electric Power Systems, 2015, 39(7): 198-207. DOI: 10.7500/AEPS20141009011.

[2] 吳建中.歐洲綜合能源系統(tǒng)發(fā)展的驅(qū)動與現(xiàn)狀[J].電力系統(tǒng)自動化,2016,40(5):1-7.DOI:10.7500/AEPS20150512001.

WU Jianzhong. Drivers and state-of-the-art of integrated energy systems in Europe[J]. Automation of Electric Power Systems, 2016, 40(5): 1-7. DOI: 10.7500/AEPS20150512001.

[3] 余曉丹,徐憲東,陳碩翼,等.綜合能源系統(tǒng)與能源互聯(lián)網(wǎng)簡述[J].電工技術(shù)學報,2016,31(1):1-13.

YU Xiaodan, XU Xiandong, CHEN Shuoyi, et al. A brief review to integrated energy system and energy internet[J]. Transactions of China Electrotechnical Society, 2016, 31(1): 1-13.

[4] 王偉亮,王丹,賈宏杰,等.能源互聯(lián)網(wǎng)背景下的典型區(qū)域綜合能源系統(tǒng)穩(wěn)態(tài)分析研究綜述[J].中國電機工程學報,2016,36(12):3292-3305.

WANG Weiliang, WANG Dan, JIA Hongjie, et al. Overview of steady state analysis of typical regional comprehensive energy system under the background of energy internet[J]. Proceedings of the CSEE, 2016, 36(12): 3292-3305.

[5] RASHEDI N, TAJEDDINI M A, KEBRIAEI H. Markov game approach for multi-agent competitive bidding strategies in electricity market[J]. IET Generation Transmission & Distribution, 2016, 10(15): 3756-3763.

[6] 王帥.發(fā)電商基于Q-Learning算法的日前市場競價策略[J].能源技術(shù)經(jīng)濟,2010,22(3):34-39.

WANG Shuai. Generators’ bidding strategies in the day-ahead market based onQ-Learning algorithm[J]. Electric Power Technologic Economics, 2010, 22(3): 34-39.

[7] 盧強,陳來軍,梅生偉.博弈論在電力系統(tǒng)中典型應用及若干展望[J].中國電機工程學報,2014,34(29):5009-5017.

LU Qiang, CHEN Laijun, MEI Shengwei. Typical applications and prospects of game theory in power system[J]. Proceedings of the CSEE, 2014, 34(29): 5009-5017.

[8] 梅生偉.工程博弈論基礎(chǔ)及電力系統(tǒng)應用[M].北京:科學出版社,2016:178-191.

[9] MOGHADDAM I G, SANIEI M, MASHHOUR E. A comprehensive model for self-scheduling an energy hub to supply cooling, heating and electrical demands of a building[J]. Energy, 2016, 94: 157-170.

[10] 周任軍,冉曉洪,毛發(fā)龍,等.分布式冷熱電三聯(lián)供系統(tǒng)節(jié)能協(xié)調(diào)優(yōu)化調(diào)度[J].電網(wǎng)技術(shù),2012,36(6):8-14.

ZHOU Renjun, RAN Xiaohong, MAO Falong, et al. Coordinated optimization of energy saving for distributed CCHP system[J]. Power System Technology, 2012, 36(6): 8-14.

[11] 顧澤鵬,康重慶,陳新宇,等.考慮熱網(wǎng)約束的電熱能源集成系統(tǒng)運行優(yōu)化及其風電消納效益分析[J].中國電機工程學報,2015,35(14):3596-3604.

GU Zepeng, KANG Chongqing, CHEN Xinyu, et al. Operation optimization of integrated power and heat energy systems and the benefit on wind power accommodation considering heating network constraints[J]. Proceedings of the CSEE, 2015, 35(14): 3596-3604.

[12] GU Wei, WANG Jun, LU Shuai, et al. Optimal operation for integrated energy system considering thermal inertia of district heating network and buildings[J]. Applied Energy, 2017, 199: 234-246.

[13] HERRANDO M, MARKIDES C N, HELLGARDT K. A UK-based assessment of hybrid PV and solar-thermal systems for domestic heating and power: system performance[J]. Applied Energy, 2014, 122: 288-309.

[14] 段煒,胡兆光,吳思竹,等.基于智能體響應均衡模型的經(jīng)濟政策-電力需求動態(tài)模擬[J].中國電機工程學報,2014,34(7):1206-1212.

DUAN Wei, HU Zhaoguang, WU Sizhu, et al. Dynamic simulation of economic policy and electricity demand by agents response equilibrium model[J]. Proceedings of the CSEE, 2014, 34(7): 1206-1212.

[15] 田建偉,胡兆光,吳俊勇.基于多智能體建模的經(jīng)濟-電力動態(tài)模擬系統(tǒng)[J].中國電機工程學報,2010,30(7):85-91.

TIAN Jianwei, HU Zhaoguang, WU Junyong, et al. Dynamic economy and power simulation system based on multi-agent modeling[J]. Proceedings of the CSEE, 2010, 30(7): 85-91.

[16] 黃仙,郭睿.一種電力市場環(huán)境下的電源規(guī)劃多智能體模型[J].電力系統(tǒng)保護與控制,2016,44(24):1-8.

HUANG Xian, GUO Rui. A multi-agent model of generation expansion planning in electricity market[J]. Power System Protection and Control, 2016, 44(24): 1-8.

[17] DEHGHANPOUR K, NEHRIR M H, SHEPPARD J W. Agent-based modeling in electrical energy markets using dynamic bayesian networks[J]. IEEE Transactions on Power Systems, 2016, 31(6): 4744-4754.

[18] NESHAT N, AMIN-NASERI M R. Cleaner power generation through market-driven generation expansion planning: an agent-based hybrid framework of game theory and Particle Swarm Optimization[J]. Journal of Cleaner Production, 2015, 105: 206-217.

[19] ZHOU Zhi, ZHAO Fei, WANG Jianhui. Agent-based electricity market simulation with demand response from commercial buildings[J]. IEEE Transactions on Smart Grid, 2011, 2(4): 580-588.

[20] TANG W, JAIN R. Dynamic economic dispatch game: the value of storage[J]. IEEE Transactions on Smart Grid, 2016, 7(5): 2350-2358.

[21] 阮文駿,王蓓蓓,李揚,等.峰谷分時電價下的用戶響應行為研究[J].電網(wǎng)技術(shù),2012,36(7):86-93.

RUAN Wenjun, WANG Beibei, LI Yang, et al. Study on user response behavior under TOU price[J]. Power System Technology, 2012, 36(7): 86-93.

[22] GAJJAR G R, KHAPARDE S A, NAGARAJU P. Application of actor-critic learning algorithm for optimal bidding problem of a Genco[J]. IEEE Transaction on Power Systems, 2003, 18(1): 11-18.

[23] RAGUPATHI R, DAS T K. A stochastic game approach for modeling wholesale energy bidding in deregulated power markets[J]. IEEE Transactions on Power Systems, 2004, 19(2): 849-856.