劉迪迪，張泉景，鄒艷麗，秦運(yùn)柏，孫浩天，胡聰

(1.廣西師范大學(xué)電子工程學(xué)院，廣西 桂林 541004; 2. 廣西自動(dòng)檢測(cè)技術(shù)與儀器重點(diǎn)實(shí)驗(yàn)室(桂林電子科技大學(xué)), 廣西 桂林 541004)

0 引言

智能電網(wǎng)作為新一代的電力系統(tǒng)，其建設(shè)的過(guò)程需要合并大量的信息和通信基礎(chǔ)設(shè)施，并借助先進(jìn)的通信、信息和控制技術(shù)，結(jié)合可再生能源發(fā)電、能源存儲(chǔ)、材料、傳感器和電力電子等方面的先進(jìn)技術(shù)，這就使得智能電網(wǎng)終端用戶之間相互交易成為可能[1 - 3]。在智能電網(wǎng)中，隨著越來(lái)越多的終端用戶積極參與到電力交易市場(chǎng)中，無(wú)論是用戶與用戶之間，還是用戶與電網(wǎng)之間都存在競(jìng)爭(zhēng)關(guān)系[4 - 6]。

文獻(xiàn)[7]中采用了博弈論的方法來(lái)控制單個(gè)能量來(lái)源或負(fù)載，提高了不使用中央控制的電力系統(tǒng)的可靠性和魯棒性。在文獻(xiàn)[8]中作者基于合作博弈技術(shù)，使風(fēng)力發(fā)電機(jī)組更有效地集中發(fā)電從而使利潤(rùn)得到了提升。文獻(xiàn)[9]研究綠色蜂窩網(wǎng)絡(luò)的能量團(tuán)購(gòu)問(wèn)題，利用購(gòu)買能量上的合作以及相互協(xié)作分擔(dān)無(wú)線負(fù)載以節(jié)省能量成本，針對(duì)不同實(shí)體的移動(dòng)網(wǎng)絡(luò)運(yùn)營(yíng)商，提出了一種反復(fù)納什交涉方案以獲得帕累托最優(yōu)，公平地減低雙方的能量成本。文獻(xiàn)[10]采用博弈論方法，研究小型蜂窩網(wǎng)絡(luò)中具有能量收集功能的基站間的能量協(xié)作問(wèn)題，激勵(lì)非合作基站通過(guò)智能電網(wǎng)分享多余的能量。文獻(xiàn)[11]中建立了一個(gè)戰(zhàn)略博弈模型來(lái)分析具有不同電網(wǎng)約束的能源市場(chǎng)中的寡頭壟斷現(xiàn)象。

以上大部分工作的目的是通過(guò)博弈最大化賣家的收益或降低終端消費(fèi)者的成本，在反復(fù)博弈過(guò)程中，能獲知對(duì)手的策略及相應(yīng)的效益。然而，由于參與電力市場(chǎng)交易者之間的利潤(rùn)競(jìng)爭(zhēng)，每個(gè)賣家策略性地選擇策略(對(duì)于其對(duì)手而言是私密的)，從而希望獲取盡可能多的利潤(rùn)；另一方面為保護(hù)競(jìng)爭(zhēng)者的利益，交易中心必須考慮保護(hù)每個(gè)參與者的私自策略[12 - 14]。因此，不完全信息競(jìng)爭(zhēng)下的能量交易更具有挑戰(zhàn)性和實(shí)際意義。強(qiáng)化學(xué)習(xí)(RL)理論通常不需要完全的信息，通過(guò)應(yīng)用該理論能有效地解決這一類競(jìng)爭(zhēng)問(wèn)題。

考慮智能電網(wǎng)中微小區(qū)或微微小區(qū)中安裝了可再生能源設(shè)備的多個(gè)智能用戶，本文主要研究多個(gè)智能用戶之間的能量交易問(wèn)題。智能用戶能夠根據(jù)當(dāng)前的狀態(tài)(當(dāng)前能量收集和需求的狀況，及電池中的電量、外部電價(jià)等)，在滿足自己即時(shí)能量需求的情況下，由能量管理單元決策出售/購(gòu)買多少能量。為了能夠最大程度的為各個(gè)用戶降低成本或提高收益，本文基于雙邊拍賣機(jī)制，構(gòu)造了多個(gè)智能用戶在不完全信息情況下非合作博弈的能量交易市場(chǎng)模型，基于Q學(xué)習(xí)創(chuàng)新地提出了一種自適應(yīng)學(xué)習(xí)算法為參與博弈的用戶找到最優(yōu)混合策略，使整體博弈達(dá)到混合策略納什均衡，并通過(guò)仿真驗(yàn)證了提出的算法的有效性。

2 建模和問(wèn)題描述

本文考慮智能電網(wǎng)中包含多個(gè)智能用戶(如家庭、辦公樓)的片區(qū)，允許智能用戶參與電力交易。每個(gè)智能用戶配備各種類型的可再生能源裝置(如太陽(yáng)能、風(fēng)能裝置)、電池組、能量管理單元、智能電表等，其模型如圖1所示。其中智能電表是智能用戶與外部建立聯(lián)系的通信設(shè)備，即參與電力市場(chǎng)交易的必備設(shè)施。

圖1 智能用戶(買家/賣家)示意圖Fig.1 Diagram of smart users (buyer/seller)

智能用戶通過(guò)可再生能源裝置收集能量，由能量管理單元對(duì)收集的能量進(jìn)行管理，例如，將自身使用后所剩余的能量存入電池組供以后使用，或控制電池組充/放電以滿足電器的即時(shí)需求，以及決策是否與外部進(jìn)行能量交易，即通過(guò)本地能量交易中心與其他智能用戶進(jìn)行交易或與外部電網(wǎng)進(jìn)行交易。單個(gè)智能用戶與外部電網(wǎng)進(jìn)行能量交易的管理可參考文獻(xiàn)[15]。

由于不同的智能用戶存在能量收集、能量需求、電池容量等方面的差異，積極參與能量市場(chǎng)交易的多個(gè)智能終端用戶中，一部分智能用戶收集的能量和存儲(chǔ)的能量多于自身的能量需求，則可選擇合適的價(jià)格通過(guò)本地交易中心進(jìn)行能量拍賣，或以外部電網(wǎng)的電價(jià)出售給外部電網(wǎng)，從而增加自身的收益，將這部分智能用戶稱為賣家；相反，另一部分智能用戶不具有能量收集裝置或者所收集的能量和電池組中能量不滿足自身的能量需求，則可選擇自身可接受的價(jià)格通過(guò)本地交易中心購(gòu)買能量，或以外部電網(wǎng)的電價(jià)購(gòu)買不足的部分，將這部分智能用戶稱為買家；此外還需要一個(gè)獨(dú)立的本地能量交易中心服務(wù)買賣雙方(可能會(huì)收取適量的服務(wù)費(fèi))，以上三者結(jié)合就構(gòu)成了一個(gè)完整的能量交易市場(chǎng)模型，如圖2所示。

圖2 能量交易市場(chǎng)模型Fig.2 Model of energy trading market

在能量交易市場(chǎng)中，能量交易每時(shí)每刻都在發(fā)生，不失一般性，假設(shè)每次能量交易的間隔為1 h，即交易的時(shí)刻為h∈H?{1,2,3,…,24}， 賣家和買家在不同的交易時(shí)刻角色可互換。為保護(hù)參與能量交易的智能用戶的信息隱私，參與者只能與交易中心進(jìn)行與自身相關(guān)的信息互動(dòng)，而無(wú)法從交易中心獲取其他參與者的信息，下面將詳細(xì)介紹在此過(guò)程中買賣雙方及交易中心服務(wù)器的行為。

1)賣家

2)買家

3)交易中心

在一個(gè)公平的能量交易過(guò)程中，交易過(guò)程應(yīng)是雙盲的，每個(gè)參與者只知道自己的行為，即自己的交易量和相應(yīng)的收益。因此本地能量交易中心服務(wù)器將起到以下作用：

(1)收集所有買家和賣家提交的信息，基于這些信息決定此次交易是否能夠發(fā)生；

(2)基于收集的買家和賣家的信息，決定此次交易價(jià)格，并根據(jù)下一節(jié)介紹的雙邊拍賣機(jī)制分配買賣雙方的交易量；

(3)使用特定的效益函數(shù)計(jì)算每個(gè)參與者的收益，并將該收益反饋給每個(gè)參與者。

2 雙邊拍賣機(jī)制

本節(jié)構(gòu)建一個(gè)雙邊拍賣方案來(lái)表示交易價(jià)格和交易量。首先，將賣家的報(bào)價(jià)pi按遞增順序排列，而買家的報(bào)價(jià)dj按遞減順序排列，得到p1d2>…>dJ。 排序后的供給曲線和需求曲線，如圖3所示。如果d1≥p1， 那么兩條線必定會(huì)在特定買家n(n∈I)和特定賣家m(j∈J)處相交，故出價(jià)高于dn的買家和報(bào)價(jià)低于pm的賣家能夠參加此次能量交易。為了保證交易的真實(shí)性，必須將買家n和賣家m排除在外。

圖3 排序后的供給曲線和需求曲線Fig.3 Curves of sorted supply and demand

在圖3中，兩條線在買家n∈J0和賣家m∈I0處相交，其中買家n的出價(jià)為dn， 賣家m的報(bào)價(jià)pm， 那么交易中心服務(wù)器就可以在[dn,pm]之間選擇任意一個(gè)合適的值作為此次交易的價(jià)格，因?yàn)樵谶@個(gè)區(qū)間內(nèi)的任何值都滿足最終參加交易的用戶的要求。這里將最終交易價(jià)格p設(shè)置為：

p=(dn+pm)/2

(1)

交易價(jià)格p一旦確定，此次能量交易最終以此單價(jià)進(jìn)行交易。在確定了成功參與拍賣的智能用戶和價(jià)格后，經(jīng)交易中心服務(wù)器統(tǒng)籌，若買家總需求量和賣家總供應(yīng)量相等，那么所有的買家都能夠獲得自己所需的能量，所有賣家也能如愿將自身能量進(jìn)行出售。然而在實(shí)際的拍賣過(guò)程中，買家的總需求量和賣家總供應(yīng)量很難完全一致，為了保證拍賣的真實(shí)性和公平性，采用一種加權(quán)平均分?jǐn)偡?，將賣家的總供應(yīng)量進(jìn)行分割，從而得到每個(gè)賣家的實(shí)際出售數(shù)量：

(2)

式中：bi為賣家i的預(yù)計(jì)出售量；qi(bi)為賣家i在預(yù)計(jì)出售能量bi前提下實(shí)際出售能量的函數(shù)；cj為買家j的需求量；fi為賣家i減小的出售量，當(dāng)賣家總供應(yīng)大于買家總需求量時(shí)，每個(gè)賣家需要從預(yù)計(jì)出售數(shù)bi中減少的部分能量，即：

(3)

通過(guò)這種方法，既保證拍賣的公平性，還保證了每個(gè)實(shí)際參與拍賣的賣家都能售出一個(gè)非負(fù)的量，這比平均分配機(jī)制更為公平。同理，當(dāng)總供應(yīng)量小于總需求量時(shí)，交易中心服務(wù)器通過(guò)加權(quán)平均分享機(jī)制為參與的買家分配交易量。

當(dāng)此次交易的價(jià)格p和每個(gè)賣家i實(shí)際能出售的能量數(shù)qi確定之后，交易中心服務(wù)器可以根據(jù)效益函數(shù)計(jì)算賣家i此次交易中的實(shí)際收益(暫不考慮交易中心收取傭金)。

ui(bi)=logτ(max{1,pi(bi)·qi(bi)})

(4)

式中：τ>1代表一種成本因素，可以表示由各種設(shè)備所造成的功率損耗；logτ(·)是一種凈利潤(rùn)函數(shù)表示；max{1,X}可以有效地避免效益低于成本。其中pi(bi)和qi(bi)分別表示賣家i選擇出售bj數(shù)量的能量時(shí)實(shí)際交易的價(jià)格和賣家i的實(shí)際出售量，在計(jì)算完之后，交易中心將ui(bi)和qi(bi)反饋給賣家i， 而賣家i不必考慮自己需要向各個(gè)買家提供多少能量，只需向交易中心提供qi(bi)的能量即可。

而根據(jù)式(1)和(2)可知，pi(bi)和qi(bi)并不是賣家i能單獨(dú)決定的，而是由所有實(shí)際參與此次交易的智能用戶共同決定的。因此，如何選擇合適的bi使賣家i所獲得收益最大是本文的研究目的。

為了簡(jiǎn)化分析，假設(shè)所有買家所需的能量數(shù)和所出價(jià)格固定不變。由以上分析可知，賣家i最終出售的能量數(shù)和成交的價(jià)格，甚至能否參加此次交易都會(huì)受到其他賣家的影響，顯而易見(jiàn)，不同的賣家之間則形成了競(jìng)爭(zhēng)關(guān)系，并且賣家i在能量交易的過(guò)程中，只與交易中心服務(wù)器聯(lián)系，對(duì)于其他賣家的信息和行為均不知曉，這樣賣家之間則構(gòu)成了一個(gè)信息不完全的非合作博弈。

3 不完全信息的重復(fù)博弈

參與者每選擇一個(gè)策略，則通過(guò)交易中心獲知該策略下相應(yīng)的實(shí)際交易量以及收益，多個(gè)智能用戶之間的能量交易模型轉(zhuǎn)換為一個(gè)信息不完全的非合作博弈，Ξ={,ui(bi),qi(bi),pi(bi)}， 其中的表示參與者的集合。

定義1：假設(shè)在一個(gè)由n個(gè)參與者組成的博弈Ξ={S1,…,Sn;ui,…,un}， 參與者i的策略空間為Si={si1,si2,…,sik}， 則參與者i以概率分布PI=(pi1,pi2,…,pik)隨機(jī)在其k個(gè)可選策略中選擇的“策略”，稱為一個(gè)“混合策略”，其中0≤pij≤1對(duì)j=1,2,…,k都成立，且pi1+pi2+…+pik=1。

在上述設(shè)計(jì)的基于非合作博弈模型的雙邊拍賣中，參與者是參與能量交易的智能用戶。智能用戶i在每次能量交易之前，都要從自身的策略空間Si={si1,si2,…,sik}按照策略的概率分布PI=(pi1,pi2,…,pik)選取合適的策略發(fā)送給交易中心，交易中心服務(wù)器在計(jì)算各參與者的收益或費(fèi)用后反饋給相應(yīng)的參與者，在該類博弈模型中存在混合策略的納什均衡。納什均衡指的是一個(gè)整體的策略集合，是由博弈中全部參與者的最優(yōu)策略共同決定的。也就是說(shuō)，對(duì)于其中任意參與者，若其它參與者的策略不發(fā)生改變，那么該參與者永遠(yuǎn)不會(huì)再改變自己當(dāng)前的策略，由此形成的一種最優(yōu)且平衡的解的集合。

(5)

為使整體博弈達(dá)到最終納什均衡，用戶需經(jīng)過(guò)重復(fù)博弈，并在博弈過(guò)程中根據(jù)反饋信息不斷更新其策略，在每個(gè)階段t， 重復(fù)能量交易博弈的流程如下。

1)每個(gè)賣家根據(jù)當(dāng)前的概率分布獨(dú)立選擇行動(dòng)(混合策略)。

2)交易中心收集所有賣方的行為，計(jì)算并反饋所有賣方在約束條件下實(shí)現(xiàn)的效用和交易數(shù)量。

3)每個(gè)賣家根據(jù)自己的效用和交易量生成一個(gè)新的概率分布。

其中如何根據(jù)自身效用和交易量生成一個(gè)新的概率分布是接下來(lái)要研究的內(nèi)容。

在設(shè)計(jì)的非合作博弈中，每個(gè)賣家在選擇策略的過(guò)程中，其收益會(huì)受到其他賣家的執(zhí)行策略的影響，且賣家之間沒(méi)有任何信息交換。在強(qiáng)化學(xué)習(xí)中，面對(duì)信息不完全的環(huán)境，無(wú)模型的強(qiáng)化學(xué)習(xí)方法能更好的發(fā)揮優(yōu)勢(shì)，因此提出一種基于Q學(xué)習(xí)的多用戶策略選擇算法，實(shí)際上是通過(guò)回報(bào)函數(shù)的設(shè)計(jì)來(lái)獲得賣家的策略選擇，使其朝著最優(yōu)策略和整體博弈穩(wěn)定的方向選擇策略。Q學(xué)習(xí)中的學(xué)習(xí)策略不會(huì)一直為賣家選擇一個(gè)回報(bào)值最大的策略，也會(huì)有一定概率選擇其他策略，在取得最終穩(wěn)定的前提下，每個(gè)賣家基于以下2點(diǎn)進(jìn)行策略選擇：

1)每個(gè)賣家都盡可能的使自身能夠參與到此次交易中；

2)每個(gè)賣家都傾向于選擇回報(bào)值高的策略。

基于這種機(jī)制，即使周圍環(huán)境發(fā)生了變化，也能保證賣家在不同的策略上進(jìn)行嘗試，并通過(guò)在這2點(diǎn)要求下反復(fù)的迭代，最終取得最優(yōu)策略。

4 問(wèn)題求解

4.1 建立馬爾可夫決策過(guò)程的系統(tǒng)模型

賣家i如何選擇合適的bi使自身的收益最大的問(wèn)題是一個(gè)隨機(jī)環(huán)境下的決策問(wèn)題，因此本文將其建模為一個(gè)離散有限的馬爾可夫問(wèn)題。在馬爾可夫模型中，獎(jiǎng)勵(lì)只取決于買賣雙方當(dāng)前可接受的電價(jià)和需要買賣的電量，而與歷史數(shù)據(jù)無(wú)關(guān)。在形式上，馬爾可夫模型可以表示為一個(gè)5元組(S,A,P,R,γ)， 其中S為狀態(tài)、A為動(dòng)作、P為狀態(tài)轉(zhuǎn)移概率、R為獎(jiǎng)勵(lì)、γ為折扣因子。其獎(jiǎng)勵(lì)函數(shù)ri(si,ai)滿足式(6)：

(6)

式中ai為賣家i選擇賣出特定電量bi的動(dòng)作。當(dāng)賣家選擇的策略不能參與此次交易時(shí)，回報(bào)值為0；當(dāng)可以參與此次交易時(shí)，回報(bào)值等于此次收益值。

4.2 Q學(xué)習(xí)策略選擇步驟

強(qiáng)化學(xué)習(xí)是一種在未知環(huán)境下進(jìn)行連續(xù)決策的方法。它可以根據(jù)過(guò)去的經(jīng)驗(yàn)在線學(xué)習(xí)，實(shí)時(shí)改變策略。面對(duì)信息不完全的環(huán)境，無(wú)模型的強(qiáng)化學(xué)習(xí)方法能更好地發(fā)揮優(yōu)勢(shì)。Q學(xué)習(xí)的基本原理是對(duì)每一個(gè)狀態(tài)-動(dòng)作分配一個(gè)動(dòng)作-值函數(shù)Q(s,a)， 并且在每次迭代中更新這個(gè)值。π(s|a)表示在狀態(tài)s采取動(dòng)作a的策略，目標(biāo)就是求出累計(jì)獎(jiǎng)勵(lì)最大的策略的期望，因此賣家i采取特定策略的動(dòng)作-值函數(shù)定義如式(7)所示。

(7)

(8)

(9)

(10)

5 仿真結(jié)果

假設(shè)在某次能量雙向拍賣中，有6個(gè)買家，4個(gè)賣家。買家的初始化行為如表1所示，假設(shè)博弈過(guò)程中買家的行為不變，賣家的價(jià)格同樣不變，并且每個(gè)賣家分別配備了3個(gè)容量不同的儲(chǔ)能電池，為減少控制帶來(lái)的開銷，每次交易賣家選擇出售某一個(gè)儲(chǔ)能電池的全部能量，或幾個(gè)電池能量的總和，故賣家的策略選擇和報(bào)價(jià)如表2所示。

表1 買家初始行為設(shè)置Tab.1 Buyer’s initial behavior setting

表2 賣家初始行為設(shè)置Tab.2 Seller’s initial behavior setting

雙邊拍賣過(guò)程中，賣家選擇不同的策略，產(chǎn)生的交易價(jià)格會(huì)隨之變化，圖4展示了交易價(jià)格隨迭代次數(shù)的變化，價(jià)格在0.380 3元/kWh、0.303 0元/kWh和0.432 0元/kWh 3個(gè)之間不斷跳躍。

圖4 交易價(jià)格隨迭代次數(shù)的變化Fig.4 Change of the transaction price with the number of iterations

圖5—7分別為賣家1、2、3基于Q學(xué)習(xí)算法迭代過(guò)程中選擇策略概率的演進(jìn)。從這些圖可以看出，每個(gè)賣家都可以得到平穩(wěn)的概率分布。其中賣家1在策略選擇的迭代過(guò)程中，策略1被選擇的概率不斷變大，而策略2和策略3被選擇的概率無(wú)限趨向于0；賣家2最終趨向于以相同的概率選擇策略1和策略2，而不去選擇策略3；賣家3最終趨向于以較高的概率選擇策略3，以較低的概率選擇策略1，同時(shí)還會(huì)以0.33左右的概率選擇策略2。由于雙邊拍賣機(jī)制，賣家4的報(bào)價(jià)使其從未成功參加過(guò)交易，所以其策略選擇的概率演進(jìn)如圖8所示，其概率始終未能更新。

圖5 賣家1策略更新過(guò)程Fig.5 Strategy update process of seller 1

圖6 賣家2策略更新過(guò)程Fig.6 Strategy update process of seller 2

圖7 賣家3策略更新過(guò)程Fig.7 Strategy update process of seller 3

圖8 賣家4策略更新過(guò)程Fig.8 Strategy update process of seller 4

各賣家基于Q學(xué)習(xí)在雙邊拍賣機(jī)制中調(diào)整自己的策略，以獲得多個(gè)對(duì)手競(jìng)爭(zhēng)下的最大穩(wěn)定收益。剩余未成功出售的部分能量，賣家可選擇保留至下次拍賣，也可選擇按此時(shí)外部電網(wǎng)的收購(gòu)價(jià)出售給電網(wǎng)，這屬于智能用戶個(gè)體能量管理行為，詳見(jiàn)之前的研究成果[15]?；诒疚奶岢龅碾p向拍賣下各賣家取得收益與直接跟外部電網(wǎng)交易的收益相對(duì)比，如圖9所示，可以看出成功參與雙向拍賣的賣家1、2、3(賣家4未能參與)的收益和直接交易相比均有不同程度的提高。

圖9 雙邊拍賣和直接交易對(duì)比Fig.9 Comparison of double auction and direct transaction

6 結(jié)語(yǔ)

本文研究智能電網(wǎng)中的多個(gè)智能用戶之間的能量交易方案。考慮到不同用戶能量收集和能量需求存在差異的情況，通過(guò)引入雙邊拍賣機(jī)制，構(gòu)造了一個(gè)包含多用戶的能量交易市場(chǎng)模型，使用戶之間能夠更加靈活有效的進(jìn)行能量交易，以最大程度地為各個(gè)用戶提高收益或降低成本。然后將設(shè)計(jì)的多用戶交易模型轉(zhuǎn)化成信息不完全的非合作博弈模型，為使多個(gè)用戶間能量交易趨于穩(wěn)定，基于Q學(xué)習(xí)提出了一種自適應(yīng)學(xué)習(xí)算法為參與博弈用戶找到最優(yōu)混合策略，并且使整體博弈達(dá)到混合策略納什均衡，從而使多用戶能量交易能夠穩(wěn)定運(yùn)行，最后通過(guò)數(shù)值仿真證明提出的多用戶能量交易算法的有效性。