王德志, 張孝順, 劉前進(jìn), 余 濤, 潘振寧

(1. 華南理工大學(xué)電力學(xué)院, 廣東省廣州市 510640; 2. 廣東省綠色能源技術(shù)重點實驗室, 華南理工大學(xué)電力學(xué)院, 廣東省廣州市 510640)

0 引言

面對分布式電源(DG)及主動負(fù)荷的大量并網(wǎng),微電網(wǎng)技術(shù)能夠靈活、系統(tǒng)地將DG和主動負(fù)荷組為一個整體,從而有效解決電力系統(tǒng)與DG間的矛盾[1]。但當(dāng)微電網(wǎng)運行于孤島模式時,缺少了大電網(wǎng)的支撐,發(fā)電側(cè)有功出力與負(fù)荷的不匹配將會導(dǎo)致更嚴(yán)重的頻率失穩(wěn)問題,因此頻率控制是孤島微電網(wǎng)的一項關(guān)鍵運行任務(wù)。

迄今為止,眾多專家學(xué)者針對微電網(wǎng)的頻率控制進(jìn)行了大量研究。文獻(xiàn)[2]提出一種新穎的比例—積分(PI)控制器,對比傳統(tǒng)的PI控制器能夠有效提高其動態(tài)響應(yīng)特性。而在孤島微電網(wǎng)的二次調(diào)頻中,為解決集中控制器與本地控制器之間的通訊延遲影響問題,文獻(xiàn)[3]提出了一致性協(xié)同的框架,通過各機(jī)組件的通訊互補(bǔ)可以有效解決通訊丟包對功率分配的影響。文獻(xiàn)[4]提出了一種基于最小階觀測器的光柴混合微電網(wǎng)的頻率優(yōu)化控制策略來減小因出力不穩(wěn)定而引起的微電網(wǎng)的頻率偏差。文獻(xiàn)[5]提出一種有效的分布式發(fā)電控制方法,該方法能夠?qū)崿F(xiàn)連續(xù)的有功功率平衡和自我頻率恢復(fù)。然而,包括以上所提的大多數(shù)研究工作主要集中于發(fā)電側(cè)的控制策略,而缺少需求側(cè)可控負(fù)荷與供給側(cè)協(xié)同輔助調(diào)頻問題,文獻(xiàn)[6]指出了需求響應(yīng)參與輔助服務(wù)市場能夠有效提升電力市場的效率和系統(tǒng)運行穩(wěn)定性。因此,文獻(xiàn)[7]提出了利用冰箱來進(jìn)行微電網(wǎng)二次調(diào)頻的策略,文獻(xiàn)[8]也指出了需求側(cè)的資源具有良好的可控潛力來作為電網(wǎng)的調(diào)頻備用。另一方面,現(xiàn)有集中控制器通常是根據(jù)固定調(diào)節(jié)因子來分配總功率指令,如按相同可調(diào)容量比例分配(PROP)算法[9],缺少考慮不同機(jī)組調(diào)節(jié)特性,如發(fā)電機(jī)發(fā)電成本和爬坡速率。因此,綜合考慮多種調(diào)節(jié)因子有助于提高機(jī)組響應(yīng)的動態(tài)性能和經(jīng)濟(jì)性。

基于以上兩個考慮,本文提出一種考慮孤島微電網(wǎng)下的源—荷協(xié)同頻率控制模型,通過最小化所有參與機(jī)組的最大爬升時間及考慮分布式發(fā)電機(jī)組和負(fù)荷的調(diào)節(jié)成本來達(dá)到快速、經(jīng)濟(jì)地進(jìn)行頻率控制目的。但該問題是一個非光滑、非線性優(yōu)化問題,傳統(tǒng)基于梯度的優(yōu)化算法容易因初值選取不恰當(dāng)而陷入局部最優(yōu),而不基于模型的啟發(fā)式優(yōu)化算法在全局優(yōu)化上則更加靈活、高效,也更適用于求解該問題。然而一般的啟發(fā)式優(yōu)化算法計算時間長,尤其是當(dāng)控制變量維數(shù)增多時,難以滿足頻率控制在線優(yōu)化要求[10]。為解決該問題,本文還提出了基于集體智慧的集成學(xué)習(xí)(EL)算法,該算法由多個子優(yōu)化器及一個學(xué)習(xí)集中器組成。其中不同的子優(yōu)化器通過不同的優(yōu)化機(jī)制來提高探索能力,而學(xué)習(xí)集中器利用各子優(yōu)化器當(dāng)前的結(jié)果來實現(xiàn)有效的深度挖掘,以此來保證獲得高質(zhì)量的最優(yōu)解?；趶?qiáng)化學(xué)習(xí)[11](RL)的學(xué)習(xí)集中器不僅可以通過自我探索和開發(fā)來指導(dǎo)學(xué)習(xí),還可以實現(xiàn)從源任務(wù)到新任務(wù)的知識遷移[12],因此EL算法的計算時間將顯著降低,足以滿足頻率控制在線優(yōu)化要求。

1 孤島微電網(wǎng)源-荷協(xié)同頻率控制模型

1.1 負(fù)荷聚合商輔助調(diào)頻

本文引入負(fù)荷聚合商(load aggregator,LA)[13]對大規(guī)模家庭負(fù)荷進(jìn)行聚合,從而避免了“維數(shù)災(zāi)難”問題。家庭用戶通過家庭能量管理系統(tǒng)[14](HEMS)來與LA進(jìn)行通信,上傳信息和執(zhí)行LA下達(dá)的開關(guān)控制命令。家庭用戶可參與設(shè)備主要考慮空調(diào)、電冰箱和電熱水器三種溫控設(shè)備,由于其熱動態(tài)過程具有一定的延遲性,短時間地改變設(shè)備開關(guān)狀態(tài)可以有效響應(yīng)系統(tǒng)功率需求從而參與輔助調(diào)頻[15]。

實時評估LA的儲備能力是LA參與輔助調(diào)頻服務(wù)的必要條件。以制冷型設(shè)備為例,假設(shè)所控溫度需保持在Tmin至Tmax,如果溫度超過Tmax,則設(shè)備自動開啟；如果溫度低于Tmin,則設(shè)備自動關(guān)閉,如圖1情形Ⅰ所示。因此,當(dāng)溫度處于舒適度范圍內(nèi),且開關(guān)處于關(guān)閉狀態(tài)時,通過將其開啟可以提供頻率控制的下調(diào)儲備,見圖1情形Ⅱ。類似地,當(dāng)開關(guān)處于開啟狀態(tài)時,通過將其關(guān)斷可以提供上調(diào)儲備,見圖1情形Ⅲ。制熱型設(shè)備的評估方式可類比制冷型設(shè)備,但制熱型設(shè)備開關(guān)開啟溫度將會上升,而關(guān)斷則造成溫度下降。

圖1 制冷型設(shè)備容量評估示意圖Fig.1 Schematic diagram of reserve capability for cooling equipment

通過評估從關(guān)斷/開啟時刻至溫度曲線達(dá)到邊界Tmax/Tmin的時間τup/τdown，以此來制定參與設(shè)備的優(yōu)先級。因為該段時間內(nèi)并不會影響用戶的舒適度要求，故該段最大參與時間越長，其優(yōu)先級越高。當(dāng)LA與電網(wǎng)交易時，優(yōu)先級高的設(shè)備優(yōu)先參與輔助調(diào)頻。此外，為了較好地輔助微電網(wǎng)調(diào)頻，并滿足用戶的舒適度需求，本文規(guī)定只有當(dāng)最大參與時間大于15 min才會加入輔助調(diào)頻序列。因此，LA可參與輔助調(diào)頻的上調(diào)容量等于輔助調(diào)頻序列中所有可關(guān)斷溫控設(shè)備總額定功率，同理LA下調(diào)容量等于輔助調(diào)頻序列中所有可開啟溫控設(shè)備總額定功率。當(dāng)LA實際參與輔助調(diào)頻并接受了微電網(wǎng)的功率指令后，本文考慮不同設(shè)備之間特性差異，LA的下層分配按其類型的總可調(diào)容量比例進(jìn)行分配。

1.2 家庭可控設(shè)備的數(shù)學(xué)模型

注意到每個溫控設(shè)備的最大參與時間與其當(dāng)前運行狀態(tài)和溫度變化特征有關(guān)，本節(jié)對空調(diào)、電冰箱和電熱水器進(jìn)行建模，以便LA進(jìn)行最大參與時間的評估。

1)空調(diào)負(fù)荷建模

由熱量平衡原理建立空調(diào)熱力學(xué)模型[16]為：

(1)

2)電冰箱負(fù)荷建模

電冰箱用電特性可用數(shù)學(xué)模型描述[17]為：

(2)

3)電熱水器負(fù)荷建模

由能量守恒原理，電熱水器模型可描述為[18]：

(3)

由式(1)至式(3)可知，電冰箱和電熱水器的模型為線性方程，故其最大參與時間可進(jìn)行直接求解；而空調(diào)模型為超越方程，可利用牛頓迭代法進(jìn)行求解。再通過對各類型設(shè)備的最大參與時間進(jìn)行降序排列，即可得到每種類型設(shè)備的優(yōu)先級。

1.3 源—荷協(xié)同頻率控制下功率分配模型

由于負(fù)荷擾動或運行故障等會造成系統(tǒng)有功功率失衡，致使頻率偏離標(biāo)稱值。通過比例—積分(PI)控制器可根據(jù)頻率偏差量Δf來跟蹤功率偏差值。本文所提源—荷協(xié)同頻率控制模型，即通過最小化所有參與機(jī)組的最大爬升時間及考慮DG和LA的調(diào)節(jié)成本來將ΔPS分配給各DG和LA。

采用經(jīng)濟(jì)調(diào)度常用的二次函數(shù),DG的發(fā)電成本為：

(4)

式中：Cm為第m個DG的發(fā)電成本函數(shù);Pm為第m個DG的發(fā)電功率；am，bm，cm分別為第m個DG發(fā)電成本的各次系數(shù)。另外，本文規(guī)定LA調(diào)整電量部分按當(dāng)前電價的30%作為用戶的報酬。

由于溫控設(shè)備開合時間與機(jī)組調(diào)節(jié)時間相比可忽略不計，因此本文所提的孤島微電網(wǎng)源—荷協(xié)同頻率控制下功率分配模型的目標(biāo)函數(shù)可設(shè)計為：

(5)

(6)

2 基于集體智慧的集成學(xué)習(xí)算法

2.1 集成學(xué)習(xí)優(yōu)化框架

本文借鑒眾包競賽思想[19]引入集體智慧來加速EL算法在知識矩陣初始形成階段的探索與開發(fā)過程。眾包競賽是企業(yè)為了解決創(chuàng)新過程中遇到的疑難問題向外部“懸賞”解答方案。各個子優(yōu)化器根據(jù)自身智慧水平對發(fā)布問題給出解答，而學(xué)習(xí)集中器通過與各解答者交流來進(jìn)行RL學(xué)習(xí)，更新知識矩陣，經(jīng)反復(fù)交流后可以得出一個收斂的最優(yōu)解。

2.2 學(xué)習(xí)集中器

RL是一種不基于模型的機(jī)器學(xué)習(xí)，可以從智能體和環(huán)境之間的連續(xù)交互中實現(xiàn)目標(biāo)，其中Q學(xué)習(xí)是最著名和廣泛使用的RL技術(shù)之一[20]。本文采用Q學(xué)習(xí)作為學(xué)習(xí)集中器學(xué)習(xí)和存儲知識的主體，但由于傳統(tǒng)的Q學(xué)習(xí)只能用于離散變量的優(yōu)化，借鑒文獻(xiàn)[21]提出的基于關(guān)聯(lián)記憶的二進(jìn)制狀態(tài)動作鏈，即連續(xù)控制變量xi可由二進(jìn)制字符串來表示，每個二進(jìn)制位都會對應(yīng)一個2×2規(guī)模的知識矩陣Qil，原來的大規(guī)模知識矩陣Q就能有效分解和存儲，同時可以保證連續(xù)控制變量的動作精度和知識更新速率。因此，在二進(jìn)制字符串關(guān)聯(lián)記憶模式下，知識矩陣更新過程可為：

(7)

與單智能體的Q學(xué)習(xí)相比，基于群智能技術(shù)[22-23]的Q學(xué)習(xí)通過共享知識矩陣可以在未知環(huán)境中進(jìn)行開發(fā)和探索，而不是圍繞當(dāng)前最佳個體的貪婪搜索或在整個搜索空間中的隨機(jī)搜索。為了實現(xiàn)探索與開發(fā)之間的平衡，根據(jù)ε-Greedy規(guī)則[24]進(jìn)行動作選擇。即

(8)

式中：q0為[0,1]中均勻分布的隨機(jī)值；ε為貪婪行為(開發(fā))的開發(fā)率；arand為隨機(jī)動作(探索)。

2.3 學(xué)習(xí)集中器與子優(yōu)化器交互機(jī)制

眾包競賽中，參與的解答者數(shù)量及其之間的差異性將會影響到任務(wù)完成的速度與質(zhì)量，并且其差異性越大越能夠獲得高質(zhì)量的最優(yōu)解。因此本文中EL算法引入了多種二進(jìn)制優(yōu)化算法來作為子優(yōu)化器，包括遺傳算法(GA)[25]、6種不同轉(zhuǎn)換方式的二進(jìn)制粒子群算法(BPSO)[26]、二進(jìn)制蝙蝠算法(BBA)[27]、二進(jìn)制蜻蜓算法(BDA)[28]和二進(jìn)制灰狼算法(BGWO)[29]等，通過不同的優(yōu)化機(jī)制，為學(xué)習(xí)集中器提供多樣化的學(xué)習(xí)樣本。同時，由于子優(yōu)化器并行獨立求解，極大節(jié)省了總計算時間。另外，子優(yōu)化器與學(xué)習(xí)集中器之間需每隔一段時間按式(9)至式(11)進(jìn)行交互：

l=1,2,…,L}

(9)

(10)

(11)

2.4 知識遷移

傳統(tǒng)的啟發(fā)式優(yōu)化算法有一個共同的特點，每一次優(yōu)化任務(wù)的求解都是孤立的，在執(zhí)行新的任務(wù)時必須重新初始化，為了較好地利用過去的優(yōu)化信息，EL算法引入了從源任務(wù)到新任務(wù)的知識遷移，其具體可描述為：

(12)

3 基于EL算法的孤島微電網(wǎng)源—荷協(xié)同頻率控制求解設(shè)計

3.1 獎勵函數(shù)設(shè)計

根據(jù)問題及約束式(5)和式(6)，結(jié)合蟻群優(yōu)化(ACO)的合作機(jī)制[30]和可行解質(zhì)量越高其獎勵值越大的原則，可設(shè)計該問題的獎勵函數(shù)為：

(13)

(14)

(15)

3.2 知識遷移設(shè)計

本文通過將可能的總功率指令ΔPS分為幾個間隔來確定源任務(wù)：

(16)

(17)

3.3 算法求解流程

基于EL算法的孤島微電網(wǎng)源—荷協(xié)同頻率控制的執(zhí)行過程如圖2所示。

圖2 基于EL算法的孤島微電網(wǎng)源-荷協(xié)同頻率控制流程圖Fig.2 Overall execution procedure for generation-consumption coordinated frequency control based on EL method

圖中kmax,s是源任務(wù)的最大迭代次數(shù)，kmax,n是新任務(wù)的最大迭代次數(shù)。當(dāng)遍歷所有源任務(wù)后，新任務(wù)將根據(jù)源任務(wù)的最優(yōu)知識矩陣進(jìn)行初始化。此外，考慮到各DG與LA的儲備容量會隨時間和負(fù)荷的變化而變化，且一般各機(jī)組的儲備容量在15 min內(nèi)不會有太大變化，因此本文設(shè)定預(yù)學(xué)習(xí)的實施周期設(shè)置為15 min，即每15 min重新獲得各DG和LA的備用容量參數(shù)來進(jìn)行下一個時段不同源任務(wù)的預(yù)學(xué)習(xí)，以保證上述知識遷移方法不受其他因素影響。

4 仿真算例

4.1 仿真模型搭建及參數(shù)設(shè)置

本文搭建了包含微型燃?xì)廨啓C(jī)(MT)、燃料電池(FC)、柴油機(jī)(DS)、光伏發(fā)電機(jī)(PV)、風(fēng)力發(fā)電機(jī)(WT)和LA的孤島微電網(wǎng)模型，如附錄A圖A1所示，其中PV和WT不參與調(diào)頻。各機(jī)組的相關(guān)參數(shù)[31]見表1，LA評估分級模型參數(shù)參見文獻(xiàn)[14-16]，溫控設(shè)備參數(shù)見表2，分時電價信息與孤島微電網(wǎng)基礎(chǔ)負(fù)荷曲線見附錄A圖A2。

表1 DG參數(shù)列表Table 1 Parameters list of DGs

表2 溫控設(shè)備參數(shù)Table 2 Parameters of thermostatically controlled loads

為對比EL 算法在求解孤島微電網(wǎng)源—荷協(xié)同頻率控制的尋優(yōu)性能，本文引入PROP算法、GA、粒子群優(yōu)化算法(PSO)[20]、群搜索優(yōu)化算法(GSO)[21]和內(nèi)點法(IPM)，對比算法的種群規(guī)模和最大迭代步數(shù)均設(shè)為150，EL算法的具體參數(shù)設(shè)置值見附錄A表A1。仿真在CPU為英特爾i7-6700、主頻3.4 GHz、內(nèi)存16 GB的計算機(jī)運行計算。

4.2 EL算法預(yù)學(xué)習(xí)

本文將ΔPS離散分為12個間隔，即{[-300,-250),[-250,-200),…,[250,300]}。如附錄A圖A3所示，在ΔPS=200 kW時，EL算法知識矩陣的ΔQ能夠在50次迭代之后基本達(dá)到收斂。同時，各子優(yōu)化器基于各自優(yōu)化機(jī)制均獲得了該源任務(wù)下較小的目標(biāo)函數(shù)值，以此保證了學(xué)習(xí)集中器能夠獲得一個高質(zhì)量的最優(yōu)解。同理可得其他源任務(wù)的最優(yōu)知識矩陣。

4.3 在線優(yōu)化與結(jié)果對比

4.3.1在線優(yōu)化收斂結(jié)果

由圖2可知，ΔPS=225 kW的新任務(wù)可以利用相鄰兩個源任務(wù)的最優(yōu)知識矩陣(即ΔPS=200 kW和ΔPS=250 kW)，其相似度在新任務(wù)和這兩個源任務(wù)之間分別等于0.5，與其他源任務(wù)的相似度則為0。如附錄A圖A4所示，不同算法在新任務(wù)ΔPS=225 kW下的收斂曲線對比，相比于其他優(yōu)化算法，基于知識遷移后的EL算法能夠快速逼近更高質(zhì)量的最優(yōu)解，且所有算法的執(zhí)行時間均小于本文設(shè)定的控制周期(4 s)，其中，EL算法在線優(yōu)化的執(zhí)行時間僅為不到1.5 s，完全滿足孤島微電網(wǎng)源—荷協(xié)同頻率控制的在線優(yōu)化，這也驗證了知識遷移和集體智慧在收斂速度和收斂結(jié)果上的優(yōu)越性。

4.3.2結(jié)果分析與比較

1)階躍擾動測試

為了測試EL算法的實時性能，在孤島微電網(wǎng)添加了ΔPM=225 kW的功率失衡。附錄A圖A5提供了在12:00—12:10，當(dāng)ΔPM=225 kW時，在不同算法下獲得的實時在線優(yōu)化結(jié)果。從附錄A圖A5(a)可以看出,各算法下均能有效平衡功率失衡，部分算法存在功率波動較大的現(xiàn)象，是由于算法前后兩個優(yōu)化結(jié)果存在較大差異導(dǎo)致，而IPM結(jié)果與其初值的給定有較大的關(guān)系，因此可能造成其陷入局部最優(yōu)。由附錄A圖A5(b)可以看出，頻率偏差均能夠快速回復(fù)到零值，且EL算法的頻率偏差最小，而在附錄A圖A5(c)中,EL算法的總運行成本接近最小，這說明了EL算法能夠有效兼顧機(jī)組爬升時間與運行成本。從附錄A圖A5(d)可以看出，LA,FC1和FC2承擔(dān)了大部分出力，這是由于它們具有較快的爬升速率和相對較低的運行成本。

附錄A圖A6展示該階躍擾動下，LA所屬的部分空調(diào)、電冰箱和電熱水器所控溫度曲線。有效參與的溫控設(shè)備通過閉合開關(guān)來參與功率正調(diào)過程，并從附錄A圖A6可看出，參與的設(shè)備所控溫度均在用戶可接受溫度范圍內(nèi)，表明了利用優(yōu)先級機(jī)制的LA輔助調(diào)頻方法能夠有效滿足用戶舒適度要求。

2)全日隨機(jī)擾動測試

為了進(jìn)一步研究EL算法的連續(xù)實時控制性能,本算例在孤島微電網(wǎng)的模型上進(jìn)行了24 h隨機(jī)擾動實時仿真。其中，包含白噪聲的隨機(jī)方波負(fù)荷，擾動周期為3 600 s。如附錄A圖A7所示，EL算法仍能夠有效匹配隨機(jī)功率擾動，減小動態(tài)的頻率偏差，這也導(dǎo)致了相對較高的累計機(jī)組總運行成本。另外，部分頻率偏差較大是因為微電網(wǎng)脫離大電網(wǎng)形成孤島，缺乏大電網(wǎng)的支撐，其頻率更容易受負(fù)荷擾動而出現(xiàn)較大的偏差。由附錄A圖A7(d)可以看出，LA仍然承擔(dān)了較大的功率出力，這是由于LA具有快速響應(yīng)能力，同時也由于LA補(bǔ)償機(jī)制相對于DG具有一定的優(yōu)勢。

圖3展示了全日隨機(jī)擾動下各算法結(jié)果對比，與其他算法相對，EL算法獲得了最小的平均頻率偏差和相對較低的累計運行成本，其中平均頻率偏差值計算方法見附錄B。值得注意的是，PROP算法由于僅考慮固定調(diào)節(jié)因子，且一般而言具有較大備用容量的機(jī)組,其調(diào)節(jié)成本較低，因此在全日的仿真當(dāng)中，PROP算法由于將功率指令按比例均分到了各機(jī)組，才使得其運行成本較低，但也導(dǎo)致了較差的快速爬升效果。

圖3 不同算法全日隨機(jī)功率失衡仿真結(jié)果對比Fig.3 Comparative results of different algorithms for a stochastic power disturbance over a day

5 結(jié)論

本文解決了傳統(tǒng)DG與需求側(cè)用戶在孤島微電網(wǎng)上的頻率協(xié)同控制問題，其主要貢獻(xiàn)可總結(jié)如下。

1)以LA的形式對家庭負(fù)荷進(jìn)行聚合，考慮溫控設(shè)備對用戶舒適度影響，提出LA對負(fù)荷進(jìn)行評估與分級的方法。

2)提出了基于集體智慧的EL算法，借鑒眾包競賽思想，通過解答者不同的優(yōu)化機(jī)制，為學(xué)習(xí)集中器提供多樣化的學(xué)習(xí)樣本來獲取高質(zhì)量的最優(yōu)解。

3) 基于知識遷移后的EL算法能快速利用源任務(wù)的最優(yōu)知識矩陣來獲取新任務(wù)的最優(yōu)解，用來滿足孤島微電網(wǎng)源—荷協(xié)同頻率控制的在線優(yōu)化。

本文的后續(xù)工作將進(jìn)一步將考慮兩個方面:①探索更多的需求側(cè)資源與需求側(cè)參與輔助市場的補(bǔ)償機(jī)制；②考慮PI控制器與功率優(yōu)化分配器的協(xié)同設(shè)計研究，以減少跟蹤誤差。

附錄見本刊網(wǎng)絡(luò)版(http://www.aeps-info.com/aeps/ch/index.aspx)。

參 考 文 獻(xiàn)

[1] 李鵬,張玲,王偉,等.微網(wǎng)技術(shù)應(yīng)用與分析[J].電力系統(tǒng)自動化,2009,33(20):109-115.

LI Peng, ZHANG Ling, WANG Wei, et al. Application and analysis of microgrid[J]. Automation of Electric Power Systems, 2009, 33(20): 109-115.

[2] BEVRANI H, HABIBI F, BABAHAJYANJ P, et al. Intelligent frequency control in an AC microgrid: online PSO-based fuzzy tuning approach[J]. IEEE Transactions on Smart Grid, 2012, 3(4): 1935-1944.

[3] 張澤宇,張孝順,余濤.孤島智能配電網(wǎng)下的快速自動發(fā)電控制機(jī)組一致性協(xié)同控制算法[J].控制理論與應(yīng)用,2016,33(5):599-607.

ZHANG Zeyu, ZHANG Xiaoshun, YU Tao. Collaborative consensus algorithm for automatic generation control in an islanded smart distribution grid[J]. Control Theory and Applications, 2016, 33(5): 599-607.

[4] SENJYU T, DATTA M, YONA A, et al. A control method for small utility connected large PV system to reduce frequency deviation using a minimal-order observer[J]. IEEE Transactions on Energy Conversion, 2009, 24(2): 520-528.

[5] KIM Y S, KIM E S, MOON S I. Distributed generation control method for active power sharing and self-frequency recovery in an islanded microgrid[J]. IEEE Transactions on Power Systems, 2016, 32(1): 544-551.

[6] 高賜威,李倩玉,李揚.基于DLC的空調(diào)負(fù)荷雙層優(yōu)化調(diào)度和控制策略[J].中國電機(jī)工程學(xué)報,2014,34(10):1546-1555.

GAO Ciwei, LI Qianyu, LI Yang. Bi-level optimal dispatch and control strategy for air-conditioning load based on direct load control[J]. Proceedings of the CSEE, 2014, 34(10): 1546-1555.

[7] LAKSHMANAN V, MARINELLI M, HU J, et al. Provision of secondary frequency control via demand response activation on thermostatically controlled loads: solutions and experiences from Denmark[J]. Applied Energy, 2016, 173: 470-480.

[8] XU Z, OSTERGAARD J, TOGEBY M. Demand as frequency controlled reserve[J]. IEEE Transactions on Power Systems, 2013, 26(3): 1062-1071.

[9] YU X, ZHOU Q. Practical implementation of the SCADA+AGC/ED system of the Hunan power pool in the central China power network[J]. IEEE Transactions on Energy Conversion, 2002, 9(2): 250-255.

[10] 劉維烈.電力系統(tǒng)調(diào)頻與自動發(fā)電控制[M].北京：中國電力出版社,2006.

[11] 韓傳家,張孝順,余濤,等.風(fēng)險調(diào)度中引入知識遷移的細(xì)菌覓食強(qiáng)化學(xué)習(xí)優(yōu)化算法[J].電力系統(tǒng)自動化,2017,41(8):69-77.DOI:10.7500/AEPS20160619004.

HAN Chuanjia, ZHANG Xiaoshun, YU Tao, et al. Optimization algorithm of reinforcement learning based knowledge transfer bacteria foraging for risk dispatch[J]. Automation of Electric Power Systems, 2017, 41(8): 69-77. DOI: 10.7500/AEPS20160619004.

[12] 瞿凱平,張孝順,余濤,等.基于知識遷移Q學(xué)習(xí)算法的多能源系統(tǒng)聯(lián)合優(yōu)化調(diào)度[J].電力系統(tǒng)自動化,2017,41(15):18-25.DOI:10.7500/AEPS20170103003.

QU Kaiping, ZHANG Xiaoshun, YU Tao, et al. Knowledge transfer basedQ-learning algorithm for optimal dispatch of multi-energy system[J]. Automation of Electric Power Systems, 2017, 41(15): 18-25. DOI: 10.7500/AEPS20170103003.

[13] MOHAGHEGHI S, FANG Y, FALAHATI B. Impact of demand response on distribution system reliability[C]// Power and Energy Society General Meeting, July 24-29, San Diego, USA, 2011: 1-7.

[14] 張華一,文福拴,張璨,等.計及舒適度的家庭能源中心運行優(yōu)化模型[J].電力系統(tǒng)自動化,2016,40(20):32-39.DOI:10.7500/AEPS20160503002.

ZHANG Huayi, WEN Fushuan, ZHANG Can, et al. Operation optimization home energy hubs considering thermal comfort[J]. Automation of Electric Power Systems, 2016, 40(20): 32-39. DOI: 10.7500/AEPS20160503002.

[15] XU Z, OSTERGAARD J, TOGEBY M. Demand as frequency controlled reserve[J]. IEEE Transactions on Power Systems, 2013, 26(3): 1062-1071.

[16] WANG J, LI Y, ZHOU Y. Interval number optimization for household load scheduling with uncertainty[J]. Energy and Buildings, 2016, 130: 613-624.

[17] CHEHREGHANI B M. Optimal operation of energy hubs in the context of smart grids[J]. American Behavioral Scientist, 2011, 55(12): 1535-1540.

[18] SHAO S, PIPATTANASOMPORN M, RAHMAN S. Development of physical-based demand response-enabled residential load models[J]. IEEE Transactions on Power Systems, 2013, 28(2): 607-614.

[19] 侯文華,鄭海超.眾包競賽:一把開啟集體智慧的鑰匙[M].北京：科學(xué)出版社,2012.

[20] 余濤,周斌,陳家榮.基于Q學(xué)習(xí)的互聯(lián)電網(wǎng)動態(tài)最優(yōu)CPS控制[J].中國電機(jī)工程學(xué)報,2009,29(19):13-19.

YU Tao, ZHOU Bin, CHEN Jiarong. Q-learning based dynamic optimal CPS control methodology for interconnected power systems[J]. Proceedings of the CSEE, 2009, 29(19): 13-19.

[21] ZHANG X, BAO T, YU T, et al. Deep transfer Q-learning with virtual leader-follower for supply-demand Stackelberg game of smart grid[J]. Energy, 2017, 133: 348-365.

[22] CLERC M, KENNEDY J. The particle swarm-explosion, stability, and convergence in a multidimensional complex space[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(1): 58-73.

[23] HE S, WU Q H, SAUNDERS J R. Group search optimizer: an optimization algorithm inspired by animal searching behavior[J]. IEEE Transactions on Evolutionary Computation, 2009, 13(5): 973-990.

[24] REINALDO B, LUIZ A, CELIBERTO J, et al. Transferring knowledge as heuristics in reinforcement learning: a case-based approach[J]. Artificial Intelligence, 2015, 226: 102-121.

[25] IBAB K. Reactive power optimization by genetic algorithm[J]. IEEE Transactions on Power Systems, 2002, 9(2): 685-692.

[26] BANSAL J C, DEEP K. A modified binary particle swarm optimization for knapsack problems[J]. Applied Mathematics and Computation, 2012, 218(22): 11042-11061.

[27] MIRJALILI S, MIRJALILI S M, YANG X S. Binary bat algorithm[J]. Neural Computing and Applications, 2014, 25(3): 663-681.

[28] MIRJALILI S. Dragonfly algorithm: a new meta-heuristic optimization technique for solving single-objective, discrete, and multi-objective problems[J]. Neural Computing and Applications, 2016, 27(4): 1053-1073.

[29] HOSSAM M. ZAWBAA , EID E, et al. Binary gray wolf optimization approaches for feature selection[J]. Neurocomputing, 2015, 172: 371-381.

[30] KRYNICKI K, HOULE M E, JAEN J. An efficient ant colony optimization strategy for the resolution of multi-class queries[J]. Knowledge-Based Systems, 2016, 105: 96-106.

[31] NUTKANI I U, LOH P C, WANG P, et al. Decentralized economic dispatch scheme with online power reserve for microgrids[J]. IEEE Transactions on Smart Grid, 2017, 8(1): 139-148.