江浩榮，徐茂鑫，王克英

(1.華南理工大學(xué)電力學(xué)院，廣州市 510640；2.廣州供電局有限公司，廣州市 510620)

網(wǎng)格化知識(shí)遷移學(xué)習(xí)算法及其在碳能復(fù)合流優(yōu)化中的應(yīng)用

江浩榮1，徐茂鑫2，王克英1

(1.華南理工大學(xué)電力學(xué)院，廣州市 510640；2.廣州供電局有限公司，廣州市 510620)

建立了計(jì)及碳責(zé)任分?jǐn)偟奶寄軓?fù)合流優(yōu)化模型，并提出了一種網(wǎng)格化知識(shí)遷移學(xué)習(xí)算法，以便實(shí)現(xiàn)電網(wǎng)的低碳、經(jīng)濟(jì)、安全最優(yōu)運(yùn)行。算法采用二值編碼的方式實(shí)現(xiàn)連續(xù)-離散空間的轉(zhuǎn)換，以解決連續(xù)狀態(tài)-動(dòng)作空間的學(xué)習(xí)和維數(shù)災(zāi)難問題；從優(yōu)化任務(wù)的狀態(tài)信息和最優(yōu)Q值之間的關(guān)系從發(fā)，構(gòu)建了知識(shí)遷移的基本框架；為了避免在弱聯(lián)系環(huán)境下，整體性提取狀態(tài)特征信息給學(xué)習(xí)網(wǎng)絡(luò)帶來干擾，影響遷移學(xué)習(xí)的準(zhǔn)確性，提出了一種網(wǎng)格化信息提取方式，分散式地對(duì)各局部特征進(jìn)行提取和遷移。最后，通過IEEE 118節(jié)點(diǎn)系統(tǒng)的碳能復(fù)合流優(yōu)化仿真驗(yàn)證了算法的有效性。

碳能復(fù)合流優(yōu)化; 網(wǎng)格化知識(shí)遷移; 連續(xù)Q學(xué)習(xí)

0 引 言

電力系統(tǒng)碳排放計(jì)算中，目前的主要方法是根據(jù)各類化石能源的統(tǒng)計(jì)消耗量及其排放系數(shù)計(jì)算系統(tǒng)內(nèi)總的碳排放量，這種方法具有核算方便、目標(biāo)明確的優(yōu)點(diǎn)[1]。但是僅僅依靠碳排放總量計(jì)算，不能反映電力系統(tǒng)碳排放過程的細(xì)節(jié)，顯然不能夠應(yīng)對(duì)在全系統(tǒng)網(wǎng)絡(luò)中發(fā)展低碳電力的要求。為此有專家學(xué)者提出了碳排放流計(jì)算理論，將電力系統(tǒng)發(fā)電側(cè)的碳排放與電網(wǎng)的功率潮流相結(jié)合，將碳排放等效為一種依附于有功潮流的虛擬網(wǎng)絡(luò)流，由發(fā)電側(cè)經(jīng)過電網(wǎng)流入到用電終端[2]。碳排放流理念實(shí)際上是將電力系統(tǒng)的碳排放貼上“碳標(biāo)簽”，由此說明電力在生產(chǎn)、傳輸、消費(fèi)環(huán)節(jié)中的碳成本，并以此鼓勵(lì)各環(huán)節(jié)采取相應(yīng)的低碳技術(shù)，共同發(fā)展低碳社會(huì)。

為了降低電網(wǎng)運(yùn)行過程的碳排放，文獻(xiàn)[3]提出了一種同時(shí)考慮電網(wǎng)低碳、經(jīng)濟(jì)運(yùn)行的碳能復(fù)合優(yōu)化模型。但是該模型尚未考慮電力系統(tǒng)的碳排放責(zé)任劃分問題，在實(shí)際運(yùn)用中有失偏頗。通過在投入產(chǎn)出法的基礎(chǔ)上進(jìn)行碳排放轉(zhuǎn)移分析，文獻(xiàn)[4]建立電力生產(chǎn)者和電力消費(fèi)者之間的責(zé)任分?jǐn)偰Ｐ?，以期使得電網(wǎng)碳排放責(zé)任分配更加合理。碳能復(fù)合流優(yōu)化是一個(gè)基于潮流計(jì)算的復(fù)雜多變量、多約束的非線性規(guī)劃問題，目前解決此類問題的方法主要有牛頓法[5]、內(nèi)點(diǎn)法[6]等數(shù)值優(yōu)化方法以及啟發(fā)式智能算法。兩類算法各有優(yōu)缺點(diǎn)，但是在大規(guī)模復(fù)雜系統(tǒng)優(yōu)化中都存在較大的局限性。為此，文獻(xiàn)[7]在遷移學(xué)習(xí)的基本思想上，提出了一種優(yōu)化速度更快且不依賴具體數(shù)學(xué)形態(tài)的遷移蜂群優(yōu)化算法，并在無功優(yōu)化問題上進(jìn)行了仿真驗(yàn)證。在該算法的遷移學(xué)習(xí)過程中，需要建立一個(gè)狀態(tài)-動(dòng)作空間的樣本池，樣本池的優(yōu)劣對(duì)最終的目標(biāo)任務(wù)的優(yōu)化效果影響較大，通常越精細(xì)的樣本池越能獲得更好的優(yōu)化結(jié)果。在離散變量模型中，樣本池的規(guī)模通常不大，較容易獲得，但是大規(guī)模在連續(xù)變量或者混合變量問題中，精細(xì)化的樣本池的獲取難度較大，甚至無法完成[8]。因此，有必要尋求一種更為一般的遷移學(xué)習(xí)方法，以增強(qiáng)算法在隨機(jī)復(fù)雜環(huán)境中的學(xué)習(xí)能力。

本文從優(yōu)化任務(wù)的狀態(tài)信息和最優(yōu)Q值之間的關(guān)系出發(fā)，提出一種網(wǎng)格化知識(shí)遷移學(xué)習(xí)(grid knowledge transfer learning, GKTL)算法。算法采用二值編碼的方式實(shí)現(xiàn)連續(xù)-離散空間的轉(zhuǎn)換，以解決連續(xù)狀態(tài)-動(dòng)作空間的學(xué)習(xí)和維數(shù)災(zāi)難問題；為避免在弱聯(lián)系環(huán)境下，整體性提取狀態(tài)特征信息給學(xué)習(xí)網(wǎng)絡(luò)帶來干擾而影響遷移學(xué)習(xí)的準(zhǔn)確性，提出一種網(wǎng)格化信息提取方式，分散式地對(duì)各個(gè)局部特征進(jìn)行提取和遷移。

最后，本文在IEEE 118節(jié)點(diǎn)系統(tǒng)上進(jìn)行仿真試驗(yàn)，并引入遺傳算法(genetic algorithm，GA)[9]、人工蜂群算法(artificial bee colony，ABC)[10]、協(xié)同進(jìn)化算法(cooperative co-evolutionary genetic algorithms，CCGA)[11]、帝國(guó)主義競(jìng)爭(zhēng)算法(imperialist competitive algorithm，ICA)[12]、教學(xué)-學(xué)習(xí)算法(teaching-learning-baesd optimization，TLBO)[13]、生物地理優(yōu)化算法(biogeography-based optimization，BBO)[14]、飛蛾火焰優(yōu)化(moth-flame optimization，MFO)[15]7種算法進(jìn)行比較分析。

1 網(wǎng)格化知識(shí)遷移學(xué)習(xí)算法

1.1 動(dòng)作空間離散化

為了支持Q學(xué)習(xí)算法在連續(xù)優(yōu)化問題上的求解，本文基于計(jì)算機(jī)系統(tǒng)的二進(jìn)制計(jì)算思想，用二進(jìn)制編碼的方式將動(dòng)作空間離散化，在一定編碼位數(shù)限制下以足夠的精度逼近原連續(xù)問題的最優(yōu)解。將連續(xù)解向量離散化：

(1)

1.2 狀態(tài)-動(dòng)作空間降維

圖1 狀態(tài)-動(dòng)作空間分解過程Fig.1 Decomposition process of state-action spaces

圖2 狀態(tài)-動(dòng)作空間降維后Q學(xué)習(xí)過程Fig.2 Q learning process after dimensionality reduction of state-action spaces

(2)

本文采用基于自然對(duì)數(shù)衰減的變學(xué)習(xí)率Q學(xué)習(xí)，即學(xué)習(xí)因子為

(3)

式中T是最大迭代次數(shù)。

1.3 多元多主體協(xié)同

(4)

負(fù)責(zé)全局搜索的偵查蜂個(gè)體在狀態(tài)-動(dòng)作空間Q的基礎(chǔ)上采用輪盤賭的方式在二進(jìn)制編碼空間內(nèi)進(jìn)行概率搜索：

(5)

式中r為0～1的隨機(jī)數(shù)。

采蜜蜂則在當(dāng)前最優(yōu)解集附近進(jìn)行局部隨機(jī)搜索：

(6)

當(dāng)1輪迭代計(jì)算完成后，偵查蜂和采蜜蜂會(huì)根據(jù)彼此得到的獎(jiǎng)勵(lì)值大小互換角色，獎(jiǎng)勵(lì)值大的個(gè)體轉(zhuǎn)換為采蜜蜂，并且群體中獎(jiǎng)勵(lì)值最大的個(gè)體保持其位置不變。由此既保證了群體對(duì)當(dāng)前較優(yōu)解集的深度挖掘，又能使算法具有較強(qiáng)的全局搜索能力。

1.4 網(wǎng)格化知識(shí)遷移學(xué)習(xí)

遷移學(xué)習(xí)是提高學(xué)習(xí)效率的一種有效手段。心理學(xué)家Anderson的思維適應(yīng)性控制模型(adaptive control of thought，ACT)對(duì)認(rèn)知行為進(jìn)行了分類[18]，據(jù)此我們把強(qiáng)化學(xué)習(xí)的遷移分為行為遷移和知識(shí)遷移。其中，知識(shí)遷移主要研究遷移任務(wù)的規(guī)則、關(guān)系等內(nèi)容，以期望獲得解決問題的一般方法。本文從任務(wù)狀態(tài)信息和最優(yōu)Q值間的關(guān)系出發(fā)，提出了一種網(wǎng)格化知識(shí)遷移方法,如圖3所示。

圖3 網(wǎng)格化知識(shí)遷移學(xué)習(xí)Fig.3 Grid knowledge migration learning

算法首先通過分析優(yōu)化任務(wù)的不同狀態(tài)，從中提取能夠有效識(shí)別優(yōu)化任務(wù)的特征信息；在源任務(wù)的樣本學(xué)習(xí)階段獲得不同特征狀態(tài)下的最優(yōu)策略，即狀態(tài)-動(dòng)作空間的最優(yōu)Q值。然后通過“預(yù)學(xué)習(xí)網(wǎng)絡(luò)”辨識(shí)和挖掘特征信息與最優(yōu)策略的關(guān)系，將學(xué)習(xí)到的這種關(guān)系進(jìn)行遷移。預(yù)學(xué)習(xí)結(jié)束后便可以對(duì)目標(biāo)任務(wù)進(jìn)行遷移學(xué)習(xí)，在該過程中算法提取目標(biāo)任務(wù)的狀態(tài)特征信息，并輸入到“遷移學(xué)習(xí)網(wǎng)絡(luò)”獲得初始優(yōu)化策略，由此獲得歷史優(yōu)化經(jīng)驗(yàn)和結(jié)果可提高算法的學(xué)習(xí)速度。若在目標(biāo)任務(wù)的遷移學(xué)習(xí)結(jié)束后再次對(duì)特征信息和最優(yōu)策略進(jìn)行學(xué)習(xí)，則可以形成深度循環(huán)學(xué)習(xí)并且不斷修正遷移過程的錯(cuò)誤，使得算法越來越“聰明”，學(xué)習(xí)的精度和速度得到更大的提升。

在上述的知識(shí)遷移方式中，特征信息的提出對(duì)遷移的效果有較大的影響。若特征信息能夠良好地對(duì)應(yīng)不同優(yōu)化任務(wù)的狀態(tài)，將會(huì)提高遷移學(xué)習(xí)的精度；否則，將會(huì)增加遷移學(xué)習(xí)過程中“負(fù)遷移”的概率。對(duì)于一個(gè)優(yōu)化系統(tǒng)，其狀態(tài)特征既可以從全局的角度觀察，也可以分散地提取各局部的特征信息。當(dāng)系統(tǒng)較為復(fù)雜時(shí)，全局性的特征通常難以用1組數(shù)據(jù)進(jìn)行概括，且當(dāng)系統(tǒng)的特征信息之間是弱關(guān)聯(lián)時(shí)，整體性的特征提取和學(xué)習(xí)會(huì)給預(yù)學(xué)習(xí)和遷移學(xué)習(xí)網(wǎng)絡(luò)造成干擾，從而影響學(xué)習(xí)的效率和準(zhǔn)確性。而分散式地對(duì)各局部特征進(jìn)行提取和遷移則可以有效避免這樣的情況，并降低知識(shí)遷移的難度。由此，本文提出了一種網(wǎng)格化信息提取方式。網(wǎng)格化是一種抽象的概念，根據(jù)具體問題的不同其實(shí)現(xiàn)方式也不同。如在圖像處理中，可以將一種完整的圖像用九宮格的方式分割成9個(gè)獨(dú)立部分，然后對(duì)各個(gè)部分進(jìn)行分散式并行處理再將處理結(jié)果歸總，如圖4所示。在電力系統(tǒng)中，則可以根據(jù)系統(tǒng)的網(wǎng)絡(luò)拓?fù)鋱D、地理信息系統(tǒng)等將系統(tǒng)進(jìn)行分區(qū)計(jì)算，區(qū)域內(nèi)節(jié)點(diǎn)的有功功率需求Pd和無功功率需求Qd作為特征信息。

圖4 網(wǎng)格分區(qū)過程Fig.4 Process of grid partition

1.5 算法流程

算法的主要分為2個(gè)階段，如圖5所示。第1個(gè)階段是對(duì)源任務(wù)的樣本學(xué)習(xí)階段，用以獲取經(jīng)驗(yàn)策略；第2個(gè)階段是遷移學(xué)習(xí)階段，通過初始化Q值，可加速目標(biāo)任務(wù)的學(xué)習(xí)過程。其中，算法收斂條件為||Qk-Qk+1||2<ξ，ξ為狀態(tài)-動(dòng)作空間Q的收斂偏差系數(shù)，一般取為較小的正實(shí)數(shù)。

圖5 算法流程Fig.5 Algorithm flow

2 碳能復(fù)合流優(yōu)化

2.1 碳能復(fù)合流

碳流是伴隨能流在電力系統(tǒng)網(wǎng)絡(luò)中由發(fā)電側(cè)向用戶側(cè)流通的一種虛擬網(wǎng)絡(luò)流，如圖6所示。根據(jù)碳排放流理論，電力系統(tǒng)的總碳排放可以等價(jià)為發(fā)電側(cè)的碳排放量Ce，即電網(wǎng)側(cè)碳排放損耗Closs和用戶側(cè)碳排放量CL之和。總碳排放可以表述為

(7)

式中：Pw、δw分別為第w組發(fā)電機(jī)的出力和碳排放強(qiáng)度；W為發(fā)電機(jī)集合。

圖6 電力系統(tǒng)碳能復(fù)合流示意圖Fig.6 Carbon-energy combined-flow of power system

然而包括發(fā)電、輸電在內(nèi)的電力生產(chǎn)和電力消費(fèi)通常只對(duì)自身進(jìn)行碳排放結(jié)算，在沒有碳排放責(zé)任分?jǐn)偟臈l件下這顯然會(huì)造成重復(fù)計(jì)算。為此，計(jì)及責(zé)任分?jǐn)偟碾娏ιa(chǎn)側(cè)和電力消費(fèi)側(cè)的碳排放結(jié)算方式可定義如下：

(8)

式中：αp(0≤αp≤1)為電力生產(chǎn)側(cè)的責(zé)任分?jǐn)傁禂?shù)；βc(0≤βc≤1)為電力消費(fèi)側(cè)的責(zé)任分?jǐn)傁禂?shù)。

αp表征發(fā)電側(cè)到電網(wǎng)側(cè)轉(zhuǎn)移的碳排放比例；βc表征電網(wǎng)側(cè)到用戶側(cè)轉(zhuǎn)移的碳排放比例。

由式(8)，電網(wǎng)側(cè)的碳排放Cpgc為

Cpgc=αpCds+(1-βc)αpCL

(9)

式中Cds為電網(wǎng)側(cè)的碳流損耗。

Cds可根據(jù)碳排放流分析理論計(jì)算得到[19]：

(10)

2.2 碳能復(fù)合流優(yōu)化模型

為了綜合實(shí)現(xiàn)電網(wǎng)低碳、經(jīng)濟(jì)、安全穩(wěn)定運(yùn)行，本文在無功優(yōu)化的基礎(chǔ)上，以無功補(bǔ)償容量、發(fā)電機(jī)端電壓、有載調(diào)壓變壓器變比為控制變量，同時(shí)考慮電網(wǎng)的網(wǎng)損、電壓穩(wěn)定和碳排放的碳能復(fù)合流優(yōu)化模型為：

minf(x)=μ1Ploss+μ2Cpgc+μ3Vd

(11)

(12)

式中：x為控制變量向量；Ploss為電網(wǎng)的網(wǎng)損；Vd為電壓穩(wěn)定分量；μ1、μ2、μ3為權(quán)重系數(shù)，0≤μ1≤1，0≤μ2≤1，0≤μ3≤1，μ1+μ2+μ3=1；PGi、QGi分別為節(jié)點(diǎn)i發(fā)出的有功功率和無功功率；PDi、QDi分別為節(jié)點(diǎn)i的有功和無功功率需求；θij為節(jié)點(diǎn)i和j之間的功率角；QCi為節(jié)點(diǎn)i的無功補(bǔ)償裝置容量；Tk為有載調(diào)壓變壓器變比；bij為節(jié)點(diǎn)i和j之間的電納；Sl為傳輸線路l的視在功率；NI、NG、NC、NT、NL分別為總節(jié)點(diǎn)集合、發(fā)電機(jī)節(jié)點(diǎn)集合、無功補(bǔ)償節(jié)點(diǎn)集合、有載調(diào)壓變壓器支路集合和所有支路集合。

此外，電壓穩(wěn)定分量和有功網(wǎng)損分別描述如下：

(13)

2.3 獎(jiǎng)勵(lì)函數(shù)及狀態(tài)-動(dòng)作空間設(shè)計(jì)

實(shí)際的無功優(yōu)化調(diào)控中，發(fā)電機(jī)端電壓的調(diào)節(jié)是連續(xù)的，因此碳能復(fù)合流優(yōu)化模型中發(fā)電機(jī)端電壓采用連續(xù)變量表示。由此，碳能復(fù)合流優(yōu)化模型的動(dòng)作空間實(shí)際上是一個(gè)混合變量空間，將所有的控制變量都映射到一個(gè)二進(jìn)制空間，二值化的動(dòng)作空間為：

(14)

(15)

(16)

(17)

式中：DQC、DT、DUG分別為無功補(bǔ)償變量QC、有載調(diào)壓調(diào)壓變壓器變比Tk和機(jī)端電壓UG對(duì)應(yīng)的二進(jìn)制空間；d為無功補(bǔ)償變量QC對(duì)應(yīng)的編碼位數(shù)；f為有載調(diào)壓變壓器變比Tk對(duì)應(yīng)的編碼位數(shù)；m為發(fā)電機(jī)端電壓UG對(duì)應(yīng)的編碼位數(shù)。

碳能復(fù)合流優(yōu)化求解中，獎(jiǎng)勵(lì)函數(shù)是在最小化的目標(biāo)函數(shù)的基礎(chǔ)上，尋求獎(jiǎng)勵(lì)回報(bào)累計(jì)值最大的過程。因此，獎(jiǎng)勵(lì)函數(shù)R設(shè)定為

(18)

式中：C為正實(shí)數(shù)，本文中C=1；Nt為潮流計(jì)算結(jié)果不滿足不等式約束的個(gè)數(shù)。

Nt的引入是為了保證選定的最優(yōu)動(dòng)作能夠滿足潮流計(jì)算的不等式約束。

2.4 知識(shí)遷移設(shè)計(jì)

本文根據(jù)電力系統(tǒng)的節(jié)點(diǎn)網(wǎng)絡(luò)拓?fù)鋱D，對(duì)系統(tǒng)進(jìn)行分區(qū)信息提取。首先將節(jié)點(diǎn)網(wǎng)絡(luò)拓?fù)鋱D劃分成若干網(wǎng)格區(qū)域，然后把控制變量xi所在區(qū)域的所有節(jié)點(diǎn)的有功和無功需求信息構(gòu)成特征向量Hi=(Pd1,Pd2, …,Pdr,Qd1,Qd2, …,Qdr)，并將其與xi的低維狀態(tài)-動(dòng)作組鏈對(duì)應(yīng)。由此，便可以以單個(gè)控制變量為基礎(chǔ)進(jìn)行局部的知識(shí)遷移。在復(fù)雜大規(guī)模系統(tǒng)中，這將大大降低不同地區(qū)的節(jié)點(diǎn)因其地域特性、負(fù)荷類型等差異對(duì)任務(wù)間的相關(guān)性分析產(chǎn)生的影響，盡可能地避免負(fù)遷移現(xiàn)象的發(fā)生。

碳能復(fù)合流優(yōu)化模型采用無功補(bǔ)償裝置的出力QC、有載調(diào)壓變壓器變比Tk和發(fā)電機(jī)端電壓UG作為控制變量。針對(duì)待優(yōu)化電力系統(tǒng)網(wǎng)絡(luò)的節(jié)點(diǎn)拓?fù)鋱D，把節(jié)點(diǎn)網(wǎng)絡(luò)拓?fù)鋱D劃分成若干網(wǎng)格區(qū)域，便可得到算法的特征信息矩陣H。

據(jù)此，展開基于網(wǎng)格化知識(shí)遷移的碳能復(fù)合流優(yōu)化應(yīng)用，具體實(shí)現(xiàn)步驟如下詳述。

(1)對(duì)碳能復(fù)合流優(yōu)化任務(wù)進(jìn)行網(wǎng)格化處理，并根據(jù)上述的方法得到特征矩陣；

(2)源任務(wù)學(xué)習(xí)階段，選擇若干樣本進(jìn)行預(yù)學(xué)習(xí)，獲得不同優(yōu)化任務(wù)的狀態(tài)信息及對(duì)應(yīng)的最優(yōu)Q值；

(3)利用預(yù)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)挖掘狀態(tài)信息和最優(yōu)Q值之間的聯(lián)系，獲得知識(shí)網(wǎng)絡(luò)；

(4)目標(biāo)任務(wù)遷移學(xué)習(xí)階段，首先提取目標(biāo)任務(wù)的狀態(tài)特征信息，并輸入到知識(shí)遷移網(wǎng)絡(luò)中獲得初始優(yōu)化策略，然后根據(jù)遷移學(xué)習(xí)網(wǎng)絡(luò)充分利用歷史的優(yōu)化經(jīng)驗(yàn)和結(jié)果以極大提高算法的學(xué)習(xí)速度。

其中，預(yù)學(xué)習(xí)網(wǎng)絡(luò)和遷移學(xué)習(xí)網(wǎng)絡(luò)可以通過相關(guān)數(shù)據(jù)擬合、神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)技術(shù)等實(shí)現(xiàn)，本文采用徑向基神經(jīng)網(wǎng)絡(luò)獲得算法的知識(shí)網(wǎng)絡(luò)。

3 仿真研究

本文的算例均在CPU為Intel-i3-2310M、主頻2.1 GHz、內(nèi)存為4 G的計(jì)算機(jī)上采用在MATLAB 7.10編程實(shí)現(xiàn)，其中潮流計(jì)算部分借助MATPOWER 5.1工具包中的潮流計(jì)算程序?qū)崿F(xiàn)。

3.1 仿真模型

本文選取IEEE 118節(jié)點(diǎn)系統(tǒng)作為碳能復(fù)合流優(yōu)化仿真對(duì)象，并選擇無功補(bǔ)償容量、有載調(diào)壓變壓器變比、發(fā)電機(jī)端電壓作為控制變量，控制變量的布置如圖7所示。IEEE 118節(jié)點(diǎn)算例中共有54個(gè)機(jī)組，節(jié)點(diǎn)機(jī)組碳排放強(qiáng)度如附表A1所示。在本算例中共選擇17個(gè)電壓控制節(jié)點(diǎn)，同時(shí)選擇3個(gè)無功補(bǔ)償節(jié)點(diǎn)以及5條聯(lián)絡(luò)線路作為有載調(diào)壓變壓器變比控制節(jié)點(diǎn)。其中，無功補(bǔ)償裝置容量分成5檔，分別為-0.4 pu、-0.2 pu、0、0.2 pu、0.4 pu；有載調(diào)壓變壓器變比分成3檔，分別為0.98 pu、1.00 pu、 1.02 pu；發(fā)電機(jī)端電壓取值范圍為1.00～1.06 pu。

圖7 IEEE 118節(jié)點(diǎn)拓?fù)鋱DFig.7 Topology of IEEE 118-bus case

在碳能復(fù)合流優(yōu)化模型的網(wǎng)格化知識(shí)遷移的過程中，需要對(duì)優(yōu)化對(duì)象進(jìn)行網(wǎng)格分區(qū)，從而降低知識(shí)辨識(shí)的難度，提高知識(shí)遷移的精度。網(wǎng)格分區(qū)既可以根據(jù)電力系統(tǒng)的地理信息進(jìn)行劃分，也可以在系統(tǒng)的網(wǎng)絡(luò)拓?fù)渖细鶕?jù)控制變量的布置進(jìn)行劃分。本文采用簡(jiǎn)化的分區(qū)方法直接在拓?fù)鋱D上進(jìn)行分區(qū)，并且將每個(gè)控制變量所在網(wǎng)格內(nèi)的所有節(jié)點(diǎn)的有功功率、無功功率需求作為網(wǎng)格單元的特征變量，如圖7所示。例如111號(hào)節(jié)點(diǎn)，其所在網(wǎng)格內(nèi)共有編號(hào)為110、111以及112這3個(gè)節(jié)點(diǎn)，所以特征變量選擇為H=[P110,P111,P112,Q110,Q111,Q112]T。

為了進(jìn)一步驗(yàn)證算法在復(fù)雜隨機(jī)環(huán)境中的尋優(yōu)適應(yīng)性，本章結(jié)合文獻(xiàn)[20]所述的電網(wǎng)負(fù)荷曲線對(duì)IEEE 118節(jié)點(diǎn)系統(tǒng)進(jìn)行改造，根據(jù)節(jié)點(diǎn)的有功負(fù)荷的大小，將節(jié)點(diǎn)劃分為重工業(yè)、輕工業(yè)、市政生活、第三產(chǎn)業(yè)4種類型，不同類型的負(fù)荷日變化曲線如圖8所示。具體的節(jié)點(diǎn)分類結(jié)果見表1。

圖8 負(fù)荷類型Fig.8 Load type

在實(shí)際電網(wǎng)中即便是同一種類型的負(fù)荷節(jié)點(diǎn)，實(shí)時(shí)負(fù)荷大小也是不盡相同。為了進(jìn)一步模擬 IEEE 118節(jié)點(diǎn)系統(tǒng)的實(shí)際運(yùn)行情況，在圖8所示的負(fù)荷分類的基礎(chǔ)上采用添加隨機(jī)分量的方法生成 IEEE 118條負(fù)荷曲線，由此進(jìn)行IEEE 118節(jié)點(diǎn)系統(tǒng)全天的仿真分析，負(fù)荷曲線生成的結(jié)果如圖9、10所示。以節(jié)點(diǎn)71的負(fù)荷曲線為例，雖然他們整體變化趨勢(shì)是一樣的，但是每個(gè)時(shí)刻的負(fù)荷大小并不相等，這較為合理地模擬了算法優(yōu)化對(duì)象的隨機(jī)性。由于不同的負(fù)荷節(jié)點(diǎn)具有不同的變化趨勢(shì)，這增加了環(huán)境的復(fù)雜性，對(duì)算法的遷移學(xué)習(xí)提出了較大挑戰(zhàn)。其中，圖9用作源任務(wù)的樣本學(xué)習(xí)，圖10用作最終優(yōu)化任務(wù)的仿真對(duì)象。

圖10 目標(biāo)優(yōu)化任務(wù)Fig.10 Target optimization task

為了進(jìn)一步說明算法的有效性，本文在碳能復(fù)合流優(yōu)化模型的仿真中同時(shí)引入了ABC、GA、CCGA、TLBO、ICA、BBO、MFO等7種算法進(jìn)行對(duì)比分析。根據(jù)上述的仿真模型以及大量的測(cè)試結(jié)果，在保證各算法都取得最大優(yōu)化性能的前提下，各算法的參數(shù)設(shè)置見附表A2。

3.2 源任務(wù)的樣本學(xué)習(xí)

本節(jié)將圖9所示的負(fù)荷曲線作為源任務(wù)的學(xué)習(xí)樣本，以期望獲得不同負(fù)荷斷面下的最優(yōu)Q值以及對(duì)應(yīng)的功率特征變量，作為知識(shí)遷移的基礎(chǔ)。以斷面1為例，算法的樣本學(xué)習(xí)的過程如圖11所示。由圖11可知：(1)利用二值離散空間代替原來的實(shí)數(shù)空間后，狀態(tài)-動(dòng)作空間Q依然可以收斂，證明了本文所采用的實(shí)數(shù)空間離散化方法的正確性;(2)狀態(tài)-動(dòng)作空間的降維方式以及多元、多主體的協(xié)同機(jī)制在二值離散空間依然有效，算法保持著較高的學(xué)習(xí)效率，GKTL的最優(yōu)Q值在60 s內(nèi)即可收斂；(3)8種智能優(yōu)化算法的目標(biāo)函數(shù)收斂過程不盡相同，但是其最優(yōu)值基本一致，可見各算法基本發(fā)揮其最佳的性能，但是由于算法的尋優(yōu)機(jī)制不一樣，優(yōu)化速度差別較大。其中，GKTL算法由于尚未獲得知識(shí)的遷移，算法的優(yōu)勢(shì)不明顯，但依靠強(qiáng)化學(xué)習(xí)的決策能力和人工蜂群的協(xié)同作用，算法的優(yōu)化精度和速度依然有較佳的效果。

圖11 斷面1樣本學(xué)習(xí)過程Fig.11 Learning process of sample of surface 1

3.3 目標(biāo)任務(wù)的遷移學(xué)習(xí)

以圖10所示的負(fù)荷曲線作為目標(biāo)任務(wù)進(jìn)行碳能復(fù)合流優(yōu)化。以斷面1為例，GKTL算法在目標(biāo)任務(wù)的遷移學(xué)習(xí)過程如圖12所示。從圖中可看出：(1)知識(shí)遷移后，GKTL的學(xué)習(xí)速度得到極大提升，狀態(tài)-動(dòng)作空間Q在10 s內(nèi)即可完成收斂;(2)狀態(tài)-動(dòng)作空間Q收斂過程中波動(dòng)較小，說明了遷移學(xué)習(xí)的過程中沒有發(fā)生明顯的負(fù)遷移，同時(shí)偵查蜂群的全局隨機(jī)搜索機(jī)制可以有效抑制遷移過程中產(chǎn)生的誤差;(3)目標(biāo)函數(shù)的收斂過程進(jìn)一步突出了GKTL算法的快速收斂特性，算法在保證最佳的優(yōu)化精度的同時(shí)，優(yōu)化速度可以達(dá)到其他算法的10～30倍。

圖12 斷面1目標(biāo)任務(wù)優(yōu)化Fig.12 Objectives optimization of surface 1

為了進(jìn)一步驗(yàn)證算法對(duì)復(fù)雜隨機(jī)環(huán)境的適應(yīng)性，本節(jié)引入ABC、GA、CCGA、TLBO、MFC等7個(gè)算法對(duì)圖10所示的1天96個(gè)負(fù)荷斷面進(jìn)行10次優(yōu)化。優(yōu)化結(jié)果見表2。

表2 各算法96個(gè)斷面計(jì)算結(jié)果(10次仿真平均值)
Table 2 Average results of 96 load sections by each algorithm in 10 runs

由表2可知，GKTL、ABC、CCGA分別在網(wǎng)損、碳排放和電壓穩(wěn)定分量獲得了最優(yōu)結(jié)果，相對(duì)于碳能復(fù)合流優(yōu)化前，分別下降了0.24%、0.16%和7.63%。

各算法對(duì)目標(biāo)任務(wù)進(jìn)行10次仿真的優(yōu)化性能的對(duì)比結(jié)果如圖13所示。如圖所示，GKTL、BBO和ICA算法的仿真數(shù)據(jù)都具有很小的分散性，由此可見這三個(gè)算法都具有較佳的穩(wěn)定性，但是GKTL算法優(yōu)化結(jié)果的中位值更低，算法的最優(yōu)解質(zhì)量更高;此外，GKTL算法的優(yōu)化結(jié)果中并沒有出現(xiàn)異常值，這說明了網(wǎng)格化知識(shí)遷移過程中沒有產(chǎn)生負(fù)遷移的現(xiàn)象，進(jìn)一步驗(yàn)證了算法的有效性及魯棒性。

圖13 目標(biāo)函數(shù)優(yōu)化性能盒須圖Fig.13 Box-whisker of objective function optimization performance

4 結(jié) 論

(1)狀態(tài)-動(dòng)作空間離散化后，算法仍然可以快速收斂，由此證明了本文連續(xù)狀態(tài)-動(dòng)作空間降維的有效性;

(2)在強(qiáng)隨機(jī)復(fù)雜環(huán)境下，采用網(wǎng)格化知識(shí)遷移技術(shù)的遷移蜂群優(yōu)化算法依然具有很高的收斂精度和速度，算法在保證得到較高質(zhì)量的解的同時(shí)，尋優(yōu)速度可以達(dá)到GA、CCGA、ABC等智能算法的10～30倍。

[1]魏一鳴，劉蘭翠，范英，等.中國(guó)能源報(bào)告(2008):碳排放研究[M].北京:科學(xué)出版社，2008:68-85.

[2]周天睿，康重慶，徐乾耀，等.電力系統(tǒng)碳排放流分析理論初探[J].電力系統(tǒng)自動(dòng)化，2012，36(7):38-43. ZHOU Tianrui, KANG Chongqing, XU Qianyao, et al. Preliminary theoretical investigation on power system carbon emission flow[J]. Automation of Electric Power Systems, 2012, 36(7):38-43.

[3]ZHANG X, YU T, YANG B, et al. Approximate ideal multi-objective solution Q(λ) learning for optimal carbon-energy combined-flow in multi-energy power systems[J].Energy Conversion and Management, 2015(106):543-556.

[4]LENZE M,MURRAY J,SACK F, et al. Shared producer and consumer responsibility—Theory and practice[J]. Ecological Economics,2007,61(1):27-42.

[5]FLUECK A J,CHIANG H D. Solving the nonlinear power flow equations with an inexact Newton method using GMRES[J]. IEEE Transactions on Power Systems,1998,13(2): 267-273.

[6]GRAVILLE S. Optimal reactive dispatch through interior point methods[J].IEEE Transactions on Power Systems,2002，9 (1) :136-146.

[7]徐茂鑫, 張孝順, 余濤. 遷移蜂群優(yōu)化算法及其在無功優(yōu)化中的應(yīng)用[J]. 自動(dòng)化學(xué)報(bào), 2017, 43(1):83-93. XU Maoxin, ZHANG Xiaoshun, YU Tao. Transfer bees optimizer and its application on reactive power optimization[J]. Acta Automatica Sinica, 2017, 43(1):83-93.

[8]PAN S J,YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering,2010,22(10): 1345-1359.

[9]IBA K. Reactive power optimization by genetic algorithm[J]. IEEE Transactions on Power Systems,1994 , 9 (2) :685-692.

[10]KARABOGA D. An idea based on honey bee swarm for numerical optimization[R].Kayseri: Erciyes University,2005.

[11]王建學(xué)，王錫凡，陳皓勇，等. 基于協(xié)同進(jìn)化法的電力系統(tǒng)無功優(yōu)化[J]. 中國(guó)電機(jī)工程學(xué)報(bào)，2004，24(9):124-129. WANG Jianxue, WANG Xifan, CHEN Haoyong, et al. Reactive power optimization based on cooperative coevolutionary approach[J]. Proceedings of the CSEE, 2004, 24(9):124-129.

[12]ATASHPAZ-GARGARI E, LUCAS C. Imperialist competitive algorithm: An algorithm for optimization inspired by imperialistic competition[C]//2007 IEEE Congress on Evolutionary Compulation.Singapore:IEEE, 2007:4661-4667.

[13]RAO R V, SAVSANI V J, VAKHARIA D P. Teaching-learning-based optimization: An optimization method for continuous non-liner large scale problems[J]. Information Sciences, 2011(183):1-15.

[14]SIMON D. Biogeography-based optimization[J]. IEEE Transactions on Evolutionary Computation, 2008 , 12 (6) :702-713.

[15]MIRJALILI S. Moth-flame optimization algorithm: A novel nature-inspired heuristic paradigm[J]. Knowledge-Based Systems, 2015(89):228-249.

[16]WATKINS J C H, DAYAN P. Q-learning [J]. Machine Learning, 1992 , 8 (3) :279-292.

[17]余濤，周斌，陳家榮. 基于Q學(xué)習(xí)的互聯(lián)電網(wǎng)動(dòng)態(tài)最優(yōu)CPS控制[J]. 中國(guó)電機(jī)工程學(xué)報(bào)，2009，29(19):13-19. YU Tao, ZHOU Bin, CHEN Jiarong. Q-learning based dynamic optimal CPS control methodology for interconnected power systems[J]. Proceedings of the CSEE, 2009，29(19):13-19.

[18]ANDERSON J R. Cognitive psychology and its implications[M]. New York: Worth Publishers, 1985: 146-174.

[19]周天睿，康重慶，徐乾耀，等.碳排放流在電力網(wǎng)絡(luò)中分布的特性與機(jī)理分析[J].電力系統(tǒng)自動(dòng)化，2012, 36(15)：39-44. ZHOU Tianrui, KANG Chongqing, XU Qianyao, et al. Analysis on distribution characteristics and mechanisms of carbon emission flow in electric power Network[J]. Automation of Electric Power Systems, 2012, 36(15): 39-44.

[20]李欣然，姜學(xué)皎，錢軍，等. 基于用戶日負(fù)荷曲線的用電行業(yè)分類與綜合方法[J]. 電力系統(tǒng)自動(dòng)化, 2010, 34(10):56-61. LI Xinran, JIANG Xuejiao, QIAN Jun, et al. A classifying and synthesizing method of power consumer industry based on the daily load profile[J]. Automation of Electric Power Systems, 2010, 34(10):56-61.

(編輯 郭文瑞)

Grid Knowledge Transfer Learning Algorithm and Its Application in Carbon-Energy Combined-Flow Optimization

JIANG Haorong1, XU Maoxin2, WANG Keying1

(1. School of Electric Power, South China University of Technology, Guangzhou 510640, China;2. Guangzhou Power Supply Bureau Co., Ltd., Guangzhou 510620, China)

This paper establishes a carbon-energy combined-flow optimization model with carbon responsibility sharing, and proposes a grid knowledge transfer learning algorithm to realize the low-carbon, economical and safe optimal operation of power grid. The algorithm uses the binary coding method to realize the continuous-discrete space conversion, in order to solve the continuous state-action space learning and dimension disaster problem. This paper constructs the basic framework of knowledge migration from the relationship between the state information of the optimization task and the optimalQvalue. In order to avoid the interference of the state feature information in the weak connection environment to the learning network, which affects the accuracy of the migration learning, this paper proposes a kind of grid information extraction method for decentralized extraction and migration of each local feature. Finally, the effectiveness of this algorithm is verified by the carbon-energy combined-flow optimization model of IEEE 118-bus system.

optimization of carbon-energy combined-flow; grid knowledge migration; continuousQlearning

附錄A

表A1 IEEE 118節(jié)點(diǎn)機(jī)組碳排放強(qiáng)度δgw
Table A1 Carbon emission intensity of IEEE 118-bus system

表A2 碳能復(fù)合流優(yōu)化應(yīng)用中各算法參數(shù)設(shè)置Table A-2 Parameters of all algorithm on carbon-energy combined-flow optimization

國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃項(xiàng)目(973項(xiàng)目)(2013CB228205); 國(guó)家自然科學(xué)基金項(xiàng)目(51477055)

TM 73

A

1000-7229(2017)07-0096-10

10.3969/j.issn.1000-7229.2017.07.012

2017-02-20

江浩榮(1992)，男，碩士研究生，主要研究方向?yàn)殡娏ο到y(tǒng)監(jiān)測(cè)與優(yōu)化運(yùn)行；

徐茂鑫(1991)，男，碩士，主要研究方向?yàn)殡娏ο到y(tǒng)優(yōu)化運(yùn)行與控制；

王克英(1963)，男，博士，教授，碩士生導(dǎo)師，本文通信作者，主要從事電力系統(tǒng)保護(hù)、控制與自動(dòng)化方面的研究工作。

Project supported by the National Basic Research Program of China(973 Program)(2013CB228205); National Natural Science Foundation of China(51477055)