郭恒元，馮小峰，李國棟，段志國，李遠(yuǎn)征

（1.華中科技大學(xué)人工智能與自動化學(xué)院，武漢430074；2.廣東電網(wǎng)有限責(zé)任公司計量中心，廣州 510080；3.國網(wǎng)天津市電力公司電力科學(xué)研究院，天津 300384；4.國網(wǎng)河北省電力有限公司石家莊供電分公司，石家莊 050004）

0 引言

隨著經(jīng)濟(jì)不斷發(fā)展，各行各業(yè)對電力的需求日趨強(qiáng)烈。國家能源局發(fā)布的數(shù)據(jù)顯示，我國全社會全年用電量從2014 年的5 520 TW·h 增長到2021 年的8 310 TW·h，每年都保持正增長。可以預(yù)見，用電量的持續(xù)增長將對電網(wǎng)運(yùn)行的安全性、穩(wěn)定性和經(jīng)濟(jì)性帶來巨大挑戰(zhàn)，也會對電網(wǎng)中的電力調(diào)度提出更高要求。另一方面，隨著能源和環(huán)境問題日益凸顯，新能源的應(yīng)用得到了學(xué)者們廣泛的關(guān)注。其中，氫能作為一種新興的清潔能源，不僅可以用于現(xiàn)代工業(yè)生產(chǎn)，同時具有能量密度高、燃燒產(chǎn)物僅為水等優(yōu)點(diǎn)，被認(rèn)為是未來能量儲存和供應(yīng)的理想載體［1］。此外，為了減少溫室氣體排放、改善環(huán)境，越來越多的國家開始制定相關(guān)的環(huán)保政策，設(shè)計相關(guān)的環(huán)保機(jī)制，在這些政策和機(jī)制設(shè)計中，碳排放權(quán)交易被大量實(shí)踐證明為一種切實(shí)有效的碳減排工具。自《京都議定書》制定，在各國政府的大力支持下，世界上已經(jīng)建立起一些先進(jìn)的碳排放交易體系［2-4］。

作為電力系統(tǒng)調(diào)度優(yōu)化的重要部分，發(fā)電計劃與機(jī)組檢修計劃旨在通過優(yōu)化安排機(jī)組的開停機(jī)狀態(tài)以達(dá)到電網(wǎng)安全、經(jīng)濟(jì)運(yùn)行的目標(biāo)，二者之間相互影響，且聯(lián)系緊密。在傳統(tǒng)的電力系統(tǒng)調(diào)度計劃編制中，檢修計劃作為發(fā)電計劃的約束條件存在，這將會限制發(fā)電計劃的優(yōu)化空間。為此，有學(xué)者提出機(jī)組組合與檢修協(xié)同優(yōu)化這一概念。Wang Y 等［5］提出了一種考慮能源約束和突發(fā)事件的機(jī)組檢修調(diào)度和安全約束機(jī)組組合協(xié)同優(yōu)化模型，旨在提高電力系統(tǒng)調(diào)度過程中的經(jīng)濟(jì)性和安全性。Lou X 等［6］建立了基于風(fēng)險的檢修調(diào)度和機(jī)組組合聯(lián)合調(diào)度模型，在系統(tǒng)運(yùn)行風(fēng)險得到有效控制的同時，降低了總運(yùn)行成本。李本新等［7］提出了一種發(fā)、輸電檢修與機(jī)組組合聯(lián)合決策的Benders 分解方法。周明等［8］建立了一個基于機(jī)會約束規(guī)劃的月度機(jī)組組合和檢修計劃聯(lián)合調(diào)度的隨機(jī)模型。Ge X等［9］考慮了不同能源的互補(bǔ)性，提出了一種風(fēng)-水-熱系統(tǒng)的中期發(fā)電與檢修聯(lián)合調(diào)度模型。然而已有研究只考慮了經(jīng)濟(jì)性目標(biāo)，忽視了系統(tǒng)可靠性、節(jié)點(diǎn)電價穩(wěn)定性和線路安全性等其他重要指標(biāo)。

目前，已有制氫技術(shù)主要有化石能源制氫、工業(yè)副產(chǎn)氣制氫和電解水制氫等幾種。而電解水制氫具有原材料易獲得、生產(chǎn)效率高和產(chǎn)品純度高等優(yōu)點(diǎn)，發(fā)展?jié)摿薮蟆ｋS著催化劑研發(fā)、電解池結(jié)構(gòu)優(yōu)化等領(lǐng)域技術(shù)的發(fā)展，電解水制氫將會進(jìn)一步普及應(yīng)用到各個行業(yè)［10］。近幾年來，世界上的幾個大國高度重視氫能源的發(fā)展，大力扶持氫能的研發(fā)和產(chǎn)業(yè)化。國際氫能委員會（Hydrogen Council）預(yù)測，到2050年氫能在全球能源需求中的占比將達(dá)到18%。

碳交易機(jī)制的建立與完善可以加快實(shí)現(xiàn)電力系統(tǒng)減少溫室氣體排放的目標(biāo)，而電力調(diào)度是電力系統(tǒng)的關(guān)鍵環(huán)節(jié)，因此，國內(nèi)外研究都開始將碳交易機(jī)制引入電力系統(tǒng)，建立低碳調(diào)度模型。婁素華等［11］考慮大規(guī)模的光伏接入，建立了一種兼顧經(jīng)濟(jì)性、低碳性和可靠性電力系統(tǒng)優(yōu)化調(diào)度模型。Jin J等［12］提出了一種同時考慮風(fēng)電不確定性和碳排放權(quán)的隨機(jī)動態(tài)經(jīng)濟(jì)調(diào)度模型，有助于基于碳交易機(jī)制更合理地將風(fēng)電綜合系統(tǒng)負(fù)荷需求分配到各機(jī)組。Tan Q 等［13］基于碳排放交易和可再生能源組合標(biāo)準(zhǔn)，提出了考慮價格波動的成本核算模型，并將其應(yīng)用于風(fēng)-光-火聯(lián)合調(diào)度系統(tǒng)。

為求解本文提出的多目標(biāo)協(xié)同優(yōu)化模型，需要一種高效算法。為解決科學(xué)與工程領(lǐng)域中的多目標(biāo)優(yōu)化問題，國內(nèi)外學(xué)者提出了大量的多目標(biāo)優(yōu)化算法，如：快速非支配排序法［14］，多目標(biāo)粒子群優(yōu)化算法［15］和多目標(biāo)差分進(jìn)化算法［16］等。針對粒子群算法難以達(dá)到全局收斂的問題，孫俊等［17］提出了一種求解效果更優(yōu)、收斂性更好的量子行為粒子群算法。而量子行為粒子群算法極度依賴收縮-擴(kuò)張系數(shù)的選擇，算法的表現(xiàn)好壞很大程度上取決于該系數(shù)。目前，有學(xué)者提出了一些收縮-擴(kuò)張系數(shù)的控制策略，但是這些策略不能根據(jù)當(dāng)代粒子群的狀態(tài)選擇最優(yōu)的參數(shù)［18］。如果將近些年提出的深度強(qiáng)化學(xué)習(xí)與量子行為粒子群算法結(jié)合，則可以通過靈活更新關(guān)鍵參數(shù)來提高算法的性能。

基于社會用電量不斷增長、電力系統(tǒng)節(jié)能減排壓力巨大的背景，本文考慮了電力系統(tǒng)需求側(cè)存在制氫裝置的情況，探究了碳交易機(jī)制下的機(jī)組組合與檢修多目標(biāo)協(xié)同優(yōu)化問題；為了能更有效地求解模型，本文還研究了如何運(yùn)用深度強(qiáng)化學(xué)習(xí)來改進(jìn)多目標(biāo)優(yōu)化算法的問題。

1 碳交易下的機(jī)組組合與檢修單目標(biāo)協(xié)同優(yōu)化模型

1.1 碳交易成本及約束

本文采用初始碳排放權(quán)免費(fèi)分配中的基準(zhǔn)線法，整個發(fā)電系統(tǒng)初始的碳排放限額為

式中：PD(t)為時段t 內(nèi)系統(tǒng)的需求功率；η 為單位電量排放分配額［19］。

同時，系統(tǒng)中的發(fā)電機(jī)組的碳排放量為

式中：Cti為機(jī)組i的碳排放系數(shù)；PGi(t)為機(jī)組i在時段t的機(jī)組出力，T（t）為單個時段包含的小時數(shù)量。

本文將收益視為負(fù)成本，則可得到碳交易成本函數(shù)

式中：PCO2為碳交易價格。

在碳交易機(jī)制中，除了會產(chǎn)生碳交易成本外，可用于交易的碳排放權(quán)還存在額度上限，還需考慮碳排放權(quán)交易量約束

1.2 機(jī)組組合與檢修單目標(biāo)協(xié)同優(yōu)化模型

首先，本文建立了一個碳交易機(jī)制下的月度機(jī)組組合與機(jī)組檢修的單目標(biāo)協(xié)同優(yōu)化模型，其目標(biāo)函數(shù)為

式中：vi(t)為機(jī)組i 在時段t 的工作狀態(tài)變量，vi(t)取1 表示機(jī)組處于運(yùn)行狀態(tài)，vi(t)取0 表示機(jī)組處于停機(jī)狀態(tài)；yi(t)為機(jī)組i 在時段t 的啟動狀態(tài)變量，yi(t)取1 表示機(jī)組在時段t 啟動，yi(t)取0 表示機(jī)組未在時段t 啟動；Mi(t)為機(jī)組i 在時段t 的檢修狀態(tài)變量，Mi(t)取1 表示機(jī)組在時段t 進(jìn)行檢修，Mi(t)取0 表示機(jī)組未在時段t 進(jìn)行檢修；PGi(t)為機(jī)組i在時段t的機(jī)組出力；G表示所有機(jī)組的集合，Gm表示待檢修機(jī)組的集合；Nt表示時段的數(shù)量；T（t）為一個時段包含的小時數(shù)量；其中Zi(PGi(t)) = C0i+C1iPGi(t) + C2i(t)，C0i，C1i及C2i為機(jī)組i 的發(fā)電成本系數(shù)為機(jī)組i的啟動費(fèi)用；為機(jī)組i的檢修費(fèi)用。

該模型的約束條件有：系統(tǒng)功率平衡約束、機(jī)組出力上下限約束、機(jī)組爬坡速率約束、支路潮流安全約束和碳交易量約束。

（1）最小凈備用量約束

（2）同時檢修機(jī)組最大數(shù)量約束

式中：K（t）表示時段t 能同時檢修的機(jī)組的最大數(shù)量。

（3）檢修與運(yùn)行狀態(tài)約束

（4）最小運(yùn)行時間和最小停機(jī)時間約束。

式 中：ti，on(t) 為 機(jī) 組i 在 時 段t 的 連 續(xù) 運(yùn) 行 時 間，ti，off(t)為機(jī)組i在時段t的連續(xù)停機(jī)時間；Ti，U為機(jī)組i的最小連續(xù)運(yùn)行時間，Ti，D為機(jī)組i的最小連續(xù)停機(jī)時間。

（5）系統(tǒng)功率平衡約束

（6）機(jī)組出力上下限約束

（7）機(jī)組爬坡速率約束

（8）支路潮流安全約束

（9）碳交易量約束

2 多目標(biāo)協(xié)同優(yōu)化模型與電解水制氫系統(tǒng)

2.1 電力供給側(cè)

在第1 章節(jié)的基礎(chǔ)上，本文在電力供給側(cè)建立了一個碳交易機(jī)制下的月度機(jī)組組合與機(jī)組檢修的多目標(biāo)協(xié)同優(yōu)化模型。為便于求解，本文建立一個雙層多目標(biāo)協(xié)同優(yōu)化模型，其具體結(jié)構(gòu)如圖1所示。

圖1 多目標(biāo)模型結(jié)構(gòu)Fig.1 Structure of the multi-objective model

2.1.1 上層模型

考慮碳交易機(jī)制的月度機(jī)組組合與檢修多目標(biāo)協(xié)同優(yōu)化的上層模型包含5 個目標(biāo)函數(shù)。F1為系統(tǒng)總成本最小目標(biāo)，F(xiàn)2為系統(tǒng)可靠性最優(yōu)目標(biāo)，F(xiàn)3為節(jié)點(diǎn)電價波動最小目標(biāo)，F(xiàn)4為線路傳輸安全裕度目標(biāo)，F(xiàn)5為碳排放量最小目標(biāo)。

式中：δl，t為線路l在時段t的傳輸安全裕度；L為系統(tǒng)中線路的數(shù)量。

上層多目標(biāo)協(xié)同優(yōu)化模型約束條件與式（6）—（8）相同。

2.1.2 下層模型

下層模型為低碳經(jīng)濟(jì)調(diào)度模型，其目標(biāo)函數(shù)如下

下層模型的約束條件與式（11）—（15）相同。

2.2 電力需求側(cè)

本文考慮的電力系統(tǒng)需求側(cè)中，有部分負(fù)荷用于電解水制氫系統(tǒng)。制氫裝置的氫氣產(chǎn)量與系統(tǒng)效率都與輸入功率相關(guān)，氫氣產(chǎn)量的一般計算為

式中：W 為電解水制氫系統(tǒng)的制氫量；P 為電解水制氫系統(tǒng)的輸入功率；δ 為電解水制氫系統(tǒng)的制氫效率。

根據(jù)文獻(xiàn)［20］的參數(shù)，可以得到典型工作日下的氫氣產(chǎn)量與系統(tǒng)效率關(guān)于輸入功率的曲線，如圖2所示。

圖2 氫氣產(chǎn)量與系統(tǒng)效率曲線Fig.2 Curve of the hydrogen production and system efficiency

3 基于深度強(qiáng)化學(xué)習(xí)的多目標(biāo)優(yōu)化算法

3.1 收縮-擴(kuò)張參數(shù)調(diào)整策略

第2 章節(jié)提出了雙層優(yōu)化模型，對于上層模型和下層模型需要采用不同的算法來求解。上層模型是一個多目標(biāo)非線性問題，需要采用一種多目標(biāo)優(yōu)化算法求解；下層模型是一個二次規(guī)劃問題，可以采用Gurobi商用求解器進(jìn)行求解。

在量子行為粒子群（Quantum-behaved Particle Swarm Optimization，QPSO）算法中，收縮-擴(kuò)張參數(shù)α 對算法的收斂速度起著決定性作用，同時很大程度的影響著帕累托解集的質(zhì)量。經(jīng)過大量的仿真測試，只有α < 1.781 時，才能保證QPSO 算法收斂。QPSO 算法提出之初，學(xué)者們對于收縮-擴(kuò)張參數(shù)通常采用固定取值策略，即對α取一個固定值。

為了改善QPSO 算法的性能，方偉［18］對于收縮-擴(kuò)張參數(shù)α提出線性遞減的參數(shù)調(diào)整策略（式（25））和非線性遞減的參數(shù)調(diào)整策略，其中非線性遞減策略根據(jù)二次系數(shù)的正負(fù)，分為下凸的拋物線（式（26））和上凸的拋物線（式（27））。

式中：α0< α1；α1為第1 次迭代時的收縮-擴(kuò)張參數(shù)值，α0為最后一次迭代時的收縮-擴(kuò)張參數(shù)值；N 為最大迭代次數(shù)；t為當(dāng)前迭代次數(shù)。

文獻(xiàn)［18］的仿真結(jié)果表明，4 種收縮-擴(kuò)張參數(shù)控制策略（包括固定值控制策略）各有優(yōu)勢，在不同的測試函數(shù)中每種參數(shù)控制策略的表現(xiàn)不同?？梢姡瑢τ谖粗淖顑?yōu)化問題，很難找到一個最優(yōu)的收縮-擴(kuò)張參數(shù)控制策略，往往需要采用其他更有效的方法——強(qiáng)化學(xué)習(xí)來對參數(shù)進(jìn)行控制。

3.2 深度Q學(xué)習(xí)算法

強(qiáng)化學(xué)習(xí)問題通常可轉(zhuǎn)化為一個由四元組｛S，A，r，p｝描述的馬爾科夫決策過程（MDP）模型，其中：S是環(huán)境任務(wù)的狀態(tài)空間；A是智能體執(zhí)行的動作空間；r 是獎賞函數(shù)，對智能體執(zhí)行動作的評價；p 是狀態(tài)轉(zhuǎn)移概率函數(shù)，表示某個狀態(tài)s ∈S 在執(zhí)行動作a ∈A，p(s′|s，a) 后 轉(zhuǎn) 移 到 另 一 個 狀 態(tài)s′的 概 率。MDP 模型的含義是，智能體在每一時間步t 可以感知、并獲取環(huán)境的狀態(tài)信息st∈S，根據(jù)獲得的該信息，智能體采用相應(yīng)策略從所有可能的動作集合A中選取一個合適的動作a并執(zhí)行該動作。

傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法主要用于處理離散動作空間和離散狀態(tài)空間的問題，但是現(xiàn)實(shí)中的模型通常是連續(xù)的。為了能解決連續(xù)動作空間和狀態(tài)空間中的復(fù)雜問題，人們將強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)結(jié)合起來，形成了深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning）理論［21］。目前，深度強(qiáng)化學(xué)習(xí)算法主要分為2 種：基于值函數(shù)近似的深度強(qiáng)化學(xué)習(xí)算法和基于策略梯度的深度強(qiáng)化學(xué)習(xí)算法。這2 種算法中，最具代表性的分別是深度Q學(xué)習(xí)算法和深度確定性策略梯度算法［22］。其中，深度Q 學(xué)習(xí)算法應(yīng)用更為廣泛且更易實(shí)現(xiàn)，本節(jié)將對其作簡單介紹。

深度Q 學(xué)習(xí)算法主要有2 點(diǎn)區(qū)別于傳統(tǒng)Q 學(xué)習(xí)算法：

（1）訓(xùn)練過程中增加了目標(biāo)網(wǎng)絡(luò)（Target Network）。每隔一定的訓(xùn)練次數(shù)，就從Q-network 中復(fù)制網(wǎng)絡(luò)參數(shù)到目標(biāo)網(wǎng)絡(luò)之中，因此兩個網(wǎng)絡(luò)的結(jié)構(gòu)相同。在訓(xùn)練過程中，使用目標(biāo)網(wǎng)絡(luò)可以大大提高算法的穩(wěn)定性。

（2）使用了經(jīng)驗池（Experience Replay Memory）技術(shù)。深度Q 學(xué)習(xí)算法中，會將訓(xùn)練產(chǎn)生的數(shù)據(jù)et=(st，at，rt，st+1)存儲到經(jīng)驗池Buf 中，同時隨機(jī)選取經(jīng)驗池Buf 中的數(shù)據(jù)對Q-network 的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練。通過這種技術(shù)手段，可以打破數(shù)據(jù)之間的強(qiáng)相關(guān)性，并保證算法穩(wěn)定收斂。

3.3 基于深度Q學(xué)習(xí)的多目標(biāo)量子粒子群優(yōu)化算法

本節(jié)利用深度Q 學(xué)習(xí)方法對智能體進(jìn)行訓(xùn)練，然后該智能體可以根據(jù)輸入?yún)?shù)得到相應(yīng)的收縮-擴(kuò)張參數(shù)。該算法所使用的狀態(tài)空間為NF+2 維（其中NF 為多目標(biāo)模型中目標(biāo)函數(shù)的個數(shù)），前NF個維度代表量子行為粒子群在該次迭代過程中的平均目標(biāo)函數(shù)值，第NF+1 維度代表量子行為粒子群在該次迭代過程中的平均約束違反度值，第NF+2維度代表粒子群已經(jīng)迭代的次數(shù)。該算法所使用的動作空間為PF 維，同時將算法中的′收縮-擴(kuò)張′系數(shù)的范圍進(jìn)行PF等分，每一個等分的區(qū)域代表深度Q學(xué)習(xí)中的一個動作。智能體選擇的動作落在哪個區(qū)域，則該次粒子群迭代時使用該區(qū)域范圍內(nèi)的一個隨機(jī)數(shù)，作為收縮-擴(kuò)張系數(shù)。本文中的收縮-擴(kuò)張系數(shù)的取值為0.20～0.60，動作空間為20維，如果智能體選擇的動作為3，則將本次迭代中的“收縮-擴(kuò)張”系數(shù)為0.24～0.26的一個隨機(jī)數(shù)。至于智能體的獎勵值，若量子行為粒子群的當(dāng)前全局最優(yōu)解發(fā)生變化，則獎勵為1，否則獎勵為?1。

為了對該智能體進(jìn)行訓(xùn)練，需要搭建一個深度神經(jīng)網(wǎng)絡(luò)，結(jié)合上述思路，搭建了一個4層的深度神經(jīng)網(wǎng)絡(luò)，包括1 個輸入層（Input Layer），2 個隱藏層（Hidden Layer）和1 個輸出層（Output Layer）。以5個目標(biāo)優(yōu)化模型為例，此時構(gòu)建的神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)個數(shù)為7，與狀態(tài)空間維數(shù)相同；2 個隱藏層的節(jié)點(diǎn)個數(shù)分別設(shè)為36和40；輸出層的節(jié)點(diǎn)個數(shù)為20，與動作空間維數(shù)相同；其具體結(jié)構(gòu)如圖3所示。

圖3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of the neural network

基于深度Q學(xué)習(xí)的多目標(biāo)量子粒子群算法首先采用深度Q 學(xué)習(xí)對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練的具體步驟如下：

（1）初始化訓(xùn)練最大次數(shù)tmax，當(dāng)前訓(xùn)練次數(shù)train=1；

（2）初始化深度神經(jīng)網(wǎng)絡(luò)（Q-network），即評估網(wǎng)絡(luò)；

（3）初始化目標(biāo)網(wǎng)絡(luò)，其參數(shù)從評估網(wǎng)絡(luò)復(fù)制過來；

（4）初始化經(jīng)驗池Buf；

（5）初始化環(huán)境（量子粒子群），計算每個粒子的目標(biāo)函數(shù)值及約束違反度值，得到初始最佳位置，得到最大迭代次數(shù)tmax，當(dāng)前迭代次數(shù)t=1；

（6）for train=1：tmax；

（7）獲得初始化狀態(tài)st；

（8）for t=1：tmax；

（9）根據(jù)當(dāng)前評估網(wǎng)絡(luò)和噪聲選擇動作at；

（10）在環(huán)境中執(zhí)行相應(yīng)動作，即量子粒子群選擇與動作相對應(yīng)的收縮-擴(kuò)張系數(shù)來進(jìn)行種群迭代，同時得到獎勵rt以及下一個狀態(tài)at+1；

（11）將四元組（st，at，rt，at+1）存儲到經(jīng)驗池Buf；

（12）End（第8 步驟開始的循環(huán)到此結(jié)束）；

（13）train每隔t1個迭代次數(shù)，從Buf 中選擇一個最小批次的四元組來訓(xùn)練評估網(wǎng)絡(luò)更新其參數(shù)，train每隔t2個迭代次數(shù)，將評估網(wǎng)絡(luò)參數(shù)復(fù)制給目標(biāo)網(wǎng)絡(luò)；

（14）End（第6 步驟開始的循環(huán)到此結(jié)束）；

（15）保存深度神經(jīng)網(wǎng)絡(luò)（評估網(wǎng)絡(luò)）。

重復(fù)流程（1）—（15），直到粒子群幾乎在每一次迭代后都能找到更好的全局最優(yōu)解為止，就可以得到一個訓(xùn)練完成的評估網(wǎng)絡(luò)。將當(dāng)前粒子群的相關(guān)參數(shù)，即平均目標(biāo)函數(shù)值，平均約束違反度值和迭代次數(shù)，輸入到該深度神經(jīng)網(wǎng)絡(luò)，可以得到一個20 維的輸出，分別代表了采取20 個不同的收縮-擴(kuò)張參數(shù)帶來的累計獎勵值。根據(jù)輸出結(jié)果，從20 個參數(shù)中選取累計獎勵值最大的一個作為粒子群的參數(shù)。

改進(jìn)的多目標(biāo)量子行為粒子群算法流程如圖4所示。

圖4 改進(jìn)算法的運(yùn)行流程Fig.4 Operation flow chart of the improved algorithm

4 算例分析

4.1 IEEE-118節(jié)點(diǎn)系統(tǒng)參數(shù)

本文采用的IEEE-118 節(jié)點(diǎn)系統(tǒng)包含118 個節(jié)點(diǎn)、186 條線路以及32 臺機(jī)組，其中有10 臺機(jī)組需要檢修。算例仿真系統(tǒng)月內(nèi)每天的負(fù)荷量如圖5所示，系統(tǒng)中的機(jī)組成本參數(shù)見文獻(xiàn)［23］，機(jī)組的其他信息見表1—2。

圖5 月內(nèi)負(fù)荷曲線Fig.5 Curve of the monthly load

表1 部分待檢修機(jī)組的檢修區(qū)間Table 1 Maintenance interval of the units for being repaired d

4.2 改進(jìn)算法與傳統(tǒng)算法對比

為了能直觀比較改進(jìn)多目標(biāo)量子行為粒子群算法和傳統(tǒng)的多目標(biāo)量子行為粒子群算法的優(yōu)劣，本文引入Hypervolume 評價指標(biāo)（以下簡稱HV 指標(biāo)）。該評價指標(biāo)最早由Zitzler等［24］提出，表示由帕累托解集中的個體與參考點(diǎn)在目標(biāo)空間中所圍成的超立方體的體積。基于HV 指標(biāo)的評價方法可以直觀地判斷出算法得到的帕累托解集的優(yōu)劣，即如果一個解集S 優(yōu)于另一個解集S′，那么解集S 的HV指標(biāo)會大于解集S′的HV指標(biāo)。

接下來，將提出的基于深度強(qiáng)化學(xué)習(xí)的多目標(biāo)量子行為粒子群算法與4種傳統(tǒng)的多目標(biāo)量子行為粒子群算法進(jìn)行對比。其中，對于固定策略算法，取收縮-擴(kuò)張固定系數(shù)為0.40。其他控制策略中，α1取0.60，α0取0.20。對于第2 章節(jié)中的模型，在IEEE-118 節(jié)點(diǎn)系統(tǒng)下采用上述5 種算法分別進(jìn)行求解，并畫出其HV指標(biāo)值的變化，如圖6所示。

表2 機(jī)組的碳排放系數(shù)Table 2 Carbon emission factor of the units t/（MW·h）

從圖6 中可以看出，基于深度強(qiáng)化學(xué)習(xí)的改進(jìn)算法的HV指標(biāo)值顯然要比其他4種算法大，說明改進(jìn)算法在求解多目標(biāo)優(yōu)化模型時比傳統(tǒng)算法效果更好，可以獲得質(zhì)量更好的帕累托解集。因此，本文后續(xù)的多目標(biāo)模型都將采用該改進(jìn)算法進(jìn)行求解。

圖6 改進(jìn)算法與傳統(tǒng)算法HV指標(biāo)對比Fig.6 Comparison of HV indicator between the improved algorithm and the traditional algorithms

4.3 多目標(biāo)優(yōu)化模型仿真結(jié)果

在IEEE-118 節(jié)點(diǎn)系統(tǒng)下，采用提出的改進(jìn)算法對第2 章節(jié)中的多目標(biāo)模型進(jìn)行求解，得到一組帕累托解。第1 章節(jié)中的模型包含2 個目標(biāo)函數(shù)，為更加直觀清晰地展示帕累托解集，分別畫出每2個目標(biāo)函數(shù)之間的帕累托曲線，如圖7所示。由圖7可以看出，求出的帕累托解集分布均勻，說明本文建立的多目標(biāo)模型能兼顧多個指標(biāo)，可以保障電力系統(tǒng)的經(jīng)濟(jì)性、安全性、環(huán)保性和穩(wěn)定性。

圖7 每2個目標(biāo)函數(shù)之間的帕累托曲線Fig.7 Comparison of Pareto curve between different objective functions

本文采用改進(jìn)的多目標(biāo)量子行為粒子群算法求得了一組帕累托解集，而實(shí)際應(yīng)用中往往只需要一個最終調(diào)度解。因此，還需要采用多目標(biāo)決策綜合評價方法從帕累托解集中選取一個滿足多方面要求的最終調(diào)度解。

逼近理想解排序（Technique for Order Preference by Similarity to an Ideal Solution，TOPSIS）方法由Hwang 等提出［25］，是一種常用的多目標(biāo)決策綜合評價方法。傳統(tǒng)的TOPSIS 法采用歐氏距離來計算每個點(diǎn)到正理想點(diǎn)和負(fù)理想點(diǎn)之間的距離，但歐氏距離將不同屬性之間的差別等同看待，有時不符合實(shí)際情況。而馬氏距離不會受到各個變量之間相關(guān)性的干擾。因此，本文采用一種基于馬氏距離改進(jìn)的TOPSIS 法［26］從帕累托解集之中選取調(diào)度解。最終獲得的調(diào)度計劃見表3，機(jī)組出力如圖8所示（由于篇幅原因，只隨機(jī)選取部分機(jī)組展示其機(jī)組出力）。

表3 部分檢修調(diào)度計劃Table 3 Maintenance and scheduling plan for units d

圖8 部分機(jī)組出力Fig.8 Output of units

4.4 單目標(biāo)與多目標(biāo)優(yōu)化模型仿真結(jié)果對比

在IEEE-118 節(jié)點(diǎn)系統(tǒng)下，2 個模型的5 個目標(biāo)函數(shù)值見表4。由表4可知，多目標(biāo)模型的優(yōu)化結(jié)果在經(jīng)濟(jì)性目標(biāo)和碳排放目標(biāo)上都要比單目標(biāo)模型略差一點(diǎn)，但是多目標(biāo)模型調(diào)度結(jié)果的系統(tǒng)可靠性、節(jié)點(diǎn)電價穩(wěn)定性和線路安全裕度都明顯優(yōu)于單目標(biāo)模型結(jié)果。

表4 2個模型調(diào)度結(jié)果的目標(biāo)函數(shù)Table 4 Objective functions for the scheduling results of two models

為更好地分析調(diào)度結(jié)果，繪制總成本目標(biāo)和碳排放目標(biāo)之間的關(guān)系，如圖9 所示。該圖表明，在IEEE-118節(jié)點(diǎn)系統(tǒng)案例中，帕累托解集中的碳排放目標(biāo)函數(shù)值與總成本值大致成正相關(guān)關(guān)系。因此，單目標(biāo)模型可以在求得最低的總成本的同時獲得比多目標(biāo)模型更低的系統(tǒng)碳排放量。

圖9 多目標(biāo)模型中2個目標(biāo)函數(shù)關(guān)系Fig.9 Relationship between two objective functions in the multi-objective model

5 結(jié)論

本文構(gòu)建了考慮碳交易的機(jī)組組合與檢修多目標(biāo)協(xié)同優(yōu)化模型；同時，本文提出了一種改進(jìn)的多目標(biāo)量子行為粒子群優(yōu)化算法來求解模型。在IEEE-118 節(jié)點(diǎn)系統(tǒng)下，首先，驗證了改進(jìn)算法的有效性；其次，發(fā)現(xiàn)多目標(biāo)模型可以有效兼顧多個電力系統(tǒng)的指標(biāo)；最后，將單目標(biāo)模型與多目標(biāo)模型的調(diào)度結(jié)果進(jìn)行對比，發(fā)現(xiàn)多目標(biāo)模型的系統(tǒng)可靠性、節(jié)點(diǎn)電價穩(wěn)定性和線路安全裕度都明顯優(yōu)于單目標(biāo)模型。