劉建樹，江岳文

（福州大學(xué) 電氣工程與自動化學(xué)院，福建省 福州市 350108）

0 引言

清潔可再生能源作為化石燃料的理想取代品，對于解決全球變暖、能源枯竭、環(huán)境污染等問題有著深遠的意義[1]。作為一種理想的綠色能源，風(fēng)電迅猛發(fā)展。然而，風(fēng)能的分布與利用呈現(xiàn)出區(qū)域性的不平衡，棄風(fēng)限電問題凸顯[2]。

氫氣是一種清潔無污染，能量密度高、轉(zhuǎn)換形式多樣的二次能源。利用風(fēng)電制氫能夠增加風(fēng)電的可調(diào)度性，同時生成綠色氫氣，是解決風(fēng)電消納問題的理想方案之一。多風(fēng)氫系統(tǒng)聯(lián)合運行可以發(fā)揮氫長期大規(guī)模存儲和多元化產(chǎn)品輸出的優(yōu)勢，在未來風(fēng)電開發(fā)利用過程中發(fā)揮著重要的作用[3]。文獻[4]提出考慮產(chǎn)業(yè)鏈傳導(dǎo)的風(fēng)電全電量制氫經(jīng)濟分析模型，為全面評價上網(wǎng)背景下新能源消納受限地區(qū)風(fēng)電產(chǎn)業(yè)新的發(fā)展提供參考;文獻[5]對比不同風(fēng)電滲透率情況下的電網(wǎng)運行情況，配備制氫裝置吸收富余的風(fēng)電，可大幅減少棄風(fēng)并增加風(fēng)電場收入；文獻[6]研究使用風(fēng)力發(fā)電進行電解制氫的可行性，在愛爾蘭巨大的風(fēng)能資源范圍內(nèi)評估氫的潛在利益；文獻[7]考慮堿性電解槽電熱特性、電解槽功率調(diào)節(jié)特性等因素，提出堿性電解槽列陣輪值協(xié)調(diào)控制策略，有效提高風(fēng)電消納能力；文獻[8]提出一種風(fēng)電制氫存儲系統(tǒng)，考慮到風(fēng)電輸出和電價的不確定性，提出以利潤最大化為目標的最優(yōu)運行策略；文獻[9]提出一種含制氫儲能的風(fēng)電系統(tǒng)基本構(gòu)架，可有效平抑風(fēng)電輸出功率，增加系統(tǒng)運行的穩(wěn)定性。文獻[10]針對風(fēng)電制氫系統(tǒng)的欠經(jīng)濟性運行，提出一種兼顧富余風(fēng)電充分消納和全局效益的電網(wǎng)靈活負荷控制策略。上述的研究利用制氫裝置有效解決了風(fēng)電消納問題，但是對于風(fēng)電場而言，配備制氫裝置將導(dǎo)致投資建設(shè)成本的顯著提升。在實際運行中，出于經(jīng)濟性考量，風(fēng)電場與氫系統(tǒng)可屬于不同的投資建設(shè)主體，兩者之間通過聯(lián)合運行的方式進行合作，充分利用各投資主體中的資源，實現(xiàn)共同利益的最大化。因此，深入的多風(fēng)氫系統(tǒng)聯(lián)合運行方式有待進一步挖掘。

同時，多風(fēng)氫系統(tǒng)運行具有多時間斷面、多控制變量的特點，例如將一天分為96個時間斷面，各時間斷面內(nèi)包含風(fēng)電上網(wǎng)功率、電解槽制氫功率等控制變量，導(dǎo)致求解困難。經(jīng)典的優(yōu)化算法，如牛頓法[11]、梯度下降法[12]等，依賴于嚴格的數(shù)學(xué)模型，當優(yōu)化問題出現(xiàn)非線性特征時將難以求解。雖可將非線性問題轉(zhuǎn)化為線性問題進行求解，但在一定程度上影響求解的結(jié)果。而對于粒子群算法[13]、蟻群算法[14]等非線性算法，雖可較好地求解非線性優(yōu)化問題，但易于陷入局部最優(yōu)且求解穩(wěn)定性差。眾多的控制變量不論對非線性算法還是經(jīng)典優(yōu)化算法，都可能陷入到維數(shù)災(zāi)難當中，使得求解過程復(fù)雜且計算量巨大，在一定程度上降低了算法的實用性。作為機器學(xué)習(xí)算法的一個重要分支，強化學(xué)習(xí)對數(shù)學(xué)模型具有不敏感性，并采用試錯的方法求取目標任務(wù)的解。目前在電力系統(tǒng)中，強化學(xué)習(xí)算法已經(jīng)應(yīng)用于安全穩(wěn)定控制、自動發(fā)電控制、電壓無功控制以及電力市場等方面[15]。文獻[16]基于強化學(xué)習(xí)理論，提出一種實用的地區(qū)電網(wǎng)無功電壓優(yōu)化控制方法；文獻[17]針對微電網(wǎng)中分布式電源下垂一次控制產(chǎn)生的系統(tǒng)頻率和電壓靜態(tài)偏差問題，提出一種基于強化學(xué)習(xí)的就地反饋方法的分布式二次優(yōu)化控制；文獻[18]在風(fēng)電與儲能配置給定的前提下，利用強化學(xué)習(xí)實現(xiàn)風(fēng)電與儲能系統(tǒng)之間的有機合作；文獻[19]將人工智能擴展至傳統(tǒng)輸電網(wǎng)規(guī)劃中，提出基于強化學(xué)習(xí)理論的輸電網(wǎng)擴展規(guī)劃方法。上述研究較好地應(yīng)用強化學(xué)習(xí)算法求解優(yōu)化問題，但多決策變量導(dǎo)致的維數(shù)災(zāi)難依然是限制該算法廣泛應(yīng)用的關(guān)鍵因素。如何克服維數(shù)災(zāi)難問題，仍值得研究。同時，單智體決策無法滿足多風(fēng)氫系統(tǒng)多時間斷面調(diào)度的靈活性。目前，已有研究將多智體應(yīng)用到能量管理當中[20-22]。多智體運用集體智慧，將復(fù)雜的問題分配給多個單智體求解，并且智體間伴隨信息交互，兼顧求解問題的獨立性與整體性。

本文針對多風(fēng)氫系統(tǒng)聯(lián)合運行問題，將收益最大化作為目標，構(gòu)造多風(fēng)氫系統(tǒng)聯(lián)合優(yōu)化運行模型。在此基礎(chǔ)上，提出基于多智體強化學(xué)習(xí)的多風(fēng)氫系統(tǒng)聯(lián)合優(yōu)化運行方法，利用多智體分布式計算、自主搜索、信息交互等特點并采用多決策更新方法，加速強化學(xué)習(xí)算法的收斂。最后，通過算例仿真驗證所提方法的有效性，并分析多風(fēng)氫系統(tǒng)的優(yōu)化結(jié)果以及影響收益的相關(guān)因素。

1 考慮合約交易的多風(fēng)氫系統(tǒng)聯(lián)合運行

作為提高能源利用率的關(guān)鍵因素，氫系統(tǒng)可有效地解決可再生能源消納問題。從能源角度出發(fā)，通過電解水制氫將電能轉(zhuǎn)化為氫氣可促進風(fēng)電的進一步綜合利用，促成多風(fēng)氫系統(tǒng)的形成。依照國家發(fā)改委、國家能源局發(fā)布的《關(guān)于開展分布式發(fā)電市場化交易試點的通知》[23]給出的分布式交易模式：分布式電源與分布式負荷之間可以直接進行電力交易，購售電雙方均需提前向調(diào)度機構(gòu)上報出力預(yù)測與負荷預(yù)測。本文考慮多風(fēng)氫系統(tǒng)聯(lián)合運行，風(fēng)電場與制氫加氫站在合約市場上簽訂月度合約，在日前市場上調(diào)度機構(gòu)下發(fā)電價曲線，多風(fēng)氫系統(tǒng)根據(jù)預(yù)測風(fēng)電出力、預(yù)測氫負荷等因素確定風(fēng)電場與制氫加氫站之間的合約交易功率。風(fēng)電場與制氫加氫站的合約交易功率按照合約電價結(jié)算，風(fēng)電場剩余的功率參加日前市場的競標，按照上網(wǎng)電價結(jié)算。制氫加氫站與風(fēng)電場的合約交易功率按照合約電價結(jié)算，其余制氫加氫站消耗功率按照負荷用電電價結(jié)算。

多風(fēng)氫系統(tǒng)的組成設(shè)備包括風(fēng)電機組、電解槽、壓縮機、儲氫罐以及加氫設(shè)備，詳情見附圖A3。多風(fēng)氫系統(tǒng)的運行目的是合理且高效地利用能源，通過優(yōu)化各時段內(nèi)電解槽的制氫功率、風(fēng)電場的上網(wǎng)功率以及合約制氫功率，減少制氫成本的同時提高售電收益，取得多風(fēng)氫系統(tǒng)收益的最大化。在風(fēng)電場出力不足時，多風(fēng)氫系統(tǒng)亦可使用電網(wǎng)功率輔助制氫，提高了多風(fēng)氫系統(tǒng)運行方式的靈活性。

2 多風(fēng)氫系統(tǒng)聯(lián)合運行模型

2.1 風(fēng)電場運行模型

風(fēng)電場t時刻的收益可表示為

式中：i為風(fēng)電場索引；t為時間索引；NW為風(fēng)電場的數(shù)量；為第i個風(fēng)電場t時刻向電網(wǎng)出售的功率；為第i個風(fēng)電場t時刻的合約制氫功率；為t時刻的上網(wǎng)電價； ρw_el為風(fēng)電場與制氫加氫站的合約電價； Δt為調(diào)度時間間隔。

風(fēng)電場上網(wǎng)功率包括出售給電網(wǎng)的功率以及合約制氫功率；風(fēng)電場的上網(wǎng)功率波動嚴重影響電網(wǎng)的電能質(zhì)量，為平滑風(fēng)電場上網(wǎng)功率，在風(fēng)電上網(wǎng)功率越限的情況下將進行棄風(fēng)。風(fēng)電場在運行中滿足有功功率約束。上述要求表示為

2.2 制氫加氫站運行模型

制氫加氫站利用風(fēng)電場合約制氫功率電解制氫，同時在風(fēng)電不足或負荷用電電價較低時吸收電網(wǎng)功率輔助制氫，制備的氫氣將供給氫負荷或存儲于儲氫罐中。

2.2.1 電解槽模型

PEM電解槽具有電解效率高、工作電流密度大、電解槽體積小、易于操作與維護等優(yōu)點，因此本文選用PEM電解槽，電解制氫的關(guān)系可表示為

式中：j為制氫加氫站的索引；為第j個制氫加氫站t時刻單位時間內(nèi)的產(chǎn)氫速率； ηel為電解槽的電解效率；為第j個制氫加氫站t時刻電解槽的輸入功率；HLHV為氫氣的低熱值。

在實際生產(chǎn)中，電解槽的電解效率與電解功率有關(guān)。當電解槽的輸入功率變化時，電解效率隨之改變并呈現(xiàn)出一定的函數(shù)關(guān)系。根據(jù)文獻[24]的制氫效率特性模型所得出的電解功率與電解效率數(shù)據(jù)，擬合出的電解效率函數(shù)可表示為

式中：Pel?為電解槽輸入功率的標幺值。

電解槽運行時滿足的功率約束可表示為

文獻[25]指出，在電極相互獨立的運行模式中，氫氣的純度隨著電流密度的上升而增加，并最終趨于穩(wěn)定值。當電極電流密度達到0.2 A/cm2時，氫氣的純度可以達到99.99%vol以上，符合安全運行的標準，也符合商業(yè)高純度氫的標準。文獻[26]給出了更為具體的最佳電解槽輸入功率，可表示為

2.2.2 壓縮機模型

為提高儲氫罐氫氣的單位存儲密度，常將低壓氫氣通過壓縮機壓縮成高壓氫氣。在壓縮氫氣的過程中，壓縮機所消耗的功率可表示為

2.2.3 儲氫罐模型

為協(xié)調(diào)氫氣的生產(chǎn)與氫負荷需求之間的不平衡，利用儲氫罐存儲多余的氫氣以滿足不時之需。

儲氫罐的總?cè)萘坎捎霉?8)確定

式中：Ctank,j為第j個制氫加氫站的儲氫罐總?cè)萘浚籬d為電解槽滿載運行時長。文獻[27]將hd設(shè)置為24 h，以減少氫負荷需求與氫氣生產(chǎn)的不平衡。本文考慮在電價低谷時期將生成較多的氫氣，功率調(diào)度間隔為15 min，對氫負荷需求的響應(yīng)較為敏感，綜合考慮將hd設(shè)置為6 h。

為滿足儲氫罐的安全運行，在正常運行情況下，儲氫罐的約束可表示為

式中：St,j為第j個制氫加氫站t時刻儲氫罐的儲氫量；Lt,j為 第j個制氫加氫站t時刻的氫氣需求量；為第j個制氫加氫站t時刻單位時間內(nèi)流入儲氫罐的氫氣量；表示第j′個制氫加氫站向第j個制氫加氫站供應(yīng)的氫氣量；表示第j個制氫加氫站向第j′個制氫加氫站輸出的氫氣量；、、、分別為第j、j′個制氫加氫站長管拖車運輸量的上下限；g(t)為符號函數(shù)，表示是否進行氫氣互供； γtank為氫氣從壓縮機到儲氫罐的耗散率；Smax,j、Smin,j分 別為第j個制氫加氫站儲氫罐存儲量的上下限。

2.2.4 制氫加氫站運行收益模型

制氫加氫站將氫氣出售給氫負荷，以此獲得收益；制氫加氫站的運行成本包括購電費用、儲氫費用、電解槽運行維護費用以及氫氣運輸費用；在合約制氫功率不足的情況下，制氫加氫站將向電網(wǎng)購電。制氫加氫站t時刻的收益可表示為

式中：NHS為 制氫加氫站的數(shù)量；mt,j為第j個制氫加氫站t時刻的售氫量； ρH為氫氣的單位售價；為t時刻的電網(wǎng)輔助制氫費用；為t時刻的儲氫費用；為t時刻的電解槽運行維護費用；為t時刻的氫氣運輸費用；為第j個制氫加氫站t時刻的電網(wǎng)輔助制氫功率。為t時刻的負荷用電電價； μs為 單位時間單位量的儲氫費用；kel為單位時間單位電解容量的電解槽運行維護費用；ρtran為氫氣運輸單位成本。

制氫加氫站的有功功率約束可表示為

2.3 多風(fēng)氫系統(tǒng)聯(lián)合優(yōu)化運行模型

以多風(fēng)氫系統(tǒng)聯(lián)合運行收益最大化為目標，多風(fēng)氫系統(tǒng)聯(lián)合優(yōu)化運行模型可表示為

式中：G為 多風(fēng)氫系統(tǒng)聯(lián)合運行收益；T為一天中劃分的時間斷面數(shù)量，本文取96。

3 基于多智體強化學(xué)習(xí)的多風(fēng)氫系統(tǒng)聯(lián)合優(yōu)化運行方法

3.1 多智體強化學(xué)習(xí)

作為人工智能算法的重要分支，強化學(xué)習(xí)通過試錯的方法與環(huán)境進行交互，同時不斷改進動作策略，可以求解復(fù)雜的優(yōu)化決策問題。強化學(xué)習(xí)的目的是獲得最大獎賞或得出最優(yōu)策略，因此，將獎賞函數(shù)設(shè)置為多風(fēng)氫系統(tǒng)收益，其形式如下所示

式中：r為獎勵函數(shù)，表示執(zhí)行一個動作后智體獲得的獎勵值。

為減少維數(shù)災(zāi)難對強化學(xué)習(xí)的影響，應(yīng)用多智體改進強化學(xué)習(xí)。設(shè)多智體強化學(xué)習(xí)有n個決策變量，對應(yīng)n個 單智體，即決策變量k由單智體k所決策。多智體所對應(yīng)的狀態(tài)空間為S，n個單智體對應(yīng)的動作空間分別為A1，...，An。根據(jù)多智體間需進行信息交互的要求，設(shè)置基準獎勵rb作為衡量單智體動作的優(yōu)劣，設(shè)置基準動作作為單智體決策的出發(fā)點，可表示為

當其他智體動作保持不變，僅單智體k改變動作后，獲得的獎勵如下

式中：rk表示單智體k的決策獎勵；s∈S為當前狀態(tài)；ak∈Ak為單智體k的決策動作。單智體k以基準動作為起點，僅改變其決策動作ak，以此探索在單智體k角度上的最優(yōu)動作決策。

單智體k的Q值采用式(16)更新

在Q值的不斷迭代中，單智體k得出的最優(yōu)策略可表示為

3.2 狀態(tài)空間與動作空間的選擇

3.2.1 狀態(tài)空間

對多風(fēng)氫系統(tǒng)聯(lián)合優(yōu)化運行問題，本文選擇風(fēng)電出力、上網(wǎng)電價、負荷用電電價以及儲氫罐儲氫量作為狀態(tài)量。對本文的單智體而言，輸入狀態(tài)為該單智體所屬時間斷面內(nèi)的狀態(tài)量。

首先由于風(fēng)電出力不可控，對于確定時間斷面的風(fēng)電出力狀態(tài)量為一固定值，即各時間斷面下，一個風(fēng)電場只包含1種風(fēng)電出力狀態(tài)量。

其次，類似于風(fēng)電出力，在確定時間斷面下只包含1種上網(wǎng)電價狀態(tài)量和1種負荷用電電價狀態(tài)量。

最后，對于儲氫罐儲氫量，在本文的約束下實際只有1個運行區(qū)間，可表示為：

區(qū)間[Smin,j,Smax,j]為儲氫罐正常運行狀態(tài)，只含有1種狀態(tài)量，各時間斷面下任意1個儲氫罐的儲氫狀態(tài)量都包含于上述運行區(qū)間。

考慮到將一天劃分為T個時間斷面，則狀態(tài)空間S共包含T種狀態(tài)，任意一種狀態(tài)可表示為：

根據(jù)所屬時間斷面的風(fēng)電出力、上網(wǎng)電價、負荷用電電價以及儲氫罐儲氫量，即可唯一確定狀態(tài)。

3.2.2 動作空間

多風(fēng)氫系統(tǒng)中，多智體強化學(xué)習(xí)的決策變量為風(fēng)電上網(wǎng)功率、合約制氫功率以及電解槽輸入功率。依照強化學(xué)習(xí)的動作要求，通過功率的上下限將功率離散化以獲取動作空間。

考慮到風(fēng)電上網(wǎng)功率為0的情況，風(fēng)電上網(wǎng)功率動作共包含d+1個動作。合約制氫功率的動作同風(fēng)電上網(wǎng)功率相同，不再贅述。

考慮到電解槽輸入功率為0的情況，電解槽輸入功率動作共包含b+1個動作。

根據(jù)所屬決策變量，單智體即可確定唯一動作空間。

3.3 多決策更新方法

出于貪婪獲取獎勵的本性，所有單智體的決策都將趨于增大獎勵的方向，對結(jié)果收斂具有較強的引導(dǎo)性。強化學(xué)習(xí)的本質(zhì)是累計經(jīng)驗的過程，該經(jīng)驗反映獎勵增長的趨勢或優(yōu)異動作策略的調(diào)整方向，多個單智體的決策就反映分層次多維度的經(jīng)驗知識。在一次迭代中獲得多個單智體的決策經(jīng)驗積累，強化學(xué)習(xí)的經(jīng)驗知識將呈現(xiàn)多方面、大幅度的增長，學(xué)習(xí)速度將有效提升。

單決策更新與多決策更新的原理見附圖A1。

從圖中可知，在獨立探索階段，單智體通過試錯得出決策進而獲取獎勵，而后利用決策更新基準。對單決策更新而言，最大獎勵決策k被選中進入決策驗證。當該決策獎勵大于基準獎勵時，決策將更新相應(yīng)單智體的基準動作以及基準獎勵形成新的基準，否則決策不被采納，保持原有的基準獎勵以及基準動作。此過程中，僅選擇集體最大獎勵決策更新基準。對多決策更新而言，在更新的過程中多個單智體的決策將得到實現(xiàn)。多決策更新按照決策獎勵由大而小依次排列單智體決策，最大獎勵決策首先進入決策驗證；其次，第二獎勵決策將改變相應(yīng)單智體的基準動作進而獲取獎勵，從而進入決策驗證。如此，依次驗證決策，直至決策驗證完畢。因而多決策更新將利用多個決策實現(xiàn)多個單智體基準動作的更新，基準獎勵也被數(shù)次擴大，加快了獲取獎勵的進程。

在多智體強化學(xué)習(xí)環(huán)境下，依靠單智體在對應(yīng)動作空間探索以獲取最優(yōu)動作決策。單智體k的動作選擇采用ε-greedy策略選擇動作，方法可表示為

式中：p為一隨機數(shù)字；其取值為 0 ≤p≤1,p∈R；0<ε<1為貪婪系數(shù)，表示單智體利用Q表的概率；表示單智體k隨機從可行動作空間Ak中選擇一個動作。

4 算例分析

4.1 基本數(shù)據(jù)

本文以附圖A3所示多風(fēng)氫系統(tǒng)為例。多風(fēng)氫系統(tǒng)包含2個風(fēng)電場和3個制氫加氫站，每個風(fēng)電場的總裝機容量為25 MW，每個制氫加氫站電解槽的總額定容量為16 MW。合約電價是衡量合約雙方能否從聯(lián)合運行中受益的一個關(guān)鍵因素，適當?shù)暮霞s電價可保證各利益主體的利益，但本文主要關(guān)注的是多風(fēng)氫系統(tǒng)的整體收益最大化問題，暫未考慮內(nèi)部收益的分配問題。為此，本文將風(fēng)電場與制氫加氫站之間的合約電價定為285元/MW·h。文獻[28]指出目前出現(xiàn)在市面上的氫氣價格為70～90元/kg。由于本文制取的氫氣大量使用綠色能源，制氫成本較低，為提高氫氣價格的競爭力，取氫氣售價為65元/kg。多風(fēng)氫系統(tǒng)的運行參數(shù)見附錄中的表S1。

類似傳統(tǒng)燃油汽車的需求曲線，氫氣需求百分比曲線如附圖A4所示。多風(fēng)氫系統(tǒng)配置2個風(fēng)電場，典型日風(fēng)電出力曲線如附圖A5所示。本文的調(diào)度時間間隔為 Δt=15min，總的調(diào)度周期為一天，日氫負荷需求為4000 kg/d（每個加氫站的日消耗氫氣量）。為合理利用電力資源，多風(fēng)氫系統(tǒng)運行將遵從峰谷電價機制，分時段電價見附錄中的表S2。

強化學(xué)習(xí)算法參數(shù)方面，學(xué)習(xí)因子α取0.99，獎勵遞減系數(shù)γ取0.1。在狀態(tài)空間方面，在一確定時間斷面下，風(fēng)電出力含1種狀態(tài)量；上網(wǎng)電價含1種狀態(tài)量；負荷用電電價含1種狀態(tài)量；儲氫罐儲氫量含1種狀態(tài)量。本文的多風(fēng)氫系統(tǒng)具有2個風(fēng)電場、3個制氫加氫站，每一時間斷面包含1種輸入狀態(tài)，考慮一天劃分為96個時間斷面，狀態(tài)空間S總共含有96種狀態(tài)。在動作空間方面，例如，在一個時間斷面下，風(fēng)電場B的風(fēng)電出力為15MW，離散為16個固定值，風(fēng)電上網(wǎng)功率動作為{0，1，···，15}MW。對于變量動作的離散個數(shù)無明確的標準，一般情況下可通過實驗做相應(yīng)的調(diào)整。

4.2 不同更新方法下的多風(fēng)氫系統(tǒng)收益收斂情況

本文中，所有單智體在一個基準下得出最優(yōu)決策或探索完畢時，即代表完成一次迭代。不同更新方法下的迭代結(jié)果如附圖A2所示，多風(fēng)氫系統(tǒng)的總收益隨著迭代次數(shù)的增加而得到改善，并最終收斂于某一值。從2種方法的收斂曲線局部放大圖可知，相比于單決策更新方法，多決策更新方法的收斂較為迅速。從數(shù)據(jù)上看，多決策更新方法第0、1、2、3次的迭代結(jié)果分別為18.16、84.50、84.66、84.66萬元；單決策更新方法第 0、1、2、3次的迭代結(jié)果分別為 18.16、19.34、19.81、20.27萬元。多決策更新方法在第3次迭代時，就已完成收斂，這充分說明多決策更新方法可顯著提升算法的收斂性能。

不同方法得到的最終收斂結(jié)果見表1。

表1 不同更新方法得到的結(jié)果Table 1 Results obtained by different update methods

如表1，單決策更新方法不僅收斂結(jié)果較差而且消耗的時間極為漫長，達到12448s之多，深陷維數(shù)災(zāi)難之中，使其失去實用價值。2種方法中多決策更新的收斂時間為473s，不及單決策更新方法的二十分之一，并且收斂結(jié)果更為優(yōu)異。

4.3 優(yōu)化結(jié)果分析

由于風(fēng)電場之間以及電解槽之間具有類似的出力特點，因此以風(fēng)電場B和1號制氫加氫站的電解槽為例說明優(yōu)化結(jié)果。

圖1為風(fēng)電場B出力分配曲線，圖2為1號制氫加氫站電解槽功率。從多風(fēng)氫系統(tǒng)功率分配的總體趨勢可知，在低電價區(qū)間，電解槽出力處于接近滿載的狀態(tài)并且吸收一定的電網(wǎng)功率以彌補電力缺額；在高電價區(qū)間，電解槽停止運行，風(fēng)功率被大量出售給電網(wǎng)。從售電角度看，低電價區(qū)間段向電網(wǎng)出售風(fēng)電難以有效提升收益，將該部分的電力用以制氫卻可以提升風(fēng)電的潛在價值。

從上述結(jié)果可知，強化學(xué)習(xí)可充分利用風(fēng)電，有效調(diào)節(jié)出力分配，實現(xiàn)多風(fēng)氫系統(tǒng)收益的最大化，體現(xiàn)了制氫策略與售電策略的配合。

圖3為制氫加氫站儲氫量的變化曲線圖。在一個運行周期結(jié)束時，儲氫罐的儲氫量回落至下限值附近，有利于下一次制氫。從圖中可以看出，制氫加氫站氫氣的儲存量皆位于儲氫罐下限值之上，沒有出現(xiàn)氫氣供應(yīng)不足的情況。

若考慮任意一個制氫加氫站可向另外2個制氫加氫站提供氫氣，假定使用長管拖車運輸氫氣，平均距離在50km左右，運輸量為250~460 kg，運輸成本為2.5~4.7元/kg[29]，本文運輸成本取3.5元/kg。受限于長管拖車灌充氫氣以及卸載氫氣都需要較長的時間，在一天中可向外輸送氫氣2次，分別為36與64時刻，經(jīng)過1h的運輸可從一個制氫加氫站到達另外一個制氫加氫站。從優(yōu)化的結(jié)果來看，所有制氫加氫站向外輸送的氫氣量皆為0。究其根本，一個原因是長管拖車的運輸時間較長，遠地調(diào)用氫氣可能喪失氫負荷；另外一個原因是受限于運輸成本，間接引起氫氣成本上升，導(dǎo)致售氫利潤下降。

4.4 多風(fēng)氫系統(tǒng)運行收益的影響因素分析

為探究不同因素對于多風(fēng)氫系統(tǒng)收益的影響，下面將改變不同的參數(shù)進行相關(guān)分析。

表2、表3分別為改變氫氣售價和日氫負荷需求所得到的多風(fēng)氫系統(tǒng)收益情況，制氫成本包括購電費用、儲氫費用以及電解槽維護費用，其中購電費用為制氫加氫站向電網(wǎng)的購電費用與合約制氫費用。多風(fēng)氫系統(tǒng)將所有上網(wǎng)功率出售給電網(wǎng)，風(fēng)電場可獲收益23.96萬元；在日氫負荷為4000 kg/d以及氫氣售價為65元/kg的情況下，并且制氫功率完全由電網(wǎng)供給的情況下，平均單位制氫成本為16.80元/kg，制氫加氫站可獲收益57.58萬元。

表2 不同氫氣價格下的多風(fēng)氫系統(tǒng)收益情況Table 2 Revenue of multi wind-hydrogen system under different hydrogen price

從理論上而言，提高氫氣的售價并不會影響多風(fēng)氫系統(tǒng)出售電力，而表2的售電收益有微小不同，是由于強化學(xué)習(xí)算法具有隨機性，在動作決策上將會出現(xiàn)一定的偏差。在降低制氫成本方面，平均單位制氫成本從16.80元下降至聯(lián)合運行后的15.82元，有著較為可觀的降低成本作用。在風(fēng)電場收入方面，其收益從23.96萬元提升至聯(lián)合運行后25.92萬元。制氫加氫站的收益在總收益中占比顯著，在一定程度上主導(dǎo)著多風(fēng)氫系統(tǒng)的收益。

由表3分析可知，伴隨日氫負荷需求量增大，多風(fēng)氫系統(tǒng)收益增加放緩，且聯(lián)合運行平均單位制氫成本增加明顯，但與全電網(wǎng)電量制氫相比，依然有明顯的降低成本作用。結(jié)合圖1與圖2分析可知，隨著日氫負荷增加，電解槽不得不在用電高峰期進行制氫以滿足氫氣需求。本文多風(fēng)氫系統(tǒng)的目標是整體收益最大化，風(fēng)電場為減少多風(fēng)氫系統(tǒng)的用電成本，將減少用電高峰期向電網(wǎng)出售電力以供給制氫加氫站。因此，在日氫負荷需求量增加的情況下，多風(fēng)氫系統(tǒng)的收益雖表現(xiàn)出增長的趨勢，但該趨勢受限于電力資源，收益增長效果減弱。

表3 不同日氫負荷需求下的多風(fēng)氫系統(tǒng)收益情況Table 3 Revenue of multi wind hydrogen system under different daily hydrogen load demand

綜上，在本文的市場因素背景下，氫氣售價深刻影響多風(fēng)氫系統(tǒng)收益。在日氫負荷增加的情況下，多風(fēng)氫系統(tǒng)收益受制于制氫成本，收益增長放緩。從制氫的角度上來看，低廉的電力是促進氫氣產(chǎn)業(yè)發(fā)展的關(guān)鍵因素，良好的售氫價格是維持多風(fēng)氫系統(tǒng)健康發(fā)展的重要外部環(huán)境。

5 結(jié)論

1）在結(jié)合多決策更新方法的情況下，多智體強化學(xué)習(xí)的收斂速度得到提升，收斂時間從單決策更新的12448 s減少至473 s，在一定程度上克服了多決策變量所帶來的維數(shù)災(zāi)難，可有效求解多風(fēng)氫系統(tǒng)聯(lián)合優(yōu)化運行問題。

2）算例仿真結(jié)果表明，在低電價區(qū)間，多風(fēng)氫系統(tǒng)大量制氫僅有少量電力出售給電網(wǎng)；在高電價區(qū)間，多風(fēng)氫系統(tǒng)減少制氫而將大部分電力出售給電網(wǎng)。因此，出力分配在減少多風(fēng)氫系統(tǒng)的制氫成本和增加售電收益方面具有合理性。通過風(fēng)電場與制氫加氫站的聯(lián)合運行，多風(fēng)氫系統(tǒng)僅是由于平滑上網(wǎng)的約束出現(xiàn)少量棄風(fēng)；平均單位制氫成本從全電網(wǎng)功率制氫的16.80元下降至聯(lián)合運行后的15.82元；總收益從聯(lián)合運行前的81.54萬元上升至聯(lián)合運行后的84.66萬元。因此，多風(fēng)氫系統(tǒng)聯(lián)合運行在促進風(fēng)電消納，減少制氫成本以及增加收益方面將產(chǎn)生積極作用。

表 S1 算例參數(shù)Table S1 Example parameters

表 S2 分時段電價Table S2 Electricity price of TOU

3）通過對影響多風(fēng)氫系統(tǒng)收益的因素分析可知，在本文的市場因素前提下，氫氣售價在一定程度上主導(dǎo)著總收益，良好的氫氣售價對于維持多風(fēng)氫系統(tǒng)的發(fā)展至關(guān)重要；隨著日氫負荷的增長，聯(lián)合運行平均單位制氫成本從14.61元上升至17.51元，電力資源制約著多風(fēng)氫系統(tǒng)的收益。

（本刊附錄請見網(wǎng)絡(luò)版，印刷版略）

附錄 A