蔣飛勇

（廣州健新科技有限責(zé)任公司，廣東 廣州 510000）

0 引言

有效的管控措施不僅直接關(guān)系到水電機組運行的穩(wěn)定性，更與機組所在生產(chǎn)環(huán)境的安全密切相關(guān)[1]。對此文獻(xiàn)[2]建立了考慮梯級水電站耦合的水火電系統(tǒng)年度機組檢修優(yōu)化模型，考慮系統(tǒng)、機組、水庫的運行約束，并采用代理絕對值拉格朗日松弛法求解，在一定程度上起到了提高輸電機組安全性的作用。但是其在具體實施過程中需要大量的人力投入。文獻(xiàn)[3]探索了一種融合虛擬現(xiàn)實、智能決策、電站多元信息的數(shù)字化檢修技術(shù)，并基于此開發(fā)抽水蓄能電站機組檢修數(shù)字化管理系統(tǒng)。但是隨著水電機組運行周期的延長，其性能參數(shù)也會發(fā)生相應(yīng)變化，這就意味著以固定的標(biāo)準(zhǔn)對其實施管控是難以實現(xiàn)的。

結(jié)合上述研究內(nèi)容以及實際水電機組檢修工作執(zhí)行的情況，該文提出基于多智能體強化學(xué)習(xí)的水電機組標(biāo)準(zhǔn)化檢修管控方法研究，構(gòu)建了智能化管控裝置，并通過對輸電機組設(shè)備的歷史運行狀態(tài)數(shù)據(jù)進(jìn)行強化學(xué)習(xí)，對相關(guān)檢修工作的執(zhí)行標(biāo)準(zhǔn)進(jìn)行更新優(yōu)化，確保對應(yīng)管控的合理性，并通過實際應(yīng)用測試的方式分析驗證了設(shè)計管控方法的可靠性。

1 水電機組標(biāo)準(zhǔn)化檢修管控方法設(shè)計

檢修進(jìn)度與資源的科學(xué)規(guī)劃關(guān)乎檢修計劃能否按期完成。針對傳統(tǒng)水電機組檢修管控方法對檢修進(jìn)度與資源管理的不足，該文在多智能體的基礎(chǔ)上引入了強化學(xué)習(xí)機制，構(gòu)建了多智能體強化學(xué)習(xí)機制，以實現(xiàn)對檢修過程實時跟蹤和智能化管控，優(yōu)化資源配置，為檢修工作順利完成提供標(biāo)準(zhǔn)化數(shù)據(jù)支撐。

1.1 水電機組檢修管控前期準(zhǔn)備

檢修管控前期準(zhǔn)備工作是檢修標(biāo)準(zhǔn)化工作的重要環(huán)節(jié)，關(guān)系到檢修目標(biāo)能否最終實現(xiàn)。首先，確認(rèn)檢修項目名稱、上次檢修時間、檢修級別、檢修所需備件、標(biāo)準(zhǔn)項目。其次，由相關(guān)專業(yè)人員根據(jù)檢修設(shè)備運行情況、上次檢修存在的缺陷和遺留問題、技術(shù)監(jiān)督數(shù)據(jù)、設(shè)備檢修規(guī)程等進(jìn)行綜合分析，提出水電機組檢修重大技改項目和設(shè)備重大缺陷，并將其作為檢修依據(jù)，制定相應(yīng)的專項施工方案。檢修作業(yè)包括各系統(tǒng)的檢修、水輪機系統(tǒng)檢修、發(fā)電機系統(tǒng)檢修、輔機系統(tǒng)檢修、大型設(shè)備專項吊裝等[4]。最后，確認(rèn)檢修工具是否準(zhǔn)備充分，這將直接影響檢修目標(biāo)的完成。在檢修之前應(yīng)對檢查器具進(jìn)行整理，并及時補充檢修所需要的檢修器具，如檢修工器具、安全防護(hù)用品等。

1.2 多智能體強化學(xué)習(xí)機制構(gòu)建

考慮現(xiàn)階段的水電機組已經(jīng)實現(xiàn)了較大規(guī)模的智能化建設(shè)[5]，該文借助多智能體實現(xiàn)對對應(yīng)設(shè)備運行狀態(tài)的分析。在設(shè)計階段，為了最大限度保證對設(shè)備異常識別的準(zhǔn)確性，該文為多智能體引入了強化學(xué)習(xí)機制。將Q-Learning與W-Learning相結(jié)合，在動作選擇和執(zhí)行階段，根據(jù)學(xué)習(xí)到的策略獨立選擇動作，以有效減少學(xué)習(xí)階段的計算量。先構(gòu)建強化學(xué)習(xí)智能體，將水電機組作為強化學(xué)習(xí)智能體的學(xué)習(xí)環(huán)境，智能體m在機組運行過程中進(jìn)行異常狀態(tài)屬性s的感知，狀態(tài)屬性集包括設(shè)備延遲時間st、異常運行溫度c、冷卻水壓p等水電機組運行過程中相關(guān)的設(shè)備狀態(tài)信息。在此基礎(chǔ)上，智能體根據(jù)所對應(yīng)的異常狀態(tài)屬性s選擇檢修動作Ae，智能體根據(jù)所感知的異常狀態(tài)進(jìn)行自學(xué)習(xí)，其中在每次學(xué)習(xí)迭代過程[σ，σ+1]下智能體的預(yù)測函數(shù)w可定義為公式（1）。

式中：xm（t）為水電機組異常狀態(tài)屬性s的迭代函數(shù)。

在水電機組正常運行時xm（t）=1，水電機組發(fā)生故障或空閑時xm（t）=0。假設(shè)在初始狀態(tài)下水電機組正常運行的參數(shù)為x0，那么多智能體實施對機組異常狀態(tài)判定時也是以其為基準(zhǔn)進(jìn)行的。但是在運行過程中，受自身磨損以及周圍環(huán)境等因素的共同作用，正常運行參數(shù)會出現(xiàn)一定程度的波動[6]，對該波動程度的計算方式如公式（2）所示。

式中：k為水電機組正常運行參數(shù)的波動程度；x為在運行t時間后，水電機組的實際參數(shù)信息。

當(dāng)t無限趨近于0時，k與t呈線性關(guān)系存在，利用這一特性，篩選智能體在水電機組各種異常狀態(tài)下能夠達(dá)到最大回報的決策行為。為了均衡智能體在學(xué)習(xí)過程中的發(fā)現(xiàn)和利用，采用平衡智能體決策策略局部搜索和全局搜索，以改善其在虛擬環(huán)境中智能體的學(xué)習(xí)效果。另外，將經(jīng)過訓(xùn)練完備的智能體運用于實際生產(chǎn)流程中，能夠根據(jù)當(dāng)前的水電設(shè)備運行狀況自主制定決策行為，并對水電機組中存在的不確定性異常因素進(jìn)行智能決策優(yōu)化。該文基于以上強化學(xué)習(xí)機制內(nèi)容，借助Speedy Q－learning的更新方法，解決強度學(xué)習(xí)算法存在的計算量大、收斂速度慢等問題。Speedy Qlearning的主要思想是將上一迭代步更新后的Q值作為下一狀態(tài)的最大Q值，可有效提高算法的收斂速度。對多智能體中的標(biāo)準(zhǔn)值進(jìn)行更新，對應(yīng)的更新機制可以為公式（3）。

式中：x（t）為任意時刻多智能體中判斷水電機組異常狀態(tài)的標(biāo)準(zhǔn)參數(shù)信息；Δ為歷史觀測數(shù)據(jù)的誤差范圍； 為學(xué)習(xí)函數(shù)，可利用其計算出連續(xù)的k變化率。

需要注意的是，當(dāng)公式（2）計算得出的水電機組正常狀態(tài)判斷標(biāo)準(zhǔn)參數(shù)超出設(shè)備自身的設(shè)計值時，表明此時的設(shè)備已經(jīng)達(dá)到了最大使用壽命，需要進(jìn)行更新替換處理。

通過Speedy Q－learning算法在下一狀態(tài)聯(lián)合動作空間的子空間上進(jìn)行部分采樣并求取最大Q值。為減少學(xué)習(xí)階段的計算量，提高算法的運行效率，該文在多智能體中引入強化學(xué)習(xí)機制，以便在執(zhí)行水電機組標(biāo)準(zhǔn)化檢修管控過程中根據(jù)當(dāng)前水電機組的實際運行狀態(tài)準(zhǔn)確判斷負(fù)荷，如果水電機組的實際運行狀態(tài)出現(xiàn)異常，可及時發(fā)現(xiàn)并進(jìn)行相應(yīng)的故障處理。

1.3 水電機組檢修管控

該文在構(gòu)建多智能體強化學(xué)習(xí)機制的基礎(chǔ)上對水電機組進(jìn)行檢修管控。在實現(xiàn)水電機組檢修管控的過程中，該文建立了多智能體與水電機組管控系統(tǒng)之間的連接關(guān)系?？紤]水電機組的原始數(shù)據(jù)大多是以Wigner-Ville分布（Wigner-Ville Distribution，WVD）的形式存在的，因此該文利用RDF策略為多智能體設(shè)置了數(shù)據(jù)轉(zhuǎn)化指令。接收到WVD形式的狀態(tài)數(shù)據(jù)文件后，將其制成RDF文件，再利用WVD-RDF數(shù)據(jù)，將對應(yīng)的參數(shù)信息集成為SVG圖形的形式。這樣做的目的是在確定水電機組異常的同時，能夠同步確定對應(yīng)的故障位置。為了滿足多智能體的強化學(xué)習(xí)需求，該文為其建立了數(shù)據(jù)存儲模式，考慮水電機組的數(shù)據(jù)規(guī)模較大，直接存儲需要較大的空間，因此采用EEMD分解后將數(shù)據(jù)轉(zhuǎn)化為以元素為基礎(chǔ)單元的矩陣形式。多智能體接收到實時水電機組運行數(shù)據(jù)后，經(jīng)上述處理，并利用智能體的中間件基礎(chǔ)架構(gòu)匹配數(shù)據(jù)中故障要素與計算得到的實時標(biāo)準(zhǔn)參量之間的關(guān)系，實現(xiàn)對其異常情況的準(zhǔn)確識別。具體的實現(xiàn)流程如圖1所示。

如圖1所示，多智能體通過消息傳遞接口（MPI）建立與水電機組運行數(shù)據(jù)后，根據(jù)歷史數(shù)據(jù)的發(fā)展情況計算實時異常狀態(tài)判斷標(biāo)準(zhǔn)，在此基礎(chǔ)上將輸入多智能體中的數(shù)據(jù)轉(zhuǎn)化為RDF文件，并對比其與狀態(tài)判斷標(biāo)準(zhǔn)之間的關(guān)系。當(dāng)其在標(biāo)準(zhǔn)參數(shù)范圍內(nèi)時，表明此時的機組處于正常狀態(tài)；當(dāng)其超出標(biāo)準(zhǔn)參數(shù)范圍時，則表明此時的機組存在異常。結(jié)合SVG圖形實現(xiàn)對具體故障位置的定位，并將其作為檢修工作的執(zhí)行指令傳輸?shù)剿姍C組管控系統(tǒng)中。

圖1 基于多智能體的水電機組檢修管控流程

通過這樣的方式并結(jié)合實際情況實現(xiàn)對水電機組運行狀態(tài)的判斷，以更合理的標(biāo)準(zhǔn)實現(xiàn)對檢修工作的管控，確保檢修管控的執(zhí)行效果。此外，還需要為每個智能體設(shè)計一個單一目標(biāo)問題，為了保證獲得預(yù)期的收益，必須在最優(yōu)時給予智能體相應(yīng)報酬，但這也會造成在一個模型中出現(xiàn)貪婪行為，解決方案如下：在每段時間內(nèi)對智能體的行為進(jìn)行調(diào)節(jié)，直至被認(rèn)可。且為了避免在高需求階段對非關(guān)鍵的智能體進(jìn)行檢修，將問題轉(zhuǎn)化為一個多目標(biāo)問題，因此水電機組優(yōu)化的第二個目標(biāo)是對智能體的不當(dāng)行為進(jìn)行處罰。如果智能體決定在需求量高時被維修，則對智能體模型輸入懲罰，這可以由預(yù)測元件所提供的未來環(huán)境狀況信息來完成。

2 應(yīng)用測試與分析

在對該文設(shè)計的基于多智能體強化學(xué)習(xí)的水電機組標(biāo)準(zhǔn)化檢修管控方法的應(yīng)用效果進(jìn)行測試的階段，該文以實際環(huán)境為基礎(chǔ)，將所設(shè)計的方法與文獻(xiàn)[7]提出的基于TOPSIS的抽水蓄能機組設(shè)備重要度評估方法、文獻(xiàn)[8]提出的電機組狀態(tài)監(jiān)測數(shù)據(jù)清洗方法進(jìn)行對比，通過對三種管控方法下的檢修執(zhí)行效果進(jìn)行分析來對該文設(shè)計的管控方法的應(yīng)用價值做出客觀評價。

2.1 測試環(huán)境

該文以某企業(yè)的水電機組為測試對象，測試電站配備的機組類型為混流式水輪發(fā)電機組，共6臺，具體的運行功率參數(shù)均為550MW。在對測試裝置的數(shù)據(jù)進(jìn)行獲取階段，該文主要采用S8000在線監(jiān)測系統(tǒng)。在具體的實施過程中，分別通過位移傳感器實現(xiàn)對機組擺度信號的實時獲取。為了確保采集數(shù)據(jù)信息的完整性和可靠性，對位移傳感器位置的布置需要兼顧水輪發(fā)電機組在不同方向上的具體運行情況，按照垂直的方式在水導(dǎo)軸承X方向、Y方向設(shè)置2個傳感裝置。在此基礎(chǔ)上，設(shè)置采樣數(shù)據(jù)平均時間間隔為30分鐘，共獲取166組數(shù)據(jù)。以此數(shù)據(jù)為基礎(chǔ)，分別設(shè)置不同的故障狀態(tài)，并采用三種方法實施檢修管控。在對三種方法的管控效果進(jìn)行分析階段，該文以其對水電機組故障狀態(tài)的檢修效果為評價指標(biāo)。

2.2 測試結(jié)果

按照上述測試環(huán)境設(shè)置情況，該文差異化設(shè)置水電機組檢修故障的類型和程度，具體見表1。

表1 水電機組檢修故障設(shè)置/μm

按照表1所示的方式，分別對每組檢修故障進(jìn)行30次測試，如果在測試階段對故障的有效檢修次數(shù)達(dá)到30次，則表明對應(yīng)的管控方法能夠?qū)崿F(xiàn)對水電機組異常情況的有效管控。隨著有效檢修次數(shù)的降低，表明對應(yīng)的管控方法在水電機組檢修中的應(yīng)用效果也相應(yīng)降低。統(tǒng)計不同管控方法下的測試結(jié)果，得到的數(shù)據(jù)信息見表2。

表2 不同管控方法下水電機組故障檢修效果統(tǒng)計

從表2可以看出，在不同水電機組故障狀態(tài)下進(jìn)行的測試結(jié)果中，文獻(xiàn)[5]和文獻(xiàn)[6]方法的測試結(jié)果均隨著異常程度的減弱而表現(xiàn)出管控效果逐漸下降的趨勢。其中，文獻(xiàn)[5]方法的管控效果受故障程度的影響更明顯。當(dāng)水導(dǎo)軸承X方向擺度異常程度達(dá)到5.0μm時，檢修階段對其的準(zhǔn)確檢修次數(shù)達(dá)到28次，但是當(dāng)短路阻抗異常程度僅為2.0μm時，檢修階段對其的準(zhǔn)確檢修次數(shù)也僅為22次，表明此時有8次測試并未實現(xiàn)對故障的有效檢出，這對水電機組的安全運行是十分不利的。雖然從整體角度分析，文獻(xiàn)[8]方法的管控效果波動性低于文獻(xiàn)[7]方法，但是對實際的水電機組檢修工作而言也存在一定的不足。相比之下，該文設(shè)計方法對不同類型和程度故障的準(zhǔn)確檢修次數(shù)均在26次以上，并且測試結(jié)果并未受到故障程度的明顯影響。測試結(jié)果表明，該文設(shè)計的基于多智能體強化學(xué)習(xí)的水電機組標(biāo)準(zhǔn)化檢修管控方法可以實現(xiàn)對水電機組檢修工作執(zhí)行質(zhì)量的有效管控，對提高故障檢出效果具有積極作用。

基于上述試驗內(nèi)容，使用訓(xùn)練集大小為200的水電機組數(shù)據(jù)庫，對該文檢修管控方法進(jìn)行驗證。假定所有數(shù)據(jù)集具有相同的擴展功能，通過故障檢測成功率試驗可以發(fā)現(xiàn)，使用基于多智能體強化學(xué)習(xí)的水電機組標(biāo)準(zhǔn)化檢修管控方法進(jìn)行故障檢測，成功率達(dá)到99%以上。數(shù)值結(jié)果表明，該文檢修管控方法在區(qū)分水電機組參數(shù)集中所有的故障參數(shù)方面較為有效。這是因為該文方法利用強化學(xué)習(xí)機制實現(xiàn)了對水電機組異常判斷標(biāo)準(zhǔn)的實時更新，利用智能體的中間件基礎(chǔ)架構(gòu)，匹配數(shù)據(jù)中故障要素與計算得到的實時標(biāo)準(zhǔn)參量之間的關(guān)系，可實現(xiàn)對其異常情況的準(zhǔn)確識別。

3 結(jié)語

為了確保水電機組檢修工作的執(zhí)行效果，實施有效的管控方法是極為重要的。該文提出基于多智能體強化學(xué)習(xí)的水電機組標(biāo)準(zhǔn)化檢修管控方法，以智能裝置為執(zhí)行載體，在引入強化學(xué)習(xí)機制的基礎(chǔ)上，實現(xiàn)了對水電機組檢修工作的標(biāo)準(zhǔn)化管控。希望該文的研究內(nèi)容能夠為實際的檢修工作提供有價值的參考，助力水電機組的安全運行。