方 冰

(合肥工業(yè)大學(xué)電氣與自動(dòng)化工程學(xué)院，合肥 230009)

發(fā)電機(jī)、變速箱、葉片與液壓元件是風(fēng)力發(fā)電機(jī)的核心部分，據(jù)相關(guān)統(tǒng)計(jì)發(fā)現(xiàn)，由葉片、變速箱失效導(dǎo)致風(fēng)力發(fā)電機(jī)故障的概率達(dá)到了79%[1]，風(fēng)力發(fā)電機(jī)變速箱在工作中處于高速旋轉(zhuǎn)狀態(tài)，在壓力與磨損共同作用下[2]，其性能和工作效率逐漸劣化，甚至引起整個(gè)變速箱故障。

劣化系統(tǒng)的狀態(tài)維修決策問(wèn)題是目前設(shè)備維護(hù)領(lǐng)域的熱點(diǎn)問(wèn)題之一，相關(guān)學(xué)者對(duì)這方面的研究也取得了一定的成果。Byon E和Ding Y把風(fēng)力發(fā)電機(jī)系統(tǒng)看作有多種故障模式的多狀態(tài)退化系統(tǒng)，考慮了自然條件因素，基于馬爾可夫決策過(guò)程討論了劣化系統(tǒng)的維修策略優(yōu)化[3]；Tai A H和Chan L Y研究了考慮維修時(shí)間分布的基于預(yù)防維修閥值的連續(xù)狀態(tài)維修優(yōu)化模型[4]；劉華鵬研究了風(fēng)電機(jī)組的變速箱的狀態(tài)維修，以單位時(shí)間費(fèi)用最低為目標(biāo)，建立了單部件最優(yōu)更換時(shí)間模型[5]；程志君研究了連續(xù)劣化系統(tǒng)的狀態(tài)維修模型，用Levy過(guò)程描述其狀態(tài)變化，利用更新過(guò)程理論解決了此類優(yōu)化問(wèn)題[6]。

筆者以風(fēng)機(jī)變速箱為研究對(duì)象，將系統(tǒng)連續(xù)的劣化過(guò)程劃分為有限劣化狀態(tài)，把變速箱隨著時(shí)間逐漸劣化的過(guò)程看成一個(gè)Gamma過(guò)程，以風(fēng)機(jī)長(zhǎng)期運(yùn)行的單位時(shí)間費(fèi)用為最小為目標(biāo)，建立基于半馬爾可夫決策過(guò)程的狀態(tài)維修[7]優(yōu)化模型。

1 變速箱隨機(jī)劣化過(guò)程模型①

將風(fēng)力發(fā)電機(jī)變速箱系統(tǒng)的劣化過(guò)程離散成n個(gè)狀態(tài)，風(fēng)力發(fā)電機(jī)組通常采用三級(jí)行星齒輪箱(由行星齒輪和三級(jí)齒輪組成)，高速運(yùn)轉(zhuǎn)的齒輪經(jīng)常會(huì)由于磨損、振動(dòng)、溫度過(guò)高而發(fā)生故障，從而影響整個(gè)變速箱的運(yùn)行狀態(tài)。把變速箱的劣化過(guò)程看成是齒輪磨損程度逐漸累積的結(jié)果，設(shè)其一段時(shí)間內(nèi)的隨機(jī)磨損增量服從參數(shù)為(γtint,β)的Gamma分布：

(1)

考慮變速箱的狀態(tài)還受環(huán)境的隨機(jī)沖擊影響，假定沖擊是在決策時(shí)刻點(diǎn)之前瞬間發(fā)生的，若沖擊前系統(tǒng)狀態(tài)處于i，沖擊可能使?fàn)顟B(tài)發(fā)生瞬時(shí)轉(zhuǎn)移，且轉(zhuǎn)移到j(luò)的概率為qij，則[qij]為沖擊轉(zhuǎn)移概率矩陣。變速箱系統(tǒng)也可能由于受到環(huán)境沖擊或者人為失誤操作導(dǎo)致其他零部件的性能降低，這樣就會(huì)增加一項(xiàng)額外費(fèi)用，并設(shè)如果沖擊使?fàn)顟B(tài)從i轉(zhuǎn)移到j(luò)產(chǎn)生的損失費(fèi)用為cij，則變速箱的劣化過(guò)程如圖1所示。

圖1 變速箱劣化過(guò)程示意圖

半馬爾可夫決策過(guò)程一般由六元組組成，具體為{S,A,P(i,j,v(i)),Q(i,j,v(i))，r(i,v(i)),V},其中i,j∈S、a∈A。

狀態(tài)空間S={1,2,…，i,…,j，…，n}，其中1為葉片完好狀態(tài)，n為葉片劣化故障狀態(tài)。

決策A={m,tint}，決策者在離散時(shí)刻點(diǎn)T(0),T(1),…,T(n)對(duì)葉片和變速箱同時(shí)進(jìn)行檢測(cè)觀察，得到變速箱的狀態(tài)信息，再根據(jù)這一信息采取適當(dāng)?shù)拇胧?。其中，維修方式記為m={1,2,3,4}={不修，小修，大修，更換}，tint為下一次檢測(cè)時(shí)間間隔。

令發(fā)生隨機(jī)沖擊的概率均為μ，設(shè)系統(tǒng)經(jīng)過(guò)維修后的狀態(tài)為k，發(fā)生沖擊時(shí)系統(tǒng)處于狀態(tài)k′，設(shè)X(n)表示決策時(shí)刻點(diǎn)T(n)時(shí)系統(tǒng)所處的狀態(tài)，X(n+1)表示決策時(shí)刻點(diǎn)T(n+1)時(shí)系統(tǒng)所處的狀態(tài)。令v∈Ωs，Ωs是全體平穩(wěn)策略的集合，v(i)表示在決策時(shí)刻點(diǎn)T(n)時(shí)采取的決策，運(yùn)行如圖2所示。

圖2 變速箱運(yùn)行過(guò)程示意圖

則變速箱的狀態(tài)轉(zhuǎn)移概率矩陣可表示成：

P(i,j,v(i))={X(n)=i,X(n+1)=j,v(i)=(m,tint)}

(2)

其中[pik]表示系統(tǒng)經(jīng)過(guò)維修后的轉(zhuǎn)移概率，[pkj]表示系統(tǒng)自然運(yùn)行時(shí)的轉(zhuǎn)移概率矩陣，稱為自然轉(zhuǎn)移概率，其表達(dá)式為：

(3)

(4)

且兩個(gè)決策時(shí)刻間隔時(shí)間分布函數(shù)為：

(5)

代價(jià)函數(shù)表示當(dāng)前決策時(shí)刻系統(tǒng)狀態(tài)處于i，采取策略v(i)，直到下一個(gè)決策時(shí)刻系統(tǒng)產(chǎn)生的總成本。由每次檢測(cè)變速箱的費(fèi)用cins、維修費(fèi)用cm、沖擊損失費(fèi)用cij、系統(tǒng)單位時(shí)間的停機(jī)損失費(fèi)用c和系統(tǒng)處于劣化狀態(tài)k的單位時(shí)間損失費(fèi)用c(k)組成。變速箱系統(tǒng)的代價(jià)函數(shù)在葉片維修決策模型的基礎(chǔ)上增加了一個(gè)沖擊損失費(fèi)用。

若未發(fā)生隨機(jī)沖擊，代價(jià)函數(shù)表示為：

λj-1c(j)tint/(λk-1+…+λj-1)

(6)

若發(fā)生了隨機(jī)沖擊，代價(jià)函數(shù)表示為：

λk′-1c(k′)tint/(λk-1+…+λk′-1)+ck′j

(7)

準(zhǔn)則函數(shù)：設(shè)α為折扣因子且0<α<1，r(X(n),v(X(n))表示Tn→Tn+1時(shí)間內(nèi)的單位時(shí)間期望代價(jià)，則無(wú)限階段的系統(tǒng)平均代價(jià)準(zhǔn)則可表示為：

(8)

2 Q學(xué)習(xí)算法

Q學(xué)習(xí)算法是一種基于隨機(jī)動(dòng)態(tài)過(guò)程的強(qiáng)化學(xué)習(xí)常見(jiàn)方法[8，9]，適用于模型信息不完全可知的馬爾可夫系統(tǒng)和半馬爾可夫系統(tǒng)的決策問(wèn)題，其基本思想是通過(guò)樣本軌道學(xué)習(xí)并更新所有可能的狀態(tài)行動(dòng)對(duì)的函數(shù)值Qα(Xn,v(Xn))。

根據(jù)性能勢(shì)的特點(diǎn)可以得到系統(tǒng)在折扣和平均準(zhǔn)則下統(tǒng)一的計(jì)算公式，即Q因子的即時(shí)差分公式可表示為：

(9)

w(n)=T(n+1)-T(n)

(10)

(11)

ηn=(1-γn)ηn-1+γnf(Xn,v(Xn))

(12)

其中，γn為學(xué)習(xí)步長(zhǎng)，則Q因子的迭代公式為：

Qα(Xn,v(Xn))=Qα(Xn,v(Xn))+γndn

(13)

經(jīng)典的Q學(xué)習(xí)算法通常采取貪心策略的思想進(jìn)行探索利用，前面介紹的半馬爾可夫決策過(guò)程的狀態(tài)維修優(yōu)化模型為該算法在維修決策問(wèn)題中的運(yùn)用提供了可靠的理論基礎(chǔ)。

3 仿真實(shí)例

以FL-2500風(fēng)力發(fā)電機(jī)作為研究對(duì)象，將變速箱的劣化過(guò)程離散成為5個(gè)狀態(tài)，即S={1，2，3，4，5}，假設(shè)變速箱系統(tǒng)的各非故障狀態(tài)的逗留時(shí)間均服從參數(shù)λ=0.002的指數(shù)分布，設(shè)齒輪單位時(shí)間磨損增量服從參數(shù)為β=0.0001的指數(shù)分布，每次的檢測(cè)費(fèi)用為cins=50，小修、大修、更換的維修費(fèi)用分別為3 000、7 500、150 000元，即cm={0，3 000，7 500，150 000}，小修、大修、更換的維修時(shí)間分別服從參數(shù)μm為0.5、0.2、0.1的指數(shù)分布，5個(gè)狀態(tài)單位時(shí)間損失的費(fèi)用依次為0、50、100、150、200，即c(k)={0，50，100，150}，且故障狀態(tài)損失的單位時(shí)間費(fèi)用也就是停機(jī)損失的單位時(shí)間費(fèi)用設(shè)為c=200。設(shè)變速箱各狀態(tài)下發(fā)生環(huán)境沖擊的概率均為μ=0.001，并將沖擊使得發(fā)生狀態(tài)轉(zhuǎn)移的概率和產(chǎn)生的單位時(shí)間損失的費(fèi)用分別為：

(14)

(15)

根據(jù)前面介紹的策略迭代算法和Q學(xué)習(xí)算法，并利用Matlab7.1進(jìn)行編程求解得到平均準(zhǔn)則下的仿真結(jié)果(圖3、4)。

圖3 變速箱模型的策略迭代優(yōu)化曲線

圖4 變速箱模型的Q學(xué)習(xí)優(yōu)化曲線

通過(guò)策略迭代算法和Q學(xué)習(xí)算法得到的變速箱系統(tǒng)的最優(yōu)單位時(shí)間(每天)費(fèi)用為37.61元，最優(yōu)維修策略為：v*={(1,281),(2,217),(2,60),(3,205),(4,281)}。將幾個(gè)不同檢測(cè)時(shí)間間隔值進(jìn)行若干次仿真數(shù)據(jù)后整理得到檢測(cè)時(shí)間間隔與費(fèi)用率的關(guān)系圖(圖5)?？梢詮淖顑?yōu)維修策略中看出當(dāng)變速箱系統(tǒng)處于中間狀態(tài)3時(shí)，其檢測(cè)時(shí)間間隔比其他劣化狀態(tài)下的檢測(cè)時(shí)間間隔小很多，這是因?yàn)樵跔顟B(tài)3時(shí)進(jìn)行小修可以使系統(tǒng)恢復(fù)到狀態(tài)2，而狀態(tài)2的檢測(cè)時(shí)間間隔較

圖5 檢測(cè)時(shí)間間隔與費(fèi)用率的關(guān)系

長(zhǎng)，劣化單位時(shí)間費(fèi)用較低，且回到完好狀態(tài)也只需小修，若在狀態(tài)3采取大修或者更換，其昂貴的維修費(fèi)用可能導(dǎo)致得不償失。

4 結(jié)束語(yǔ)

針對(duì)離散狀態(tài)的半馬爾可夫決策過(guò)程的狀態(tài)維修模型，建立風(fēng)力發(fā)電機(jī)變速箱的Gamma過(guò)程劣化模型，并且通過(guò)理論仿真和學(xué)習(xí)仿真對(duì)模型進(jìn)行求解分析，證明了模型的經(jīng)濟(jì)性和有效性。對(duì)于連續(xù)狀態(tài)的情況，仍需要進(jìn)一步的研究與討論。