葉鴻慶， 蘇華德， 鄭美妹， 夏唐斌

(1. 上海交通大學(xué) 機(jī)械與動力工程學(xué)院, 上海 200240； 2. 上海江南長興造船有限責(zé)任公司，上海201913)

符號說明

a—決策動作

A—決策動作空間，a∈A

c1—常規(guī)供應(yīng)商備件的單位購買價格

c2—緊急供應(yīng)商備件的單位購買價格

cc—單個零件故障后替換成本

cd—單個零件失效的懲罰成本

cF—零件訂購的固定成本

ch—單個零件的持貨成本

cp—單個零件預(yù)防性替換成本

cs—替換的準(zhǔn)備成本

C(s,a)—狀態(tài)s下執(zhí)行動作a后的動作成本

f—策略的總成本

g—策略的計算時間

h0—在庫庫存量

hj—j個檢測間隔后到達(dá)的備件數(shù)量

hj|a—執(zhí)行動作a后的備件數(shù)量

H—系統(tǒng)庫存水平限制

l1—常規(guī)供應(yīng)商的提前期

l2—緊急供應(yīng)商的提前期

L—失效閾值

mi—零件i的替換決策，1表示替換，0表示不替換

N—系統(tǒng)零件數(shù)量

p1,p2—向常規(guī)和緊急供應(yīng)商訂購的備件數(shù)量

q—啟發(fā)式策略的成本增加率

r(xi)—單個零件的替換成本函數(shù)

s—馬爾科夫決策的系統(tǒng)狀態(tài)

sa—執(zhí)行動作a后的系統(tǒng)狀態(tài)

S—系統(tǒng)狀態(tài)空間，s∈S

T—檢測周期

Vn(s)—系統(tǒng)狀態(tài)s在算法第n次迭代時的狀態(tài)值

xi—零件i退化值

xi|a—執(zhí)行動作a后的零件退化狀態(tài)

α—零件退化率

ε—算法迭代的誤差收斂因子

制造企業(yè)中，設(shè)備維護(hù)成本是企業(yè)總成本的重要組成部分，與維護(hù)相關(guān)的支出(設(shè)備替換和停機(jī)成本等)最高可占據(jù)生產(chǎn)成本的70%[1].有效的設(shè)備維護(hù)策略可以減少設(shè)備故障時間，是降低維護(hù)成本，增強(qiáng)企業(yè)競爭力的重要舉措.維護(hù)策略中，基于設(shè)備狀態(tài)的維護(hù)(視情維護(hù))策略根據(jù)設(shè)備退化的實時狀態(tài)動態(tài)地制定維護(hù)決策，從而具有精確性和實時性，逐漸成為維護(hù)策略的主流.在視情維護(hù)策略研究中，沈南燕等[2]根據(jù)關(guān)鍵設(shè)備的狀態(tài)監(jiān)測數(shù)據(jù)預(yù)估故障概率，在此基礎(chǔ)上建立數(shù)學(xué)模型，優(yōu)化了設(shè)備的維護(hù)時間.De Jonge等[3]針對單零件系統(tǒng)，通過數(shù)值實驗比較了視情維護(hù)策略和其余維護(hù)策略的有效性.侯文瑞等[4]基于相對劣化度建立了視情維護(hù)決策模型，并通過算例分析驗證了模型有效性.

大多數(shù)維護(hù)文獻(xiàn)都假設(shè)備件的庫存量始終得到滿足，忽略了備件庫存決策[5].然而實際中，設(shè)備維護(hù)策略的實施依賴于備件庫存.設(shè)備的維護(hù)頻率和維護(hù)零件數(shù)量會根據(jù)備件庫存量和訂購量進(jìn)行相應(yīng)的調(diào)整.備件存量過少會導(dǎo)致缺貨、設(shè)備維護(hù)頻率降低和設(shè)備故障概率增加，存量過多將造成空間和資金的浪費，甚至導(dǎo)致維護(hù)頻率增加.因此，企業(yè)應(yīng)考慮設(shè)備維護(hù)和備件庫存管理的聯(lián)合優(yōu)化.近年來，越來越多的文獻(xiàn)關(guān)注兩者的聯(lián)合優(yōu)化.針對單零件系統(tǒng)，文獻(xiàn)[6-8]考慮基于閾值的預(yù)防性維護(hù)與備件訂購策略的聯(lián)合優(yōu)化，以成本最小化為目標(biāo)建立數(shù)學(xué)模型，求解了預(yù)防性維護(hù)周期、閾值等參數(shù).在單零件系統(tǒng)之外，很多文獻(xiàn)也研究了多零件系統(tǒng)的聯(lián)合優(yōu)化問題.肖羅椿[9]考慮了同類型多零件系統(tǒng)的視情維修和備件供應(yīng)聯(lián)合決策優(yōu)化，以最小化平均費用率為目標(biāo)，通過仿真和遺傳算法求解了預(yù)防性失效閾值等參數(shù).Zhang等[10]針對視情維護(hù)和備件訂購聯(lián)合策略，基于閾值進(jìn)行建模，通過遺傳算法優(yōu)化了檢測間隔、維護(hù)閾值和安全庫存.Olde Keizer等[5]將多臺設(shè)備的視情維護(hù)和備件訂購策略建模為馬爾科夫決策過程，通過值迭代方法求解了最優(yōu)的聯(lián)合策略.

上述聯(lián)合優(yōu)化的文獻(xiàn)均假設(shè)備件從單供應(yīng)商處訂購，但實際上備件訂購?fù)媾R價格和提前期不同的多個供應(yīng)商，決策者需根據(jù)設(shè)備和庫存狀態(tài)選擇有效的供應(yīng)商進(jìn)行補貨.文獻(xiàn)[11-12]分析了價格、提前期不同的雙供應(yīng)商(雙源)訂購模型對庫存決策的影響，相比單源訂購，雙源訂購在成本、補貨速度等方面顯示出了較高的優(yōu)越性.但上述文獻(xiàn)都忽略了維護(hù)對備件庫存的影響.在考慮雙供應(yīng)商的設(shè)備維護(hù)策略中，決策者一方面需要平衡備件的訂購成本和設(shè)備的故障成本.訂購過多會增加總訂購成本和持貨成本，訂貨過少則易導(dǎo)致備件不足和設(shè)備故障.另一方面需要權(quán)衡供應(yīng)商訂購的提前期和價格，例如設(shè)備健康狀態(tài)下可以向提前期長而訂購價格低的供應(yīng)商訂購備件，而當(dāng)設(shè)備的零件急需替換時則可以以更高的價格向提前期短的供應(yīng)商補貨.少數(shù)設(shè)備維護(hù)和備件訂購聯(lián)合優(yōu)化的文獻(xiàn)考慮了價格和提前期不同的雙源訂購模型[13-14]，但均采用閾值控制策略，即當(dāng)零件退化值或備件庫存水平滿足閾值條件時執(zhí)行維護(hù)或訂購決策.相比于閾值決策，馬爾科夫決策模型能根據(jù)設(shè)備和庫存狀態(tài)信息進(jìn)行動態(tài)決策，在降低成本上往往有更高的優(yōu)越性[5].

針對以上問題，本文基于價格和提前期不同的雙供應(yīng)商(雙源)訂購模型研究設(shè)備維護(hù)與備件訂購聯(lián)合決策優(yōu)化，以多臺設(shè)備組成的并行制造系統(tǒng)為對象，以平均總成本最小化為目標(biāo)，基于離散時間的馬爾科夫決策過程進(jìn)行建模，通過值迭代方法和啟發(fā)式方法進(jìn)行模型求解.本文創(chuàng)新可主要體現(xiàn)在兩方面.一方面，本文的模型不僅考慮設(shè)備維護(hù)，還考慮備件的雙供應(yīng)商訂購，實現(xiàn)了設(shè)備維護(hù)和備件訂購兩個系統(tǒng)的整體優(yōu)化，有效降低總成本.而以往的文獻(xiàn)，大多數(shù)只考慮設(shè)備維護(hù)或者雙供應(yīng)商訂購，未曾考慮兩者的結(jié)合.另一方面，本論文設(shè)計了啟發(fā)式方法求解模型，有效降低了模型的求解時間.以往文獻(xiàn)中針對于馬爾科夫決策過程建立的模型多采用值迭代方法求解.但是，在多設(shè)備系統(tǒng)中，考慮雙供應(yīng)商和備件訂購將導(dǎo)致狀態(tài)和決策空間變大，使值迭代方法的求解時間變得很長.針對該問題，本文設(shè)計了啟發(fā)式策略，有效縮短了求解時間.

1 問題描述

本文以多臺設(shè)備組成的并行制造系統(tǒng)為研究對象，研究視情預(yù)防性維護(hù)和備件訂購聯(lián)合決策優(yōu)化.系統(tǒng)結(jié)構(gòu)參考文獻(xiàn)[15]設(shè)置，如圖1所示.

圖1 多設(shè)備并行制造系統(tǒng)Fig.1 Multi-unit parallel manufacturing system

每臺設(shè)備都包含一個關(guān)鍵零件，零件服從退化率為α的泊松退化過程，彼此之間退化過程相互獨立.零件的狀態(tài)由退化值xi∈{0, 1, …,L}描述，當(dāng)零件的退化值到達(dá)閾值L時零件故障.關(guān)鍵零件的故障將導(dǎo)致設(shè)備關(guān)閉，造成高額的設(shè)備失效成本并應(yīng)即刻替換，零件可由庫存中的備件替換.當(dāng)庫存中的備件數(shù)量減少時，制造系統(tǒng)需從常規(guī)供應(yīng)商和緊急供應(yīng)商處補充備件.本文參考文獻(xiàn)[16]假設(shè)供應(yīng)商的提前期為固定值，其中常規(guī)供應(yīng)商的提前期l1較長，但是零件的單位購買價格c1較低.當(dāng)系統(tǒng)在庫備件量不足以滿足替換需求時，將通過緊急供應(yīng)商補充需要替換的備件.緊急供應(yīng)商的提前期l2可忽略，但收取的單位價格c2較高(>c1).系統(tǒng)檢測策略參考文獻(xiàn)[13]采取周期性檢測，檢測間隔為T.決策者在檢測點tk=kT(k=1, 2, …)處獲得設(shè)備狀態(tài)信息和庫存狀態(tài)信息，并做出相應(yīng)決策.系統(tǒng)的決策包括替換和訂購兩部分.替換分為預(yù)防性替換和故障后替換.當(dāng)零件退化值xi低于故障閾值時為預(yù)防性替換，否則為故障后替換.替換后零件狀態(tài)恢復(fù)至起始狀態(tài).

本文的研究目標(biāo)為最小化系統(tǒng)的長期平均總成本.總成本由替換成本、故障成本、訂購成本和持貨成本4個部分組成.替換成本包括替換的準(zhǔn)備成本cs和每個零件的單位替換成本cp(預(yù)防性替換)和cc(故障后替換)，其中替換的準(zhǔn)備成本與替換的零件數(shù)量無關(guān)，當(dāng)替換發(fā)生時發(fā)生[10].當(dāng)設(shè)備因關(guān)鍵零件失效而故障時，會產(chǎn)生懲罰成本cd.訂購導(dǎo)致的成本包括固定成本cF和每個零件的單位訂購成本c1(常規(guī)供應(yīng)商)或c2(緊急供應(yīng)商).在決策后，倉庫中的每個備件在下一個檢測間隔間會產(chǎn)生持貨成本ch.

2 維護(hù)與訂購策略聯(lián)合建模

介紹視情維護(hù)和備件訂購聯(lián)合決策模型和求解方法.首先通過馬爾科夫決策過程對系統(tǒng)決策狀態(tài)、轉(zhuǎn)移概率等進(jìn)行建模.之后采用值迭代算法求解最優(yōu)策略.最后通過序列優(yōu)化的啟發(fā)式方法求得啟發(fā)式策略，改進(jìn)求解效率.

2.1 馬爾科夫決策模型

l=maxl1T, l2T ,

馬爾科夫決策模型是求解序列決策問題常用的方法之一[17].本文采用離散時間的馬爾科夫決策模型對上述系統(tǒng)進(jìn)行決策建模.根據(jù)圖1的制造系統(tǒng)模型，馬爾科夫決策過程可以用狀態(tài)、決策、成本和轉(zhuǎn)移概率表示.系統(tǒng)狀態(tài)s由圖1中各臺設(shè)備關(guān)鍵零件的退化值、在庫庫存量和在途庫存量組成，表示為s(x1,x2, …,xN,h0,h1, …,hl-1)，縮寫為s.其中(x1,x2, …,xN)表示系統(tǒng)退化狀態(tài)，xi表示零件i(i=1, 2, …,N)的退化狀態(tài).(h0,h1, …,hl-1)表示系統(tǒng)庫存狀態(tài)，hj表示j(j=0, 1, …,l-1)個檢測間隔后到達(dá)的備件數(shù)量，h0為在庫庫存量.代表備件到達(dá)所需的最長檢測間隔數(shù)量，其中l(wèi)2根據(jù)模型假設(shè)可忽略，設(shè)置為0；

x

表示大于等于x的最小整數(shù).

系統(tǒng)動作由替換和訂購組成，表示為a(m1,m2, …,mN,p1,p2)，縮寫為a.其中mi描述是否替換關(guān)鍵零件i，mi=1(替換)或0(不替換)，p1和p2依次表示向常規(guī)供應(yīng)商和緊急供應(yīng)商訂購的備件數(shù)量.

(1)

(2)

l=maxl1T, l2T ,

系統(tǒng)的總成本由值函數(shù)Vn(s)描述，表示經(jīng)過算法n次迭代后的累計總成本，由各個階段的動作成本C(s,a)組成.根據(jù)Bellman方程[18]，最優(yōu)值函數(shù)的迭代計算公式為

(3)

式中：E(Vn-1(s′))表示經(jīng)過動作a后系統(tǒng)在下一個決策點的累計總成本期望，即

(4)

2.2 求解算法

上述模型可以通過值迭代算法來求得最優(yōu)的維護(hù)和訂購聯(lián)合策略以及最優(yōu)的平均總成本.在本文中假定當(dāng)?shù)恼`差|Mn-mn|≤εmn時，算法收斂，其中Mn和mn分別為

(5)

(6)

圖2 值迭代算法流程圖Fig.2 Process of value iteration algorithm

值迭代方法是求解馬爾科夫決策模型的最優(yōu)化方法，可以獲得最優(yōu)的維護(hù)和訂購聯(lián)合決策.然而，算法需要大量的計算時間.為提高計算效率，本文采用了一種序列優(yōu)化的啟發(fā)式方法，在保證成本增加率低的同時減少計算時間.具體思想為：將維護(hù)決策和訂購決策分離，先優(yōu)化維護(hù)決策，在此基礎(chǔ)上優(yōu)化訂購決策.對于維護(hù)，由于零件相同且相互獨立，本文將系統(tǒng)狀態(tài)(多個零件和庫存狀態(tài))分為單個零件和庫存狀態(tài)，通過值迭代算法快速求出單個零件的最優(yōu)維護(hù)決策.之后按照零件退化值降序判斷單個零件是否維護(hù).當(dāng)決定完維護(hù)決策后通過枚舉的方法選擇最優(yōu)的訂購量，得到最終的維護(hù)和訂購聯(lián)合決策.具體的算法流程如下：

(1) 初始化n=0,V0(s)=0, 輸入T,cp,cc, …,l1.

(2) 根據(jù)圖2的值迭代算法輸出單個零件維護(hù)決策函數(shù)m(xi,h0,h1, …,hl-1).

(4) 計算收斂誤差.若|Mn-mn|≤εmn，算法收斂，輸出最終策略和平均總成本；否則重復(fù)步驟3.

上述啟發(fā)式算法對于計算效率的改進(jìn)主要在于減少了計算聯(lián)合決策時迭代的次數(shù).值迭代算法中，最優(yōu)聯(lián)合決策通過遍歷所有決策獲得.由于設(shè)備維護(hù)僅考慮替換決策，每個零件的決策數(shù)量為2，則N個零件的維護(hù)決策空間規(guī)模為2N.采購決策應(yīng)滿足最大庫存限制，即p1+p2≤H.同時，緊急訂購量應(yīng)不超過系統(tǒng)零件數(shù)量，即p2≤N.所以，采購決策空間規(guī)模為HN.綜合維護(hù)和訂購決策，值迭代算法每次遍歷的決策空間規(guī)模為2NHN.相比值迭代算法，啟發(fā)式算法在算法的步驟3中計算聯(lián)合決策時，只需遍歷零件個數(shù)和訂購決策p1.每輪迭代的次數(shù)由2NHN縮短至N+H，從而提高計算效率.

3 算例分析

為了驗證本文所采用的啟發(fā)式策略有效性，以2個零件和4個零件的系統(tǒng)進(jìn)行算例分析.首先以2零件的系統(tǒng)分析最優(yōu)策略和啟發(fā)式策略的決策異同.之后以4零件的系統(tǒng)分析參數(shù)(持貨成本、預(yù)防性替換成本、訂購成本)的變化對成本和計算時間的影響.

3.1 決策和成本分析

所采用的2零件系統(tǒng)算例參數(shù)參考文獻(xiàn)[19]和假設(shè)得到，具體參數(shù)如表1所示.

表1 算例參數(shù)Tab.1 Parameters of numerical experiments

圖3和圖4對比了值迭代算法和啟發(fā)式算法在不同庫存狀態(tài)下的決策策略.圖中決策表示為“m1m2-p1p2”.前兩位數(shù)表示是否替換零件，1表示替換，0表示不替換；后兩位數(shù)依次表示向常規(guī)供應(yīng)商和緊急供應(yīng)商訂購的零件數(shù)量.

由圖3(a)～3(c)和圖4(a)～4(c)可知，當(dāng)在庫量為0時，最優(yōu)策略和啟發(fā)式策略的決策差異小.這是因為啟發(fā)式策略主要改變了零件的替換策略.當(dāng)系統(tǒng)無替換決策時，啟發(fā)式策略將采取和最優(yōu)策略相同的訂購策略.當(dāng)系統(tǒng)在庫庫存量不為0時，如圖3(d)和圖4(d)所示，隨著零件退化值的增加，當(dāng)兩個零件的退化值都較高時，系統(tǒng)將會延遲零件的替換動作.零件1由替換變?yōu)椴惶鎿Q，而啟發(fā)式策略則無延遲替換決策.這是因為多個零件共享備件，零件間的替換決策會相互影響.當(dāng)備件數(shù)量有限且零件的退化值相同時，由于退化的隨機(jī)性，難以確定下一決策點零件退化值的高低，此時將替換延遲到下一決策點可以減少設(shè)備失效的成本.隨著在庫備件數(shù)量的增加，延遲替換決策減少.如圖3(f)和圖4(f)所示，啟發(fā)式策略和最優(yōu)策略的差異逐漸減小，啟發(fā)式策略優(yōu)越性逐漸增加.因此在采用啟發(fā)式策略時可以適當(dāng)增加備件存量，從而減少與最優(yōu)策略的差異，降低總成本.

圖3 最優(yōu)決策策略Fig.3 Optimal strategy of value iteration algorithm

圖4 啟發(fā)式?jīng)Q策策略Fig.4 Heuristic strategy of heuristic method

表2對比了最優(yōu)策略、閾值策略和啟發(fā)式策略在2零件和4零件系統(tǒng)的平均總成本f和計算時間g.閾值策略采取(Y,y,Lp)策略[20-21]，即當(dāng)零件狀態(tài)達(dá)到Lp時執(zhí)行替換，不足的零件通過緊急訂購p2補充，常規(guī)供應(yīng)商的訂購量p1為

表2 2零件和4零件系統(tǒng)平均總成本和計算時間Tab.2 Average total costs and computation times for two-unit and four-unit systems

其中：h0|a為執(zhí)行完替換和緊急訂購后的在庫庫存，即h0|a=h0+p2-r.在本次實驗中，選擇Lp=L-1，并枚舉得到最優(yōu)的庫存閾值(Y,y).由于最大庫存容量為N+2且Y≥y，針對2零件和4零件系統(tǒng)，(Y,y)共有15和28種組合.計算時間基于AMD Ryzen 9 3900X 12-Core@3.80 GHz處理器和Python語言得到.由表2可知，啟發(fā)式策略相比最優(yōu)策略平均總成本有所上升，但成本增加率q小于5%.計算時間上，啟發(fā)式策略優(yōu)于最優(yōu)策略，尤其是當(dāng)系統(tǒng)零件數(shù)量為4時，計算時間從 5 214 s 減少到了 255 s.對比閾值策略，啟發(fā)式策略所花時間更少.同時，由于啟發(fā)式策略的聯(lián)合決策基于單個零件的最優(yōu)決策獲得，相比固定閾值策略啟發(fā)式策略平均總成本更低.由表2可知，對于4零件系統(tǒng)，閾值策略成本增加率為10.4%，而啟發(fā)式策略成本增加率只有1.4%.

3.2 敏感性分析

為進(jìn)一步分析啟發(fā)式策略的有效性，以4零件的制造系統(tǒng)為對象，采用表1的算例參數(shù)，對模型中的備件持貨成本、預(yù)防性替換成本和常規(guī)供應(yīng)商的訂購成本進(jìn)行敏感性分析，研究參數(shù)對啟發(fā)式策略的成本增加率和計算時間的影響，結(jié)果如表3～5所示.

表3 ch對啟發(fā)式策略平均總成本和計算時間的影響

表3顯示了持貨成本ch對啟發(fā)式策略平均總成本和計算時間的影響.當(dāng)ch較大時，為降低成本，系統(tǒng)會減少備件存量.多個零件共享備件，根據(jù)圖3和圖4的決策分析，備件庫存減少時維護(hù)策略的影響增加.啟發(fā)式策略的替換策略相比最優(yōu)策略會帶來更多的成本.因此，隨著ch的增加，啟發(fā)式策略成本增加率增加，說明啟發(fā)式策略更適合于ch小的場景.計算時間上，啟發(fā)式策略的求解時間顯著優(yōu)于最優(yōu)策略，相似的結(jié)果如表4和 5所示.

表4顯示了預(yù)防性替換成本cp如何影響啟發(fā)式策略的優(yōu)越性.設(shè)備替換存在準(zhǔn)備成本，從而零件退化狀態(tài)間存在依賴，同時替換多個零件會傾向于降低總成本.當(dāng)cp較小時準(zhǔn)備成本影響較大，維護(hù)的依賴性更強(qiáng).啟發(fā)式策略根據(jù)單臺設(shè)備的狀態(tài)判斷是否維護(hù)，忽略了設(shè)備之間的依賴性，導(dǎo)致成本增加率較大.同時，當(dāng)cp增加時，系統(tǒng)會減少備件庫存，替換策略對總成本的影響增強(qiáng)，從而啟發(fā)式策略的成本增加率將增加，優(yōu)越性減弱.

表4 cp對啟發(fā)式策略平均總成本和計算時間的影響

表5顯示了常規(guī)供應(yīng)商的單位訂購成本c1對啟發(fā)式策略優(yōu)越性的影響.備件的訂購存在固定成本.當(dāng)c1較小時，固定成本的影響較大，系統(tǒng)訂購的頻率降低，從而替換策略的影響增大，啟發(fā)式策略有更大的成本增加率.當(dāng)c1逐漸增加至靠近緊急供應(yīng)商的訂購成本c2時，系統(tǒng)會減少向常規(guī)供應(yīng)商的訂購頻率，替換策略影響增強(qiáng)，啟發(fā)式策略成本增加率會隨著c1的增加再次增加.

表5 c1對啟發(fā)式策略平均總成本和計算時間的影響

4 結(jié)語

針對雙供應(yīng)商情形下的多零件設(shè)備維護(hù)和備件訂購聯(lián)合決策問題，建立了基于馬爾科夫決策過程的預(yù)防性維護(hù)模型，基于設(shè)備狀態(tài)和庫存狀態(tài)信息進(jìn)行維護(hù)和訂購聯(lián)合決策優(yōu)化，通過值迭代算法求取了最優(yōu)的聯(lián)合決策策略.在此基礎(chǔ)上設(shè)計了啟發(fā)式的設(shè)備維護(hù)和備件訂購聯(lián)合策略，在平均總成本增加率在一定范圍(5%)內(nèi)時減少了策略求解時間，通過算例分析驗證了啟發(fā)式策略的有效性.

針對拓展方向，將從以下兩個方向拓展：① 本文僅考慮替換，在替換之外，可以引入小修、大修等維護(hù)動作，包括機(jī)會維護(hù)等策略；② 本文考慮并行的制造系統(tǒng)，在此基礎(chǔ)上可以考慮串聯(lián)以及k-out-of-n架構(gòu)的制造系統(tǒng).