張文沛 崔鵬浩 李洋 延爽

摘要：預(yù)測(cè)性維護(hù)決策旨在提高維護(hù)效率的同時(shí)，降低維護(hù)停機(jī)對(duì)生產(chǎn)的影響。預(yù)測(cè)性維護(hù)根據(jù)設(shè)備的實(shí)際健康狀態(tài)進(jìn)行維護(hù)決策，能有效避免過度維護(hù)造成的浪費(fèi)和維護(hù)不及時(shí)造成的設(shè)備隨機(jī)故障。然而類似于設(shè)備故障停機(jī)，預(yù)測(cè)性維護(hù)需要關(guān)閉設(shè)備進(jìn)行維護(hù)作業(yè)。如果維護(hù)時(shí)機(jī)選擇不當(dāng)，維護(hù)過程會(huì)引起生產(chǎn)線的饑餓和阻塞，造成生產(chǎn)損失。因此，預(yù)測(cè)性維護(hù)不僅需要關(guān)注設(shè)備自身的維護(hù)需求，還需要與實(shí)際生產(chǎn)進(jìn)行聯(lián)動(dòng)。以考慮機(jī)器狀態(tài)劣化的航空產(chǎn)品流水線為研究對(duì)象，在流水線產(chǎn)出損失分析的基礎(chǔ)上，研究流水線預(yù)測(cè)性維護(hù)決策問題。首先，針對(duì)缺料停機(jī)、設(shè)備故障等擾動(dòng)停機(jī)事件和預(yù)測(cè)性維護(hù)事件，分析停機(jī)事件對(duì)流水線產(chǎn)出的影響，量化造成的流水線產(chǎn)出損失。其次，考慮流水線產(chǎn)出損失和維護(hù)成本構(gòu)建獎(jiǎng)勵(lì)函數(shù)，建立基于馬爾可夫決策過程的流水線預(yù)測(cè)性維護(hù)決策模型，結(jié)合深度Q網(wǎng)絡(luò)算法求解模型獲得優(yōu)化決策方案。最后，通過仿真試驗(yàn)對(duì)比其他三種維護(hù)方法，驗(yàn)證了所提出決策模型的有效性。

關(guān)鍵詞：預(yù)測(cè)性維護(hù)；流水線；決策優(yōu)化；馬爾可夫決策過程；深度Q網(wǎng)絡(luò)

中圖分類號(hào)：V37文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.19452/j.issn1007-5453.2022.05.008

航空制造業(yè)作為高端制造業(yè)的代表，體現(xiàn)了國家制造業(yè)的整體實(shí)力。隨著我國航空制造業(yè)的大力發(fā)展，裝備的智能化水平和復(fù)雜程度顯著提升，傳統(tǒng)的維護(hù)作業(yè)模式和技術(shù)實(shí)施手段無法充分發(fā)揮智能生產(chǎn)系統(tǒng)帶來的信息和互聯(lián)優(yōu)勢(shì)，越來越難以滿足航空制造流水線的生產(chǎn)和維護(hù)決策新需求[1]。

預(yù)測(cè)性維護(hù)基于機(jī)器健康狀態(tài)信息進(jìn)行維護(hù)決策[2]。區(qū)別于傳統(tǒng)的定周期預(yù)防性維護(hù)模式，預(yù)測(cè)性維護(hù)通過連續(xù)的設(shè)備狀態(tài)監(jiān)測(cè)，按需實(shí)施設(shè)備停機(jī)維護(hù)，減少了定周期維護(hù)可能造成的過度維護(hù)和維護(hù)不及時(shí)問題，提高了航空生產(chǎn)線維護(hù)決策的適應(yīng)性、即時(shí)性和有效性。雖然預(yù)測(cè)性維護(hù)可以提高設(shè)備的可靠性，在一個(gè)較長的時(shí)間段內(nèi)有效減少停機(jī)故障引起的生產(chǎn)損失，但是維護(hù)時(shí)常需要將設(shè)備關(guān)閉，不僅會(huì)影響機(jī)器自身的產(chǎn)出，還會(huì)因?yàn)橐鹕嫌螜C(jī)器阻塞和下游機(jī)器饑餓，在短期內(nèi)降低航空生產(chǎn)線性能[3]。因此，預(yù)測(cè)性維護(hù)需要平衡維護(hù)工作帶來的長期性能提升以及短期性能劣化。

目前，針對(duì)航空生產(chǎn)系統(tǒng)的預(yù)測(cè)性維護(hù)決策研究多集中在單機(jī)維護(hù)決策層面，維護(hù)方案過多關(guān)注設(shè)備本身。Gandhi等[4]利用數(shù)據(jù)挖掘技術(shù)產(chǎn)生的量化結(jié)果支持生產(chǎn)設(shè)備的維護(hù)決策，通過數(shù)據(jù)挖掘中的分類方法實(shí)現(xiàn)特征分裂值或構(gòu)件測(cè)量頻率等估計(jì)，用于評(píng)估代表設(shè)備健康狀況的特征，以此支持生產(chǎn)設(shè)備的預(yù)測(cè)維護(hù)操作。Neves等[5]針對(duì)系統(tǒng)劣化的生產(chǎn)線維護(hù)決策問題，基于隱馬爾可夫模型理論將優(yōu)化模型與參數(shù)估計(jì)模型相結(jié)合，提出基于狀態(tài)的維修策略。Florian等[6]針對(duì)同時(shí)考慮維護(hù)成本與投資成本的單個(gè)組件維修問題，提出了一種基于機(jī)器學(xué)習(xí)的預(yù)測(cè)維修方法，與傳統(tǒng)的決策閾值優(yōu)化方法相比，該方法的維護(hù)費(fèi)用最小。Lu等[7]針對(duì)單級(jí)多狀態(tài)系統(tǒng)，以產(chǎn)品質(zhì)量為指標(biāo)構(gòu)建了設(shè)備的剩余壽命預(yù)測(cè)模型，并提出了一種基于部件功能重要性的預(yù)測(cè)維護(hù)決策方法。趙洪利等[8]針對(duì)航空發(fā)動(dòng)機(jī)退化建模和剩余使用壽命預(yù)測(cè)，提出了基于融合數(shù)據(jù)建模方法的后期剩余使用壽命預(yù)測(cè)方法。徐釗等[9]提出了基于遺傳算法-支持向量機(jī)的航電模塊故障分類方法，并通過仿真試驗(yàn)驗(yàn)證了方法的有效性。

在多機(jī)生產(chǎn)線預(yù)測(cè)維修方面，當(dāng)前研究相對(duì)較少。Borrero等[10]提出了一種針對(duì)多階段串行生產(chǎn)系統(tǒng)的預(yù)測(cè)維修控制策略，該策略利用全局目標(biāo)模型進(jìn)行機(jī)器級(jí)維修決策，利用維修時(shí)間窗方法進(jìn)行系統(tǒng)級(jí)決策。Neto等[11]針對(duì)串并聯(lián)生產(chǎn)系統(tǒng)建立了維修優(yōu)化模型，用間隔檢測(cè)方法確定設(shè)備狀態(tài)，并以此為依據(jù)選擇系統(tǒng)維修方式。曲昌琦等[12]提出了一套具有航空裝備特色的故障預(yù)測(cè)與健康管理數(shù)據(jù)體系架構(gòu)，完善故障預(yù)測(cè)與健康管理不同數(shù)據(jù)要素之間的邏輯關(guān)系。崔鵬浩等[13]針對(duì)考慮機(jī)器劣化過程的多機(jī)流水線，以生產(chǎn)線性能評(píng)估為基礎(chǔ)，提出了基于深度強(qiáng)化學(xué)習(xí)的流水線預(yù)測(cè)性維護(hù)決策方法。綜上所述，現(xiàn)有預(yù)測(cè)性維護(hù)決策研究大多針對(duì)小規(guī)模航空生產(chǎn)系統(tǒng)，多關(guān)注設(shè)備自身，缺少與生產(chǎn)線性能研究的深度融合，忽略了維護(hù)造成的停機(jī)事件對(duì)生產(chǎn)系統(tǒng)運(yùn)作效率的影響，因而難以實(shí)現(xiàn)維護(hù)決策與生產(chǎn)效率的耦合優(yōu)化。

本文面向動(dòng)態(tài)環(huán)境下的航空制造流水線維護(hù)需求，研究將數(shù)據(jù)驅(qū)動(dòng)的生產(chǎn)線性能分析模型與預(yù)測(cè)性維護(hù)決策模型相結(jié)合，在滿足維護(hù)需求的前提下保障產(chǎn)能最優(yōu)。首先建立數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)能分析模型，揭示停機(jī)事件對(duì)生產(chǎn)過程影響的運(yùn)作機(jī)理，利用生產(chǎn)信息量化對(duì)缺料停機(jī)、設(shè)備故障等擾動(dòng)停機(jī)事件和預(yù)測(cè)性維護(hù)事件對(duì)流水線產(chǎn)出損失的影響。而后結(jié)合馬爾可夫決策過程建立預(yù)測(cè)性維護(hù)決策模型，綜合優(yōu)化流水線產(chǎn)出損失、維護(hù)成本。本研究揭示了流水線高效產(chǎn)出的運(yùn)作機(jī)理，豐富了航空流水生產(chǎn)線維護(hù)決策手段，對(duì)提升生產(chǎn)效率、降低運(yùn)維費(fèi)用具有重要的支撐作用和研究應(yīng)用價(jià)值，研究成果可應(yīng)用在航空發(fā)動(dòng)機(jī)零部件生產(chǎn)線、航空儀表等機(jī)載裝備生產(chǎn)線等航空制造流水線上。

1航空制造流水線定義與假設(shè)

每臺(tái)機(jī)器均是有多個(gè)離散狀態(tài)的不可靠機(jī)器。在不進(jìn)行任何維護(hù)的情況下，機(jī)器的運(yùn)行狀態(tài)會(huì)不斷劣化，最終處于故障狀態(tài)且無法自行恢復(fù)。流水線生產(chǎn)過程考慮兩種維護(hù)方式，分別是預(yù)測(cè)性維護(hù)和事后維護(hù)。預(yù)測(cè)性維護(hù)指在機(jī)器故障之前提前采取維護(hù)措施，將機(jī)器恢復(fù)到更健康的運(yùn)行狀態(tài)；事后維護(hù)指在機(jī)器發(fā)生故障停機(jī)后，再采取維護(hù)措施將其恢復(fù)到運(yùn)行狀態(tài)。在每一時(shí)刻，需要對(duì)系統(tǒng)內(nèi)所有機(jī)器進(jìn)行決策是否執(zhí)行預(yù)測(cè)性維護(hù)或事后維護(hù)。

4.1.2結(jié)果分析

在試驗(yàn)過程中，暖機(jī)時(shí)長為50天，運(yùn)行時(shí)長為1000天。為了驗(yàn)證預(yù)測(cè)性維護(hù)決策方法的有效性，本文將所提方法與事后維護(hù)、定期維修和基于狀態(tài)的維修決策等方法進(jìn)行比較。

（1）事后維護(hù)方法只有機(jī)器發(fā)生故障處于故障狀態(tài)時(shí)，才會(huì)對(duì)其進(jìn)行維修。對(duì)于本試驗(yàn)而言，只有機(jī)器Ml，1≤l≤10處于狀態(tài)al= 3時(shí)，才會(huì)使用事后維護(hù)。

（2）定期維護(hù)方法基于時(shí)間的維修決策，根據(jù)經(jīng)驗(yàn)等來確定合理的維修時(shí)間間隔對(duì)機(jī)器進(jìn)行維護(hù)。對(duì)于本試驗(yàn)而言，本文使用模擬仿真來確定每臺(tái)機(jī)器的最優(yōu)維護(hù)時(shí)間間隔，從而獲得定期維修方法下的最低系統(tǒng)運(yùn)行成本。

（3）基于狀態(tài)的維護(hù)決策方法根據(jù)狀態(tài)檢測(cè)技術(shù)判斷機(jī)器所處的狀態(tài)，基于此確定是否對(duì)正常機(jī)器進(jìn)行維護(hù)。若機(jī)器發(fā)生故障，則執(zhí)行事后維護(hù)。對(duì)于本試驗(yàn)而言，本文使用模擬仿真來確定每臺(tái)機(jī)器需要維護(hù)時(shí)的機(jī)器狀態(tài)，從而獲得基于狀態(tài)的維護(hù)決策方法下的最低系統(tǒng)運(yùn)行成本。

試驗(yàn)結(jié)果顯示，所提預(yù)測(cè)性維護(hù)決策方法在流水線產(chǎn)出損失成本、維修成本等方面均優(yōu)于其他策略。以事后維護(hù)方法為基線，定期維護(hù)方法將流水線產(chǎn)出損失降低了3.04%，維修成本降低了1.17%；基于狀態(tài)的維護(hù)決策方法將流水線產(chǎn)出損失降低了6.08%，維修成本降低了8.62%；所提預(yù)測(cè)性維護(hù)決策方法流水線產(chǎn)出損失降低了10.40%，維修成本降低了26.14%，4種維護(hù)決策方法的執(zhí)行效果見表13。為了分析預(yù)測(cè)性維護(hù)決策方法所得結(jié)果的特點(diǎn)，隨機(jī)選擇250個(gè)工作周期的時(shí)間段，分析該時(shí)間段內(nèi)流水線的產(chǎn)出損失和加工機(jī)器維護(hù)決策變化情況，具體如圖3所示。

結(jié)果表明，所提預(yù)測(cè)性維護(hù)決策方法能夠有效地把握維護(hù)時(shí)機(jī)，在降低流水線生產(chǎn)損失的同時(shí)提高系統(tǒng)維護(hù)效率。具體分析結(jié)果如下：（1）最后一臺(tái)最慢的機(jī)器M7是最少進(jìn)行預(yù)測(cè)性維護(hù)的機(jī)器。這是因?yàn)闄C(jī)器M7的停機(jī)會(huì)直接造成流水線產(chǎn)出損失。（2）預(yù)測(cè)性維護(hù)更頻繁地作用在距離機(jī)器M7最遠(yuǎn)的機(jī)器M1上。這是因?yàn)橹挥袡C(jī)器與機(jī)器M7之間的緩沖區(qū)全為空時(shí)，機(jī)器M1才會(huì)造成流水線產(chǎn)出損失。因此，預(yù)測(cè)性維護(hù)作用在機(jī)器M1上造成流水線產(chǎn)出損失的風(fēng)險(xiǎn)最低。（3）所有加工機(jī)器傾向于同時(shí)執(zhí)行維護(hù)活動(dòng)。當(dāng)機(jī)器Ml，1≤l≤10進(jìn)行停機(jī)維護(hù)時(shí)，可以同時(shí)對(duì)其他加工機(jī)器進(jìn)行維護(hù)。此時(shí)，對(duì)其他機(jī)器進(jìn)行預(yù)測(cè)性維護(hù)不會(huì)造成額外的生產(chǎn)損失。

4.2成本參數(shù)的敏感性分析

為分析產(chǎn)出損失成本、事后維護(hù)成本、預(yù)測(cè)性維護(hù)成本等成本參數(shù)的變化對(duì)所提維護(hù)方法的影響，本文生成150條具有不同成本參數(shù)的流水線，機(jī)器與緩沖區(qū)參數(shù)、機(jī)器的轉(zhuǎn)移概率等參數(shù)不變，成本參數(shù)的取值范圍見表14。

在執(zhí)行4種維護(hù)策略的情況下，暖機(jī)時(shí)長為50天，運(yùn)行時(shí)長為1000天。對(duì)于每條生產(chǎn)線，統(tǒng)計(jì)4種維護(hù)策略情形下流水線產(chǎn)出損失、維修成本和總成本等指標(biāo)。在此基礎(chǔ)上，計(jì)算這150條流水線的流水線產(chǎn)出損失、維修成本和總成本等指標(biāo)的平均值，具體結(jié)果見表15。

試驗(yàn)結(jié)果表明，以事后維護(hù)方法為基線，定期維護(hù)方法將流水線產(chǎn)出損失平均降低了1.90%，維修成本平均降低了1.86%，總成本平均降低了1.90%；基于狀態(tài)的維護(hù)決策方法將流水線產(chǎn)出損失平均降低了5.37%，維修成本平均降低了3.59%，總成本平均降低了4.78%；所提預(yù)測(cè)性維護(hù)決策方法流水線產(chǎn)出損失平均降低了18.16%，維修成本降低平均了13.40%，總成本平均降低了10.37%。

5結(jié)束語

本文面向動(dòng)態(tài)環(huán)境下的航空制造流水線維護(hù)需求，以考慮機(jī)器狀態(tài)劣化的流水線為對(duì)象，以生產(chǎn)線性能評(píng)估為基礎(chǔ)，將數(shù)據(jù)驅(qū)動(dòng)的生產(chǎn)線性能分析模型與預(yù)測(cè)性維護(hù)決策模型相結(jié)合。首先，分析停機(jī)事件對(duì)流水線產(chǎn)出的影響，提出流水線產(chǎn)出損失量化與歸因方法。其次，考慮流水線產(chǎn)出損失和維護(hù)成本，建立基于馬爾可夫決策過程的流水線預(yù)測(cè)性維護(hù)決策模型，利用深度Q網(wǎng)絡(luò)算法求解模型，提出流水線預(yù)測(cè)性維護(hù)決策方法。最后，通過仿真試驗(yàn)，驗(yàn)證了所提出決策模型的有效性。

本文所提出的流水線預(yù)測(cè)性維護(hù)決策方法能夠捕捉維護(hù)時(shí)機(jī)降低維護(hù)成本，提升流水線的產(chǎn)出。研究成果可應(yīng)用在航空發(fā)動(dòng)機(jī)零部件生產(chǎn)線、航空儀表等機(jī)載裝備生產(chǎn)線等航空制造流水線上。本文的研究對(duì)象為流水生產(chǎn)線，未來將拓展到脈動(dòng)裝配生產(chǎn)線和考慮產(chǎn)品質(zhì)量缺陷事件的生產(chǎn)線，進(jìn)一步研究航空制造系統(tǒng)的智能維護(hù)決策問題。

參考文獻(xiàn)

[1]王海峰.戰(zhàn)斗機(jī)故障預(yù)測(cè)與健康管理技術(shù)應(yīng)用的思考[J].航空科學(xué)技術(shù)， 2020， 31（7）： 3-11. Wang Haifeng. Research on application of prognostics and health management technology for fighter aircraft[J]. Aeronautical Science & Technology， 2020， 31（7）： 3-11. （in Chinese）

[2]Raza A，Ulansky V. Modelling of predictive maintenance for a periodically inspected system[J]. Procedia CIRP，2017，59：95-101.

[3]Li Y，Tang Q，Chang Q，et al. An event-based analysis of condition-based maintenance decision-making in multistage production systems[J]. International Journal of Production Research，2017，55（16）：4753-4764.

[4]Gandhi K，Schmidt B，Ng A H C. Towards data mining based decision support in manufacturing maintenance[J]. Procedia CIRP，2018，72：261-265.

[5]Neves M L，Santiago L P，Maia C A. A condition-based maintenance policy and input parameters estimation for deteriorating systems under periodic inspection[J]. Computers& Industrial Engineering，2011，61（3）：503-511.

[6]Florian E，Sgarbossa F，Zennaro I. Machine learning-based predictive maintenance：a cost-oriented model for implementation[J]. International Journal of Production Economics，2021，21：108114.

[7]Lu B，Chen Z，Zhao X. Data-driven dynamic predictive maintenance for a manufacturing system with quality deterioration and online sensors[J]. Reliability Engineering & System Safety，2021，212：107628.

[8]趙洪利，鄭涅.基于融合數(shù)據(jù)和維納建模發(fā)動(dòng)機(jī)余壽預(yù)測(cè)[J].航空科學(xué)技術(shù)，2021，32（5）：23-30. Zhao Hongli， Zheng Nie. Engine RUL prediction based on the combination of fusing data and wiener modeling[J]. Aeronautical Science & Technology， 2021， 32（5）： 23-30. （in Chinese）

[9]徐釗，張一童，潘震，等.基于遺傳算法：支持向量機(jī)的航電模塊故障分類研究[J].航空科學(xué)技術(shù)， 2021， 32（10）： 80-86. Xu Zhao， Zhang Yitong， Pan Zhen， et al. Avionics module fault classification based on genetic algorithm-support vector machine[J]. Aeronautical Science & Technology， 2021， 32（10）： 80-86. （in Chinese）

[10]Borrero J S，Akhavan-Tabatabaei R. Time and inventory dependent optimal maintenance policies for single machine workstations：an MDP approach[J]. European Journal of Operational Research，2013，228（3）：545-555.

[11]Neto R F T，Godinho Filho M. An ant colony optimization approach to a permutational flowshop scheduling problem with outsourcing allowed[J]. Computers & Operations Research，2011，38（9）：1286-1293.

[12]曲昌琦，周銳，杜寶，等.航空裝備故障預(yù)測(cè)與健康管理的數(shù)據(jù)體系研究[J].航空科學(xué)技術(shù)，2020，31（12）： 61-67. Qu Changqi， Zhou Rui， Du Bao， et al. Research on PHM data system architecture for aviation equipment[J]. Aeronautical Science & Technology， 2020， 31（12）： 61-67. （in Chinese）

[13]崔鵬浩，王軍強(qiáng)，張文沛，等.基于深度強(qiáng)化學(xué)習(xí)的流水線預(yù)測(cè)性維護(hù)決策優(yōu)化[J].計(jì)算機(jī)集成制造系統(tǒng)， 2021（9）： 1-19. Cui Penghao， Wang Junqiang， Zhang Wenpei， et al. Optimizing predictive maintenance decision for serial production lines based on deep reinforcement learning[J]. Computer Integrated Manufacturing Systems， 2021（9）： 1-19. （in Chinese）

[14]Colledani M，Gershwin S B. A decomposition method for approximate evaluation of continuous flow multi-stage lines with general Markovian machines[J]. Annals of Operations Research，2013，209（1）：5-40.

[15]茍藝星，王軍強(qiáng)，李洋.事件驅(qū)動(dòng)的流水線建模與質(zhì)檢機(jī)器配置優(yōu)化[J].計(jì)算機(jī)集成制造系統(tǒng)， 2021， 27（2）： 487-500. Gou Yixing， Wang Junqiang， Li Yang. Event-based modeling of serial production lines and optimal allocation of quality inspection machines[J]. Computer Integrated Manufacturing Systems， 2021，27（2）： 487-500. （in Chinese）

[16]劉全，翟建偉，章宗長，等.深度強(qiáng)化學(xué)習(xí)綜述[J].計(jì)算機(jī)學(xué)報(bào)， 2018， 41（1）： 1-27. Liu Quan， Zhai Jianwei， Zhang Zongzhang， et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers， 2018， 41（1）： 1-27. （in Chinese）

[17]Aggarwal C C. Neural networks and deep learning[M]. Berlin：Springer，2018.

Event-Based Predictive Maintence Decision-Making of Aerospace Manufacturing Systems

Zhang Wenpei，Cui Penghao，Li Yang，Yan Shuang Northwestern Polytechnical University，Xi’an 710072，China

Abstract： In production lines， predictive maintenance is adopted to improve the maintenance efficiency while achieving a desirable throughput. Predictive maintenance makes maintenance decisions based on the status of equipment， which is important to reduce the waste resulted from excessive maintenance and the unexpected equipment breakdown. However， it is not uncommon that machines need to be shut down for maintenance. Similar to random machine failure， predictive maintenance can cause significant production loss if it is not planned appropriately. Therefore， this paper proposes a predictive maintenance decision-making model for a serial production line based on a thorough understanding of production dynamics. Firstly， the impact of disruption events and maintenance events are evaluated in terms of the permanent production loss. Then， a Markov decision process model is established for predictive maintenance decision making. The model considers the penalty cost by permanent production loss and the maintenance cost. Deep Q network is adopted to exploit the optimal maintenance policies. Lastly， case studies are performed to validate the effectiveness of the proposed predictive maintenance decision-making model by comparing with other three maintenance decision-making models.

Key Words：predictive maintenance；serial production line；decision-making optimization；Markovdecision process； deep Q network