劉璟忠

基于奇異值分解極限學(xué)習(xí)機(jī)的維修等級(jí)決策

劉璟忠1, 2

(1. 湖南大學(xué)信息科學(xué)與工程學(xué)院，湖南長(zhǎng)沙，410082；2. 湖南工學(xué)院數(shù)理科學(xué)與能源工程學(xué)院，湖南衡陽(yáng)，421002)

為降低航空發(fā)動(dòng)機(jī)維修成本，增強(qiáng)維修等級(jí)決策的客觀性，提出一種基于奇異值分解的極限學(xué)習(xí)機(jī)(SVD-ELM)算法，推導(dǎo)基于奇異值分解(SVD)的極限學(xué)習(xí)機(jī)(ELM)輸出權(quán)重計(jì)算公式，從而有效地避免普通ELM在求解輸出權(quán)重時(shí)因矩陣奇異而導(dǎo)致無(wú)法求逆的問(wèn)題。將SVD-ELM應(yīng)用于決策建模過(guò)程，提高決策模型的穩(wěn)定性。研究結(jié)果表明：相比于SVM，SVD-ELM和ELM的決策準(zhǔn)確率相同，且均比SVM的高，但SVD-ELM的模型穩(wěn)定性高于ELM，且SVD-ELM和ELM的測(cè)試耗時(shí)相差不大，說(shuō)明這2種方法的計(jì)算量相當(dāng)。

智能決策；極限學(xué)習(xí)機(jī)；模式識(shí)別；維修等級(jí)；奇異值分解

發(fā)動(dòng)機(jī)在航使用時(shí)需要滿足一定的適航標(biāo)準(zhǔn)，當(dāng)檢測(cè)出其健康狀態(tài)不適合工作時(shí)，必須進(jìn)行不同等級(jí)的維修，以期恢復(fù)發(fā)動(dòng)機(jī)的性能[1?3]。在進(jìn)行維修之前，性能工程師首先需要根據(jù)發(fā)動(dòng)機(jī)的工作狀態(tài)確定其維修等級(jí)[4]。維修成本與維修等級(jí)有很強(qiáng)的關(guān)聯(lián)性，維修等級(jí)越高，維修耗時(shí)和維修成本也隨之顯著增高。若為了降低本次維修的成本而設(shè)定較低的維修等級(jí)，則有可能縮減發(fā)動(dòng)機(jī)下次的在航時(shí)間，使得平均每飛行1 h的維修成本增加。因此，若能夠根據(jù)發(fā)動(dòng)機(jī)的性能指標(biāo)選擇合理的維修等級(jí)，則能有效降低航空公司的維修成本。但是，在確定維修等級(jí)時(shí)可能存在如下困難：1) 由于發(fā)動(dòng)機(jī)內(nèi)部結(jié)構(gòu)復(fù)雜，很難根據(jù)整機(jī)的性能參數(shù)確定具體的退化部件及確定相應(yīng)的維修等級(jí)；2) 維修人員缺乏對(duì)典型案例的掌握和實(shí)踐經(jīng)驗(yàn)的積累，使得很難根據(jù)人為經(jīng)驗(yàn)確定合理的維修等級(jí)[5]。神經(jīng)網(wǎng)絡(luò)作為一種數(shù)據(jù)挖掘方法，通過(guò)學(xué)習(xí)已知的案例使其具備對(duì)維修等級(jí)的決策能力，從而給維修人員提供輔助決策。極限學(xué)習(xí)機(jī)(ELM)作為近年來(lái)發(fā)展起來(lái)的一種單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[6?8]，具有學(xué)習(xí)速度快、泛化能力強(qiáng)等優(yōu)點(diǎn)[9?10]，已經(jīng)在時(shí)間序列預(yù)測(cè)[11?14]、模式識(shí)別[15?17]等領(lǐng)域得到了應(yīng)用。本文針對(duì)ELM在計(jì)算輸出權(quán)重時(shí)因矩陣奇異而導(dǎo)致無(wú)法求逆的問(wèn)題，將ELM引入維修決策建模過(guò)程中，推導(dǎo)基于SVD的ELM輸出權(quán)重計(jì)算公式，從而有效避免求逆無(wú)效的問(wèn)題，提高維修決策模型的穩(wěn)定性。

1 極限學(xué)習(xí)機(jī)

ELM的數(shù)學(xué)表達(dá)式為[18]

(2)

式中：為第個(gè)隱含層節(jié)點(diǎn)的輸入權(quán)重；b為第個(gè)隱含層節(jié)點(diǎn)的偏差；為激活函數(shù)。

假設(shè)已知由組輸入輸出數(shù)據(jù)對(duì)構(gòu)成的訓(xùn)練樣本(其中，為輸入變量；為相應(yīng)的實(shí)際輸出)，則

將式(3)變?yōu)榫仃囆问絒19]，則

(4)

式中：

，(5)

對(duì)于式(3)，參數(shù)和b利用隨機(jī)生成方式獲得，參數(shù)則根據(jù)計(jì)算得出。在解決分類問(wèn)題時(shí)，為了提高ELM的分類準(zhǔn)確性，文獻(xiàn)[20]引入正則化因子，從而可以將求解看成如下優(yōu)化問(wèn)題：

根據(jù)式(7)計(jì)算的最優(yōu)解為[21]

(8)

ELM的決策方程按下式求得：

(10)

2 基于奇異值分解的極限學(xué)習(xí)機(jī)

2.1 基于SVD的輸出權(quán)重計(jì)算

由式(8)可以看出：在計(jì)算輸出權(quán)重時(shí)，若近似為奇異矩陣，則對(duì)其求逆會(huì)使得計(jì)算結(jié)果不穩(wěn)定。為解決矩陣求解無(wú)效問(wèn)題，本文采用基于SVD的輸出權(quán)重求解式(8)中的，下面給出具體推導(dǎo)過(guò)程。

基于奇異值分解，ELM中的矩陣可以表示為

則

(12)

式中：為將中所有非零元素取倒數(shù)。

式(8)中的可以變換為如下形式：

(13)

2.2 SVD-ELM算法流程

步驟1確定SVD-ELM中的正則化因子和隱節(jié)點(diǎn)數(shù)。

步驟2隨機(jī)產(chǎn)生輸入層權(quán)值和隱含層偏差b，=1, 2, …,。

步驟4將代入式(11)，對(duì)進(jìn)行奇異值分解(SVD)，得到矩陣，，和，然后根據(jù)式(13)，計(jì)算基于SVD的輸出權(quán)重。

步驟5對(duì)于待分類的輸入向量，計(jì)算對(duì)應(yīng)的，代入式(14)得到，將代入式(9)，得到其所屬類別，即為維修等級(jí)決策結(jié)果。

3 數(shù)據(jù)仿真驗(yàn)證

為驗(yàn)證本文方法的有效性，選取6種標(biāo)準(zhǔn)的UCI數(shù)據(jù)作為實(shí)驗(yàn)對(duì)象，將歸一化后的UCI數(shù)據(jù)作為訓(xùn)練樣本和測(cè)試樣本。本文選擇的樣本包括二分類和多分類數(shù)據(jù)，具體的數(shù)據(jù)名稱為：wdbc，haberman，parkinsons，iris，glass和zoo。

為證明本文提出方法的有效性，利用支持向量機(jī)(SVM)和ELM作為對(duì)比方法，其中SVM采用LIBSVM工具箱提供的SVM函數(shù)。實(shí)驗(yàn)運(yùn)行系統(tǒng)如下：Windows XP，Intel酷睿i3 2120處理器(CPU主頻 3.3 GHz)，2 GB內(nèi)存，仿真軟件為 MATLAB R2011b。

對(duì)于SVM，懲罰參數(shù)和核參數(shù)影響維修等級(jí)決策的準(zhǔn)確率；對(duì)于ELM和本文提出的SVD-ELM，正則化因子和隱節(jié)點(diǎn)數(shù)影響決策準(zhǔn)確性。為此，對(duì)于SVM，令和均為，根據(jù)網(wǎng)格搜索法求出每1對(duì)和對(duì)應(yīng)的測(cè)試樣本決策準(zhǔn)確率。同理，對(duì)于ELM和SVD-ELM，令=，=，計(jì)算測(cè)試準(zhǔn)確率。

利用網(wǎng)格搜索法得到的測(cè)試準(zhǔn)確率最高值及其對(duì)應(yīng)的參數(shù)取值、測(cè)試耗時(shí)如表1所示。由表1可以看出：對(duì)于zoo，ELM和SVD-ELM方法的分類準(zhǔn)確率比SVM方法的低；對(duì)于parkinsons和glass，3種方法的準(zhǔn)確率相同；對(duì)于wdbc, haberman和iris，SVD-ELM的準(zhǔn)確率比SVM的高。此外，對(duì)于上述所有6種UCI數(shù)據(jù)，SVD-ELM和ELM的分類準(zhǔn)確率相同，說(shuō)明本文采用基于SVD的輸出權(quán)重計(jì)算公式與ELM中采用Moore-Penrose廣義逆矩陣求解輸出權(quán)重矩陣的結(jié)果一致，從而證明了SVD-ELM在分類問(wèn)題中的有效性。

表1　UCI數(shù)據(jù)測(cè)試準(zhǔn)確率最高值、對(duì)應(yīng)的參數(shù)值以及耗時(shí)

4 實(shí)例驗(yàn)證

以某型民用航空發(fā)動(dòng)機(jī)維修數(shù)據(jù)為例，說(shuō)明本文提出方法的有效性。根據(jù)維修經(jīng)驗(yàn)，發(fā)動(dòng)機(jī)的維修等級(jí)主要包括一般檢查、性能恢復(fù)和翻修3種。維修等級(jí)主要根據(jù)發(fā)動(dòng)機(jī)的性能參數(shù)確定。能夠反映發(fā)動(dòng)機(jī)性能的參數(shù)包括氣體排放溫差(1)、高壓轉(zhuǎn)子轉(zhuǎn)速偏差(2)、低壓轉(zhuǎn)子振動(dòng)偏差(3)、油料流量偏差(4)和高壓轉(zhuǎn)子振動(dòng)偏差(5)等。該維修數(shù)據(jù)共有93組數(shù)據(jù)，其中部分性能參數(shù)值與對(duì)應(yīng)的維修等級(jí)如表2所示。選取其中的50組數(shù)據(jù)作為訓(xùn)練樣本，用于建立決策模型；其余的43組數(shù)據(jù)作為測(cè)試樣本，檢驗(yàn)建立的決策模型的準(zhǔn)確性。

表2 部分性能參數(shù)值與維修等級(jí)

采用上一節(jié)中同樣的參數(shù)尋優(yōu)方法，所得SVM，ELM和SVD-ELM這3種方法對(duì)測(cè)試樣本的維修等級(jí)決策準(zhǔn)確率如圖1所示，測(cè)試準(zhǔn)確率最高值、對(duì)應(yīng)的參數(shù)值以及耗時(shí)如表3所示。

由圖1和表3可以看出：ELM和本文提出的SVD-ELM方法的測(cè)試準(zhǔn)確率均比SVM方法的高，但對(duì)于傳統(tǒng)的ELM方法(如圖1(b)所示)，在(=2?24-,=500)，(=2?23-,=1 200)和(=2?25-,=1 500) 3種情況下，由于為奇異矩陣，導(dǎo)致ELM在計(jì)算輸出權(quán)重時(shí)求解逆矩陣失效，從而這3種參數(shù)取值時(shí)無(wú)法建立基于ELM的維修等級(jí)決策模型。而本文提出的方法采用基于SVD的輸出權(quán)重計(jì)算公式，避免了因矩陣奇異導(dǎo)致求逆無(wú)效的問(wèn)題，從而保證維修等級(jí)決策模型的穩(wěn)定性，如圖1(c)所示。此外，ELM和SVD-ELM方法的耗時(shí)相當(dāng)，說(shuō)明SVD-ELM方法的計(jì)算量與ELM方法的計(jì)算量相當(dāng)。

(a) SVM；(b) ELM；(c) SVD-ELM

表3 維修決策準(zhǔn)確率最高值、對(duì)應(yīng)的參數(shù)值以及耗時(shí)

5 結(jié)論

1) 為解決發(fā)動(dòng)機(jī)維修等級(jí)決策問(wèn)題，提出了一種基于奇異值分解的極限學(xué)習(xí)機(jī)(SVD-ELM)算法。該算法利用ELM能夠提高決策準(zhǔn)確性的優(yōu)點(diǎn)，以及SVD能夠有效避免因矩陣奇異導(dǎo)致求解輸出權(quán)重?zé)o效的特點(diǎn)，使得SVD-ELM具有更高的維修等級(jí)決策準(zhǔn)確率，同時(shí)能夠保證決策模型的穩(wěn)定性。

2) 本文提出的SVD-ELM的維修等級(jí)決策的準(zhǔn)確率比SVM的高。對(duì)于傳統(tǒng)的ELM，在某些參數(shù)取值條件下，ELM出現(xiàn)了求解輸出權(quán)重失效的現(xiàn)象，而SVD-ELM方法則不僅能夠保證建模的穩(wěn)定性，且其算法計(jì)算量與ELM的計(jì)算量相當(dāng)，從而證明了SVD-ELM方法的有效性。

[1] 鄭波. 基于PSO-SVM的民航發(fā)動(dòng)機(jī)送修等級(jí)決策研究[J]. 推進(jìn)技術(shù), 2013, 34(5): 687?692. ZHENG Bo. Investigation on aeroengine maintenance level decision based on PSO-SVM[J]. Journal of Propulsion Technology, 2013, 34(5): 687?692.

[2] LIANG Zhongao, YANG Miao. Research on maintenance level decision of civil aero-engine module[J]. Applied Mechanics & Materials, 2013, 368/369/370: 1396?1399.

[3] HUYNH K T, BARROS A, BERENGUER C. Multi-level decision-making for the predictive maintenance of -out-of-: F deteriorating systems[J]. IEEE Transactions on Reliability, 2015, 64(1): 94?117.

[4] 付旭云, 陳銀, 鐘詩(shī)勝. 基于壽命件的民航發(fā)動(dòng)機(jī)送修目標(biāo)確定方法[J]. 航空動(dòng)力學(xué)報(bào), 2014, 29(7): 1556?1561. FU Xuyun, CHEN Yin, ZHONG Shisheng. Approach for civil aero-engine repair objective determination based on life limited parts[J]. Journal of Aerospace Power, 2014, 29(7): 1556?1561.

[5] 付旭云, 陳銀, 鐘詩(shī)勝. 基于性能狀態(tài)的民航發(fā)動(dòng)機(jī)送修目標(biāo)確定方法[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2013, 19(12): 3002?3007. FU Xuyun, CHEN Yin, ZHONG Shisheng. Civil aero-engine repair objective determination based on performance state[J]. Computer Integrated Manufacturing Systems, 2013, 19(12): 3002?3007.

[6] HUANG Guangbin, ZHU Qinyu, KHEONG S C. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1): 489?501.

[7] YUAN Lan, CHAI S Y, HUANG Guangbin. Ensemble of online sequential extreme learning machine[J]. Neurocomputing, 2009, 72(13): 3391?3395.

[8] YANG Bo, DENG Zhidong. An extended SHESN with leaky integrator neuron and inhibitory connection for Mackey-Glass prediction[J]. Frontiers of Electrical and Electronic Engineering in China, 2012, 7(2): 200?207.

[9] FOSSACECA J M, MAZZUCHI T A, SARKANI S. MARK-ELM: application of a novel multiple kernel learning framework for improving the robustness of network intrusion detection[J]. Expert Systems with Applications, 2015, 42(8): 4062?4080.

[10] Akusok A, Veganzones D, Miche Y, et al. MD-ELM: originally mislabeled samples detection using OP-ELM Model[J]. Neurocomputing, 2015, 159: 242?250.

[11] GU Yang, LIU Junfa, CHEN Yiqiang, et al. TOSELM: timeliness online sequential extreme learning machine[J]. Neurocomputing, 2014, 128(27): 119?127.

[12] 張弦, 王宏力. 具有選擇與遺忘機(jī)制的極端學(xué)習(xí)機(jī)在時(shí)間序列預(yù)測(cè)中的應(yīng)用[J]. 物理學(xué)報(bào), 2011, 60(8): 68?74. ZHANG Xian, WANG Hongli. Selective forgetting extreme learning machine and its application to time series prediction[J]. Acta Physica Sinica, 2011, 60(8): 68?74.

[13] PAN Feng, ZHAO Haibo. Online sequential extreme learning machine based multilayer perception with output self feedback for time series prediction[J]. Journal of Shanghai Jiaotong University, 2013, 18(3): 366?375.

[14] GU Suicheng, TAN Ying, HE Xingui. Recentness biased learning for time series forecasting[J]. Information Sciences, 2013, 237(13): 29?38.

[15] LUO Xiaozhuo, LIU F, YANG Shuyuan, et al. Joint sparse regularization based sparse semi-supervised extreme learning machine (S3ELM) for classification[J]. Knowledge-Based Systems, 2014, 73: 149?160.

[16] AHILA R, SADASIVAM V, MANIMALA K. An integrated PSO for parameter determination and feature selection of ELM and its application in classification of power system disturbances[J]. Applied Soft Computing, 2015, 32: 23?37.

[17] LUO Xiong, CHANG Xiaohui. A novel data fusion scheme using grey model and extreme learning machine in wireless sensor networks[J]. International Journal of Control, Automation, and Systems, 2015, 13(3): 539?546.

[18] DONG Xiao, WANG Jichun, MAO Zhizhong. The research on the modeling method of batch process based on OS-ELM-RMPLS[J]. Chemometrics and Intelligent Laboratory Systems, 2014, 134(5): 118?122.

[19] LIAN Cheng, ZENG Zhigang, YAO Wei. Ensemble of extreme learning machine for landslide displacement prediction based on time series analysis[J]. Neural Computing and Applications, 2014, 24(1): 99?107.

[20] MARTINEZ-MARTINEZ J M, ESCANDELL-MONTERO P, SORIA-OLIVAS E, et al. Regularized extreme learning machine for regression problems[J]. Neurocomputing, 2011, 74(17): 3716?3721.

[21] HUANG Guangbin, ZHOU Hongming, DING Xiaojian, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactioins on Systems, Man, and Cybernetics. Part B: Cybernetics, 2012, 42(2): 513?529.

(編輯 伍錦花)

Maintenance level decision based on singular value decomposition of extreme learning machine

LIU Jingzhong1, 2

(1. College of Computer Science and Electronic Engineering, Hunan University, Changsha 410082, China;2. School of Mathematics, Physics and Energy Engineer, Hunan Institute of Technology, Hengyang 421002, China)

In order to reduce the cost of aviation engine maintenance and enhance the objectivity of maintenance level decision, singular value decomposition based extreme learning machine (SVD-ELM) algorithm was proposed. The output weight formula of extreme learning machine (ELM) was deduced based on singular value decomposition (SVD). Unlike conventional ELM, SVD-ELM effectively avoids the failure of calculating matrix inversion due to matrix singular, during the process of computing output weight. Then SVD-ELM was applied in decision modeling process, which increased decision model stability. The results show that compared with SVM, the decision accuracy of SVD-ELM is the same as ELM, which are both higher than that of SVM. But SVD-ELM stability is greater than ELM. Meanwhile, testing time of SVD-ELM and ELM is similar, indicating that these two methods have the same computing amount.

intelligent decision; extreme learning machine; pattern recognition; maintenance level; singular value decomposition

10.11817/j.issn.1672-7207.2017.07.012

TP206

A

1672?7207(2017)07?1769?05

2016?09?16；

2016?11?24

國(guó)家自然科學(xué)基金資助項(xiàng)目(71501068) (Project(71501068) supported by the National Natural Science Foundation of China)

劉璟忠，副教授，從事圖論、算法、計(jì)算機(jī)應(yīng)用、數(shù)學(xué)建模等研究；E-mail: hnhyls@126.com