田從根 吳長澤

(重慶大學計算機學院 重慶 400030)

基于回歸分析的早期預警和失效預測技術(shù)

田從根 吳長澤

(重慶大學計算機學院 重慶 400030)

提前預測運行時期失效的發(fā)生對于實現(xiàn)系統(tǒng)彈性和避免失效的嚴重后果有重要的意義。為了能對系統(tǒng)失效過程預測以及實現(xiàn)早期預警，進而降低失效率，提高系統(tǒng)可靠性，提出采用回歸分析法?；阱e誤日志記錄構(gòu)造錯誤傳播簽名演繹失效發(fā)生的趨勢，然后通過回歸分析法構(gòu)造針對失效事件(是否發(fā)生)和失效時間(何時發(fā)生)的預測器，充分展現(xiàn)了提前預警的作用，而且在失效模式已知和未知的情況下都能正確預測失效的發(fā)生。實驗結(jié)果表明其預測精度在81.4%～93.0%，平均精度高達87%，失效避免率在70%以上，有很強的優(yōu)越性。

失效預測 失效模式 回歸分析法 早期預警

0 引 言

預測失效是基于運行時系統(tǒng)的當前狀態(tài)預測未來失效的發(fā)生，可以預先避免失效，或至少減輕失效的影響，把損失降到最低，(例如通過建議重新啟動特定系統(tǒng)模塊，保存數(shù)據(jù)等)，因此可以提高系統(tǒng)的可靠性。

當前在線故障預測技術(shù)是基于在線實時觀察目標系統(tǒng)，通過觀察內(nèi)部狀態(tài)特定變量(例如，頁面每秒的故障，I / O請求隊列大小等)來收集信息，尤其是，有的故障預測算法使用過去時間里故障事件發(fā)生的信息以及現(xiàn)在運行狀態(tài)下實時監(jiān)測的系統(tǒng)失效前瞬間的系統(tǒng)變量，兩者一起作為故障預測的數(shù)據(jù)。 故障預測的輸出結(jié)果可以是判斷即將是否會發(fā)生失效或者描繪失效發(fā)展的趨勢。

現(xiàn)在的故障預測技術(shù)會預測故障發(fā)生的數(shù)量、產(chǎn)生的影響、是否失效、失效的模式，但是都沒有在運行期間根據(jù)某一失效模式推演失效趨勢的過程中針對某一關(guān)鍵狀態(tài)提前做出及時預警，而且在故障模式貧瘠、不完備或者新的故障模式是未知的情況下不能很好地預測故障的發(fā)生。

本文提出的方法可以預測系統(tǒng)運行期間故障是否發(fā)生、何時發(fā)生以及發(fā)生的模式，而且在故障模式是否已知的情況下，都能做出很好的預測。本文利用錯誤歷史記錄構(gòu)造錯誤傳播簽名，每一條日志記錄對應一個時刻的簽名，也代表了該系統(tǒng)當時的狀態(tài)和發(fā)展的趨勢。利用錯誤日志記錄可以訓練得到預測器，該預測器結(jié)合當前系統(tǒng)狀態(tài)參數(shù)評估現(xiàn)在系統(tǒng)所處的健康狀態(tài)，處于何種失效趨勢模式下，在系統(tǒng)處于危險邊緣時可以及時危險警告。實驗證明，在故障模式庫越來越完備的情況下可以更準確地預測失效的發(fā)生，在模式庫貧瘠的情況下，同樣可以保持優(yōu)秀的預測精度。

本文的貢獻在于以下三點：1) 通過錯誤歷史記錄和失效事件構(gòu)造出預測器，該構(gòu)造器可以預測失效發(fā)展的趨勢，以及在某一關(guān)鍵時刻做出有效預警避免最終失效的發(fā)生；2) 在未知失效模式下也可以較準確地預測失效地發(fā)生；3) 通過逐漸完備的失效模式庫可以達到更好的預測精度。

1 相關(guān)工作

一些關(guān)于故障、錯誤、失效的預測技術(shù)已經(jīng)被很多學者所研究[1-5]，失效發(fā)生時一個服務偏離其正確行為，一個錯誤是直接導致故障的損壞的系統(tǒng)狀態(tài)， 故障是系統(tǒng)損壞的根本原因[6]。而在最近30年，對失效預測的研究比重一直在增加。

Pizza等[7]和Hamerly等[8]都使用了基于分類技術(shù)的失效預測。他們基于歷史數(shù)據(jù)，把系統(tǒng)狀態(tài)分為失效趨勢狀態(tài)和非失效趨勢狀態(tài)兩類，在系統(tǒng)運行過程中，監(jiān)視當前系統(tǒng)狀態(tài)判斷為失效或者非失效狀態(tài)。該方法可以精確判斷失效，但對于失效時間范圍很難確定，而且失效的過程也不能推演。本文通過每個以往的錯誤日志文件和失效記錄作為輸入，使用回歸分析可以模擬出失效模式，對于失效的惡化趨勢可以有很直觀的把控，而且建立數(shù)量充足且質(zhì)量高效的模式庫對于以后的失效預測有很好的提升效果。

Teerat Pitakrat[9]為了提高基于組件的軟件系統(tǒng)可靠性，系統(tǒng)的組件依賴圖和內(nèi)部構(gòu)造信息需要被描述出來。鄭從環(huán)[10]使用人工神經(jīng)網(wǎng)絡模型得到預測器，文中用到的變量需要從需求文檔中獲得,這些變量需要專業(yè)人士識別并提取出來,此類型的數(shù)據(jù)采集和整理的過程比較復雜，最后的數(shù)據(jù)不準確或者稀少會導致預測的精度。而本文采用錯誤歷史日志作為數(shù)據(jù)，提取簡單而且數(shù)據(jù)量充足，減少了很多時間成本和經(jīng)濟成本，并且對預測的精度有很大幫助。

一些研究預測失效的文章基本都可以對失效的預測做出判斷，但是忽略了對失效時間的研究，從而不能在合適的時刻提前預警，采取有效的措施攔截錯誤、避免失效。例如Pang[11]在基于計算機網(wǎng)絡的基礎(chǔ)上使用馬爾科夫模型對軟件系統(tǒng)的可靠性和失效預測做了一些工作，其目的是為了預測，但是卻沒有給出明確的時間范圍來表示系統(tǒng)失效時刻。

2 背景知識

2.1 軟件可靠性的定義

1983年美國IEEE計算機學會對“軟件可靠性”作出了明確定義，該定義包括兩方面的含義[13]：

(1) 在規(guī)定的條件下，在規(guī)定的時間內(nèi)，軟件不引起系統(tǒng)失效的概率；

(2) 在規(guī)定的時間周期內(nèi)，在所述條件下程序執(zhí)行所要求的功能的能力。

其中的概率是系統(tǒng)輸入和系統(tǒng)使用的函數(shù)，也是軟件中存在的故障的函數(shù)，系統(tǒng)輸入將確定是否會遇到已存在的故障(如果故障存在的話)。

2.2 軟件失效的原理

軟件容錯率越高，說明對失效的免疫力越強，如果失效不間斷發(fā)生而且軟件不能抵御失效帶來的危害，那么不但對軟硬件本身是一種耗損，對社會、政治、經(jīng)濟文化也是一種摧殘。圖1描述了軟件失效的產(chǎn)生原理[14]。

圖1 軟件失效原理

錯誤(error)是指軟件開發(fā)人員在軟件開發(fā)階段出現(xiàn)的失誤、漏洞和錯誤。

缺陷(defect)是指產(chǎn)品代碼中固有的錯誤編碼，如果不修正，會引發(fā)各種失效。

故障(fault)是指軟件在運行過程中出現(xiàn)的預料之外或者不被接受的內(nèi)部錯誤狀態(tài)，通常是由內(nèi)部固有缺陷引起的。

失效(failure)是指軟件運行過程中偏移了正常的需求輸出，其結(jié)果是不可用的。

從以上的描述中可以看到，從各個階段處理都可以盡量避免失效的發(fā)生，但是失效狀態(tài)作為軟件系統(tǒng)發(fā)生失效中最后的關(guān)鍵一環(huán)，采取合理的預測技術(shù)避免失效的發(fā)生是極其重要的。

3 早期預警以及失效預測

本節(jié)介紹預測框架的構(gòu)建過程，比如如何構(gòu)建錯誤傳播簽名。每個簽名狀態(tài)下對應的失效概率及危險系數(shù)的數(shù)理統(tǒng)計。如何把控合理的預警時間來避免失效。如何利用回歸分析法構(gòu)建失效預測器。在已知模式和未知模式兩種情況下分別如何預測系統(tǒng)失效，以及及時預警。

3.1 構(gòu)建錯誤傳播簽名

在系統(tǒng)運行期間，很多數(shù)據(jù)可以表明系統(tǒng)的性能狀況，比如 CPU和內(nèi)存的利用率、讀寫速度、網(wǎng)速、響應時間、棧、錯誤信息、錯誤計數(shù)等。在發(fā)生錯誤時，一條日志記錄可以由這些信息表述，記錄當時系統(tǒng)的狀況,其中最主要的是錯誤分布情況，連續(xù)時間段內(nèi)的幾條日志記錄就可以共同表示當時系統(tǒng)在一段期間內(nèi)的健康動態(tài)，也可以表示為失效趨勢。

每一條日志記錄就對應一個錯誤傳播簽名，每一條日志記錄可以由一個或多個錯誤日志變量來表示，錯誤日志變量表示為對系統(tǒng)日志中一種特定錯誤類型、信息或者參數(shù)的計數(shù)。

由此錯誤傳播簽名可以表示為多個錯誤日志變量組成的一維向量。

(1)

(2)

所以：

(3)

3.2 危險系數(shù)

每一個錯誤傳播簽名都對應一個失效概率，表示在該狀態(tài)下運行系統(tǒng)發(fā)生失效的概率即危險系數(shù)，在[0,1]區(qū)間，0表示該狀態(tài)下不可能會發(fā)生失效，1表示已經(jīng)發(fā)生失效。

(4)

所以，在系統(tǒng)從開始運行產(chǎn)生錯誤日志記錄1到n的過程中，錯誤傳播簽名一直在表征系統(tǒng)當時的運行狀態(tài)，失效模式概率表示其失效嚴重性。

3.3 預警時間

失效模型概率可以表示系統(tǒng)當前失效狀態(tài)的嚴重性，那么失效時間表示系統(tǒng)距離發(fā)生失效所剩余的時間，可以表示為：

圖2 預警時間圖

3.4 回歸分析構(gòu)造預測器

回歸分析是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法。本文使用系統(tǒng)歷史日志建立錯誤日志和失效模式之間的關(guān)系從而構(gòu)造出預測器，在系統(tǒng)運行期間基于運行時錯誤日志可以分析出對應的失效模式。

設想從系統(tǒng)運行期間{t1,t2,…,tn}開始產(chǎn)生錯誤日志{log1,log2,…,logn},以及對應的失效狀態(tài)，這些數(shù)據(jù)存儲在數(shù)據(jù)庫中。利用該數(shù)據(jù)實施回歸分析需要以下幾步：

第一，構(gòu)建已知失效模式庫{m1,m2,…,mM},每種模式都在系統(tǒng)歷史中至少發(fā)生了一次。

(5)

(6)

(7)

(8)

3.5 預測并預警

系統(tǒng)在運行期間發(fā)生失效會根據(jù)某種失效模式逐漸惡化或者好轉(zhuǎn)，如果系統(tǒng)逐漸惡化，最終的模式趨勢概率為1,會發(fā)生失效，如果逐漸好轉(zhuǎn)，趨近的概率值為0，系統(tǒng)為正常。通過監(jiān)測系統(tǒng)錯誤日志，在日志記錄簽名中使用累積錯誤計數(shù)器，可以更直觀地表示系統(tǒng)狀態(tài)。在最終狀態(tài)，系統(tǒng)會趨于失效或者正常。在系統(tǒng)失效之前，必須精確地預測失效的時間，及時發(fā)出預警通知系統(tǒng)管理員做出處理操作或者系統(tǒng)本身自適應改善錯誤。

3.5.1 已知模式

失效模式概率可以表達系統(tǒng)處于失效狀態(tài)的嚴重系數(shù)，當某一個sn狀態(tài)下概率高于某閾值π∈[0,1]時，表示系統(tǒng)處于危險階段，沿著該失效趨勢發(fā)展下去系統(tǒng)被判定為失效，反之成功。該閾值可以根據(jù)特定系統(tǒng)實際情況自適應調(diào)整。

在系統(tǒng)發(fā)生失效之前，預測器判定的是系統(tǒng)沿著某一條失效模式發(fā)展，該過程是預測推理過程，當系統(tǒng)發(fā)生失效之后就可以清楚判定導致其失效的模式具體是已知模式中的某一個。

3.5.2 未知模式

基于正在發(fā)生的失效模式是已知的情況下，預測器可以有規(guī)劃地進行失效預測和預警，但是當出現(xiàn)未知的失效模式時，必須采取其他手段處理。當系統(tǒng)處于sn狀態(tài)時，沒有可以遵從的失效模式，那么采取概率統(tǒng)計的方法評估系統(tǒng)會發(fā)生失效的概率。

當F(sn)超過一定的閾值?時，即可判定系統(tǒng)有可能會發(fā)生失效，同時發(fā)出失效預警。失效發(fā)生后，把錯誤日志記錄和錯誤事件整理訓練，新的失效模式被記錄下來加入已知模式庫。

4 實驗評估

本節(jié)主要在實際環(huán)境中進行實驗對本文理論的驗證，探索該論文各方面的優(yōu)勢和不足，主要驗證失效預測精度、預測失效模型準確性、預警的效率，以及在未知模式下該預測器的性能是否保持同樣優(yōu)勢。

初始階段要對目標系統(tǒng)的歷史錯誤日志數(shù)據(jù)采集和整理，對數(shù)據(jù)的整理要降低噪聲、降維、歸一化等操作可以保證錯誤日志和失效時間更清晰、更準確的匹配，通過回歸分析法構(gòu)造的預測器性能會更好。

為了保持預測器保持在很高的準確度，我們在目標系統(tǒng)上運行監(jiān)測器捕捉運行時間段內(nèi)的錯誤日志記錄，作為預測器的輸入進行預測，然后比對已發(fā)生的故障有沒有被預測器正確地預測到，多報、誤報、漏報都會被記錄下來。所以我們通過在實際中捕捉到的失效和預測器的預測結(jié)果進行量化對比測試預測器的準確度。

如圖3所示，在目標系統(tǒng)上運行該模型100個工作日，其預測精度在81.4%和93.0%之間。初始階段失效模式庫比較貧瘠，更多的預測是在未知模式下進行。雖然如此，依然能保持很理想的預測精度，而且隨著預測器對模式的積累，失效模式庫逐漸完備，后期主要依賴于已知模式對失效事件的預測。已知模式下預測精度很高，從1～100天實驗期間內(nèi)整體上看預測精度的趨勢在逐漸上升。從圖4可以看出隨著時間的增長，平均預測精度逐漸增高。由此可知建立逐漸完備的模式庫對于失效預測的重要性。

圖3 本文模型預測精度

圖4 隨時間增長平均精度的趨勢

由表1所示，1～4周時間內(nèi)，預測失效計數(shù)和在無預警情況下真實發(fā)生的失效計數(shù)基本相當，表明了很高的預測精度。當真實值高于預測值，說明預測器存在漏報。當預測值高于真實值，說明存在一定的多報。當然中間也會有錯報的情況，不過總體看預測精度在84%～90%之間，在4～8周，有預警系統(tǒng)參與的情況下，平均失效從91.25次/周降低為25.50次/周，失效避免率為72.1%，效果還是比較明顯。當預警發(fā)生時，管理員或者系統(tǒng)本身自適應改善系統(tǒng)錯誤非常重要，而且更高效精確的預測器是對預警工作不可獲取的一環(huán)。

表1 有預警與無預警真實失效計數(shù)對比圖

5 結(jié) 語

本文基于錯誤日志記錄構(gòu)造錯誤傳播簽名演繹失效發(fā)生的趨勢，然后通過回歸分析法構(gòu)造針對失效事件和失效時間的預測器，充分展現(xiàn)了提前預警的作用，在失效模式已知和未知的情況下都能正確預測失效的發(fā)生。實驗證明在失效模式庫貧瘠的情況下對失效的預測精度高于84.02%，隨著對模式的積累，后期平均預測精度可以達到88.60%，最高可以達到93%。已知模式和未知模式下對失效的預測達到了預期的要求，而且在預警工作方面，預警時間的把控很準，對于大部分的失效都可以有效的預警，提前避免失效發(fā)生，避免失效事件70%以上。如果合理地調(diào)控預警時間閾值，可以提升預警效果，但是會增加系統(tǒng)開銷，浪費一些資源，所以要根據(jù)系統(tǒng)的具體情況合理預警。

本文的研究是基于單模式導致失效的情況，沒有考慮實際中可能會存在多種模式混合導致系統(tǒng)失效的情況。而且錯誤傳播簽名是基于錯誤計數(shù)構(gòu)造成一個錯誤狀態(tài)實體，當多個錯誤計數(shù)稍有差別時要判斷是否類屬于同一種錯誤傳播狀態(tài)還需要進一步加強認知，如果判斷不準確會被認為是新的未知模式發(fā)生，導致最終預測精度降低。進一步提高預測精度、精確把控預警時間、自適應改善錯誤是后期需要進一步補充和完善的工作。

[1] Berenji H R,Ametha J,Vengerov D.Inductive learning for fault diagnosis[C]//The 12th IEEE International Conference on Fuzzy Systems,2003,1:726-731.

[2] Ning M H,Yong Q,Di H,et al.Software Aging Prediction Model Based on Fuzzy Wavelet Network with Adaptive Genetic Algorithm[C]//2012 IEEE 24th International Conference on Tools with Artificial Intelligence (2006),2006:659-666.

[3] Pfefferman J D.A nonparametric nonstationary procedure for failure prediction[J].IEEE Transactions on Reliability,2002,51(4):434-442.

[4] Salfner F,Malek M.Using Hidden Semi-Markov Models for Effective Online Failure Prediction[C]//IEEE International Symposium on Reliable Distributed Systems.IEEE,2007:161-174.

[5] Wong K C P,Ryan H M,Tindle J.Early Warning Fault Detection Using Artificial Intelligent Methods[C]//Proceedings:31st Universities power engineering conference,Technological Educational Institute of Iraklion,Hereklion,Crete,1996:949-952.

[6] Avizienis A,Laprie J C,Randell B.Fundamental Concepts of Dependability[J].Third Information Survivability Workshop,2001,404(1-2):112-126.

[7] Pizza M,Strigini L,Bondavalli A,et al.Optimal Discrimination between Transient and Permanent Faults[C]//High-Assurance Systems Engineering Symposium,1998.Proceedings.Third IEEE International,1998:214-214.

[8] Hamerly G,Elkan C.Bayesian approaches to failure prediction for disk drives[C]//ICML ’01 Proceedings of the Eighteenth International Conference on Machine Learning,2001:202-209.

[9] Pitakrat T.Hora:Online Failure Prediction Framework for Component-based Software Systems Based on Kieker and Palladio[D].Germany:University of Stuttgart,2013.

[10] 鄭從環(huán).在線軟件系統(tǒng)的失效預測[D].浙江:浙江理工大學,2014.

[11] Pang J.A new Markov model of reliability assurance and failure prediction using network technology[C]//International Conference on Computer Science and Network Technology.IEEE,2015.

[12] Salfner F,Lenk M,Malek M.A survey of online failure prediction methods[J].Acm Computing Surveys,2010,42(3):1283-1310.

[13] Standard I.610.12-1990 - IEEE Standard Glossary of Software Engineering Terminology[M]//IEEE standard glossary of software engineering terminology.Institute of Electrical and Electronics Engineers,1983:112-118.

[14] 喬輝.軟件缺陷預測技術(shù)研究[D].解放軍信息工程大學,2013.

EARLYWARNINGANDFAILUREPREDICTIONTECHNIQUESBASED
ONREGRESSIONANALYSIS

Tian Conggen Wu Changze

(CollegeofComputerScience,ChongqingUniversity,Chongqing400030,China)

It’s much important to predict the occurrence of potential failure during runtime for achieving system resilience and avoiding the dangerous consequences of failure. In order to predict the system failure process and realize early warning, and then reduce the failure rate and improve the system reliability, such that the regression analysis is proposed. In this paper, our methodology utilizes system error log records to craft runtime error-spread signature and determine a predictive function (estimator) for each failure mode based on these signatures by regression analysis method to predict the failure possibility and failure time, which fully highlight the role of early warning. And it plays with highly accurate prediction no matter in known or non-known mode. The prediction accuracy of the experimental results is stable between 81.4% and 93.0%, the average accuracy up to 87%, which show the superiority of the model is good.

Failure prediction Failure mode Regression analysis Early warning

2016-12-29。田從根，碩士，主研領(lǐng)域：軟件可靠性，失效預測。吳長澤，講師。

TP311

A

10.3969/j.issn.1000-386x.2017.11.010