李 靜，王 剛，劉曉光，李忠偉+

1.中國民航大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300

2.南開大學(xué) 計(jì)算機(jī)與控制工程學(xué)院，天津 300350

存儲系統(tǒng)可靠性預(yù)測綜述*

李 靜1,2，王 剛2，劉曉光2，李忠偉2+

1.中國民航大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300

2.南開大學(xué) 計(jì)算機(jī)與控制工程學(xué)院，天津 300350

對存儲系統(tǒng)的可靠性預(yù)測，可以用來評估、比較不同容錯機(jī)制以及評價(jià)不同系統(tǒng)參數(shù)對存儲系統(tǒng)可靠性的作用，有利于創(chuàng)建高可靠的存儲系統(tǒng)。因此，存儲系統(tǒng)可靠性預(yù)測的研究一直是領(lǐng)域熱點(diǎn)之一。從硬盤單體和存儲系統(tǒng)兩種預(yù)測對象的角度，對近年來該領(lǐng)域的相關(guān)研究進(jìn)行了介紹和分析。首先從硬盤個體和群體兩種對象，主動容錯和被動容錯兩種容錯方式，以及糾刪碼和副本兩種冗余機(jī)制幾個角度分類介紹當(dāng)前可靠性預(yù)測研究現(xiàn)狀，然后進(jìn)一步指明當(dāng)前該領(lǐng)域研究中尚未解決的一些難題和未來可能的發(fā)展方向。分析表明，目前對副本存儲系統(tǒng)和主動容錯存儲系統(tǒng)的可靠性預(yù)測研究尚顯不足，是未來很有價(jià)值的研究方向。

存儲系統(tǒng)；可靠性預(yù)測；主動容錯方式；被動容錯方式

1 引言

可靠性描述的是系統(tǒng)或設(shè)備能夠持續(xù)有效提供正確數(shù)據(jù)服務(wù)的能力。存儲系統(tǒng)中，由于用戶數(shù)據(jù)的巨大價(jià)值，可靠性是與性能和費(fèi)用等指標(biāo)重要性相當(dāng)?shù)囊粋€評價(jià)標(biāo)準(zhǔn)。因此，存儲系統(tǒng)的可靠性一直以來都是存儲領(lǐng)域的研究熱點(diǎn)。

在存儲系統(tǒng)構(gòu)建之前或者潛在的數(shù)據(jù)丟失事件發(fā)生之前，可靠性評價(jià)（預(yù)測）可以幫助系統(tǒng)設(shè)計(jì)者量化分析不同系統(tǒng)的可靠性水平以及不同策略對系統(tǒng)可靠性的提升效果，能夠更好地指導(dǎo)高可靠存儲系統(tǒng)的創(chuàng)建。

為了從根本上提高存儲系統(tǒng)的可靠性，很多研究者嘗試基于硬盤的SMART（self-monitoring,analysis and reporting technology）信息，使用統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的方法創(chuàng)建硬盤故障預(yù)測模型，提前預(yù)測出潛在硬盤故障，從而主動采取相應(yīng)處理措施，可大幅度降低故障發(fā)生對系統(tǒng)可靠性和可用性的負(fù)面影響。

本質(zhì)上，傳統(tǒng)意義的存儲系統(tǒng)可靠性評價(jià)和故障預(yù)測可以統(tǒng)一為一個問題的兩面：可靠性評價(jià)可視為群體化的“靜態(tài)預(yù)測”，即對特定群體（如某種型號的硬盤、相同配置的一類磁盤陣列），依據(jù)故障模型，靜態(tài)預(yù)測群體的期望壽命；反過來，故障預(yù)測也可視為一種個體化的“動態(tài)評價(jià)”，即對特定個體（如某個硬盤、某個系統(tǒng)），依據(jù)實(shí)時(shí)狀態(tài)信息，動態(tài)評價(jià)其可靠性（健康還是潛在故障）。兩者的最終目的都是比較：“靜態(tài)評價(jià)”比較群體間可靠性，作用是分析系統(tǒng)參數(shù)對可靠性的影響，指導(dǎo)系統(tǒng)設(shè)計(jì)的優(yōu)化；“動態(tài)評價(jià)”則是比較系統(tǒng)運(yùn)行中個體間可靠性（或者說潛在故障的緊迫程度）的高低，作用是指導(dǎo)人們利用有限的資源優(yōu)先修復(fù)系統(tǒng)中可靠性最薄弱之處。

本文擬對近年來存儲系統(tǒng)可靠性預(yù)測領(lǐng)域的相關(guān)研究進(jìn)行全面綜述和分析。第2章簡單介紹存儲系統(tǒng)可靠性預(yù)測領(lǐng)域的相關(guān)基礎(chǔ)知識；第3、第4章分類綜述當(dāng)前可靠性預(yù)測研究的現(xiàn)狀；第5章指出當(dāng)前存儲系統(tǒng)可靠性預(yù)測研究中尚未解決的難題和未來可能的研究方向。本文將從硬盤單體和存儲系統(tǒng)兩種預(yù)測對象的角度對可靠性預(yù)測進(jìn)行介紹和分析。

2 可靠性預(yù)測中的相關(guān)知識

下面將介紹可靠性預(yù)測領(lǐng)域中的相關(guān)基礎(chǔ)知識，以幫助讀者更好地理解本文內(nèi)容。

2.1 數(shù)據(jù)容錯方式

為了保護(hù)用戶數(shù)據(jù)，存儲系統(tǒng)一般都要使用一定的容錯技術(shù)保證系統(tǒng)可靠性，在硬件設(shè)備故障之后（或之前），對故障（或預(yù)警）硬盤上的數(shù)據(jù)進(jìn)行重構(gòu)（或遷移），達(dá)到數(shù)據(jù)保護(hù)的目的。根據(jù)保護(hù)數(shù)據(jù)原理的不同，存儲系統(tǒng)采用的容錯方式可以分為兩類：被動容錯方式和主動容錯方式。

2.1.1 被動容錯方式

利用冗余信息實(shí)現(xiàn)故障數(shù)據(jù)的重構(gòu)是存儲系統(tǒng)應(yīng)對硬盤故障最常用的傳統(tǒng)容錯方式：如果發(fā)生了硬盤故障，故障盤上的數(shù)據(jù)可以利用其他健康硬盤上的數(shù)據(jù)進(jìn)行恢復(fù)。其中，有兩類常用的冗余技術(shù)：糾刪碼技術(shù)（erasure code）和副本技術(shù)（replication）。

糾刪碼技術(shù)[1]通過一定算法將用戶數(shù)據(jù)進(jìn)行編碼得到冗余信息，并將原始數(shù)據(jù)和冗余信息一起存儲到系統(tǒng)中，以此達(dá)到容錯的目的。糾刪碼系統(tǒng)具有冗余率低和靈活性高等優(yōu)點(diǎn)，缺點(diǎn)是重構(gòu)開銷比較大。副本技術(shù)為每個數(shù)據(jù)塊創(chuàng)建一定數(shù)量的副本，并按照某種規(guī)則散布在系統(tǒng)中，以此達(dá)到容錯的目的。副本系統(tǒng)利用高冗余率換取高容錯能力，具有很好的讀性能和重構(gòu)能力。

2.1.2 主動容錯方式

隨著存儲系統(tǒng)規(guī)模的逐漸增大，故障事件發(fā)生的頻率越來越高，被動容錯系統(tǒng)只能通過增加冗余來保障系統(tǒng)的可靠性，而這無疑會增加系統(tǒng)成本和降低系統(tǒng)降級模式下的訪問性能。面對被動容錯模式的困境，一些研究者開始探討能否在硬盤故障發(fā)生前就將其預(yù)測出來，提前遷移保護(hù)有潛在危險(xiǎn)的數(shù)據(jù)，通過這種主動容錯模式從根本上提高存儲系統(tǒng)的可靠性。

現(xiàn)代硬盤大都采用了SMART技術(shù)，可實(shí)時(shí)獲取硬盤狀態(tài)信息，并當(dāng)任意一個屬性值超過預(yù)設(shè)閾值時(shí)發(fā)出警報(bào)。但閾值法只能提前預(yù)測出3%～10%的硬盤故障[2]，不能滿足用戶的需求。因此有研究者提出利用統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的方法在硬盤SMART數(shù)據(jù)集上建立故障預(yù)測模型，以此提高預(yù)測準(zhǔn)確率。

當(dāng)前主動容錯技術(shù)的具體研究方法是，預(yù)先收集大量硬盤的SMART數(shù)據(jù)信息和系統(tǒng)事件，并建立硬盤故障預(yù)測模型；然后實(shí)時(shí)監(jiān)測存儲系統(tǒng)中工作硬盤的狀態(tài)，利用預(yù)測模型預(yù)測潛在硬盤故障，并對即將到來的故障提前進(jìn)行處理，消除潛在的故障隱患，以此達(dá)到提高系統(tǒng)可靠性的目的。

2.2 可靠性度量指標(biāo)

存儲系統(tǒng)可靠性預(yù)測/評價(jià)研究首先要解決的問題是設(shè)計(jì)合理的度量指標(biāo)。下面將從硬盤單體和存儲系統(tǒng)兩方面介紹可靠性度量指標(biāo)的相關(guān)研究。

2.2.1 硬盤可靠性度量

硬盤的可靠性是指，在給定的操作環(huán)境與條件下，硬盤在一段時(shí)間內(nèi)可以正確讀寫的能力。硬盤可靠性受到設(shè)計(jì)、生產(chǎn)和使用環(huán)境的影響。把硬盤可靠性度量指標(biāo)分為兩類：第一類是受型號和生產(chǎn)廠商影響的硬盤群體可靠性度量指標(biāo)；第二類是受使用環(huán)境、工作負(fù)載和時(shí)間等因素影響的硬盤個體可靠性度量指標(biāo)。

硬盤的群體可靠性度量指標(biāo)有年故障率（annual failure rate，AFR）和平均無故障時(shí)間（mean time to failure，MTTF）[3]。年故障率指一年內(nèi)硬盤發(fā)生故障的期望概率；平均無故障時(shí)間是指在規(guī)定的環(huán)境下，硬盤正常運(yùn)行至下一次故障的平均時(shí)間。

硬盤的個體可靠性度量是預(yù)測模型根據(jù)硬盤某時(shí)刻的SMART信息得出的可靠性預(yù)測結(jié)果。故障預(yù)測模型[2，4-10]一般都是二分類模型，因此對硬盤個體給出的可靠性度量只能是一個二元指標(biāo)：未來一段時(shí)間會發(fā)生故障或者不會。對故障預(yù)測模型本身，有3個評價(jià)指標(biāo)：準(zhǔn)確率或召回率（false discovery rate，F(xiàn)DR）、誤報(bào)率（false alarm rate，F(xiàn)AR）和提前預(yù)測時(shí)間（time in advance，TIA）。FDR是故障硬盤中可以被準(zhǔn)確預(yù)測出的比例；FAR是好盤中被誤報(bào)為壞盤的比例；TIA描述的是可以提前多長時(shí)間預(yù)測出即將到來的故障。顯然，這3個指標(biāo)也直接影響了存儲系統(tǒng)的可靠性和可用性。

硬盤故障不是突然發(fā)生的，而是隨著時(shí)間流逝慢慢發(fā)生的，是一個逐漸老化的過程。這些故障在發(fā)生之前，一般都會出現(xiàn)一些異?，F(xiàn)象。比如，硬盤主軸馬達(dá)在使用過程中會慢慢磨損，將引起主軸偏心逐漸增大，從而使得磁道跟蹤難度加大，進(jìn)而可能會引起跟蹤偏差而丟失數(shù)據(jù)。故障預(yù)測模型如能刻畫這種趨勢，不只是定性給出硬盤將要故障與否的二元預(yù)測，而是更細(xì)致描述硬盤某時(shí)刻的“健康度”（預(yù)期剩余壽命），就可以更有效地指導(dǎo)后期的預(yù)警處理。作者前期工作[11-13]提出創(chuàng)建硬盤“健康度”（health degree）預(yù)測模型，對硬盤的可靠性程度（預(yù)期剩余壽命）給出細(xì)致預(yù)測?！敖】刀取北硎居脖P將要發(fā)生故障的概率，或硬盤的預(yù)期剩余壽命，是根據(jù)硬盤當(dāng)前SMART屬性值給出的硬盤個體可靠性度量值。例如，圖1是硬盤剩余壽命劃分實(shí)例[12]，剩余壽命被劃分到6個“健康度”區(qū)間，離故障時(shí)刻越近，“健康度”越低，Level1表示硬盤的剩余壽命不足72小時(shí)，需要緊急處理。針對硬盤剩余壽命預(yù)測模型，目前的評價(jià)指標(biāo)是“accuracy of residual life level assessment”(ACC)，表示好/壞樣本（硬盤）中可以被預(yù)測到正確剩余壽命區(qū)間的比例。

2.2.2 存儲系統(tǒng)可靠性度量

存儲系統(tǒng)發(fā)生某些硬件故障之后，可以利用其自身的容錯機(jī)制恢復(fù)故障數(shù)據(jù)，屬于可修復(fù)系統(tǒng)。系統(tǒng)級的可靠性度量指標(biāo)主要有平均修復(fù)時(shí)間MTTR（mean time to repair）和平均數(shù)據(jù)丟失時(shí)間MTTDL（mean time to data loss）。

如果發(fā)生了超出系統(tǒng)最大容錯能力的并發(fā)故障，導(dǎo)致系統(tǒng)中至少一個數(shù)據(jù)塊的信息發(fā)生了永久性丟失，這時(shí)認(rèn)為系統(tǒng)發(fā)生了數(shù)據(jù)丟失事件。系統(tǒng)發(fā)生一次數(shù)據(jù)丟失事件的期望時(shí)間作為該系統(tǒng)的MTTDL。

除了MTTDL之外，近年來很多研究者開始使用一段運(yùn)行期間內(nèi)發(fā)生的數(shù)據(jù)丟失事件的個數(shù)作為系統(tǒng)可靠性評價(jià)指標(biāo)。相對于MTTDL，存儲系統(tǒng)實(shí)際運(yùn)行時(shí)間很短，MTTDL并不能反映系統(tǒng)的真實(shí)可靠性水平，而系統(tǒng)實(shí)際運(yùn)行期間（3年或5年）內(nèi)發(fā)生數(shù)據(jù)丟失事件的期望個數(shù)（概率），可以更好地幫助系統(tǒng)設(shè)計(jì)者和用戶理解存儲系統(tǒng)的可靠性。

Fig.1 An example of health degree settings圖1“健康度”設(shè)置例子

3 硬盤可靠性預(yù)測的發(fā)展

據(jù)統(tǒng)計(jì)，硬盤是當(dāng)前數(shù)據(jù)中心最主要的故障源[3,14-15]，微軟數(shù)據(jù)中心中故障硬盤的替換數(shù)量占所有硬件替換的78%[3]。因此，硬盤自身的可靠性對存儲系統(tǒng)整體可靠性的影響巨大，有很多研究關(guān)注硬盤的可靠性。

對硬盤可靠性預(yù)測的研究大體可以分為兩類：第一類是通過對大規(guī)模真實(shí)硬盤數(shù)據(jù)的分析，預(yù)測硬盤群體的可靠性特征；第二類是通過創(chuàng)建硬盤故障預(yù)測模型，基于硬盤的SMART數(shù)據(jù)預(yù)測硬盤個體可靠性特征。

3.1 硬盤群體可靠性分析的發(fā)展

20世紀(jì)90年代初期，Gibson[16]發(fā)現(xiàn)硬盤故障率呈現(xiàn)出“浴盆曲線”規(guī)律，即初期故障率比較高，一段時(shí)間后呈現(xiàn)出較低較穩(wěn)定的故障率，到最后因?yàn)橛布匣?，故障率又呈現(xiàn)出上升的趨勢。他認(rèn)為可以用指數(shù)分布很好地模擬硬盤的故障時(shí)間分布，這為后來學(xué)者使用Markov模型預(yù)測存儲系統(tǒng)可靠性提供了理論指導(dǎo)。

后來，指數(shù)分布假設(shè)被Schroeder和Gibson[3]以高置信度的結(jié)果推翻了，他們發(fā)現(xiàn)硬盤故障呈現(xiàn)出顯著的早發(fā)性磨損退化趨勢，而且與硬盤故障時(shí)間呈現(xiàn)出明顯的相關(guān)性和依賴性。因此，他們建議研究者使用真實(shí)的故障替換數(shù)據(jù)，或是雙參分布（如韋布分布）模擬硬盤故障時(shí)間。

潛在扇區(qū)錯誤是另一種故障類型，硬盤上一個或多個二進(jìn)制位永久地?fù)p壞，不管嘗試多少次，都不可能正確地讀一個扇區(qū)。Ma等人[17]發(fā)現(xiàn)工作硬盤上潛在扇區(qū)錯誤的數(shù)量會隨著時(shí)間持續(xù)增長，不斷增加的扇區(qū)錯誤會導(dǎo)致硬盤可靠性持續(xù)降低，從而引發(fā)硬盤整體崩潰。另外，Bairavasundaram等人[18-19]通過對大量企業(yè)級和近線級硬盤數(shù)據(jù)的研究，發(fā)現(xiàn)潛在扇區(qū)錯誤和靜默的數(shù)據(jù)損壞具有空間局限性和時(shí)間局限性等特點(diǎn)，據(jù)此他們提出有針對性的“磁盤清洗”策略。

還有一些研究[20-22]觀察故障機(jī)理的特性以及一些SMART屬性對硬盤整體故障率的影響。其中，Shah和Elerath[20]的研究發(fā)現(xiàn)污染和磁頭穩(wěn)定性是影響可靠性的重要因素，表明硬盤的可靠性和硬盤的制造商和型號非常相關(guān)；Pinheiro等人[21]發(fā)現(xiàn)一些SMART屬性如掃描錯誤（scan errors）、重定向數(shù)量（reallocation counts）等對硬盤故障有很大影響，而且與之前的研究不同，他們發(fā)現(xiàn)高溫對硬盤故障沒有太多影響，這個發(fā)現(xiàn)后來在El-Sayed等人[22]的工作中也得到了證實(shí)。

3.2 硬盤個體可靠性預(yù)測的發(fā)展

早在新世紀(jì)初，Hamerly和Elkan[4]就嘗試構(gòu)建基于SMART屬性的硬盤故障預(yù)測模型，發(fā)現(xiàn)有些SMART屬性會對預(yù)測準(zhǔn)確性造成負(fù)面影響，使用3個屬性的貝葉斯分類方法可達(dá)到最好的預(yù)測性能——誤報(bào)率1%和準(zhǔn)確率55%。

之后，Hughes博士領(lǐng)導(dǎo)的團(tuán)隊(duì)對此問題進(jìn)行了深入研究。他們發(fā)現(xiàn)很多SMART屬性是非參分布的，因此使用Wilcoxon秩和檢驗(yàn)方法達(dá)到了誤報(bào)率0.5%和準(zhǔn)確率60.0%的預(yù)測性能[5]。接下來，他們比較了支持向量機(jī)（support vector machine，SVM）、無監(jiān)督聚類、秩和檢驗(yàn)與反向安排檢驗(yàn)的預(yù)測性能，其中秩和檢驗(yàn)性能最好，可達(dá)到0.5%的誤報(bào)率和33.2%的準(zhǔn)確率[6]。這一工作的另一重要貢獻(xiàn)是給出一個包含178塊健康硬盤和191塊故障硬盤的開放數(shù)據(jù)集，成為很多后來研究工作的基礎(chǔ)。在進(jìn)一步工作中[2]，他們采用反向安排檢驗(yàn)等方法進(jìn)行特征選取，將SVM的預(yù)測性能提高到誤報(bào)率0和準(zhǔn)確率50.6%。

近年來，研究者又嘗試用其他統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)方法解決硬盤故障預(yù)測問題。Zhao等人[7]將SMART屬性值視為時(shí)間序列數(shù)據(jù)，使用隱馬爾可夫模型（hidden Markov model，HMM）和隱半馬爾可夫模型（hidden semi-Markov model，HSMM）在Hughes數(shù)據(jù)集上獲得了0的誤報(bào)率和52%的預(yù)測準(zhǔn)確率。Wang等人[8]采用馬氏距離預(yù)測硬盤故障，并提出了一種“故障模式、機(jī)制和效果分析”的特征選取方法，使用優(yōu)選屬性獲得的預(yù)測性能顯著優(yōu)于使用全部屬性。在進(jìn)一步的工作中[9]，Wang等人又提出最小冗余最大相關(guān)法消除冗余屬性，在Hughes數(shù)據(jù)集上獲得了0的誤報(bào)率和67%的準(zhǔn)確率，而且56%的故障可以被提前20小時(shí)預(yù)測出來。

上述研究工作采用的模型都是“黑盒子”模型，只是給出硬盤是否即將故障的預(yù)測，并沒有給出預(yù)測的規(guī)則和標(biāo)準(zhǔn)，從而無法知道導(dǎo)致潛在故障的原因。

作者前期工作中采用了人工神經(jīng)網(wǎng)絡(luò)[10]和決策樹[11]等預(yù)測準(zhǔn)確性、穩(wěn)定性和解釋性更佳的機(jī)器學(xué)習(xí)方法。該方法最好預(yù)測性能達(dá)到0.1%以下的誤報(bào)率和95%的準(zhǔn)確率，且能提前一周以上預(yù)測出故障，為預(yù)警處理提供了充足時(shí)間。而且決策樹預(yù)測模型可以生成易于理解的規(guī)則，能夠幫助人們理解硬盤故障的原因，從而采取有針對性的措施降低故障率。

圖2是基于決策樹[11]創(chuàng)建的硬盤故障預(yù)測模型。其中“，POH”“、RUE”、“TC”、“SUT”和“SER”代表某些SMART屬性。決策規(guī)則清晰地解釋了SMART屬性值與故障之間的關(guān)系。例如，依據(jù)開機(jī)時(shí)間屬性（POH）是否小于90將全部樣本（根結(jié)點(diǎn)）分裂為結(jié)點(diǎn)2（葉子）和結(jié)點(diǎn)3。這樣，決策樹模型除了預(yù)測故障之外，還能為采取措施并減少故障提供依據(jù)。

Fig.2 Asimplified classification tree for hard drive failure prediction圖2 基于決策樹的硬盤故障預(yù)測模型

最近，EMC公司的研究者[17]設(shè)計(jì)出一種RAID（redundant array of independent disks）系統(tǒng)保護(hù)機(jī)制——RAIDShield，其中包含PLATE和ARMOR兩個模塊。PLATE是一種簡單的基于RS（reallocated sectors）數(shù)量的閾值預(yù)測方法，可以達(dá)到2.5%的誤報(bào)率和65.0%的準(zhǔn)確率。ARMOR模塊使用聯(lián)合故障概率方法量化每個RAID校驗(yàn)組發(fā)生數(shù)據(jù)丟失的概率。通過設(shè)置合適的概率閾值，ARMOR可以檢測出80%的脆弱（vulnerability）RAID-6校驗(yàn)組，從而可以消除大部分被PLATE模塊漏報(bào)的數(shù)據(jù)丟失事件。

上述研究把硬盤故障預(yù)測看成單純的二元分類問題：一個硬盤是否將要發(fā)生故障。實(shí)驗(yàn)結(jié)果[10-11]顯示，預(yù)警盤被預(yù)測模型檢測出來后，一般要經(jīng)歷一段比較長的時(shí)間（TIA>300 h）才會真正發(fā)生故障，證實(shí)了硬盤故障不是突然發(fā)生，而是逐漸老化的過程。因此，提出了“健康度”預(yù)測模型[11]的概念，并基于回歸樹（regression trees）構(gòu)造硬盤健康度預(yù)測模型，細(xì)致評價(jià)硬盤的健康程度（故障概率），為確定后期預(yù)警處理的優(yōu)先級提供量化指導(dǎo)。這樣，系統(tǒng)可以在有限的恢復(fù)帶寬下優(yōu)先處理最危急（故障概率最大）的硬盤，從而最大限度地保障系統(tǒng)的可靠性和可用性。然而“，故障概率”（健康度）不能直觀地指導(dǎo)預(yù)警處理。

龐帥等人[13]用硬盤的剩余壽命（故障前剩余的工作時(shí)間）表示“健康度”，提出聯(lián)合貝葉斯網(wǎng)絡(luò)（combined Bayesian network，CBN）模型。該模型結(jié)合4個分類器——人工神經(jīng)網(wǎng)絡(luò)、進(jìn)化神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和決策樹的預(yù)測結(jié)果，預(yù)測硬盤的剩余壽命。采用一個合適的剩余壽命劃分區(qū)間后，CBN模型可以達(dá)到60%的剩余壽命區(qū)間預(yù)測準(zhǔn)確率。

許暢等人[12]考慮到硬盤健康狀態(tài)具有長相關(guān)依賴特點(diǎn)，基于硬盤SMART屬性的時(shí)序性特征，采用遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）模型預(yù)測硬盤的健康度，可以達(dá)到約40%～60%的剩余壽命區(qū)間預(yù)測準(zhǔn)確率。

3.3 硬盤可靠性預(yù)測總結(jié)

目前，很多統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)方法被用來構(gòu)建硬盤故障預(yù)測模型，表1總結(jié)了各種不同預(yù)測模型的特點(diǎn)?！岸诸悺北硎灸Ｐ椭荒芙o出硬盤“是/否”將要故障的二分類預(yù)測結(jié)果；“健康度”表示模型的預(yù)測結(jié)果可以更細(xì)致地刻畫硬盤某時(shí)刻的健康狀況；“可解釋性”表示根據(jù)模型的預(yù)測結(jié)果，可以分析導(dǎo)致故障的原因；“時(shí)序特點(diǎn)”表示模型利用了硬盤樣本具有時(shí)序性的特點(diǎn)；“提前預(yù)測時(shí)間”表示評價(jià)了模型的提前預(yù)測時(shí)間。

Table 1 Overview of hard drive failure prediction models表1 硬盤故障預(yù)測模型總結(jié)

4 存儲系統(tǒng)可靠性預(yù)測的發(fā)展

存儲系統(tǒng)的整體可靠性主要受兩個因素的影響：一方面受限于存儲介質(zhì)的可靠性；另一方面取決于系統(tǒng)數(shù)據(jù)保護(hù)策略（主動或被動）以及冗余布局方式。

4.1 被動容錯系統(tǒng)可靠性預(yù)測的發(fā)展

冗余機(jī)制的研究貫穿存儲技術(shù)的發(fā)展過程，研究者已經(jīng)提出了很多高效的糾刪碼方案和副本策略，對其可靠性的研究也一直是熱點(diǎn)方向。

4.1.1 糾刪碼存儲系統(tǒng)的可靠性

20世紀(jì)90年代初，Gibson等人[23]基于硬盤故障時(shí)間服從指數(shù)分布的假設(shè)，利用馬爾可夫過程構(gòu)造出RAID-5和RAID-6磁盤陣列的可靠性預(yù)測模型，分析了磁盤陣列結(jié)構(gòu)對系統(tǒng)可靠性的影響，并啟發(fā)后來學(xué)者使用馬爾可夫模型預(yù)測存儲系統(tǒng)可靠性。例如，對于具有高并發(fā)性、高可擴(kuò)展性、高性價(jià)比等特點(diǎn)的集群存儲系統(tǒng)，章宏?duì)N等人[24]提出了一種基于馬爾可夫模型的集群RAID-5存儲系統(tǒng)的可靠性模型，定量分析了各種系統(tǒng)參數(shù)對系統(tǒng)可靠性的影響。經(jīng)過分析，他們發(fā)現(xiàn)多層集群RAID-5的系統(tǒng)可靠性比單層集群RAID-5的要高；提高硬盤/節(jié)點(diǎn)的重構(gòu)速率可以近似等幅度地提升系統(tǒng)可靠性；保證系統(tǒng)可靠性不變的前提下，重構(gòu)速率10倍的提升可以使系統(tǒng)對節(jié)點(diǎn)平均失效時(shí)間的需求降低為原來的1/7。

潛在扇區(qū)錯誤和靜默的數(shù)據(jù)損壞是由媒介故障或軟件缺陷等原因造成的塊級別錯誤，除非有讀操作嘗試讀取訪問，否則塊級別錯誤不會被發(fā)現(xiàn)。Venkatesan等人[25]通過概率分析的方式考察了潛在扇區(qū)錯誤對系統(tǒng)可靠性的影響，發(fā)現(xiàn)當(dāng)潛在錯誤概率比較小時(shí)，MTTDL降低的幅度與冗余策略、校驗(yàn)盤格式和系統(tǒng)規(guī)模大小沒有關(guān)系，但是當(dāng)潛在錯誤概率比較大時(shí)，MTTDL的值類似于少用一個校驗(yàn)盤的無潛在錯誤系統(tǒng)的可靠性結(jié)果。其實(shí)早在新世紀(jì)初期，IBM的專家們[26]在對非MDS（maximum distance separable）編碼的存儲系統(tǒng)創(chuàng)建馬爾可夫可靠性模型的過程中，就考慮了不可恢復(fù)的塊級別錯誤對可靠性的影響。在接下來的工作中[27]，他們提出一種硬盤內(nèi)部的冗余機(jī)制IDR（intra-disk redundancy）以消除塊級別錯誤對系統(tǒng)可靠性的負(fù)面影響，并使用馬爾可夫模型分析了帶IDR機(jī)制的RAID-5和RAID-6系統(tǒng)的可靠性，結(jié)果表明IDR機(jī)制可以有效增強(qiáng)RAID系統(tǒng)的可靠性。但是，因?yàn)閿?shù)據(jù)存儲系統(tǒng)廣泛使用低價(jià)硬盤，導(dǎo)致塊級別的錯誤數(shù)量越來越多，由IDR機(jī)制帶來的可靠性提升受到不利影響。在進(jìn)一步工作中[28]，他們通過校正IDR機(jī)制的參數(shù)選擇，在付出最小I/O性能代價(jià)的前提下，得到存儲系統(tǒng)可靠性的最大提升。例如，帶IDR的RAID-5系統(tǒng)的可靠性和I/O性能均優(yōu)于平凡（不帶IDR）RAID-6系統(tǒng)的性能。而且，在Thomasian等人[29]的工作中，結(jié)果同樣顯示增加了IDR的RAID-5系統(tǒng)可以達(dá)到和平凡RAID-6同等的可靠性水平。

除了IDR機(jī)制，“磁盤清洗”過程也可以有效預(yù)防塊級別錯誤對系統(tǒng)可靠性的影響。Paris等人[30]研究了運(yùn)行在RAID-6磁盤陣列的磁盤清洗調(diào)度問題。對于RAID-6系統(tǒng)，一個故障發(fā)生后，其余硬盤上的若干不可恢復(fù)的扇區(qū)錯誤會導(dǎo)致第二個硬盤故障，因此他們建議發(fā)生一個硬盤故障后應(yīng)該立即啟動“緊急”（加速）清洗過程。分析結(jié)果顯示，無論是單獨(dú)運(yùn)行，還是與周期清洗結(jié)合運(yùn)行，這些加速清洗都可以大大改進(jìn)磁盤陣列的平均數(shù)據(jù)丟失時(shí)間。

大量的經(jīng)驗(yàn)觀察值都否定了硬盤故障指數(shù)分布的假設(shè)，認(rèn)為硬盤故障和修復(fù)時(shí)間更符合韋布分布。為了擺脫硬盤故障符合指數(shù)分布的假設(shè)限制，Thomasian等人[31]使用概率分析的方法比較了不同磁盤鏡像（RAID-1）組織結(jié)構(gòu)的可靠性。這些磁盤陣列是由相同故障分布特征的硬盤構(gòu)成。他們發(fā)現(xiàn)相對鏈?zhǔn)缴⒉迹╟hained declustering，CD）陣列、交叉散布（interleaved declustering，ID）陣列和組旋轉(zhuǎn)散布（group rotate declustering，GRD）陣列，基本鏡像（basic mirroring，BM）陣列能夠容忍的雙盤并發(fā)故障的情況最多，具有最高的可靠性。

隨著可靠性研究的深入，很多研究者發(fā)現(xiàn)以前研究采用的評價(jià)指標(biāo)——平均數(shù)據(jù)丟失時(shí)間（MTTDL），并不能準(zhǔn)確表示存儲系統(tǒng)的可靠性水平。比如，Paris等人[32-33]在研究硬盤故障率恒定假設(shè)對可靠性模型結(jié)果的影響時(shí)，發(fā)現(xiàn)由于存儲系統(tǒng)的實(shí)際生命周期相對MTTDL短得多，MTTDL方法通常會高估系統(tǒng)的長期可靠性，而明顯低估系統(tǒng)短期可靠性，因此他們建議關(guān)注存儲系統(tǒng)有效生命周期內(nèi)的可靠性。

Elerath等人[34]構(gòu)建出N+1 RAID系統(tǒng)的非Markov模型的狀態(tài)轉(zhuǎn)換圖，并用順序蒙特卡羅方法模擬系統(tǒng)的運(yùn)行，仿真出不同運(yùn)行時(shí)期內(nèi)系統(tǒng)發(fā)生數(shù)據(jù)丟失事件的期望次數(shù)。其中，硬盤故障時(shí)間、故障恢復(fù)時(shí)間、潛在扇區(qū)錯誤時(shí)間和磁盤清理時(shí)間都使用韋布分布，結(jié)果顯示之前MTTDL模型所用的假設(shè)導(dǎo)致了不正確的預(yù)測結(jié)果。在接下來的工作中[35-36]，他們設(shè)計(jì)了兩個新的封閉公式，相對于時(shí)間開銷大的可靠性仿真程序，公式可以更方便快捷地估計(jì)出RAID-5和RAID-6磁盤陣列系統(tǒng)發(fā)生數(shù)據(jù)丟失事件的期望次數(shù)。同時(shí)，他們也建議用其他更合理的評價(jià)指標(biāo)替代MTTDL，然而這個論斷遭到Iliadis等人[37]的反駁。

對于采用非MDS編碼的異構(gòu)存儲系統(tǒng)，Greenan等人[38]提出了兩種基于XOR糾刪碼的冗余散布算法，并利用他們提出的相對MTTDL估計(jì)模型，分析比較了不同冗余散布策略系統(tǒng)對可靠性的影響。在后來的工作[39]中，Greenan等人提出一個新的可靠性評價(jià)指標(biāo)NOMDL（normalized magnitude of data loss）——某個時(shí)期內(nèi)每Terabyte用戶數(shù)據(jù)丟失的Byte數(shù)，可以量化單位時(shí)間內(nèi)數(shù)據(jù)丟失率，相對于MTTDL，NOMDL可以更準(zhǔn)確地評價(jià)存儲系統(tǒng)的可靠性水平。

4.1.2 副本存儲系統(tǒng)的可靠性

如Qin等人[40]所說，隨著硬盤容量的增加，硬盤修復(fù)時(shí)間越來越長，在修復(fù)期間再次發(fā)生硬盤故障的概率會增大，RAID系統(tǒng)已不能提供足夠的可靠性，因此近年來副本技術(shù)成為提高存儲系統(tǒng)可靠性的主流技術(shù)之一，也涌現(xiàn)出一些對副本存儲系統(tǒng)可靠性預(yù)測的研究。

相比單機(jī)系統(tǒng)，通過網(wǎng)絡(luò)存儲節(jié)點(diǎn)實(shí)現(xiàn)的分布式存儲系統(tǒng)具有代價(jià)低、可擴(kuò)展等優(yōu)點(diǎn)，為了獲得高可靠性，冗余必須在節(jié)點(diǎn)之間和節(jié)點(diǎn)內(nèi)部散布，從而分別容忍節(jié)點(diǎn)和硬盤故障。Rao等人[41]分別對節(jié)點(diǎn)內(nèi)部包含和不包含RAID冗余的分布式存儲系統(tǒng)創(chuàng)建分層和遞歸Markov可靠性模型，分析了多種系統(tǒng)參數(shù)及潛在扇區(qū)錯誤對系統(tǒng)可靠性的影響。綜合節(jié)點(diǎn)故障、數(shù)據(jù)平衡和提前拷貝因素后，Chen等人[42]構(gòu)造出（brick）存儲系統(tǒng)Markov可靠性預(yù)測模型。這個模型可以指導(dǎo)存儲系統(tǒng)設(shè)計(jì)者充分利用系統(tǒng)資源，從而既可以減少系統(tǒng)構(gòu)建和維護(hù)開銷，又可以提高數(shù)據(jù)的可靠性。類似的，穆飛等人[43]研究了延遲失效檢測對多副本存儲系統(tǒng)可靠性的影響；張薇等人[44]使用概率方法對異構(gòu)分布式存儲系統(tǒng)可靠性進(jìn)行預(yù)測；張林峰等人[45]提出基于對象粒度恢復(fù)的可靠性分析模型，分別計(jì)算了各個系統(tǒng)參數(shù)的獨(dú)立最優(yōu)值及其組合最優(yōu)值。

數(shù)據(jù)副本的散布策略對副本存儲系統(tǒng)的性能和可靠性有明顯的影響。Leslie等人[46]使用組合概率分析和蒙特卡羅模擬方式評價(jià)了多種副本散布策略，包括后繼散布（successor placement）、前驅(qū)散布（predecessor placement）、指針散布（finger placement）、塊散布（block placement）和對稱散布（symmetric placement），對系統(tǒng)可靠性的影響，發(fā)現(xiàn)塊散布策略的可靠性最好。Venkatesan等人[47]通過比較聚集（clustered）和散布（declustered）策略對系統(tǒng)MTTDL的影響，發(fā)現(xiàn)聚集系統(tǒng)的MTTDL和節(jié)點(diǎn)個數(shù)成反比，而散布系統(tǒng)的MTTDL因重構(gòu)過程的并行性并沒有隨著節(jié)點(diǎn)個數(shù)的增加而降低。而Cidon等人[48]提出介于完全聚集和完全散布兩種極端策略之間的拷貝集散布（copyset replication）策略，將存儲節(jié)點(diǎn)劃分成多個等量的集合（copysets），每個數(shù)據(jù)塊的所有副本只能存放到一個集合內(nèi)的節(jié)點(diǎn)上，這樣只有某個集合的全部節(jié)點(diǎn)同時(shí)故障才會導(dǎo)致數(shù)據(jù)丟失的發(fā)生。拷貝集散布策略可以降低因并發(fā)節(jié)點(diǎn)故障而導(dǎo)致的數(shù)據(jù)丟失事件的概率，從而有效提高副本系統(tǒng)的可靠性。

硬盤故障率呈現(xiàn)出典型的“浴盆曲線”特點(diǎn)，由于大規(guī)模存儲系統(tǒng)可能會同時(shí)替換大量新硬盤，它們很容易引起硬盤早期失效的“群體效應(yīng)”。Qin等人[49]利用隱馬爾可夫模型和離散事件仿真方法研究了硬盤早期失效對大規(guī)模存儲系統(tǒng)可靠性的影響，發(fā)現(xiàn)忽略硬盤早期失效會導(dǎo)致對系統(tǒng)可靠性的過高估計(jì)，而且系統(tǒng)規(guī)模越大，早期失效的影響越大。為了降低硬盤早期失效的影響，一方面，他們提出了兩種硬盤替換策略——基于硬盤使用年限的策略和隨機(jī)的逐步替換策略；另一方面，他們建議不同使用年限硬盤上的數(shù)據(jù)采用不同的冗余策略，即“年輕”硬盤上的對象采用三副本冗余，“年老”硬盤上的對象使用糾刪碼冗余。另外，Venkatesan等人[50]考慮節(jié)點(diǎn)故障和修復(fù)時(shí)間非指數(shù)分布的通用情況，使用概率方法推導(dǎo)出副本系統(tǒng)的MTTDL，發(fā)現(xiàn)重構(gòu)分布可變性高的系統(tǒng)具有較低的MTTDL。

4.1.3 特殊存儲系統(tǒng)的可靠性

大型歸檔存儲系統(tǒng)中的硬盤長期保持關(guān)機(jī)狀態(tài)，多種原因（包含設(shè)備級別和塊級別的故障）會導(dǎo)致這些系統(tǒng)丟失數(shù)據(jù)。Schwarz等人[51]建議歸檔存儲系統(tǒng)中運(yùn)行一個“磁盤清洗”過程，定期訪問硬盤以檢查硬盤故障。他們分析了磁盤清洗過程對大型歸檔存儲系統(tǒng)的影響，顯示清洗對長期數(shù)據(jù)的保存很重要，而且相對于“隨機(jī)”（random）和“確定”（deterministic）清洗策略，“伺機(jī)”（opportunistic）清洗策略（即只有當(dāng)硬盤處于開機(jī)狀態(tài)時(shí)才對它們進(jìn)行清洗）效果最好。后來，Paris等人[52]針對歸檔存儲系統(tǒng)設(shè)計(jì)了一個二維RAID架構(gòu)，即增加一個超級校驗(yàn)盤存放所有行/列校驗(yàn)盤的異或結(jié)果。實(shí)驗(yàn)表明，增加超級校驗(yàn)盤可以大大提高系統(tǒng)的MTTDL，而且修復(fù)時(shí)間越短，可靠性的提升越明顯。

另外，針對歸檔存儲系統(tǒng)，Li等人[53]提出一個框架來關(guān)聯(lián)數(shù)據(jù)生存能力和存儲可靠性，并用來測量較少發(fā)生但是規(guī)模很大的事件對數(shù)據(jù)長期生存能力的影響，以此定量研究存儲在地理位置分散的異構(gòu)存儲系統(tǒng)上數(shù)據(jù)對象的生存能力。他們發(fā)現(xiàn)以前存儲模型忽略的一些較少發(fā)生事件，比如地震，對數(shù)據(jù)生存能力具有真正的影響。甚至在一個中等使用年限的系統(tǒng)中，新設(shè)備的替換也會對數(shù)據(jù)的生存能力產(chǎn)生影響。

空間利用率和數(shù)據(jù)可靠性是當(dāng)代存儲系統(tǒng)關(guān)注的兩個主要問題，重復(fù)數(shù)據(jù)刪除技術(shù)（deduplication）實(shí)現(xiàn)數(shù)據(jù)對象或塊在文件之間的共享，在節(jié)省系統(tǒng)存儲空間的同時(shí)，對系統(tǒng)可靠性也產(chǎn)生了一定影響。Bhagwat等人[54]提出一個提高重復(fù)數(shù)據(jù)刪除系統(tǒng)可靠性的策略，即根據(jù)塊故障導(dǎo)致丟失的數(shù)據(jù)量多少確定數(shù)據(jù)塊的副本個數(shù)，相比傳統(tǒng)的副本和壓縮技術(shù)組合的方法，該技術(shù)可以達(dá)到更高的系統(tǒng)穩(wěn)健性（權(quán)衡丟失的數(shù)據(jù)量），而且還能減少一半的存儲開銷。Li等人[55]呈現(xiàn)了一個使用糾刪碼冗余機(jī)制保證數(shù)據(jù)可靠性的重復(fù)數(shù)據(jù)刪除存儲系統(tǒng)HPKVS。該系統(tǒng)允許每個對象指定自己的可靠性水平，為系統(tǒng)設(shè)計(jì)者提供了一個可靠性分析方法，能夠確定在什么情況下重復(fù)數(shù)據(jù)刪除技術(shù)，既可以節(jié)省存儲空間，又不降低可靠性水平。

對于一個在異構(gòu)存儲硬件上存放異構(gòu)數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)，Rozier等人[56]利用離散事件仿真方法定量分析了系統(tǒng)的可靠性，發(fā)現(xiàn)大規(guī)模重復(fù)數(shù)據(jù)刪除系統(tǒng)可靠性受到重復(fù)數(shù)據(jù)刪除技術(shù)的負(fù)面影響。然而在他們的后期工作[57]中，發(fā)現(xiàn)在重復(fù)引用更均勻散布的系統(tǒng)中，重復(fù)數(shù)據(jù)刪除技術(shù)反而提高了系統(tǒng)可靠性。

4.2 主動容錯系統(tǒng)可靠性預(yù)測的發(fā)展

相對被動容錯技術(shù)，主動容錯技術(shù)發(fā)展較晚，2000年后才開始被研究者關(guān)注，還沒有被廣泛應(yīng)用到實(shí)際存儲系統(tǒng)中。故障預(yù)測模型并不能保證100%的預(yù)測準(zhǔn)確性，仍然會有一些硬盤漏報(bào)或者沒有被及時(shí)修復(fù)，真正發(fā)生了故障，因此主動容錯技術(shù)不能完全避免存儲系統(tǒng)的故障，需要結(jié)合相應(yīng)的被動容錯技術(shù)共同保證系統(tǒng)的可靠性，從而主動容錯存儲系統(tǒng)的可靠性研究比較復(fù)雜。

目前，針對主動容錯存儲可靠性評價(jià)的研究相對較少，Eckart等人[58]利用馬爾可夫模型研究了主動容錯機(jī)制對單硬盤以及RAID-5陣列存儲系統(tǒng)可靠性的影響。實(shí)驗(yàn)表明，具有50%預(yù)測準(zhǔn)確率的故障預(yù)測模型可以將一個RAID-5系統(tǒng)的MTTDL提高近3倍。作者前期工作將此研究推廣到RAID-6陣列系統(tǒng)[11]和副本存儲系統(tǒng)[59]，實(shí)驗(yàn)結(jié)果表明，提出的決策樹預(yù)測模型可以將存儲系統(tǒng)的可靠性提高幾個數(shù)量級。

4.3 存儲系統(tǒng)可靠性預(yù)測發(fā)展總結(jié)

為了更清晰地描述存儲系統(tǒng)可靠性預(yù)測發(fā)展?fàn)顩r，表2總結(jié)了當(dāng)前存儲系統(tǒng)可靠性預(yù)測國內(nèi)外研究進(jìn)展?！疤厥庀到y(tǒng)”表示一些有特殊用處（如歸檔存儲系統(tǒng)）或采用特殊技術(shù)（如重復(fù)數(shù)據(jù)刪除系統(tǒng)）的存儲系統(tǒng)。針對各種系統(tǒng)，“指數(shù)分布假設(shè)”列出基于硬盤故障時(shí)間指數(shù)分布假設(shè)的可靠性研究文獻(xiàn)；“塊故障影響”列出考察了潛在扇區(qū)錯誤等塊級別的故障對系統(tǒng)可靠性影響的文獻(xiàn)；“非指數(shù)/韋布分布”列出不再受限于硬盤故障指數(shù)分布假設(shè)限制，或者使用韋布分布等更接近實(shí)際的分布描述硬盤故障時(shí)間的文獻(xiàn)；“新評價(jià)指標(biāo)”列出不再使用MTTDL作為評價(jià)可靠性的指標(biāo)，而是使用一段時(shí)間內(nèi)數(shù)據(jù)丟失事件期望個數(shù)等新評價(jià)指標(biāo)的文獻(xiàn)。

Table 2 Current state of research on storage system reliability prediction表2 國內(nèi)外存儲系統(tǒng)可靠性預(yù)測研究現(xiàn)狀

5 尚存問題

本章對存儲系統(tǒng)可靠性預(yù)測領(lǐng)域一些尚未解決的重要科學(xué)問題進(jìn)行分析，并指出未來的研究方向。

5.1 硬盤故障預(yù)測模型的評價(jià)指標(biāo)

當(dāng)前已有的硬盤故障預(yù)測模型大都是簡單的二元分類器，只能給出是/否的預(yù)測結(jié)果，對它們的評價(jià)指標(biāo)是基于FDR和FAR的預(yù)測準(zhǔn)確率。一些最近的研究工作嘗試預(yù)測硬盤的剩余壽命，預(yù)警處理算法就可以根據(jù)它們的預(yù)測結(jié)果，為預(yù)警硬盤分配適當(dāng)?shù)膸?，在保護(hù)危險(xiǎn)數(shù)據(jù)的同時(shí)，最大限度保證用戶的服務(wù)質(zhì)量。對這些模型的評價(jià)指標(biāo)仍是基于分類準(zhǔn)確性：將剩余壽命劃分為多個區(qū)間，用落到準(zhǔn)確區(qū)間的預(yù)測比例評價(jià)模型的預(yù)測準(zhǔn)確率。

總之，目前用于評價(jià)硬盤故障預(yù)測模型的評價(jià)指標(biāo)都只孤立地關(guān)注預(yù)測模型本身，而未考慮預(yù)測模型和它們實(shí)際應(yīng)用場景——存儲系統(tǒng)，尤其是云存儲系統(tǒng)之間的關(guān)系。這些研究都是假設(shè)在其他條件都保持不變的前提下，高的預(yù)測準(zhǔn)確率可以帶來大的收益。但實(shí)際上，提高預(yù)測準(zhǔn)確率一般會導(dǎo)致其他性能的下降，比如提前預(yù)警時(shí)間（TIA）。例如，可以將一個預(yù)測模型的準(zhǔn)確率提高到100%，但卻要付出TIA減少到1小時(shí)的代價(jià)。這種情況下，即使所有危險(xiǎn)硬盤被提前預(yù)測出來，也會由于缺少足夠的可用資源而不能將處于危險(xiǎn)中的數(shù)據(jù)及時(shí)遷移完畢。因此，預(yù)測準(zhǔn)確率不能完全反映硬盤故障預(yù)測模型的最終目標(biāo)（保護(hù)數(shù)據(jù)，而不只是預(yù)測出硬盤故障）。

硬盤故障預(yù)測的根本目的是防止數(shù)據(jù)丟失，這不僅需要準(zhǔn)確預(yù)測出哪些硬盤將要故障，還需要在故障真正發(fā)生前完成數(shù)據(jù)遷移。為了創(chuàng)建更實(shí)用的硬盤故障預(yù)測模型，對它們的評價(jià)指標(biāo)也需要考慮預(yù)警遷移的完成情況。另外，目前已有的硬盤剩余壽命預(yù)測模型的性能還不理想。因此，更有意義的評價(jià)指標(biāo)和高性能的硬盤剩余壽命預(yù)測模型是硬盤個體可靠性預(yù)測領(lǐng)域需要解決的問題。

5.2 主動容錯存儲系統(tǒng)的可靠性評價(jià)

目前對主動容錯存儲系統(tǒng)的可靠性研究很是匱乏，僅限于利用馬爾可夫模型，基于硬盤故障泊松分布假設(shè)，對RAID-5/6和二/三副本存儲系統(tǒng)的可靠性進(jìn)行預(yù)測。這些已有的研究存在以下幾個缺陷：

（1）不準(zhǔn)確的故障分布假設(shè)?，F(xiàn)有研究對可靠性的估計(jì)都是基于硬盤故障發(fā)生和修復(fù)服從指數(shù)分布的假設(shè)，在此假設(shè)下硬盤具有恒定不變的故障率和修復(fù)率，但是大量領(lǐng)域數(shù)據(jù)的分析結(jié)果以高置信度推翻了指數(shù)分布假設(shè)。

（2）故障類型考慮不全?，F(xiàn)有研究只關(guān)注了硬盤整體故障，而忽略了潛在扇區(qū)錯誤等扇區(qū)或塊級別的錯誤對系統(tǒng)可靠性的影響。

（3）不準(zhǔn)確的可靠性度量指標(biāo)。現(xiàn)有研究主要是用系統(tǒng)平均數(shù)據(jù)丟失時(shí)間（MTTDL）作為可靠性的評價(jià)指標(biāo)，然而MTTDL相對于系統(tǒng)實(shí)際運(yùn)行時(shí)間很長，并不能準(zhǔn)確反映存儲系統(tǒng)的可靠性水平。

因此，使用更接近實(shí)際的硬盤故障分布數(shù)據(jù)，綜合考慮各種故障類型，對主動容錯存儲系統(tǒng)的可靠性預(yù)測也是未來需要重點(diǎn)研究的方向。

5.3 系統(tǒng)級動態(tài)故障預(yù)測

隨著云計(jì)算的發(fā)展，存儲系統(tǒng)的架構(gòu)已經(jīng)從傳統(tǒng)磁盤陣列演進(jìn)到云存儲，存儲組織和冗余布局也從設(shè)備（硬盤）視角變?yōu)閿?shù)據(jù)（文件、對象）視角。但現(xiàn)有硬盤故障預(yù)測方法都只是一種設(shè)備視角的可靠性動態(tài)評價(jià)，即孤立地給出硬盤個體的健康或潛在故障的評級，并未考慮其對系統(tǒng)（數(shù)據(jù)）可靠性的影響。

例如，對于一個預(yù)警硬盤，如果它所屬于的某些校驗(yàn)組（RAID校驗(yàn)組或副本散布集合）已經(jīng)處于降級模式，只要再發(fā)生一個故障就會出現(xiàn)數(shù)據(jù)丟失，那么該預(yù)警硬盤的健康狀況對系統(tǒng)可靠性的影響非常大；相反，如果它所屬于的所有校驗(yàn)組都處于完全健康運(yùn)行的模式下，可以容忍一個故障發(fā)生而不產(chǎn)生數(shù)據(jù)丟失，那么該預(yù)警盤的健康狀況對系統(tǒng)可靠性的影響比較小。

因此，有效保障云存儲系統(tǒng)數(shù)據(jù)安全的故障預(yù)測，不僅要基于硬盤個體的實(shí)時(shí)健康度評價(jià)，更要結(jié)合硬盤在系統(tǒng)冗余布局中的角色，綜合評價(jià)硬盤潛在故障對系統(tǒng)（亦即數(shù)據(jù)——文件、對象）可靠性的影響（高低），作為預(yù)警處理的量化依據(jù)。

6 總結(jié)

隨著計(jì)算機(jī)技術(shù)以及信息技術(shù)的快速發(fā)展，數(shù)據(jù)中心的數(shù)據(jù)越來越多，因此帶來存儲系統(tǒng)可靠性和可用性的巨大挑戰(zhàn)。為了構(gòu)建高可靠和高可用的存儲系統(tǒng)，系統(tǒng)設(shè)計(jì)者以及存儲領(lǐng)域研究者越來越關(guān)注存儲系統(tǒng)可靠性預(yù)測研究。本文從存儲介質(zhì)和存儲系統(tǒng)兩種不同預(yù)測對象角度，介紹了可靠性預(yù)測的度量指標(biāo)以及當(dāng)前研究的進(jìn)展，并根據(jù)目前該領(lǐng)域存在的一些問題指出未來研究的方向。

[1]Luo Xianghong,Shu Jiwu.Summary of research for erasure code in storage system[J].Journal of Computer Research and Development,2012,49(1):1-11.

[2]Murray J F,Hughes G F,Kreutz-Delgado K.Machine learning methods for predicting failures in hard drives:a multipleinstance application[J].Journal of Machine Learning Research,2005,6(1):783-816.

[3]Schroeder B,Gibson G A.Disk failures in the real world: what does an MTTF of 1,000,000 hours mean to you?[C]// Proceedings of the 5th USENIX Conference on File and Storage Technologies,San Jose,USA,Feb 13-16,2007.Berkeley,USA:USENIXAssociation,2007:1-16.

[4]Hamerly G,Elkan C.Bayesian approaches to failure prediction for disk drives[C]//Proceedings of the 18th International Conference on Machine Learning,Williamstown,USA,Jun 28-Jul 1,2001.San Mateo,USA:Morgan Kaufmann,2001: 202-209.

[5]Hughes G F,Murray J F,Kreutz-Delgado K,et al.Improved disk-drive failure warnings[J].IEEE Transactions on Reliability,2002,51(3):350-357.

[6]Murray J F,Hughes G F,Kreutz-Delgado K.Hard drive failure prediction using non-parametric statistical methods[C]// Proceedings of the 2003 International Conference of Artificial Neural Networks and Neural Information,Istanbul,Turkey,Jun 26-29,2003.Berlin,Heidelberg:Springer,2003.

[7]Zhao Ying,Liu Xiang,Gan Siqing,et al.Predicting disk failures with HMM-and HSMM-based approaches[M]//Advances in Data Mining Applications and Theoretical Aspects.Berlin,Heidelberg:Springer,2010:390-404.

[8]Wang Yu,Miao Qiang,Pecht M.Health monitoring of hard disk drive based on Mahalanobis distance[C]//Proceedings of the 2011 Prognostics and System Health Management Conference,Shenzhen,China,May 24-25,2011.Washington:IEEE Computer Society,2011:1-8.

[9]Wang Yu,Miao Qiang,Ma E W M,et al.Online anomaly detection for hard disk drives based on Mahalanobis distance[J].IEEE Transactions on Reliability,2013,62(1): 136-145.

[10]Zhu Bingpeng,Wang Gang,Liu Xiaoguang,et al.Proactive drive failure prediction for large scale storage systems[C]// Proceedings of the 29th IEEE Symposium on Mass Storage Systems and Technologies,Lake Arrowhead,USA,May 6-10,2013.Washington:IEEE Computer Society，2013:1-5.

[11]Li Jing,Ji Xinpu,Jia Yuhan,et al.Hard drive failure prediction using cassification and regression trees[C]//Proceedings of the 44th Annual IEEE/IFIP International Conference on Dependable Systems and Networks,Atlanta,USA, Jun 23-26,2014.Washington:IEEE Computer Society, 2014:383-394.

[12]Xu Chang,Wang Gang,Liu Xiaoguang,et al.Health status assessment and failure prediction for hard drives with recurrent neural networks[J].IEEE Transactions on Computers, 2016,65(11):3502-3508.

[13]Pang Shuai,Jia Yuhan,Stones R,et al.A combined Bayesian network method for predicting drive failure times from SMART attributes[C]//Proceedings of the 2016 International Joint Conference on Neural Networks,Vancouver,Canada, Jul 24-29,2016.Piscataway,USA:IEEE,2016:4850-4856.

[14]Vishwanath K V,Nagappan N.Characterizing cloud computing hardware reliability[C]//Proceedings of the 1st ACM Symposium on Cloud Computing,Indianapolis,USA,Jun 10-11,2010.New York:ACM,2010:193-204.

[15]Sankar S,Shaw M,Vaid K.Impact of temperature on hard disk drive reliability in large datacenters[C]//Proceedings of the 41st International Conference on Dependable Systems &Networks,Hong Kong,China,Jun 27-30,2011.Washington:IEEE Computer Society,2011:530-537.

[16]Gibson G A.Redundant disk arrays:reliable,parallel secondary storage[M].Cambridge,USA:MTT Press,1992.

[17]Ma Ao,Douglis F,Lu Guanlin,et al.RAIDShield:characterizing,monitoring,and proactively protecting against disk failures[C]//Proceedings of the 13th USENIX Conference on File and Storage Technologies,Santa Clara,USA,Feb 16-19, 2015.Berkeley,USA:USENIXAssociation,2015:241-256.

[18]Bairavasundaram L N,Goodson G R,Pasupathy S,et al. An analysis of latent sector errors in disk drives[J].ACMSIGMETRICS Performance Evaluation Review,2007,35 (1):289-300.

[19]Bairavasundaram L N,Arpaci-Dusseau A C,Arpaci-Dusseau R H,et al.An analysis of data corruption in the storage stack [J].ACM Transactions on Storage,2008,4(3):1-28.

[20]Shah S,Elerath J G.Reliability analysis of disk drive failure mechanisms[C]//Proceedings of the 2005 Annual Symposium on Reliability and Maintainability,Jan 24-27,2005. Piscataway,USA:IEEE,2005:226-231.

[21]Pinheiro E,Weber W D,Barroso L A.Failure trends in a large disk drive population[C]//Proceedings of the 5th USENIX Conference on File and Storage Technologies, San Jose,USA,Feb 13-16,2007.Berkeley,USA:USENIX Association,2007:17-29.

[22]El-Sayed N,Stefanovici I A,Amvrosiadis G,et al.Temperature management in data centers:why some(might)like it hot[J].ACM SIGMETRICS Performance Evaluation Review,2012,40(1):163-174.

[23]Gibson G A,Patterson D A.Designing disk arrays for high data reliability[J].Journal of Parallel and Distributed Computing,1993,17(1):4-27.

[24]Zhang Hongcan,Xue Wei.Reliability analysis of cluster RAID5 storage system[J].Journal of Computer Research and Development,2010,47(4):727-735.

[25]Venkatesan V,Iliadis I.Effect of latent errors on the reliability of data storage systems[C]//Proceedings of the 21st International Symposium on Modeling,Analysis&Simulation of Computer and Telecommunication Systems,San Francisco, USA,Aug 14-16,2013.Washington:IEEE Computer Society,2013:293-297.

[26]Hafner J L,Rao K K.Notes on reliability models for non-MDS erasure codes,RJ10391[R].IBM Research,2006.

[27]Dholakia A,Eleftheriou E,Hu Xiaoyu,et al.A new intradisk redundancy scheme for high-reliability RAID storage systems in the presence of unrecoverable errors[J].ACM Transactions on Storage,2008,4(1):373-374.

[28]Iliadis I,Hu Xiaoyu.Reliability assurance of RAID storage systems for a wide range of latent sector errors[C]//Proceedings of the 2008 International Conference on Networking, Architecture,and Storage,Chongqing,China,Jun 12-14, 2008.Washington:IEEE Computer Society,2008:10-19.

[29]Thomasian A,Blaum M.Higher reliability redundant disk arrays:organization,operation,and coding[J].ACM Transactions on Storage,2009,5(3):7.

[30]Paris J F,Schwarz S J,Amer A,et al.Improving disk array reliability through expedited scrubbing[C]//Proceedings of the 5th International Conference on Networking,Architecture and Storage,Macau,China,Jul 15-17,2010.Washington:IEEE Computer Society,2010:119-125.

[31]Thomasian A,Blaum M.Mirrored disk organization reliability analysis[J].IEEE Transactions on Computers,2006, 55(12):1640-1644.

[32]Paris J F,Thomas J E,Schwarz S J.On the possibility of small,service-free disk based storage systems[C]//Proceedings of the 3rd International Conference on Availability, Reliability and Security,Barcelona,Spain,Mar 4-7,2008. Washington:IEEE Computer Society,2008:56-63.

[33]Paris J F,Schwarz T J E,Long D D E,et al.When MTTDLs are not good enough:providing better estimates of disk array reliability[C]//Proceedings of the 7th International Information and Telecommunication Technologies Symposium,Bahia,Brazil,Dec 26-30,2008.Piscataway,USA:IEEE, 2008:140-145.

[34]Elerath J G,Pecht M.Enhanced reliability modeling of RAID storage systems[C]//Proceedings of the 37th Annual IEEE/ IFIP International Conference on Dependable Systems and Networks,Edinburgh,UK,Jun 25-28,2007.Washington: IEEE Computer Society,2007:175-184.

[35]Elerath J G.A simple equation for estimating reliability of anN+1 redundant array of independent disks(RAID)[C]// Proceedings of the 2009 IEEE/IFIP International Conference on Dependable Systems&Networks,Lisbon,Portugal,Jun 29-Jul 2,2009.Washington:IEEE Computer Society,2009:484-493.

[36]Elerath J G,Schindler J.Beyond MTTDL:a closed-form RAID 6 reliability equation[J].ACM Transactions on Storage,2014,10(2):193-206.

[37]Iliadis I,Venkatesan V.Rebuttal to“beyond MTTDL:aclosedform RAID-6 reliability equation”[J].ACM Transactions on Storage,2015,11(2):1-10.

[38]Greenan K M,Miller E L,Wylie J J.Reliability of flat XOR-based erasure codes on heterogeneous devices[C]// Proceedings of the 2008 IEEE International Conference on Dependable Systems and Networks,Anchorage,USA,Jun 24-27,2008.Washington:IEEE Computer Society,2008: 147-156.

[39]Greenan K M,Plank J S,Wylie J J.Mean time to meaningless:MTTDL,Markov models,and storage system reliability [C]//Proceedings of the 2nd USENIX Workshop on Hot Topics in Storage and File Systems,Boston,USA,Jun 22-25,2010.Berkeley,USA:USENIXAssociation,2010:5.

[40]Qin Xin,Miller E L,Schwarz T,et al.Reliability mechanisms for very large storage systems[C]//Proceedings of the 20th IEEE/11th NASA Goddard Conference on Mass Storage Systems and Technologies,San Diego,USA,Apr 7-10, 2003.Washington:IEEE Computer Society,2003:146-156.

[41]Rao K K,Hafner J L,Golding R.Reliability for networked storage nodes[C]//Proceedings of the 2006 International Conference on Dependable Systems and Networks,Sheraton Society Hill,USA,Jun 25-28,2006.Washington:IEEE Computer Society,2006:237-248.

[42]Chen Ming,Chen Wei,Liu Likun,et al.An analytical framework and its applications for studying brick storage reliability[C]//Proceedings of the 26th IEEE International Symposium on Reliable Distributed Systems,Beijing,Oct 10-12,2007.Washington:IEEE Computer Society,2007: 242-252.

[43]Mu Fei,Xue Wei,Shu Jiwu,et al.An analytical model for large-scale storage system with replicated data[J].Journal of Computer Research and Development,2009,46(5):756-761.

[44]Zhang Wei,Ma Jianfeng,Yang Xiaoyuan.Reliability of distributed storage systems[J].Journal of Xidian University, 2009,36(3):480-485.

[45]Zhang Linfeng,Tan Xiangjian,Du Kai.Optimal reliability analysis for large scale storage systems[J].Computer Engineering andApplications,2013,49(1):112-119.

[46]Leslie M,Davies J,Huffman T.A comparison of replication strategies for reliable decentralised storage[J].Journal of Networks,2006,1(6):36-44.

[47]Venkatesan V,Iliadis I,Fragouli C,et al.Reliability of clustered vs.declustered replica placement in data storage systems[C]//Proceedings of the 19th International Symposium on Modeling,Analysis and Simulation of Computer and Telecommunication Systems,Singapore,Jul 25-27,2011. Washington:IEEE Computer Society,2011:307-317.

[48]Cidon A,Rumble S M,Stutsman R,et al.Copysets:reducing the frequency of data loss in cloud storage[C]//Proceedings of the USENIX Annual Technical Conference,San Jose, USA,Jun 26-28,2013.Berkeley,USA:USENIX Association,2013:37-48.

[49]Qin Xin,Schwarz T J E,Miller E L.Disk infant mortality in large storage systems[C]//Proceedings of the 13th IEEE International Symposium on Modeling,Analysis and Simulation of Computer and Telecommunication Systems,Atlanta,USA,Sep 27-29,2005.Washington:IEEE Computer Society,2005:125-134.

[50]Venkatesan V,Iliadis I.A general reliability model for data storage systems[C]//Proceedings of the 9th International Conference on Quantitative Evaluation of Systems,London,Sep 17-20,2012.Washington:IEEE Computer Society,2012:209-219.

[51]Schwarz T J E,Qin Xin,Miller E L,et al.Disk scrubbing in large archival storage systems[C]//Proceedings of the 12th Annual International Symposium on Modeling,Analysis and Simulation of Computer and Telecommunications Systems,Volendam,The Netherlands,Oct 4-8,2004.Washington:IEEE Computer Society,2004:409-418.

[52]Paris J F,Schwarz S J,Amer A,et al.Highly reliable twodimensional RAID arrays for archival storage[C]//Proceedings of the 31st International Performance Computing and Communications Conference,Austin,USA,Dec 1-3,2012. Washington:IEEE Computer Society,2012:324-331.

[53]Li Yan,Miller E L,Long D D E.Understanding data survivability in archival storage systems[C]//Proceedings of the 5th Annual International Systems and Storage Conference, Haifa,Israel,Jun 4-6,2012.New York:ACM,2012:1-12.

[54]Bhagwat D,Pollack K,Long D D E,et al.Providing high reliability in a minimum redundancy archival storage system[C]//Proceedings of the 14th IEEE International Symposium on Modeling,Analysis and Simulation of Computer and Telecommunication Systems,Monterey,USA,Sep 11-14, 2006.Washington:IEEE Computer Society,2006:413-421.

[55]Li Xiaozhou,Lillibridge M,Uysal M.Reliability analysis of deduplicated and erasure-coded storage[J].ACM SIGMETRICS Performance Evaluation Review,2011,38(3):4-9.

[56]Rozier E W D,Sanders W H,Zhou P,et al.Modeling the fault tolerance consequences of deduplication[C]//Proceedings of the 30th IEEE Symposium on Reliable Distributed Systems,Madrid,Spain,Oct 4-7,2011.Washington:IEEE Computer Society,2011:75-84.

[57]Rozier E W D,Sanders W H.A framework for efficient evaluation of the fault tolerance of deduplicated storage sys-tems[C]//Proceedings of the 42nd Annual IEEE/IFIP International Conference on Dependable Systems and Networks, Boston,USA,Jun 25-28,2012.Washington:IEEE Computer Society,2012:1-12.

[58]Eckart B,Chen Xin,He Xubin,et al.Failure prediction models for proactive fault tolerance within storage systems [C]//Proceedings of the 2008 IEEE International Symposium on Modeling,Analysis and Simulation of Computers and Telecommunication Systems,Baltimore,USA,Sep 8-10,2008.Washington:IEEE Computer Society,2008:1-8.

[59]Li Jing,Li Mingze,Wang Gang,et al.Global reliability evaluation for cloud storage systems with proactive fault tolerance[C]//LNCS 9531:Proceedings of the 15th International Conference on Algorithms and Architectures for Parallel Processing,Zhangjiajie,China,Nov 18-20,2015.Berlin,Heidelberg:Springer,2015:189-203.

附中文參考文獻(xiàn)：

[1]羅象宏,舒繼武.存儲系統(tǒng)中的糾刪碼研究綜述[J].計(jì)算機(jī)研究與發(fā)展,2012,49(1):1-11.

[24]章宏?duì)N,薛巍.集群RAID5存儲系統(tǒng)可靠性分析[J].計(jì)算機(jī)研究與發(fā)展,2010,47(4):727-735.

[43]穆飛,薛巍,舒繼武,等.一種面向大規(guī)模副本存儲系統(tǒng)的可靠性模型[J].計(jì)算機(jī)研究與發(fā)展,2009,46(5):756-761.

[44]張薇,馬建峰,楊曉元.分布式存儲系統(tǒng)的可靠性研究[J].西安電子科技大學(xué)學(xué)報(bào),2009,36(3):480-485.

[45]張林峰,譚湘鍵,杜凱.大規(guī)模存儲系統(tǒng)可靠性參數(shù)最優(yōu)化分析[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(1):112-119.

LI Jing was born in 1982.She received the Ph.D.degree from College of Computer and Control Engineering,Nankai University in 2016.Now she is a lecturer at Civil Aviation University of China.Her research interests include mass data storage and machine learning,etc.

李靜（1982—），女，山東德州人，2016年于南開大學(xué)計(jì)算機(jī)與控制工程學(xué)院獲得博士學(xué)位，現(xiàn)為中國民航大學(xué)講師，主要研究領(lǐng)域?yàn)榇笠?guī)模數(shù)據(jù)存儲，機(jī)器學(xué)習(xí)等。

WANG Gang was born in 1974.He received the Ph.D.degree in computer science from Nankai University in 2002. Now he is a professor and Ph.D.supervisor at Nankai University,and the member of CCF.His research interests include storage systems and parallel computing,etc.

王剛（1974—），男，北京人，2002年于南開大學(xué)獲得博士學(xué)位，現(xiàn)為南開大學(xué)教授、博士生導(dǎo)師，CCF會員，主要研究領(lǐng)域?yàn)榇鎯ο到y(tǒng)，并行計(jì)算等。

LIU Xiaoguang was born in 1974.He received the Ph.D.degree in computer science from Nankai University in 2002.Now he is a professor and Ph.D.supervisor at Nankai University,and the senior member of CCF.His research interests include parallel computing and storage systems,etc.

劉曉光（1974—），男，河北人，2002年于南開大學(xué)獲得博士學(xué)位，現(xiàn)為南開大學(xué)教授、博士生導(dǎo)師，CCF高級會員，主要研究領(lǐng)域?yàn)椴⑿杏?jì)算，存儲系統(tǒng)等。

LI Zhongwei was born in 1975.He received the Ph.D.degree in computer science and technology from Harbin Engineering University in 2006.Now he is an associate professor and M.S.supervisor at Nankai University,and the member of CCF.His research interests include machine learning and mass data storage,etc.

李忠偉（1975—），男，甘肅人，2006年于哈爾濱工程大學(xué)獲得博士學(xué)位，現(xiàn)為南開大學(xué)副教授、碩士生導(dǎo)師, CCF會員，主要研究領(lǐng)域?yàn)闄C(jī)器學(xué)習(xí)，大規(guī)模數(shù)據(jù)存儲等。

Review of Reliability Prediction for Storage System*

LI Jing1,2,WANG Gang2,LIU Xiaoguang2,LI Zhongwei2+
1.College of Computer Science and Technology,CivilAviation University of China,Tianjin 300300,China
2.College of Computer and Control Engineering,Nankai University,Tianjin 300350,China
+Corresponding author:E-mail:lizhongwei@nbjl.nankai.edu.cn

The reliability prediction for storage system,which is useful to assess trade-offs,compare schemes and estimate the effect of several parameters on storage system reliability,can help system designers and administrators to build storage systems with high reliability.So the research on reliability prediction is always one of the research focuses in storage system.This paper makes careful introduction and analysis in the field of reliability prediction for storage system,respectively from two prediction objects—disk and storage system.Firstly,this paper carefully analyzes the current development status of storage system reliability prediction,from the perspectives of two objects—disk individual and disk family,two fault tolerant manners—proactive fault tolerant scheme and reactive fault tolerant scheme,and two redundant mechanisms—erasure code and replication.Then,this paper indicates the unresolved problems and the future trend in this field.From the analysis,this paper finds there are some weaknesses and drawbacks on the reliability prediction for replication storage and proactive fault tolerant systems,and they are the issues needing further study.

10.3778/j.issn.1673-9418.1604049

A

：TP301

*The National Natural Science Foundation of China under Grant Nos.61373018,11301288,11450110409(國家自然科學(xué)基金);the New Century Excellent Talent Foundation from MOE of China under Grant No.NCET-13-0301(教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃);the Fundamental Research Funds for the Central Universities of China under Grant No.65141021(中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金).

Received 2016-04,Accepted 2016-07.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-07-01,http://www.cnki.net/kcms/detail/11.5602.TP.20160701.1646.010.html

LI Jing,WANG Gang,LIU Xiaoguang,et al.Review of reliability prediction for storage system.Journal of Frontiers of Computer Science and Technology,2017,11(3)：341-354.

Key words:storage system;reliability prediction;proactive fault tolerant;reactive fault tolerant