萬成威,王 霞,王 猛

(北京航天飛行控制中心,北京 100094)

0 引 言

數(shù)據(jù)存儲子系統(tǒng)是各類信息系統(tǒng)或設備必不可少的組成部分之一,硬盤是數(shù)據(jù)存儲子系統(tǒng)的核心部件。然而,硬盤也是影響信息系統(tǒng)或設備性能和工作狀態(tài)的重要因素[1]。固態(tài)硬盤(Solid State Disk,SSD)可極大提高硬盤的數(shù)據(jù)讀寫性能,然而硬盤的經(jīng)常性失效問題仍不可避免,業(yè)界普遍采用獨立冗余磁盤陣列(Redundant Array of Independent Disk,RAID)技術實現(xiàn)硬盤失效時的數(shù)據(jù)完整性保護。同時,硬盤健康狀態(tài)的預測研究也日漸受到業(yè)界的重視[2-4],期望通過硬盤自身的狀態(tài)日志、設備運行狀態(tài)、機房位置等信息,準確預測硬盤的健康狀態(tài)[5],最終實現(xiàn)硬盤剩余壽命的準確預測,為實現(xiàn)數(shù)據(jù)管理、設備運維等提供相應的支撐手段。

機械硬盤(Hard Drive Disk,HDD)在大規(guī)模數(shù)據(jù)中心、大容量數(shù)據(jù)存儲系統(tǒng)中廣泛應用,其故障一般分為兩種:可預測的和不可預測的。不可預測的硬盤故障偶爾發(fā)生,如芯片突然失效、機械振動或撞擊等,但如磁盤磁頭磨損、盤片磁介質性能下降等,均屬于可預測情況,通過磁盤監(jiān)控技術,檢測磁盤某些重要的狀態(tài)參數(shù)實現(xiàn)磁盤健康狀態(tài)的預警。1995年,康柏公司聯(lián)合多家硬盤生產(chǎn)商提出該技術方案,并于1996年正式成為行業(yè)技術標準。然而,準確地實現(xiàn)硬盤健康狀態(tài)預測仍然具有很強的挑戰(zhàn)性,主要原因來自兩個方面[6]:一是軟件系統(tǒng)優(yōu)化設計后可較好地適配硬件系統(tǒng)部分功能失效情況,導致系統(tǒng)操控管理人員對包含硬盤故障在內的硬件系統(tǒng)部分功能失效情況的重視程度不夠;二是各種不同品牌和型號規(guī)則的硬盤在數(shù)據(jù)中心內部廣泛使用,但考慮到商業(yè)利益因素,大量的研究僅公開了少量的采樣獲取的自我檢測分析與報告(Self Monitoring Analysis and Reporting Technology,SMART)數(shù)據(jù),難以支撐大規(guī)模的開放性研究,而且研究重點也主要著眼于不同類型硬盤的某些特性,如結構、器件或等對異常產(chǎn)生原因的分析。

近年來,隨著BackBlaze、Alibaba等云服務商逐步開放其超大數(shù)據(jù)中心硬盤的SMART數(shù)據(jù),基于機器學習、深度學習等方式的硬盤健康狀態(tài)預測研究[7-11]也隨之逐年增加,針對硬盤失效問題的深度分析也逐步展開。清華大學交叉信息研究院的徐葳團隊[6]聯(lián)合百度公司對百度數(shù)據(jù)中心2012—2016年以來的290 000個硬件失效問題進行了研究,從失效問題發(fā)生的時間、產(chǎn)品線、空間位置、部件以及用戶的響應等5個維度進行了分析。從部件維度看,HDD硬盤故障占硬件系統(tǒng)故障的82%,其中約30%的故障直接由SMART屬性值反應出來,其他部分故障也可由相關的SMART屬性與之對應,同時,研究結果表明,HDD失效與高負載、人員操作等均具有一定的潛在關聯(lián)性。Lu等人[5]針對HDD硬盤的SMART數(shù)據(jù)、硬盤的性能數(shù)據(jù)、硬盤的空間位置信息等3類數(shù)據(jù),采用樸素貝葉斯分類、隨機森林[12]、梯度增強決策樹(Gradient Boosted Decision Tree,GBDT)[13-14]、長短時記憶網(wǎng)絡(Long Short Term Memory Network,LSTM)等深度學習方法,實現(xiàn)對HDD硬盤工作狀態(tài)的預測,并詳細比較了上述3類信息不同組合條件下的預測準確性,結果表明,3類信息聯(lián)合情況下可獲得最優(yōu)的預測性能,原因在于硬盤的性能數(shù)據(jù)體現(xiàn)了其工作負載,硬盤的空間位置體現(xiàn)了其運行環(huán)境,這些因素均會影響硬盤的工作狀態(tài)。

隨著SSD硬盤在數(shù)據(jù)中心應用的逐步深入,針對其工作狀態(tài)的預測研究也逐步展開[15-16],這些研究方法對HDD硬盤工作狀態(tài)預測具有較好的借鑒意義。

本文將HDD作為研究對象,基于BackBlaze公布的HDD硬盤SMART日志數(shù)據(jù),采用機器學習方法,完成硬盤健康狀態(tài)的分類預測。

1 SMART數(shù)據(jù)

SMART技術為硬盤行業(yè)標準,依托該技術,硬盤會自動檢測其磁頭、盤片、馬達、電路等運行狀態(tài),并通過不同的屬性值記錄下來,實現(xiàn)其工作狀態(tài)的記錄,當屬性值超出安全值范圍時,就會自動向用戶發(fā)出告警。一般而言,硬盤會周期性產(chǎn)生SMART記錄數(shù)據(jù)?？紤]到硬盤大部分時間均處于正常工作狀態(tài),已有研究表明,對硬盤工作狀態(tài)預測而言,每天一條SMART數(shù)據(jù)記錄即可滿足應用 要求[5]。目前,Alibaba、BackBlaze等大型云服務提供商均開源了其部分數(shù)據(jù)中心硬盤的SMART數(shù)據(jù)。典型的SMART屬性如表1所示。

表1 典型SMART屬性值 Tab.1 Typical SMART attributies

SMART屬性數(shù)據(jù)以二進制代碼的形式記錄于硬盤的系統(tǒng)保留區(qū)內,除標準屬性外,廠商可根據(jù)自己產(chǎn)品的特性提供不同的SMART屬性數(shù)據(jù)。目前公開的SMART數(shù)據(jù)集中,除SMART屬性的原始數(shù)據(jù)外,同時包含每個屬性的歸一化值,聯(lián)合起來作為硬盤的SMART屬性。單條SMART記錄包含日期、序列號(或ID)、硬盤型號、工作狀態(tài)及屬性值等。一般情況下,硬盤的大部分屬性值為空,不同廠商、不同型號規(guī)格的硬盤,為空的屬性值也有所不同。為此,根據(jù)硬盤SMART屬性是否非空,定義SMART數(shù)據(jù)模式如下:給定的SMART數(shù)據(jù)記錄中,若某一屬性非空,則該屬性的數(shù)據(jù)模式為“1”;否則,該屬性的數(shù)據(jù)模式為“0”,由所有屬性數(shù)據(jù)模式組成的二進制字符串即為該SMART記錄的數(shù)據(jù)模式。

從已開放的SAMRT數(shù)據(jù)看,盡管不同廠商、不同型號規(guī)格硬盤的SMART數(shù)據(jù)各不相同,但仍體現(xiàn)出明顯的特點,具體如下:

1)SMART數(shù)據(jù)具稀疏特性。盡管最新標準中定義了多達256項SMART屬性,然而,一般硬盤在日志中僅記錄了其中幾十項屬性值,且其中大部分屬性為空,形成典型的稀疏特性。

2)SMART數(shù)據(jù)模式類型有限。SMART數(shù)據(jù)模式指硬盤所有非空SAMRT屬性的組成規(guī)律。大型數(shù)據(jù)中心中存在不同品牌、不同型號規(guī)格的硬盤,然而,這些硬盤的SMART數(shù)據(jù)模式類型較為有限,如本文后文所述,并非如直觀印象中有大量不同的數(shù)據(jù)模式類型。

3)SMART數(shù)據(jù)具有明顯的不均衡性。SMART數(shù)據(jù)的不均衡性主要表現(xiàn)在硬盤狀態(tài)正常與失效的SMART數(shù)據(jù)數(shù)量相差極大。硬盤技術和制造工藝的進步,使得硬盤失效概率明顯降低,大部分時間內硬盤處于正常工作狀態(tài),因此SMART數(shù)據(jù)中失效數(shù)據(jù)比例也較低。

考慮SMART數(shù)據(jù)模式類型有限的特點,且同一數(shù)據(jù)模式下硬盤SMART屬性完全一致,更趨于表現(xiàn)出一致的運行狀態(tài),基于此,本文提出基于SMART數(shù)據(jù)模式分類的HDD硬盤工作狀態(tài)預測方法。

2 硬盤工作狀態(tài)預測

現(xiàn)有研究主要以SMART屬性值及其歸一化屬性值作為特征,采用各種機器學習、深度學習算法,實現(xiàn)硬盤工作狀態(tài)的預測。盡管針對大型數(shù)據(jù)中心硬件系統(tǒng)故障問題的長期統(tǒng)計分析表明,硬盤負載、機房環(huán)境等對其工作狀態(tài)具有一定的影響[5],從表1也可以看到,上述信息在SMART屬性數(shù)據(jù)中也有一定的體現(xiàn)。另外,現(xiàn)有基于SMART數(shù)據(jù)的硬盤工作狀態(tài)預測研究中,一般考慮算法的通用性,期望算法可廣泛適用于所有類型的硬盤,通常僅選擇十幾項典型的屬性值作為硬盤工作狀態(tài)預測算法的特征,然而,除常用的典型屬性外,不同型號規(guī)格的硬盤可定義不同SMART屬性,這將導致部分信息的丟失[16]。為此,本文在深入分析SMART數(shù)據(jù)特點的基礎上,提出相應的HDD硬盤工作狀態(tài)預測算法。

2.1 算法思想

為了避免現(xiàn)有算法選擇少量典型SMART屬性作為特征引起的信息丟失問題,結合SMART數(shù)據(jù)的特點,本文提出基于SMART數(shù)據(jù)模式的機器學習(SMART Data Mode Based Machine Learning,SDM-ML)算法,以實現(xiàn)HDD硬盤工作狀態(tài)的準確預測,其基本思想如下:

SMART技術作為硬盤行業(yè)標準,反映了硬盤的各種工作狀態(tài),其屬性的設計均具有一定的針對性。直觀理解,選取的屬性越多,包含的硬盤信息也相應增多,利于機器學習算法更充分識別硬盤的工作狀態(tài),對其做出更加準確的預測。經(jīng)統(tǒng)計分析,硬盤SMART數(shù)據(jù)模式較為有限,為此,SDM-ML算法先根據(jù)數(shù)據(jù)模式類型,將SMART數(shù)據(jù)分為不同的子集,不同子集的數(shù)據(jù)分別采用有監(jiān)督機器學習算法進行訓練和驗證測試,綜合多種機器學習算法測試結果,選擇性能最優(yōu)算法的輸出結果作為最終預測結果。

2.2 算法流程

如圖1所示,算法分為數(shù)據(jù)預處理、數(shù)據(jù)模式分類、按數(shù)據(jù)模式分類機器學習預測。實際過程中,根據(jù)數(shù)據(jù)模式類型,將預處理后的SMART數(shù)據(jù)輸入訓練好的機器學習組件中,即可完成HDD硬盤狀態(tài)的預測。

圖1 基于數(shù)據(jù)模式分類的HDD硬盤工作狀態(tài)預測

數(shù)據(jù)預處理主要完成原始SMART數(shù)據(jù)的規(guī)范化處理,包含:以序列號為關鍵字,將單個硬盤的SMART數(shù)據(jù)按照日期先后順序歸檔整理;僅以SMART屬性的實際值作為研究對象,不考慮數(shù)據(jù)提供方給出的歸一化屬性值;將屬性值為空的SMART屬性統(tǒng)一填充0,若硬盤當日SMART屬性均為空,即表示當日未成功獲取SMART日志記錄,則刪除當天SMART記錄。

數(shù)據(jù)模式分類主要根據(jù)硬盤SMART記錄中的原始屬性數(shù)據(jù),確定該硬盤的SMART數(shù)據(jù)模式類型。所有數(shù)據(jù)模式類型中均包含該SMART數(shù)據(jù)的所有屬性,不對其進行篩選、過濾、聚合等處理。

并行訓練主要將分類后的SMART數(shù)據(jù)分別按照數(shù)據(jù)模式輸入監(jiān)督機器學習算法進行算法的訓練。對于每塊硬盤,均選擇N天的SMART記錄依次拼接組合作為機器學習的輸入數(shù)據(jù)。其中,對于發(fā)生失效問題的硬盤,選擇從失效當天起的前N天SMART數(shù)據(jù)作為故障類數(shù)據(jù)(類型為“1”);對于未發(fā)生失效問題的硬盤,隨機選擇連續(xù)N天的SMART數(shù)據(jù)作為正常數(shù)據(jù)(類型為“0”)。所有數(shù)據(jù)根據(jù)對應屬性值,按式(1)進行歸一化處理:

(1)

2.3 算法性能評估

2.3.1 數(shù)據(jù)集

本文以BackBlaze開放的2020年3季度云存儲系統(tǒng)中硬盤SMART日志作為數(shù)據(jù)集,用于評估SDM-ML算法性能。該數(shù)據(jù)集包含2020年7月1日—9月30日期間共151 166塊HDD硬盤的SMART日志,其中發(fā)生失效問題的硬盤324塊。按照SMART數(shù)據(jù)模式,上述記錄中共包含18種不同的數(shù)據(jù)模式,各類SMART數(shù)據(jù)模式統(tǒng)計信息如表2所示。

表2 SMART數(shù)據(jù)模式統(tǒng)計

表2中主要統(tǒng)計工作時間不少于10(N=10)天的HDD硬盤,考慮到發(fā)生失效的硬盤數(shù)量遠小于正常硬盤數(shù)量,為進一步增加失效硬盤SMART樣本數(shù)量,對于SMART記錄多于10天的失效硬盤,依次從失效前第10,15,20…天開始,并取連續(xù)10天的SMART數(shù)據(jù),均作為失效硬盤SMART數(shù)據(jù)?？紤]到HDD硬盤狀態(tài)預測的應用場景,擴充的失效硬盤SMART數(shù)據(jù)最長不超過失效前30天。盡管如此,仍有部分SMART數(shù)據(jù)模式的失效樣本數(shù)量過少,如第4,8,9,10,11,12,13,15類數(shù)據(jù)模式,難以形成有效的訓練、測試數(shù)據(jù)集,本文暫不將其作為HDD硬盤工作狀態(tài)預測研究的數(shù)據(jù)集。

2.3.2 測試結果

本文采用K近鄰(K-Nearest+Neighbor,KNN)[12]、線性回歸(logreg)[10]、支持向量機(Suppot Vector Machine,SVM[8]等3種機器學習算法,分別按照不同的SMART數(shù)據(jù)模式類型,從預測準確率、F1指數(shù)、馬修斯相關系數(shù)(Matthews Correlation Coefficient,MCC)等3個方面對HDD硬盤工作狀態(tài)預測性能進行了評估。M根據(jù)預處理后正常樣本與失效樣本的比例關系確定。測試結果如圖2所示。

圖2 SDM-ML算法評估結果

可以看到,SDM-ML算法普遍可實現(xiàn)80%以上的分類準確率,達到與現(xiàn)有強分類器相同的預測精度。從F1指數(shù)和MCC系數(shù)看,SDM-ML算法表現(xiàn)出相同或類似的測試性能,即按照SMART數(shù)據(jù)模式分類后,再采用常見的機器學習算法,即可獲得強分類器相近的預測結果。從機器學習算法看,線性回歸和SVM算法針對不同類型的SMART數(shù)據(jù)模式均表現(xiàn)出較為一致的預測性能,且優(yōu)于KNN。從SMART數(shù)據(jù)模式看,第1和17類數(shù)據(jù)模式的MCC系數(shù)測試結果相對較差,這也反映出不同型號規(guī)格硬盤產(chǎn)品在SMART屬性上的差異及其對機器學習算法特征選擇的影響,與文獻[16]中針對SSD硬盤SMART屬性的研究結果一致。同時,這也說明特征選擇對機器學習算法性能的影響。本文提出在SMART數(shù)據(jù)模式分類后再進行機器學習預測HDD硬盤工作狀態(tài),主要目的也是為了盡可能簡化眾多SMART屬性條件下的特征選擇過程,測試結果也表明了本文方法的有效性。同時,本文方法在通用機器學習算法下即可獲得較好的預測效果,可有效降低因使用強機器學習算法帶來的計算、存儲等資源消耗,具有較好的實際應用效果。

3 結 論

本文研究了基于SMART數(shù)據(jù)的HDD硬盤工作狀態(tài)預測算法,針對現(xiàn)有算法普遍以少量通用SMART屬性作為機器學習特征,存在信息丟失現(xiàn)象的問題,提出先按照數(shù)據(jù)模式對SMART數(shù)據(jù)進行分類,然后采用機器學習算法進行硬盤工作狀態(tài)預測,在保證SMART信息完整性的同時,簡化了機器學習算法的特征選擇過程,有效降低了算法的資源消耗。實際測試結果表明,在這種數(shù)據(jù)處理方式下,采用常用的機器學習算法即可獲得與強分類器相近的預測結果,充分證明了算法的有效性。