劉樹仁，馮超敏，文 玲，蔡長寧，趙書貴

（中國石油勘探開發(fā)研究院西北分院 計算機(jī)技術(shù)研究所，甘肅 蘭州730020）

0 引 言

地震處理技術(shù)是油氣勘探部署中的主要手段，目前石油行業(yè)普遍采用高性能計算機(jī)集群 （high performance computer cluster）作為地震處理平臺［1］。隨著數(shù)據(jù)處理量增加、集群規(guī)模增大以及各種應(yīng)用軟件的交叉使用，集群中頻繁發(fā)生各類故障，穩(wěn)定性問題日趨突出［2］。原有的人工巡查及故障被動處理的模式，由于處理速度慢、故障漸進(jìn)累加［3，4］等原因，直接影響了勘探生產(chǎn)任務(wù)的進(jìn)行。因此亟需引入智能化的預(yù)測機(jī)制，及時發(fā)現(xiàn)與定位集群中的故障隱患，在節(jié)點崩潰之前進(jìn)行維護(hù)，將對生產(chǎn)的影響降到最低。

Hadoop是一個開源的云計算模型［5，6］，用于大數(shù)據(jù)的存儲與處理。通過把應(yīng)用程序分割成小工作單元，并將這些工作單元放到集群的任何節(jié)點上執(zhí)行，實現(xiàn)數(shù)據(jù)的分布式存儲與并行計算。其具備可靠性高、數(shù)據(jù)處理量大、靈活可擴(kuò)展等優(yōu)勢，被廣泛應(yīng)用于搜索引擎、機(jī)器學(xué)習(xí)、語義分析［7］和圖像處理［8，9］等領(lǐng)域。然而，在高性能集群狀態(tài)監(jiān)測領(lǐng)域，如何使用Hadoop 這一熱點工具，仍然處于空白。

HDFS （Hadoop distributed file system）為Hadoop上的分布式的文件系統(tǒng)，HBase是基于其上的NoSQL 數(shù)據(jù)庫［10］；MapReduce［11，12］本質(zhì)為 函 數(shù) 式 編 程，是 一 個 并 行 計算模型與框架，實現(xiàn)大規(guī)模的機(jī)器學(xué)習(xí)。

通過上述技術(shù)，可利用低成本設(shè)備搭建一個獨立的系統(tǒng)。通過HBase實現(xiàn)大量高性能集群狀態(tài)數(shù)據(jù)的存儲，使用MapReduce實現(xiàn)相關(guān)聚類算法進(jìn)行數(shù)據(jù)分析，為實現(xiàn)高性能集群狀態(tài)監(jiān)測的智能化提供了可能性。

1 基于Hadoop的高性能集群狀態(tài)分析

通過集群里L(fēng)inux系統(tǒng)各部件的運行狀況量來描述整個集群，這些部件的運行狀態(tài)集合就形成了集群的狀態(tài)。根據(jù)Hadoop平臺工具的特點，結(jié)合高性能集群系統(tǒng)狀態(tài)數(shù)據(jù)，構(gòu)建狀態(tài)數(shù)據(jù)存儲與分析平臺，平臺架構(gòu)如圖1所示。

圖1 狀態(tài)數(shù)據(jù)存儲與分析平臺架構(gòu)

平臺由三部分構(gòu)成：狀態(tài)采集模塊完成高性能集群狀態(tài)數(shù)據(jù)的采集，主要通過Linux的／proc等其他部分獲??；狀態(tài)數(shù)據(jù)存儲模塊采用HBase，實現(xiàn)動態(tài)時序、歷史數(shù)據(jù)龐大的狀態(tài)數(shù)據(jù)高效存儲；狀態(tài)數(shù)據(jù)的分析處理模塊通過MapReduce實現(xiàn)的聚類算法，達(dá)到狀態(tài)數(shù)據(jù)的分類及故障預(yù)警。

從存儲使用的角度上來說，狀態(tài)數(shù)據(jù)的存儲層由Master管理，同時也是客戶端訪問文件系統(tǒng)的接口；應(yīng)用層包括HDFS文件系統(tǒng)上的HBase數(shù)據(jù)庫和MapReduce編程模型。

1.1 Hadoop平臺搭建設(shè)計

通過虛擬化技術(shù)，在Windows 7操作系統(tǒng)的PC 機(jī)上，安裝Virtual Box，虛擬Linux 環(huán)境，在各機(jī)上安裝JDK、SSH 和Hadoop，搭建一個完全分布模式下的Hadoop平臺。

1.2 存儲客戶端設(shè)計

集群狀態(tài)數(shù)據(jù)的存儲客戶端由兩部分組成：數(shù)據(jù)采集部分和數(shù)據(jù)存儲部分。本文中，兩部分都由Java程序?qū)崿F(xiàn)，通過嵌入程序中的Linux系統(tǒng)命令 （如vmstat、top），完成對集群狀態(tài)數(shù)據(jù)的采集；采集完成后，調(diào)用HBase API接口，將數(shù)據(jù)存儲到HBase的分布式數(shù)據(jù)庫里。

狀態(tài)數(shù)據(jù)采集存儲流程如圖2所示。

圖2 狀態(tài)數(shù)據(jù)采集存儲流程

圖2中，為減少系統(tǒng)負(fù)載，不影響生產(chǎn)作業(yè)，設(shè)置一個閾值，該閾值為節(jié)點cpu利用率的大小，只有在利用率低于閾值的情況下，程序才采集、存儲進(jìn)狀態(tài)數(shù)據(jù)。

高性能集群系統(tǒng)處于同一時鐘，傳到客戶端存儲的各個節(jié)點狀態(tài)數(shù)據(jù)是同步與并發(fā)的，故狀態(tài)數(shù)據(jù)的類型為動態(tài)時序。綜合上述，設(shè)計狀態(tài)數(shù)據(jù)的HBase表的整體邏輯見表1。

表1 狀態(tài)數(shù)據(jù)HBase表整體邏輯

表1 中，RowKey 為行關(guān)鍵字，用于數(shù)據(jù)的檢索；TimeStamp為采集時刻的時間戳；由于高性能集群的正常運行受到機(jī)房溫度和濕度影響，設(shè)置Climate列族實現(xiàn)對溫度和濕度的存儲；Cluster－state列族為收集到的節(jié)點狀態(tài)，如cpu－usr為cpu在用戶狀態(tài)下的利用率、bread為每秒從硬盤讀入系統(tǒng)緩沖區(qū)buffer的物理塊數(shù)，最后一列state為經(jīng)過機(jī)器學(xué)習(xí)之后，寫入到數(shù)據(jù)庫里的狀態(tài)值。

1.3 MapReduce分析系統(tǒng)設(shè)計

通過MapReduce實現(xiàn)的聚類算法實現(xiàn)狀態(tài)數(shù)據(jù)的分析處理，文中，采用k－means聚類算法［12］，該算法是以距離作為相似性的評價指標(biāo)。

從HBase數(shù)據(jù)庫中獲取的待分類的數(shù)據(jù)集作為算法的輸入，分為健康、一般與故障3 個類別 （a、b、c），隨著數(shù)據(jù)庫的擴(kuò)大，再細(xì)化不同的類別；算法的輸出為不再變化的k個 （初始為3）聚類中心。

算法是一個迭代的過程：

（1）從數(shù)據(jù)集中選取k個數(shù)據(jù)作為中心。

（2）測量所有數(shù)據(jù)到每個中心的距離，找出一個最小距離，并將其劃入該類中。

（3）重新計算各類中心。重復(fù)進(jìn)行2、3的步驟，直至滿足設(shè)定的閾值。

依據(jù)上述流程，使用MapRduce 框架進(jìn)行實現(xiàn)：由HBase的Java API獲取輸入數(shù)據(jù)，并將其轉(zhuǎn)化為Sequence－File文件，中間生成的聚類中心數(shù)據(jù)也采用SequenceFile文件存儲。

Map函數(shù)格式：

（1）輸入：＜狀態(tài)數(shù)據(jù)樣本序號index，狀態(tài)數(shù)據(jù)D＞

（2）輸出：＜所屬類別C，狀態(tài)數(shù)據(jù)D＞

Reduce函數(shù)格式：

（1）輸入：＜某類別C，該類狀態(tài)數(shù)據(jù)集合list＞

（2）輸出：＜某類別C，新的聚類中心＞

圖3為K－mean聚類算法MapReduce實現(xiàn)流程，流程由數(shù)據(jù)獲取部分、Map部分、Ruduce部分和主函數(shù)構(gòu)成。

圖3 K－mean聚類算法MapReduce實現(xiàn)流程

主函數(shù)中，需要設(shè)計恰當(dāng)?shù)拈撝?，并通過迭代程序，實現(xiàn)對Map函數(shù)和Reduce函數(shù)的不斷調(diào)用，直至滿足設(shè)定的閾值。

2 實驗與結(jié)果分析

2.1 實驗環(huán)境

文中，平臺由4個虛擬節(jié)點組成，包括一個NameNode和3個DataNode。每個節(jié)點的配置為單核CPU，2G 內(nèi)存，硬盤100G。操作系統(tǒng)為Centos6.4，JDK 使用jdk1.7.0＿25，Hadoop版本為1.2.0，HBase版本為0.94.1，監(jiān)控對象為128節(jié)點的某高性能集群。

2.2 HBase性能測試

為了對設(shè)計的HBase表進(jìn)行測試，使用第三方開源軟件YCSB［13］。通過重寫core文件里的CoreWorkload.java文件，實現(xiàn)對HBase數(shù)據(jù)操作的實際化，即針對表1 中的HBase表進(jìn)行操作。其默認(rèn)數(shù)據(jù)庫名稱為 “HPC”，包括2個列 族 “Cluster－state”和 “Climate”，重 新 編 譯 開 始 壓力測試。

（1）數(shù)據(jù)導(dǎo)入測試

在HBase數(shù)據(jù)庫的HPC 表中，導(dǎo)入50萬條數(shù)據(jù) （副本數(shù)為3，大小為73.5GB），總體運行時間為4367.211s、系統(tǒng)吞吐率達(dá)到150.3ops／sec，單條數(shù)據(jù)的導(dǎo)入平均延時為87.03ms，說明平臺能夠承受長時間大量數(shù)據(jù)的寫入。相對于已搭建的其他平臺，并未達(dá)到最佳效果，這由于該平臺的從節(jié)點個數(shù)較少導(dǎo)致。

（2）數(shù)據(jù)讀寫測試

本文中，集群狀態(tài)數(shù)據(jù)為一次存儲多次讀取，針對已存儲的50 萬條數(shù)據(jù)，實現(xiàn)1 萬次的讀寫操作 （讀寫比例95：5）。

圖4為5次單個指令執(zhí)行的平均延遲實驗，從圖中可以看出，數(shù)據(jù)變化平緩，系統(tǒng)穩(wěn)定運行。5 次指令執(zhí)行的平均時間為3938ms，吞吐率接近253ops／sec。由于數(shù)據(jù)寫的延遲時間為數(shù)據(jù)讀的2倍左右，在數(shù)據(jù)讀占多數(shù)的應(yīng)用場景下，滿足性能要求。

圖4 數(shù)據(jù)讀寫延遲

（3）訪問HBase并發(fā)能力測試

在已存有50萬條集群狀態(tài)數(shù)據(jù)的HBase數(shù)據(jù)庫，進(jìn)行1萬次的數(shù)據(jù)讀取和更新操作；更改訪問線程個數(shù)，從10到100進(jìn)行變化。實驗過程中，考慮到程序執(zhí)行的延緩性，每次指令執(zhí)行都是在一定時間間隔后進(jìn)行了，這樣保證了數(shù)據(jù)的真實性。

圖5為HBase并發(fā)度測試，圖中表明，隨著線程數(shù)量從10增長到30，數(shù)據(jù)庫的吞吐率逐漸增加，并在30時達(dá)到最大，約為410ops／sec；30到100 階段，吞吐率呈下降趨勢，最低點100時的吞吐率為362ops／sec。

圖5 HBase訪問并發(fā)度測試

30即為該系統(tǒng)的最優(yōu)并發(fā)值，因此在訪問過程中用戶個數(shù)應(yīng)以30為上限值。即同一時刻并發(fā)采集與存儲狀態(tài)的最優(yōu)節(jié)點個數(shù)為30，完全符合128節(jié)點的高性能集群狀態(tài)監(jiān)測要求。

2.3 MapReduce分析狀態(tài)數(shù)據(jù)性能

對存儲在HBase上的10萬條集群狀態(tài)數(shù)據(jù) （每條數(shù)據(jù)的屬性項為10），運行MapReduc程序進(jìn)行聚類分析，統(tǒng)計聚類中心位置，圖6為K－means聚類中心對比圖。

圖6 K－means聚類中心

圖6中可以看出，聚類效果比較好，平均聚類中心和最大聚類中心都劃分清楚。為了確定該聚類算法在實際應(yīng)用中的效果，統(tǒng)計不同迭代次數(shù)之后，聚類結(jié)果與實際情況相比的準(zhǔn)確率見表2。

表2 不同迭代次數(shù)下的故障預(yù)測準(zhǔn)確率

表2中，隨著迭代次數(shù)的增加，故障預(yù)測的準(zhǔn)確率一直升高，16次之后增長程度逐漸減小，20次的時候達(dá)到最優(yōu)效果。沒有取得更高準(zhǔn)確率主要原因是樣本數(shù)量少、每條狀態(tài)數(shù)據(jù)屬性項較少，但是在實際應(yīng)用中，已經(jīng)能夠達(dá)到了主動預(yù)測故障的要求。

3 結(jié)束語

針對油氣勘探中高性能集群的穩(wěn)定性問題，以Hadoop為平臺實現(xiàn)了高性能集群狀態(tài)數(shù)據(jù)的存儲與分析。搭建具有4個虛擬節(jié)點的Hadoop平臺，實現(xiàn)對高性能集群狀態(tài)數(shù)據(jù)采集與HBase存儲，通過壓力測試，確定設(shè)計的方案能夠滿足大量狀態(tài)數(shù)據(jù)導(dǎo)入、多次讀取及并發(fā)訪問；應(yīng)用MapReduce模型實現(xiàn)了k－means算法，并對采集到集群狀態(tài)數(shù)據(jù)進(jìn)行聚類，聚類中心劃分清楚，隨著迭代次數(shù)的增加，故障預(yù)測的準(zhǔn)確率增高。因此，平臺能達(dá)到主動方式的故障預(yù)測，可以有效地應(yīng)用于高性能集群管理。

［1］Krueger J，Donofrio D，Shalf，J.Hardware／software co－design for energy－efficient seismic modeling ［C］／／Proceedings of International Conference for High Performance Computing，Networking，Storage and Analysis，2011：443－449.

［2］CHEN Liang.Arge－scale high－performance computer clusters fast fault diagnosis and automatic recovery system development［D］.Chengdu：University of Electronic Science and Technology，2012 （in Chinese）. ［陳良.大型高性能計算機(jī)集群故障快速診斷與自動恢復(fù)系統(tǒng)開發(fā) ［D］.成都：電子科技大學(xué)，2012.］

［3］WU Linping，ZHANG Xiaoxia.Degin of runtime state monitoring software for cluster system ［J］.Journal of Huazhong University of Scicence and Technology，2011，39 （1）：148－152（in Chinese）.［武林平，張曉霞.集群系統(tǒng)運行狀態(tài)監(jiān)控軟件設(shè)計 ［J］.華中科技大學(xué)學(xué)報，2011，39 （1）：148－152.］

［4］YE Jun，LONG Zhiqiang.State monitor software general framework mediator pattern observer pattern ［J］.Computer Simulation，2008，25 （4）：271－273 （in Chinese）.［葉俊，龍志強(qiáng).狀態(tài)監(jiān)控軟件通用框架設(shè)計及應(yīng)用 ［J］.計算機(jī)仿真，2008，25 （4）：271－273.］

［5］Tom Wbite.Hadoop definitive guide ［M］.2nd ed.Beijing：Tsinghua University Press，2011：43－44 （in Chinese）.［Tom Wbite.Hadoop權(quán)威指南 ［M］.2 版.北京：清華大學(xué)出版社，2011：43－44.］

［6］What is Apache Hadoop ［EB／OL］. ［2014－01－02］.http：／／hadoop.apache.org／.

［7］Newman A，Li YF，Hunter J.Scalable Semantics－the Silver Lining of Cloud Computing ［C］／／IEEE Fourth International Conference on eScience.IEEE，2008：111－118.

［8］YU Ge，GU Yu，BAO Yubin，et al.Graph processing cloud computing data management distributed computing ［J］.Chinese Journal of Computers，2011，34 （10）：1753－1767 （in Chinese）.［于戈，谷峪，鮑玉斌，等.云計算環(huán)境下的大規(guī)模 圖 數(shù) 據(jù) 處 理 技 術(shù) ［J］.計 算 機(jī) 學(xué) 報，2011，34 （10）：1753－1767.］

［9］He B，F(xiàn)ang W，Luo Q，et al.Mars：A mapreduce framework on graphics processors ［C］／／17th International Conference on Parallel Architectures and Compilation Techniques.New York，NY，USA：ACM，2008：260－269.

［10］Hbase architecture［EB／OL］. ［2014－01－02］.http：／／wiki.apache.org／hadoop／Hbase／Hbase Architecture.

［11］HUANG Bin，XU Shuren，PU Wei.Design and implementation of MapReduce based data mining platform ［J］.Computer Engineering and Design，2013，34 （2）：495－501 （in Chinese）.［黃斌，許舒人，蒲衛(wèi).基于MapReduce的數(shù)據(jù)挖掘平臺設(shè)計與實現(xiàn) ［J］.計算機(jī)工程與設(shè)計，2013，34 （2）：495－501.］

［12］WU Hao，NI Zhiwei，WANG Huiying.MapReduce－based ant colony optimization ［J］.Computer Integrated Manufacturing Systems，2012，18 （7）：1503－1509 （in Chinese）.［吳昊，倪志偉，王會穎.基于MapReduce的蟻群算法 ［J］.計算機(jī)集成制造系統(tǒng)，2012，18 （7）：1503－1509.］

［13］ZHANG Jing，DUAN Fu.Improved k－means algorithm with meliorated initial centers［J］.Computer Engineering and Design，2013，34 （5）：1691－1694 （in Chinese）. ［張靖，段富.優(yōu)化初始聚類中心的改進(jìn)k－means算法 ［J］.計算機(jī)工程與設(shè)計，2013，34 （5）：1691－1694.］

［14］Cooper BF，Silberstein A，Tam E，et al.Benchmarking cloud serving systems with YCSB ［C］／／Proceedings of the 1st ACM Symposium on Cloud computing.ACM，2010：143－154.