李　浩，張玉萍，周其耀，馬　燕，楊燕勤

(上海師范大學(xué) 信息與機電工程學(xué)院，上海 200233)

基于HDFS的保障數(shù)據(jù)安全方法

李浩，張玉萍，周其耀，馬燕，楊燕勤

(上海師范大學(xué) 信息與機電工程學(xué)院，上海 200233)

在云計算應(yīng)用中，數(shù)據(jù)安全是用戶最關(guān)心的問題.針對HDFS(hadoop distributed file system)中DataNode失效后存儲數(shù)據(jù)不能被徹底保護，從而導(dǎo)致數(shù)據(jù)泄露的安全問題，設(shè)計了一種兩級數(shù)據(jù)安全保障機制，在DataNode失效后，用數(shù)據(jù)覆蓋算法破壞原數(shù)據(jù)，然后再刪除數(shù)據(jù)，可以有效預(yù)防云中數(shù)據(jù)的惡意恢復(fù)、防止數(shù)據(jù)泄露，數(shù)據(jù)的安全性和可靠性得到了保障.

Hadoop；云計算；HDFS；安全；數(shù)據(jù)銷毀

近年來，隨著云計算技術(shù)的興起，越來越多的企業(yè)開始對外提供云計算服務(wù)，如阿里巴巴將服務(wù)器等中間設(shè)備部署到云端供用戶使用.還有一些企業(yè)在其內(nèi)部搭建云計算平臺滿足業(yè)務(wù)需求，如百度云計算平臺用于處理線下海量數(shù)據(jù). Hadoop是Apache基金會提供的一個開源云計算平臺[1]，其核心設(shè)計是MapReduce[2]和HDFS(hadoop distributed file system)，其中HDFS在整個框架中為海量數(shù)據(jù)提供了存儲.

可信云是2014年云計算關(guān)鍵詞[3]之一，可信云與云安全問題息息相關(guān)，云安全是云服務(wù)用戶最關(guān)心的問題，其中云中的數(shù)據(jù)安全是用戶關(guān)心的首要問題. 2008年，Gartner在其發(fā)布的《評估云計算安全風(fēng)險》中列出了云計算的安全風(fēng)險[4-5]，其中數(shù)據(jù)恢復(fù)風(fēng)險、數(shù)據(jù)隔離風(fēng)險和數(shù)據(jù)位置風(fēng)險是最重要的3種數(shù)據(jù)安全風(fēng)險.安全問題也是一些中小企業(yè)禁止將其數(shù)據(jù)資料遷移到云端的重要因素之一. HDFS是當(dāng)前廣泛應(yīng)用的云存儲平臺，存儲在HDFS的數(shù)據(jù)是否能確保安全成為最重要的問題[6-7].

1　HDFS的數(shù)據(jù)安全

越來越多的數(shù)據(jù)將會遷移到云端，云存儲將會成為主要的存儲方式. 數(shù)據(jù)安全問題是云計算的首要問題. 從數(shù)據(jù)的完整性角度看，HDFS提供了用戶認(rèn)證、文件校驗以及數(shù)據(jù)容災(zāi)多副本機制的方式，數(shù)據(jù)的完整性得到保證，但是數(shù)據(jù)的安全性，尤其是當(dāng)HDFS發(fā)生DataNode失效后，失效的數(shù)據(jù)塊存在巨大的安全風(fēng)險.惡意用戶可以任意使用失效DataNode上數(shù)據(jù)，而HDFS無法提供安全有效的數(shù)據(jù)安全保障機制.

對于用戶而言，高風(fēng)險狀態(tài)下的數(shù)據(jù)在私有集群中無嚴(yán)重的安全威脅，因為用戶擁有私有集群的絕對所有權(quán)，可以把數(shù)據(jù)物理隔絕起來，防止任何非法用戶竊取這些數(shù)據(jù).然而，當(dāng)用戶將數(shù)據(jù)和計算遷移到云中，尤其是公有云中后，用戶就失去了對存儲設(shè)備的所有權(quán)，惡意侵入用戶就有可能恢復(fù)用戶已經(jīng)刪除的數(shù)據(jù)進而竊取數(shù)據(jù).這對用戶的一些敏感、私密數(shù)據(jù)形成了重大的安全隱患.

雖然針對云中數(shù)據(jù)安全的研究很多，但是這些研究都是基于云存儲集群正常狀態(tài)下的研究，很少有針對失控狀態(tài)下節(jié)點上存儲的數(shù)據(jù).在Apache基金會發(fā)布的Hadoop版本中，也沒有針對失效DataNode上Block塊存儲數(shù)據(jù)安全機制的設(shè)計. 本文將數(shù)據(jù)覆蓋算法應(yīng)用到數(shù)據(jù)安全中，有效保障了失效DataNode狀態(tài)下的數(shù)據(jù)安全，實現(xiàn)了性能安全需求.

2　兩級數(shù)據(jù)安全保障機制設(shè)計

2.1HDFS心跳機制分析

在HDFS的主/從架構(gòu)[8]中，DataNode通過心跳機制與負(fù)責(zé)管理集群的NameNode保持通信，DataNode周期性(默認(rèn)心跳間隔是3 s)地向NameNode發(fā)送心跳包信息，若NameNode在設(shè)置的時間閾值(心跳間隔)過后還沒有檢測到DataNode發(fā)來的心跳包信息，則NameNode認(rèn)為該DataNode已經(jīng)失效.DataNode與NameNode間的心跳機制如圖1所示.

圖1　HDFS心跳機制Fig.1　The heartbeat mechanism of HDFS

2.2兩級數(shù)據(jù)安全保障機制設(shè)計

最常用的數(shù)據(jù)毀壞技術(shù)主要有兩種，即硬銷毀技術(shù)和軟銷毀技術(shù)[9-10].本文采用軟銷毀技術(shù),即用程序(軟件)對文件進行覆蓋寫的方式銷毀數(shù)據(jù).

HDFS為多副本設(shè)計機制，即文件中一個副本遭到破壞，文件中其他副本還是完好無損.只有當(dāng)一個數(shù)據(jù)塊的所有副本全部丟失，文件才會損壞.導(dǎo)致DataNode失效的因素有很多，比如內(nèi)存溢出、機架內(nèi)的網(wǎng)絡(luò)突然變得擁擠不堪等. 由于集群內(nèi)的每一臺服務(wù)器都是廉價的物理主機，所以DataNode自身的原因也有可能導(dǎo)致DataNode失效. DataNode失效后，由于Block塊還存儲在已經(jīng)失效的DataNode節(jié)點上，這時的Block塊就面臨著被盜取的安全威脅，數(shù)據(jù)很容易被非法侵入者盜取從而造成損失.

本文針對失效狀態(tài)下DataNode上存儲的數(shù)據(jù)殘留問題，設(shè)計了一種數(shù)據(jù)安全保障機制，即基于HDFS的兩級數(shù)據(jù)安全保障機制，該機制方案設(shè)計如圖2所示.

圖2　兩級數(shù)據(jù)安全保障機制方案設(shè)計Fig.2　The design of two-level protect data security mechanism

方案執(zhí)行流程如下:

(1) NameNode檢測到心跳間隔超時，則判定該DataNode已經(jīng)失效；

(2) 這時DataNode節(jié)點第一級數(shù)據(jù)保護方案啟動，即修改本地數(shù)據(jù)塊的訪問權(quán)限；

(3) 若修改成功，則流程結(jié)束；若修改失敗，則開啟第二級保護方案，使用數(shù)據(jù)覆蓋算法對數(shù)據(jù)塊進行覆蓋寫；

(4) 失效DataNode節(jié)點刪除已經(jīng)被破壞的數(shù)據(jù)塊；

(5) 結(jié)束.

圖2所示流程與原有HDFS處理失效DataNode存儲數(shù)據(jù)的區(qū)別是增加了b和c環(huán)節(jié)，在刪除數(shù)據(jù)之前，基于HDFS的心跳機制，先修改要刪除數(shù)據(jù)塊的訪問權(quán)限.若修改失敗則對要刪除的數(shù)據(jù)塊進行預(yù)處理(用數(shù)據(jù)覆蓋算法破壞數(shù)據(jù))，然后再正確刪除數(shù)據(jù).即使已經(jīng)刪除的數(shù)據(jù)被恢復(fù)，恢復(fù)后的數(shù)據(jù)已經(jīng)被破壞掉，可以有效保證失效狀態(tài)下DataNode存儲數(shù)據(jù)的安全性.與當(dāng)前HDFS數(shù)據(jù)一級刪除機制相比，本文的設(shè)計完善了HDFS的安全機制，從而避免非法用戶盜取失效DataNode上的存儲數(shù)據(jù).

3　實驗驗證

3.1仿真實驗平臺及工具

本文的仿真實驗主要是驗證在HDFS環(huán)境中覆蓋算法對數(shù)據(jù)塊覆寫的有效性和性能.

仿真實驗中采用的Hadoop版本為Hadoop-1.2.1，用VMware Workstation虛擬三臺虛擬機搭建完全分布式環(huán)境，操作系統(tǒng)為CentOS 6.3，每臺虛擬機1 GB內(nèi)存，20 GB硬盤.三臺虛擬機的角色為：其中一臺充當(dāng)NameNode(同時充當(dāng)SecondaryNameNode的角色)，另外兩臺充當(dāng)DataNode.

數(shù)據(jù)覆蓋算法主要是由JDK中的FileReader、 BufferedReader、 FileWriter和BufferedWriter這幾個類實現(xiàn)的.

Reader reader = new FileReader(as[0]);

BufferedReader bufferedReader=new BufferedReader(reader);

Writer writer = new FileWriter(as[0]);

BufferedWriter bufferedWriter=new BufferedWriter(writer);

3.2結(jié)果分析

第一步，NameNode檢測到DataNode心跳間隔超時.

第二步，用Hadoop的bin命令hadoop fs -chmod 000 〈文件名〉修改數(shù)據(jù)塊的訪問權(quán)限，修改后通過web網(wǎng)頁查看數(shù)據(jù)塊數(shù)據(jù)，如圖3所示.

圖3　訪問修改權(quán)限后的文件Fig.3　Access the file when permissions modified

由圖3可知，修改權(quán)限后的文件顯示不被批準(zhǔn)訪問，文件內(nèi)容已經(jīng)不能查看.

第三步，若未能成功修改文件權(quán)限，則調(diào)用覆蓋算法對文件進行覆蓋.文件覆寫后的結(jié)果如圖4所示.

圖4　web頁面查看被覆蓋重寫后的文件Fig.4　View the overwritten file through web page

由圖4可知，文件被覆蓋重寫后，通過web界面已經(jīng)無法讀取內(nèi)容，文件變成無用亂碼.覆蓋算法只是破壞了Block塊的內(nèi)容，并沒有破壞NameNode中保存的元數(shù)據(jù)，Block塊還可以通過JDK(Java development kit)中File類的方法delete( )正確刪除.

通過分析仿真實驗結(jié)果，證明了兩級數(shù)據(jù)安全保障機制可以有效地破壞文件的內(nèi)容，使DataNode失效后的數(shù)據(jù)變成不可用的垃圾數(shù)據(jù).這種機制可以有效防止非法用戶惡意侵入盜取及恢復(fù)失效DataNode上的文件數(shù)據(jù).

本仿真實驗是在虛擬機的環(huán)境下進行的，仿真實驗中采用的數(shù)據(jù)塊為1 MB的小文件，因為小文件已經(jīng)能夠驗證兩級數(shù)據(jù)保護機制及數(shù)據(jù)覆蓋算法的有效性.在實際生產(chǎn)環(huán)境中，由于數(shù)據(jù)量會比較大，一個大文件會被物理分隔成很多個Block塊，這些Block塊會被上傳到不同位置的DataNode節(jié)點存儲起來，一個失效的DataNode上也會存儲著若干個不同文件的Block塊.如果同時開啟多個線程并行對各個Block塊進行破壞，效率會更高. 在實際生產(chǎn)環(huán)境中，如果HDFS的存儲介質(zhì)是閃存類介質(zhì)如固態(tài)硬盤等，不但能成倍提高數(shù)據(jù)覆蓋效率，而且毀壞后的文件恢復(fù)難度更大，云平臺中數(shù)據(jù)的安全性會大大增強.

4　結(jié)　語

云計算是當(dāng)下互聯(lián)網(wǎng)界的研究的熱點，HDFS是未來云存儲的研究方向之一.Hadoop大數(shù)據(jù)計算平臺的出現(xiàn)，使得用戶可以自定義搭建Hadoop平臺，并根據(jù)需求開發(fā)Hadoop應(yīng)用程序.針對HDFS中DataNode失效后存儲在DataNode上的數(shù)據(jù)塊文件的安全問題，本文在對Hadoop云計算框架存儲平臺HDFS研究的基礎(chǔ)上，設(shè)計了一種兩級數(shù)據(jù)安全保障機制方案.仿真實驗結(jié)果表明，在DataNode節(jié)點失效后，該機制能很好保障失效DataNode上數(shù)據(jù)的安全性.基于HDFS的云平臺數(shù)據(jù)安全研究工作意義重大，設(shè)計出效率更優(yōu)的數(shù)據(jù)覆蓋算法面向商業(yè)應(yīng)用，具有重要價值.

[1] 劉鵬. 云計算[M]. 北京:電子工業(yè)出版社，2010:60-70.

[2] 董西成. Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計與實現(xiàn)原理[M]. 北京：機械工業(yè)出版社，2013:20-36.

[3] 2014云計算關(guān)鍵詞盤點：BATH等入圍[EB/OL].(2014-12-16) [2015-01-01].http://www.sootoo.com/content/538413.shtml.

[4] 中國電信網(wǎng)絡(luò)安全實驗室. 云計算安全：技術(shù)與應(yīng)用[M]. 北京:電子工業(yè)出版社2012:12-20.

[5] DHRUBA B. HDFS architecture guide[EB/OL].(2012-04-03) [2015-01-01].http://hadoop.apache.org/common/docs/current/hdfs_design.pdf.

[6] 馬媛. 基于Hadoop的云計算平臺安全機制研究[J]. 信息安全與通信保密, 2012(6): 89-91.

[7] 柴黃琪，蘇成. 基于HDFS的安全機制設(shè)計[J]. 計算機安全，2010(12):22-25.

[8] 蔡斌，陳湘萍. Hadoop技術(shù)內(nèi)幕：深入解析Hadoop Common和HDFS架構(gòu)設(shè)計與實現(xiàn)原理[M]. 北京：機械工業(yè)出版社，2013: 217-219.

[9] 張冬. 大話存儲Ⅱ[M]. 北京：清華大學(xué)出版社，2011:40-51.

[10] 程玉. 磁介質(zhì)數(shù)據(jù)銷毀技術(shù)的研究[D]. 成都：電子科技大學(xué)計算機科學(xué)與工程學(xué)院，2010:92.

A Method of Protecting Data Security Based on HDFS

LIHao,ZHANGYu-ping,ZHOUQi-yao,MAYan,YANGYan-qin

(College of Information, Mechanical and Electrical Engineering, Shanghai Normal University, Shanghai 200233, China)

With the application of cloud computing, data security is more attention by users. The open source cloud computing storage system, HDFS(hadoop distributed file system) can not completely protect data when DataNode failed, which may lead data leakage.In order to solve this problem, a dual-level data security and safegaurd mechanism is designed, so that the data in failed DataNode can be breached by the overwrite algorithm and then deleted reliably. This mechanism can effectively prevent malicious data recovery and data leakage with data overwrite algorithm. Security and reliability of the data in HDFS has been secured.

Hadoop; cloud computing; HDFS; security; data destruction

1671-0444(2015)04-0490-04

2015-01-15

國家自然科學(xué)基金資助項目(61373004);上海師范大學(xué)基金資助項目(SK201413)

李浩(1988—)，男，河南周口人，碩士研究生，研究方向為云計算、網(wǎng)絡(luò)安全.E-mail:lihaosky_2008@126.com

張玉萍(聯(lián)系人)，女，教授，E-mail:yp_zhang@shun.edu.cn

TP 311

A