余 琦，凌 捷

（廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州510006）

0 引 言

云存儲作為未來信息存儲的一種重要方式，其數(shù)據(jù)安全性問題也是人們關(guān)注的焦點(diǎn)。HDFS（hadoop distributed file system）是一個應(yīng)用廣泛的云計(jì)算開源分布式文件系統(tǒng)，支持高容錯且可以部署在低成本的計(jì)算機(jī)上，提供高吞吐量的訪問，適用于一些具有大量數(shù)據(jù)處理的應(yīng)用程序。但是HDFS存在許多安全性方面的問題，如：用戶認(rèn)證問題、DataNode認(rèn)證問題、文件存儲與傳輸?shù)臋C(jī)密性問題。目前，國內(nèi)外對于云存儲安全方面的研究還比較少。維護(hù)數(shù)據(jù)完整性，Cachin等［1］曾提出采用加密工具的方法。Bower等［2］提出分布式加密系統(tǒng)解決數(shù)據(jù)機(jī)密性問題。Weatherspoon的 Antiquity［3］與 Kotla的 SafeStore［4］都是典型的研究數(shù)據(jù)可恢復(fù)機(jī)制的系統(tǒng)。在國內(nèi)，針對云計(jì)算安全問題，馮登國［5］等學(xué)者曾提出相應(yīng)的安全機(jī)制和安全策略，清華大學(xué)侯清鏵［6］等設(shè)計(jì)了一種基于SSL安全連接和DaoLi安全虛擬監(jiān)控系統(tǒng)保護(hù)用戶數(shù)據(jù)安全性的解決方案。本文根據(jù)HDFS文件讀取與寫入的特點(diǎn)，提出基于HDFS輸入輸出流、在客戶端完成數(shù)據(jù)加解密的安全技術(shù)方案，實(shí)現(xiàn)了以密文形式進(jìn)行數(shù)據(jù)傳輸與存儲，解決了HDFS數(shù)據(jù)泄露和篡改的問題。

1 HDFS文件安全傳輸存儲體系

HDFS存在數(shù)據(jù)完整性校驗(yàn)機(jī)制，HDFS會對寫入的所有數(shù)據(jù)計(jì)算校驗(yàn)和，并在讀取數(shù)據(jù)時驗(yàn)證校驗(yàn)和?？蛻舳?（即clientnode）在向HDFS寫入數(shù)據(jù)時會計(jì)算并寫入數(shù)據(jù)的CRC－32（循環(huán)冗余校驗(yàn)）校驗(yàn)和，然后將數(shù)據(jù)及其校驗(yàn)和發(fā)送到由一系列datanode組成的管線，datanode負(fù)責(zé)在驗(yàn)證收到的數(shù)據(jù)后存儲數(shù)據(jù)及其校驗(yàn)和。clientnode從datanode讀取數(shù)據(jù)時，同樣需要驗(yàn)證校驗(yàn)和，將其與datanode中存儲的校驗(yàn)和進(jìn)行比較來完成數(shù)據(jù)校驗(yàn)。根據(jù)HDFS的完整性校驗(yàn)機(jī)制的特點(diǎn)，本文按以下流程設(shè)計(jì)基于HDFS文件讀寫的加解密機(jī)制。當(dāng)客戶端向HDFS寫入文件數(shù)據(jù)時，加密操作在clientnode計(jì)算校驗(yàn)和之前執(zhí)行；當(dāng)客戶端從HDFS讀取文件數(shù)據(jù)時，解密操作在clientnode計(jì)算校驗(yàn)和并完成密文文件讀取后執(zhí)行。

如圖1所示，在HDFS文件寫入過程中，clientnode通過對DistributedFileSystem對象調(diào)用create（）函數(shù)來創(chuàng)建文件。DistributedFileSystem對namenode創(chuàng)建一個RPC調(diào)用。在文件系統(tǒng)的命名空間中創(chuàng)建一個新文件，此時該文件還沒有相應(yīng)的數(shù)據(jù)塊。如果需要對存入HDFS的文件進(jìn)行加密，clientnode首先應(yīng)當(dāng)從 （PublicKeyLibrary）公鑰庫中獲取當(dāng)前用戶的公鑰，執(zhí)行encrypt操作，獲得存儲文件加密后的密文文件。此時clientnode計(jì)算出密文文件的校驗(yàn)和，DistributedFileSystem向clientnode返回FSdataOutputStream后，clientnode開始寫入密文文件及其校驗(yàn)和。由FSdataOutputStream封裝而成的DFSOutputStream將clientnode寫入的數(shù)據(jù)分成一個個數(shù)據(jù)包，并寫入內(nèi)部隊(duì)列，稱為 “數(shù)據(jù)隊(duì)列” （data queue）。clientnode將這些數(shù)據(jù)包發(fā)送至一系列datanode組成的管線，管線中的最后一個datanode負(fù)責(zé)驗(yàn)證校驗(yàn)和。

圖1 HDFS文件寫入過程

如圖2所示，在HDFS文件讀取過程中，clientnode通過調(diào)用FileSystem對象的open（）方法來打開希望讀取的文件，這個對象是分布式文件系統(tǒng)的一個實(shí)例。DistributedFileSystem通過RPC調(diào)用namenode，以確定文件起始塊的位置。DistributedFileSystem返回FSDataInputStream給clientnode并讀取數(shù)據(jù)。clientnode通過反復(fù)的對FSDataInputStream對象調(diào)用read（）方法，可以完成對datanode數(shù)據(jù)的讀取。如果需要從HDFS中讀取密文文件，則需要一個對文件進(jìn)行解密的過程，clientnode需要對FSDataInput－Stream進(jìn)行讀取，獲取密文文件后，通過自己掌握的私鑰完成對密文文件的解密操作，獲取文件明文。

圖2 HDFS文件讀取過程

2 云存儲安全技術(shù)設(shè)計(jì)

本文選擇 AES （advanced encryption standard）作為文件加密算法，它具有密碼使用相對簡單以及加密速度相對較快等優(yōu)點(diǎn)，但是AES存在密鑰分配和保密管理方面的問題。RSA作為一種非對稱加密算法，不需要秘密分配密鑰，并且密鑰的安全管理也相對較容易。此外面對HDFS龐大云存儲用戶群體，作為公開密鑰密碼體制中十分重要的一種算法，RSA還可以完成用戶認(rèn)證和數(shù)字簽名。本文提出將兩種加密算法相互結(jié)合，運(yùn)用于HDFS中文件傳輸和存儲的加密，可充分利用AES和RSA兩種算法的優(yōu)點(diǎn)。

2.1 文件加解密設(shè)計(jì)

文件數(shù)據(jù)在傳輸過程中經(jīng)AES加密處理后，需對加密密鑰做RSA加密，得到的密鑰密文與文件經(jīng)過加密后的密文相綁定 （云端密文文件存儲格式如圖5所示），通過系統(tǒng)分塊并存儲于HDFS的各存儲節(jié)點(diǎn)，這樣不但提高了系統(tǒng)的存儲效率，也可以解決單鑰密碼的密鑰分發(fā)問題。在讀取并下載HDFS上的文件時，需要從存儲密文中抽取AES密鑰密文，通過用戶的私鑰進(jìn)行解密獲得密鑰明文后，再對文件密文解密獲得文件明文。具體過程如下：

（1）如圖3所示，在文件加密上傳過程中，用戶登錄云存儲系統(tǒng)，向HDFS發(fā)送傳輸文件請求時，并確定選擇加密傳輸，同時由客戶端隨機(jī)密鑰生成器生成一個128bit的AES加密密鑰key。

（2）在客戶端對用戶需要傳輸?shù)奈募laintext用生成的AES密鑰進(jìn)行加密獲得文件密文Cipher。

（3）使用該用戶的2048bit的RSA公鑰對該文件的加密密鑰key進(jìn)行加密，獲得密鑰密文KEY。

（4）將密鑰密文KEY與文件密文Cipher相綁定，按照文件密文儲存格式加上相應(yīng)的標(biāo)記位和數(shù)據(jù)長度標(biāo)識，存儲于HDFS文件系統(tǒng)。

（5）如圖4所示，在文件解密下載過程中，當(dāng)用戶從云端HDFS文件系統(tǒng)下載文件時，在獲得從HDFS系統(tǒng)傳輸至客戶端的文件后，系統(tǒng)首先判斷文件的第1比特，若為0，表示文件為明文存儲，去掉標(biāo)記位后即可還原為原始文件。若為1則表示文件為密文文件，需對其進(jìn)行解密。

（6）首先應(yīng)提取文件中128字節(jié) （RSA加密后的大?。┑腁ES密鑰密文KEY，通過用戶個人的RSA私鑰可解密成為AES的明文密鑰key。

（7）通過獲得的AES密鑰key對存儲文件密文的Cipher部分進(jìn)行AES解密，獲得存儲文件明文。

2.2 文件存儲格式分析

云端文件的存儲格式分為明文存儲和密文存儲兩類。如圖5所示。

圖5 文件存儲格式分類

存儲格式的第1比特為0，表示文件以明文存儲；若為1，表示文件以密文存儲。當(dāng)文件以密文形式存儲時，在密文前需要增加128字節(jié)用于放置經(jīng)過RSA加密后AES密文密鑰KEY，4個字節(jié)用于表示文件的有效數(shù)據(jù)長度，Cipher代表AES加密后的密文。（由于通過AES文件加密，每1024Byte的明文字節(jié)流通過加密后變?yōu)?040Byte的密文字節(jié)流，因此Cipher部分長度相對于原有的文件明文也有所增長）。

3 安全性分析

首先對于文件傳輸時使用的AES算法進(jìn)行分析，在未知AES密鑰的前提下，可通過以下幾種攻擊方法對AES安全性進(jìn)行分析。

（1）窮舉攻擊：窮盡密鑰搜索的平均復(fù)雜度為2k－1（k為密鑰長度）次AES加密，針對本方案中的128bit密鑰，需要進(jìn)行2127次AES加密，計(jì)算量十分龐大，因此這種攻擊方法是無效的。

（2）差分攻擊：AES算法采用的寬軌跡策略可有效抵抗差分分析，算法的4輪變換后的差分軌跡預(yù)測概率小于或等于2－150，8輪變換后也小于或等于2－300。因此可以確定足夠大的輪數(shù)，使所有差分軌跡都小于1／2n－1（n位分組塊的），從而使差分攻擊失效。

（3）內(nèi)插攻擊：AES算法中F256域，其展開式為：

由于展開式十分復(fù)雜，這種攻擊方法也是無效的。

由以上分析可以看出，在未知AES密鑰的前提下，AES算法對目前已知的攻擊具有較好的免疫性。并且由于HDFS是將用戶的文件按一定大小分片存儲，可進(jìn)一步增加系統(tǒng)的安全性。因此制約其安全性的瓶頸主要在于AES文件加密密鑰的安全性，如何管理和存儲文件加密密鑰是決定方案安全性的重點(diǎn)。在本文設(shè)計(jì)的技術(shù)方案中，對文件傳輸存儲，采用一次一密鑰，存儲的每一個文件都有其不同的AES密鑰，且該AES密鑰對于用戶是透明的。此外由于采用RSA算法對每個文件的AES密鑰進(jìn)行加密，將加密的AES密鑰密文與文件密文綁定并存儲于HDFS，用戶在整個過程中只需要保管好自己的RSA私鑰即可。由于以上加密是在客戶端 （clientnode）上完成的，因此實(shí)現(xiàn)了文件的密文傳輸與密文存儲。下面將對RSA的安全性進(jìn)行分析［7］。

RSA的安全性依賴于大數(shù)的因子分解，這樣攻擊RSA系統(tǒng)的難度就是大整數(shù)因子分解的難度。Schroeppel算法作為一種較優(yōu)越的因子分解算法，經(jīng)常被研究者用來分析大數(shù)因子分解問題。表1為采用Schroeppel算法分解不同長度十進(jìn)制數(shù)n的因子時所需要的運(yùn)算次數(shù)。

表1 用Schroeppel分解因子算法的運(yùn)算次數(shù)

對于RSA系統(tǒng)，如果n的長度更長，因子分解越困難，一般來說，每增加10位二進(jìn)制數(shù)，分解的時間就要加長一倍，密碼就越難以破譯，加密強(qiáng)度就越高。RSA通常選取的密鑰長度為512，1024，2048bit。在本文設(shè)計(jì)的云存儲安全技術(shù)方案中，由于RSA加密的對象為16字節(jié)的AES密鑰，因此本方案選擇2048bit的密鑰，就目前而言具有很高的安全性。

4 實(shí)驗(yàn)結(jié)果分析

在基于HDFS云存儲數(shù)據(jù)傳輸過程中引入加解密機(jī)制后，除了提高數(shù)據(jù)安全性之外，應(yīng)該納入考慮的主要有以下兩個方面：①加密與解密對于文件速率造成的影響；②加密與解密對于客戶端主機(jī)性能所造成的影響。本文中的技術(shù)方案是在客戶端完成文件的加密與解密，文件由明文加密變?yōu)槊芪暮?，其長度將發(fā)生變化。根據(jù)2.2中的文件存儲格式分析，除需要對每個密文文件的文件頭添加128Byte用于存儲AES密文密鑰外，在進(jìn)行AES文件加密時，每1024Byte的明文字節(jié)流通過加密后將變?yōu)?040Byte的密文字節(jié)流。綜上，密文文件長度相比于加密前明文長度約增長1.56%，因此通過加密，對于HDFS中namenode和datanode會造成約1.56%的額外的開銷。對于HDFS中的clientnode，主要是增加了對于文件的加密與解密的時間開銷和性能損失。文件加解密操作對整個文件傳輸速率的影響主要表現(xiàn)在兩個方面：①對傳輸文件采用AES加解密所用的時間；②對AES密鑰采用RSA加解密所用的時間。

本文實(shí)驗(yàn)中搭建的Hadoop集群由1臺namenode和3臺datanode共4臺服務(wù)器組成，客戶端 （clientnode）通過namenode來提交數(shù)據(jù)。4臺服務(wù)器的配置為：Intel酷睿2雙核G630＠2700MHzCPU；網(wǎng)絡(luò)環(huán)境為NetLink BCM5784MGigabit Ethernet；Hadoop 版 本 為 hadoop－1.0.3；Linux版本為ubuntu 11.10；JDK采用1.6.0＿17?？?戶 端 配 置 為 Pentium／ （R）Dual－Core CPU E5200＠2.5GHz。

表2列出了用AES加密不同大小、不同類型文件以及HDFS傳輸該文件所用時間的實(shí)驗(yàn)數(shù)據(jù)。

表2 AES加密時間對比

采用RSA加密AES明文密鑰的時間，這里也做了相應(yīng)的測試。其中128bit的AES密鑰采用RSA加密平均耗時499ms，解密平均耗時32ms。

由以上測試數(shù)據(jù)可見，文件通過AES加密或者解密耗時與文件類型無關(guān)。本文提出的安全方案中RSA算法對于AES密鑰進(jìn)行加解密時間相對較短，對于文件傳輸總的時間損耗和用戶體驗(yàn)影響不大。AES文件加密耗時相對較長，會對HDFS造成較大的額外時間開銷。除了對整體傳輸速率的影響外，加解密對于客戶端主機(jī)性能的影響也十分重要。以上表中的165.617MB文件為測試用例，表3，表4，圖6，圖7為測試結(jié)果。

表3 客戶端向HDFS上傳文件時性能數(shù)據(jù)

表4 客戶端從HDFS下載文件時性能數(shù)據(jù)

表3和圖6表現(xiàn)了客戶端在原始、加入加密操作后兩種狀態(tài)下CPU占用率與上傳速度之比。表4和圖7表現(xiàn)了客戶端在原始、加入解密操作后兩種狀態(tài)下CPU占用率與下載速度之比。由表3和表4可見，在HDFS傳輸過程中加入加解密機(jī)制，CPU占用率平均會增加22%～25%，總體文件傳輸速率會降低30%～35%。由圖6和圖7可見引入加解密機(jī)制后，客戶端引入了3倍多的性能損失。

由以上結(jié)果分析可得，加解密機(jī)制雖然會給客戶端主機(jī)帶來一定的性能損失，但是保障了數(shù)據(jù)的機(jī)密性，從用戶數(shù)據(jù)安全性的角度考慮是可以接受的。實(shí)現(xiàn)加解密之后，由于加密和解密的時間損耗將會造成傳輸速率的下降。針對這種情況本文提出兩點(diǎn)改進(jìn)：

（1）如圖8中實(shí)現(xiàn)的用戶操作界面，用戶可自主選擇是否對文件進(jìn)行加密。重要的文件一般是以文本或圖片的形式存在，這些文件一般長度較小，可選擇加密存儲。對于長度較大的文件，如視頻、音頻等文件，用戶可根據(jù)實(shí)際需要自主選擇是否加密存儲，重要性較低的文件選用明文存儲可提高文件的存取效率。

圖8 用戶操作界面

（2）對于使用云存儲用戶而言，文件的傳輸與存儲過程是透明的。因此針對大文件的存儲傳輸，客戶端可設(shè)置相應(yīng)的傳輸加密緩沖區(qū)。在用戶提交傳輸請求后，文件的加解密以及傳輸操作在后臺完成，客戶端只在傳輸完成后給出提示信息即可，可以改善用戶體驗(yàn)。

5 其他工作

目前存在并被廣泛使用的云存儲分布式文件系統(tǒng)，包括 Google Cloud的 Google File System，Amazon Cloud的Simple Storage Service，MicroSoft Azure的 Live Service和IBM Blue Cloud的 Hadoop Distribute File System 等，都是提供的文件存儲功能，并沒有通過對用戶文件進(jìn)行加密保護(hù)其數(shù)據(jù)私密性的功能。清華大學(xué)候清鏵等提出一種基于SSL安全連接和Daoli安全虛擬監(jiān)控系統(tǒng)的保護(hù)云存儲平臺上用戶數(shù)據(jù)私密性的解決方案。該方案中，用戶與分布式文件系統(tǒng)進(jìn)行數(shù)據(jù)交互時采用SSL安全連接來保障數(shù)據(jù)傳輸?shù)乃矫苄院桶踩?，通過在客戶端和元數(shù)據(jù)服務(wù)器 （或塊數(shù)據(jù)服務(wù)器）上部署Daoli安全虛擬監(jiān)督系統(tǒng)，將用戶數(shù)據(jù)與操作系統(tǒng)隔離開來，確保用戶數(shù)據(jù)在分布式文件系統(tǒng)中存儲的安全性。由于需要在客戶端和分布式文件系統(tǒng)中部署SSL和Daoli安全虛擬監(jiān)督系統(tǒng)，會給客戶端和整個分布式系統(tǒng)帶來性能損失。

在本文提出的解決方案中，在客戶端完成文件的加密與解密，具備以下特點(diǎn)：①可以保障用戶文件數(shù)據(jù)的傳輸安全性和存儲安全性；②由于是在HDFS Clientnode計(jì)算校驗(yàn)和之前完成加密，所以加密操作不會破壞HDFS原有的數(shù)據(jù)完整性校驗(yàn)機(jī)制；③在整個分布式文件存儲體系中，將文件的加密與解密操作分散至各客戶端。這樣雖然會給客戶端帶來一定的性能損失，但基本不會給HDFS的namenode和datanode帶來額外的性能損失。這樣可以使整個分布式文件系統(tǒng)在采用數(shù)據(jù)私密性保護(hù)后，面對多用戶、大規(guī)模的訪問和文件存取時不會存在較大性能損失；④當(dāng)前版本的HDFS中，客戶端用戶身份是通過宿主操作系統(tǒng)給出，HDFS客戶端用戶身份認(rèn)證機(jī)制還存在很大缺陷。本文提出的方案引入RSA算法及其公鑰庫，可為這一問題的解決創(chuàng)造前提。

6 結(jié)束語

本文根據(jù)HDFS數(shù)據(jù)輸入輸出和完整性校驗(yàn)的特點(diǎn)，在HDFS的客戶端采用AES算法加密用戶上傳的文件，保障云存儲用戶數(shù)據(jù)的機(jī)密性；通過RSA算法保障AES密鑰的安全性，同時可解決AES單鑰密碼的分發(fā)與管理的問題；設(shè)計(jì)云端文件的兩種存儲格式，實(shí)現(xiàn)加密用戶自主選擇；通過性能測試的結(jié)果可驗(yàn)證方案的可行性。在本方案的基礎(chǔ)上可通過設(shè)置加密緩沖區(qū)來完善用戶體驗(yàn)，同時也可以進(jìn)一步引入PKI技術(shù)，實(shí)現(xiàn)HDFS用戶的CA認(rèn)證和數(shù)字簽名，從而進(jìn)一步提升HDFS的安全性。

［1］Cachin c，Keidar I，Shraer A.Trusting the cloud［J］.ACM SIGACT News，2009，40 （2）：455－461.

［2］Bower K D，Juels A A.HAIL：A high availability and integrity layer for cloud storage ［C］／／Proceedings of the 16th ACM Conference on Computer and Communications Security.New York，USA：ACM，2009：489－501.

［3］Weatherspoos H，Eaton P，Ubiatowiz J.Antiquity：Exploiting a secure log for wide－area distributed storage［C］／／Proceeding of the Second ACM European Conference on Computer Systems，New York，USA：ACM，2007：78－89.

［4］Kotla R，Alvisi L，Dahlin M.SafeStore：A durable and practical storage system ［C］／／Proceeding of the 12th USENIX Annual Technical Conference.Berkeley，USA：USENIX Association，2007：129－142.

［5］FENG Dengguo，ZHANG Min，ZHANG Yan，et al.Study on cloud computing security ［J］.Journal of Software，2011，22（1）：71－83 （in Chinese）.［馮登國，張敏，張妍，等.云計(jì)算安全研究 ［J］.軟件學(xué)報(bào)，2011，22 （1）：71－83.］

［6］HOU Qinghua，WU Yongwei，ZHENG Weimin，et al.A method on protection of user data privacy in cloud storage platform ［J］Journal of Computer Research and Development，2011，48 （7）：1146－1154 （in Chinese）. ［侯清鏵，武永衛(wèi)，鄭緯民，等.一種保護(hù)云存儲平臺上用戶數(shù)據(jù)私密性的方法［J］.計(jì)算機(jī)研究與發(fā)展，2011，48 （7）：1146－1154.］

［7］XIE Jianquan，YANG Chunhua.Several possible parameters options causing encryption failure in RSA algorithm ［J］.Computer Engineering，2006，32 （16）：118－120 （in Chinese）.［謝建全，陽春華.RSA算法中幾種可能泄密的參數(shù)選擇 ［J］.計(jì)算機(jī)工程，2006，32 （16）：118－120.］

［8］ZHANG Huanguo，WANG Zhangyi.Introduction to cryptography ［M］.2nd ed.Wuhan：Wuhan University Press，2009：71－86 （in Chinese）. ［張煥國，王張宜.密碼學(xué)引論 ［M］.2版.武漢：武漢大學(xué)出版社，2009：71－86.］

［9］Tom White.Hadoop：The Definitive Guide［M］.ZHOU Minqi，WANG Xiaoling，JIN Cheqing，et al transl.Beijing：Tsinghua University Press，2011 （7）：41－128 （in Chinese）.［Tom White.Hadoop權(quán)威指南 ［M］.周敏奇，王曉玲，金澈清，等譯.北京：清華大學(xué)出版社，2011（7）：41－128.］

［10］CHEN Quan.DENG Qianni.Cloud computing and its key techniques ［J］.Journal of Computer Applications，2009，29（9）：2562－2567 （in Chinese）. ［陳全，鄧倩妮.云計(jì)算及其關(guān)鍵技術(shù) ［J］.計(jì)算機(jī)應(yīng)用，2009，29 （9）：2562－2567.］