王家騏 于海霞

摘要：Apache Hadoop 是被廣泛使用的一種云計(jì)算框架，但是由于其安全機(jī)制的薄弱，也是阻礙其發(fā)展的中心問(wèn)題。本文概論了Hadoop平臺(tái)的安全認(rèn)證機(jī)制、訪問(wèn)控制機(jī)制及數(shù)據(jù)傳輸和數(shù)據(jù)加密機(jī)制的欠缺問(wèn)題，同時(shí)提出了基于PKI的身份認(rèn)證、基于角色的訪問(wèn)控制和基于身份認(rèn)證的分級(jí)加密等相應(yīng)的改進(jìn)措施。

關(guān)鍵詞：Hadoop平臺(tái);安全機(jī)制;身份認(rèn)證;分級(jí)加密

中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2018）31-0047-02

1 Hadoop平臺(tái)的安全問(wèn)題

在初期Hadoop平臺(tái)是以數(shù)據(jù)處理的數(shù)量和速度為研究中心，數(shù)據(jù)處理的效率是首位，未細(xì)致設(shè)計(jì)和考慮平臺(tái)的安全問(wèn)題，存在著諸如缺乏用戶和服務(wù)的身份認(rèn)證、數(shù)據(jù)的隱私設(shè)計(jì)等安全隱患。雖然后續(xù)的Hadoop平臺(tái)由于業(yè)務(wù)需求，增加了HDFS文件訪問(wèn)權(quán)限及ACL的審計(jì)和授權(quán)機(jī)制，但依舊缺乏身份驗(yàn)證機(jī)制等安全機(jī)制，故惡意用戶可以使用身份偽裝的方式輕易繞過(guò)Hadoop的安全方案。Hadoop平臺(tái)的安全現(xiàn)狀主要體現(xiàn)在以下幾個(gè)方面。

1）安全認(rèn)證機(jī)制的欠缺

Hadoop平臺(tái)有兩類安全認(rèn)證機(jī)制，一類是Hadoop平臺(tái)服務(wù)器集群間的認(rèn)證機(jī)制，另一類是Hadoop平臺(tái)與用戶間的認(rèn)證機(jī)制。在第一類模式下，破壞者利用偽裝手段，偽裝為集群里任一合法Task Tracker或Data Node服務(wù)器，然后實(shí)施對(duì)其他服務(wù)器的攻擊，或偽裝為任一合法者，從而接受Job Tracker或Name Node服務(wù)器發(fā)布的數(shù)據(jù)和任務(wù)。在第二類模式下，惡意用戶可以偽裝為合法用戶，使用非法的方式訪問(wèn)HDFS或 Map Reduce服務(wù)器;甚至可以實(shí)施一些如篡改他人用戶作業(yè)、修改HDFS上他人用戶數(shù)據(jù)、惡意提交作業(yè)等非法活動(dòng)。

即使在后繼的版本中，使用Kerberos進(jìn)行身份認(rèn)證，為每個(gè)任務(wù)進(jìn)行KDC認(rèn)證，提高了安全性。但若當(dāng)Hadoop集群為同時(shí)運(yùn)行的成百上千個(gè)任務(wù)進(jìn)行認(rèn)證時(shí)，KDC的負(fù)載會(huì)瞬時(shí)急劇增大，從而影響整個(gè)集群的性能。且在KDC向客戶端發(fā)送其申請(qǐng)的授權(quán)票據(jù)信息時(shí)，信息是不安全的，會(huì)造成信息的泄露。

2）訪問(wèn)控制機(jī)制的欠缺

在Hadoop早期版中，對(duì)于存儲(chǔ)在HDFS上的資源，采用的是“比特位權(quán)限判定”訪問(wèn)控制模型，共有9個(gè)比特位。權(quán)限類型包含讀（r）、寫(xiě)（w）、執(zhí)行（x）共三種，訪問(wèn)HDFS的用戶有user、group和other共三類。當(dāng)用戶提交文件至Hadoop集群時(shí)，需要通過(guò)hadoop fs -chmod指令來(lái)設(shè)定提交文件的訪問(wèn)權(quán)限。

Hadoop早期版中訪問(wèn)控制機(jī)制里的授權(quán)管理有著明顯的缺陷，即不能針對(duì)單獨(dú)用戶進(jìn)行訪問(wèn)控制授權(quán)。如：系統(tǒng)中某other類別的用戶操作沒(méi)有寫(xiě)入權(quán)限的某文件，若此用戶申請(qǐng)獲得該文件的寫(xiě)權(quán)限，則系統(tǒng)就需開(kāi)放other類的權(quán)限，可放開(kāi)了other權(quán)限后，所有的other類用戶就具備了對(duì)此文件的寫(xiě)權(quán)限，這顯然是訪問(wèn)控制機(jī)制中授權(quán)管理的不合理、不安全部分。

在后繼的版本中，使用ACL進(jìn)行訪問(wèn)控制機(jī)制。但是高權(quán)限用戶能夠很容易地修改服務(wù)器端的ACL訪問(wèn)控制列表，因而也存在著不安全的因素。

3）數(shù)據(jù)傳輸和數(shù)據(jù)加密機(jī)制的欠缺

在 Hadoop的早期版中，集群的各節(jié)點(diǎn)間（如：Master和Slave間、Client和服務(wù)器間）的數(shù)據(jù)傳輸由于采用的是基于TCP/IP協(xié)議的數(shù)據(jù)明文傳輸，為經(jīng)過(guò)加密處理，因此用戶的隱私數(shù)據(jù)和系統(tǒng)的敏感數(shù)據(jù)在傳輸過(guò)程中極易被竊取和篡改。另外，由于集群服務(wù)器的內(nèi)存和外部存儲(chǔ)器存儲(chǔ)的數(shù)據(jù)未經(jīng)加密處理和存儲(chǔ)保護(hù)，非常容易導(dǎo)致存儲(chǔ)的用戶數(shù)據(jù)和關(guān)鍵信息的泄密。

在后繼的版本里，由于考慮到集群的大量并行計(jì)算的資源開(kāi)銷，為了提高系統(tǒng)的計(jì)算處理速度，而未考慮傳輸和存儲(chǔ)過(guò)程的數(shù)據(jù)保護(hù)機(jī)制，導(dǎo)致了無(wú)法避免的安全隱患。也有的第三方版本在TCP/IP層應(yīng)用了SSL協(xié)議，能夠滿足一定條件下的部分安全需求。

2 Hadoop平臺(tái)的安全對(duì)策改進(jìn)

針對(duì)上述的Hadoop平臺(tái)安全現(xiàn)狀，在實(shí)際的生產(chǎn)實(shí)踐中，可以采用基于PKI的身份認(rèn)證、基于角色的訪問(wèn)控制和基于身份認(rèn)證的分級(jí)加密等方法解決安全認(rèn)證機(jī)制欠缺、訪問(wèn)控制機(jī)制欠缺和數(shù)據(jù)傳輸及數(shù)據(jù)加密機(jī)制欠缺的問(wèn)題。

2.1 基于PKI的身份認(rèn)證方法

PKI（Public Key Infrastructure）即公鑰基礎(chǔ)設(shè)施，是一種利用非對(duì)稱密鑰加密技術(shù)，采用公鑰理論技術(shù)實(shí)現(xiàn)身份認(rèn)證、數(shù)字簽名等功能，同時(shí)實(shí)現(xiàn)了公鑰和證書(shū)的高效管理。

由CA（認(rèn)證中心）、RA（注冊(cè)機(jī)構(gòu)）、LDAP（數(shù)字證書(shū)庫(kù)）、密鑰備份和恢復(fù)系統(tǒng)、證書(shū)撤銷系統(tǒng)及PKI應(yīng)用接口等部分組成了一個(gè)完整的PKI系統(tǒng)。

一個(gè)用戶獲得身份證書(shū)的具體過(guò)程如下：

l 用戶通過(guò)瀏覽器向PKI應(yīng)用接口提出證書(shū)申請(qǐng);

l 由PKI應(yīng)用接口向RA注冊(cè)中心提交申請(qǐng)數(shù)據(jù);

l 由RA注冊(cè)中心向CA認(rèn)證中心提交申請(qǐng)數(shù)據(jù)或拒絕申請(qǐng)，用戶申請(qǐng)證書(shū)失敗;

l CA認(rèn)證中心通過(guò)申請(qǐng)認(rèn)證，產(chǎn)生數(shù)字證書(shū)并反饋至RA注冊(cè)中心，用戶獲得認(rèn)證的身份。或拒絕申請(qǐng)，用戶申請(qǐng)證書(shū)失敗;

l RA注冊(cè)中心接收通過(guò)認(rèn)證的數(shù)字證書(shū)，并更新LDAP服務(wù)器的數(shù)字證書(shū)庫(kù);

l 用戶通過(guò)瀏覽器從LDAP服務(wù)器查詢和下載數(shù)字證書(shū)。

2.2 基于角色的訪問(wèn)控制方法

其工作原理是Hadoop平臺(tái)不再將具體的權(quán)限直接授予用戶，而是改變將權(quán)限授予某類角色，當(dāng)用戶進(jìn)入Hadoop平臺(tái)時(shí)，Hadoop平臺(tái)會(huì)根據(jù)用戶信息分配對(duì)應(yīng)的角色，用戶從而獲得相應(yīng)的權(quán)限，從而實(shí)現(xiàn)了具體權(quán)限和用戶間直接聯(lián)系的隔離。

這種訪問(wèn)控制方法特別適用與多用戶和分布式的Hadoop平臺(tái)。當(dāng)Hadoop平臺(tái)中不斷有新用戶注冊(cè)時(shí)，只需要為用戶分配具體的角色（因?yàn)槠脚_(tái)中角色相對(duì)穩(wěn)定，不需要頻繁變更權(quán)限），則這些用戶就擁有了相應(yīng)的權(quán)限，因而不需要重復(fù)為用戶反復(fù)分配權(quán)限;由于角色的權(quán)限是分配到眾用戶，故此種訪問(wèn)控制方法能有效縮小ACL的訪問(wèn)控制列表存儲(chǔ)空間，還可以節(jié)約系統(tǒng)資源，及加快判定權(quán)限的速度。

2.3 基于身份認(rèn)證的分級(jí)加密方法

該方法的參與角色有三個(gè)，分別是：客戶端、服務(wù)器端和第三方認(rèn)證中心AC。其中AC認(rèn)證中心作用是實(shí)現(xiàn)角色的身份認(rèn)證及分級(jí)加密密鑰的分發(fā)。當(dāng)AC認(rèn)證中心接收到客戶端的請(qǐng)求，判定其為合法用戶，就發(fā)送身份認(rèn)證令牌;同時(shí)分級(jí)加密密鑰分發(fā)模塊基于AC的可信任身份，結(jié)合用戶的具體情況，生成和發(fā)布分級(jí)加密密鑰，并存儲(chǔ)用戶和Hadoop服務(wù)器使用的公開(kāi)密鑰。客戶端通過(guò)AC認(rèn)證中心的認(rèn)證后能夠獲得分級(jí)加密密鑰從而實(shí)現(xiàn)數(shù)據(jù)加密傳輸/存儲(chǔ)的安全服務(wù)。服務(wù)器端接收和處理經(jīng)過(guò)AC認(rèn)證中心認(rèn)證后的認(rèn)證用戶提交的加密數(shù)據(jù)，并判斷該用戶是否被賦予相關(guān)的權(quán)限。

該方法的實(shí)現(xiàn)需要經(jīng)過(guò)身份認(rèn)證、分級(jí)加密和服務(wù)校驗(yàn)共三個(gè)階段。在身份認(rèn)證階段，經(jīng)過(guò)身份認(rèn)證申請(qǐng)和服務(wù)認(rèn)證申請(qǐng)兩個(gè)步驟能夠有效保證密鑰頒發(fā)的安全性以及云數(shù)據(jù)的安全傳輸;在分級(jí)加密階段，AC認(rèn)證中心根據(jù)客戶端申請(qǐng)具體需求（如文件類型及大小）選擇適合的加密策略并反饋給客戶端，客戶端再根據(jù)加密策略上傳文件至服務(wù)器端，從而使分級(jí)加密機(jī)制和身份認(rèn)證機(jī)制有效結(jié)合在一起;在服務(wù)校驗(yàn)階段，當(dāng)服務(wù)器端接收到客戶端傳來(lái)的加密文件之后，首先要啟動(dòng)校驗(yàn)服務(wù)進(jìn)行數(shù)據(jù)傳輸合法性校驗(yàn)，若校驗(yàn)結(jié)果為合法就將加密文件提交給HDFS處理保存，若校驗(yàn)結(jié)果為不合法則認(rèn)為當(dāng)前傳輸?shù)臄?shù)據(jù)存在安全問(wèn)題，拒絕數(shù)據(jù)的存儲(chǔ)。

3 結(jié)束語(yǔ)

隨著Hadoop平臺(tái)應(yīng)用的越來(lái)越廣泛，以及人們?cè)絹?lái)越重視數(shù)據(jù)的安全性，因此對(duì)Hadoop平臺(tái)的安全性研究就變得越來(lái)越重要。本文通針對(duì)Hadoop平臺(tái)的安全認(rèn)證機(jī)制、訪問(wèn)控制機(jī)制及數(shù)據(jù)傳輸和數(shù)據(jù)加密機(jī)制的欠缺問(wèn)題，提出了相應(yīng)的改進(jìn)措施，它們分別是：基于PKI的身份認(rèn)證、基于角色的訪問(wèn)控制和基于身份認(rèn)證的分級(jí)加密等方法。通過(guò)這些改進(jìn)措施能為Hadoop平臺(tái)提供安全性更強(qiáng)的解決方案。

參考文獻(xiàn)：

[1] 史文浩，江國(guó)華，秦小麟，等.基于用戶信任值的HDFS訪問(wèn)控制模型研究[J].計(jì)算機(jī)科學(xué)與探索，2016，10（1）：25-35.

[2] 陳貞.HDFS環(huán)境下的訪問(wèn)控制技術(shù)研究[D].重慶：重慶大學(xué)，2014.

[3] Wang Cong，Chow S S M，Wang Qian，et al.Privacy-preserving public auditing for secure cloud storage[J].IEEE Transactions on Computers，2013，62（2）：362-375.

[4] 林釔霖.基于PKI的身份認(rèn)證系統(tǒng)研究[D].重慶：重慶理工大學(xué)，2013.

[5] 盛宇偉.云計(jì)算環(huán)境下CA認(rèn)證中心的研究與設(shè)計(jì)[D].北京：北京郵電大學(xué)，2013.

[6] White T.Hadoop權(quán)威指南[M].2版.北京：清華大學(xué)出版社，2011.