隨著單位基地大數(shù)據(jù)平臺的建設(shè)，在考慮配套安全手段方面發(fā)現(xiàn)一些傳統(tǒng)手段無法解決的難題。由于大數(shù)據(jù)本身數(shù)據(jù)的集中、開放的特征，傳統(tǒng)的安全控制措施已無法滿足大數(shù)據(jù)安全發(fā)展的需要。在數(shù)據(jù)存儲、實時監(jiān)控、訪問控制策略等方面面臨著巨大的挑戰(zhàn)。如基于Hadoop的大數(shù)據(jù)平臺本身安全機制缺失；多租戶模式下的共享數(shù)據(jù)安全問題；敏感數(shù)據(jù)保護問題；平臺虛擬機的物理隔離、網(wǎng)絡(luò)隔離機制與傳統(tǒng)方式不同；大數(shù)據(jù)平臺引入了許多新技術(shù)和新的軟硬件。

大數(shù)據(jù)平臺的配套安全如不能盡快解決，將影響到平臺的正常生產(chǎn)和推廣。

用戶安全管控

大數(shù)據(jù)平臺安全管控框架如圖1所示。包括用戶安全、數(shù)據(jù)安全和門戶幾個方面。

帳號管理

通過4A平臺對大數(shù)據(jù)平臺的用戶帳號、程序帳號的集中管理，確保大數(shù)據(jù)平臺內(nèi)帳號密碼使用的合規(guī)性。實現(xiàn)將訪問大數(shù)據(jù)平臺的應(yīng)用系統(tǒng)帳號和各類人員帳號納入到4A平臺集中管理時，4A平臺在帳號生命周期的不同階段通過與Kerberos認(rèn)證服務(wù)器同步帳號信息，包括：帳號創(chuàng)建、刪除帳號、帳號過期、密碼修改/重置后，需實時將其添加到Kerberos服務(wù)器中。

圖1 大數(shù)據(jù)平臺安全管控框架

4A向Kerberos服務(wù)器同步帳號時，需首先進入Kerberos管理環(huán)境，進入管理環(huán)境有兩種方案：

1.使用Kerberos客戶端命令（Kadmin）進入管理環(huán)境：該方式需在4A服務(wù)器上安裝Kerberos客戶端，由4A平臺調(diào)用Kerberos的客戶端命令。

2.使 用Kerberos管理命令（kadmin.local） 進入管理環(huán)境：該方式4A平臺使用root帳號通過SSH協(xié)議登錄到Kerberos所在服務(wù)器，在Kerberos服務(wù)器上執(zhí)行kadmin.local命令，進入Kerberos的服務(wù)端管理環(huán)境。然后使用如下方式對帳號進行操作：

向Kerberos中添加帳號：執(zhí)行命令“addprinc 帳號名@DOMAIN”，并在提示后輸入新建帳號的密碼；

從Kerberos中刪除帳號：執(zhí)行命令“delprinc 帳號名@DOMAIN”；

更 新Kerberos帳號密碼：執(zhí)行“cpw帳號名 @DOMAIN”，根據(jù)提示輸入兩次待修改帳號的新密碼。

認(rèn)證管理

通過4A平臺實現(xiàn)對訪問大數(shù)據(jù)平臺的統(tǒng)一身份認(rèn)證，從而降低帳號盜用、冒用的風(fēng)險。4A平臺管控的大數(shù)據(jù)平臺通過啟用Kerberos認(rèn)證方式實現(xiàn)，采用B/S架構(gòu)為用戶提供訪問大數(shù)據(jù)平臺的唯一訪問入口，基于Kerberos實現(xiàn)大數(shù)據(jù)平臺帳號與服務(wù)器帳號的解耦，從而實現(xiàn)大數(shù)據(jù)系統(tǒng)的帳號和認(rèn)證的統(tǒng)一管控。

所有帳號通過4A平臺登錄大數(shù)據(jù)平臺并執(zhí)行操作前首先向Kerberos驗證帳號合法性，并攜帶Kerberos簽發(fā)的票據(jù)訪問對應(yīng)大數(shù)據(jù)平臺，具體流程如圖2。

授權(quán)管理

圖2 認(rèn)證管理流程

圖3 日志審計流程

通過4A平臺集中管理大數(shù)據(jù)平臺訪問權(quán)限，依據(jù)數(shù)據(jù)類型、操作類型進行授權(quán)，簡化授權(quán)操作、減少帳號權(quán)限不匹配問題?；诖髷?shù)據(jù)平臺Sentry組件與4A平臺授權(quán)模塊的結(jié)合，實現(xiàn)大數(shù)據(jù)平臺的權(quán)限控制，基于人員的訪問權(quán)限以及大數(shù)據(jù)操作的細粒度授權(quán)，對Hadoop目錄、文件的細粒度授權(quán)等。

審計管理

實現(xiàn)對大數(shù)據(jù)平臺的使用者訪問大數(shù)據(jù)平臺、執(zhí)行敏感操作進行真實全面記錄?；诖髷?shù)據(jù)平臺的運維管理日志進行的安全審計場景開發(fā)，包括用戶、認(rèn)證、授權(quán)以及 Hive、Hbase等組件在Web界面、API、命令行、操作系統(tǒng)等入口的安全運維行為管控和審計。

對大數(shù)據(jù)平臺和相關(guān)系統(tǒng)如實記錄日志。需要記錄的日志包括帳號和權(quán)限管理日志、用戶登錄登出日志、數(shù)據(jù)訪問日志等。

帳號和權(quán)限管理：對大數(shù)據(jù)平臺用戶的帳號及權(quán)限進行管理，如授權(quán)、權(quán)限更新等；

用戶登錄登出：大數(shù)據(jù)平臺用戶的登錄退出；

數(shù)據(jù)訪問：用戶對大數(shù)據(jù)平臺中存儲數(shù)據(jù)的查詢、刪除等訪問操作；

平臺維護：對平臺組件進行管理，或其他影響平臺正常運行的配置更改操作；

數(shù)據(jù)采集：從外部數(shù)據(jù)源采集數(shù)據(jù)導(dǎo)入大數(shù)據(jù)平臺并進行存儲的操作。

大數(shù)據(jù)平臺HDFS、Hive、HBase的審計日志，通過大數(shù)據(jù)平臺組件審計日志的集中接入、標(biāo)準(zhǔn)化解析、存儲，實現(xiàn)大數(shù)據(jù)平臺操作及運維的審計管理，降低系統(tǒng)安全風(fēng)險。日志審計流程如圖3。

數(shù)據(jù)安全管控

本文研究了大數(shù)據(jù)平臺環(huán)境下Hive、Hbase等組件中存儲的敏感數(shù)據(jù)，根據(jù)定義的數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)規(guī)則，通過自動或人工的方式進行敏感數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)，并對敏感數(shù)據(jù)資產(chǎn)信息進行管理和展現(xiàn)，實現(xiàn)大數(shù)據(jù)平臺敏感數(shù)據(jù)訪問操作監(jiān)控和管理，降低系統(tǒng)安全風(fēng)險。

敏感數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)

敏感數(shù)據(jù)是指包括客戶個人隱私或企業(yè)商業(yè)價值的信息的數(shù)據(jù)。數(shù)據(jù)資產(chǎn)是為安全管理而描述和表示敏感數(shù)據(jù)的信息實體。敏感數(shù)據(jù)資產(chǎn)管理包括敏感數(shù)據(jù)資產(chǎn)的信息導(dǎo)入、自動發(fā)現(xiàn)、補全和維護，用于支撐敏感數(shù)據(jù)全生命周期的監(jiān)控、合規(guī)檢查等功能。敏感數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)主要包括以下幾個流程：

1.獲取敏感數(shù)據(jù)發(fā)現(xiàn)規(guī)則：在敏感數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)的過程中，首先從安全策略中心中提取敏感數(shù)據(jù)發(fā)現(xiàn)規(guī)則，并下發(fā)給統(tǒng)一采集控制中心。

2.敏感數(shù)據(jù)掃描發(fā)現(xiàn)：統(tǒng)一采集控制中心根據(jù)敏感數(shù)據(jù)發(fā)現(xiàn)規(guī)則，在相應(yīng)的主機或數(shù)據(jù)庫中進行敏感數(shù)據(jù)掃描發(fā)現(xiàn)，并把掃描結(jié)果提交敏感數(shù)據(jù)安全管理模塊。

3.敏感數(shù)據(jù)確認(rèn)：從掃描結(jié)果中發(fā)現(xiàn)的新增的敏感數(shù)據(jù)，提交給相關(guān)人員進行敏感數(shù)據(jù)確認(rèn)。

4.敏感數(shù)據(jù)資產(chǎn)信息補全：根據(jù)敏感數(shù)據(jù)確認(rèn)結(jié)果對新增的敏感數(shù)據(jù)資產(chǎn)信息進行人工補全。

5.敏感數(shù)據(jù)資產(chǎn)入庫：把已完成補全的新增敏感數(shù)據(jù)資產(chǎn)統(tǒng)一存儲于安全資產(chǎn)庫中，以供相關(guān)系統(tǒng)使用。

敏感數(shù)據(jù)監(jiān)控分析

針對業(yè)務(wù)系統(tǒng)運行、開發(fā)測試、對外接口和前后臺操作使用環(huán)節(jié)，根據(jù)定義的敏感數(shù)據(jù)主機連接、訪問操作、終端使用、明文訪問、文件流轉(zhuǎn)等監(jiān)控規(guī)則對數(shù)據(jù)的流轉(zhuǎn)、存儲與使用進行監(jiān)控，及時發(fā)現(xiàn)違規(guī)行為并進行下一步處理。

敏感數(shù)據(jù)監(jiān)控分析主要包括以下幾個流程：

1.獲取敏感數(shù)據(jù)監(jiān)控規(guī)則：在敏感數(shù)據(jù)監(jiān)控的過程中，首先從安全策略中心中提取敏感數(shù)據(jù)監(jiān)控規(guī)則，并下發(fā)給統(tǒng)一采集控制中心。

2.監(jiān)控信息采集：統(tǒng)一采集控制中心根據(jù)監(jiān)控規(guī)則，采集相應(yīng)的日志或監(jiān)控信息提交給敏感數(shù)據(jù)安全管理模塊。

3.監(jiān)控數(shù)據(jù)分析處理：敏感數(shù)據(jù)安全管理模塊根據(jù)監(jiān)控分析策略對采集來的日志或監(jiān)控信息進行分析處理。

4.敏感數(shù)據(jù)安全監(jiān)控告警：將監(jiān)控分析出的異常情況轉(zhuǎn)化為告警，并針對有必要的事件提交給“安全事件管理”模塊統(tǒng)一告警或展示。

敏感數(shù)據(jù)安全合規(guī)

敏感數(shù)據(jù)安全合規(guī)策略管理主要實現(xiàn)對脫敏檢查所需策略和規(guī)則的集中管理，分為數(shù)據(jù)取樣規(guī)則管理、脫敏規(guī)則管理和核查策略管理三部分內(nèi)容。敏感數(shù)據(jù)安全合規(guī)主要包括以下幾個流程：

1.獲取數(shù)據(jù)取樣規(guī)則：在敏感數(shù)據(jù)合規(guī)管理的過程中，首先從安全策略中心中提數(shù)據(jù)取樣規(guī)則，并下發(fā)給統(tǒng)一采集控制中心。

2.信息采集：統(tǒng)一采集控制中心根據(jù)數(shù)據(jù)取樣規(guī)則，采集相應(yīng)的信息提交給敏感數(shù)據(jù)安全管理模塊。

3.合規(guī)檢查分析處理：敏感數(shù)據(jù)安全管理模塊根據(jù)分析核查策略對采集信息進行分析判定。

4.敏感數(shù)據(jù)安全合規(guī)告警：將分析出的異常情況轉(zhuǎn)化為告警，并將必要的事件提交 “安全事件管理”模塊統(tǒng)一告警或展示。

門戶管控

單點登錄

通過4A平臺首先實現(xiàn)對大數(shù)據(jù)平臺的集中接入管控，在實現(xiàn)用戶對大數(shù)據(jù)平臺的單點登錄，也即用戶訪問大數(shù)據(jù)平臺之前，4A系統(tǒng)通過票據(jù)類接口從Kerberos中獲取會話票據(jù)和被訪問服務(wù)的服務(wù)票據(jù)，并攜帶票據(jù)完成實際訪問?？梢允褂每蛻舳嗣睿╧init）和程序接口（GSSAPI）。

訪問控制

通過4A平臺的權(quán)限管理模型按照權(quán)限最小化原則授予訪問者不同的數(shù)據(jù)使用權(quán)限，有效防止未授權(quán)人員或不合規(guī)授權(quán)人員對數(shù)據(jù)的訪問，控制運維人員、應(yīng)用程序等對大數(shù)據(jù)平臺的訪問操作。

例如，對大數(shù)據(jù)平臺的Hive、HBase、HDFS的敏感數(shù)據(jù)操作以及Sqoop導(dǎo)入導(dǎo)出敏感數(shù)據(jù)等操作，從而實現(xiàn)對高危操作的金庫管控或阻斷控制。

圖4 大數(shù)據(jù)平臺敏感操作的管控流程舉例

大數(shù)據(jù)平臺金庫操作的管控流程如圖4所示。

敏感數(shù)據(jù)管控視圖

大數(shù)據(jù)平臺敏感數(shù)據(jù)分布范圍廣、訪問操作頻繁，可實現(xiàn)通過多種視圖綜合呈現(xiàn)敏感數(shù)據(jù)在大數(shù)據(jù)平臺中的存儲、流轉(zhuǎn)、操作訪問等使用情況。

1.敏感數(shù)據(jù)分布視圖：結(jié)合大數(shù)據(jù)組件網(wǎng)絡(luò)部署情況，以拓?fù)鋱D的方式直觀展示各節(jié)點敏感數(shù)據(jù)存儲與布。

2.敏感數(shù)據(jù)訪問視圖：分析大數(shù)據(jù)平臺敏感數(shù)據(jù)訪問行為（訪問入口日志、數(shù)據(jù)生命周期及權(quán)限管理日志、脫敏日志、網(wǎng)絡(luò)流量日志等），實現(xiàn)大數(shù)據(jù)平臺敏感數(shù)據(jù)訪問視圖，直觀展示對敏感數(shù)據(jù)的操作行為。

3.敏感數(shù)據(jù)訪問渠道視圖：統(tǒng)計分析大數(shù)據(jù)平臺中敏感數(shù)據(jù)訪問渠道或方法，展示敏感數(shù)據(jù)訪問渠道。

4.敏感數(shù)據(jù)權(quán)限流轉(zhuǎn)視圖：結(jié)合敏感數(shù)據(jù)在大數(shù)據(jù)組件中的存儲分布、操作訪問行為以及常用的訪問渠道，通過關(guān)聯(lián)、綜合分析，最終實現(xiàn)敏感數(shù)據(jù)流轉(zhuǎn)視圖，直觀呈現(xiàn)敏感數(shù)據(jù)的流轉(zhuǎn)流向。