陳伍星 中興通訊股份有限公司

一、引言

近年來，數(shù)據(jù)泄露事故頻發(fā)，且逐年大幅增長(zhǎng)，2021年5月全球數(shù)字安全領(lǐng)域領(lǐng)導(dǎo)者金雅拓公布，全球各地共發(fā)生數(shù)據(jù)泄密事故1 673起，累計(jì)數(shù)據(jù)記錄7.07億條。急劇增加的數(shù)據(jù)安全風(fēng)險(xiǎn)，引起了各國(guó)政府的高度重視。而歐盟在2018年5月25日正式實(shí)施《通用數(shù)據(jù)保護(hù)條例(GDPR)》，要求任何涉及歐洲公民個(gè)人數(shù)據(jù)的組織，有義務(wù)對(duì)個(gè)人隱私數(shù)據(jù)采取嚴(yán)格的數(shù)據(jù)保護(hù)措施，違反相關(guān)條例的企業(yè)將面臨高達(dá)2000萬歐元或4%年?duì)I業(yè)額的罰款。此后，其他國(guó)家紛紛參照此條例，出臺(tái)各種法律法規(guī)。

另一方面，為鼓勵(lì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，國(guó)家給予各種政策支持，各個(gè)行業(yè)興起大數(shù)據(jù)發(fā)展熱潮，企業(yè)間數(shù)據(jù)互融互通，充分利用大數(shù)據(jù)技術(shù)挖掘數(shù)據(jù)價(jià)值。但面對(duì)這數(shù)據(jù)“金礦”，稍有不慎就會(huì)導(dǎo)致數(shù)據(jù)的泄露，損害用戶和企業(yè)自身的利益，更為嚴(yán)重的可能會(huì)造成社會(huì)責(zé)任和法律風(fēng)險(xiǎn)，甚至是國(guó)家安全。顯然，解決好大數(shù)據(jù)安全問題，企業(yè)才能更好地開展大數(shù)據(jù)業(yè)務(wù)。

二、大數(shù)據(jù)安全現(xiàn)狀

與傳統(tǒng)數(shù)據(jù)庫模式下的運(yùn)營(yíng)環(huán)境不同，大數(shù)據(jù)業(yè)務(wù)打破了相對(duì)封閉的邊界，基于大數(shù)據(jù)的應(yīng)用不斷推出，導(dǎo)致大量的數(shù)據(jù)需要被共享，而無論從管理還是技術(shù)角度來看，對(duì)于數(shù)據(jù)安全的關(guān)注是嚴(yán)重落后于業(yè)務(wù)發(fā)展的，暴露巨大的風(fēng)險(xiǎn)。

目前，大數(shù)據(jù)系統(tǒng)的技術(shù)實(shí)現(xiàn)基本上是以Hadoop為基礎(chǔ)提供存儲(chǔ)和資源管理，其上根據(jù)業(yè)務(wù)需求部署HBase、Hive、 Spark、Strom等各類數(shù)據(jù)處理組件，種類可達(dá)幾十種，絕大多數(shù)都為開源軟件。開源軟件到商用應(yīng)用還有很長(zhǎng)的一段路要走，要經(jīng)歷技術(shù)的選擇和融合、網(wǎng)絡(luò)規(guī)劃、軟硬件配置、性能調(diào)優(yōu)、部署等一系列過程，還要考慮后續(xù)的擴(kuò)容和運(yùn)維。以下幾個(gè)方面是當(dāng)前比較突出的問題：

1.訪問安全(賬號(hào)、認(rèn)證、授權(quán)、審計(jì))、數(shù)據(jù)加密等基礎(chǔ)安全能力，在大數(shù)據(jù)領(lǐng)域雖有一定的積累，但是遠(yuǎn)沒有達(dá)到傳統(tǒng)數(shù)據(jù)庫的水平，且用于隱私保護(hù)方面的數(shù)據(jù)脫敏技術(shù)在大數(shù)據(jù)領(lǐng)域則幾乎為空白。

2.各開源社區(qū)對(duì)安全的重視程度不一，技術(shù)進(jìn)展不同，存在短板。

3.Hadoop及衍生項(xiàng)目生態(tài)圈缺乏統(tǒng)一的安全體系和技術(shù)標(biāo)準(zhǔn)，技術(shù)路線分裂，難以進(jìn)行統(tǒng)部署和管理。

4.國(guó)內(nèi)外各主流的大數(shù)據(jù)版本發(fā)行商，基本上都會(huì)采用開源的Kerberos和LDAP來通過訪問安全能力，但是對(duì)于開源的整合度均不高，包括提供統(tǒng)一的賬號(hào)管理、權(quán)限管理、策略管理等能力，在易用性及細(xì)粒度控制方面都存在很大的不足，容易產(chǎn)生安全漏洞，在實(shí)際部署中往往耗費(fèi)大量精力，且后期演進(jìn)困難。

(一)授權(quán)技術(shù)

分布式文件系統(tǒng)HDFS和分布式并行計(jì)算框架Spark是大數(shù)據(jù)架構(gòu)的主要技術(shù)組件。其中，分布式存儲(chǔ)需要通過HDFS的授權(quán)模型，即目錄、文件的rw現(xiàn)來控制用戶讀寫。對(duì)于Metastore,在配置文件里明文填寫了作為Metastore的數(shù)據(jù)庫的用戶名、密碼，容易造成Metastore損壞。這種方式非常不安全，且通過底層存儲(chǔ)目錄控制訪問權(quán)限，配置困難，復(fù)雜度高、粒度粗，非常不靈活。而Spark作為分布式SQL查詢引擎處理結(jié)構(gòu)化數(shù)據(jù)，用戶在使用SparkSQL處理數(shù)據(jù)的時(shí)候，難以實(shí)現(xiàn)細(xì)粒度的數(shù)據(jù)隔離和管控。

(二)認(rèn)證技術(shù)

大數(shù)據(jù)開源社區(qū)在安全認(rèn)證方面有Kerberos認(rèn)證和LDAP認(rèn)證。其中Kerberos 認(rèn)證是一種重量級(jí)的網(wǎng)絡(luò)認(rèn)證方式，Kerberos 認(rèn)證在生產(chǎn)時(shí)面臨如下問題:

1.需要用戶有一個(gè)有效的Kerberos principal及證書，這在許多環(huán)境中是不實(shí)際。

2.可能存在單點(diǎn)風(fēng)險(xiǎn)，部署要考慮KDC數(shù)據(jù)備份及服務(wù)高可用，中心服務(wù)器安全問題，時(shí)間同步依賴NTP。

3.配置相對(duì)繁瑣，集群擴(kuò)容縮容、用戶/客戶端增減繁瑣、密鑰更新分發(fā)繁瑣。

4.會(huì)導(dǎo)致性能下降嚴(yán)重。

而LDAP認(rèn)證方式主要是通用用戶名和密碼這種簡(jiǎn)單的方式訪問，覆蓋的大數(shù)據(jù)組件服務(wù)較少，目前僅支持Hive、SparkSQL等少數(shù)能提供JDBC訪問接口的組件。

(三)過濾技術(shù)

傳統(tǒng)的數(shù)據(jù)過濾技術(shù)通常采用視圖方案，針對(duì)不同的用戶/角色定義各種不同的視圖，通過視圖方式進(jìn)行數(shù)據(jù)過濾控制每個(gè)用戶僅能看到過濾后數(shù)據(jù)，從而實(shí)現(xiàn)訪問控制，保護(hù)數(shù)據(jù)隱私。視圖方式在實(shí)際的使用過程中，在性能、可擴(kuò)展性、可維護(hù)性等方面都存在問題:

1.性能：在業(yè)務(wù)復(fù)雜場(chǎng)景中，通過視圖實(shí)現(xiàn)多表關(guān)聯(lián)查詢相比直接使用表查詢，性能是有明現(xiàn)下降的。

2.維護(hù)困難：新增一個(gè)場(chǎng)景，意味著需要新增加一個(gè)視圖，而累積成百上千視圖的維護(hù)是非常困難的。

(四)脫敏技術(shù)

使用中間件進(jìn)行脫敏處理是比較常見數(shù)據(jù)脫敏產(chǎn)品采用的方式。其關(guān)鍵技術(shù)是采用DDM(動(dòng)態(tài)數(shù)據(jù)脫敏)作為代理軟件，使用內(nèi)嵌SQL代理程序，當(dāng)上層業(yè)務(wù)進(jìn)行查詢請(qǐng)求時(shí)，DDM層對(duì)請(qǐng)求進(jìn)行實(shí)時(shí)的過濾，并依據(jù)用戶權(quán)限和其他定義規(guī)則來脫敏數(shù)據(jù)，采用中間件的脫敏方案，主要問題在于：

1.需要專門的脫敏中間件，即外置數(shù)據(jù)脫敏服務(wù)器，增加了軟硬件成本及復(fù)雜度，運(yùn)維成本高；

2.查詢請(qǐng)求和結(jié)果返回都需要經(jīng)過脫敏中間件，消耗大量網(wǎng)絡(luò)帶寬及計(jì)算、存儲(chǔ)資源，性能較差，并發(fā)程度不高。大數(shù)據(jù)集群模上千個(gè)節(jié)點(diǎn)規(guī)模，動(dòng)輒PB級(jí)的數(shù)據(jù)在企業(yè)生產(chǎn)環(huán)境中非常常見，通過中間件方式，完全無法滿足大數(shù)據(jù)場(chǎng)景下海量數(shù)據(jù)高性能動(dòng)態(tài)實(shí)時(shí)脫敏的響應(yīng)時(shí)間要求；

3.數(shù)據(jù)庫返回的結(jié)果數(shù)據(jù)需要緩存在脫敏服務(wù)器中，帶來了數(shù)據(jù)泄露的安全隱患；

4.現(xiàn)有技術(shù)改變了應(yīng)用系統(tǒng)的使用模式，無法實(shí)現(xiàn)對(duì)應(yīng)用完全透明，需要更換數(shù)據(jù)庫訪問地址及端口，改變了應(yīng)用者的使用習(xí)慣，對(duì)已有系統(tǒng)的遷移引入很大的工作量；

5.動(dòng)態(tài)脫敏主流的實(shí)現(xiàn)方式是采用網(wǎng)關(guān)或代理的方式，在客戶端和服務(wù)器之間按照策略進(jìn)行SQL操作的改寫，來實(shí)現(xiàn)數(shù)據(jù)脫敏效果。這個(gè)改寫過程必然需要對(duì)SQL語句進(jìn)行拆包和分析，由于SQL語法的復(fù)雜度，正則匹配非常不準(zhǔn)確，在某些場(chǎng)景下必然會(huì)修改用戶的原始業(yè)務(wù)請(qǐng)求的處理邏輯，準(zhǔn)確性差。

三、大數(shù)據(jù)平臺(tái)安全及隱私保護(hù)方案

針對(duì)大數(shù)據(jù)的特點(diǎn)及開源社區(qū)安全體系的建設(shè)現(xiàn)狀，本文認(rèn)為大數(shù)據(jù)安全體系應(yīng)以數(shù)據(jù)為中心，重點(diǎn)考慮數(shù)據(jù)生命周期各階段中的數(shù)據(jù)安全問題，從環(huán)境、基礎(chǔ)全、數(shù)據(jù)、應(yīng)用以及管理全方位構(gòu)建大數(shù)據(jù)平臺(tái)安全框架，在數(shù)據(jù)庫引擎層實(shí)現(xiàn)透明加密、解密、脫敏，提供高性能的存儲(chǔ)服務(wù)，同時(shí)，對(duì)上層業(yè)務(wù)應(yīng)用影響盡可能的小。

(一)環(huán)境安全層

環(huán)境安全即基礎(chǔ)設(shè)施安全，包括網(wǎng)絡(luò)安全、主機(jī)安全以及虛擬化安全，通過網(wǎng)絡(luò)平面隔離，加固大數(shù)據(jù)集群內(nèi)節(jié)點(diǎn)的操作系統(tǒng)、數(shù)據(jù)庫等手段來保證大數(shù)據(jù)系統(tǒng)正常運(yùn)行。

(二)基礎(chǔ)安全層

基礎(chǔ)安全層包括接入控制、訪問控制、合規(guī)審計(jì)等，是大數(shù)據(jù)平臺(tái)的基礎(chǔ)安全能力。

接入控制：關(guān)注于控制外部用戶或者應(yīng)用程序?qū)旱脑L問過程中的身份鑒別，包括用戶賬戶管理模塊及用戶身份認(rèn)證模塊，這是實(shí)施大數(shù)據(jù)安全架構(gòu)的基礎(chǔ)，大數(shù)據(jù)平臺(tái)中所有組件都能提供基于Kerberos的認(rèn)證功能，某些組件還能提供額外的LDAP認(rèn)證，本文建議采用輕量級(jí)的白名單認(rèn)證方式，能夠在保密性和可用性間取得平衡，適用于大規(guī)模集群場(chǎng)景。

訪問控制：關(guān)注于用戶或者應(yīng)用訪問數(shù)據(jù)時(shí)，對(duì)用戶的權(quán)限定義和實(shí)施過程[1]。訪問控制可以限定用戶是否有對(duì)某種資源的訪問能力，能給不同應(yīng)用提供一致的基于細(xì)粒度的訪問控制能力。本文建議采用統(tǒng)一授權(quán)服務(wù)器來完成對(duì)大數(shù)據(jù)系統(tǒng)訪問策略的配置和權(quán)限控制實(shí)施，從而可以實(shí)現(xiàn)一致的訪問權(quán)限控制配置和實(shí)施過程，該統(tǒng)一授權(quán)服務(wù)器覆蓋了主流的大數(shù)據(jù)組件，包括業(yè)界尚未解決的Spark細(xì)粒度授權(quán)痛點(diǎn)。

合規(guī)審計(jì)：大數(shù)據(jù)系統(tǒng)中是否存在非法數(shù)據(jù)訪問非常關(guān)鍵，這需要通過安全審計(jì)來實(shí)現(xiàn)。安全審計(jì)的目的是捕獲系統(tǒng)內(nèi)的完整活動(dòng)記錄，且不可被更改。本文采用細(xì)粒度的審計(jì)功能，包括管理日志、運(yùn)行日志、審計(jì)日志等，覆蓋所有的主流大數(shù)據(jù)組件，通過細(xì)粒度的審計(jì)日志，當(dāng)系統(tǒng)遭受惡意操作或攻擊時(shí)，可以快速定位和溯源，劃分事故責(zé)任。同時(shí)，在日志管理方面，采用加密、脫敏、轉(zhuǎn)儲(chǔ)技術(shù)，避免在記錄日志過程中泄漏用戶敏感數(shù)據(jù)以及日志被惡意刪除。

(三)數(shù)據(jù)安全層

數(shù)據(jù)安全層從多租戶隔離、數(shù)據(jù)透明加密、數(shù)據(jù)容災(zāi)、數(shù)據(jù)脫敏、數(shù)據(jù)過濾等方面保證用戶數(shù)據(jù)的可用性、機(jī)密性和完整性。

多租戶：在大數(shù)據(jù)存儲(chǔ)計(jì)算層之上架設(shè)統(tǒng)一的應(yīng)用開發(fā)環(huán)境，實(shí)現(xiàn)用戶間的存儲(chǔ)資源、計(jì)算資源邏輯上的隔離，用戶在獨(dú)立的空間中可進(jìn)行數(shù)據(jù)的查詢、導(dǎo)入導(dǎo)出、計(jì)算任務(wù)執(zhí)行、數(shù)據(jù)共享和權(quán)限管理等。

數(shù)據(jù)容災(zāi)：采用大數(shù)據(jù)同城容災(zāi)方案，生產(chǎn)集群與容災(zāi)集群處于同城不同的機(jī)房，物理隔離。生產(chǎn)集群、容災(zāi)集群同時(shí)工作，對(duì)外提供服務(wù)，互為容災(zāi)，時(shí)刻準(zhǔn)備接管對(duì)端的集群業(yè)務(wù)。

透明加密：是在軟件底層實(shí)施的加解密技術(shù)，其過程對(duì)應(yīng)用程序來說是完全無感知的。目前主流的大數(shù)據(jù)組件均已支持透明加密功能，包括HDFS透明加密(文件級(jí))、Hive、SparkSQL列級(jí)透明加密，HBase列族級(jí)透明加密，并且透明加密的算法可以自定義。

數(shù)據(jù)脫敏：對(duì)外提供數(shù)據(jù)的時(shí)候，對(duì)部分涉及隱私的信息，如姓名、生日、電話號(hào)碼、身份證等，進(jìn)行屏蔽或加密處理，以防止隱私泄漏，我們采用動(dòng)態(tài)脫敏技術(shù)，在不改變數(shù)據(jù)的實(shí)際存儲(chǔ)的前提下，對(duì)數(shù)據(jù)查詢過程進(jìn)行變形處理，實(shí)現(xiàn)查詢結(jié)果的數(shù)據(jù)脫敏，從而保護(hù)用戶敏感數(shù)據(jù)。當(dāng)前支持HBase、SparkSQL、Hive數(shù)據(jù)查詢的脫敏、脫敏策略可視化配置管理，還支持自定義脫敏算法并提供算法的維護(hù)和配置等管理功能。

數(shù)據(jù)過濾:針對(duì)不同的用戶/角色定義各種不同的視圖或者過濾策略，每個(gè)用戶僅能看到過濾后數(shù)據(jù)，從而實(shí)現(xiàn)訪問控制，保護(hù)數(shù)據(jù)隱私，支持SparkSQL、Hive數(shù)據(jù)查詢的自動(dòng)過濾。

(四)應(yīng)用安全層

基于大數(shù)據(jù)平臺(tái)的相關(guān)應(yīng)用要基于平臺(tái)安全能力對(duì)行業(yè)應(yīng)用進(jìn)行安全管控，包括應(yīng)用接入、服務(wù)開放、分權(quán)分域、敏感數(shù)據(jù)保護(hù)等安全管理。

(五)安全管理層

針對(duì)基礎(chǔ)安全、數(shù)據(jù)安全的各個(gè)功能進(jìn)行統(tǒng)一管理，提供統(tǒng)一的管理界及接口，打通從用戶賬戶、用戶認(rèn)證、授權(quán)、審計(jì)、數(shù)據(jù)脫敏、數(shù)據(jù)過濾等全流程的安全配置及管理，并且覆蓋和打通所有主流組件，提供監(jiān)控功能。

1.一體化融合5A框架

數(shù)據(jù)只有通過流通、共享才能產(chǎn)生價(jià)值，使得大數(shù)據(jù)系統(tǒng)訪問控制形式多樣，需要在系統(tǒng)的可用性和安全性間找到平衡，為簡(jiǎn)化控制策略和部署，本文將Account、Authentication、Authorization、Audit、Administration進(jìn) 行一體化融合，構(gòu)建5A安全架構(gòu)。

Account(賬號(hào))：解決開源用戶統(tǒng)管理問題，一個(gè)賬號(hào)只能唯一對(duì)應(yīng)一個(gè)用戶，所有信息存儲(chǔ)在LDAP中，在數(shù)據(jù)訪問控制階段可對(duì)用戶身份進(jìn)行鑒別，在安全審計(jì)階段可以追溯到具體用戶。同時(shí)，支持對(duì)用戶分組及分段管理，解決開源用戶在不同組件間相互割裂、不一致的問題。

Authentication (認(rèn)證)：大數(shù)據(jù)平臺(tái)對(duì)用戶進(jìn)行身份鑒別，然后才可訪問大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)?？筛鶕?jù)企業(yè)安全要求采用三種不同等級(jí)的認(rèn)證方式：(1)kerberos認(rèn)證，用戶訪問大數(shù)據(jù)平臺(tái)的服務(wù)需通過統(tǒng)kerberos認(rèn)證，如果認(rèn)證失敗則無法訪問大數(shù)據(jù)服務(wù)。(2)白名單控制:對(duì)于服務(wù)端集群內(nèi)部各主從節(jié)點(diǎn)之間的認(rèn)證以及外部agent與大數(shù)據(jù)平臺(tái)的交互，通過IP白名單方式來控制訪問，這種認(rèn)證方式輕量、高效、部署簡(jiǎn)單、擴(kuò)容縮容方便，適用于內(nèi)部信任網(wǎng)絡(luò)的認(rèn)證。(3)LDAP認(rèn)證，攜帶用戶名及密碼方式，在訪問過程中進(jìn)行認(rèn)證。

Authorization(授權(quán))：管理員通過操作統(tǒng)一授權(quán)的控制臺(tái)，可以配置策略來控制用戶訪問權(quán)限，實(shí)現(xiàn)針對(duì)不同用戶進(jìn)行資源、操作的細(xì)粒度授權(quán)，并提供對(duì)外服務(wù)接口。

Audit(審計(jì))：大數(shù)據(jù)平臺(tái)完整地記錄用戶管理、權(quán)限管理、用戶登陸、數(shù)據(jù)訪問/修改等行為日志，作為數(shù)據(jù)管理，數(shù)據(jù)溯源以及攻擊檢測(cè)的重要措施不可或缺，大數(shù)據(jù)平臺(tái)需實(shí)現(xiàn)對(duì) HDFS、Hive、HBase、Yarn、SparkSQL、Kafka等服務(wù)組件的審計(jì)及日志功能。

Administration(管理)，對(duì)開源大數(shù)據(jù)組件提供包括統(tǒng)一賬戶管理、統(tǒng)認(rèn)證管理、統(tǒng)授權(quán)管理、統(tǒng)一審計(jì)管理及數(shù)據(jù)脫敏、數(shù)據(jù)過濾等統(tǒng)安全管理能力，管理能力包括:功能的安裝、部署、啟停、監(jiān)控、配置等，提供配置管理界面及對(duì)外訪問接口，以解決難以進(jìn)行統(tǒng)部署和管理等問題和缺陷。

2.大數(shù)據(jù)脫敏架構(gòu)

數(shù)據(jù)的挖掘和共享為大數(shù)據(jù)平臺(tái)能夠?qū)崿F(xiàn)數(shù)據(jù)價(jià)變現(xiàn)和業(yè)務(wù)創(chuàng)新，因此開放共享是大數(shù)據(jù)平臺(tái)的基本能力，在復(fù)雜的應(yīng)用環(huán)境下，會(huì)有各種不同角色參與，如何保證企業(yè)機(jī)密數(shù)據(jù)以及用戶個(gè)人隱私數(shù)據(jù)等敏感數(shù)據(jù)不發(fā)生外泄，是數(shù)據(jù)安全的首要需求。本文采用種大數(shù)據(jù)脫敏全新技術(shù)架構(gòu)，摒棄外置脫敏服務(wù)器方案，直接在數(shù)據(jù)庫底層脫敏，數(shù)據(jù)直接由服務(wù)器返回客戶端。通過在大數(shù)據(jù)數(shù)據(jù)庫執(zhí)行引擎中內(nèi)置數(shù)據(jù)保護(hù)裝置，在不改變用戶請(qǐng)求邏輯及數(shù)據(jù)原始值的前提下，利用大數(shù)據(jù)數(shù)據(jù)庫引擎自身的分布式處理能力，實(shí)現(xiàn)高性能數(shù)據(jù)脫敏功能，可以高效、實(shí)時(shí)地保護(hù)大數(shù)據(jù)隱私數(shù)據(jù)。同時(shí)，對(duì)應(yīng)用程序及用戶使用完全透明，用戶可以完全不感知數(shù)據(jù)保護(hù)過程，實(shí)現(xiàn)無縫透明地保護(hù)敏感數(shù)據(jù)。

四、小結(jié)和展望

日漸成熟大數(shù)據(jù)技術(shù)為企業(yè)的數(shù)字化轉(zhuǎn)型提供巨大動(dòng)力，催生了很多創(chuàng)新業(yè)務(wù)，帶來了便利也增加了企業(yè)的收益，但安全是發(fā)展的前提和保障，沒有安全一切都是空談。通過本文一體化5A融合架構(gòu)、大數(shù)據(jù)脫敏架構(gòu)等大大的緩解了大數(shù)據(jù)當(dāng)前面臨的安全問題。但我們也認(rèn)識(shí)到，安全永遠(yuǎn)都是相對(duì)的，只有持續(xù)地通過制定大數(shù)據(jù)安全技術(shù)和測(cè)評(píng)標(biāo)準(zhǔn)，構(gòu)建大數(shù)據(jù)安全評(píng)估評(píng)估體系，從平臺(tái)防護(hù)、數(shù)據(jù)保護(hù)、隱私保護(hù)等方面著手，才能切實(shí)促進(jìn)大數(shù)據(jù)安全保障能力的全面提升。