劉杰

百度（中國(guó)）有限公司，北京 100085

開(kāi)源大數(shù)據(jù)平臺(tái)的安全實(shí)踐

劉杰

百度（中國(guó)）有限公司，北京 100085

開(kāi)源大數(shù)據(jù)平臺(tái)的安全機(jī)制目前并不特別完善，特別是用戶(hù)認(rèn)證、日志審計(jì)等方案還存在不少問(wèn)題。分析了開(kāi)源大數(shù)據(jù)平臺(tái)存在的安全隱患，在開(kāi)源H a d o o p平臺(tái)的基礎(chǔ)上提出了基于G i a h o的大數(shù)據(jù)平臺(tái)用戶(hù)認(rèn)證機(jī)制和基于高效的日志審計(jì)方案，并結(jié)合百度公司的實(shí)際應(yīng)用闡述所提技術(shù)方案的有效性。該技術(shù)方案具有一定的普適性，可根據(jù)企業(yè)當(dāng)前技術(shù)環(huán)境靈活使用。

大數(shù)據(jù)安全；用戶(hù)認(rèn)證；日志審計(jì)；數(shù)字安全

1 引言

伴隨大數(shù)據(jù)技術(shù)的發(fā)展，數(shù)據(jù)資源逐漸成為最重要的資源。國(guó)家“十三五”規(guī)劃綱要中指出，實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略，把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源，促進(jìn)大數(shù)據(jù)發(fā)展。世界已經(jīng)進(jìn)入由數(shù)據(jù)主導(dǎo)的“大時(shí)代”①。大數(shù)據(jù)是一場(chǎng)革命，將改變?nèi)藗兊墓ぷ?、生活和思維方式。但是大數(shù)據(jù)是一把雙刃劍，使人們?cè)谙硎艽髷?shù)據(jù)帶來(lái)的巨大價(jià)值的同時(shí)，也帶來(lái)了大數(shù)據(jù)的安全問(wèn)題。大數(shù)據(jù)在數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)內(nèi)容安全等方面均存在著極大的風(fēng)險(xiǎn)。

Hadoop等開(kāi)源軟件提供了適用于數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)挖掘等各環(huán)節(jié)的大數(shù)據(jù)工具，包含完整的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理方案，已經(jīng)成為大數(shù)據(jù)的工業(yè)標(biāo)準(zhǔn)。然而Hadoop等開(kāi)源軟件的安全機(jī)制并不是非常完善，在用戶(hù)認(rèn)證、安全審計(jì)等方面還有不少的問(wèn)題。隨著企業(yè)對(duì)大數(shù)據(jù)平臺(tái)的依賴(lài)逐步加強(qiáng)，如何構(gòu)建安全的大數(shù)據(jù)平臺(tái)成為企業(yè)用戶(hù)關(guān)注的重要問(wèn)題。本文主要介紹了百度公司在開(kāi)源大數(shù)據(jù)平臺(tái)的安全加固實(shí)踐，重點(diǎn)介紹Hadoop用戶(hù)認(rèn)證、安全審計(jì)等方面的技術(shù)實(shí)現(xiàn)。

2 大數(shù)據(jù)平臺(tái)安全實(shí)現(xiàn)

大數(shù)據(jù)平臺(tái)是企業(yè)的核心數(shù)字資產(chǎn)，需要進(jìn)行多層次、全方案安全加固和安全防護(hù)。開(kāi)源大數(shù)據(jù)平臺(tái)各子系統(tǒng)的安全定義和安全接口是不同的，目前尚沒(méi)有統(tǒng)一的安全技術(shù)標(biāo)準(zhǔn)，各公司根據(jù)自身業(yè)務(wù)需求提供不同的安全加固方案。本文介紹百度公司針對(duì)開(kāi)源大數(shù)據(jù)平臺(tái)的安全加固案例，開(kāi)源大數(shù)據(jù)平臺(tái)安全加固主要包括邊界隔離、訪問(wèn)控制、日志審計(jì)和數(shù)據(jù)保護(hù)4個(gè)方面。

邊界隔離是通過(guò)軟件定義安全技術(shù)，將大數(shù)據(jù)平臺(tái)劃分到特定的數(shù)據(jù)域，以便統(tǒng)一實(shí)施特定的安全策略；訪問(wèn)控制涉及的主要技術(shù)是用戶(hù)認(rèn)證和用戶(hù)授權(quán)，本文將介紹大數(shù)據(jù)平臺(tái)與百度Giano用戶(hù)認(rèn)證系統(tǒng)集成方案；日志審計(jì)是“事后”安全分析的重要手段，通?？赏ㄟ^(guò)分析系統(tǒng)日志實(shí)現(xiàn)，本文將介紹Hadoop平臺(tái)日志審計(jì)方案；數(shù)據(jù)保護(hù)用到的技術(shù)包括加密解密、數(shù)字水印、同態(tài)運(yùn)算等。

2.1 大數(shù)據(jù)平臺(tái)用戶(hù)認(rèn)證

用戶(hù)認(rèn)證是大數(shù)據(jù)平臺(tái)安全的重要安全環(huán)節(jié)，要求系統(tǒng)需明確回答以下兩個(gè)問(wèn)題：當(dāng)前用戶(hù)是誰(shuí)；當(dāng)前用戶(hù)是不是仿冒的。為了解決用戶(hù)認(rèn)證的問(wèn)題，很多公司在開(kāi)源大數(shù)據(jù)平臺(tái)中啟用Kerberos認(rèn)證，然而，在開(kāi)源大數(shù)據(jù)平臺(tái)中啟用Kerberos認(rèn)證存在以下問(wèn)題。

● 配置復(fù)雜。Kerberos生成證書(shū)和配置步驟十分復(fù)雜，調(diào)試也十分困難，沒(méi)有一定經(jīng)驗(yàn)很難操作實(shí)施。

● 延展性不佳。機(jī)器的擴(kuò)容和減少都會(huì)造成證書(shū)的重新生成和分發(fā)，給運(yùn)維造成很大困難。

● 存在單點(diǎn)失敗風(fēng)險(xiǎn)。Kerberos中心服務(wù)器存儲(chǔ)所有用戶(hù)的密鑰，中心服務(wù)器故障會(huì)導(dǎo)致整個(gè)大數(shù)據(jù)平臺(tái)不可用。同時(shí)，Kerberos要求嚴(yán)格的時(shí)鐘同步，不然會(huì)導(dǎo)致認(rèn)證失敗。

考慮到Kerb eros的復(fù)雜性，很多公司放棄了Kerberos認(rèn)證。在沒(méi)有啟用Kerberos的情況下開(kāi)源大數(shù)據(jù)平臺(tái)的用戶(hù)可隨意被篡改。例如Hadoop平臺(tái)的客戶(hù)端程序默認(rèn)從當(dāng)前服務(wù)器的環(huán)境變量中讀取HADOOP_USER_NAME作為用戶(hù)名，如果HADOOP_USER_NAME為空，則獲取當(dāng)前操作系統(tǒng)用戶(hù)作為Hadoop的用戶(hù)。因此僅需在客戶(hù)端修改HADOOP_USER_NAME環(huán)境變量就可偽造用戶(hù)進(jìn)行非法操作。

百度公司大數(shù)據(jù)團(tuán)隊(duì)意識(shí)到開(kāi)源大數(shù)據(jù)平臺(tái)安全方面的問(wèn)題后，深入研究Hadoop等開(kāi)源系統(tǒng)的內(nèi)部原理，自主研發(fā)了基于Giano的大數(shù)據(jù)平臺(tái)用戶(hù)認(rèn)證機(jī)制，并將Giano作為開(kāi)源大數(shù)據(jù)平臺(tái)安全加固的核心技術(shù)方案，在內(nèi)部推廣使用。

2.1.1 百度Giano簡(jiǎn)介

Giano是百度公司開(kāi)發(fā)的企業(yè)級(jí)安全平臺(tái)，面向互聯(lián)網(wǎng)數(shù)據(jù)中心（internet data center，IDC）環(huán)境提供一站式安全服務(wù)，包括安全登錄與權(quán)限管理、統(tǒng)一身份管理、認(rèn)證鑒權(quán)審計(jì)、訪問(wèn)控制、安全配置及變更管理、數(shù)據(jù)統(tǒng)計(jì)挖掘以及策略合規(guī)等。解決了從入口處的IDC安全登錄、進(jìn)程啟用，到所有與服務(wù)及資源訪問(wèn)相關(guān)的一攬子安全問(wèn)題，滿(mǎn)足了應(yīng)用環(huán)境隔離、跨域安全訪問(wèn)、托管代理認(rèn)證、權(quán)限管理實(shí)施、細(xì)粒度資源分配以及服務(wù)狀態(tài)全程監(jiān)控分析等一系列典型實(shí)際需求。

Giano的核心設(shè)計(jì)源于先進(jìn)的訪問(wèn)控制安全理論，其實(shí)現(xiàn)過(guò)程中亦廣泛采用了高效的開(kāi)發(fā)工具和嚴(yán)格的質(zhì)量控制管理，使得Giano在安全性、可用性以及實(shí)際效率等方面均取得了滿(mǎn)意的結(jié)果。例如通常情況下，其典型中心服務(wù)器和客戶(hù)端每秒查詢(xún)率（query per second，QPS）可達(dá)到十萬(wàn)甚至百萬(wàn)級(jí)別。

圖1 Hadoop與Giano集成后的操作流程

2.1.2 Hadoop與Giano集成

由于開(kāi)源大數(shù)據(jù)平臺(tái)本身組件比較多，各組件的集成比較瑣碎。本文以Hadoop分布式文件系統(tǒng)（Hadoop distributed file system，HDFS）為例，說(shuō)明Hadoop和Giano的集成方案。

Hadoop系統(tǒng)主要由NameNode、DataNode和Client 3部分組成。其中NameNode負(fù)責(zé)管理元數(shù)據(jù)，而DataNode負(fù)責(zé)具體文件的存儲(chǔ)。NameNode的元數(shù)據(jù)信息主要包括目錄結(jié)構(gòu)（目錄下有哪些子目錄和文件）、權(quán)限信息（目錄或文件的所有者、同組的用戶(hù)及其他用戶(hù)的讀、寫(xiě)、進(jìn)入權(quán)限）、文件分塊存儲(chǔ)信息（文件分成幾個(gè)數(shù)據(jù)塊以及數(shù)據(jù)塊存儲(chǔ)在哪些服務(wù)器上）。DataNode負(fù)責(zé)具體數(shù)據(jù)塊的存儲(chǔ)。Client是數(shù)據(jù)的訪問(wèn)客戶(hù)端，通過(guò)客戶(hù)端可以把數(shù)據(jù)寫(xiě)入集群，或者從集群讀取數(shù)據(jù)。

Hadoop系統(tǒng)與Giano集成后的操作流程如圖1所示。Client進(jìn)行任何文件操作都需連接NameNode獲取文件元數(shù)據(jù)信息，因此可在NameNode上進(jìn)行權(quán)限判斷。Client連接NameNode之前，可通過(guò)Giano系統(tǒng)獲得當(dāng)前用戶(hù)的身份信息，根據(jù)用戶(hù)名向Giano申請(qǐng)?jiān)L問(wèn)令牌，即安全認(rèn)證憑證。拿到令牌信息后，客戶(hù)端將用戶(hù)名和令牌一起發(fā)送給NameNode，NameNode詢(xún)問(wèn)Giano驗(yàn)證用戶(hù)是否合法。通過(guò)Giano驗(yàn)證后的用戶(hù)名可作為Hadoop用戶(hù)名，并以此用戶(hù)名判斷用戶(hù)是否有權(quán)限。

集成Giano后的業(yè)務(wù)情景分析和特點(diǎn)分析如下。

● 用戶(hù)名和登錄的操作系統(tǒng)賬號(hào)剝離。如Wang Ming和Li Qiang兩名員工同時(shí)以工作賬號(hào)登錄同一臺(tái)服務(wù)器訪問(wèn)Hadoop集群，集成Giano后的Hadoop系統(tǒng)仍然可以區(qū)分出來(lái)到底是哪名員工正在訪問(wèn)。

● 身份信息不可偽造。Hadoop與Giano集成后，服務(wù)端NameNode對(duì)客戶(hù)端傳遞過(guò)來(lái)的用戶(hù)名和令牌要進(jìn)行驗(yàn)證，客戶(hù)端無(wú)法仿冒其他用戶(hù)。

2.2 大數(shù)據(jù)平臺(tái)日志審計(jì)

2.2.1 日志審計(jì)方案

大數(shù)據(jù)平臺(tái)日志審計(jì)是大數(shù)據(jù)平臺(tái)安全的重要組成部分。日志審計(jì)需要記錄用戶(hù)在什么時(shí)間從哪臺(tái)服務(wù)器對(duì)文件做出了什么操作。對(duì)于Hadoop系統(tǒng)而言，可審計(jì)的文件操作如下。

● Rename：文件改名。

● Open：打開(kāi)文件。

● Delete：刪除文件。

● listStatus：列出子目錄。

● create：創(chuàng)建文件。

● setPermission：設(shè)置文件權(quán)限。

● GetFileInfo：得到文件信息，包括路徑、文件長(zhǎng)度、是否是目錄、數(shù)據(jù)塊副本數(shù)、數(shù)據(jù)塊大小、最后修改時(shí)間、最后獲取時(shí)間、文件權(quán)限等信息。

● mkdirs: 創(chuàng)建目錄。

Hadoop日志審計(jì)功能開(kāi)啟之后，所有的文件操作都會(huì)被記錄下來(lái)。在大型Hadoop集群中NameNode每秒需要處理數(shù)萬(wàn)個(gè)文件操作，如果任何操作都記錄下來(lái)會(huì)嚴(yán)重影響NameNode的處理速度。另外，日志審計(jì)需要頻繁比對(duì)審計(jì)規(guī)則，有可能導(dǎo)致NameNode內(nèi)存碎片化，進(jìn)而引發(fā)大量Java垃圾收集（garbage collection，GC）操作，也會(huì)影響NameNode的處理速度。為了實(shí)現(xiàn)Hadoop日志審計(jì)功能，同時(shí)又能保證NameNode處理速度，本文提出了一種基于規(guī)則的高效日志審計(jì)方案，可為Hadoop提供按需審計(jì)服務(wù)。實(shí)際應(yīng)用場(chǎng)景中，可利用本方案實(shí)現(xiàn)敏感數(shù)據(jù)的日志審計(jì)。

本技術(shù)方案可通過(guò)規(guī)則配置開(kāi)啟任意目錄的若干操作審計(jì)，例如用戶(hù)A非常關(guān)心其業(yè)務(wù)數(shù)據(jù)什么時(shí)間被用戶(hù)刪除掉，他可以?xún)H對(duì)目錄啟用刪除審計(jì)；用戶(hù)B需要知道其業(yè)務(wù)數(shù)據(jù)被哪些人訪問(wèn)過(guò)，他可以對(duì)目錄開(kāi)啟讀取審計(jì)。管理員可根據(jù)業(yè)務(wù)需求隨時(shí)調(diào)整審計(jì)規(guī)則，包括增加審計(jì)目錄、調(diào)整需要審計(jì)的操作指令等。規(guī)則調(diào)整后定時(shí)生效，不需要重啟集群。

如果hdfs://ns1/user/user1/a.db需要審計(jì)改名和打開(kāi)操作，而hdfs://ns2/user/user1/b.db需要審計(jì)創(chuàng)建和刪除操作，則具體的配置規(guī)則如下。

2.2.2 目錄匹配算法

本文提出的技術(shù)方案是通過(guò)NameNode插件機(jī)制實(shí)現(xiàn)的，核心原理是擴(kuò)展HdfsAuditLogger接口，增加高效的目錄匹配算法實(shí)現(xiàn)目錄匹配。NameNode的目錄匹配算法是采用字符樹(shù)的判斷方法，把所有需要判斷的目錄組成一個(gè)字符樹(shù)。字符樹(shù)的定義如下：

Class CharacterTree {

Char c; // 當(dāng)前節(jié)點(diǎn)字符

CharacterTree[] subTree; //子樹(shù)數(shù)組，按數(shù)組元素CharacterTree的字符c有序，可以加快查找速度

Boolean leaf; //是否是葉子節(jié)點(diǎn)，即最后一個(gè)字符

Set commands;// 僅 leaf= true時(shí)才不為空，保存目錄的審計(jì)命令的集合

}

本技術(shù)方案核心內(nèi)容包括動(dòng)態(tài)加載、目錄匹配、匯總輸出等模塊。動(dòng)態(tài)加載模塊的主要功能是從配置文件中讀取目錄判定規(guī)則，并對(duì)規(guī)則配置項(xiàng)進(jìn)行必要的過(guò)濾和容錯(cuò)處理，生成目錄判斷規(guī)則樹(shù)。該模塊定期讀取配置文件，并判斷該配置文件是否發(fā)生了修改，如果發(fā)生了修改，則重新生成一個(gè)判斷規(guī)則樹(shù)，并用新生成的樹(shù)替換之前的樹(shù)。其具體實(shí)現(xiàn)方案是hdfssite.xml增加配置項(xiàng)用于設(shè)置審計(jì)規(guī)則，示例代碼如下。

動(dòng)態(tài)加載程序根據(jù)配置文件修改時(shí)間和上一次配置生效時(shí)間等因素判斷是否需要重新加載應(yīng)用規(guī)則，當(dāng)且僅當(dāng)配置文件發(fā)生更改后才會(huì)重新加載，以減少系統(tǒng)消耗。動(dòng)態(tài)加載機(jī)制確保配置規(guī)則修改后，不需要重新啟動(dòng)集群即可生效。

當(dāng)NameNode通過(guò)配置文件后，可以根據(jù)配置文件生成判斷規(guī)則樹(shù)，用于判定當(dāng)前訪問(wèn)行為是否需要進(jìn)行審計(jì)，判定規(guī)則樹(shù)的生成流程如下。

步驟1 初始化字符樹(shù)，treeRoot作為字符樹(shù)的根節(jié)點(diǎn)，其字符是’/’。

步驟2 把所有的審計(jì)目錄配置項(xiàng)讀到一個(gè)新的列表中。

步驟3 依次對(duì)比列表中的目錄配置項(xiàng)。如果這個(gè)配置項(xiàng)的Namespace和當(dāng)前Namespace不相同，則忽略，否則轉(zhuǎn)到步驟4。

步驟4 取出配置的路徑部分，如“/user/user1/a.db”，如果以字符‘/’結(jié)尾，則把最后‘/’符號(hào)去掉。

步驟5 調(diào)用treeRoot.addPath(path，1，commands)，將當(dāng)前路徑的字符依次添加到字符樹(shù)里。

步驟6 所有配置項(xiàng)處理完后，判斷規(guī)則樹(shù)生成完畢。

上述步驟4中需要多次調(diào)用addPath指令構(gòu)建字符樹(shù)，例如需要將path為“/user/user1/a.db”的配置項(xiàng)添加到字符樹(shù)的流程如下。

步驟1 從path取出一個(gè)字符，假如當(dāng)前字符為“u”，執(zhí)行步驟2。

步驟2 判斷子樹(shù)節(jié)點(diǎn)是否等于當(dāng)前字符。如果相等，則執(zhí)行步驟4，否則執(zhí)行步驟3。

步驟3 初始化一個(gè)新的字符子樹(shù)，它的根節(jié)點(diǎn)為當(dāng)前字符，并將該子樹(shù)添加到當(dāng)前字符樹(shù)中，執(zhí)行步驟4。

步驟4 把index的值增加1，如果當(dāng)前index的值小于path的長(zhǎng)度，重新執(zhí)行步驟1。如果當(dāng)前index的值等于path的長(zhǎng)度，執(zhí)行步驟5。

步驟5 設(shè)置當(dāng)前字符樹(shù)的leaf的值為“true”，代表當(dāng)前字符為最后一個(gè)字符，整個(gè)path處理完畢。

當(dāng)目錄字符樹(shù)生成以后，系統(tǒng)會(huì)根據(jù)字符數(shù)判定當(dāng)前訪問(wèn)行為是否需要進(jìn)行審計(jì)，如果需要審計(jì)，則輸出審計(jì)日志。審計(jì)結(jié)果輸出是通過(guò)調(diào)用logAuditEvent審計(jì)方法實(shí)現(xiàn)的，其接口定義如下。

當(dāng)NameNode調(diào)用logAuditEvent方法輸出審計(jì)日志時(shí)，需要快速判斷當(dāng)前訪問(wèn)路徑是否需要審計(jì)，如果判定速度慢，會(huì)拖慢NameNode處理速度，進(jìn)而影響整個(gè)集群的性能。本方案利用字符樹(shù)進(jìn)行快速判定，其主要特點(diǎn)如下。

● 在審計(jì)過(guò)程中，一次只判斷一個(gè)字符，任何字符匹配不成功就立即返回。單線(xiàn)程測(cè)試每秒可執(zhí)行1000萬(wàn)次判定，不會(huì)影響NameNode的處理速度。

● 在判斷過(guò)程中沒(méi)有鎖，多線(xiàn)程訪問(wèn)沒(méi)有競(jìng)爭(zhēng)。

● 在審計(jì)過(guò)程中，一次只取一個(gè)字符，不產(chǎn)出臨時(shí)字符串，可減少NameNode GC壓力。

2.3 實(shí)際應(yīng)用

該技術(shù)方案已經(jīng)在百度公司安全管理部的大數(shù)據(jù)集群穩(wěn)定運(yùn)行了半年。該集群有1100臺(tái)服務(wù)器、38000多個(gè)CPU核心、30 PB存儲(chǔ)空間、日運(yùn)行作業(yè)近2萬(wàn)個(gè)，存有安全軟件開(kāi)發(fā)工具包（software development kit，SDK）、威脅情報(bào)、網(wǎng)址安全、電腦安全、內(nèi)網(wǎng)安全等數(shù)據(jù)。這些數(shù)據(jù)分為3類(lèi)：不涉及隱私的數(shù)據(jù)；用戶(hù)Cookie等雖然不直接包含隱私數(shù)據(jù)，但可以通過(guò)關(guān)聯(lián)找到用戶(hù)行為的半隱私數(shù)據(jù)；用戶(hù)手機(jī)號(hào)、訪問(wèn)記錄等用戶(hù)隱私數(shù)據(jù)。

通過(guò)Hadoop本身的文件權(quán)限控制和Giano的集成，可以防止數(shù)據(jù)被非法訪問(wèn)。通過(guò)審計(jì)程序可以跟蹤敏感數(shù)據(jù)的訪問(wèn)情況。訪問(wèn)分為兩種，第一種是非法拒絕訪問(wèn)的記錄，記錄了哪位用戶(hù)嘗試訪問(wèn)未授權(quán)的文件。第二種是有權(quán)限用戶(hù)的訪問(wèn)，此信息對(duì)于數(shù)據(jù)泄露的追蹤有關(guān)鍵作用。

審計(jì)程序先把數(shù)據(jù)寫(xiě)到本地硬盤(pán)上，然后通過(guò)消息傳輸系統(tǒng)上傳到Hadoop平臺(tái)進(jìn)行分析。這個(gè)數(shù)據(jù)仍然是隱私數(shù)據(jù)，需要授權(quán)才能訪問(wèn)，并且需要審計(jì)。

3 結(jié)束語(yǔ)

本文總結(jié)歸納了在生產(chǎn)實(shí)踐過(guò)程中針對(duì)開(kāi)源大數(shù)據(jù)平臺(tái)的安全加固方案，重點(diǎn)介紹了關(guān)于Hadoop平臺(tái)的用戶(hù)認(rèn)證和日志審計(jì)方案技術(shù)實(shí)現(xiàn)。其中，Hadoop用戶(hù)認(rèn)證是集成百度Giano系統(tǒng)實(shí)現(xiàn)的，Hadoop日志審計(jì)是通過(guò)擴(kuò)展NameNode提供高效目錄匹配算法實(shí)現(xiàn)的。這些技術(shù)方案具備一定的普適性，可根據(jù)企業(yè)當(dāng)前技術(shù)環(huán)境靈活使用。

[1] 馮登國(guó), 張敏, 李昊. 大數(shù)據(jù)安全與隱私保護(hù)[J].計(jì)算機(jī)學(xué)報(bào), 2014, 37(1): 246-258.FENG D G, ZHANG M, LI H. Big data security and privacy protection[J].Chinese Journal of Computers, 2014,37(1): 246-258.

[2] 楊曦, GUL J, 羅平. 云時(shí)代下的大數(shù)據(jù)安全技術(shù)[J]. 中興通訊技術(shù), 2016, 22(1): 14-18.YANG X, GUL J, LUO P. Security technology of big data in the cloud era[J]. ZTE Technology Journal, 2016, 22(1): 14-18.

Practice on security of big data platform

LIU Jie
Baidu China Co., Ltd., Beijing 100085, China

The security mechanism of open source platform is not sophisticated, especially on user authentication and log audit.The potential safety problems of open source platform were analyzed. Based on the open source Hadoop platform,the user authentication based on Giano, and the efficient log audit based on rules were proposed. Combined with the practical application of Baidu, the effectiveness of the technical scheme was expounded. The technical scheme has certain universality, and it can be flexibly used according to the current technological environment of the enterprise.

big data security, user authentication, log audit, digit security

TP309

A

10.11959/j.issn.2096-0271.2017050

劉杰（1979-），男，百度（中國(guó)）有限公司商業(yè)安全研發(fā)部主任、研發(fā)架構(gòu)師，主要研究方向?yàn)榉植际接?jì)算、Linux內(nèi)核文件系統(tǒng)、海量數(shù)據(jù)存儲(chǔ)與挖掘、大數(shù)據(jù)架構(gòu)及數(shù)據(jù)安全防護(hù)技術(shù)。

2017-08-01