數(shù)據(jù)的訪問、流轉(zhuǎn)途徑很多，當前針對每種途徑的監(jiān)控及防護手段基本成熟，出現(xiàn)了諸如4A、字符堡壘、文件堡壘、桌面終端管控系統(tǒng)、DLP、入侵防護等安全設(shè)備。雖然每類技術(shù)大都能監(jiān)控、記錄數(shù)據(jù)的訪問操作過程，發(fā)揮自己應(yīng)有的作用，但大部分不具備甄別對敏感數(shù)據(jù)操作行為，更不能全面分析、呈現(xiàn)敏感數(shù)據(jù)流轉(zhuǎn)過程。

針對當前大數(shù)據(jù)平臺下的訪問日志解析與敏感數(shù)據(jù)流轉(zhuǎn)視圖展現(xiàn)能力的不足，本文提出一整套解決方案：首先采集大數(shù)據(jù)組件以及數(shù)據(jù)訪問操作行為日志，結(jié)合敏感數(shù)據(jù)分類分級、日志格式化基礎(chǔ)信息等進行析取和格式化，并標識敏感數(shù)據(jù)訪問。然后橫向關(guān)聯(lián)所有敏感數(shù)據(jù)訪問操作類日志，綜合分析敏感數(shù)據(jù)訪問、流轉(zhuǎn)途徑。最后通過可視化工具，繪制出敏感數(shù)據(jù)訪問操作流轉(zhuǎn)視圖。

敏感數(shù)據(jù)分類、分級定義

對敏感數(shù)據(jù)進行分類分級定義，根據(jù)數(shù)據(jù)敏感程度采取與數(shù)據(jù)安全風險相適應(yīng)的管理措施，為敏感數(shù)據(jù)訪問行為識別提供依據(jù)。

1.敏感數(shù)據(jù)分類

敏感數(shù)據(jù)分類包括：用戶身份和鑒權(quán)信息、用戶數(shù)據(jù)及服務(wù)內(nèi)容信息、用戶服務(wù)相關(guān)信息三大類，每項大類又可分為多項子類。

用戶身份和鑒權(quán)子類信息包括：自然人身份標識、網(wǎng)絡(luò)身份標識、用戶基本資料、實體身份證明、用戶私密資料、用戶密碼及關(guān)聯(lián)信息。

用戶數(shù)據(jù)及服務(wù)內(nèi)容子類信息包括：服務(wù)內(nèi)容數(shù)據(jù)、聯(lián)系人信息。

用戶服務(wù)相關(guān)子類信息包括：業(yè)務(wù)訂購關(guān)系、服務(wù)記錄和日志、消費信息和賬單、位置數(shù)據(jù)、違規(guī)記錄數(shù)據(jù)、終端設(shè)備標識、終端設(shè)備資料。

2.敏感數(shù)據(jù)分級

敏感數(shù)據(jù)分為四個級別，分別為極敏感級、敏感級、較敏感級、低敏感級。

極敏感級數(shù)據(jù)分類包括：實體身份證明、用戶私密資料、用戶密碼及關(guān)聯(lián)信息。

敏感級數(shù)據(jù)分類包括：自然人身份標識、網(wǎng)絡(luò)身份標識、用戶基本資料、服務(wù)內(nèi)容數(shù)據(jù)、聯(lián)系人信息、服務(wù)記錄和日志、位置數(shù)據(jù)。

較敏感級數(shù)據(jù)分類包括：消費信息和賬單、終端設(shè)備標識、終端設(shè)備資料。

低敏感級數(shù)據(jù)分類包括：業(yè)務(wù)訂購關(guān)系、違規(guī)記錄數(shù)據(jù)。

日志采集、解析、處理及敏感數(shù)據(jù)操作標識

采集大數(shù)據(jù)平臺組件、平臺訪問控制設(shè)備、應(yīng)用程序接口、網(wǎng)絡(luò)設(shè)備、安全設(shè)備等日志信息，通過標準化引擎對日志屬性進行解析、格式化，輸出統(tǒng)一格式的安全日志，并對標準化后的日志進行過濾、歸并等降噪處理，結(jié)合敏感數(shù)據(jù)分類、分級信息，通過正則表達式等模式匹配方法識別并標識敏感數(shù)據(jù)操作類安全日志，為敏感數(shù)據(jù)流轉(zhuǎn)過程分析提供數(shù)據(jù)支撐及依據(jù)。

日志采集

數(shù)據(jù)采集范圍廣、采集方式豐富、采集能力強，確保采集數(shù)據(jù)的全面性、及時性及準確性。

1.采集范圍

采集范圍覆蓋敏感數(shù)據(jù)生成、傳輸、存儲、使用、共享、銷毀各個環(huán)節(jié)，包括：

大數(shù)據(jù)平臺組件（HDFS、HBase、Hive、Sqoop）；

訪問控制設(shè)備（4A、字符堡壘、FTP堡壘，桌面終端管控系統(tǒng)）；

安全設(shè)備（網(wǎng)絡(luò)DLP、終端DLP、入侵防護、網(wǎng)絡(luò)嗅探、數(shù)據(jù)庫嗅探）；

網(wǎng)絡(luò)設(shè)備（交換機、路由器）；

主機（各類操作系統(tǒng)）；

數(shù)據(jù)庫（各類關(guān)系型數(shù)據(jù)庫）；

中間件（各類中間件系統(tǒng)）。

2.采集方式

采集方式包括被動及主動兩種方式，被動采集支持SYSLOG、TRAP兩種方式，可實時接收日志信息；

主動方式支持FTP、SFTP、JDBC、webservice 協(xié)議，可周期、準實時采集設(shè)備日志信息。

日志解析

結(jié)合日志知識庫信息，通過日志標準化引擎對設(shè)備原始日志信息進行解析和抽取，根據(jù)日志分類識別表達式識別出原始日志對應(yīng)的安全日志分類，并按該分類所適用的屬性字段析取相應(yīng)的值。然后由標準化引擎根據(jù)特征值公式進行計算、精準匹配出安全日志，最終輸出的安全日志信息包括日志類型、操作對象、操作命令、賬號、源 IP、目的 IP、報送設(shè)備IP、日志內(nèi)容、日志級別、發(fā)生時間等相關(guān)屬性。

1.日志分類識別

通過正則表達式規(guī)則匹配算法的一系列特殊字符構(gòu)建日志分類的匹配模式，然后依據(jù)匹配模式對原始日志進行匹配，匹配成功后析取正則表達式中的分組變量或特殊變量值，并將屬性變量及其值以key-vale形式緩存在map里，通過日志分類識別表達式及其已經(jīng)析取出的變量值計算出所屬的日志分類。

原始日志樣例：<86>sshd[12915]: Accepted password for root from 186.31.27.53 port 4991 ssh2

日志分類識別規(guī)則樣例：<(d+)>([^;]+):s*(Accepted password) fors+(w+)s*froms*([w|W]+)s+ports+d+s+(w+)

日志分類識別規(guī)則樣例：if {原始數(shù)據(jù)析取變量:主賬號}="" then {BM數(shù)據(jù)庫事件:BM數(shù)據(jù)庫繞行操作事件} else {BM數(shù)據(jù)庫事件:BM數(shù)據(jù)庫堡壘操作事件}

2.安全日志識別

特征值公式是由解析的日志基礎(chǔ)屬性變量、邏輯關(guān)系符等邏輯表達式組成，最終通過內(nèi)部表達式規(guī)則引擎算出結(jié)果。

特征值公式樣例：如果 {日志屬性:日志ID}=527并且{日志屬性:源地址}<>'128.12.17.10'則'繞行登錄' 否則 {日志屬性:日志ID}。

安全日志分類特征值樣例 ：25。

日志過濾、歸并，降噪處理

對不具備分析意義的安全日志進行過濾，減少不可信、不重要的安全日志，析取出真實有價值的日志。對重復(fù)發(fā)生或大部分屬性相同的安全日志，在不影響后續(xù)事件分析的前提下對個體進行合并，減少事件總數(shù)量。

安全日志過濾、歸并規(guī)則以日志類型、源地址IP、目的地址IP、日志發(fā)生時間、操作命令等日志屬性值作為條件參數(shù)，支持等于、不等于、大于、小于、包含、LIKE、IN等數(shù)學函數(shù)表達式，如：{事件屬性:目的地址} like'192.132.12.%' and {日志 屬性:操作命令} in'rm,vi'。

識別并標識敏感數(shù)據(jù)操作日志

結(jié)合敏感數(shù)據(jù)分類、分級定義的敏感數(shù)據(jù)特征屬性，利用正則表達式等模式匹配方法對安全日志相關(guān)屬性如操作對象、操作內(nèi)容等進行匹配，匹配成功，則標識該安全日志為敏感數(shù)據(jù)操作日志。

敏感數(shù)據(jù)流轉(zhuǎn)路徑分析

基于以上步驟分析出的不同設(shè)備產(chǎn)生的敏感數(shù)據(jù)操作類標準日志，通過對日志相關(guān)屬性如日志類型、操作對象、操作命令、操作內(nèi)容、時間、源IP、目的IP等進行多維、綜合關(guān)聯(lián)分析，輸出敏感數(shù)據(jù)在各流轉(zhuǎn)節(jié)點之間的流轉(zhuǎn)關(guān)系。

1.收集敏感數(shù)據(jù)源信息，確認敏感數(shù)據(jù)傳播擴散起始點，收集的數(shù)據(jù)源信息包括敏感數(shù)據(jù)源設(shè)備類型、數(shù)據(jù)源IP、訪問方式、訪問策略、開放的服務(wù)等。

百余年來中國的現(xiàn)代化進程中，“三農(nóng)問題”一直困擾著中國人。其中，鄉(xiāng)村教育的困窘，從一個側(cè)面折射了近代中國農(nóng)業(yè)、農(nóng)村、農(nóng)民的困苦和無奈。近年來，中國近代教育史研究專著和論文頗多，但相對而言，對近代中國鄉(xiāng)村教育實際狀況的探討仍顯薄弱，本文擬作補充。①

2.獲取所有敏感數(shù)據(jù)對象，保存至敏感數(shù)據(jù)對象列表SL中。敏感數(shù)據(jù)對象信息包括敏感數(shù)據(jù)源IP、敏感數(shù)據(jù)名稱、敏感數(shù)據(jù)形態(tài)、敏感數(shù)據(jù)存儲路徑、敏感數(shù)據(jù)分類、敏感級別、敏感數(shù)據(jù)生成時間等。

3.遍歷敏感數(shù)據(jù)對象列表SL中的對象，找出敏感數(shù)據(jù)對象流轉(zhuǎn)的第一級節(jié)點。以對象屬性敏感數(shù)據(jù)源IP、對象名稱、數(shù)據(jù)形態(tài)、存儲路徑為條件，與有敏感數(shù)據(jù)操作標識的標準化日志相關(guān)屬性（如：源IP、操作對象名稱、操作內(nèi)容）進行匹配，匹配成功，則根據(jù)標準化日志相關(guān)屬性信息生成過程敏感數(shù)據(jù)對象，并存儲在過程敏感數(shù)據(jù)對象列表PL中，同時生成敏感數(shù)據(jù)訪問或流轉(zhuǎn)路徑節(jié)點對象，存儲在流轉(zhuǎn)路徑節(jié)點對象列表TL中。

重復(fù)以上步驟直至遍歷完SL中的所有對象。流轉(zhuǎn)路徑對象信息包括上一級節(jié)點IP、當前節(jié)點IP、流轉(zhuǎn)方式、流轉(zhuǎn)時間、敏感數(shù)據(jù)名稱、賬號。

4.遍歷過程敏感數(shù)據(jù)對象列表PL中的對象，找出該敏感數(shù)據(jù)對象訪問、流轉(zhuǎn)的下一級節(jié)點。以該過程敏感對象屬性如敏感數(shù)據(jù)源IP、對象名稱、數(shù)據(jù)形態(tài)、存儲路徑為條件，與有敏感數(shù)據(jù)操作標識的標準化日志相關(guān)屬性（如：源IP、操作對象名稱、操作內(nèi)容）進行匹配，匹配成功，則將該對象移除PL列表，根據(jù)匹配的標準化日志相關(guān)屬性信息生成過程敏感數(shù)據(jù)對象，并存儲在過程敏感數(shù)據(jù)對象列PL表中，同時生成敏感數(shù)據(jù)訪問或流轉(zhuǎn)路徑對象，存儲在流轉(zhuǎn)路徑對象列表TL中。匹配失敗，則將該對象移除PL列表。重復(fù)以上步驟直至遍歷完P(guān)L中的所有對象。

視圖生成及展現(xiàn)

根據(jù)輸出的敏感數(shù)流轉(zhuǎn)關(guān)系，利用可視化工具生成敏感數(shù)據(jù)流轉(zhuǎn)視圖。

敏感數(shù)據(jù)流轉(zhuǎn)視圖包括兩個要素，分別為流轉(zhuǎn)節(jié)點和節(jié)點之間有方向流轉(zhuǎn)路徑。流轉(zhuǎn)節(jié)點信息包括：節(jié)點IP、敏感數(shù)據(jù)名稱、敏感數(shù)據(jù)級別等。流轉(zhuǎn)路徑信息包括：流轉(zhuǎn)時間、流轉(zhuǎn)方式、操作賬號、操作命令。

1.首節(jié)點及一級流轉(zhuǎn)節(jié)點信息生成。以敏感數(shù)據(jù)源對象部分屬性值如敏感數(shù)據(jù)源IP、敏感數(shù)據(jù)名稱等為參數(shù)，遍歷查找流轉(zhuǎn)路徑節(jié)點對象列表所有節(jié)點對象數(shù)據(jù)，查找條件：敏感數(shù)據(jù)對象.敏感數(shù)據(jù)源IP=流轉(zhuǎn)路徑節(jié)點對象.上一級節(jié)點IP并且 兩個對象敏感數(shù)據(jù)名稱屬性值相等。匹配成功，則以當前敏感數(shù)據(jù)對象屬性值為準生成首節(jié)點信息，同時以所有與之匹配成功的流轉(zhuǎn)路徑節(jié)點對象屬性值為準生成所有一級流轉(zhuǎn)節(jié)點信息。

2.更多流轉(zhuǎn)節(jié)點信息生成。以流轉(zhuǎn)路徑節(jié)點對象A.當前節(jié)點IP=流轉(zhuǎn)路徑節(jié)點對象B.上一節(jié)點IP且兩個對象的敏感數(shù)據(jù)名稱相同為條件進行匹配，匹配成功，即表示敏感數(shù)據(jù)由A流轉(zhuǎn)到B，生成相應(yīng)流轉(zhuǎn)節(jié)點信息。同理，遍歷分析所有流轉(zhuǎn)路徑節(jié)點對象，直至生成最后一個流轉(zhuǎn)節(jié)點信息。

3.通過可視化工具，利用敏感數(shù)據(jù)首節(jié)點、中間流轉(zhuǎn)節(jié)點、最后一個流轉(zhuǎn)節(jié)點之間的縱橫向關(guān)系，繪制出敏感數(shù)據(jù)流轉(zhuǎn)視圖。

本方案具有如下幾方面優(yōu)點：

用于分析的數(shù)據(jù)源廣，確保發(fā)現(xiàn)任何訪問、操作敏感數(shù)據(jù)的蛛絲馬跡。參與分析的數(shù)據(jù)源包括大數(shù)據(jù)平臺組件、訪問控制設(shè)備、安全設(shè)備、網(wǎng)絡(luò)設(shè)備、主機、數(shù)據(jù)庫等。

采用全量、多層次綜合分析方法，全面、準確的發(fā)現(xiàn)敏感數(shù)據(jù)所有訪問流轉(zhuǎn)路徑，并利用可視化工具，生成敏感數(shù)據(jù)訪問視圖，清晰再現(xiàn)敏感數(shù)據(jù)范圍流轉(zhuǎn)軌跡。

充分利用現(xiàn)有網(wǎng)絡(luò)環(huán)境中網(wǎng)絡(luò)設(shè)備、安全設(shè)備的功能及價值，從而能更好的降低企業(yè)運營成本。