胡宇佳

（四川大學(xué)計算機學(xué)院，成都610065）

0 引言

隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)公司全力研發(fā)新的產(chǎn)品以提高自己的行業(yè)競爭力。一般的，在臨近產(chǎn)品發(fā)布的時期，公司對內(nèi)部可能會發(fā)生的一切異常的現(xiàn)象以及員工行為都十分敏感。為了確保產(chǎn)品能夠按時安全地發(fā)布，公司的核心利益能夠不受影響。公司高層常常會在這樣的時期成立臨時的情報威脅分析小組，這樣的小組可以獲取到公司在一定時期內(nèi)的所有數(shù)據(jù)，對這些數(shù)據(jù)中包含的信息進行提取和分析，并根據(jù)分析結(jié)果，處理可能存在的各種會對公司安全造成影響的潛在威脅[1]。在這樣的分析過程中，數(shù)據(jù)的復(fù)雜性會影響工作小組對結(jié)果的分析。因此，本文采取一定的信息挖掘方法，對數(shù)據(jù)進行清洗、處理，進而挖掘出一定的規(guī)律，從龐大的數(shù)據(jù)中挖掘出可能存在的異常行為[2]。我們根據(jù)該公司提供的員工數(shù)據(jù)，通過可視分析的方法，幫助該公司找到可能存在的內(nèi)部威脅情報并給出相應(yīng)的建議。我們的完成過程分為三個階段：第一個階段是對原始數(shù)據(jù)進行預(yù)處理；第二階段是對數(shù)據(jù)的可視化；第三階段是對可視化視圖進行可視分析，找到規(guī)律并發(fā)現(xiàn)問題。

1 數(shù)據(jù)預(yù)處理

本文的數(shù)據(jù)處理主要是通過Python，以及Python中的數(shù)據(jù)處理庫pandas[3]和numpy[4]完成的。根據(jù)我們要解決的問題，即發(fā)現(xiàn)公司中存在的異常，我們將問題拆解為一下三步：第一步，找到員工的部門劃分方式；第二步，探索員工的正常行為模式；第三步，和正常行為模式對比，確定員工的異常行為模式，以及這些異常之間的關(guān)聯(lián)。

1.1 員工的部門劃分

同部門的員工之間會有一定的郵件往來，因此，我們首先從郵件數(shù)據(jù)入手，去處理數(shù)據(jù)。第一步，對垃圾郵件進行處理，主要是將垃圾廣告篩選刪除，這部分主要是通過讀取郵件的主題，將繁體字、含有手機號或者QQ 號的郵件剔除，最后清洗得到完整的員工往來郵件。第二步，從收發(fā)件人中，通過正則匹配的方式提取出員工ID。第三步，對主題進行jieba[5]分詞處理，以關(guān)鍵詞的形式存儲主題。最終，我們以“發(fā)件人-收件人-主題詞”這樣的方式存儲數(shù)據(jù)，劃分研發(fā)、財務(wù)和人力資源部門員工。

1.2 員工的行為探索

員工的行為模式，主要包括：員工的正常上下班打卡時間、員工上網(wǎng)的瀏覽模式、員工收發(fā)郵件數(shù)量、員工上網(wǎng)流量高峰以及員工的端口使用模式這五種。

針對部門的員工劃分，我們將員工ID 提取出來，按照部門進行劃分，并分別統(tǒng)計員工的上下班時間，根據(jù)統(tǒng)計得到的結(jié)果，考慮以半個小時、一個小時這樣的時間區(qū)間去統(tǒng)計打卡的人數(shù)，以此確定該部門員工的正常上下班打卡的時間段。

針對員工的上網(wǎng)瀏覽模式，我們將所有員工劃分為研發(fā)人員和非研發(fā)人員兩類，進行分析，將所有網(wǎng)址拆分成了：娛樂網(wǎng)址和工作網(wǎng)址。娛樂網(wǎng)址包括一些視頻瀏覽和新聞網(wǎng)站，工作網(wǎng)址則是公司的內(nèi)部網(wǎng)站。然后根據(jù)瀏覽的時間和數(shù)量，統(tǒng)計某時段中員工瀏覽這些網(wǎng)站的頻次，最終得到員工上網(wǎng)行為模式。

針對員工收發(fā)郵件數(shù)量、員工的端口模式和員工的上網(wǎng)流量高峰，這些也是按照部門以及一定的時間周期去統(tǒng)計。我們會重點關(guān)注部門leader 的行為，以及他們工作期間涉及到的郵件和使用的端口和協(xié)議等等。

2 主要可視化方案與結(jié)果分析

本文所使用的數(shù)據(jù)是某公司部2017 年11 月共30天內(nèi)產(chǎn)生的所有CSV 文件數(shù)據(jù)，包括員工上下班打卡數(shù)據(jù)checking（員工id，日期，上班時間，下班時間）、員工間的郵件往來數(shù)據(jù)email（時間，使用協(xié)議，源ip，端口號，目標(biāo)ip，目標(biāo)端口號，發(fā)件人郵箱，收件人郵箱，主題）、員工的協(xié)議使用數(shù)據(jù)login（協(xié)議，目標(biāo)ip，目標(biāo)端口，源ip，源端口，登陸狀態(tài)，時間，用戶）、員工往來的上下行流量以及使用的協(xié)議數(shù)據(jù)tcpLog（使用時間，結(jié)束時間，協(xié)議名稱，目的ip，目的端口，源ip，源端口，上行流量和下行流量）以及瀏覽網(wǎng)址數(shù)據(jù)weblog（時間，源ip，源端口，目的ip，目的端口，域名），共計40w條數(shù)據(jù)信息。圖形的繪制以Echarts[6]和Gephi[7]為主。

2.1 員工所屬部門及人員組織結(jié)構(gòu)分析

對員工所屬部門及人員結(jié)構(gòu)進行分析，通過郵件主題對員工所屬部門進行分類，并根據(jù)員工之間的收發(fā)郵件關(guān)系輔助證明。我們分別使用旭日圖和玫瑰圖展示不同部門員工經(jīng)常發(fā)送的郵件主題以及某部門發(fā)送郵件主題的數(shù)量關(guān)系；通過Gephi 生成的網(wǎng)絡(luò)關(guān)系圖展示員工與員工之間的聯(lián)系，如圖1 和2 所示。

圖1 三個部門的主題分類

圖2 員工郵件往來關(guān)系圖及研發(fā)部門展示

通過節(jié)點鏈接圖發(fā)現(xiàn)可能是BOSS 的員工與其他的各個部門leader 間的聯(lián)系和郵件往來，確定最終的大BOSS；通過雷達圖展示重要員工的信息，如圖3-5所示。

圖3 員工部門展示

圖4 BOSS往來郵件展示

圖5 關(guān)鍵員工的相關(guān)屬性圖

2.2 員工日常行為分析

在對員工日常行為進行分析總結(jié)時，通過折線圖和極坐標(biāo)圖對11 月的員工打卡時間進行展示，并通過郵件中的遲到早退信息發(fā)現(xiàn)三個部門的規(guī)定上下班時間，同時注意到研發(fā)部門的上下班時間分兩種；通過詞云的方式展示研發(fā)部門與非研發(fā)部門訪問過的網(wǎng)站，并通過環(huán)圖展示出他們最常訪問的10 個網(wǎng)站；通過氣泡圖展示三個部門員工每三天的收發(fā)郵件數(shù)量；通過折線圖展示員工上網(wǎng)的高峰時間以及協(xié)議上下行分布情況，發(fā)現(xiàn)員工發(fā)郵件的高峰。

圖6 員工上下班打卡時間

圖7 員工打卡時間段統(tǒng)計

我們根據(jù)check 中的打卡日志，做出了三個部門的打卡時間圖，其中紅色代表研發(fā)部門，黑色代表財務(wù)部門，淺藍(lán)色代表人力資源部門，然后通過對時間軸的縮放，展示出一個月打卡的時間段和人數(shù)。同時我們也對員工一個月的打卡時間段進行了統(tǒng)計，可以看出研發(fā)部門員工的打卡時間段在8：00-9：45、18：00-21：00頻繁；財務(wù)部門員工的打卡時間段在7：00-7：45、17：00-19：15 頻繁；人力資源部門員工的打卡時間段在8：15-8：45、18：00-20：45 頻繁。在此基礎(chǔ)上，我們對包含了遲到早退主題的郵件進行分析，發(fā)現(xiàn)人力資源部門最晚上班時間為9：00，最早下班時間為18：00；財務(wù)部門最晚上班時間為8：00，最早下班時間為17：00。研發(fā)部門正常上下班時間分兩種：以1059 為領(lǐng)導(dǎo)的小組工作時間為10：00-19：00，以1007 和1068 為領(lǐng)導(dǎo)的小組工作時間為9：00-18：00。

圖8

圖8 可以看出研發(fā)部門常用的工作網(wǎng)站是emali.hightech.com，git.hightech.com、OA.hightech.com、jira.hightech.com 等內(nèi)部網(wǎng)站，非研發(fā)部門的常用工作網(wǎng)站是 emali.hightech.com、OA.hightech.com、www.baidu.com、www.google.com、www.yahoo.com、ju.taobao.com 等，他們使用搜索引擎查詢信息，也會訪問淘寶等其他網(wǎng)站。

圖9 部門員工收發(fā)郵件數(shù)

如圖9 所示，我們按部門統(tǒng)計員工每三天的收發(fā)郵件數(shù)量。發(fā)現(xiàn)人力資源部門每三天的個人收發(fā)件區(qū)間在25-210 之間；財務(wù)部門每三天的收發(fā)件區(qū)間在25-245 之間；研發(fā)部門每三天的收發(fā)件數(shù)分為2 個團體，其中普通員工的收發(fā)件數(shù)在0-200 之間，員工id為1060、1087、1092、1098、1100、1154、1191、1207、1209的員工每三天的收發(fā)件數(shù)在300-1450 之間。

圖10 員工11月上下行流量圖

圖11 員工某天上下行流量示例

2.3 異常事件的可視分析

我們首先將E-mail 文件中的郵件主題和checking文件打卡信息結(jié)合，發(fā)現(xiàn)打卡系統(tǒng)存在異常。存在員工請假成功、員工已經(jīng)辭職，但仍被判定為曠工的情況，這種誤判可能會影響員工積極性，值得關(guān)注。

然后，觀察到郵件主題存在EmergencyDataBaseFatalError，對tcpLog 文件統(tǒng)計分析，發(fā)現(xiàn)該類郵件集中發(fā)送的時間段內(nèi)，存在四種數(shù)據(jù)庫崩潰的情況。

圖12 數(shù)據(jù)庫預(yù)警時間前后的數(shù)據(jù)庫流量和

圖10 可以看出產(chǎn)生流量的時間區(qū)間為4：00-22：00，再與郵件日志信息匹配，發(fā)現(xiàn)4：00-6：00 為系統(tǒng)自動發(fā)件時間，員工則在8：00-10：00、12：00-16：00 為上下行流量高峰期，10：00-12：00 為上下行流量緩和期。圖12 可以看出在周六的時候，SMTP 協(xié)議的上行流量達到每周的峰值，有可能員工們在這一天通過郵件往來匯報一周的工作情況等，郵件使用頻率高。

接下來，對login 文件分析，發(fā)現(xiàn)其中有許多登陸失敗的狀態(tài)，統(tǒng)計各個協(xié)議登錄的頻率和成功率。發(fā)現(xiàn)11/04 該天的成功率明顯低于其他日期。進一步分析該天協(xié)議對應(yīng)的IP 服務(wù)器，尋找端口問題。

圖13 所有協(xié)議登錄的頻率與成功率

對tcplog 文件進一步細(xì)化分析，對每個協(xié)議在一個月內(nèi)的上下行流量進行了繪圖。

圖14 所有協(xié)議上下行流量

可以發(fā)現(xiàn)，在7 號的mongodb 協(xié)議和15 號的FTP協(xié)議存在明顯的高峰異常。分別對其中流量排名前五的IP 進行單點追蹤，找出了這些IP 在一個月內(nèi)的下行流量使用情況。可以看出，10.64.105.107 在15 號的FTP 文件傳輸下行流量異常；10.64.105.192 在15 號和22 號的FTP 文件傳輸有下行流量異常。

圖15 FTP協(xié)議的月下行流量

最后，對HTTP 協(xié)議的上下行流量分析，發(fā)現(xiàn)存在部分不活躍的服務(wù)器（超過十五天沒有訪問過HTTP協(xié)議），提取這些IP 進一步對它們在其他協(xié)議上的流量分析分析，這些不活躍服務(wù)器中的大部分都沒有連接過其他協(xié)議。綜合上述異常，我們發(fā)現(xiàn)打卡離職人員中，ID 為1487 的員工也擔(dān)任著接收EmergencyData-Base 郵件并對數(shù)據(jù)庫進行維護的責(zé)任，這個時候重要人物的離職可能會對公司造成影響。

3 結(jié)語

本文所選取的數(shù)據(jù)可視分析[9]方案從不同的角度對數(shù)據(jù)集進行分析，得到的結(jié)果可以從多方面驗證員工分組的有效性；我們從實際出發(fā)，盡可能多地從各方面展示員工的正常工作模式；我們考慮與網(wǎng)絡(luò)有關(guān)的方方面面，去挖掘網(wǎng)絡(luò)日志背后的信息和故事。使用戶可以從多個維度對數(shù)據(jù)進行分析，得到問題的答案，挖掘潛在的信息價值[8]。