邵云蛟　吳麗莎　張凱　吳屏

摘 要：目前，公司信息安全情報收集工作主要依靠人工方式進行。主要由運維人員每日登陸相關(guān)信息安全資訊網(wǎng)站或接收由綠盟、啟明等安全廠商發(fā)送的信息安全情報信息，這種方式效率低下，耗時耗力。

關(guān)鍵詞：Python；終端監(jiān)控；安全管理

中圖分類號：TP391 文獻標(biāo)識碼：A 文章編號：1671-2064（2018）13-0019-01

為了提升公司信息安全情報的收集效率，實時掌握網(wǎng)絡(luò)安全態(tài)勢[1]，公司研發(fā)了基于Python的信息安全情報收集工具。工具可通過網(wǎng)絡(luò)爬蟲[2]從百度、360等5家搜索引擎，F(xiàn)reebuf、Rapid7等4家信息安全資訊網(wǎng)站的對接，并實現(xiàn)了與綠盟、啟明、天融信等6家信息安全廠商信息安全情報服務(wù)的對接，通過自動化手段[3]完成信息安全情報收集工作。

1 工具原理及功能

工具使用MVC框架，從功能上分為3層。分別為數(shù)據(jù)收集層、分析處理層、用戶接口層。

數(shù)據(jù)收集層由網(wǎng)絡(luò)爬蟲模塊及郵件接收模塊構(gòu)成，主要用于完成原始信息安全情報數(shù)據(jù)的收集。

分析處理層的核心模塊為文字處理模塊，該模塊會對信息安全情報進行分詞處理，并進行熱點詞分析。

用戶接口層由安全預(yù)警模塊構(gòu)成，該模塊會將經(jīng)過篩選的需要運維人員關(guān)注的信息安全情報鏈接推送該信息安全運維專用郵箱，以便于運維人員查閱。

具體功能模塊如下：

1.1 網(wǎng)絡(luò)爬蟲模塊

網(wǎng)絡(luò)爬蟲模塊使用Python Requests Scrapy標(biāo)準(zhǔn)功能，實現(xiàn)對Google、百度、Bing、Yahoo、NHN五個搜索引擎的對接。分別利用這五個搜索引擎檢索“漏洞”、“計算機病毒”、“木馬”、“后門”、“蠕蟲”、“信息安全大事件”等11個關(guān)鍵詞的前100條記錄，并爬取Freebuf、Rapid7等4家信息安全專業(yè)資訊網(wǎng)站最新安全資訊，并將獲取的網(wǎng)頁文字?jǐn)?shù)據(jù)發(fā)送給文字分析模塊。

1.2 文字分析模塊

文字分析模塊主要負責(zé)對網(wǎng)絡(luò)爬蟲模塊爬取的信息安全文字情報進行分析。文字分析模塊的主要功能如下：

（1）利用Python jieba、matplotlib、wordcloud、snownlp庫提取信息安全情報標(biāo)題的關(guān)鍵字。

（2）文檔在搜索引擎的排序在很大程度上反應(yīng)了該文檔在互聯(lián)網(wǎng)上的熱度或點擊率，文字分析某塊會自動分析出熱度不斷上升的文檔。

（3）由于不同搜索引擎對于同一文檔的檢索熱度變化會有所不同。因此，我們確定了Google>百度>Bing>Yahoo>NHN的底層判斷邏輯。文檔的最終熱度變化以靠前的搜索引擎為準(zhǔn)。

（4）文字分析模塊具有關(guān)鍵字統(tǒng)計分析功能，該模塊可以提煉出每個文檔的關(guān)鍵詞，并針對熱度上升的帖子，進行關(guān)鍵詞的統(tǒng)計，提煉出當(dāng)前的熱點關(guān)鍵詞，供信息安全運維人員參考。

（5）信息安全運維人員每天針對hot_status狀態(tài)為UP的情報進行查看。根據(jù)近兩個月的運行結(jié)果，每天被標(biāo)記為UP的文檔數(shù)據(jù)約50-100條。通過對文檔名稱進行人工識別后，有價值的情報約占5%-10%，在文檔篩選過程中，信息安全運維人員可將無用的文檔標(biāo)記為“不關(guān)注”，這樣該文檔的熱度值將始終為100（數(shù)值越大熱度越低，100為最大值），進而降低后續(xù)情報識別的工作量。信息安全情報查看界面如圖1，圖2。

1.3 安全預(yù)警模塊

安全預(yù)警模塊實現(xiàn)了與公司短信平臺及郵件系統(tǒng)的對接，每日將信息安全情報摘要短信發(fā)送給信息安全運維人員，并將帶有信息安全情報鏈接的郵件發(fā)送給信息安全情報專用郵箱，以便于運維人員快速查閱。

2 結(jié)語

通過利用該工具，信息安全運維人員的情報收集效率大幅提升。之前，公司專人每周一利用1天時間進行人工信息安全情報收集工作，且覆蓋面不足，極易造成遺漏?，F(xiàn)在通過自動化手段，單人15分鐘內(nèi)就可完成前一天的信息安全情報數(shù)據(jù)分析工作。同時，該系統(tǒng)的熱點關(guān)鍵詞提醒功能還可以輔助信息安全運維人員進行人工信息安全情報收集。極大的提升了工作效率以及信息安全情報收集工作的實時性。

參考文獻

[1]溫曉勇.基于網(wǎng)絡(luò)爬蟲技術(shù)的情報信息搜索系統(tǒng)的設(shè)計與實現(xiàn)[D].北京大學(xué)，2013.

[2]薛麗敏，吳琦，李駿.面向?qū)Ｓ眯畔@取的用戶定制主題網(wǎng)絡(luò)爬蟲技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2017，（2）：12-21.

[3]沈壽忠.基于網(wǎng)絡(luò)爬蟲的SQL注入與XSS漏洞挖掘[D].西安電子科技大學(xué)，2009.