一種基于HTML動態(tài)化的惡意爬蟲主動防御方法
2019-10-08 07:45:24丁文豪武斌
軟件 2019年1期
丁文豪 武斌
摘? 要： 目前針對爬蟲的防御技術(shù)主要是根據(jù)檢測結(jié)果對惡意爬蟲進行封禁，檢測和防御機制單一，無法應(yīng)對復雜多變的惡意爬蟲，檢測誤判率高，容易造成誤封、漏封。本文提出一種基于移動目標防御思想的惡意爬蟲主動防御技術(shù)，使用一種新型的HTML動態(tài)化方法，結(jié)合自適應(yīng)跳變策略來遏制爬蟲規(guī)則的制訂和后續(xù)的惡意操作。通過實驗對比，本文提出的主動防御的方法可以有效地限制惡意爬蟲自動化、批量化的行為;在保證數(shù)據(jù)內(nèi)容安全的前提下有效地降低了其對服務(wù)性能的影響。
關(guān)鍵詞： 主動防御;移動目標防御;惡意爬蟲;數(shù)據(jù)安全
中圖分類號： TP393? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.01.011
【Abstract】： Nowadays， the researches of malicious crawler defense mainly depends on the detection results to block the malicious crawler`s IP address. The single detection and defense mechanism unable to deal with the complex and changeable malicious crawlers， the high error rate of detection resulting in false blocking and leaky blocking. This paper proposes a malicious crawler active defense technology based on the idea of moving target defense， and uses a new dynamic method of HTML. Combined with adaptive jump strategy to curb the formulation of crawler rules and subsequent malicious operations. Through experimental comparison， the active defense method proposed in this paper can effectively limit the automated and batch behavior of malicious crawlers; in the premise of ensuring the security of data content， it can effectively reduce the impact on service performance.
【Key words】： Active defense; Moving target defense; Malicious crawler; Information security
0? 引言
大數(shù)據(jù)時代背景下，人們獲取有效信息的需求不斷增加，網(wǎng)絡(luò)爬蟲作為自動化獲取信息的有力助手得以迅猛發(fā)展[1]。網(wǎng)絡(luò)爬蟲能夠根據(jù)預設(shè)規(guī)則實現(xiàn)自動化、持續(xù)化、低成本地和網(wǎng)絡(luò)應(yīng)用進行交互，使之被應(yīng)用到了各個領(lǐng)域，如用以解決信息過載的搜索引擎[2]。
在享受網(wǎng)絡(luò)爬蟲帶來的便利的同時，網(wǎng)絡(luò)爬蟲也帶來了諸多安全隱患，企業(yè)核心數(shù)據(jù)被利用網(wǎng)絡(luò)爬蟲暴力批量獲取、非法批量采集敏感數(shù)據(jù)進行社會工程學攻擊、刷票/刷點評/秒殺工具帶來惡意競爭、批量檢測站點漏洞從而造成經(jīng)濟損失以及占用網(wǎng)絡(luò)帶寬、虛耗網(wǎng)絡(luò)資源等[3]，這些不按照網(wǎng)站給出的robots協(xié)議，未經(jīng)授權(quán)進行惡意訪問的爬蟲本文中定義為惡意爬蟲，這些爬蟲的存在對網(wǎng)絡(luò)環(huán)境帶來了巨大的安全隱患。
Distil Networks 2018研究報告指出，互聯(lián)網(wǎng)中有約40%～60%的流量來自網(wǎng)絡(luò)爬蟲，其中惡意爬蟲占據(jù)一半的流量[4]。惡意爬蟲的存在給網(wǎng)絡(luò)安全帶來了新的挑戰(zhàn)，如何高效的防御惡意爬蟲成為網(wǎng)絡(luò)應(yīng)用建設(shè)者和安全研究者的共同目標。
本文提出一種基于移動目標防御且自適應(yīng)調(diào)整變換頻率的惡意爬蟲主動防御方法，能夠有效的對惡意爬蟲進行防御，并能夠在保證數(shù)據(jù)安全的前提下降低時間和資源的開銷。本文主要提出一種新型的HTML動態(tài)化方法，來增強HTML代碼的復雜性和不可預測性，并通過實驗驗證其有效性;提出一種自適應(yīng)調(diào)整變換頻率的策略，通過實驗證明該策略可以有效的降低系統(tǒng)的開銷。
1? 研究現(xiàn)狀
惡意爬蟲帶來的安全隱患已經(jīng)引起了研究人員和網(wǎng)絡(luò)應(yīng)用從業(yè)者的廣泛關(guān)注，提出了很多防御機制，現(xiàn)階段常見的防御方式有依據(jù)檢測結(jié)果對相應(yīng)的IP地址進行封禁，采用驗證碼進行限制和利用頁面元素隨機化進行主動防御的機制。
魯念平[5]檢測后利用圖形驗證碼進行攔截，該方案的主要觀點是，通過識別進行封禁，為了容錯性，選用了較為簡單的數(shù)字和字母混合的驗證碼方式進行攔截。然而，當前技術(shù)研究中已經(jīng)出現(xiàn)了大量針對驗證碼識別的模型，能夠快速準確的進行識別、提交，該方案無法達到預期效果。
歐陽志友[6]等人提出行為式驗證碼，通過梯度提升模型的二分器對訪問者的鼠標軌跡進行分類，可以限制對惡意爬蟲的訪問，但是文章中并未提及該驗證碼的實際形式，并且，現(xiàn)有的惡意網(wǎng)絡(luò)爬蟲技術(shù)有能力可以事先錄制鼠標軌跡進行模擬，能夠完全繞過該類驗證碼。
任宏偉[7]提出基于BreakOut異常檢測算法，對異常流量的IP地址進行懲罰封殺，從而降低異常流量占比，緩解網(wǎng)站服務(wù)的壓力，該方法完全依賴檢測結(jié)果，如果檢測結(jié)果存在較高誤差，將會對正常用戶進行限制，影響系統(tǒng)的可用性;另一方面，考慮到IPv4的有限性，多數(shù)的客戶端都使用的一個出口IP，如果對IP地址進行懲罰，將會導致大量正常用戶無法訪問。因此該方法無法保證系統(tǒng)的用戶體驗。
Wang W[8]等人，利用將HTML頁面靜態(tài)的標簽隨機化用來限制對頁面內(nèi)容的持續(xù)匹配從而限制惡意爬蟲和廣告過濾器，使用隨機數(shù)增加了爬蟲批量化的難度，但是靜態(tài)路徑問題依然存在，通過xPath方式進行路徑匹配可以完全定位，并沒能解決爬蟲問題。另一方面，該方案沒有考慮到頁面性能的問題，為了防御爬蟲增加的各類特征，都增加了系統(tǒng)的資源開銷。
以上研究都對惡意爬蟲的防御起到了一定作用，但是主要還依賴于檢測結(jié)果，由于檢測、防御機制的單一，在面對智能化的爬蟲檢測成功率越來越低，無法有效的檢測出目前復雜多變的惡意爬蟲，進而導致防御機制的誤封、漏封。本文提出的HTML動態(tài)化的惡意爬蟲主動防御方法，可以有效的增加爬蟲編寫者的分析難度，增加頁面的復雜性和不可預測性，通過主動、動態(tài)的方式預先加固了頁面的脆弱環(huán)節(jié)。
2? 基于HTML動態(tài)化的惡意爬蟲主動防御方法
該方法主要解決HTML內(nèi)容靜態(tài)性、路徑單一性、確定性所帶來數(shù)據(jù)安全威脅的問題，旨在通過HTML代碼動態(tài)化的方式，在保證不影響瀏覽器的正常解析的前提下，消除靜態(tài)、唯一匹配的元素、路徑，并在此基礎(chǔ)之上提出一種自適應(yīng)的跳變策略，降低系統(tǒng)因跳變所帶來的能耗。圖1所示為本文中主動防御方法的流程圖，接下來章節(jié)將對該方法中的頁面動態(tài)化和自適應(yīng)策略進行進一步闡述。
2.1? 頁面動態(tài)化
惡意爬蟲的工作依賴于一系列預先設(shè)定好的規(guī)則，可以歸納為正則匹配和路徑匹配兩類。前者通過分析預匹配內(nèi)容所在HTML內(nèi)的位置，制訂相應(yīng)的正則表達式;后者通過分析DOM樹的xPath路徑，來確定精準指向目標元素的路徑。為了更好地分析這些規(guī)則中存在的共性問題，本文通過針對Alexa排名前1000的站點編寫對應(yīng)的爬蟲進行分析對比，如圖2所示，現(xiàn)有爬蟲通常依賴于HTML代碼中的靜態(tài)內(nèi)容，如靜態(tài)class/id/name等屬性值或由于HTML 的DOM樹結(jié)構(gòu)導致的確定性的路徑，因此本文提出動態(tài)加密算法和動態(tài)陷阱的概念對靜態(tài)屬性和路徑進行動態(tài)化處理。
2.1.1? 動態(tài)加密靜態(tài)元素
由于HTML靜態(tài)屬性值賦予了爬蟲匹配規(guī)則的唯一定位和持久可用性，本文采用動態(tài)加密的方式對靜態(tài)屬性進行加密處理，使得每次響應(yīng)的HTML代碼中原有的HTML靜態(tài)屬性動態(tài)變化，且具有不可逆向和不可預測性。
文獻[8]提到的頁面隨機化技術(shù)應(yīng)用于阻止AdBlock，其將HTML靜態(tài)屬性進行隨機化處理，需要將隨機化的內(nèi)容進行映射存儲，存在逆向風險。本文引入一種動態(tài)加密算法，將Rijndael算法進行改進提升。Rijndael算法是基于代換-置換網(wǎng)絡(luò)（SPN，Substitution-permutation network）的迭代算法[9]，具有較高的效率和安全性。
2.1.2? 動態(tài)陷阱
經(jīng)過驗證，對HTML靜態(tài)屬性值動態(tài)化之后，靜態(tài)路徑仍然存在單一性和可匹配性的問題存在，由于HTML源代碼DOM（文檔對象模型）樹結(jié)構(gòu)的緣故，父、子、同胞、先輩以及后代節(jié)點的上下級關(guān)系確定了任意子節(jié)點都至少存在一條從根節(jié)點到該節(jié)點的路徑支持精準定位，并且由于路徑是由元素標簽依次組成的，在沒有新的元素生成的前提下該路徑是靜態(tài)不變的，從圖中可以觀察到，即使其屬性或者文本發(fā)生變化也不會影響到該從根元素到該元素的路徑。惡意爬蟲可以利用xPath等selector方式進行精準定位，提取定位到節(jié)點的內(nèi)容、屬性或者事件做相應(yīng)操作。
通過實驗分析，指向指定節(jié)點的任一路徑如果中間插入了任一標簽，都會影響到該路徑的準確性，路徑會發(fā)生變化，從而消除靜態(tài)路徑的可匹配性。因此，本文提出一種動態(tài)陷阱技術(shù)，消除DOM樹結(jié)構(gòu)導致的靜態(tài)路徑問題，使HTML在動態(tài)加密靜態(tài)屬性之后動態(tài)混淆DOM層級關(guān)系。動態(tài)陷阱的目標是動態(tài)地加入隱藏DOM樹節(jié)點，只是影響DOM樹的層級結(jié)構(gòu)的相對位置，消除DOM路徑的單一性和可匹配性。本文提出自動抽取當前頁面結(jié)構(gòu)，動態(tài)加入陷阱節(jié)點。
該模塊根據(jù)指定內(nèi)容進行動態(tài)插入陷阱節(jié)點，主要分為插入點的選取和插入內(nèi)容的選取兩部分。
（1）插入點的選取
路徑/html/body/div[5]/dl/dd/ul/li[7]/div[2]/div[1]/a表示的是一條指向a節(jié)點的路徑，路徑由節(jié)點、謂語等構(gòu)成，其中謂語包含在[]中，表示在當前級別中選取的該類節(jié)點的第幾個節(jié)點。路徑的語法包含了根據(jù)DOM樹結(jié)構(gòu)的特點可以看出，在此條路徑中a元素的上級添加任意節(jié)點都會改變指向當前a節(jié)點的路徑。
根據(jù)設(shè)定需要防護的內(nèi)容首先找到該內(nèi)容所處節(jié)點的路徑，DOM樹節(jié)點的精準路徑會因為該節(jié)點的先輩節(jié)點和前驅(qū)同胞節(jié)點的增減而變化，故選取插入點的方式便是在其先輩節(jié)點中進行插入或在其前面插入同胞節(jié)點。因此可以根據(jù)指定節(jié)點計算其先輩節(jié)點和前驅(qū)同胞節(jié)點的可能情況。
（2）插入內(nèi)容的選取
DOM樹中節(jié)點包含標簽、標簽屬性以及內(nèi)容，標簽一般包含起始標簽和結(jié)束標簽均嵌入在尖括號中，內(nèi)容位于兩個標簽的中間，如
（3）基于梅森旋轉(zhuǎn)算法的插入機制
插入機制通過隨機選擇的方式從插入點和插入內(nèi)容中進行選取，為了能夠提升隨機性和不可預測性，需要對插入位置和插入內(nèi)容進行隨機選擇，用來產(chǎn)生隨機數(shù)的方法有很多，如線性同余法、平方取中法以及梅森旋轉(zhuǎn)算法，考慮到隨機數(shù)質(zhì)量以及生成效率都有很大的優(yōu)勢[12]，本文中引入梅森旋轉(zhuǎn)法做相應(yīng)改造后來進行隨機選擇，通過實驗分析動態(tài)陷阱具有很高的不可逆向性和不可預測性，能夠高效地消除HTML中的靜態(tài)路徑問題。
2.2? 自適應(yīng)調(diào)整動態(tài)頻率
移動目標防御最重要的三個問題，“變什么”、“什么時間變”以及“怎么變”，前邊章節(jié)已經(jīng)講述了“變什么”和“怎么變”，而動態(tài)的改變就會給系統(tǒng)帶來負面影響，影響系統(tǒng)的響應(yīng)時間，因此選取一個合理的跳變策略，能夠?qū)崿F(xiàn)一個高效的移動目標防御系統(tǒng)[10-11]。
文獻[8]中忽略了對實際應(yīng)用中并發(fā)的考慮，假設(shè)web頁面元素動態(tài)化頻率為1秒鐘一次，在t0時刻剛結(jié)束上一次跳變則t0+1時刻繼續(xù)跳變，這時，如果訪問量達到了原有系統(tǒng)（未加跳變模塊時）的最大承受量，且響應(yīng)時間接近1秒，即系統(tǒng)將針對每一個響應(yīng)都要進行一次跳變，系統(tǒng)的，進而無法繼續(xù)提供服務(wù)。
本文提出一種自適應(yīng)調(diào)整變換頻率的策略，旨在降低因動態(tài)化帶來的系統(tǒng)開銷。自適應(yīng)的初衷即是為了能夠更好的利用系統(tǒng)性能，保證系統(tǒng)的服務(wù)質(zhì)量，引進一種對系統(tǒng)剩余性能狀態(tài)進行量化的方法，該方法對系統(tǒng)的性能指標實時采集、計算，從而得出目前的系統(tǒng)性能狀態(tài)。為了確保系統(tǒng)性能狀態(tài)對自適應(yīng)策略影響的準確性，需要獲得較為全面的系統(tǒng)信息參數(shù)，采集和處理過程中過多的參數(shù)會帶來額外的開銷。如果對性能的改進不能彌補過程中額外的開銷，過多的參數(shù)易造成負載均衡服務(wù)器過載。因此，盡量避免引入過多冗余的參數(shù)。根據(jù)本系統(tǒng)實際情況分析，由于服務(wù)器節(jié)點在存儲方面對系統(tǒng)負載影響較小，本文中的方法不考慮硬盤利用率，采用CPU利用率、內(nèi)存利用率和IO消耗。
3? 模型驗證
為了測試本文中的模型的安全性和效率，本文開發(fā)了支持各類請求和實際訪問的web應(yīng)用，用于實驗測試。使用Python語言搭建一個涵蓋所有頁面類型的站點，其中包括各類可匹配的靜態(tài)元素、靜態(tài)路徑，支持惡意爬蟲的采集爬取、惡意模擬提交等150個web頁面。
3.1? 頁面動態(tài)化實驗分析
本文中頁面動態(tài)化主要采用了對靜態(tài)屬性動態(tài)加密和動態(tài)插入陷阱節(jié)點，增強了頁面數(shù)據(jù)的安全性，降低了冗余存儲以及加密時間，因此本實驗選擇本文方法（方案一）與文獻[8]（方案二）以及普通方案（正常情況）進行比較，主要從爬蟲交互的成功率、動態(tài)化時間兩個維度進行實驗。
爬蟲交互成功率采用實際請求的方式，分別使用成熟的爬蟲工具（八爪魚、集搜客等）、GitHub成熟的爬蟲代碼以及針對性的編寫爬蟲代碼三種方式進行對自建站點的所有頁面惡意爬取和交互，并統(tǒng)計每種方案下的交互成功率。
分析不同方案對頁面加載時間的影響，為了更好地統(tǒng)計頁面加載時間，降低其它因素對響應(yīng)時間的干擾，本次實驗中采用對不同大小頁面進行分組，分為了0-0.5*10^6byte，0.5-01*10^6byte以此類推共計六組來驗證三種方案下頁面加載時間;加載時間的記錄通過對每個重復頁面請求10次取均值處理。
表1中數(shù)值代表了不同防御方案、不同爬蟲工具對實驗站點所有頁面進行交互的成功率，通過對比實驗結(jié)果可以發(fā)現(xiàn)，由于文獻[8]中只是對靜態(tài)屬性值進行了隨機化，從一定程度上對惡意爬蟲進行了限制，但是針對性代碼仍能通過xPath路徑，仍可以精準定位到關(guān)鍵元素，并進行后續(xù)的惡意攻擊操作。而本文中提出的方案在各類攻擊工具面前成功率均在10%以內(nèi)，幾乎能夠?qū)λ许撁孢M行防護。因此，本文提出的方案能夠有效的對惡意爬蟲進行全面的防御。
可以看出本文中提出的方案在各類頁面大小分組下都具有較好的優(yōu)勢，另外由于方案二中增加了過多的冗余存儲，當頁面過大，過多元素映射關(guān)系的存儲帶來檢索的壓力，導致時間變長，實驗結(jié)果也表明，當頁面不斷增大時，本文提出的方案（方案二）的效果也更為凸顯。
3.2? 自適應(yīng)策略性能分析
增加動態(tài)化策略增大了系統(tǒng)的開銷，為了能夠選定一個高效率的動態(tài)頻率，將本文提出的自適應(yīng)動態(tài)頻率和固有頻率進行對比，固有頻率選取保證安全性前提下的三個值與自適應(yīng)頻率進行對比。
編寫實時獲取系統(tǒng)性能指標的代碼用于自適應(yīng)跳變策略的，本實驗增加動態(tài)變換策略后主要影響的性能點事CPU利用率和頁面響應(yīng)時間，本文中采用真實的用戶進行對站點的訪問進行實驗，實驗分組分為四組，各組配置如表2所示。
以上分析可以得出，當加入動態(tài)策略之后，系統(tǒng)的性能受到影響，并且隨著用戶并發(fā)量愈發(fā)顯著，在不考慮性能的情況下，每秒鐘對頁面進行一次動態(tài)加密，幾乎可以完全阻止頁面數(shù)據(jù)的采集行為，但是頻率越大，對性能影響也越大，在自建站點上正常最佳用戶量為40，當頻率達到一秒鐘一次自建系統(tǒng)最佳用戶量為25，自適應(yīng)策略可以根據(jù)系統(tǒng)真實情況自適應(yīng)動態(tài)調(diào)整變換頻率，從而減少了系統(tǒng)消耗并提升了數(shù)據(jù)安全性。
4? 總結(jié)
本文針對惡意爬蟲利用靜態(tài)路徑進行惡意操作的問題，提出了惡意陷阱技術(shù)，通過動態(tài)化的添加陷阱節(jié)點消除了靜態(tài)路徑帶來的精準匹配隱患;同時對靜態(tài)屬性隨機化進行優(yōu)化，使用動態(tài)加密算法解決了利用正則等方式進行匹配目標元素的問題，這兩個主動、動態(tài)措施有效的遏制了復雜多變的爬蟲的惡意行為，彌補了現(xiàn)有被動防御技術(shù)中過于單一、誤判率高等問題。另外，本文考慮到動態(tài)化帶來的資源消耗問題，提出一種自適應(yīng)的動態(tài)化機制，有效地降低了因附加動態(tài)化而帶來的系統(tǒng)性能問題。
參考文獻
Lee J， Cha S， Lee D， et al. Classification of web robots： An empirical study based on over one billion requests[J]. Computers & Security， 2009， 28（8）： 795-802.
胡晟. 基于網(wǎng)絡(luò)爬蟲的Web挖掘應(yīng)用[J]. 軟件， 2012， 7： 145-147.
Vikram S， Yang C， Gu G. NOMAD： Towards non-intrusive moving-target defense against web bots[C]//Communications and Network Security. IEEE， 2014： 55-63.
Distil Networks.2017 Bad Bot Report[R]. San Francisco， 2018.
魯念平. 針對信息披露網(wǎng)站的實時爬蟲檢測與攔截[D]. 哈爾濱工業(yè)大學， 2016.
歐陽志友， 孫孝魁等. 基于梯度提升模型的行為式驗證碼人機識別[J]. 信息網(wǎng)絡(luò)安全， 2017（9）： 143-146.
任宏偉. 基于異常檢測技術(shù)的數(shù)據(jù)防爬系統(tǒng)設(shè)計與應(yīng)用[D]. 中國科學院大學（工程管理與信息技術(shù)學院）， 2016.
Wang W， Zheng Y， Xing X， et al. WebRanz： web page randomization for better advertisement delivery and web-bot prevention[C]//ACM Sigsoft International Symposium on Foundations of Software Engineering. ACM， 2016： 205-216.
趙凱，胡云琴. Rijndael加密算法的原理分析[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用， 2015（4）： 14-15.
劉丹軍， 蔡桂林， 王寶生. AMTD： 一種適應(yīng)性移動目標防御方法[J]. 網(wǎng)絡(luò)與信息安全學報， 2018（1）： 15-25.
趙鑫. 跳變信息服務(wù)系統(tǒng)研究[J]. 軟件， 2018， 39（3）： 204- 208.
焦然， 王宜敏. 引入梅森旋轉(zhuǎn)算法的三角網(wǎng)格模型部分隱寫算法[J]. 電子測量技術(shù)， 2017（12）： 228-232.
