■本刊記者 章繼剛

隨著數(shù)據(jù)資源的爆炸式增長，網(wǎng)絡(luò)爬蟲的應(yīng)用場景和商業(yè)模式變得更加廣泛和多樣。網(wǎng)絡(luò)爬蟲作為數(shù)據(jù)抓取的實踐工具，構(gòu)成了互聯(lián)網(wǎng)開放和信息資源共享理念的基石，如同互聯(lián)網(wǎng)世界的一群工蜂，不斷地推動網(wǎng)絡(luò)空間的建設(shè)和發(fā)展。

“據(jù)統(tǒng)計，2019 年就有近40% 的Web 流量來 自爬蟲。但是，其中20% 的Web 流量卻來自惡意爬蟲，且比例正在不斷上升。惡意爬蟲主要用于針對所有行業(yè)、地區(qū)和渠道的Web 內(nèi)容搜刮、交易欺詐、垃圾郵件以及DDoS 和撞庫攻擊。其中，金融、電商、游戲、媒體、酒店等已經(jīng)成為重災(zāi)區(qū)。Akamai 和Ponemon Institute 聯(lián)合研究顯示，惡意爬蟲攻擊給企業(yè)平均每年帶來高達(dá)270 萬美元的巨大損失。”Akamai 中國區(qū)企業(yè)事業(yè)部總經(jīng)理何銘表示。

Akamai 在2017 年12 月至2019 年11 月間，共觀察到850 億次撞庫攻擊，且無一行業(yè)能夠幸免。更可怕的是，惡意爬蟲一直在改變自身行為。具體來講，這些爬蟲的復(fù)雜程度已到第四代、能夠模仿人類的行為。若想打敗這些高度復(fù)雜的爬蟲，企業(yè)機(jī)構(gòu)就需要一種高級且智能的爬蟲管理工具，進(jìn)行分層檢測來找到那些“披著羊皮的狼”。

值得慶幸的是，越來越多的企業(yè)開始重視爬蟲管理，市場也越來越成熟。

作為CDN 服務(wù)提供商，Akamai 每天交付的Web 流量每秒超過50TB，這一優(yōu)勢使得Akamai 有能力去監(jiān)控互聯(lián)網(wǎng)上的攻擊情況，特別是對于爬蟲攻擊的監(jiān)控。獨(dú)立研究公司Forrester 近期認(rèn)定Akamai 為爬蟲程序管理領(lǐng)域的領(lǐng)導(dǎo)者。與此同時，Akamai 剛剛對其爬蟲管理解決方案進(jìn)行了全方位升級，以更好幫助企業(yè)機(jī)構(gòu)在不斷演變的爬蟲環(huán)境中始終快人一步，并將高度復(fù)雜的爬蟲扼殺在邊緣之處。

Akamai 的爬蟲程序管理解決方案通過其智能邊緣 平 臺（Intelligent Edge Platform）上無與倫比的數(shù)據(jù)量來支持高級機(jī)器學(xué)習(xí)算法，從而提供了基于行為的檢測。Akamai 通常每天要與13 億臺不同設(shè)備進(jìn)行交互，可以識別從客戶端收集的數(shù)百個信令中的異常情況，從而檢測出最為復(fù)雜的爬蟲程序。

Akamai 大中華區(qū)產(chǎn)品市場經(jīng)理劉炅強(qiáng)調(diào)：“Akamai的防護(hù)方案不是一個單點的防護(hù)方案，是一個分層次的全棧的防護(hù)方案，從DDoS 的防護(hù)到網(wǎng)頁的防護(hù)，到爬蟲的管理，甚至對于API 的認(rèn)證檢測以及API 的攻擊都可以進(jìn)行防護(hù)。所以，基于Akamai 本身的邊緣安全的能力，我們提供了一整套的防護(hù)的解決方案去抵御惡意爬蟲的攻擊。”