■本刊記者 章繼剛

隨著數(shù)據(jù)資源的爆炸式增長，網(wǎng)絡爬蟲的應用場景和商業(yè)模式變得更加廣泛和多樣。網(wǎng)絡爬蟲作為數(shù)據(jù)抓取的實踐工具，構成了互聯(lián)網(wǎng)開放和信息資源共享理念的基石，如同互聯(lián)網(wǎng)世界的一群工蜂，不斷地推動網(wǎng)絡空間的建設和發(fā)展。

“據(jù)統(tǒng)計，2019 年就有近40% 的Web 流量來 自爬蟲。但是，其中20% 的Web 流量卻來自惡意爬蟲，且比例正在不斷上升。惡意爬蟲主要用于針對所有行業(yè)、地區(qū)和渠道的Web 內容搜刮、交易欺詐、垃圾郵件以及DDoS 和撞庫攻擊。其中，金融、電商、游戲、媒體、酒店等已經(jīng)成為重災區(qū)。Akamai 和Ponemon Institute 聯(lián)合研究顯示，惡意爬蟲攻擊給企業(yè)平均每年帶來高達270 萬美元的巨大損失。”Akamai 中國區(qū)企業(yè)事業(yè)部總經(jīng)理何銘表示。

Akamai 在2017 年12 月至2019 年11 月間，共觀察到850 億次撞庫攻擊，且無一行業(yè)能夠幸免。更可怕的是，惡意爬蟲一直在改變自身行為。具體來講，這些爬蟲的復雜程度已到第四代、能夠模仿人類的行為。若想打敗這些高度復雜的爬蟲，企業(yè)機構就需要一種高級且智能的爬蟲管理工具，進行分層檢測來找到那些“披著羊皮的狼”。

值得慶幸的是，越來越多的企業(yè)開始重視爬蟲管理，市場也越來越成熟。

作為CDN 服務提供商，Akamai 每天交付的Web 流量每秒超過50TB，這一優(yōu)勢使得Akamai 有能力去監(jiān)控互聯(lián)網(wǎng)上的攻擊情況，特別是對于爬蟲攻擊的監(jiān)控。獨立研究公司Forrester 近期認定Akamai 為爬蟲程序管理領域的領導者。與此同時，Akamai 剛剛對其爬蟲管理解決方案進行了全方位升級，以更好幫助企業(yè)機構在不斷演變的爬蟲環(huán)境中始終快人一步，并將高度復雜的爬蟲扼殺在邊緣之處。

Akamai 的爬蟲程序管理解決方案通過其智能邊緣 平 臺（Intelligent Edge Platform）上無與倫比的數(shù)據(jù)量來支持高級機器學習算法，從而提供了基于行為的檢測。Akamai 通常每天要與13 億臺不同設備進行交互，可以識別從客戶端收集的數(shù)百個信令中的異常情況，從而檢測出最為復雜的爬蟲程序。

Akamai 大中華區(qū)產(chǎn)品市場經(jīng)理劉炅強調：“Akamai的防護方案不是一個單點的防護方案，是一個分層次的全棧的防護方案，從DDoS 的防護到網(wǎng)頁的防護，到爬蟲的管理，甚至對于API 的認證檢測以及API 的攻擊都可以進行防護。所以，基于Akamai 本身的邊緣安全的能力，我們提供了一整套的防護的解決方案去抵御惡意爬蟲的攻擊?！?/p>