米沃奇

2018年春節(jié)假期即將來臨，出行需求隨之增大，不論你是旅游，還是回家，買票都是不可避免的一部分。其中，低價機(jī)票尤其受旅客青睞，但不少人都有這樣的苦惱：低價機(jī)票總是買不到，真的只是網(wǎng)速原因嗎？其實(shí)和你搶票的是網(wǎng)絡(luò)爬蟲。

據(jù)媒體報道，“機(jī)票代理”行業(yè)中，不少公司正利用爬蟲技術(shù)搶占航企官網(wǎng)放出的低價票，利用航企允許的賬期反復(fù)訂票、退訂，直至將票加價賣出，全程操作中爬蟲可替代95%的人工操作量。據(jù)業(yè)內(nèi)人士估計(jì)80%以上的低價機(jī)票是被票務(wù)公司的爬蟲搶走的。

一、爬蟲為訂票網(wǎng)站產(chǎn)生90%虛假流量

什么是爬蟲？網(wǎng)絡(luò)爬蟲又被稱為網(wǎng)頁蜘蛛，是一種按照一定的規(guī)則，自動抓取萬維網(wǎng)信息的程序或者腳本。百度、搜狗等搜索引擎，依靠巨大的爬蟲集群每天抓取數(shù)百億網(wǎng)頁。

目前爬蟲被廣泛用于互聯(lián)網(wǎng)金融、電商、社交等領(lǐng)域；在機(jī)票領(lǐng)域，爬蟲可以抓取機(jī)票價格，發(fā)現(xiàn)超值機(jī)票后，爬蟲還可以模擬真人用戶搶先預(yù)訂。

攜程的反爬蟲專家在技術(shù)分享中舉例：某網(wǎng)站的一個頁面，每分鐘的瀏覽量是1.2萬，真實(shí)用戶只有500個，爬蟲流量比例是95.8%。業(yè)內(nèi)人士表示，爬蟲所帶來的虛假流量占訂票網(wǎng)站總流量的50%，高峰期可達(dá)到90%以上。

二、利益鏈：低價機(jī)票去哪了？

爬蟲利用買來的身份信息或虛假客戶信息訂票，之后黃牛再將搶來的票高價賣出，黃金周、春節(jié)長假一張票甚至?xí)觾r1000元。

為了應(yīng)對這種虛假搶票、占座的情況，有些航空公司不得不采取潛規(guī)則：每架飛機(jī)要多賣5%至10%的票，這被稱之為“超售”，這給真實(shí)用戶帶來了問題，有的用戶會因?yàn)椤俺邸眹?yán)重?zé)o法登機(jī)。

三、”反爬蟲“之戰(zhàn)打響

網(wǎng)絡(luò)爬蟲被用來搶票，不僅侵犯了人們的權(quán)益、影響人們的日常出行，航空公司也將蒙受損失。就爬蟲生存時間的關(guān)鍵在于，在訪問網(wǎng)頁爬取數(shù)據(jù)的過程中，要盡量模擬真實(shí)用戶的行為，使服務(wù)端無法分辨是爬蟲還是用戶；如何進(jìn)行“反爬蟲”？ ISEC實(shí)驗(yàn)室專家來支招：

1）根據(jù)訪問數(shù)量來“反爬蟲”。爬蟲的訪問總數(shù)遠(yuǎn)高于人類，且訪問數(shù)量隨時間增長而表現(xiàn)出一定的線性增長規(guī)律，但大部分的真實(shí)用戶不會長時間持續(xù)訪問同一個網(wǎng)站；

2）在網(wǎng)站設(shè)置偽造的釣魚鏈接。正常情況下真實(shí)用戶不會訪問這些鏈接，-旦被訪問，則存在爬蟲的可能性就比較高；

3）進(jìn)行IP地址的分析統(tǒng)計(jì).絕大部分爬蟲為了長時間爬取數(shù)據(jù)，不會選擇在個人電腦上運(yùn)行，一般放到云服務(wù)器或者VPS?！胺磁老x”可根據(jù)來訪的IP進(jìn)行風(fēng)險屬性的細(xì)分，對IP地址進(jìn)行標(biāo)記；例如對單個IP訪問設(shè)置一個閾值，如果在—定時間超過閾值，則進(jìn)行封鎖或禁用。需要注意的是，該舉措容易誤傷真實(shí)用戶；

4）驗(yàn)證碼校驗(yàn)是反爬蟲的一個重要環(huán)節(jié)。爬蟲是按照預(yù)先設(shè)定好的流程，是無法變通的；而驗(yàn)證碼需要基于人的主觀陛去判斷，如若在驗(yàn)證過程中加入隨機(jī)陛，爬蟲繞過驗(yàn)證的過程就相對復(fù)雜。行為驗(yàn)證碼是當(dāng)下流行的一種驗(yàn)證碼，采用了多種圖像技術(shù)，能有效防止OCR的識別，防止暴力破解。如12306，就是采用點(diǎn)觸式行為驗(yàn)證碼。

有效反擊“機(jī)票代理”公司的爬蟲戰(zhàn)術(shù)，除技術(shù)手段外，航空公司可從內(nèi)部完善各項(xiàng)管理制度，勿給爬蟲留下可乘之機(jī)。此外，旅客盡可能選擇航空公司的官方網(wǎng)站購買飛機(jī)票，避免通過微信朋友圈等渠道購買低價票而上當(dāng)受騙。網(wǎng)絡(luò)爬蟲技術(shù)在提供高效搜索的同時，也帶來了安全挑戰(zhàn)，相信在相關(guān)技術(shù)、法律制度的不斷發(fā)展完善下，在各相關(guān)職能部門的共同努力下，購票機(jī)制將日益完善、旅客的合法權(quán)益將得到更好的保障。