李嘉恩

（廣東南方職業(yè)學(xué)院，廣東 江門 529000）

0 引言

大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)信息呈爆炸式增長(zhǎng)，企業(yè)、學(xué)校等為了更精準(zhǔn)地分析、預(yù)測(cè)相關(guān)目標(biāo)人群的行為、心理規(guī)律及相關(guān)事物間的聯(lián)系規(guī)律，使得網(wǎng)絡(luò)信息具有更大的商業(yè)價(jià)值[1]，開始獲取大量的網(wǎng)絡(luò)數(shù)據(jù)并進(jìn)行篩選、分析。為了提升數(shù)據(jù)挖掘的效率和準(zhǔn)確性，相關(guān)主體開發(fā)了通過爬蟲程序直接爬取目標(biāo)網(wǎng)站數(shù)據(jù)的技術(shù)。但由于對(duì)該技術(shù)的發(fā)展和應(yīng)用缺乏管制，大量不加限制的爬蟲對(duì)網(wǎng)站運(yùn)行造成了巨大壓力，可能會(huì)造成網(wǎng)站服務(wù)器宕機(jī)，進(jìn)而降低正常用戶的信息安全及使用體驗(yàn)，造成大量用戶流失，網(wǎng)站經(jīng)營(yíng)受損。為減少爬蟲造成的問題，相關(guān)主體需要從多個(gè)方面對(duì)反爬蟲技術(shù)進(jìn)行針對(duì)性的優(yōu)化，以避免違規(guī)的爬蟲信息抓取操作，對(duì)互聯(lián)網(wǎng)環(huán)境造成更嚴(yán)重的不良影響[2]。

1 目前大數(shù)據(jù)反爬蟲技術(shù)應(yīng)用存在的問題分析

1.1 技術(shù)設(shè)置方面的問題

技術(shù)設(shè)置主要體現(xiàn)在前端限制方面，限制方案不完善。一些網(wǎng)站在設(shè)置反爬蟲時(shí)，對(duì)前端限制方案不夠重視：首先，部分網(wǎng)站在制定前端設(shè)置方案時(shí)，缺乏對(duì)關(guān)鍵信息的管控，應(yīng)用CSS等技術(shù)時(shí)未能有效顯示數(shù)據(jù)偏移量，無法有效處理關(guān)鍵數(shù)據(jù)的混淆問題，不利于充分開發(fā)前端限制的價(jià)值[3]；其次，部分前端設(shè)置的設(shè)計(jì)工作沒有深入分析不同類型網(wǎng)站的信息組成情況，如沒有完整總結(jié)網(wǎng)頁信息的分析價(jià)值，導(dǎo)致難以對(duì)反爬蟲機(jī)制進(jìn)行有效測(cè)試，不利于前端限制的完善；最后，限制方案制定過程中，缺少對(duì)網(wǎng)頁中文件類型的研究，加上對(duì)爬蟲策略分析不到位，導(dǎo)致無法合理控制各技術(shù)資源的偏移量。

1.2 請(qǐng)求規(guī)則方案方面的問題

首先，制定反爬蟲技術(shù)應(yīng)用方案時(shí)，未充分考慮請(qǐng)求規(guī)則的設(shè)計(jì)問題，導(dǎo)致不能對(duì)服務(wù)器端的請(qǐng)求信息進(jìn)行有效識(shí)別，使得前端限制的有效性降低，難以從源頭上扼制爬蟲的入侵。其次，某些請(qǐng)求規(guī)則在制定時(shí)，對(duì)網(wǎng)絡(luò)服務(wù)器各項(xiàng)服務(wù)請(qǐng)求考察不全面，缺乏對(duì)信息資源屬性及配置的深入研究，難以明確信息請(qǐng)求的類型，進(jìn)而導(dǎo)致請(qǐng)求規(guī)則的制定缺少針對(duì)性。再次，一些規(guī)則在設(shè)計(jì)時(shí)缺少對(duì)網(wǎng)站運(yùn)維基礎(chǔ)條件的分析，未能完整開發(fā)數(shù)據(jù)包的價(jià)值，導(dǎo)致處理網(wǎng)站訪問信息時(shí)，無法精準(zhǔn)把握爬蟲程序的任務(wù)特征。最后，部分規(guī)則制定時(shí)對(duì)常規(guī)的訪問信息考察不足，未能有效評(píng)估并設(shè)置網(wǎng)站各項(xiàng)屬性參數(shù)[4]。

1.3 流量管控及數(shù)據(jù)加密方面的問題

流量管控是保證反爬蟲技術(shù)高質(zhì)量實(shí)施的必要措施。但現(xiàn)有流量管控措施創(chuàng)新不足，對(duì)網(wǎng)站監(jiān)控管理措施不夠重視。首先，對(duì)流量管控的探索設(shè)計(jì)不足，如對(duì)于IP地址的設(shè)計(jì)不夠，請(qǐng)求延遲的管控未能有效改進(jìn)，使得反爬蟲技術(shù)無法有效應(yīng)對(duì)請(qǐng)求限制。其次，部分管控措施缺乏對(duì)網(wǎng)站構(gòu)成的合理研究，如考察信息延遲影響力時(shí)，缺乏對(duì)加載速度等信息的掌控，導(dǎo)致不能完整、合理評(píng)估不同類型爬蟲的信息獲取渠道。最后，對(duì)網(wǎng)站信息分布式特征不夠重視，代理方案等方面存在質(zhì)量問題。另外，當(dāng)前對(duì)數(shù)據(jù)加密的重視程度不夠，采用的加密措施單一，無法制定出參數(shù)合理的加密管理方案。

1.4 對(duì)爬蟲偽裝及相關(guān)技術(shù)分析不足

現(xiàn)有反爬蟲技術(shù)在技術(shù)方案設(shè)計(jì)中，對(duì)爬蟲偽裝機(jī)制缺少深入分析和有效總結(jié)，無法有效識(shí)別爬蟲狀況，無法有效掌握爬蟲過濾程序的應(yīng)用情況，因此難以為網(wǎng)站反爬技術(shù)的應(yīng)用提供高質(zhì)量的支持。加上現(xiàn)有部分爬蟲技術(shù)在研究過程中，未能對(duì)數(shù)據(jù)構(gòu)成進(jìn)行有效研究，最終導(dǎo)致其所設(shè)置的資源抓取順序十分混亂，因此其在分析GB級(jí)、TB級(jí)數(shù)據(jù)時(shí)，難以充分掌握爬蟲的構(gòu)成情況，導(dǎo)致無法進(jìn)一步優(yōu)化反爬策略。

1.5 反爬策略應(yīng)用方面的問題

反爬策略應(yīng)用方面的問題主要體現(xiàn)在部分非妥協(xié)式策略的應(yīng)用不夠合理有效。首先，在反爬蟲技術(shù)設(shè)計(jì)中，未能對(duì)IP單位進(jìn)行充分研究，無法對(duì)技術(shù)的訪問次數(shù)等特點(diǎn)進(jìn)行考察分析，對(duì)信息日志的應(yīng)用價(jià)值不夠關(guān)注。其次，一些非妥協(xié)式策略在應(yīng)用時(shí)對(duì)現(xiàn)有爬蟲原理缺乏全面考察，雖然調(diào)取了封禁技術(shù)，但封禁時(shí)間等特征無法被合理地認(rèn)定。最后，部分非妥協(xié)式策略未能在設(shè)計(jì)時(shí)充分考察客戶端的需求，未能有效應(yīng)用滑塊拼圖等人機(jī)驗(yàn)證技術(shù)，難以提升反爬策略的應(yīng)用水平。

2 提升大數(shù)據(jù)反爬蟲技術(shù)應(yīng)用有效性的策略

2.1 完善技術(shù)設(shè)置

首先，在設(shè)置反爬蟲方案時(shí)，一定要總結(jié)前端限制工作，靈活使用CSS/HTML標(biāo)簽來設(shè)計(jì)信息構(gòu)成，以此提高前端設(shè)置中資源配置的合理性。同時(shí)，應(yīng)加強(qiáng)關(guān)注元素錯(cuò)位引起的負(fù)面效應(yīng)，合理應(yīng)用自定義字體實(shí)現(xiàn)字體反爬。其次，務(wù)必對(duì)圖片等偏移量信息進(jìn)行深入研究，對(duì)數(shù)據(jù)混淆問題及其負(fù)面影響進(jìn)行有效管控。設(shè)計(jì)前端限制方案時(shí)還應(yīng)利用多種測(cè)試手段分析反爬蟲技術(shù)應(yīng)用效果，對(duì)相關(guān)網(wǎng)頁開展有效抽樣測(cè)試及研究，進(jìn)而針對(duì)發(fā)現(xiàn)的問題進(jìn)一步改進(jìn)反爬蟲技術(shù)。

字體反爬是重要的反爬策略，前端設(shè)計(jì)中應(yīng)對(duì)網(wǎng)站源碼進(jìn)行研究，通過對(duì)源代碼信息真實(shí)性的研究，更精準(zhǔn)地認(rèn)識(shí)與CSS文件相關(guān)的數(shù)據(jù)及其偏移量，合理滿足字體隱藏的控制需求，為后期字體導(dǎo)入、文字渲染等工作提供幫助。

2.2 合理制定請(qǐng)求規(guī)則

在反爬蟲技術(shù)設(shè)計(jì)中，加強(qiáng)對(duì)服務(wù)器端特征的研究，優(yōu)化請(qǐng)求限制的設(shè)計(jì)。制定請(qǐng)求規(guī)則時(shí)，必須在充分研究爬蟲原理、反爬蟲策略的基礎(chǔ)上，對(duì)網(wǎng)站服務(wù)器設(shè)計(jì)的各類請(qǐng)求信息進(jìn)行價(jià)值認(rèn)定。在分析屬性、配置信息時(shí)，需對(duì)當(dāng)前請(qǐng)求規(guī)則的應(yīng)用效果進(jìn)行研究，如對(duì)Python requests等易被察覺的數(shù)據(jù)進(jìn)行價(jià)值考察，從而為數(shù)據(jù)包資源的開發(fā)提供保障。在創(chuàng)新請(qǐng)求規(guī)則時(shí)，需要針對(duì)爬蟲任務(wù)的調(diào)整進(jìn)行相應(yīng)的挑戰(zhàn)，如在發(fā)現(xiàn)網(wǎng)站模擬請(qǐng)求設(shè)計(jì)質(zhì)量差的情況下，對(duì)請(qǐng)求頭屬性進(jìn)行重新認(rèn)知，對(duì)常規(guī)訪問措施及規(guī)則進(jìn)行有效的制定和調(diào)整。請(qǐng)求規(guī)則的制定還應(yīng)關(guān)注反爬字段的設(shè)計(jì)，如分析自定義字段的校驗(yàn)碼設(shè)置問題，以便反爬字體在應(yīng)用時(shí)能更有效地滿足請(qǐng)求主體的身份識(shí)別等需要。

2.3 優(yōu)化流量管控，優(yōu)化加密技術(shù)

制定反爬蟲技術(shù)方案時(shí)，需對(duì)流量管控進(jìn)行多方面研究與分析，深入挖掘網(wǎng)站監(jiān)控的需求，使所制定的管控措施能更完整、有效地適應(yīng)反爬蟲策略的應(yīng)用需要。在設(shè)計(jì)信息下載等管理方案時(shí)，務(wù)必對(duì)IP地址進(jìn)行嚴(yán)格的分析和控制，重視網(wǎng)站交互管理及相關(guān)舉措。制定具體流量管控措施時(shí)，需要對(duì)應(yīng)用主體的各項(xiàng)需求進(jìn)行全面剖析，以合理應(yīng)用延時(shí)加載等技術(shù)。

在應(yīng)用數(shù)據(jù)加密技術(shù)時(shí)，應(yīng)充分考慮爬蟲偽裝機(jī)制及應(yīng)用反爬蟲技術(shù)的基礎(chǔ)條件，合理分析網(wǎng)站中各類信息的加密需求，以合理地對(duì)不同信息進(jìn)行加密。

2.4 深入分析爬蟲偽裝機(jī)制、抓取技術(shù)

偽裝機(jī)制、抓取技術(shù)是爬蟲的關(guān)鍵技術(shù)，對(duì)其進(jìn)行研究是識(shí)別爬蟲、認(rèn)知爬蟲具體危害的必要工作，也是進(jìn)行爬蟲技術(shù)設(shè)計(jì)的重要前提。因此，設(shè)計(jì)網(wǎng)站反爬蟲時(shí)，應(yīng)加強(qiáng)對(duì)爬蟲偽裝機(jī)制、抓取技術(shù)的認(rèn)知和識(shí)別，深入分析和總結(jié)設(shè)置Header、定時(shí)休眠、使用普通或高匿代理服務(wù)器、偽裝網(wǎng)站Cookie等常用的偽裝機(jī)制，深入分析和總結(jié)深度優(yōu)先、廣度優(yōu)先、大站優(yōu)先、反向鏈接、Partial PageRank等抓取策略，為爬蟲設(shè)計(jì)及反爬策略的應(yīng)用提供參考。

2.5 優(yōu)化反爬策略

反爬策略包含妥協(xié)式、非妥協(xié)式兩種。妥協(xié)式策略包括Robots.txt協(xié)議、Sitemap.xml靜態(tài)文件的設(shè)置，前者是在網(wǎng)站目錄下設(shè)置Robots.txt文件，告訴規(guī)范的爬蟲設(shè)計(jì)者哪些信息允許被爬取，哪些信息不允許被爬取，后者是將整個(gè)網(wǎng)站所有鏈接及元數(shù)據(jù)設(shè)置為單獨(dú)的靜態(tài)文件，從而降低爬蟲對(duì)網(wǎng)站動(dòng)態(tài)信息的爬取，減輕網(wǎng)站運(yùn)行的壓力。

非妥協(xié)式策略有限制同意IP單位時(shí)間內(nèi)的訪問次數(shù)、設(shè)置復(fù)雜驗(yàn)證方式、利用JS腳本防爬蟲、Css數(shù)據(jù)加密、字體反爬、以圖片代替重要信息等功能。設(shè)計(jì)策略時(shí)，應(yīng)根據(jù)當(dāng)前IP地址情況設(shè)計(jì)策略主體的構(gòu)成內(nèi)容，保證系統(tǒng)的元數(shù)據(jù)具有較高的利用價(jià)值，以更好地發(fā)揮妥協(xié)策略的作用。而在非妥協(xié)策略設(shè)計(jì)中，應(yīng)加強(qiáng)對(duì)IP訪問次數(shù)的限制，并應(yīng)用復(fù)雜的人機(jī)驗(yàn)證技術(shù)來處理大量請(qǐng)求信息，加強(qiáng)數(shù)據(jù)加密和字體反爬，如字體反爬使瀏覽器上的文字正常顯示，但被爬蟲爬取后數(shù)據(jù)會(huì)變?yōu)閬y碼或者被其他字符替代，以避免網(wǎng)站信息被惡意、非法使用。

3 結(jié)語

綜上，大數(shù)據(jù)已廣泛應(yīng)用于各個(gè)領(lǐng)域，對(duì)人們的日常生活與工作產(chǎn)生了巨大的影響，而大數(shù)據(jù)時(shí)代背景下，數(shù)據(jù)對(duì)各領(lǐng)域發(fā)展的重要性大幅提升。為便捷、高效地獲取數(shù)據(jù)，幫助相關(guān)企業(yè)提高競(jìng)爭(zhēng)力，網(wǎng)絡(luò)爬蟲技術(shù)悄然興起，但基于對(duì)信息安全等因素的考慮，需要控制網(wǎng)絡(luò)爬蟲，減少爬蟲對(duì)網(wǎng)站的危害。因此，需要在充分研究爬蟲技術(shù)的基礎(chǔ)上，優(yōu)化反爬蟲技術(shù)，以適應(yīng)當(dāng)前網(wǎng)絡(luò)環(huán)境改進(jìn)的需要，減輕網(wǎng)站運(yùn)行及管理的壓力，避免大量數(shù)據(jù)流失。