蔡迪陽

(廣東創(chuàng)新科技職業(yè)學(xué)院 廣東東莞 523960)

網(wǎng)絡(luò)信息技術(shù)的發(fā)展雖然在很大程度上改變了人們的生活，但在發(fā)展中產(chǎn)生的大量數(shù)據(jù)也對信息的獲取提出了更高的要求?；诰W(wǎng)絡(luò)環(huán)境的數(shù)據(jù)信息獲取需要保證數(shù)據(jù)的質(zhì)量，才能將其應(yīng)用到各個行業(yè)和領(lǐng)域的發(fā)展當中。盡管人工智能技術(shù)能夠在一定程度上提升篩選和獲取數(shù)據(jù)信息的效率，但實際產(chǎn)生的工作量仍比較大。從Python 語言的角度，對網(wǎng)頁信息爬取技術(shù)進行分析，能夠為網(wǎng)頁信息數(shù)據(jù)的獲取和應(yīng)用提供一定的思路。

1 Python語言與爬蟲框架

1.1 Python語言的應(yīng)用優(yōu)勢

Python 語言是一種基于計算機的高級數(shù)據(jù)結(jié)構(gòu)，能夠以更為簡單、有效的方式來面對對象編程?；赑ython語言解釋器易于擴展、語言簡潔方便的特點，在伴隨Python語言版本的不斷更新和添加新語言功能的背景下，Python 語言逐漸成為當前計算機和網(wǎng)絡(luò)信息技術(shù)發(fā)展中不可缺少的技術(shù)內(nèi)容。具體而言，Python語言首先具有可讀性功能，能夠以更高級的腳本語言效率來支持海量數(shù)據(jù)的分析挖掘，且相對于以往應(yīng)用的腳本語言，Python語言的門檻更低，能夠以簡化的工作流程來更好地滿足企業(yè)和社會組織在數(shù)據(jù)分析挖掘工作中的需求[1]。其次，Python語言還具有靈活的開發(fā)模式，能夠基于數(shù)據(jù)分析的要求來開發(fā)形成多個不同的程序版本，也更便于對整個系統(tǒng)編程進行維護。除此之外，Python 語言還具有模塊數(shù)量多、支持標準庫、良好的可移植性以及組件集成等應(yīng)用優(yōu)勢，能夠更好地滿足現(xiàn)階段不同行業(yè)和領(lǐng)域?qū)?shù)據(jù)信息深入挖掘和分析的要求，因而逐漸成為編程人員的首要選擇。

1.2 爬蟲框架的主要功能

網(wǎng)絡(luò)爬蟲主要是一種能夠依據(jù)一定的規(guī)則，對目標網(wǎng)頁中的數(shù)據(jù)進行下載管理，滿足用戶對網(wǎng)頁數(shù)據(jù)應(yīng)用需求的一種技術(shù)。在網(wǎng)絡(luò)信息技術(shù)得到快速發(fā)展的背景下，網(wǎng)絡(luò)爬蟲技術(shù)水平也逐漸提高。用戶對網(wǎng)絡(luò)數(shù)據(jù)信息的獲取需求逐漸提高，在網(wǎng)絡(luò)信息技術(shù)不斷更新迭代的情況下，網(wǎng)絡(luò)爬蟲的爬取技術(shù)也在不斷發(fā)展，現(xiàn)階段，用戶已經(jīng)能夠直接依據(jù)爬取技術(shù)獲取網(wǎng)絡(luò)數(shù)據(jù)。

1.2.1 Scrapy庫

從本質(zhì)上來說，Scrapy庫是一個應(yīng)用框架，可支持爬取網(wǎng)站數(shù)據(jù)和提取網(wǎng)站結(jié)構(gòu)性數(shù)據(jù)的功能，一般包括引擎、調(diào)度器、下載器、爬蟲以及管道這5 種基本的組件。為方便研究，文章中重點對Scrapy 庫中的下載器進行分析，依靠下載器能夠?qū)崿F(xiàn)對網(wǎng)頁數(shù)據(jù)的抓取。在爬取過程中，只需要通過指定基于網(wǎng)頁數(shù)據(jù)相應(yīng)的URL，下載器就可以在自動抓取相應(yīng)的內(nèi)容之后，將內(nèi)容放置到item 當中，而用戶在基于自身需求對獲取的數(shù)據(jù)信息進行處理之后，Scrapy 框架還能夠?qū)?shù)據(jù)進行封裝和下載。應(yīng)用這種獲取網(wǎng)頁信息數(shù)據(jù)的方式，能夠有效縮短軟件編寫需要的時間，提高效率[2]。在Scrapy 框架應(yīng)用的過程中，往往需要應(yīng)用引擎系統(tǒng)來滿足數(shù)據(jù)通信和信號傳遞的要求；調(diào)度器系統(tǒng)主要負責(zé)在數(shù)據(jù)下載之后發(fā)送管理請求并返還數(shù)據(jù)；爬蟲能夠?qū)Ψ祷財?shù)據(jù)請求進行處理，以便能夠提取用戶需要的數(shù)據(jù)，并將這些數(shù)據(jù)交換引擎之后再次輸入調(diào)度器當中。

1.2.2 Scrapy框架運作程序

網(wǎng)頁數(shù)據(jù)爬取技術(shù)的應(yīng)用，需要建立在擁有明確目標網(wǎng)站的基礎(chǔ)上。在獲取目標網(wǎng)站之后，被處理的爬蟲會被發(fā)送給引擎系統(tǒng)，由引擎系統(tǒng)調(diào)度器來向數(shù)據(jù)信息中加入請求，在調(diào)度器完成對數(shù)據(jù)信息的處理之后再將其送回到引擎當中。而經(jīng)過請求分析之后，數(shù)據(jù)信息會被傳送到下載器當中，用于下載網(wǎng)頁數(shù)據(jù)相關(guān)的信息[3]。如果在這個過程中出現(xiàn)下載失敗的情況，Scrapy 框架中的引擎系統(tǒng)會在自動保留數(shù)據(jù)之后將其傳回調(diào)度器，再次重復(fù)以上步驟，直到完成所有下載之后，再進行相關(guān)數(shù)據(jù)的下載。

1.2.3 狀態(tài)碼檢測分析

為保證網(wǎng)頁爬蟲爬取數(shù)據(jù)的準確性和效率，往往需要在應(yīng)用爬取技術(shù)之前對爬蟲軟件進行檢測。在這個對軟件進行檢測的過程中，如果需要以構(gòu)建URL的方式來進行數(shù)據(jù)信息的請求，通常需要伴隨著針對請求狀態(tài)碼的檢測分析。這主要是因為部分網(wǎng)站本身處于封閉IP 的模式下，在爬取網(wǎng)站信息時，往往需要對返回reponse 的狀態(tài)碼進行分析[4]。需要注意的是，在這個對狀態(tài)碼進行檢測分析的過程中，需要忽視Scrapy框架體系，但如果處于Scrapy庫模式下，則通常需要讓狀態(tài)碼能夠達到200～300的請求再對數(shù)據(jù)進行處理分析。同時，在檢測分析中還需要手動添加與數(shù)據(jù)信息相關(guān)的代碼，才能夠判斷網(wǎng)頁是否處于穩(wěn)定的狀態(tài)，從而實現(xiàn)對網(wǎng)頁相關(guān)數(shù)據(jù)的抓取分析。

1.2.4 錄取展示

錄取展示主要是基于Scrapy框架在獲取網(wǎng)頁數(shù)據(jù)信息之后，對數(shù)據(jù)信息進行存儲和處理的MYSQL數(shù)據(jù)庫而言的，該數(shù)據(jù)庫本身能夠作為一個管理系統(tǒng)運行，能夠以較小的體積空間和較快的運行速度來滿足讀取網(wǎng)頁數(shù)據(jù)和展示應(yīng)用的要求。同時，該數(shù)據(jù)庫的研發(fā)成本也比較低，能夠通過開放源代碼的方式被應(yīng)用到各類中小型網(wǎng)站當中，能夠呈現(xiàn)出明顯的應(yīng)用優(yōu)勢[5]。文章在對網(wǎng)頁信息爬取技術(shù)進行研究時，也選擇這一數(shù)據(jù)庫作為Scrapy 框架體系的運行支持，在具體分析中，基于PyMySQL 驅(qū)動來將網(wǎng)頁數(shù)據(jù)與數(shù)據(jù)庫系統(tǒng)鏈接起來，從而將從網(wǎng)頁中讀取的數(shù)據(jù)展示在數(shù)據(jù)庫系統(tǒng)界面當中，能夠更直觀地向用戶展現(xiàn)網(wǎng)頁數(shù)據(jù)的具體內(nèi)容，以便能夠從中獲取到有價值的信息。

2 目標網(wǎng)站的爬蟲設(shè)計過程

網(wǎng)頁數(shù)據(jù)爬取技術(shù)的應(yīng)用，最主要的目的就是獲取目標網(wǎng)頁中對于用戶有價值的數(shù)據(jù)信息。但對于網(wǎng)站本身而言，爬取技術(shù)的應(yīng)用很容易影響到網(wǎng)站的運營情況，因而在爬取技術(shù)不斷發(fā)展的情況下，各大網(wǎng)站的反爬蟲機制也在逐漸完善。盡管當前廣泛應(yīng)用的爬蟲框架與工具能夠滿足大部分用戶對于網(wǎng)頁信息的獲取需求，但受到反爬蟲機制的限制，爬取技術(shù)在實際應(yīng)用中仍然存在著一定的問題[6]。文章主要從Python 語言的角度，將Python作為編寫爬取技術(shù)的主要軟件，應(yīng)用Python中較為成熟的庫來應(yīng)對爬取技術(shù)應(yīng)用中存在的問題，致力于開發(fā)一個更簡單、操作更便捷、效率更高的爬取軟件。

2.1 獲取Web數(shù)據(jù)資源

基于網(wǎng)絡(luò)信息技術(shù)和爬蟲技術(shù)的發(fā)展，目前能夠應(yīng)用于實際的爬蟲技術(shù)能夠為此次設(shè)計提供豐富的經(jīng)驗。結(jié)合以往爬取技術(shù)的應(yīng)用情況來看，在進行目標網(wǎng)站爬蟲設(shè)計時，最主要的就是對Web 網(wǎng)頁中的數(shù)據(jù)內(nèi)容資源進行分析，從中明確想要獲取的數(shù)據(jù)信息。在這一階段，一般需要在對整個網(wǎng)頁的結(jié)構(gòu)和內(nèi)容進行綜合分析之后，從中選取有價值的數(shù)據(jù)內(nèi)容資源。從網(wǎng)絡(luò)空間數(shù)據(jù)的角度來看，網(wǎng)絡(luò)空間中擁有的數(shù)據(jù)質(zhì)量是用戶能夠?qū)?shù)據(jù)信息的有效性進行衡量的主要依據(jù)，也是后續(xù)能夠應(yīng)用數(shù)據(jù)進行分析的重要前提。因而在數(shù)據(jù)分析中保證數(shù)據(jù)分類和整理的高效性和高質(zhì)量，對提高數(shù)據(jù)信息獲取的準確性具有重要的作用。而考慮到網(wǎng)頁數(shù)據(jù)的數(shù)量巨大，且數(shù)據(jù)結(jié)構(gòu)較為復(fù)雜，為降低冗余信息對后續(xù)數(shù)據(jù)分析的影響，可以通過建立網(wǎng)絡(luò)空間數(shù)據(jù)資料庫的方式，在抓取數(shù)據(jù)并對數(shù)據(jù)進行歸類分析之后，從某個維度或多個維度建立這些數(shù)據(jù)信息之間的關(guān)聯(lián)，讓數(shù)據(jù)能夠同時具有多個維度。

在收集數(shù)據(jù)的過程中，對于數(shù)據(jù)信息的選擇，就可以直接將維度信息作為選擇的依據(jù)。如果在收集數(shù)據(jù)的過程中發(fā)現(xiàn)維度信息與數(shù)據(jù)之間不存在明顯的相關(guān)性，就可以直接在這一階段將相關(guān)數(shù)據(jù)刪除。在進行數(shù)據(jù)采集的過程中，為保證采集數(shù)據(jù)信息的唯一性，還需要在對數(shù)據(jù)進行初步篩選的階段過濾重復(fù)的數(shù)據(jù)信息。也就是說，在網(wǎng)站提供的信息可能存在多個時效性展示數(shù)據(jù)的情況下，應(yīng)用最新的有效性信息覆蓋原來的舊數(shù)據(jù)信息，能夠以初步保證數(shù)據(jù)唯一性的方式，提高對數(shù)據(jù)信息進行篩選和處理的效率。在保證數(shù)據(jù)的采集規(guī)范標準統(tǒng)一后，還需要按照初步規(guī)范的內(nèi)容對網(wǎng)頁數(shù)據(jù)進行定向采集?；诋斍案鞔缶W(wǎng)站在數(shù)據(jù)信息呈現(xiàn)方面的共同點，在設(shè)置網(wǎng)頁數(shù)據(jù)的爬取方向時，主要包括分類信息爬取、商品頁信息爬取、評論頁信息爬取、相關(guān)offer 信息爬取以及經(jīng)營者信息爬取這5 個方面。在實際分析獲取網(wǎng)頁數(shù)據(jù)時，可以具體選擇其中一個方向來獲取指定的信息數(shù)據(jù)。

2.2 搭建Scrapy工程

獲取Web 數(shù)據(jù)資源從本質(zhì)上來說是一個對網(wǎng)頁數(shù)據(jù)信息進行初步篩選的過程，盡管初步篩選已經(jīng)能夠淘汰大量冗余繁雜的數(shù)據(jù)信息，但獲取的數(shù)據(jù)資源量仍較大。為了能夠達到爬取網(wǎng)頁數(shù)據(jù)信息的目的，在獲取Web 數(shù)據(jù)資源之后，還需要基于Python 語言搭建一個Scrapy 工程，以Scrapy 工程擁有的數(shù)據(jù)收集功能來實現(xiàn)對網(wǎng)頁數(shù)據(jù)資源的進一步處理分析。通過前面的分析可以發(fā)現(xiàn)，Scrapy項目的構(gòu)建較為簡單，只需要在確認需要爬取的目標網(wǎng)站信息之后，基于Scrapy內(nèi)置的腳手架命令來搭建項目運行所需要的框架。在框架生成后，能夠依據(jù)命令生成自定義的爬蟲文件，然后運行Scrapygenspide.com 的命令，在輸入需要爬取數(shù)據(jù)的目標網(wǎng)站網(wǎng)址之后，就會依據(jù)程序中的通用爬蟲模板自動生成自定義的爬蟲類目標，然后向界面填入允許爬取的域名屬性，就可以構(gòu)建一個完整的爬蟲項目。

在原有Scrapy 工程的基礎(chǔ)上，向其中加入Python語言，能夠讓Scrapy 工程體現(xiàn)出更明顯的易用性和高封裝性。這主要是因為在搭建Scrapy 工程的過程中，用于抓取網(wǎng)頁數(shù)據(jù)的策略以廣度網(wǎng)頁優(yōu)先級為主，能夠通過直接抓取未開放下載的網(wǎng)頁資源鏈接的方式，將網(wǎng)頁資源直接存放到URL 搜索隊列的網(wǎng)頁末尾數(shù)據(jù)中，整個過程無須對網(wǎng)站進行屏蔽處理。這樣做的好處就是大大簡化爬蟲項目整體的操作難度，在簡化項目搭建前期流程的同時，也能夠大大提高基于爬蟲項目的網(wǎng)頁數(shù)據(jù)開發(fā)效率。

2.3 決策樹算法規(guī)避網(wǎng)站反爬蟲

網(wǎng)站經(jīng)營方為保護網(wǎng)頁數(shù)據(jù)信息的安全，通常會設(shè)置反爬蟲機制來應(yīng)對爬蟲技術(shù)的應(yīng)用。反爬蟲機制主要是指一種能夠?qū)τ脩粜袨檫M行分析的反爬蟲技術(shù)，該技術(shù)能夠通過對用戶訪問行為的檢測來判斷其是否存在爬蟲行為。當用戶使用的IP 在短時間內(nèi)向同一網(wǎng)頁頁面的信息發(fā)送多次訪問請求，或在短時間內(nèi)多次重復(fù)請求更改IP，會給網(wǎng)站服務(wù)器的運行造成較大的負載壓力，因而可以依據(jù)這一特點來判斷用戶是否擁有爬蟲的行為特征。

為驗證網(wǎng)站擁有的反爬蟲機制是否會對一般情況下的爬蟲行為產(chǎn)生影響，在開發(fā)設(shè)計基于Python 語言的網(wǎng)頁信息爬取技術(shù)之前，先運行一般的爬蟲技術(shù)。選取某網(wǎng)站為主要實驗對象，在實驗的過程中發(fā)現(xiàn)，當爬取網(wǎng)頁數(shù)據(jù)的數(shù)量在幾百條左右的情況下，會彈出較多類似“404”的非正常狀態(tài)碼。而在再次進入網(wǎng)站之后，發(fā)現(xiàn)因獲取網(wǎng)頁數(shù)據(jù)而產(chǎn)生的異常行為已被網(wǎng)站察覺。如果想要獲取正常的網(wǎng)站頁面，只能夠通過登錄來進行。由此可知，在出現(xiàn)這種情況時，證明網(wǎng)站已經(jīng)能夠檢測出爬蟲的腳本程序，且應(yīng)用了爬蟲技術(shù)的用戶IP 在瀏覽特性方面與正常用戶之間存在著一定的差異，因而服務(wù)器在檢測出異常行為之后,會自動將擁有異常行為的用戶IP封禁。

為規(guī)避網(wǎng)站的反爬蟲機制，在基于Python 語言設(shè)計網(wǎng)頁數(shù)據(jù)爬蟲項目時，可以嘗試應(yīng)用決策樹算法來提高爬蟲的下載性能，從而有效達到規(guī)避反爬蟲機制的目的。決策樹算法是一種典型的分類算法，該算法能夠依據(jù)獲取的近鄰數(shù)據(jù)集來構(gòu)建一個基于數(shù)據(jù)信息的訓(xùn)練模型，在模型中尋找k個最小的近鄰之后，就可以將其作為獲取新的建模數(shù)據(jù)的實例。決策樹算法中，上層節(jié)點或決定下層節(jié)點的分布情況，在依據(jù)決策樹算法來對關(guān)鍵詞整體相關(guān)度的度量進行計算時，主要應(yīng)用式（1）來進行。

式（1）中，Qinc代表整體相關(guān)的，B和C主要代表網(wǎng)頁的不同內(nèi)容分詞，k代表權(quán)值個數(shù)，Y代表不同權(quán)值所在的位置。當基于網(wǎng)頁數(shù)據(jù)擁有K個值的情況下，分類標簽更多的部分就是數(shù)據(jù)分類的最終結(jié)果。

在應(yīng)用決策樹算法的基礎(chǔ)上，還需要應(yīng)用性能評估方法來驗證爬蟲技術(shù)的有效性。一般情況下，爬蟲技術(shù)的搜索性能越好，在應(yīng)用技術(shù)時能夠下載的頁面范圍也就越廣，而判斷爬蟲搜索性能的標準是在規(guī)定的時間內(nèi)獲得的下載量?；谶@一前提，應(yīng)用性能評估方法，能夠基于平均數(shù)的單一網(wǎng)頁文件來評估爬蟲項目的搜索性能。具體而言，在應(yīng)用性能評估方法的過程中，首先能夠?qū)κ褂玫呐老x是否能夠滿足算法應(yīng)用和數(shù)據(jù)分類的要求進行分析。網(wǎng)站應(yīng)用性能評估方法也能夠?qū)Υ嬖诋惓Ｐ袨榈挠脩暨M行屏蔽。

考慮到網(wǎng)站應(yīng)用的反爬蟲機制，當http 發(fā)送請求時，一般會包含請求的頭部信息，而反爬蟲機制在這個過程中可以基于頭部信息來對用戶是否存在非法訪問行為進行判斷。正常用戶在瀏覽網(wǎng)頁的過程中，由數(shù)據(jù)請求產(chǎn)生的頭部信息往往會攜帶瀏覽器的標識信息，表明該用戶的訪問行為是由瀏覽器發(fā)起的。這種識別異常行為的反爬蟲機制主要應(yīng)用于靜態(tài)網(wǎng)站中。而在動態(tài)網(wǎng)頁中，網(wǎng)站經(jīng)營者通常會選擇動態(tài)頁面技能，用JavaScript語言來動態(tài)生成網(wǎng)頁的數(shù)據(jù)信息。由于網(wǎng)站對Ajax 請求參數(shù)和網(wǎng)站的接口層進行了加密，使得參數(shù)的語義和可讀性被去除。在這種情況下，即便應(yīng)用爬蟲技術(shù)獲取到了信息，往往也難以獲取詳細的信息。為了能夠規(guī)避反爬蟲機制對爬蟲技術(shù)產(chǎn)生的影響，在實際應(yīng)用爬蟲技術(shù)時，可以借助偽裝網(wǎng)站信息數(shù)據(jù)來請求頭部信息，用以規(guī)避反爬蟲機制對用戶訪問行為的檢測。而考慮到網(wǎng)站大部分情況下的數(shù)據(jù)信息請求量都比較大，在應(yīng)用爬蟲技術(shù)時，可以事先準備一個瀏覽器頭部信息的列表，以便能夠為后續(xù)對網(wǎng)站進行數(shù)據(jù)信息獲取和訪問的請求分配不同的請求頭部。這樣能夠讓網(wǎng)站的反爬蟲機制認為用戶請求是由多個瀏覽器啟動的，且在應(yīng)用爬蟲技術(shù)抓取數(shù)據(jù)的過程中，Web 服務(wù)器也能夠?qū)⑴老x數(shù)據(jù)請求確識別為瀏覽器的常規(guī)請求，從而有效達到規(guī)避網(wǎng)站本身反爬蟲機制的目的。

2.4 基于Python編寫爬蟲程序下載數(shù)據(jù)

在獲取Web數(shù)據(jù)資源并編寫Scrapy工程并保證爬蟲行為不會受到網(wǎng)站反爬蟲機制影響之后，就可以基于Python語言來編寫網(wǎng)站的爬蟲程序并下載數(shù)據(jù)。相較于以往應(yīng)用的編程方法而言，應(yīng)用Python語言之后，無論是應(yīng)用開源網(wǎng)站的爬蟲還是自定義資源的爬蟲，都能夠?qū)δ繕司W(wǎng)頁中的數(shù)據(jù)信息進行自動收集和分析?？紤]到當前互聯(lián)網(wǎng)中擁有的公共資源數(shù)據(jù)基本都能夠以多腳本語言系統(tǒng)作為支撐，且在網(wǎng)頁數(shù)據(jù)本身應(yīng)用加密算法的情況下，往往需要應(yīng)用更優(yōu)質(zhì)的數(shù)據(jù)爬蟲引擎來獲取到目標網(wǎng)頁的數(shù)據(jù)信息，并在將獲得的數(shù)據(jù)信息整合之后儲存到數(shù)據(jù)庫當中。

具體而言，在基于Python語言編寫爬蟲程序時，首先需要進入目標網(wǎng)頁界面，在爬取目標數(shù)據(jù)信息之后，進入網(wǎng)頁offer信息爬取的子流程當中。在進入子流程之后，一般分為是否存在經(jīng)營者ID 兩種情況：如果存在，則需要直接進入評論信息進一步爬取子流程；如果不存在，則需要進入經(jīng)營者信息界面爬取子流程。在爬取子流程信息后，就可以對爬取的信息進行整理，并依據(jù)規(guī)范的格式將數(shù)據(jù)信息輸出。結(jié)合現(xiàn)階段大型網(wǎng)站的運營情況來看，在多渠道網(wǎng)站數(shù)據(jù)信息的背景下，爬取技術(shù)中擁有的數(shù)據(jù)分析功能非常重要，在基于Python 語言編寫爬取程序時，可以借助Python 語言直接應(yīng)用爬蟲軟件來對網(wǎng)頁中的批量數(shù)據(jù)進行收集，這樣能夠大大提高網(wǎng)頁數(shù)據(jù)獲取的效率，而爬蟲本身穩(wěn)定的性能也能保證批量數(shù)據(jù)下載的準確性。且相對于以往應(yīng)用的爬取技術(shù)而言，基于Python 語言的爬蟲軟件擁有更強的針對性和更大的靈活性，能夠以簡化的編程結(jié)構(gòu)形式來達到獲取網(wǎng)頁數(shù)據(jù)信息的目的。而Python 語言在這個過程中主要應(yīng)用的是動態(tài)類型系統(tǒng)，這種系統(tǒng)能夠體現(xiàn)開源軟件的性質(zhì)，在將數(shù)據(jù)信息編譯成二進制源代碼之后，可以通過解釋器來執(zhí)行具體的數(shù)據(jù)分析請求。這種系統(tǒng)的運行速度要明顯高于以往爬取技術(shù)應(yīng)用的Java 系統(tǒng)，也能搭配Numpy 庫、wxPython庫等優(yōu)質(zhì)軟件庫來使用。

2.5 實例分析

在開發(fā)設(shè)計基于Python語言的網(wǎng)頁信息爬取技術(shù)之后，可以將其應(yīng)用到實際的網(wǎng)頁數(shù)據(jù)獲取當中，通過配置調(diào)試、實現(xiàn)過程以及數(shù)據(jù)分析這3 個階段來實現(xiàn)對網(wǎng)頁數(shù)據(jù)進行實時抓取的要求。以電子商務(wù)網(wǎng)站為例，在程序配置調(diào)試階段，由于大多數(shù)電子商務(wù)網(wǎng)站對商品信息的分類較為詳細，在應(yīng)用Scrapy 框架對商品數(shù)據(jù)信息進行爬取的同時，也能夠借助該框架應(yīng)用事件來響應(yīng)數(shù)據(jù)信息的訪問和獲取請求。在實際獲取數(shù)據(jù)過程中，可以依次獲取上層目錄信息，然后以解析函數(shù)回調(diào)的方式來處理每個目錄的鏈接。在實現(xiàn)過程階段，可以基于事先確定好的爬蟲技術(shù)實現(xiàn)步驟來驗證網(wǎng)頁數(shù)據(jù)信息的獲取結(jié)果，并將獲取的數(shù)據(jù)信息儲存在相應(yīng)的系統(tǒng)數(shù)據(jù)庫當中。在數(shù)據(jù)分析階段，一般需要從自然語言情感和基礎(chǔ)統(tǒng)計的角度，對數(shù)據(jù)進行統(tǒng)計分析。例如：在電子商務(wù)網(wǎng)站中，往往需要依據(jù)商品信息的評價等級來區(qū)分商品的正面或負面信息，然后依據(jù)自然語言處理領(lǐng)域的樸素貝葉斯分類器來訓(xùn)練一個適用于電子商務(wù)網(wǎng)站的分類器，以此來對商品評論中的關(guān)鍵詞進行分析。

3 結(jié)語

綜上所述，應(yīng)用了Python 語言的網(wǎng)頁信息爬取技術(shù)，能夠有效滿足基于用戶需求深入挖掘網(wǎng)頁數(shù)據(jù)信息的需求，能夠以深入開發(fā)利用各類數(shù)據(jù)信息的方式為用戶提供各種信息服務(wù)。基于Python語言開發(fā)設(shè)計的網(wǎng)頁信息爬取技術(shù)在實際應(yīng)用中存在著一定的問題，為保障技術(shù)應(yīng)用的效率，可以應(yīng)用決策樹算法來對系統(tǒng)程序進行優(yōu)化，從而有效達到深入挖掘和爬取網(wǎng)頁信息的目的。