呂新超

摘要：為了解決傳統(tǒng)網(wǎng)絡(luò)爬蟲在大型網(wǎng)站上提取信息效率不高的問題，研究引入了Scrapy框架作為Python網(wǎng)絡(luò)爬蟲的提取方法。以某圖書網(wǎng)站為案例，文章深入分析了該網(wǎng)站的頁面結(jié)構(gòu)，編寫了高效的爬蟲文件源碼，用于提取目標(biāo)網(wǎng)站的關(guān)鍵信息，包括圖書名稱、價(jià)格、定價(jià)、作者和銷量排名等。研究結(jié)果表明，通過對(duì)主流網(wǎng)站的信息提取實(shí)驗(yàn)，在實(shí)際應(yīng)用中展示了該方法取得了良好的效果，可以成功提出需要的信息，并根據(jù)提取出的圖書價(jià)格和銷量排名信息可以分析出價(jià)格與銷量之間的關(guān)系，實(shí)現(xiàn)了對(duì)大型網(wǎng)站的信息提取任務(wù)。研究為爬蟲技術(shù)在數(shù)據(jù)采集和分析領(lǐng)域的應(yīng)用提供了有力的支持，為信息爬取與處理提供了新的解決方案。

關(guān)鍵詞：網(wǎng)絡(luò)爬蟲；Scrapy框架；Python語言；數(shù)據(jù)采集

中圖分類號(hào)：TP393.09? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）07-0049-04

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

近年來，大數(shù)據(jù)信息技術(shù)的發(fā)展使全球范圍內(nèi)的網(wǎng)站數(shù)量呈現(xiàn)指數(shù)性的增長，每個(gè)網(wǎng)站都蘊(yùn)含著豐富的信息資源，這些信息資源具有巨大的潛力，可用于揭示某一行業(yè)的規(guī)律、預(yù)測未來趨勢，并滿足網(wǎng)絡(luò)終端用戶的個(gè)性化需求[1]。然而，從海量數(shù)據(jù)中提取有效信息并實(shí)現(xiàn)個(gè)性化信息傳遞，并非一項(xiàng)簡單的任務(wù)。為了應(yīng)對(duì)這一挑戰(zhàn)，研究人員和企業(yè)界正在積極探索各種技術(shù)和方法。其中，Python爬蟲系統(tǒng)融合了Web抓取和數(shù)據(jù)挖掘技術(shù)，成為一個(gè)強(qiáng)大的工具[2]。

趙薔[3]發(fā)現(xiàn)，利用Python爬蟲可以在短時(shí)間內(nèi)成功抓取大量有用的旅游數(shù)據(jù)，包括地區(qū)、購物、評(píng)價(jià)等信息，說明Python爬蟲系統(tǒng)對(duì)于高效數(shù)據(jù)的抓取非常有效，可以幫助旅游者和旅行規(guī)劃者更快地獲取和理解旅游相關(guān)信息。Rismawan[4]發(fā)現(xiàn)，利用Python編程語言的數(shù)據(jù)爬取技術(shù)創(chuàng)建的新聞高效網(wǎng)站可以系統(tǒng)地顯示來自各種來源的新聞在線網(wǎng)站，有效地從在線新聞中獲取信息。馬騰[5]發(fā)現(xiàn)，通過使用Python網(wǎng)絡(luò)爬蟲技術(shù)可以從房地產(chǎn)網(wǎng)站上抓取二手房信息，這表明數(shù)據(jù)爬取獲取技術(shù)在獲取大規(guī)模房地產(chǎn)市場數(shù)據(jù)方面非常有效，能夠深入了解大城市的二手房市場情況，為政府和購房者提供有價(jià)值的市場意見和信息。

Scrapy框架作為高度可定制的Web抓取框架，能夠采集、處理和分析Web上的數(shù)據(jù)信息。針對(duì)傳統(tǒng)網(wǎng)絡(luò)爬蟲在大型網(wǎng)站上信息提取效率不高的問題，本研究采用了Scrapy框架作為Python網(wǎng)絡(luò)爬蟲的核心工具。以某圖書網(wǎng)站為例，本研究深入分析了該網(wǎng)站的頁面結(jié)構(gòu)，并編寫了高效的爬蟲文件源碼，用于提取目標(biāo)網(wǎng)站的關(guān)鍵信息，包括圖書名稱、價(jià)格、定價(jià)、作者和銷量排名等。研究的創(chuàng)新性表現(xiàn)在引入Scrapy框架作為Python網(wǎng)絡(luò)爬蟲的核心工具，從而提高了數(shù)據(jù)采集、處理和分析的效率和靈活性，共同推動(dòng)了網(wǎng)絡(luò)爬蟲技術(shù)在數(shù)據(jù)采集和分析領(lǐng)域的發(fā)展，為更高效和可靠的信息提供了新的解決方案。

1 網(wǎng)絡(luò)爬蟲相關(guān)理論

1.1 網(wǎng)絡(luò)爬蟲定義

網(wǎng)絡(luò)爬蟲，也被稱為網(wǎng)絡(luò)爬取器、網(wǎng)絡(luò)機(jī)器人或網(wǎng)絡(luò)蜘蛛，是一種自動(dòng)化程序或腳本，用于自動(dòng)地瀏覽互聯(lián)網(wǎng)上的網(wǎng)頁并從中收集信息[6]。網(wǎng)絡(luò)爬蟲的主要目的是收集互聯(lián)網(wǎng)上的數(shù)據(jù)，這些數(shù)據(jù)可以用于各種用途，包括搜索引擎索引、數(shù)據(jù)挖掘、信息檢索、價(jià)格比較、網(wǎng)站更新監(jiān)測等[7]。

網(wǎng)絡(luò)爬蟲根據(jù)其功能、用途和行為特征有多種分類。通用網(wǎng)絡(luò)爬蟲廣泛抓取互聯(lián)網(wǎng)信息，如搜索引擎爬蟲；聚焦網(wǎng)絡(luò)爬蟲專注于特定主題或領(lǐng)域，如新聞聚合網(wǎng)站；增量式網(wǎng)絡(luò)爬蟲定期更新已抓取數(shù)據(jù)的索引；深層網(wǎng)絡(luò)爬蟲訪問難以到達(dá)的深層網(wǎng)頁；垂直網(wǎng)絡(luò)爬蟲針對(duì)特定垂直市場；協(xié)作網(wǎng)絡(luò)爬蟲則是多個(gè)爬蟲合作工作；爬蟲機(jī)器人具有自主學(xué)習(xí)能力，選擇爬蟲類型需根據(jù)具體需求[8]。網(wǎng)絡(luò)爬蟲基本的工作流程如圖1所示。

1.2 Python網(wǎng)絡(luò)爬蟲

Python網(wǎng)絡(luò)爬蟲是一種基于Python編程語言的自動(dòng)化程序，用于在互聯(lián)網(wǎng)上瀏覽并抓取網(wǎng)頁內(nèi)容[9]。其主要功能包括發(fā)送超文本傳輸協(xié)議（Hyper Text Transfer Protocol，HTTP） 請(qǐng)求獲取網(wǎng)頁、解析超文本標(biāo)記語言（HyperText Markup Language，HTML） 文檔以提取所需信息以及存儲(chǔ)或分析抓取到的數(shù)據(jù)。網(wǎng)絡(luò)爬蟲通常用于各種用途，包括數(shù)據(jù)采集、搜索引擎索引、信息檢索、數(shù)據(jù)挖掘等，但在使用時(shí)需要遵守法律和道德規(guī)范，以確保合法和道德的數(shù)據(jù)采集行為[10]，常用的Python網(wǎng)絡(luò)爬蟲庫及其功能如表1所示。

1.3 Scrapy框架

Scrapy是一個(gè)領(lǐng)先的Python網(wǎng)絡(luò)爬蟲框架，專注于高效且可擴(kuò)展的大規(guī)模數(shù)據(jù)采集任務(wù)。其優(yōu)勢在于提供了一套全面的工具，包括HTTP請(qǐng)求管理、數(shù)據(jù)解析、鏈接追蹤、異步處理等，以支持系統(tǒng)化的信息抓取工作。Scrapy允許開發(fā)者根據(jù)項(xiàng)目需求定制爬蟲規(guī)則，并提供多種數(shù)據(jù)存儲(chǔ)選項(xiàng)，使其廣泛應(yīng)用于搜索引擎索引、數(shù)據(jù)挖掘、新聞聚合等多個(gè)領(lǐng)域。這一框架擁有堅(jiān)實(shí)的社區(qū)支持和詳盡的文檔，是研究和實(shí)踐網(wǎng)絡(luò)爬取任務(wù)的首選工具之一[11]。常用的Scrapy框架命令如表2所示。

Scrapy框架結(jié)構(gòu)如圖2所示，主要組件包括引擎（Engine）、調(diào)度器（Scheduler）、下載器（Downloader）、中間件（Middleware）、爬蟲（Spiders）、項(xiàng)目管道（Pipelines）、下載中間件（Downloader Middleware）、擴(kuò)展（Extensions），這些組件共同協(xié)作，構(gòu)成了Scrapy框架的核心結(jié)構(gòu)，使其成為一個(gè)強(qiáng)大且高度可配置的網(wǎng)絡(luò)爬蟲工具[12]。

引擎是Scrapy的核心組件，負(fù)責(zé)協(xié)調(diào)整個(gè)爬蟲流程，包括處理請(qǐng)求、分發(fā)響應(yīng)、觸發(fā)爬蟲中間件和管道等。調(diào)度器負(fù)責(zé)管理爬取請(qǐng)求的隊(duì)列，并確保它們以合適的方式被發(fā)送到引擎進(jìn)行處理。下載器負(fù)責(zé)從互聯(lián)網(wǎng)下載網(wǎng)頁內(nèi)容，并將響應(yīng)返回給引擎，處理HTTP請(qǐng)求、處理Cookies和處理重定向等。中間件是可自定義的組件，用于在請(qǐng)求發(fā)送和響應(yīng)接收的過程中進(jìn)行處理。爬蟲是用戶定義的規(guī)則，用于指定如何抓取和解析網(wǎng)頁。每個(gè)爬蟲通常定義了起始URL、如何跟蹤鏈接以及如何解析網(wǎng)頁內(nèi)容。項(xiàng)目管道是數(shù)據(jù)處理和存儲(chǔ)的組件，用于將爬取到的數(shù)據(jù)進(jìn)行后續(xù)處理，如存儲(chǔ)到數(shù)據(jù)庫、寫入文件或進(jìn)行其他自定義操作。下載中間件是特定于下載器的中間件，用于在HTTP請(qǐng)求和響應(yīng)的發(fā)送和接收中進(jìn)行處理。擴(kuò)展允許開發(fā)者自定義和擴(kuò)展Scrapy的功能，可以編寫擴(kuò)展來添加新特性或修改現(xiàn)有功能的行為[13]。

Scrapy框架的數(shù)據(jù)流向[14]：首先，Scrapy引擎向Spider請(qǐng)求第一個(gè)要抓取的URL，然后Spider提供URL給引擎。接著，Scrapy引擎接收到URL并將其傳遞給調(diào)度器進(jìn)行排隊(duì)和排序，隨后調(diào)度器將URL處理成請(qǐng)求（request）并將這些請(qǐng)求返回給Scrapy引擎。Scrapy引擎接收到這些請(qǐng)求后，使用下載器中間件將它們發(fā)送給下載器進(jìn)行頁面下載。下載器下載完成后，將頁面內(nèi)容封裝在響應(yīng)（response）中，并將響應(yīng)返回給Scrapy引擎。Scrapy引擎接著使用Spider中間件將響應(yīng)傳遞給Spider進(jìn)行處理，Spider提取網(wǎng)站數(shù)據(jù)并返回結(jié)構(gòu)化的item給Scrapy引擎，如果有跟進(jìn)的請(qǐng)求（request）也會(huì)返回給引擎。Scrapy引擎接收到item后，將其交給項(xiàng)目管道（Item Pipeline）進(jìn)行進(jìn)一步處理，同時(shí)如果有新的請(qǐng)求生成，它會(huì)再次經(jīng)過調(diào)度器，循環(huán)直到調(diào)度器沒有更多請(qǐng)求。整個(gè)流程允許Scrapy框架高效地協(xié)調(diào)和處理網(wǎng)絡(luò)爬取任務(wù)，包括數(shù)據(jù)抓取和處理。

1.4 Xpath查詢語言

可擴(kuò)展標(biāo)記語言路徑語言（XML Path Language，XPath）是一種用于在XML文檔中定位和提取數(shù)據(jù)的查詢語言。XPath的主要原理是根據(jù)路徑表達(dá)式在XML文檔的節(jié)點(diǎn)樹中進(jìn)行導(dǎo)航和篩選，以便精確定位所需的節(jié)點(diǎn)。它是XML文檔處理的重要工具，用于XML數(shù)據(jù)的查詢、轉(zhuǎn)換和提取，常用于Web爬蟲、XML文檔處理、XPath查詢引擎等各種應(yīng)用領(lǐng)域[15]。XPath路徑表達(dá)式如表3所示。

1.5 網(wǎng)頁爬蟲設(shè)計(jì)

為了搭建網(wǎng)頁爬蟲的環(huán)境，首先需要下載安裝Python 3.5，確保在安裝過程中選擇將Python 3.5添加到系統(tǒng)的環(huán)境變量（Path Environment Variable，PATH）中，以方便后續(xù)使用。接著，安裝JetBrains PyCharm Community Edition 2018.1.4 x64，這是一個(gè)Python編程的集成開發(fā)環(huán)境，用于編寫和管理爬蟲代碼。此外，還需要安裝phpStudy，它包含了Apache或Nginx等Web服務(wù)器、MySQL數(shù)據(jù)庫以及超文本預(yù)處理器（Hypertext Preprocessor，PHP） 環(huán)境，對(duì)于爬蟲的開發(fā)和測試非常有用。最后，通過使用pip工具安裝Scrapy框架，這是一個(gè)用于爬蟲開發(fā)的Python框架，它提供了強(qiáng)大的工具和庫來簡化數(shù)據(jù)爬取任務(wù)。安裝完成后，通過運(yùn)行“scrapy version”命令來驗(yàn)證Scrapy是否正確安裝。搭建環(huán)境后可以開始使用Scrapy進(jìn)行數(shù)據(jù)爬取，以獲取所需的數(shù)據(jù)?；赟crapy框架下的Python爬蟲系統(tǒng)流程如圖3所示。

研究以某圖書網(wǎng)站為例，基于Scrapy框架輔助下的Python爬蟲進(jìn)行了信息提取，主要信息包括圖書名稱、價(jià)格、定價(jià)、作者、銷量排名等?；赟crapy框架下的Python爬蟲系統(tǒng)信息提取流程如圖4所示。

2 基于Scrapy框架下的Python爬蟲系統(tǒng)信息提取示例分析

2.1 應(yīng)用示例分析

基于Scrapy框架下的Python爬蟲系統(tǒng)信息提取應(yīng)用示例如圖5所示。

如圖5所示，基于Scrapy框架下的Python爬蟲系統(tǒng)應(yīng)用示例顯示了從某圖書網(wǎng)站上獲取有關(guān)圖書的關(guān)鍵信息，主要包括書名、作者、價(jià)格、描述、折扣、出版時(shí)間、定價(jià)、出版社和銷量排名等。這個(gè)系統(tǒng)成功提供了一個(gè)高效的數(shù)據(jù)采集工具，可以讓用戶能夠方便地獲取和比較各種圖書信息，無須手動(dòng)瀏覽網(wǎng)頁，從而節(jié)省時(shí)間和精力。這對(duì)于圖書愛好者、圖書銷售商和評(píng)測網(wǎng)站等各種應(yīng)用場景都具有實(shí)際的價(jià)值，同時(shí)也為數(shù)據(jù)分析和決策提供了有力支持。

2.2 圖書價(jià)格與銷量排名描述型分析

圖書價(jià)格與銷量排名描述型分析結(jié)果如圖6所示。

如圖6所示，銷量排名與價(jià)格之間存在明顯的負(fù)相關(guān)關(guān)系。具體而言，銷量排名靠前的產(chǎn)品通常表現(xiàn)出較低的價(jià)格水平，而銷量排名靠后的產(chǎn)品則傾向于具有排名靠前的價(jià)格。排名前五的產(chǎn)品平均價(jià)格為23.28元，而排名后五的產(chǎn)品平均價(jià)格為11.82元，這強(qiáng)烈暗示了價(jià)格對(duì)產(chǎn)品銷量排名的影響，反映了市場的競爭特點(diǎn)，消費(fèi)者更傾向于購買價(jià)格相對(duì)較低的產(chǎn)品。該信息的分析結(jié)果為市場策略制定者提供了強(qiáng)有力的指導(dǎo)，強(qiáng)調(diào)了在競爭激烈的市場中，降低產(chǎn)品價(jià)格可能是提高銷售排名的方法有效。

3 結(jié)束語

研究基于Scrapy框架下的Python爬蟲系統(tǒng)，成功構(gòu)建了一個(gè)高效的信息提取工具，以某圖書網(wǎng)站為例，實(shí)現(xiàn)了對(duì)圖書價(jià)格和銷量排名等關(guān)鍵信息的自動(dòng)化采集和存儲(chǔ)。研究結(jié)果表明，基于Scrapy框架下的Python爬蟲系統(tǒng)在獲取、提取和分析數(shù)據(jù)方面表現(xiàn)出了強(qiáng)大的能力。通過分析圖書價(jià)格與銷量排名的關(guān)系，發(fā)現(xiàn)了一些有趣的趨勢。在價(jià)格方面，本研究觀察到圖書的價(jià)格分布比較廣泛，從低價(jià)到高價(jià)不等，但總體來看圖書都集中在較低的價(jià)格區(qū)間，這可能反映了市場對(duì)于價(jià)格敏感度的體現(xiàn)。研究證實(shí)了基于Scrapy框架下的Python爬蟲系統(tǒng)在信息采集和分析中的重要性和價(jià)值。通過自動(dòng)化的方式獲取相關(guān)圖書的信息，能夠更好地理解市場趨勢、用戶偏好，并為相關(guān)領(lǐng)域的決策提供數(shù)據(jù)支持。該方法不僅提高了數(shù)據(jù)的準(zhǔn)確性和效率，還為驅(qū)動(dòng)決策提供了充足的數(shù)據(jù)工具，具有廣泛的應(yīng)用前景。研究雖成功應(yīng)用Scrapy框架下的Python爬蟲系統(tǒng)進(jìn)行數(shù)據(jù)提取與分析，但未來需要進(jìn)一步探索數(shù)據(jù)的深層挖掘和多維分析，以更全面地理解信息關(guān)聯(lián)性。

參考文獻(xiàn)：

[1] 唐文軍，隆承志.基于Python的聚焦網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)與數(shù)字工程，2023，51（4）：845-849.

[2] WAN B.Exploring the effectiveness of web crawlers in detecting security vulnerabilities in computer software applications[J].IJIIS：International Journal of Informatics and Information Systems，2023，6（2）：56-65.

[3] 趙薔.基于Python爬蟲的旅游網(wǎng)站數(shù)據(jù)分析與可視化[J].電子設(shè)計(jì)工程，2022，30（16）：152-155.

[4] RISMAWAN S A.Implementasi Website Berita Online Menggunakan Metode Crawling Data dengan Bahasa Pemrograman Python[J].Jurnal Teknik Informatika dan Sistem Informasi，2023，10（3）： 167-178.

[5] 馬騰，余粟.基于Python爬蟲的二手房信息數(shù)據(jù)可視化分析[J].軟件，2023，44（7）：29-31.

[6] LUO K.A Study and Implementation of an Optimized University Library Book Recommendation System Based on Artificial Intelligence and Python Crawler Scraping Technology[J].Journal of Artificial Intelligence Practice，2023，6（2）： 9-17.

[7] 劉萍.基于Python爬蟲技術(shù)的網(wǎng)頁數(shù)據(jù)抓取方法[J].信息與電腦（理論版），2022，34（14）：169-171.

[8] KHAN N，HAROON M.A Personalized Tour Recommender in Python using Decision Tree[J]. International Journal of Engineering and Management Research， 2023， 13（3）： 168-174.

[9] 孫握瑜.基于Python的新浪微博爬蟲程序設(shè)計(jì)與實(shí)現(xiàn)[J].科技資訊，2022，20（12）：34-37. （下轉(zhuǎn)第56頁）

（上接第52頁）

[10] WU L，CHEN J S，ZHOU J.Teaching case design of python data analysis course for non-computer majors[J].Journal of Education and Educational Research，2023，3（1）：97-99.

[11] 時(shí)春波，李衛(wèi)東，秦丹陽，等.Python環(huán)境下利用Selenium與JavaScript逆向技術(shù)爬蟲研究[J].河南科技，2022，41（10）：20-23.

[12] LI C Y.Study based on SNOWNLP model mining of stock bar investors emotions on stock prices[J].Modern Economy，2023，14（6）：778-795.

[13] 李通，姚新強(qiáng).Scrapy框架下區(qū)域人口數(shù)據(jù)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J].軟件導(dǎo)刊，2021，20（11）：152-157.

[14] ZHANG X Y，QUAH C H，NAZRI BIN MOHD NOR M.Deep neural network-based analysis of the impact of ambidextrous innovation and social networks on firm performance[J].Scientific Reports，2023，13（1）：10301.

[15] 黎妍，肖卓宇.引入Scrapy框架的Python網(wǎng)絡(luò)爬蟲應(yīng)用研究[J].福建電腦，2021，37（10）：58-60.

【通聯(lián)編輯：代影】