遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 陳 樂

1 引言

當(dāng)今時(shí)代是大數(shù)據(jù)的時(shí)代，各個(gè)領(lǐng)域都離不開數(shù)據(jù)的支持?？焖偎阉鲾?shù)據(jù)并且充分利用數(shù)據(jù)信息，成為了一個(gè)巨大的挑戰(zhàn)。為了解決這些難題，網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)運(yùn)而生。使用網(wǎng)絡(luò)爬蟲技術(shù)可以快速提取數(shù)據(jù)，提高數(shù)據(jù)檢索質(zhì)量。

2 網(wǎng)絡(luò)爬蟲技術(shù)

2.1 網(wǎng)絡(luò)爬蟲技術(shù)的基本概念

網(wǎng)絡(luò)爬蟲又稱網(wǎng)絡(luò)蜘蛛，或者網(wǎng)絡(luò)機(jī)器人。它是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。[1]換句話來說，它可以根據(jù)網(wǎng)頁的鏈接地址自動(dòng)獲取網(wǎng)頁內(nèi)容。如果把互聯(lián)網(wǎng)比做一個(gè)大蜘蛛網(wǎng)，它里面有許許多多的網(wǎng)頁，網(wǎng)絡(luò)蜘蛛可以獲取所有網(wǎng)頁的內(nèi)容。

2.2 網(wǎng)絡(luò)爬蟲架構(gòu)

網(wǎng)絡(luò)爬蟲架構(gòu)主要由三個(gè)部分組成：網(wǎng)絡(luò)爬蟲調(diào)度端（負(fù)責(zé)開啟網(wǎng)絡(luò)爬蟲主程序）；網(wǎng)絡(luò)爬蟲主程序；目標(biāo)數(shù)據(jù)（抓取有價(jià)值數(shù)據(jù)）。

網(wǎng)絡(luò)爬蟲主程序分為3個(gè)部分：

（1）Url管理器：管理Url，包括已經(jīng)爬取過的Url和待爬的Url。

（2）網(wǎng)頁下載器：根據(jù)Url地址，將網(wǎng)頁下載保存到本地，存儲(chǔ)為字符串。

（3）網(wǎng)頁解析器：將存儲(chǔ)的字符串中有價(jià)值的數(shù)據(jù)進(jìn)行解析。

2.3 網(wǎng)絡(luò)爬蟲架構(gòu)流程

爬蟲系統(tǒng)調(diào)度段詢問Url管理器，從一個(gè)Url或者多個(gè)Url開始，將他們放在“待抓取”的Url隊(duì)列中，系統(tǒng)按照一定的順序從隊(duì)列中取出Url地址，將其傳送給網(wǎng)頁下載器并下載網(wǎng)頁內(nèi)容，調(diào)度端接收到網(wǎng)頁下載的內(nèi)容后，將網(wǎng)頁內(nèi)容發(fā)送給網(wǎng)頁解析器，抓取想要的內(nèi)容。[2]在抓取的過程中，爬蟲還會(huì)碰到Url，在已經(jīng)下載的Url隊(duì)列中檢查，如果沒有被抓取過，確認(rèn)是新的Url，則放到Url隊(duì)列末尾，等待抓取。上面過程是循環(huán)往復(fù)進(jìn)行的，直到“待抓取”的Url隊(duì)列為空，停止抓取。

3 基于Python的網(wǎng)絡(luò)爬蟲分析

3.1 Python語言的優(yōu)越性

（1）方便簡單，容易上手。Python幾乎能在所有的操作系統(tǒng)上運(yùn)行，很容易上手，初學(xué)者可以快速適應(yīng)。

（2）Python是一個(gè)廣泛使用的腳本語言，其自帶了urllib、urllib2等爬蟲最基本的庫，可以抓取Url的內(nèi)容。[3]

（3）Python擅長處理字節(jié)流的各種模式，具有很好的開發(fā)速度。

3.2 Python網(wǎng)絡(luò)爬蟲模塊

3.2.1 Url管理模塊

Url管理模塊的作用是管理Url，包括已經(jīng)被抓取的Url集合和還未被抓取的Url集合。Url管理模塊可以有效預(yù)防重復(fù)抓取循環(huán)抓取的問題。

Python中實(shí)現(xiàn)網(wǎng)址管理有三種途徑：

（1）存儲(chǔ)在內(nèi)存中，針對(duì)于Url數(shù)據(jù)較少的情況。在Python中用Set（）集合加以實(shí)現(xiàn)，Set（）可以消除重復(fù)數(shù)據(jù)，避免重復(fù)抓取的問題。

（2）存儲(chǔ)在關(guān)系數(shù)據(jù)庫，實(shí)現(xiàn)永久存儲(chǔ)。建立Url表，該表中有兩個(gè)字段，一個(gè)字段是Url地址，另一個(gè)字段用來表示Url是否被抓取。

（3）存儲(chǔ)在緩存數(shù)據(jù)庫redis中，針對(duì)于Url數(shù)據(jù)較多的情況下。也可以用Set（）集合來實(shí)現(xiàn)，來存取“待爬”的Url地址和“已爬”的Url地址。

3.2.2 網(wǎng)頁下載器

網(wǎng)頁下載器將Url對(duì)應(yīng)的網(wǎng)頁下載到本地，將其存儲(chǔ)為字符串，以便接下來對(duì)數(shù)據(jù)進(jìn)行處理。

Python支持的網(wǎng)頁下載工具有兩種：

Python自身攜帶的urllib2模塊。urllib2針對(duì)于簡單的網(wǎng)絡(luò)爬蟲，能夠完成網(wǎng)頁下載，提交用戶數(shù)據(jù)，代理訪問，客戶登錄等多種功能。

下面是簡單的網(wǎng)絡(luò)爬蟲代碼（以百度為例）：

import urllib2

response.urllib2.urlopen(“http://www.baidu.com”)

print response.read()

在這個(gè)例子中，我們首先調(diào)入urllib2庫中的url.open()方法，傳送百度的url，返回一個(gè)response對(duì)象，調(diào)入response對(duì)象的read()方法，返回獲取的網(wǎng)頁內(nèi)容，并打印.。

第三方工具包—request，request的功能比較強(qiáng)大，屬于第三方插件。

3.2.3 網(wǎng)頁解析器

網(wǎng)頁解析器用來從網(wǎng)頁中提取從最初想要的數(shù)據(jù)。實(shí)則上提取的是兩部分：（1）Url列表；（2）目標(biāo)數(shù)據(jù)。

Python中的網(wǎng)頁解析器有兩種類型：

（1）利用正則表達(dá)式。正則表達(dá)式將網(wǎng)頁當(dāng)作字符串來處理，只適用于簡單的網(wǎng)頁。一般網(wǎng)頁較為復(fù)雜時(shí)，不采用此類方法。

（2）基于網(wǎng)頁的DOM結(jié)構(gòu)。DOM樹是一種樹形標(biāo)簽結(jié)構(gòu)。網(wǎng)頁解析器會(huì)將HTML文檔當(dāng)成DOM樹，對(duì)其進(jìn)行上下級(jí)結(jié)構(gòu)的遍歷來提取有用信息。使用樹形結(jié)構(gòu)可以對(duì)網(wǎng)頁中的具體信息來進(jìn)行定位，定位到具體的某個(gè)節(jié)點(diǎn)、屬性等。其中BeautifulSoup解析器功能強(qiáng)大，更為盛行。BeautifulSoup利用find_all()和find()方法來搜索節(jié)點(diǎn)，find_all()可以查找所有符合查詢條件的標(biāo)簽節(jié)點(diǎn)，并返回一個(gè)列表。find()方法查找符合查詢條件的第一個(gè)標(biāo)簽節(jié)點(diǎn)。用這兩種方法搜索節(jié)點(diǎn)，提取有價(jià)值信息。

4 結(jié)語

在大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)爬蟲技術(shù)可以有效準(zhǔn)確地抓取目標(biāo)數(shù)據(jù)，可以為我們節(jié)省大量的資源，對(duì)信息檢索起著十分重要的作用。基于Python的網(wǎng)絡(luò)爬蟲技術(shù)，具有很高的前瞻性，有一定的研究價(jià)值。