亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于python的網(wǎng)絡(luò)爬蟲技術(shù)的研究

        2019-09-10 20:25:57劉文輝李麗
        關(guān)鍵詞:分析

        劉文輝 李麗

        摘 要:面對(duì)數(shù)據(jù)大爆炸,人們很難獲取有用的信息。網(wǎng)絡(luò)爬蟲技術(shù)成為了搜索引擎中最為重要的部分,能夠有效的在海量數(shù)據(jù)中找到有價(jià)值的信息。本論文從不同方面基于python的網(wǎng)絡(luò)爬蟲技術(shù)的研究,希望為研究網(wǎng)絡(luò)爬蟲技術(shù)的專家和學(xué)者提供理論參考依據(jù)。

        關(guān)鍵詞:python;網(wǎng)絡(luò)爬蟲技術(shù);分析

        隨著我國(guó)社會(huì)化和移動(dòng)互聯(lián)網(wǎng)的逐步發(fā)展,網(wǎng)絡(luò)上的數(shù)據(jù)呈爆炸式增長(zhǎng)。數(shù)據(jù)大爆炸,導(dǎo)致了那些有需要的人們?cè)诰W(wǎng)上找他們所需的信息愈發(fā)的困難,由此搜索引擎根據(jù)這種需求產(chǎn)生了。這個(gè)時(shí)候我們需要搜索引擎去解決的困難,不僅僅是幫助人們從大量的數(shù)據(jù)里找到答案,還要在大量的答案里面找到人們最需要的結(jié)果,迅速快捷的找到精準(zhǔn)答案比找到很多無用答案更被人們所需要。搜素引擎要做什么呢?搜索引擎需要從海量數(shù)據(jù)中提取價(jià)值,即為數(shù)據(jù)挖掘。從本質(zhì)上看,搜索引擎是一個(gè)典型的大數(shù)據(jù)應(yīng)用。網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中,是很關(guān)鍵也很基礎(chǔ)的構(gòu)件。搜索引擎聚集了網(wǎng)絡(luò)中成千上萬的信息網(wǎng)頁,并為網(wǎng)頁中逐個(gè)詞建立索引。在人們?cè)O(shè)立搜索引擎的過程中,采集信息網(wǎng)頁是一個(gè)很重要的部分。爬蟲程序就是用來搜集網(wǎng)頁的程序。網(wǎng)絡(luò)爬蟲是搜索引擎中信息采集的部分,整個(gè)搜索引擎索引網(wǎng)頁的質(zhì)量、數(shù)量和更新周期,都會(huì)受網(wǎng)絡(luò)爬蟲技術(shù)性能的影響。因此對(duì)于網(wǎng)絡(luò)爬蟲的研究具有深遠(yuǎn)的意義。

        1 網(wǎng)絡(luò)爬蟲以及網(wǎng)絡(luò)爬行

        網(wǎng)絡(luò)爬蟲(Web Crawler)是搜索引擎的最基礎(chǔ)部分,主要是一個(gè)能夠下載網(wǎng)頁的計(jì)算機(jī)程序或者腳本,又被稱為網(wǎng)絡(luò)蜘蛛(Web Spider)。一般而言,網(wǎng)絡(luò)爬蟲從種子集的URL 集合開始運(yùn)行,先將 URL 放入一個(gè)有序隊(duì)列中,然后按照一定的順序?qū)?URL 取出,然后下載所對(duì)應(yīng)的頁面。經(jīng)過對(duì)網(wǎng)絡(luò)頁面的分析,獲取新的 URL,并將其放入有序隊(duì)列中,如此反復(fù),直到隊(duì)列為空或者是滿足停止爬行的條件,從而遍歷整個(gè)網(wǎng)絡(luò)。這便是網(wǎng)絡(luò)爬蟲的運(yùn)行過程,稱為網(wǎng)絡(luò)爬行(Web Crawling)。

        2 網(wǎng)絡(luò)爬蟲的分類

        網(wǎng)絡(luò)爬蟲的分類比較多,根據(jù)其結(jié)構(gòu)和實(shí)現(xiàn)技術(shù)主要可以分為通用網(wǎng)絡(luò)爬蟲、聚焦網(wǎng)絡(luò)爬蟲、增量式網(wǎng)絡(luò)爬蟲以及深層網(wǎng)絡(luò)爬蟲四種,實(shí)際應(yīng)用中的網(wǎng)絡(luò)爬蟲一般是多種及技術(shù)結(jié)合實(shí)現(xiàn)的。

        2.1通用網(wǎng)絡(luò)爬蟲

        一般情況下,通用網(wǎng)絡(luò)爬蟲對(duì)爬行頁面的順序要求不高,大多采用并行的工作方式,刷新頁面需要的時(shí)間比較長(zhǎng)。因此,通用網(wǎng)絡(luò)爬蟲往往會(huì)采用一定的爬行策略來縮短爬行時(shí)間,比較常用的有深度優(yōu)先和廣度優(yōu)先兩種。深度優(yōu)先是指按照深度由低到高訪問鏈接,直到無法再深入;廣度優(yōu)先是指首先爬行網(wǎng)頁的淺目錄內(nèi)容,然后爬行深目錄內(nèi)容。比較常見的通用網(wǎng)絡(luò)爬蟲有 Mercator 和Google Crawler。Google Crawler 是一個(gè)分布式的爬蟲,它利用異步 I/O 來實(shí)現(xiàn)并行化,并且擁有獨(dú)立的進(jìn)程來維護(hù) URL 隊(duì)列,Google Crawler 還使用了PageRank 等多種算法來提高系統(tǒng)的性能。

        2.2聚焦網(wǎng)絡(luò)爬蟲

        聚焦網(wǎng)絡(luò)爬蟲能夠選擇性的爬行與預(yù)設(shè)主題相關(guān)的頁面。聚焦爬蟲的爬行范圍小,能夠有效的節(jié)省網(wǎng)絡(luò)資源,并且頁面更新比較快。聚焦網(wǎng)絡(luò)爬蟲的爬行策略主要由頁面的內(nèi)容評(píng)價(jià)以及連接的結(jié)構(gòu)評(píng)價(jià)決定。在基于內(nèi)容評(píng)價(jià)的爬行策略中,主要采用 Fish Search 算法來評(píng)價(jià)查詢頁面與查詢主題的相關(guān)度;在基于連接結(jié)構(gòu)評(píng)價(jià)的爬行策略中,主要 PageRank 算法來評(píng)價(jià)鏈接的重要性,具體就是優(yōu)先訪問 PageRank 值最大的頁面;在基于增強(qiáng)學(xué)習(xí)的爬行策略中,利用貝葉斯分類器對(duì)文本進(jìn)行分類,從而計(jì)算出不同鏈接的重要性,從而確定訪問順序。

        2.3增量式網(wǎng)絡(luò)爬蟲

        增量式網(wǎng)頁爬蟲主要是對(duì)已經(jīng)下載的網(wǎng)頁進(jìn)行更新,只爬行更新的網(wǎng)頁,從而保證刷新出的網(wǎng)頁是最新的。增量式網(wǎng)絡(luò)爬蟲一般只在頁面需要時(shí)才會(huì)開始爬行,不會(huì)重復(fù)下載沒有發(fā)生變化的網(wǎng)頁,因此在很大程度上減少了網(wǎng)絡(luò)資源的浪費(fèi),但是算法比較復(fù)雜且實(shí)現(xiàn)難度比較大。

        3 基于Python的網(wǎng)絡(luò)爬蟲分析

        3.1 Python語言的優(yōu)越性

        (1)方便簡(jiǎn)單,容易上手。Python幾乎能在所有的操作系統(tǒng)上運(yùn)行,很容易上手,初學(xué)者可以快速適應(yīng)。

        (2)Python是一個(gè)廣泛使用的腳本語言,其自帶了urllib、url-lib2等爬蟲最基本的庫,可以抓取Url的內(nèi)容。

        (3)Python擅長(zhǎng)處理字節(jié)流的各種模式,具有很好的開發(fā)速度。

        3.2 Python網(wǎng)絡(luò)爬蟲模塊

        3.2.1 Url管理模塊

        Url管理模塊的作用是管理Url,包括已經(jīng)被抓取的Url集合和還未被抓取的Url集合。Url管理模塊可以有效預(yù)防重復(fù)抓取循環(huán)抓取的問題。

        Python中實(shí)現(xiàn)網(wǎng)址管理有三種途徑:

        (1)存儲(chǔ)在內(nèi)存中,針對(duì)于Url數(shù)據(jù)較少的情況。在Python中用Set()集合加以實(shí)現(xiàn),Set()可以消除重復(fù)數(shù)據(jù),避免重復(fù)抓取的問題。

        (2)存儲(chǔ)在關(guān)系數(shù)據(jù)庫,實(shí)現(xiàn)永久存儲(chǔ)。建立Url表,該表中有兩個(gè)字段,一個(gè)字段是Url地址,另一個(gè)字段用來表示Url是否被抓取。

        (3)存儲(chǔ)在緩存數(shù)據(jù)庫redis中,針對(duì)于Url數(shù)據(jù)較多的情況下。也可以用Set()集合來實(shí)現(xiàn),來存取“待爬”的Url地址和“已爬”的Url地址。

        3.2.2 網(wǎng)頁下載器

        網(wǎng)頁下載器將Url對(duì)應(yīng)的網(wǎng)頁下載到本地,將其存儲(chǔ)為字符串,以便接下來對(duì)數(shù)據(jù)進(jìn)行處理。

        Python支持的網(wǎng)頁下載工具有兩種:Python自身攜帶的urllib2模塊。urllib2針對(duì)于簡(jiǎn)單的網(wǎng)絡(luò)爬蟲,能夠完成網(wǎng)頁下載,提交用戶數(shù)據(jù),代理訪問,客戶登錄等多種功能。

        3.2.3 網(wǎng)頁解析器

        網(wǎng)頁解析器用來從網(wǎng)頁中提取從最初想要的數(shù)據(jù)。實(shí)則上提取的是兩部分:(1)Url列表;(2)目標(biāo)數(shù)據(jù)。Python中的網(wǎng)頁解析器有兩種類型:

        (1)利用正則表達(dá)式。正則表達(dá)式將網(wǎng)頁當(dāng)作字符串來處理,只適用于簡(jiǎn)單的網(wǎng)頁。一般網(wǎng)頁較為復(fù)雜時(shí),不采用此類方法。

        (2)基于網(wǎng)頁的DOM結(jié)構(gòu)。DOM樹是一種樹形標(biāo)簽結(jié)構(gòu)。網(wǎng)頁解析器會(huì)將HTML文檔當(dāng)成DOM樹,對(duì)其進(jìn)行上下級(jí)結(jié)構(gòu)的遍歷來提取有用信息。使用樹形結(jié)構(gòu)可以對(duì)網(wǎng)頁中的具體信息來進(jìn)行定位,定位到具體的某個(gè)節(jié)點(diǎn)、屬性等。其中BeautifulSoup解析器功能強(qiáng)大,更為盛行。BeautifulSoup利用find_all()和find()方法來搜索節(jié)點(diǎn),find_all()可以查找所有符合查詢條件的標(biāo)簽節(jié)點(diǎn),并返回一個(gè)列表。find()方法查找符合查詢條件的第一個(gè)標(biāo)簽節(jié)點(diǎn)。用這兩種方法搜索節(jié)點(diǎn),提取有價(jià)值信息。

        參考文獻(xiàn)

        [1]大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)爬蟲設(shè)計(jì)[J].郭麗蓉.山西電子技術(shù).2018(02)

        [2]基于網(wǎng)絡(luò)爬蟲技術(shù)的時(shí)令旅游信息獲取[J].鄭鑫臻,吳韶波.物聯(lián)網(wǎng)技術(shù).2018(05)

        [3]主題網(wǎng)絡(luò)爬蟲抓取策略的研究[J].劉清.科技廣場(chǎng).2017(04)

        [4]網(wǎng)絡(luò)爬蟲技術(shù)的研究與實(shí)現(xiàn)[J].繆治.中國(guó)新通信.2019(06)

        [5]基于匿名網(wǎng)絡(luò)的網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn)分析[J].劉煥欣.計(jì)算機(jī)產(chǎn)品與流通.2017(12)

        [6]主題網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)的應(yīng)用探討[J].楊凌云.電腦編程技巧與維護(hù).2018(11)

        [7]網(wǎng)絡(luò)爬蟲技術(shù)在電力產(chǎn)業(yè)中的應(yīng)用[J].賀冠博,蘇宇琦,黃源.電子技術(shù)與軟件工程.2017(18)

        [8]一種新的主題網(wǎng)絡(luò)爬蟲爬行策略[J].宋海洋,劉曉然,錢海俊.計(jì)算機(jī)應(yīng)用與軟件.2011(11)

        猜你喜歡
        分析
        隱蔽失效適航要求符合性驗(yàn)證分析
        電力系統(tǒng)不平衡分析
        電子制作(2018年18期)2018-11-14 01:48:24
        電力系統(tǒng)及其自動(dòng)化發(fā)展趨勢(shì)分析
        中西醫(yī)結(jié)合治療抑郁癥100例分析
        在線教育與MOOC的比較分析
        亚洲国产人成自精在线尤物| 中文字幕乱码日本亚洲一区二区| 在线免费观看蜜桃视频| 免费a级毛片在线播放不收费| 人妻无码aⅴ不卡中文字幕| 人妻去按摩店被黑人按中出 | 久久综合国产乱子伦精品免费| 久久青草伊人精品| 免费的黄网站精品久久| 99久久免费看精品国产一| 无码丰满熟妇一区二区| 亚洲中文字幕乱码| 韩国女主播一区二区在线观看| 美腿丝袜av在线播放| 少妇高潮精品正在线播放| 国产在线观看视频一区二区三区| 放荡的美妇在线播放| 品色永久免费| 日韩精品一区二区三区毛片| 日本精品中文字幕人妻| 婷婷久久国产综合精品| 最新日本一道免费一区二区 | 久久精品国产夜色| av蜜桃视频在线观看| 亚洲av日韩综合一区尤物| 国产亚洲精品熟女国产成人| 成人爽a毛片在线视频| 亚洲另在线日韩综合色| 一区二区三区一片黄理论片| 无码无套少妇毛多18pxxxx| 欧美极品少妇性运交| 97在线视频免费| 国产精品99久久精品女同| 久久中文字幕人妻淑女| 欧美猛少妇色xxxxx猛交| 人妻无码中文专区久久五月婷| 日本一级淫片免费啪啪| 国产精品自线一区二区三区| 日本老熟妇毛茸茸| 亚洲www视频| 精品视频一区二区三区日本|