魏倩男 賀正楚 陳一鳴

摘 要 以京東平臺的網(wǎng)頁數(shù)據(jù)抓取為例，研究如何提高網(wǎng)絡爬蟲技術對網(wǎng)頁數(shù)據(jù)的抓取效率，進而對抓取到的數(shù)據(jù)進行數(shù)據(jù)挖掘和數(shù)據(jù)分析.該網(wǎng)絡爬蟲技術主要建立在分布式系統(tǒng)的基礎上，多臺計算機多線程同時運行，使數(shù)據(jù)抓取效率顯著提高.分析京東平臺的網(wǎng)頁信息，統(tǒng)一分類，抓取分類下的商品信息，獲取到網(wǎng)頁內容后，利用解析器重建網(wǎng)頁DOM樹，通過JQUERY選擇器，針對選擇不同的標簽名稱和標識名稱獲取商品信息，把獲取到的數(shù)據(jù)進行過濾、整合，然后進行數(shù)據(jù)挖掘和數(shù)據(jù)分析，對電商行業(yè)走勢進行預測，進而指導電商運營團隊決策.

關鍵詞 電商平臺;數(shù)據(jù)分析;分布式系統(tǒng);AJAX;MapReduce;Jumony Core

中圖分類號 F424，F(xiàn)716，F(xiàn)724.6文獻標識碼 A

Abstract Taking the data web Jingdong platform as an example， this paper researched how to improve the efficiency of data capture of web crawler technology， and to crawl into data for data mining and data analysis. The crawler technology is mainly built on the basis of distributed system， and multiple computers run simultaneously at the same time， so that the efficiency of data capture is significantly improved. After analyzing Web information， Jingdong platform unified classification， grasping under the category of commodity information， and the access to web content， DOM tree was reconstructed by using parser， and through the JQUERY selector， different commodity information was selected according to the label name and logo name， and the obtained data was filtered， integrated， and then data mining and data analysis were carried out to predict the trend of the e-commerce industry， and then to guide the decision-making of the e-commerce operations team.

Key words electronic business platform;data analysis;distributed system;AJAX;MapReduce;Jumony Core

1 引 言

2017年1月，中國互聯(lián)網(wǎng)絡信息中心（CNNIC）發(fā)布第39次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》，根據(jù)報告顯示，截至2016年12月，中國網(wǎng)民規(guī)模相當于歐洲人口總量，高達7.31億，全年新增網(wǎng)民共計4229萬人.互聯(lián)網(wǎng)普及率達53.2%，較2015年底提升了2.9個百分點.其中在商務交易應用類發(fā)展方面，截至2016年12月，中國有99.0%的企業(yè)使用計算機辦公.在電子商務方面，開展在線采購、在線銷售的比例分別為45.6%和45.3%，大約有38.7%的企業(yè)利用互聯(lián)網(wǎng)開展營銷推廣活動.中國的互聯(lián)網(wǎng)行業(yè)整體向價值化、規(guī)范化的方向發(fā)展，同時，移動化聯(lián)網(wǎng)推動了共享化、設備智能化和場景多元化的消費模式[1].

圖1為CNNIC中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計調查結果.圖1顯示截至2016年12月全國有45.3%的企業(yè)開展在線銷售業(yè)務.“十二五”期間，中國電子商務市場發(fā)現(xiàn)迅速，交易額翻了兩番.2016年，“十三五”的開局之年，電子商務市場規(guī)模的增速依然保持穩(wěn)定，企業(yè)的參與程度越來越深入，開展在線銷售的企業(yè)數(shù)量也大幅增加.隨著企業(yè)對品牌推廣意識的提升、電子商務的日益普及，以及中國互聯(lián)網(wǎng)的廣告市場逐步規(guī)范化，互聯(lián)網(wǎng)的營銷市場仍然有很大的增長空間.但是近幾年來電商行業(yè)的各大網(wǎng)站為搶占市場經(jīng)常采取的策略是打價格戰(zhàn)，紛紛通過促銷、甚至降價等方式來吸引客戶.據(jù)KPCB的調查報告顯示，2009年到2016年全球移動端新用戶的增長率持續(xù)下滑，可以預測在2017年這一增長率將繼續(xù)放慢，用戶增長將更加乏力，這就意味著人口增長帶來的流量紅利正在逐漸消退.那么，單純地通過價格戰(zhàn)來吸引新用戶的方式已不容樂觀.嚴峻的市場競爭形勢迫使企業(yè)思考，在不依靠價格戰(zhàn)這種野蠻增長的方式下，當企業(yè)面臨增長困境，該如何應對？2017年11月在北京舉辦的“第三屆中國行業(yè)互聯(lián)網(wǎng)大會”為這一問題指出了解決思路，即在互聯(lián)網(wǎng)時代下“新動能，新模式”將助推企業(yè)轉型升級，優(yōu)化要素配置，促進新經(jīng)濟轉型.因此，對電商平臺來說，數(shù)據(jù)是電商分析問題的基礎，面對不斷增長的海量信息，如何高效的獲取數(shù)據(jù)、挖掘信息是電商企業(yè)精細化運營和數(shù)據(jù)驅動決策中亟待解決的問題.網(wǎng)絡爬蟲技術在電商信息來源方面和其他領域都有很廣泛的應用.

2 網(wǎng)絡爬蟲技術的發(fā)展現(xiàn)狀

隨著Internet規(guī)模的不斷擴大的和Internet技術的迅速發(fā)展，Web信息量呈指數(shù)增長，數(shù)據(jù)呈現(xiàn)出數(shù)據(jù)量大、種類多、實時性強、價值大等特點，大數(shù)據(jù)的應用已經(jīng)蔓延到各個領域[2].數(shù)據(jù)挖掘是從海量數(shù)據(jù)中尋找其規(guī)律和聯(lián)系的技術，是統(tǒng)計學、數(shù)據(jù)庫技術和人工智能技術的綜合.目前，在數(shù)據(jù)挖掘的領域范疇中，相關研究機構（如：Google、百度等）已經(jīng)給出了較為成熟穩(wěn)定的大型網(wǎng)絡爬蟲解決方案，由于涉及商業(yè)化利益和機密，相對成熟的搜索引擎技術不會被公開化，網(wǎng)絡中的相關資源也只是膚淺的描述和概括，而且這些方案大都只能為一般用戶提供一種不可定制的搜索服務，大部分公司并不提供相關的技術方案支持.開源在網(wǎng)絡爬蟲方面，也已經(jīng)有一些相對成熟的網(wǎng)絡爬蟲項目，但很多并不能被廣泛采用，并且可能會存在一些問題，如：不穩(wěn)定、體驗效果差、配置繁瑣等.在開源爬蟲項目中，大部分都是單機版的，無法應用于海量數(shù)據(jù)的采集等其他情況，因此，針對電商平臺研究出一套配置簡單、穩(wěn)定性強、效率高的爬蟲是很必要的.

網(wǎng)絡爬蟲追求的方向是如何盡可能及時、全面、有效地獲取互聯(lián)網(wǎng)上的數(shù)據(jù)索引，主要包括以下方面的研究：發(fā)展大規(guī)模分布式系統(tǒng)、提高系統(tǒng)的性能[3].一是分布式系統(tǒng)有效地推動了搜索引擎技術的發(fā)展.搭建一套擴展性強、性能穩(wěn)定、成本低廉的分布式集群系統(tǒng)，多臺機器并行運算，可以有效地解決多個網(wǎng)間訪問速度過慢對網(wǎng)頁信息獲取的影響，加快數(shù)據(jù)的計算速度，提高網(wǎng)絡爬蟲的性能[4];二是網(wǎng)絡數(shù)據(jù)抓取內容越來越多元化.人們對網(wǎng)絡資源的需求不僅僅是單純的文字，需求正朝著多元化的道路發(fā)展，例如，視頻搜索，圖片搜索以及各類文檔搜索，因此網(wǎng)絡爬蟲面對這些也應該能夠準確的解析并且準確的獲取;三是更多的個性化服務.當前抓取內容需要具備個性化搜索，人們關心的并不是所有的電商平臺網(wǎng)站和其他品類網(wǎng)站，而只是滿足自己所需要的一些電商網(wǎng)站等站點，因此就需要網(wǎng)絡爬蟲有針對性的去獲取，不同的站點對應不同的權值;四是AJAX數(shù)據(jù)獲取[5].AJAX框架有大量的表現(xiàn)層代碼，由于網(wǎng)絡和其他的反爬蟲因素在一定程度上降低了網(wǎng)絡爬蟲的效率.因此，開展支持AJAX框架站網(wǎng)絡爬蟲的研究，對解決AJAX站點地址（URL）獲取以及檢索隱藏在其中大量數(shù)據(jù)的問題，具有重要的理論意義與實用價值[6].

事實上，在網(wǎng)絡爬蟲領域，學術界以及商業(yè)界都已有一些研究，其中包括：網(wǎng)絡爬行策略、海量數(shù)據(jù)存儲方式、海量數(shù)據(jù)索引方式、網(wǎng)頁評級分類等.隨著網(wǎng)絡信息資源的快速增長以及網(wǎng)絡信息資源動態(tài)的變化，傳統(tǒng)的爬蟲技無法滿足人們對個性化服務的需求，以何種方式訪問網(wǎng)絡，提高爬蟲效率，已成為近幾年來網(wǎng)絡爬蟲研究的主要問題之一.但大多數(shù)研究僅著眼于某一個方面的改進，因此對于一個完整的爬蟲系統(tǒng)來說，或多或少的會存在著某些不足.本文在已有研究成果基礎上，設計一個高效可行的網(wǎng)絡爬蟲方案，進而對爬取到的數(shù)據(jù)進行數(shù)據(jù)分析和數(shù)據(jù)挖掘，為企業(yè)決策提供指導.

本文主要基于MapReduce分布式系統(tǒng)實現(xiàn)了網(wǎng)絡爬蟲在電商中的應用，提高了網(wǎng)爬蟲性能，加快頁面信息獲取速度[7].針對海量信息無法存儲的問題，采用非結構化分布式存儲技術，它是一種全新的非關系型的分布式存儲技術，采用新的數(shù)據(jù)模型，具有海量數(shù)據(jù)存儲、高性能、高可用性、強伸縮性等特點，可以有效地解決數(shù)據(jù)存儲的問題.針對頁面通過AJAX異步請求獲取后臺數(shù)據(jù)，呈現(xiàn)到網(wǎng)頁信息無法獲取的問題，采用Selenium技術，它可以通過調用瀏覽器的方式，加載頁面自身內容和通過AJAX異步請求展現(xiàn)的內容，完全加載后，Selenium可以獲取到所有頁面內容，Selenium還可以模擬鼠標單擊、雙擊、右擊等一些操作，解決隱藏數(shù)據(jù)無法獲取的問題[8].

3 相關理論基礎

3.1 MapReduce

MapReduce是Google在2004年提出的一個用于處理大規(guī)模數(shù)據(jù)集合的分布式計算架構.該構架的提出是由編程函數(shù)中常用的Map，Reduce函數(shù)啟發(fā)結合而來，通過這個架構，可以幫助對分布式計算不太了解的程序員完成分布式計算程序的編程，實現(xiàn)對問題的分解與合并[9].

分布式計算是將整個任務先分割成很多小的子任務到子節(jié)點處理，再將子節(jié)點處理得到的結果進行合并整理，獲取最終結果[10].在MapReduce的執(zhí)行任務的過程中主要分為Map和Reduce兩個步驟：當用戶輸入一條指令后，Map程序首先把任務分割成不相關的小任務塊，這些小的任務塊會被分配到不同的計算機進去處理，得到的結果通過Reduce程序整合.MapReduce的一般運行結構如圖2所示.

“Map”過程：Master節(jié)點接收到輸入的數(shù)據(jù)后會將數(shù)據(jù)分割成許多小的數(shù)據(jù)塊并把它們分給不同的Worker節(jié)點.Worker節(jié)點可能會再次重復上面內容;或者Worker節(jié)點調用用戶自定義的函數(shù)，將處理得到的鍵值數(shù)據(jù)對寫入到本地磁盤中.

“Reduce”過程：在Worker節(jié)點上執(zhí)行Reduce函數(shù)，整理Map函數(shù)處理好的全部數(shù)據(jù)，把鍵名相同的數(shù)據(jù)通過用戶提交的指定的方法合成不同的數(shù)據(jù)集合，保存到磁盤中.

3.2 AJAX

Ajax并不能說是一種新的研發(fā)技術，而是提取的Java、XML與JavaScript等技術的特點，創(chuàng)建了交互式網(wǎng)頁應用的Web開發(fā)技術，其中包括這些技術：使用HTML和CSS定義呈現(xiàn)給用戶的頁面內容和媒體信息;使用DOM實時動態(tài)修改頁面顯示內容和加載效果;使用XML和XSLT進行數(shù)據(jù)交換獲取和結構化處理;使用XMLHttpRequest方法進行異步數(shù)據(jù)的查詢和獲取;使用JavaScript綁定和處理以上部分.

AJAX Web應用模型如圖3所示.

客戶端與Web服務器之間增加了Ajax引擎，客戶端接口與Ajax引擎交互，而Ajax引擎再通過HTTP傳輸協(xié)議與Web服務器端交互.Ajax Web應用采用了異步交互模式，比傳統(tǒng)的Web應用體驗效果更佳，更加受用戶的喜愛，有5個方面的優(yōu)點[11]：①Ajax能在不刷新整個頁面的前提下更新頁面信息和頁面數(shù)據(jù)，網(wǎng)頁加載的速度更加快速，用戶等待頁面加載的時間更短.在等待服務器響應的過程中，用戶可以在已加載頁面進行任何操作，縮短可感知時間.②通過異步調用模式，可以帶來更好的用戶體驗，用戶可以更加直觀感覺到豐富、動態(tài)的頁面內容.③Ajax采用的原則是“按需按量取數(shù)據(jù)”，可以最大程度的減少冗余請求和大量數(shù)據(jù)的一次性加載，優(yōu)化服務器和客戶端的傳輸，從而提高網(wǎng)絡帶寬的利用率，減輕服務器負擔.④Ajax不但可以調用本地資源，還可以加載外部數(shù)據(jù)，非常具有靈活性.⑤Ajax技術應用非常簡單，沒有任何插件和程序的安裝，操作簡單，能被開發(fā)者廣泛支持.

3.3 Jumony Core

Jumony Core是一個非常真實的HTML引擎.目前的HTML解析器加上簡單的正則表達式已經(jīng)可以滿足用戶操縱HTML文檔的需求，但對于Jumony Core，它更加強大.Jumony Core解析結果和瀏覽器的解析結果相似度非常高，無論是無結束標簽的元素，可選結束標簽的元素，或是標記屬性，或是CSS選擇器和樣式，一切合法的，不合法的HTML文檔，瀏覽器解析成什么樣式和內容，Jumony Core出來的效果幾乎和瀏覽器一樣.Jumony Core包含的封裝方法及作用如表1所示.

4 本研究對爬蟲技術的設計

4.1 設計思想

目前，爬蟲在抓取數(shù)據(jù)上，一般采取兩種策略：廣度優(yōu)先策略與深度優(yōu)先策略[12].廣度優(yōu)先是指爬蟲沿著樹進行橫向遍歷，直到抓取完起始網(wǎng)頁中連接的所有網(wǎng)頁為止，然后再選擇其中的一個網(wǎng)頁鏈接，循環(huán)這個過程.此方法可以讓爬蟲并行進行，提高了抓取速度.深度優(yōu)先是指爬蟲沿著樹進行縱向遍歷.深度優(yōu)先策略是一個遞歸的過程，因此在程序執(zhí)行的時候會大量消耗計算機的內存，很容易使爬蟲陷入問題，甚至是電腦死機.另外，遞歸與多線程是無法兼容的，因為多線程可以一次運行多個任務，但每個線程都要有自己的堆棧.而在遞歸時，當一個方法調用它自身時，它們需要使用同一個堆棧.因此，本爬蟲程序采用廣度優(yōu)先策略.具體實現(xiàn)方式為：首先，統(tǒng)一不同電商平臺的分類信息，通過比較判斷找出不同電商平臺的公共分類信息，分類信息還分為一級分類和二級分類，一級分類下面包含多個二級分類;其次，整合所有二級分類，獲取所有二級分類所對應的商品列表URL，初始化URL，直到對應的URL沒有商品為止;最后，把獲取到的產(chǎn)品信息存儲到數(shù)據(jù)庫，存儲到數(shù)據(jù)庫中的數(shù)據(jù)經(jīng)過清洗過濾得到標準化的數(shù)據(jù)，然后進行數(shù)據(jù)統(tǒng)計分析，從而把握電商行業(yè)的銷售趨勢.圖4為本程序對商品數(shù)據(jù)獲取及保存示意圖.

4.2 操作流程與實現(xiàn)

圖5清晰地展示了程序的主要流程.收集網(wǎng)絡中不同的電商平臺進行分析對比，獲取不同電商網(wǎng)站針對的不同分類的側重點，對于相似的分類，可以關聯(lián)分類后統(tǒng)一化名稱.對于每個分類下面的商品，需要不斷的初始化對應URL，從而獲得不同分頁下面的商品信息，獲取商品信息的時候，對信息不完整的商品進行舍棄.在數(shù)據(jù)整理的時候，過濾不符合規(guī)則、異常的數(shù)據(jù).

4.3 統(tǒng)一分類

當前網(wǎng)絡電商平臺眾多，其中國內比較知名的主要有淘寶、天貓、京東等，但這些電商平臺的一級分類和二級分類，甚至更深層的分類錯綜復雜[13].把這些電商平臺的所有分類整合，挑選出其中具有代表性的一級分類，在一級分類的決斷中，盡可能的要包含人們生活的各方面.對于二級分類的確定，通過與一級分類的關聯(lián)度和常識去決定.最終，可以得到基于不同電商平臺下的一套相對統(tǒng)一的標準化分類.

4.4 初始化URL

不同電商平臺的二級分類下面可能會有更細的小分類，但不是商品列表，要盡可能完整的獲取到所有分類下面的信息就需要把這些更小的分類下面的商品列表對應的URL也存儲到數(shù)據(jù)庫，這些小的分類應該與其父級分類建立關聯(lián)外鍵.每個URL對應的商品列表只有一頁，一般要想獲取更多的頁面列表就需要改變URL中對應頁碼的數(shù)值.尚待訪問URL隊列可以被構造為一個先進先出（FIFO）隊列，信息搜索的下一個將要爬行的頁面來自隊列頭，新的URL被加入到隊列尾.每一步都是從隊列頭中選出下一個URL供爬蟲抓取，直到爬完此隊列中所有URL為止.

4.5 頁面信息提取

在提取頁面信息時，首先必須先判斷頁面的編碼方式，目前的字符集種類非常多，其中主要以“UTF-8”，“GBK”，“GB2312”為主，具體可以在網(wǎng)頁頭部可以看到，例如：.在讀取頁面內容時，先要判斷獲取內容的類型，如果是多媒體數(shù)據(jù)，則可以下載存儲到網(wǎng)頁數(shù)據(jù)庫中，如果是無結構或半結構化的網(wǎng)頁文本，則需要繼續(xù)分析.在獲取URL頁面內容時，如果出現(xiàn)超時、頁面丟失、獲取錯誤等現(xiàn)象時，就認為此網(wǎng)頁失效，對應的URL就被存儲到相應的錯誤列表中，如果能正常獲取，則需要解析網(wǎng)頁內容.

4.6 解析頁面內容

網(wǎng)頁解析主要是內容分析和鏈接提取.獲取頁面內容后，根據(jù)頁面內容去解析提取所需要的信息，并通過標簽，CSS名稱或者標簽ID獲取目的標簽路徑.一般情況下，元素會包含很多屬性，其中具有唯一性的屬性就是元素的ID，這樣能更快更精確的找到需要的內容，其次就是元素的CSS名稱，CSS名稱可以存在有很多，可以通過下標或者結合元素其他屬性來準確獲取，最后就是通過元素的標簽獲取，一個頁面內容會包含很多這樣的標簽，想確定唯一想要的就要逐步的查找該元素的父級，通過不同的父級元素來獲取唯一的子級元素.獲取到的元素內容文檔可以提取到如下信息：

1）文檔標題：通過文件頭標簽可以得到元素title里面的字符串內容，一般元素title里面的內容就是當前頁面的標題，展示了當前頁面的主要信息和性質.

2）商品鏈接：鏈接一般都是元素里面的屬性“href”的值，通過鏈接可以得到商品的詳情頁面，獲取更多的商品信息.

3）商品標題：商品標題一般可以在兩個地方獲取，第一，商品列表中有標題的信息，第二，在商品詳情頁面中可以獲取商品的標題信息.

4）圖片：電商平臺中商品幾乎都是存在圖片的展示，圖片的信息可以通過命令符或里面的屬性“src”或”background”的值獲取，屬性值代表了商品圖片的鏈接地址，并不能直接下載存儲在數(shù)據(jù)庫中.網(wǎng)頁圖片的獲取要通過程序解析圖片的二級制字符流，把這些字符再在程序中下載并保存到本地數(shù)據(jù)庫.

5）多窗口頁面：通過命令符