孫美衛(wèi)

（泉州經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院，福建泉州362000）

基于M ongoDB的W eb信息采集系統(tǒng)應(yīng)用研究

孫美衛(wèi)

（泉州經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院，福建泉州362000）

在降低成本、效率加大的情況下如何處理海量數(shù)據(jù)，是目前急需解決的重要問題。文章首先分析如何將Web日志存儲到MongDB中，然后將其直接內(nèi)置到MapReduce，將分析結(jié)果存儲為文件以供業(yè)務(wù)人員查詢分析，最后對日志分析系統(tǒng)進行性能測試。測試結(jié)果表明：在挖掘Web日志數(shù)據(jù)的情況下，能將數(shù)據(jù)中的主要訪問模式進行系統(tǒng)化更新，從而為網(wǎng)站的結(jié)構(gòu)模式采集提供有效信息。

MongoDB；Web信息采集系統(tǒng)；日志分析

NoSQL是非關(guān)系型數(shù)據(jù)庫的總稱，產(chǎn)生的背景是為了適應(yīng)飛速增長的互聯(lián)網(wǎng)時代，讓其數(shù)據(jù)存儲信息能滿足當(dāng)前的數(shù)據(jù)信息需求。[1]由于該數(shù)據(jù)庫的特點是數(shù)據(jù)技術(shù)的存儲量較大，容易擴展，能在大量的數(shù)據(jù)使用中保持高性能的數(shù)據(jù)讀寫功能，靈活的使用不同的數(shù)據(jù)模式，并能在很多應(yīng)用場景中得到較好應(yīng)用，甚至能逐步展露頭角。MongoDB是NoSQL數(shù)據(jù)庫的代表，它能將數(shù)據(jù)庫模型進行拆分，然后重新打亂以后將所有的存儲信息都使用在不同的機器上面。自動分片機制的產(chǎn)生能讓分布擴展得以實現(xiàn)，也能將數(shù)據(jù)存儲在不同的集合、文檔中。MongoDB可適用在多個場合中，由于自身擁有良好的拓展性能，可以對尺寸較大的文件進行保存，且存儲價值不高，因此能夠?qū)⒏嗟暮Ａ繑?shù)據(jù)信息存儲技術(shù)運用到互聯(lián)網(wǎng)云計算發(fā)展領(lǐng)域。上述這些特點讓MongoDB在Web的日志分析領(lǐng)域中發(fā)展得游刃有余。

1 基于MongoDB的日志分析方案的確定

互聯(lián)網(wǎng)技術(shù)的產(chǎn)生在很多方面開始得到廣泛應(yīng)用，隨之對Web的日志分析需求也出現(xiàn)。電子商務(wù)的發(fā)展開始受到人們的重視，相應(yīng)的分析軟件也就應(yīng)運而生。傳統(tǒng)的數(shù)據(jù)分析軟件分別為：利用傳統(tǒng)的日志分析軟件和日志分析工具進行分析、利用數(shù)據(jù)庫進行分析、利用數(shù)據(jù)關(guān)系庫進行分析。我們知道傳統(tǒng)的日志分析軟件在利用日志為工具數(shù)據(jù)庫的時候需要使用大規(guī)模的數(shù)據(jù)，在頻繁高效的數(shù)據(jù)庫建立期間，不但要有能維護日志文件，也要有能分類不同的數(shù)據(jù)庫類型的功能，通過深入挖掘數(shù)據(jù)信息，使運行期間有更大的硬件平臺支持其運行。分析時，若只能簡單地進行日志分析，就會有大材小用之嫌；使用關(guān)系型數(shù)據(jù)庫在存儲上增大其擴展型和數(shù)據(jù)分析的功能，能提高數(shù)據(jù)的準(zhǔn)確性，但也會在很多方面出現(xiàn)局限性，比如在龐大數(shù)據(jù)庫查詢時會倍感吃力。綜上所述，Web服務(wù)器的瓶頸出現(xiàn)在日志信息異常龐大時，由于網(wǎng)絡(luò)普及速度加快使海量信息快速增長，所以低成本且高效的處理數(shù)據(jù)庫信息系統(tǒng)是當(dāng)前研究的重要議題，如何能在降低成本、效率加大的情況下處理海量數(shù)據(jù)，是目前我們急需解決的重要問題。

根據(jù)對上述問題的探尋，本文主要是在MongoDB的Web日志分析方案使用前提下，探究有關(guān)MongoDB的高性能存儲方式，通過良好的性能拓展，讓W(xué)eb日志分析領(lǐng)域的應(yīng)用效果達到更佳。本系統(tǒng)主要是使用了線和高速緩存隊伍，這可以在處理不同的并發(fā)時間時讓不同類型的日志得到較好處理，應(yīng)用MongoDB數(shù)據(jù)庫處理所有的數(shù)據(jù)，并在數(shù)據(jù)系統(tǒng)中保存處理結(jié)果，系統(tǒng)主要功能如下：

1）對不同時間段和不同類型的日志文件進行處理

分析和處理日志之前，先要對日志進行預(yù)處理，結(jié)合文件對所需日志類型進行針對性的配置，并借助IOFileFilte來過濾日志文件的種類，處理滿足日期條件的日志，然后處理與日志時間一致的文件，從而使程序擴展性、靈活性均得到有效的改善。

2）高并發(fā)的處理日志數(shù)據(jù)

日志的文件量十分巨大，能借助于Iava的線程池讓緩存隊伍能在高并發(fā)階段處理大量的數(shù)據(jù)文件。比如，之前需要花費幾個小時才能處理好的日志和數(shù)據(jù)，在使用該數(shù)據(jù)處理模式以后能在短時間內(nèi)奏效，節(jié)約大量的數(shù)據(jù)處理時間，提高系統(tǒng)的運行速度。

3）高速緩存隊列存儲數(shù)據(jù)

經(jīng)過處理的數(shù)據(jù)文件不能馬上在數(shù)據(jù)庫內(nèi)進行保存，由于形成數(shù)據(jù)的時間各不相同，具有實時性的特點，所以直接在數(shù)據(jù)庫內(nèi)保存全部數(shù)據(jù)，并進行多頻次讀取數(shù)據(jù)，進而使數(shù)據(jù)庫整體性能的發(fā)揮受到影響，所以，進行存儲數(shù)據(jù)的數(shù)據(jù)庫需要有高速緩存的能力，讓數(shù)據(jù)能在每間隔幾秒以后，又一次自動數(shù)據(jù)存儲輸入，從而提高數(shù)據(jù)性能。

4）可存儲大數(shù)據(jù)集

大量GridFS文件系統(tǒng)頒布于MongoDB中，這些文件系統(tǒng)主要通過MongoDB的分布式存儲機制借助MongoDB進行文件的處理和存儲，使用這種數(shù)據(jù)庫存儲模式的關(guān)鍵是能讓數(shù)據(jù)庫存儲具有文檔存儲與系統(tǒng)存儲的雙重優(yōu)勢，這就能在不擔(dān)心容量擴展的情況下讓數(shù)據(jù)庫的存儲量日益增加，具有大數(shù)據(jù)集的存儲能力。

5）高效的日志數(shù)據(jù)分析

把所有已經(jīng)處理過的數(shù)據(jù)存儲到MongoDB中，再對MongoDB進行數(shù)據(jù)分析。MongoDB主要為Map Reduce提供編程模型，這能讓整個模型的使用更加的靈活，也能與分片進行結(jié)合，使數(shù)據(jù)分析的效率大大提高。總之，數(shù)據(jù)處理要借助于分布式的數(shù)據(jù)庫處理模式，從而能分片進行數(shù)據(jù)分析和處理，增大數(shù)據(jù)處理速度。

2 系統(tǒng)總體設(shè)計

本文主要是以網(wǎng)上購物商城的日志分析系統(tǒng)為主要概述對象，通過擴充商城中的日志數(shù)據(jù)，可以讓數(shù)據(jù)的數(shù)量級得到大的擴充，由于大量的數(shù)據(jù)匯集，所以為日志分析帶來難度。使用關(guān)系網(wǎng)數(shù)據(jù)庫系統(tǒng)顯然無法達到存儲龐大數(shù)據(jù)的規(guī)定要求，所以本研究基于分布式關(guān)系，對數(shù)據(jù)庫的處理和存儲進行研究，使用MongoDB數(shù)據(jù)庫能將這個問題更好的實現(xiàn)和解決。系統(tǒng)設(shè)計實現(xiàn)時，系統(tǒng)能被劃分為數(shù)據(jù)采集處理系統(tǒng)、處理后的日志提取分析、按照業(yè)務(wù)提取結(jié)果的存儲，如圖1所示。

圖1 網(wǎng)上購物商城的日志分析系統(tǒng)圖

2.1 日志數(shù)據(jù)采集存儲處理系統(tǒng)設(shè)計

日志的子系統(tǒng)采集主要的工作內(nèi)容是將制定目錄下的日志文件和后續(xù)的系統(tǒng)文件全部在系統(tǒng)中生成可用數(shù)據(jù)，以便于日后的業(yè)務(wù)查詢和使用。日志采集系統(tǒng)若詳細劃分能直接被劃分為數(shù)據(jù)選取和數(shù)據(jù)存儲這兩個功能項。

原始數(shù)據(jù)在受到某些因素影響的前提下會增大日志的處理復(fù)雜性，所以日志分析活動開設(shè)之前，選取數(shù)據(jù)十分必要，可以在數(shù)據(jù)選取期間消除部分不完整的數(shù)據(jù)分析環(huán)節(jié)，系統(tǒng)中的設(shè)計標(biāo)準(zhǔn)是日志中的每個字段都要含有有效的信息。若某行中的某個日志有缺失的情況，如請求URL或者IP地址不變時，就要直接跳過該數(shù)據(jù)，不要直接處理數(shù)據(jù)，直接將這部分?jǐn)?shù)據(jù)過濾掉。[2]若該數(shù)據(jù)還有保留沒有信息丟失，直接將不完整的數(shù)據(jù)過濾掉，然后對其進行數(shù)據(jù)信息的記錄，這十分必要；若改行數(shù)據(jù)沒有丟失，就要直接開展劃分操作，關(guān)鍵依據(jù)為數(shù)據(jù)的具體格式，提取各域的數(shù)據(jù)，并在數(shù)據(jù)文檔內(nèi)進行保存處理。

海量數(shù)據(jù)是日志文件的一大顯著特征，存在無效、有效文件均混雜在日志數(shù)據(jù)內(nèi)的問題，為數(shù)據(jù)分析、分類帶來極大的困難。結(jié)合上述特點能獲悉，該系統(tǒng)能高效提取數(shù)據(jù)信息。故此設(shè)計出的日志采集子系統(tǒng)框架圖如圖2所示。

圖2 日志采集子系統(tǒng)框架圖

結(jié)合上述系統(tǒng)圖能獲悉，子系統(tǒng)的入口是日志處理引擎，每個功能模塊都要由此進入到系統(tǒng)中。[3]此模塊可以對所采集到的子系統(tǒng)進行很好的控制。在使用系統(tǒng)過程中可以將日志引擎進行直接引入，通過啟動日志信息讀取方式使信息存儲效果更佳，通過利用讀取日志的方式實現(xiàn)對日志并發(fā)性讀取，通過直接性的方式處理緩存隊伍下的全部日志信息，并在Mongo DB數(shù)據(jù)庫系統(tǒng)內(nèi)進行保存。

借助日志處理引擎，可以使文件讀取性能得到大大提升，增強子模塊初始化處理效果，改善了數(shù)據(jù)庫連接效果，還提高了緩存隊伍的初始化效率。

2.2 處理后的日志提取分析子系統(tǒng)設(shè)計

針對日志采集子系統(tǒng)數(shù)據(jù)，能夠借助日志合并分析子系統(tǒng)進行深層次的處理操作，對日志中間環(huán)節(jié)進行研究，可以發(fā)現(xiàn)系統(tǒng)運用MapReduce工具對中間數(shù)據(jù)開展分析。[4]該分析方式能將日志的基本情況輸入其中，然后通過MongoDB的MapReduce工具對中間數(shù)據(jù)進行細致分析。分析時需要清晰了解到日志的具體輸入狀況，然后在提供對應(yīng)的數(shù)據(jù)分析情況下，抽取數(shù)據(jù)中的某個有價值的字段，對相應(yīng)的特征值進行映射建立，對當(dāng)前有效的信息和對應(yīng)字段的有效數(shù)值進行針對性地獲取進而進行計算。

處理日志中的數(shù)據(jù)內(nèi)容，先要獲取能提供數(shù)據(jù)支持的必要子數(shù)據(jù)內(nèi)容，然后對數(shù)據(jù)內(nèi)容進行映射和化簡，找到其中需要被清理的數(shù)據(jù)字段，并將其中的不合理部分清洗掉，然后根據(jù)日志的特征借助于MapReduce進行分布式計算，利用數(shù)據(jù)訪問情況，借助映射關(guān)系對數(shù)據(jù)進行二次提取，向業(yè)務(wù)提交有關(guān)數(shù)據(jù)，發(fā)送給業(yè)務(wù)提取系統(tǒng)。

設(shè)計中間聚合系統(tǒng)的關(guān)鍵點是要讓各類業(yè)務(wù)的子系統(tǒng)間形成獨立的系統(tǒng)處理模式，這樣能讓系統(tǒng)真正的做到化繁為簡，有助于刪除冗余的信息內(nèi)容。[5]業(yè)務(wù)分析只有在專注于子系統(tǒng)間的獨立系統(tǒng)分析和變更，通過擴展業(yè)務(wù)模塊內(nèi)容，讓不同的子系統(tǒng)進行合并，且不修改合并后的業(yè)務(wù)需求，這樣做是為提升系統(tǒng)的擴展性，降低模塊之間的禍合度。

2.3 按業(yè)務(wù)提取結(jié)果存儲設(shè)計

本系統(tǒng)模塊中最重要的設(shè)計是提取子系統(tǒng)設(shè)計，這是整個業(yè)務(wù)的設(shè)計創(chuàng)新點所在，能根據(jù)不同的網(wǎng)站類別情況對日志進行處理和分析。分析后的系統(tǒng)能在數(shù)據(jù)簡單操作的情況下進行系統(tǒng)生成，對全部簡化分層子系統(tǒng)進行操作處理，提高簡化信息的有效性，以小時、天或周為單位，對時間聚合體進行生成處理，按照具體情況查找不同的范圍，分析和整理訪問數(shù)據(jù)的類別。

二次開發(fā)子系統(tǒng)，結(jié)合業(yè)務(wù)實際需要，開展過濾、查詢操作，基于MapReduce及Group兩大模板，對應(yīng)生產(chǎn)天、周、月的數(shù)據(jù)統(tǒng)計模式。[6]本業(yè)務(wù)的具體信息統(tǒng)計可以有如下幾方面內(nèi)容：訪問量的數(shù)據(jù)統(tǒng)計、統(tǒng)計網(wǎng)站的數(shù)據(jù)和被訪問人數(shù)統(tǒng)計、熱門產(chǎn)品的統(tǒng)計、不同商品的品類統(tǒng)計等。

3 日志分析系統(tǒng)的性能測試

可以將日志分析系統(tǒng)運用到測試環(huán)節(jié)，系統(tǒng)性能測試的關(guān)鍵點為系統(tǒng)效率及存儲效率測試。同常規(guī)方法進行對比能獲悉，日志的高效性在這里發(fā)揮著極為重要的影響。

日志的數(shù)據(jù)量可以是l0MB、50MB、1G，對應(yīng)日志使用時消耗的時間就可以被看成是1天、5天、20天。

若日志的數(shù)據(jù)量各不相同，就要借助MongoDB來保存數(shù)據(jù)，進而得知保存數(shù)據(jù)時間與耗費時間存在正比關(guān)系。[7]如果日志量相對固定，不存在改變，那么測試數(shù)據(jù)的時候就可以使用MongoDB和Shell腳本。

執(zhí)行對應(yīng)的數(shù)據(jù)采集系統(tǒng)以后，能生產(chǎn)預(yù)期的數(shù)據(jù)庫文件，然后將原有的數(shù)據(jù)直接納入到按小時劃分的數(shù)據(jù)庫之內(nèi)，使用數(shù)據(jù)庫的數(shù)據(jù)文件對其中的步驟進行清洗，讓數(shù)據(jù)化繁為簡，成功地生成中間的結(jié)果。統(tǒng)計時以PV為例展示中間的結(jié)果文件。具體內(nèi)容如后面圖3所示。

結(jié)果文檔由分組和聚合結(jié)合生成，采用每小時PV統(tǒng)計為案例開展講解，所生成結(jié)果如圖4所示。

功能測試能得到如下的結(jié)果：第一，日志文件的數(shù)據(jù)提取能與存儲一致，達到準(zhǔn)確性；第二，日志的全部分析結(jié)果都滿足精準(zhǔn)度，是準(zhǔn)確的，結(jié)果正常；第三，現(xiàn)實的數(shù)據(jù)全部內(nèi)容正常；第四，PV統(tǒng)計中每個月與該月中每天的具體統(tǒng)計結(jié)果能保有一致，而UV可以在多個用戶存在中的某個月份中進行多次訪問，將“月”看成單位進行結(jié)果統(tǒng)計，這相較于“天”被看成結(jié)果的統(tǒng)計單位而言，整體的結(jié)果之和會小很多。[8]總之，該系統(tǒng)可以實現(xiàn)對日志數(shù)據(jù)的存儲以及分析，并通過采用預(yù)期的目標(biāo)統(tǒng)計方式實現(xiàn)計算結(jié)果的精準(zhǔn)。

圖3 分析中間結(jié)果文檔內(nèi)容圖

圖4 最終統(tǒng)計結(jié)果文檔內(nèi)容圖

根據(jù)以上測試，日志量不同，數(shù)據(jù)的量正在逐漸增大，所以MongoDB的數(shù)據(jù)處理優(yōu)勢開始變得日漸明顯。受到日志量不同的影響，運用MongoDB和Shell腳本分析數(shù)據(jù)，了解到什么情況下數(shù)據(jù)量小，兩者之間的計算相差率沒有太大的變化，MongoDB效果也較優(yōu)；日志量增大的情況下，兩者之間由于差距明顯，MongoDB的執(zhí)行效率要遠遠高于Shell腳本。[9]

在Web日志中不僅可以對用戶的瀏覽行為進行綜合分析，還可以使Web站點的結(jié)構(gòu)得以改善，進而達到提升站點服務(wù)的質(zhì)量，在這些方面能讓具體的日志分析效果達到最佳狀況。當(dāng)前較為熱門的電子商務(wù)網(wǎng)站是網(wǎng)絡(luò)和貿(mào)易金融結(jié)合在一起的產(chǎn)物，所以對商務(wù)網(wǎng)站中的日志信息進行有效探究，能夠使商務(wù)網(wǎng)站開發(fā)效率得到改善，同時也能夠擁有與時代發(fā)展相適應(yīng)的競爭優(yōu)勢。

[1]鄒驊,劉沈.基于Web的服裝銷售管理系統(tǒng)研究[J].湖南郵電職業(yè)技術(shù)學(xué)院學(xué)報,2016(4):50-52.

[2]張恩,張廣弟,蘭磊.基于MongoDB的海量空間數(shù)據(jù)存儲和并行[J].地理空間信息,2014(1):46-48.

[3]朱亞興,余愛民,王夷.基于Redis+MySQL+MongoDB存儲架構(gòu)應(yīng)用[J].微型機與應(yīng)用,2014(13):3-5.

[4]梁海.MongoDB數(shù)據(jù)庫中Sharding技術(shù)應(yīng)用研究[J].計算機技術(shù)與發(fā)展,2014(7):60-62.

[5]雷德龍,郭殿升,陳崇成,巫建偉,吳小竹.基于MongoDB的矢量空間數(shù)據(jù)云存儲與處理系統(tǒng)[J].地球信息科學(xué)學(xué)報,2014 (4):507-516.

[6]陳文藝,閆灑灑,宋亞紅.基于MongoDB的物聯(lián)網(wǎng)開放平臺數(shù)據(jù)存儲設(shè)計[J].西安郵電大學(xué)學(xué)報,2016(2):78-82.

[7]王光磊.MongoDB數(shù)據(jù)庫的應(yīng)用研究和方案優(yōu)化[J].中國科技信息,2011(20):93-94.

[8]張文盛,鄭漢華.基于MongoDB構(gòu)建高性能網(wǎng)站技術(shù)研究[J].吉林師范大學(xué)學(xué)報(自然科學(xué)版),2013(1):123-127.

[9]王振輝,王振鐸.MongoDB中數(shù)據(jù)分頁優(yōu)化技術(shù)[J].計算機系統(tǒng)應(yīng)用,2015(6):243-246.

Application research ofWeb information collection system based on M ongoDB

SUNMei-wei
(Quanzhou CollegeofEconomicsand Business,Quanzhou,Fujian,China362000)

How to dealwithmassive amounts ofdata isan importantproblem thatneeds to be solved urgently under the condition of reducing costand increasing efficiency.First,the paper analyzes theways to storeWeb logs intoMongDB,and then to build it directly into theMapReduce.Theanalysis resultsare stored as files forquery and analysis.In theend,the performanceof the loganalysissystem is tested.The results show that in the case ofminingWeb log data,themain access patterns in the data can be updated systematically, and then itprovideseffective information for the structuremodeacquisition of thewebsite.

MongoDB;Web information acquisition system;loganalysis

10.3969/j.issn.2095-7661.2017.02.010】

TP311.52

A

2095-7661（2017）02-0035-04

2017-04-25

孫美衛(wèi)（1975-），女，福建泉州人，泉州經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院講師，碩士，研究方向：軟件工程、C#應(yīng)用開發(fā)、數(shù)據(jù)庫技術(shù)。