羅煜權(quán)

（國(guó)網(wǎng)樂(lè)山供電公司 四川省樂(lè)山市 614000）

在大數(shù)據(jù)時(shí)代，為了確保大數(shù)據(jù)能夠集合采集關(guān)鍵技術(shù)，完成研究分析，需要就大數(shù)據(jù)進(jìn)行挖掘。因此，在大數(shù)據(jù)技術(shù)發(fā)展中，大數(shù)據(jù)技術(shù)對(duì)我國(guó)各領(lǐng)域產(chǎn)生了非常明顯的增進(jìn)作用。在互聯(lián)網(wǎng)的發(fā)展中，其圖像、視頻等網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)，以淘寶網(wǎng)為例，淘寶網(wǎng)會(huì)員目測(cè)有4 億人數(shù)之多，其產(chǎn)生的交易數(shù)據(jù)達(dá)20TB，而國(guó)外的社交巨頭Facebook 每天的用戶(hù)數(shù)量已然超過(guò)300TB。龐大的數(shù)據(jù)意味著需要對(duì)大數(shù)據(jù)進(jìn)行采集技術(shù)分析，并提取其關(guān)鍵因素，以便對(duì)其整體進(jìn)行高質(zhì)量的改革。因此，如何研究大數(shù)據(jù)并對(duì)大數(shù)據(jù)采集技術(shù)進(jìn)行優(yōu)化，對(duì)互聯(lián)網(wǎng)的未來(lái)發(fā)展具有非常重要的直觀作用。

1 大數(shù)據(jù)采集技術(shù)的核心體系

大數(shù)據(jù)采集技術(shù)可以從系統(tǒng)海量數(shù)據(jù)分析、挖掘等層面，掌握大數(shù)據(jù)并對(duì)其中出現(xiàn)的典型問(wèn)題進(jìn)行解決。在大數(shù)據(jù)中的采集技術(shù)，借助軟件對(duì)數(shù)據(jù)量進(jìn)行捕捉管理以及分析。大數(shù)據(jù)采集技術(shù)不僅針對(duì)大數(shù)據(jù)的容量，同時(shí)更可以完成對(duì)海量數(shù)據(jù)的交換、整合，以確保能夠?qū)崿F(xiàn)全新的價(jià)值體系，帶來(lái)巨大利潤(rùn)以及巨大發(fā)展。大數(shù)據(jù)采集技術(shù)可以幫助企業(yè)以及相關(guān)領(lǐng)域解決目前的困境以及難題，對(duì)企業(yè)帶來(lái)全新的商業(yè)價(jià)值以及機(jī)會(huì)。同時(shí)，也對(duì)企業(yè)IT 技術(shù)提供了全新的發(fā)展思路。在分布式大數(shù)據(jù)采集中，借助大數(shù)據(jù)以及云計(jì)算技術(shù)，可以高效快速響應(yīng)市場(chǎng)需求。在大數(shù)據(jù)采集中，其包含了以下七種核心技術(shù)：

1.1 大數(shù)據(jù)以及Hadoop生態(tài)系統(tǒng)

在此系統(tǒng)中，可以借助分布式文件系統(tǒng)HDFS 以及集群文件系統(tǒng)ClusterFS 和NoSQL Database 技術(shù)使其能夠搭載技術(shù)原理，完成應(yīng)用技術(shù)分布式計(jì)算框架，以及分布式數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)倉(cāng)庫(kù)可以對(duì)大數(shù)據(jù)的冗余數(shù)據(jù)量進(jìn)行集中處理優(yōu)化，以保障其能夠符合大數(shù)據(jù)的采集需求量。

1.2 關(guān)系型數(shù)據(jù)技術(shù)

可以借助大數(shù)據(jù)信息采集、建立關(guān)系型數(shù)據(jù)庫(kù)，掌握企業(yè)級(jí)數(shù)據(jù)構(gòu)建開(kāi)發(fā)，以及應(yīng)用。

1.3 分布式數(shù)據(jù)處理技術(shù)

可以詳細(xì)的介紹Map/Reduce 計(jì)算模型，以確保根據(jù)Hadoop Map/Reduce 技術(shù)，完成原理以及應(yīng)用。

1.4 海量數(shù)據(jù)分析以及挖掘技術(shù)

在數(shù)據(jù)挖掘算法中，其依托于Minhash,Jaccard and Cosine similarity，TF-IDF 數(shù)據(jù)挖掘算法，可以確保在數(shù)據(jù)挖掘中能夠得到有效應(yīng)用。

1.5 物聯(lián)網(wǎng)以及大數(shù)據(jù)

在大數(shù)據(jù)應(yīng)用中，物聯(lián)網(wǎng)通過(guò)遙感圖像以及時(shí)空序列號(hào)查詢(xún)，可以實(shí)現(xiàn)數(shù)據(jù)的信息發(fā)掘以及聯(lián)系。

1.6 文件系統(tǒng)

根據(jù)HDFS 完成部署，以提供高性能的吞吐量，達(dá)成全新的數(shù)據(jù)訪(fǎng)問(wèn)。

1.7 NoSQL

詳細(xì)的介紹NoSQL 非線(xiàn)性數(shù)據(jù)庫(kù)管理的原理架構(gòu)以及其典型的應(yīng)用。

2 分布式大數(shù)據(jù)采集系統(tǒng)架構(gòu)

2.1 整體架構(gòu)

在系統(tǒng)框架的整體架構(gòu)中，分布式大數(shù)據(jù)系統(tǒng)采集架構(gòu)主要包含了以下幾個(gè)模塊，包含但不限于抓取模塊、IP 技術(shù)代理模塊、URL 處理模塊以及數(shù)據(jù)儲(chǔ)存分析模塊。URL 隊(duì)伍中所需要爬取的數(shù)據(jù)量，隨后調(diào)取整個(gè)數(shù)據(jù)代理時(shí)完成可用代理分析，從互聯(lián)網(wǎng)中完成源數(shù)據(jù)的抓取。解析對(duì)數(shù)據(jù)進(jìn)行處理時(shí)的注意事項(xiàng)，可以去除明顯噪音干擾。隨后，基于標(biāo)簽數(shù)塊節(jié)點(diǎn)，以采取合理的算法信息其URL 相關(guān)數(shù)據(jù)，交由URL 數(shù)據(jù)模型處理。而基本數(shù)據(jù)則有數(shù)據(jù)模塊進(jìn)行處理，模塊中可以對(duì)分布式抓取完成精準(zhǔn)掌控，確保其整體數(shù)據(jù)能夠完成規(guī)則化持久化的增長(zhǎng)，為后續(xù)分析奠定可持續(xù)性基礎(chǔ)。

2.2 分布式架構(gòu)分析

在分布式架構(gòu)中，本系統(tǒng)可以通過(guò)圖1所示，完成主控節(jié)點(diǎn)。例如，根據(jù)URL 系統(tǒng)查取整個(gè)分配主機(jī)，隨后按照主機(jī)完成采集任務(wù)以及解析任務(wù)。并將已爬取到的URL 解析至全新的URL 主控節(jié)點(diǎn)，完成控制。根據(jù)成功抓取的URL 混存集合至節(jié)點(diǎn)模式里，隨后過(guò)濾，產(chǎn)生全新的URL。將其緩存至對(duì)應(yīng)的待爬隊(duì)伍，分析待爬隊(duì)伍以及已爬取隊(duì)伍二者之間的數(shù)據(jù)整合量，完成redis 合理分析。采取優(yōu)先分配策略，以便于后續(xù)的爬取使用。

圖1：ULR 分布式架構(gòu)

3 分布式大數(shù)據(jù)信息提取

在信息提取中，我國(guó)學(xué)者進(jìn)行了相關(guān)的研究。采用目前常用的視覺(jué)特征算法，解析其有可能會(huì)出現(xiàn)的網(wǎng)頁(yè)算法錯(cuò)誤。在整個(gè)正文解析時(shí)，其實(shí)雖然可以達(dá)到良好效果，但整個(gè)VI PS 算法極為復(fù)雜，因此導(dǎo)致迭代次數(shù)極多。同時(shí)，其自身也依賴(lài)于瀏覽器的內(nèi)核代碼，消耗極長(zhǎng)時(shí)間。且在對(duì)數(shù)據(jù)進(jìn)行查詢(xún)過(guò)程中，需要根據(jù)網(wǎng)頁(yè)數(shù)據(jù)的整合度進(jìn)行分析，以確保能夠?qū)崿F(xiàn)歸類(lèi)，并對(duì)每類(lèi)網(wǎng)頁(yè)訓(xùn)練得出相應(yīng)的模板完成提取。該方法可以適用于結(jié)構(gòu)不同的網(wǎng)頁(yè)正文提取，在使用時(shí)，對(duì)每一個(gè)標(biāo)記窗口首先進(jìn)行分詞，隨后計(jì)算其合理距離。不僅對(duì)分詞技術(shù)具有極高的應(yīng)用性能，同時(shí)其自身存在一定的效率問(wèn)題。因此，為了避免出現(xiàn)相關(guān)問(wèn)題，需要確保其存在通用性以及效率完成分析。

在本文的研究中，將基于高通效標(biāo)簽豎塊節(jié)點(diǎn)、正文順序法，根據(jù)其特定的標(biāo)簽對(duì)網(wǎng)頁(yè)進(jìn)行分析處理，隨后完成節(jié)點(diǎn)值的權(quán)衡。通過(guò)二者之間的比值，以確定明確算法。例如，在打造全新的信息標(biāo)簽樹(shù)時(shí)，分析信息標(biāo)簽樹(shù)的特征以及信息標(biāo)簽樹(shù)二者之間的處理代碼。例如，、、

，因此通過(guò)這些標(biāo)簽，構(gòu)建整個(gè)標(biāo)簽樹(shù)。在構(gòu)造完畢后，隨后利用標(biāo)簽樹(shù)的特性，在構(gòu)造時(shí)可以對(duì)源文件HTML 文檔完成預(yù)先處理。去除明顯噪音，在文檔中，通過(guò)內(nèi)部的文本樣式，例如