郜金麗

隨著計(jì)算機(jī)處理技術(shù)的成熟，大數(shù)據(jù)處理技術(shù)也逐漸得到人們的重視，能夠有效的為人們數(shù)據(jù)支持服務(wù)。通過對大數(shù)據(jù)技術(shù)的特點(diǎn)進(jìn)行分析，探究了大數(shù)據(jù)技術(shù)的關(guān)鍵技術(shù)與數(shù)據(jù)處理的流程，并討論了大數(shù)據(jù)測試技術(shù)的主要過程。

大數(shù)據(jù)是繼云計(jì)算、物聯(lián)網(wǎng)出現(xiàn)后一個(gè)十分重要的計(jì)算機(jī)數(shù)據(jù)處理的熱點(diǎn)問題，它不僅包括了海量的數(shù)據(jù)容量。還包括了高速的數(shù)據(jù)處理技術(shù)，大數(shù)據(jù)在互聯(lián)網(wǎng)中的運(yùn)用，解決了海量數(shù)據(jù)的挖掘問題，能夠智能提取有用的信息，為用戶提供決策服務(wù)。由于網(wǎng)絡(luò)數(shù)據(jù)庫系統(tǒng)與大數(shù)據(jù)的結(jié)構(gòu)存在不匹配的情況。要想獲得有用的數(shù)據(jù)信息，必須通過大數(shù)據(jù)并行處理數(shù)據(jù)平臺才能有效的實(shí)現(xiàn)。

大數(shù)據(jù)技術(shù)特點(diǎn)

依托大數(shù)據(jù)的軟件得到了廣泛的應(yīng)用，隨著大數(shù)據(jù)技術(shù)在各種行業(yè)中的運(yùn)用，促進(jìn)了信息化社會的發(fā)展。在大數(shù)據(jù)技術(shù)的基礎(chǔ)上產(chǎn)生的Hadoop分布式處理的數(shù)據(jù)軟件技術(shù)、Hhase數(shù)據(jù)庫技術(shù)以及網(wǎng)絡(luò)可視化軟件在網(wǎng)絡(luò)上得到了廣泛的應(yīng)用，

數(shù)據(jù)智能處理技術(shù)的運(yùn)用，大數(shù)據(jù)技術(shù)主要是從海量的數(shù)據(jù)中提取有效的數(shù)據(jù)，并能對數(shù)據(jù)進(jìn)行自動化的處理與分析。進(jìn)而能夠發(fā)展對人們有用的數(shù)據(jù)信息、知識等，進(jìn)而能夠解決生活中的實(shí)際問題。因此。在大數(shù)據(jù)的處理中廣泛的采用了智能處理技術(shù)，來實(shí)現(xiàn)大數(shù)據(jù)的分析與管理，同時(shí)大數(shù)據(jù)與人工智能結(jié)合，能夠自動實(shí)現(xiàn)對海量數(shù)據(jù)的分析。

分布式處理架構(gòu)。分布式處理技術(shù)在大數(shù)據(jù)中的運(yùn)用。改變了傳統(tǒng)的數(shù)據(jù)處理方式，利用分布式處理系統(tǒng)能夠快速的提取有用的數(shù)據(jù)，提高了數(shù)據(jù)的處理效率，在大數(shù)據(jù)分布式處理的架構(gòu)中，主要包括分布式文件處理系統(tǒng)、分布式數(shù)據(jù)庫處理系統(tǒng)以及分布式編程技術(shù)等。已經(jīng)各個(gè)行業(yè)得到了廣泛的應(yīng)用。

非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)。在云數(shù)據(jù)出現(xiàn)之后。以圖片、視頻、音頻等形式出現(xiàn)的數(shù)據(jù)都是非結(jié)構(gòu)化的數(shù)據(jù)。而且這種數(shù)據(jù)也越來越多。大數(shù)據(jù)采用非結(jié)構(gòu)化的數(shù)據(jù)處理技術(shù)，能夠有效的對非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行處理。提高了非結(jié)構(gòu)數(shù)據(jù)處理的效率。

大數(shù)據(jù)測試技術(shù)分析

大數(shù)據(jù)測試技術(shù)流程圖

大數(shù)據(jù)的測試需要配合相應(yīng)的數(shù)據(jù)計(jì)算處理平臺，才能夠有效的實(shí)現(xiàn)對數(shù)據(jù)的挖掘與處理。它從系統(tǒng)的日志文件、流數(shù)據(jù)、社會數(shù)據(jù)以及事務(wù)性數(shù)據(jù)等海量數(shù)據(jù)中，采用數(shù)據(jù)提取工具提取相應(yīng)的數(shù)據(jù)，并將它們傳輸?shù)较鄳?yīng)的預(yù)處理數(shù)據(jù)庫中，在Hadoop中，數(shù)據(jù)進(jìn)行相互操作與處理，然后將預(yù)處理過的數(shù)據(jù)送入到數(shù)據(jù)倉庫或者大數(shù)據(jù)處理系統(tǒng)中對數(shù)據(jù)進(jìn)行處理。大數(shù)據(jù)測試技術(shù)的流程如下圖1所示：

大數(shù)據(jù)的測試流程分析

測試數(shù)據(jù)采集。大數(shù)據(jù)的數(shù)據(jù)采集主要是運(yùn)用數(shù)據(jù)庫來接收用戶的數(shù)據(jù)信息，例如APP客戶端數(shù)據(jù)信息。Web客戶端數(shù)據(jù)信息、社會事務(wù)數(shù)據(jù)信息等方面的數(shù)據(jù)信息。而且客戶端的用戶可以通過大數(shù)據(jù)的數(shù)據(jù)庫對信息進(jìn)行收集、處理、提取與查詢等工作，他可以從SOL數(shù)據(jù)庫、Oracle數(shù)據(jù)庫中保存的一些日常事務(wù)數(shù)據(jù)中提取有用的信息，除了從這些數(shù)據(jù)庫中提取數(shù)據(jù)外，大數(shù)據(jù)除了技術(shù)還能夠從網(wǎng)絡(luò)數(shù)據(jù)庫、Redis等數(shù)據(jù)庫中采集數(shù)據(jù)。、

導(dǎo)人、預(yù)處理數(shù)據(jù)。大數(shù)據(jù)在處理數(shù)據(jù)的過程中會從多個(gè)數(shù)據(jù)庫中采集數(shù)據(jù)，如何對這些海量的數(shù)據(jù)進(jìn)行科學(xué)分析是不能解決問題的，需要將采集到的數(shù)據(jù)導(dǎo)入到一個(gè)大型的、集中的數(shù)據(jù)庫。對這些數(shù)據(jù)進(jìn)行預(yù)處理。剔除一些無用的信息。例如采用Sqoop和Flunm等工具就可以在大型數(shù)據(jù)庫中對這些數(shù)據(jù)進(jìn)行相互操作，進(jìn)行預(yù)處理。在導(dǎo)入與預(yù)處理數(shù)據(jù)階段導(dǎo)入的數(shù)據(jù)量十分巨大。每秒可以達(dá)到百兆或者千兆。

統(tǒng)計(jì)分析數(shù)據(jù)。在經(jīng)過Hadoop預(yù)處理的數(shù)據(jù)之后，需要將這些大量的數(shù)據(jù)導(dǎo)入到一個(gè)大型的集中數(shù)據(jù)倉庫中，在數(shù)據(jù)倉庫中采用分布式技術(shù)對數(shù)據(jù)進(jìn)行對比分析、匯總與提取之后，然后通過數(shù)據(jù)挖掘處理等方式對數(shù)據(jù)進(jìn)行分析，提取數(shù)據(jù)的特征。在統(tǒng)計(jì)分析數(shù)據(jù)階段明顯的特征就是數(shù)據(jù)的查詢量比較大。請求的命令也比較多，通過使用分布式技術(shù)來對其中的數(shù)據(jù)進(jìn)行分析、匯總等。統(tǒng)計(jì)分析數(shù)據(jù)的特點(diǎn)就是導(dǎo)入量大。其查詢數(shù)據(jù)量也大。請求較多。這里Hadoop是常用的數(shù)據(jù)統(tǒng)計(jì)分析工具。

數(shù)據(jù)挖掘過程。與前面的幾個(gè)階段相比，大數(shù)據(jù)的數(shù)據(jù)挖掘過程沒有預(yù)先設(shè)定數(shù)據(jù)挖掘的主題，而是在現(xiàn)有的數(shù)據(jù)倉庫中對數(shù)據(jù)進(jìn)行計(jì)算與分析，以保證數(shù)據(jù)的處理能夠達(dá)到預(yù)算的效果，進(jìn)而能夠有效的達(dá)到復(fù)雜數(shù)據(jù)處理與分析的要求。用于大數(shù)據(jù)挖掘常見的算法有K-means（數(shù)據(jù)聚類算法）。SVM（數(shù)據(jù)統(tǒng)計(jì)學(xué)習(xí)挖掘算法）、遺傳算法以及naive Bayes（數(shù)據(jù)分析算法）等，用于數(shù)據(jù)挖掘工具主要以Mahout工具為主，大數(shù)據(jù)處理技術(shù)的數(shù)據(jù)挖掘的過程最為重要的特點(diǎn)就是保證數(shù)據(jù)文件格式能否滿足數(shù)據(jù)挖掘的要求。

數(shù)據(jù)分析階段。在對海量數(shù)據(jù)進(jìn)行分析處理之后，產(chǎn)生的數(shù)據(jù)就會被自動的存儲在數(shù)據(jù)倉庫或者大數(shù)據(jù)系統(tǒng)中。這是大數(shù)據(jù)系統(tǒng)就會對數(shù)據(jù)進(jìn)行分析處理，提取與用戶相匹配的信息。數(shù)據(jù)分析階段就是保證數(shù)據(jù)處理能夠流暢的進(jìn)行。并且能夠有效的對大數(shù)據(jù)進(jìn)行處理與分析，并得出有效的數(shù)據(jù)管理策略，依據(jù)數(shù)據(jù)邏輯給出相應(yīng)的決策建議。

大數(shù)據(jù)對數(shù)據(jù)處理數(shù)據(jù)的本質(zhì)是預(yù)測數(shù)據(jù)，只能找出海量數(shù)據(jù)的相關(guān)性，而不能找出數(shù)據(jù)的準(zhǔn)確原因及數(shù)據(jù)之間的因果性。同樣大數(shù)據(jù)對數(shù)據(jù)的處理不是隨機(jī)處理數(shù)據(jù)，而是挖掘一些有價(jià)值的異常數(shù)據(jù)，通過對大量數(shù)據(jù)進(jìn)行對比來發(fā)現(xiàn)這些異常數(shù)據(jù)的價(jià)值，為人們提供決策支持服務(wù)。隨著大數(shù)據(jù)處理技術(shù)的日漸成熟，未來大數(shù)據(jù)在網(wǎng)絡(luò)信息處理中將會展示出更大的魅力。