李東 遠方

大數(shù)據(jù)分析在很多的領(lǐng)域都起到了非常重要的作用，數(shù)據(jù)的來源多種多樣，數(shù)據(jù)的產(chǎn)生和數(shù)據(jù)的提取涉及到各種不同的應用系統(tǒng)、信息平臺以及傳感器等軟件和硬件。大數(shù)據(jù)是海量數(shù)據(jù)的組合，將這些海量的數(shù)據(jù)通過有效的、準確的方式進行利用，是當前大數(shù)據(jù)研究的一個重要方向。本文首先對大數(shù)據(jù)、大數(shù)據(jù)分析以及傳統(tǒng)數(shù)據(jù)分析的區(qū)別等方面進行了闡述，其次對大數(shù)據(jù)分析的相關(guān)技術(shù)進行了研究，最后對大數(shù)據(jù)分析的應用進行了研究。隨著信息化社會的不斷發(fā)展，以網(wǎng)絡為介質(zhì)，各種應用系統(tǒng)、信息平臺以及傳感器等軟件和硬件每時每刻都在生產(chǎn)著數(shù)據(jù)，這些海量的數(shù)據(jù)中存在著大量有價值的信息，如何從海量的數(shù)據(jù)中提取到企業(yè)所需要的、有價值的數(shù)據(jù)信息，是大數(shù)據(jù)分析主要解決的問題。

一、大數(shù)據(jù)

（一）大數(shù)據(jù)定義

大數(shù)據(jù)是一種數(shù)據(jù)量非常龐大的數(shù)據(jù)集，通過人工的方式無法進行相關(guān)的數(shù)據(jù)分析和運算，數(shù)據(jù)通過某種方式能夠結(jié)合成各種數(shù)據(jù)結(jié)構(gòu)，這些數(shù)據(jù)結(jié)構(gòu)能夠為一些涉及大數(shù)據(jù)分析的機構(gòu)或企業(yè)提供相應的數(shù)據(jù)參考和數(shù)據(jù)分析的依據(jù)。大數(shù)據(jù)中所說的大是相對而言的，這個大和過去我們所能涉及到的數(shù)據(jù)來說是非常龐大的，但在未來大數(shù)據(jù)所規(guī)模還會發(fā)生本質(zhì)的變化和飛躍。大數(shù)據(jù)的特性主要包括規(guī)模性（Volume）、多樣性（Variety）、高速性（Velocity）和價值性（Value）4方面。大數(shù)據(jù)中對于某一小部分數(shù)據(jù)的價值是不穩(wěn)定和不確定的，但是從海量的數(shù)據(jù)中提取到的數(shù)據(jù)會產(chǎn)生出很大的價值。

（二）大數(shù)據(jù)分析定義

大數(shù)據(jù)的含義并不是側(cè)重于數(shù)據(jù)量的龐大，它的重點主要是實現(xiàn)對這些海量的數(shù)據(jù)信息進行相應的研究、分析以及運算等操作，經(jīng)過處理以后這些數(shù)據(jù)中所隱藏的、分散的有用信息才能被提取出來。隨著社會信息化技術(shù)的發(fā)展，各領(lǐng)域、企業(yè)的研究和發(fā)展中對大數(shù)據(jù)的依賴越來越高，同時也會產(chǎn)生出大量的數(shù)據(jù)，在這種情況下，大數(shù)據(jù)涉及到的4大特性也發(fā)生了巨大的變化，對于這些數(shù)據(jù)是否有價值，取決于對數(shù)據(jù)的分析方法是否合理，大數(shù)據(jù)的分析方法主要包括5部分。

1.可視化分析

大數(shù)據(jù)的分析在各種領(lǐng)域中都有可能涉及到，使用該技術(shù)的人員比較廣泛，對于所有的人群而言，可視化分析作為最基礎(chǔ)的大數(shù)據(jù)分析方法，需要被所有的人群掌握。在可視化分析中，數(shù)據(jù)能夠以圖形的方式為用戶展示出其所具有的特性，通過對這些特性進行相應的對比，用戶能夠得到數(shù)據(jù)中存在的一些關(guān)聯(lián)特性。

2.數(shù)據(jù)挖掘算法

大數(shù)據(jù)分析的核心是數(shù)據(jù)挖掘，數(shù)據(jù)挖掘涉及到的算法類別眾多，一般都是在對數(shù)據(jù)的類型和格式進行分析的基礎(chǔ)上，深入的研究數(shù)據(jù)集中的內(nèi)部結(jié)構(gòu)，通過各種運算的方式從海量數(shù)據(jù)中提取有價值的數(shù)據(jù)信息。大數(shù)據(jù)分析中的數(shù)據(jù)量一般都非常的龐大，通過數(shù)據(jù)挖掘的方式能夠在很短的時間內(nèi)完成對數(shù)據(jù)的分析處理，大大提高數(shù)據(jù)的可用性。

3.預測性分析

預測性分析在數(shù)據(jù)分析技術(shù)中有著非常重要的作用，該分析方法是在數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)中，提取出有一定聯(lián)系的數(shù)據(jù)，這些數(shù)據(jù)類型可以是不同的，根據(jù)數(shù)據(jù)類型的要求完成相應模型的建設(shè)，同時再將一些新的數(shù)據(jù)引入其中，最終來完成對未來一些事情的預測。

4.語義引擎

大數(shù)據(jù)分析和互聯(lián)網(wǎng)技術(shù)是分不開的，通過互聯(lián)網(wǎng)相關(guān)技術(shù)能夠?qū)⒂脩粼诨ヂ?lián)網(wǎng)中的一些操作提取出來，根據(jù)操作中的一些關(guān)鍵信息來對用戶潛在消費進行預測，再根據(jù)預測的結(jié)果來對用戶發(fā)送相應的信息，這樣的技術(shù)在產(chǎn)品營銷中有著非常重要的作用。

5.數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理

對于大數(shù)據(jù)分析結(jié)果的準確性和有效性很大的原因在于數(shù)據(jù)源的質(zhì)量和對數(shù)據(jù)的管理，在科學研究和領(lǐng)域數(shù)據(jù)分析中，高質(zhì)量的數(shù)據(jù)源經(jīng)過高效的數(shù)據(jù)管理分析，能夠提取出更加真實有效的數(shù)據(jù)信息。

（三）大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析的區(qū)別

大數(shù)據(jù)是海量數(shù)據(jù)的組合，將這些海量的數(shù)量通過有效的、準確的方式利用起來，是目前研究的熱門方向。通過數(shù)據(jù)的產(chǎn)生的歷程能夠?qū)?shù)據(jù)分為數(shù)的產(chǎn)生、數(shù)據(jù)的形成以及大數(shù)據(jù)的產(chǎn)生三大階段，隨著信息化技術(shù)的不斷發(fā)展，各種數(shù)據(jù)處理軟件的產(chǎn)生讓數(shù)據(jù)的提取和處理比過去的傳統(tǒng)的方式更加的簡單快捷。

對于數(shù)據(jù)處理，傳統(tǒng)的方法雖然受到數(shù)據(jù)庫存儲容量的限制，但數(shù)據(jù)在處理中涉及到了提取、轉(zhuǎn)換以及加載和完整過程，也就是說，傳統(tǒng)數(shù)據(jù)在存儲到數(shù)據(jù)倉庫前已經(jīng)過了數(shù)據(jù)清洗，經(jīng)過清洗后這些數(shù)據(jù)能夠被模型系統(tǒng)所理解。它的缺點是數(shù)據(jù)集比較有限，在進行數(shù)據(jù)分析時，涉及到的數(shù)據(jù)范圍相對有限。對于大數(shù)據(jù)分析中涉及到很多的非結(jié)構(gòu)化數(shù)據(jù)，這樣的數(shù)據(jù)傳統(tǒng)模式下不易進行捕捉，使得大數(shù)據(jù)分析有著很高的挑戰(zhàn)性。

傳統(tǒng)的數(shù)據(jù)分析過程中，首先對數(shù)據(jù)與數(shù)據(jù)的關(guān)系進行建立，然后要對數(shù)據(jù)模型進行制定，最后才是對數(shù)據(jù)的收集以及分析工作。大數(shù)據(jù)的數(shù)據(jù)源的格式涉及到圖片、視頻、網(wǎng)頁、文件、無線射頻識別碼等多種多樣的非結(jié)構(gòu)化形式存在，這些數(shù)據(jù)和常規(guī)的結(jié)構(gòu)化數(shù)據(jù)完全不同。大數(shù)據(jù)分析一般情況下通過動態(tài)建模的方式進行分析，首先對實時的數(shù)據(jù)進行相應的建模工作，在建模過程中實時的將檢測到的數(shù)據(jù)添補進來，逐步擴大建模范圍，這樣的過程具有很強的實時性。

在大數(shù)據(jù)分析中，越來越多的半結(jié)構(gòu)以及非結(jié)構(gòu)化的數(shù)據(jù)通過各種渠道產(chǎn)生，這樣的情況下數(shù)據(jù)源中的數(shù)據(jù)無法確定是否都是完整的和準確的。類似于對人口的統(tǒng)計，若要在某地區(qū)完成一次人口數(shù)量的絕對準確的統(tǒng)計是很難實現(xiàn)的，因為在統(tǒng)計的過程中，人口是存在流入和流出的，人口數(shù)量存在實時的變化。

和傳統(tǒng)數(shù)據(jù)分析進行相應的比較時，大數(shù)據(jù)分析涉及到的數(shù)據(jù)源廣泛，所采用的分析方法和分析模式都有很大的區(qū)別，但是所采用的思維方法和傳統(tǒng)分析的思維方法是大同小異的，主要的區(qū)別在于數(shù)據(jù)源存在差異，所以需要通過不同的方法進行相應的處理。

二、大數(shù)據(jù)分析技術(shù)研究

（一）云存儲技術(shù)

隨著信息技術(shù)的發(fā)展和應用，大數(shù)據(jù)的類型在增多，數(shù)據(jù)也在迅速的增長，大數(shù)據(jù)的存儲也成為一個重要的技術(shù)因素，存儲方式會對數(shù)據(jù)分析以及存儲成本能夠產(chǎn)生很大的影響。因此，對數(shù)據(jù)存儲的需求也需要進行深入的研究。云存儲技術(shù)和大數(shù)據(jù)的結(jié)合能夠?qū)崿F(xiàn)數(shù)據(jù)的高效存儲，云存儲主要對用戶提供一種在線的存儲模式，所有的用戶不用在擔心和關(guān)注存儲容量的大小、存儲設(shè)備的類型以及數(shù)據(jù)存儲的位置，只需要根據(jù)存儲空間等按需付費。

本文中研究的云存儲技術(shù)是云平臺中分布式的存儲架構(gòu)。所有的分布式存儲以及數(shù)據(jù)管理都是圍繞著數(shù)據(jù)中心進行的，根據(jù)角度的不同對數(shù)據(jù)中心進行劃分，能夠?qū)?shù)據(jù)中心劃分為以交換機為中心的結(jié)構(gòu)、以服務器為中心的結(jié)構(gòu)和混合結(jié)構(gòu)三種。從系統(tǒng)建設(shè)角度看，由于歷史遺留存儲信息系統(tǒng)的緣故，云存儲的數(shù)據(jù)中心架構(gòu)主要由傳統(tǒng)的數(shù)據(jù)中心的優(yōu)化、基于云計算的數(shù)據(jù)中心或兩者并存三種形態(tài)出現(xiàn)?；谠朴嬎愕臄?shù)據(jù)存儲中心是云存儲服務的核心，如圖1所示，在并行編程模型的調(diào)度分割下，通過并行數(shù)據(jù)庫和分布式文件系統(tǒng)來完成對結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)的存儲工作，同時通過云服務相關(guān)的協(xié)議，并以云服務涉及到的相關(guān)接口通道來完成對用戶數(shù)據(jù)資源的計算服務。

（二）提升數(shù)據(jù)可用性

數(shù)據(jù)分析中存在大量的、有著復雜結(jié)構(gòu)的數(shù)據(jù)，這些數(shù)據(jù)的來源多種多樣，數(shù)據(jù)的產(chǎn)生和數(shù)據(jù)的提取涉及到各種不同的應用系統(tǒng)、信息平臺以及傳感器等軟件和硬件。在項目中涉及到大數(shù)據(jù)分析，首先要對相關(guān)數(shù)據(jù)進行海量收集，數(shù)據(jù)作為數(shù)據(jù)分析的基礎(chǔ)，分析是一個簡單的過程，但對數(shù)據(jù)進行預分析這個過程是一個比較復雜的過程。本文中研究的數(shù)據(jù)可用性主要是針對數(shù)據(jù)預分析中涉及到的相關(guān)問題，也就是要對數(shù)據(jù)一致性、準確性及時效性等進行研究。

從基礎(chǔ)理論、算法和工程技術(shù)各層面提出了大數(shù)據(jù)可用性領(lǐng)域嚴峻的挑戰(zhàn)性研究問題，對大數(shù)據(jù)可用性的理論與技術(shù)研究進行了重要的探索。另外，大數(shù)據(jù)分析的前提必須要保障數(shù)據(jù)的質(zhì)量，從流程、技術(shù)和管理視角討論了大數(shù)據(jù)時代如何確保數(shù)據(jù)質(zhì)量問題。經(jīng)過研究分析，當前大數(shù)據(jù)的主要來源涉及到web數(shù)據(jù)、應用系統(tǒng)數(shù)據(jù)、傳感器數(shù)據(jù)以及科研數(shù)據(jù)等。所有的數(shù)據(jù)還需要針對詳細的業(yè)務或者研究的需求，把各種不同類型的數(shù)據(jù)進行有效處理，在處理的過程中，數(shù)據(jù)會實時的動態(tài)的變化，這時也需要在處理的過程中對數(shù)據(jù)進行相應的增減，所有的操作都要符合數(shù)據(jù)的數(shù)據(jù)一致性、準確性以及時效性的要求。對數(shù)據(jù)可用性的把握要落實在數(shù)據(jù)可用性的理論和技術(shù)兩個方面。

（三）優(yōu)化數(shù)據(jù)分析模型

在數(shù)據(jù)分析系統(tǒng)領(lǐng)域中，主要涉及到數(shù)據(jù)庫、模型庫以及知識庫三大部分，這三部分之間相互關(guān)聯(lián)，同時也存在很大的差異。在數(shù)據(jù)分析系統(tǒng)中已經(jīng)建設(shè)有知識庫和模型庫后，再對庫中的數(shù)據(jù)進行分析，分析所得到的結(jié)果有首重要的意義，一是能夠把分析結(jié)果重新的導入知識庫中，將這些結(jié)果數(shù)據(jù)轉(zhuǎn)為數(shù)據(jù)儲備，二是能夠根據(jù)這些數(shù)據(jù)來豐富模型庫，三部分的關(guān)系如圖2所示。

模型庫子系統(tǒng)中主要涉及到模型庫以及模型庫管理系統(tǒng)兩部分，通過名稱就能夠理解到，模型庫中涉及到很多的數(shù)據(jù)模型，根據(jù)模型的復雜程度分為簡單模型和復雜模型，根據(jù)模型結(jié)構(gòu)能夠分為單一模型和組合模型。模型的種類比較多，能夠是基于傳統(tǒng)的數(shù)理統(tǒng)計的數(shù)學模型，也可以是基于人工神經(jīng)網(wǎng)絡、遺傳進化計算和模糊系統(tǒng)的計算智能模型。系統(tǒng)決策的整個過程能夠按照實際需求復雜程度來確定采用單個模型還是廣義模型進行分析。根據(jù)大數(shù)據(jù)分析的具體過程進行判斷，數(shù)據(jù)非常的多并且結(jié)構(gòu)也非常的復雜，通過將簡單的以及組合的模型進行分析，在短期內(nèi)也很難完成對數(shù)據(jù)的分析。所以，對大數(shù)據(jù)分析的整個過程中，對模型庫的優(yōu)化主要從兩處來實現(xiàn)，一是完善當前所采用的模型的實際參數(shù)，使得模型能夠進一步的符合數(shù)據(jù)分析的需求；另一個是通過增加模型數(shù)量，將模型間進行合理的組合來完成數(shù)據(jù)分析任務。

（四）資源的彈性調(diào)度

根據(jù)大數(shù)據(jù)產(chǎn)生的特性進行分析，能夠把大數(shù)據(jù)分析的需求分為周期性需求和非周期性需求兩種，周期性需求是在某個特定的時間點重復出現(xiàn)，所以，能夠?qū)?shù)據(jù)處理資源提前準備好，保障數(shù)據(jù)分析的需求。非周期性需求沒有固定的時間周期，很多事情都是突發(fā)的，這種情況就要對資源進行彈性的進行分配，通過以上能夠看出，云計算資源管理的效率是大數(shù)據(jù)分析的一個重要因素。云計算平臺是基礎(chǔ)虛擬化技術(shù)的一種網(wǎng)絡服務模式，通過網(wǎng)絡能夠為用戶提供各種硬件服務、軟件服務等。在云服務中，計算資源也是以服務的形式提供給用戶的，用戶只需要關(guān)心在云服務中的服務質(zhì)量和釀成。通過云服務體系，能夠高效的、合理的完成對大數(shù)據(jù)的周期性以及非周期性的數(shù)據(jù)分析。

大數(shù)據(jù)隨著社會生產(chǎn)會不斷的增多，特別是通過社交網(wǎng)絡以及各種應用平臺能夠產(chǎn)生大量的數(shù)據(jù)，這些網(wǎng)絡中的數(shù)據(jù)的產(chǎn)生有很大的差異，并且存在很大的不確定因素，結(jié)合云計算技術(shù)可以對大數(shù)據(jù)進行合理的規(guī)劃管理，通過MapReduce模型能夠批量的完成數(shù)據(jù)分割，通過云計算服務質(zhì)量協(xié)議，能夠大大提高服務質(zhì)量。

三、大數(shù)據(jù)分析應用

當前，我國已經(jīng)成為一個工業(yè)化向信息化進行轉(zhuǎn)型的大國，工業(yè)化為核心的生產(chǎn)經(jīng)營主要涉及到大生產(chǎn)、大物流以及大零售。所有的服務模式都是以消費者為核心，通過消費者來促進和改善服務模式。利用大數(shù)據(jù)技術(shù)通過相關(guān)關(guān)系來分析這些海量的數(shù)據(jù)，評估產(chǎn)品或者服務是否令人滿意，從而預判消費者是否會為其他類似的產(chǎn)品買單，最終決定這款產(chǎn)品或者服務是否應該繼續(xù)推向市場。這種決策流程的縮短與數(shù)據(jù)化處理，真正地把消費者置于整個產(chǎn)品和服務決策的中心地位。

大數(shù)據(jù)技術(shù)的產(chǎn)生和快速發(fā)展，能夠幫助各大企業(yè)從消費者的心理層面去獲取消費信息，實現(xiàn)企業(yè)精準營銷。隨著網(wǎng)絡以及相關(guān)技術(shù)的發(fā)展，消費者們能夠足不出戶，通過網(wǎng)絡平臺進行網(wǎng)上購物，在網(wǎng)絡上收集消費者的購物數(shù)據(jù)信息，相對于去實體店進行逐個的調(diào)研，會更加的容易并且準確，并且數(shù)據(jù)收集的成本也比較低。對于企業(yè)來說，對收集到的數(shù)據(jù)信息進行分類和分析，這個過程是一個非常復雜的過程，該過程主要是為了在海量的消費數(shù)據(jù)信息中能夠提取到對商業(yè)決策有指引性的數(shù)據(jù)信息。企業(yè)需要能夠通過這些數(shù)據(jù)分析的技術(shù)去提高自身的營銷能力和發(fā)展方向，同時也要不斷的提升自身的制造水平，滿足廣大消費者的需求。

四、結(jié)論

大數(shù)據(jù)分析已經(jīng)不是一個概念，它已經(jīng)真實的被廣泛應用到大數(shù)據(jù)管理和分析當中，如今已經(jīng)存在各種樣的大數(shù)據(jù)分析技術(shù)及方法，但隨著社會的不斷發(fā)展，數(shù)據(jù)不斷增長和數(shù)據(jù)結(jié)構(gòu)不斷更新，大數(shù)據(jù)分析技術(shù)也會不斷的更新。

作者單位：國網(wǎng)河南省電力公司