王穎?梁雪晴?王延輝

摘 要：本文主要是對(duì)基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)進(jìn)行研究與設(shè)計(jì)，首先介紹了大數(shù)據(jù)的基本特點(diǎn)以及基于云計(jì)算構(gòu)建的大數(shù)據(jù)統(tǒng)一分析平臺(tái)的優(yōu)勢(shì)，而后從大數(shù)據(jù)統(tǒng)一分析平臺(tái)的體系結(jié)構(gòu)、軟件結(jié)構(gòu)等來(lái)實(shí)現(xiàn)大數(shù)據(jù)統(tǒng)一分析平臺(tái)，在此基礎(chǔ)上實(shí)現(xiàn)企業(yè)業(yè)務(wù)數(shù)據(jù)的統(tǒng)一處理與分析，提升企業(yè)核心競(jìng)爭(zhēng)力。

關(guān)鍵詞：云計(jì)算；大數(shù)據(jù)分析；低響應(yīng)時(shí)間；高速

一、概述

隨著現(xiàn)代科學(xué)技術(shù)的不斷發(fā)展和應(yīng)用，互聯(lián)網(wǎng)成為人們生活中不可缺少的有機(jī)組成部分，各個(gè)社會(huì)行業(yè)領(lǐng)域積極地促進(jìn)信息化、網(wǎng)絡(luò)化進(jìn)程來(lái)提升企業(yè)的管理效率和數(shù)據(jù)信息的管理水平，也使得社會(huì)邁入了信息時(shí)代。信息時(shí)代的核心是數(shù)據(jù)，隨著時(shí)間的推移和互聯(lián)網(wǎng)用戶的不斷增加，互聯(lián)網(wǎng)中的數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，目前已經(jīng)達(dá)到了傳統(tǒng)數(shù)據(jù)技術(shù)難以處理和管理的地步。反過(guò)來(lái)講，海量數(shù)據(jù)對(duì)于一個(gè)企業(yè)來(lái)說(shuō)，是一筆無(wú)形的財(cái)富，里面蘊(yùn)含著很多對(duì)企業(yè)深度經(jīng)營(yíng)和精確營(yíng)銷(xiāo)非常重要的信息，一個(gè)企業(yè)如何從海量數(shù)據(jù)中高效、快速地挖掘出對(duì)企業(yè)有用的知識(shí)，勢(shì)必會(huì)讓其在市場(chǎng)競(jìng)爭(zhēng)中占有一席之地。大數(shù)據(jù)的快速發(fā)展，與云計(jì)算、物聯(lián)網(wǎng)一起顛覆了傳統(tǒng)的互聯(lián)網(wǎng)觀念，對(duì)于企業(yè)的發(fā)展決策、行為預(yù)測(cè)等起到非常重要的作用。然而傳統(tǒng)網(wǎng)絡(luò)構(gòu)架對(duì)于數(shù)據(jù)洪流的處理隨著數(shù)據(jù)量的繼續(xù)增加已經(jīng)顯得捉襟見(jiàn)肘，而基于云計(jì)算的思想構(gòu)建大數(shù)據(jù)的統(tǒng)一分析平臺(tái)，將會(huì)大大降低大數(shù)據(jù)統(tǒng)一分析平臺(tái)的成本和數(shù)據(jù)處理的壓力，從而有效地實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的快速存儲(chǔ)、處理與高效分析，最終減少數(shù)據(jù)分析的響應(yīng)時(shí)間，提升企業(yè)業(yè)務(wù)的處理效率，最終提升企業(yè)在市場(chǎng)同業(yè)務(wù)中的競(jìng)爭(zhēng)力。

二、基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)的優(yōu)勢(shì)

大數(shù)據(jù)是“Big Data”，即大量信息數(shù)據(jù)，其在概念上需要符合三點(diǎn)：1）數(shù)據(jù)量龐大，該數(shù)據(jù)量一般在PB級(jí)別，常用海量等模糊詞來(lái)形容；2）數(shù)據(jù)結(jié)構(gòu)復(fù)雜，大數(shù)據(jù)包含的信息眾多，類(lèi)型復(fù)雜，除了傳統(tǒng)常規(guī)的結(jié)構(gòu)化數(shù)據(jù)之外，大部分屬于非結(jié)構(gòu)化數(shù)據(jù)，其包含的信息更加豐富；3）數(shù)據(jù)關(guān)聯(lián)度大，數(shù)據(jù)之間由于業(yè)務(wù)管理而使其關(guān)聯(lián)度非常高，這也是數(shù)據(jù)挖掘的最終意義體現(xiàn)，能夠挖掘到彼此之間相互的重要知識(shí)信息。

目前，大數(shù)據(jù)技術(shù)正在高速發(fā)展和廣泛應(yīng)用，通過(guò)搭建云平臺(tái)來(lái)實(shí)現(xiàn)大數(shù)據(jù)的統(tǒng)一分析平臺(tái)，將提升整個(gè)系統(tǒng)對(duì)數(shù)據(jù)結(jié)構(gòu)復(fù)雜度的包容力，實(shí)現(xiàn)了更多類(lèi)型的非結(jié)構(gòu)化數(shù)據(jù)處理能力和邏輯關(guān)聯(lián)能力的提升，最終實(shí)現(xiàn)了支持多類(lèi)型非結(jié)構(gòu)化的PB級(jí)別容量數(shù)據(jù)的分析，最終實(shí)現(xiàn)了前端應(yīng)用在業(yè)務(wù)響應(yīng)時(shí)間的減少，實(shí)現(xiàn)了其業(yè)務(wù)分析的價(jià)值提升，無(wú)論從經(jīng)濟(jì)發(fā)展還是企業(yè)的戰(zhàn)略制定，都具有非常重要的實(shí)用價(jià)值。

利用云計(jì)算平臺(tái)構(gòu)建大數(shù)據(jù)統(tǒng)一分析平臺(tái)，具有非常明顯的優(yōu)勢(shì)，首先，能夠按照企業(yè)的不同業(yè)務(wù)的優(yōu)先級(jí)來(lái)實(shí)現(xiàn)快速地對(duì)信息資源計(jì)算能力的分配；再者， 云計(jì)算平臺(tái)構(gòu)建大數(shù)據(jù)分析平臺(tái)，通過(guò)細(xì)化數(shù)據(jù)集，保留數(shù)據(jù)集合內(nèi)部的數(shù)據(jù)區(qū)別于聯(lián)系，從而優(yōu)化業(yè)務(wù)精確度，保持業(yè)務(wù)差異化，最終提升企業(yè)業(yè)務(wù)處理效率和水平；同時(shí)，云平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)分析，能夠針對(duì)關(guān)鍵業(yè)務(wù)開(kāi)展范圍內(nèi)的組織寫(xiě)作，實(shí)現(xiàn)最佳算法的傳播與挖掘結(jié)果的快速展現(xiàn)；最后，云平臺(tái)自身具有成本低的優(yōu)勢(shì)，通過(guò)云計(jì)算構(gòu)建大數(shù)據(jù)分析平臺(tái)，可以構(gòu)建商業(yè)化的大數(shù)據(jù)分析組件，從而擴(kuò)展企業(yè)業(yè)務(wù)能力，提高業(yè)務(wù)機(jī)會(huì)，提升市場(chǎng)競(jìng)爭(zhēng)力。所以，利用云計(jì)算構(gòu)建大數(shù)據(jù)統(tǒng)一分析平臺(tái)，對(duì)于企業(yè)來(lái)說(shuō)，提升業(yè)務(wù)數(shù)據(jù)處理能力，優(yōu)化數(shù)據(jù)細(xì)分粒度，降低數(shù)據(jù)訪問(wèn)延遲，加快數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建以及實(shí)現(xiàn)數(shù)據(jù)分析的集成，從而為企業(yè)在市場(chǎng)競(jìng)爭(zhēng)中取得先機(jī)優(yōu)勢(shì)。

三、基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)的設(shè)計(jì)

1.分析平臺(tái)的體系結(jié)構(gòu)

基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)的設(shè)計(jì)，基本上拋棄了硬件結(jié)構(gòu)，在相關(guān)的節(jié)點(diǎn)實(shí)現(xiàn)上都是以云計(jì)算平臺(tái)構(gòu)建相應(yīng)的虛擬硬件設(shè)施，來(lái)提供相應(yīng)的硬件服務(wù)。基于云計(jì)算平臺(tái)，按照大數(shù)據(jù)統(tǒng)一分析平臺(tái)的基本需求構(gòu)建相應(yīng)的體系結(jié)構(gòu)，從而實(shí)現(xiàn)最終的數(shù)據(jù)挖掘下的大數(shù)據(jù)分析功能。如圖1所示，為基于云計(jì)算大數(shù)據(jù)統(tǒng)一分析平臺(tái)的體系結(jié)構(gòu)示意圖。

圖1 基于云平臺(tái)的大數(shù)據(jù)統(tǒng)一分析平臺(tái)體系結(jié)構(gòu)示意圖

如圖1所示，整個(gè)系統(tǒng)結(jié)構(gòu)的主要實(shí)現(xiàn)是以云計(jì)算為基礎(chǔ)，而相應(yīng)的業(yè)務(wù)功能則是以大數(shù)據(jù)的思想來(lái)實(shí)現(xiàn)。在大數(shù)據(jù)統(tǒng)一分析平臺(tái)的后端，是整個(gè)大數(shù)據(jù)分析平臺(tái)的數(shù)據(jù)來(lái)源，主要是各個(gè)信息管理系統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)，例如企業(yè)的ERP系統(tǒng)、CRM系統(tǒng)等這些系統(tǒng)都會(huì)隨時(shí)產(chǎn)生大量的數(shù)據(jù)，為數(shù)據(jù)挖掘提供最原始的基礎(chǔ)數(shù)據(jù)。這些源數(shù)據(jù)在數(shù)據(jù)轉(zhuǎn)移下，經(jīng)過(guò)大數(shù)據(jù)預(yù)處理技術(shù)，從而對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換、清洗、去除噪聲數(shù)據(jù)等過(guò)程，最終形成可挖掘的數(shù)據(jù)，放置到數(shù)據(jù)倉(cāng)庫(kù)中，最終經(jīng)過(guò)大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)對(duì)處理后的數(shù)據(jù)的處理，從而生成對(duì)于企業(yè)決策最基本的知識(shí)信息。最后，通過(guò)前端應(yīng)用的實(shí)現(xiàn)，將這些數(shù)據(jù)形成直觀形象的數(shù)據(jù)報(bào)表，供企業(yè)決策者查閱分析，從而為企業(yè)的發(fā)展提供有效的、科學(xué)的依據(jù)。

2.分析平臺(tái)的軟件結(jié)構(gòu)

大數(shù)據(jù)軟件架構(gòu)的一般采用大數(shù)據(jù)分布式存儲(chǔ)和處理的思想來(lái)實(shí)現(xiàn)，通過(guò)構(gòu)建一個(gè)Master主機(jī)和多個(gè)Slave的Segment服務(wù)器來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)源數(shù)據(jù)的訪問(wèn)、分析和處理。這種軟件結(jié)構(gòu)每個(gè)存儲(chǔ)節(jié)點(diǎn)都相互獨(dú)立，彼此之間沒(méi)有數(shù)據(jù)共享，通過(guò)Master主機(jī)來(lái)實(shí)現(xiàn)slave節(jié)點(diǎn)的數(shù)據(jù)交換。一般的，Master服務(wù)器和Segment服務(wù)器之間通過(guò)互聯(lián)網(wǎng)相連，各個(gè)存儲(chǔ)節(jié)點(diǎn)之間在結(jié)構(gòu)上沒(méi)有關(guān)聯(lián)，屬于完全無(wú)共享結(jié)構(gòu)，從而實(shí)現(xiàn)了軟件結(jié)構(gòu)的高擴(kuò)展性，通過(guò)添加網(wǎng)絡(luò)節(jié)點(diǎn)和簡(jiǎn)單配置即可增加網(wǎng)絡(luò)分布存儲(chǔ)節(jié)點(diǎn)。此外，為了提升系統(tǒng)高可用性，對(duì)于Master和Segment主機(jī)采用一主一備的方式，通過(guò)GE網(wǎng)絡(luò)將主機(jī)與Segment服務(wù)器相連，鏡像網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)備份，從而提升系統(tǒng)的可用性。

四、結(jié)語(yǔ)

基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)的設(shè)計(jì)，是充分利用云計(jì)算技術(shù)和大數(shù)據(jù)數(shù)據(jù)挖掘技術(shù)，來(lái)試下對(duì)海量數(shù)據(jù)的存儲(chǔ)與管理，在高速的、智能的數(shù)據(jù)分析下，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的知識(shí)挖掘，最終優(yōu)化企業(yè)的業(yè)務(wù)處理能力，提升企業(yè)服務(wù)效率和水平。

參考文獻(xiàn)：

[1] 李巍巍. 基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)設(shè)計(jì)與應(yīng)用[J]. 自動(dòng)化與儀器儀表. 2016（08）.

[2] 趙春雷，喬治·納漢. “大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù) [J]. 世界科學(xué). 2012（02）.

[3] 成靜靜，喻朝新. 基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)研究與設(shè)計(jì)[J]. 廣東通信技術(shù). 2013（01）.