【摘 要】隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，社交網(wǎng)絡(luò)分析、語(yǔ)義Web分析、生物信息網(wǎng)絡(luò)分析等新技術(shù)也被快速?gòu)V泛的推廣和應(yīng)用。作為目前高性能計(jì)算領(lǐng)域的研究和開發(fā)熱點(diǎn)，對(duì)大規(guī)模數(shù)據(jù)處理能力的需求也變得愈來(lái)愈迫切。本文主要就在大規(guī)模數(shù)據(jù)處理中引入云技術(shù)，提出在集中或分布管理的大量廉價(jià)計(jì)算機(jī)集群上構(gòu)建可擴(kuò)展的、易使用的、動(dòng)態(tài)的、高性價(jià)比的、性能較高的計(jì)算平臺(tái)，創(chuàng)建一種云計(jì)算環(huán)境下的大規(guī)模數(shù)據(jù)處理的框架進(jìn)行了分析研究。

【關(guān)鍵詞】云計(jì)算環(huán)境 大規(guī)模數(shù)據(jù)處理 應(yīng)用 計(jì)算平臺(tái)

一、引言

隨著世界經(jīng)濟(jì)的快速發(fā)展，科學(xué)技術(shù)水平的不斷提高，計(jì)算機(jī)技術(shù)日新月異，互聯(lián)網(wǎng)時(shí)代信息與數(shù)據(jù)處理技術(shù)發(fā)展相當(dāng)迅速，越來(lái)越多的行業(yè)領(lǐng)域在日常事物的處理中運(yùn)用到了計(jì)算機(jī)技術(shù)對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行處理，如鐵路公路等交通售票業(yè)務(wù)、各大型電子商務(wù)平臺(tái)的交易處理、人口普查、商業(yè)貿(mào)易等，數(shù)據(jù)處理可比較輕松的達(dá)到GB，TB，例如淘寶網(wǎng)每天的交易數(shù)據(jù)就很多，這些就需要運(yùn)用到計(jì)算機(jī)的大規(guī)模數(shù)據(jù)處理技術(shù)。云計(jì)算技術(shù)作為新一代的計(jì)算模型代表，可以通過(guò)網(wǎng)絡(luò)計(jì)算、效用計(jì)算、服務(wù)計(jì)算等技術(shù)進(jìn)行綜合演化，具有處理上述問(wèn)題的關(guān)鍵技術(shù)特點(diǎn)。

二、對(duì)大規(guī)模廉價(jià)計(jì)算平臺(tái)的研究

針對(duì)目前對(duì)大規(guī)模數(shù)據(jù)信息以及計(jì)算資源的特征及對(duì)大規(guī)模數(shù)據(jù)進(jìn)行數(shù)據(jù)處理的要求，可以對(duì)眾多閑置的計(jì)算機(jī)資源進(jìn)行重新組建，組建成大規(guī)模的廉價(jià)集群計(jì)算平臺(tái)，在原有的云計(jì)算基礎(chǔ)上，對(duì)Hadoop進(jìn)行資源整合，采用MapReduce編程規(guī)模，將大規(guī)模的數(shù)據(jù)處理任務(wù)進(jìn)行相應(yīng)的任務(wù)分解，分解成很多的細(xì)粒度的子任務(wù)，然后在多個(gè)計(jì)算節(jié)點(diǎn)上對(duì)這些子任務(wù)進(jìn)行計(jì)算處理，從而實(shí)現(xiàn)在云環(huán)境下對(duì)大規(guī)模數(shù)據(jù)進(jìn)行處理的能力。

當(dāng)計(jì)算資源和存儲(chǔ)資源虛擬化被創(chuàng)建之后，需要一個(gè)與其對(duì)應(yīng)的虛擬化的解決方案對(duì)其進(jìn)行處理，從而需要?jiǎng)?chuàng)建一個(gè)大規(guī)模的計(jì)算平臺(tái)對(duì)云環(huán)境下的大規(guī)模數(shù)據(jù)進(jìn)行處理，作為大規(guī)模數(shù)據(jù)處理的一個(gè)重要環(huán)節(jié)，這一過(guò)程可以通過(guò)以下幾個(gè)步驟進(jìn)行實(shí)現(xiàn)：

（一）對(duì)數(shù)據(jù)處理所需的資源進(jìn)行參數(shù)化的配置

各用戶在對(duì)計(jì)算節(jié)點(diǎn)資源池進(jìn)行部署和使用前，首先都要對(duì)需要部署和使用的計(jì)算資源進(jìn)行選擇，并對(duì)相應(yīng)的參數(shù)進(jìn)行設(shè)置，通過(guò)這一選擇部署的過(guò)程獲得自己所需要的計(jì)算資源和存儲(chǔ)資源，提供者則需要在不同的操作模式中，對(duì)底層計(jì)算資源屬性進(jìn)行部署，從而為用戶提供需要的參數(shù)服務(wù)。

（二）對(duì)計(jì)算資源和存儲(chǔ)資源進(jìn)行部署

這一步驟需要根據(jù)第一步定制的設(shè)置參數(shù)，來(lái)確定部署大規(guī)模數(shù)據(jù)處理中的計(jì)算資源以及存儲(chǔ)資源，以及設(shè)計(jì)相應(yīng)的數(shù)據(jù)處理和計(jì)算流程的部署方案。

（三）對(duì)定制化參數(shù)進(jìn)行保存

將在第一步驟中產(chǎn)生的相關(guān)參數(shù)設(shè)置信息寫入到計(jì)算資源以及存儲(chǔ)資源的相關(guān)配置文件中，用來(lái)實(shí)現(xiàn)資源流程調(diào)度的分配，從而啟動(dòng)相應(yīng)計(jì)算節(jié)點(diǎn)的計(jì)算資源以及存儲(chǔ)資源，或者管理部署計(jì)算節(jié)點(diǎn)的定制處理服務(wù)。

（四）進(jìn)行計(jì)算節(jié)點(diǎn)的選擇，配置相應(yīng)計(jì)算流程

在對(duì)大規(guī)模數(shù)據(jù)盡心處理的過(guò)程，對(duì)所需要的軟硬件資源進(jìn)行檢測(cè)管理中，部署工具會(huì)通過(guò)網(wǎng)絡(luò)連接到目標(biāo)計(jì)算節(jié)點(diǎn)上，并且對(duì)相應(yīng)的計(jì)算流程進(jìn)行相關(guān)配置，配置成功后，開始對(duì)大規(guī)模數(shù)據(jù)的處理的方案進(jìn)行執(zhí)行分析。同時(shí)通過(guò)代碼對(duì)計(jì)算資源和存儲(chǔ)資源進(jìn)行相應(yīng)的執(zhí)行分配。

（五）對(duì)計(jì)算流程進(jìn)行部署實(shí)施

在以上步驟實(shí)施后，并通過(guò)外部數(shù)據(jù)處理資源管理實(shí)施方案的監(jiān)測(cè)，在眾多的計(jì)算節(jié)點(diǎn)上，對(duì)大規(guī)模數(shù)據(jù)處理的部署進(jìn)行實(shí)施。

（六）激活計(jì)算流程和計(jì)算資源、存儲(chǔ)資源

在步驟五開始實(shí)施后，通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)，對(duì)各個(gè)計(jì)算節(jié)點(diǎn)發(fā)布一系列的數(shù)據(jù)處理命令，完成對(duì)大規(guī)模數(shù)據(jù)計(jì)算的部署調(diào)度，對(duì)整個(gè)計(jì)算過(guò)程進(jìn)行激活處理，成功激活后，在各計(jì)算節(jié)點(diǎn)具體執(zhí)行相應(yīng)的計(jì)算流程。

三、基于云計(jì)算的大規(guī)模數(shù)據(jù)處理框架模型

根據(jù)大規(guī)模數(shù)據(jù)處理的要求，將計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和云計(jì)算技術(shù)引入到大規(guī)模數(shù)據(jù)的計(jì)算處理中，提出了基于云計(jì)算的大規(guī)模數(shù)據(jù)處理的框架模型。此模型可以分為兩級(jí)，第一級(jí)是底層的大規(guī)模廉價(jià)計(jì)算機(jī)集群及虛擬資源；第二級(jí)是對(duì)第一級(jí)的數(shù)據(jù)資源的處理和監(jiān)測(cè)管理體系?？梢栽诖嘶A(chǔ)上，創(chuàng)建一個(gè)大規(guī)模數(shù)據(jù)處理的計(jì)算平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)處理的資源配置、回收、問(wèn)題及錯(cuò)誤處理，為各個(gè)領(lǐng)域的不同用戶提供大規(guī)模數(shù)據(jù)處理的計(jì)算平臺(tái)的相應(yīng)軟件支持。通過(guò)編程和相應(yīng)的任務(wù)處理，將最終的結(jié)果以云服務(wù)形式提供給終端用戶。并可以通過(guò)Web Service方式提供接口進(jìn)行訪問(wèn)，并對(duì)大規(guī)模數(shù)據(jù)進(jìn)行處理以及接受相應(yīng)的反饋。

本文探討了對(duì)此框架的初步實(shí)現(xiàn)，并使用HDFS以及MapReduce對(duì)大規(guī)模數(shù)據(jù)進(jìn)行協(xié)調(diào)處理。

（一）搭建大規(guī)模計(jì)算機(jī)集群環(huán)境

通過(guò)將MapReduce任務(wù)進(jìn)行分解，將大規(guī)模數(shù)據(jù)分解為各個(gè)子任務(wù)，根據(jù)子任務(wù)的大小和數(shù)目的多少，分別將子任務(wù)分別放置在相應(yīng)的計(jì)算機(jī)節(jié)點(diǎn)中，并對(duì)不同的節(jié)點(diǎn)分別進(jìn)行角色設(shè)置。

（二）數(shù)據(jù)處理任務(wù)的轉(zhuǎn)移

將大規(guī)模數(shù)據(jù)載入到Hadoop提供的分布式文件系統(tǒng)中，并將MapReduce的各個(gè)數(shù)據(jù)處理子任務(wù)轉(zhuǎn)移到相應(yīng)的計(jì)算節(jié)點(diǎn)上。

（三）大規(guī)模數(shù)據(jù)處理的分布化

大規(guī)模數(shù)據(jù)處理的分布化，需要Map函數(shù)、Reduce函數(shù)以及相關(guān)的程序進(jìn)行對(duì)數(shù)據(jù)處理的實(shí)現(xiàn)。并運(yùn)行MapReduce。MapReduce的實(shí)現(xiàn)機(jī)理見圖1.

（四）數(shù)據(jù)處理結(jié)果的反饋

在反饋數(shù)據(jù)處理結(jié)果時(shí)，需要用戶驗(yàn)證接口，通過(guò)相應(yīng)的云服務(wù)平臺(tái)將數(shù)據(jù)處理結(jié)果反饋給相應(yīng)的需求者。

四、大規(guī)模數(shù)據(jù)處理的實(shí)例

通過(guò)對(duì)上述大規(guī)模數(shù)據(jù)處理的框架模型的分析，以淘寶商城的大規(guī)模Web日志的數(shù)據(jù)處理為實(shí)例，對(duì)多個(gè)站點(diǎn)前段的原始Web日志文件進(jìn)行收集以及數(shù)據(jù)處理，可以通過(guò)以下步驟進(jìn)行。

（一）首先需要對(duì)站點(diǎn)前段的Web日志進(jìn)行收集整理，并將這些Web日志進(jìn)行相應(yīng)的存儲(chǔ)。

（二）對(duì)收集的Web日志的相應(yīng)數(shù)據(jù)配置統(tǒng)一的格式。因?yàn)槭占腤eb日志是從不同的站點(diǎn)進(jìn)行收集的，Web日志的來(lái)源相對(duì)來(lái)說(shuō)比較復(fù)雜，沒有統(tǒng)一的格式，所以需要對(duì)這些大量的日志配置統(tǒng)一的格式，在格式統(tǒng)一化時(shí)，要在不改變相應(yīng)數(shù)據(jù)的前提下進(jìn)行，要保證數(shù)據(jù)的完整性。

（三）將所收集的Web日志導(dǎo)入到HDFS中，利用HDFS的備份機(jī)制和數(shù)據(jù)存儲(chǔ)的原理，分別建立各個(gè)節(jié)點(diǎn)的通訊方式，并對(duì)其配置相對(duì)應(yīng)的名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)等。

（四）將數(shù)據(jù)進(jìn)行統(tǒng)一格式化，以及對(duì)其配置相應(yīng)的節(jié)點(diǎn)信息之后，要利用MapReduce模型的處理相關(guān)數(shù)據(jù)的規(guī)則設(shè)計(jì)和計(jì)算功能。這部分作為數(shù)據(jù)處理的核心內(nèi)容，也是整個(gè)大規(guī)模數(shù)據(jù)處理工作的重心所在。

（五）在數(shù)據(jù)處理完畢，并將處理完的數(shù)據(jù)導(dǎo)出之后，要按照規(guī)定的輸出格式和要求對(duì)數(shù)據(jù)進(jìn)行保存，以方便用戶對(duì)相應(yīng)處理結(jié)果的分析處理工作的進(jìn)行。

（六）最后，用戶收到相應(yīng)的數(shù)據(jù)處理結(jié)果后，需要將處理結(jié)果進(jìn)行反饋，并且對(duì)處理過(guò)程中所產(chǎn)生的垃圾數(shù)據(jù)進(jìn)行相應(yīng)的清理。

數(shù)據(jù)處理需要較多的環(huán)節(jié)，在每一個(gè)環(huán)節(jié)的數(shù)據(jù)處理中，都需要對(duì)相應(yīng)的數(shù)據(jù)處理進(jìn)行一定的監(jiān)控，并對(duì)整個(gè)框架模型的工作情況進(jìn)行監(jiān)控，以盡早的發(fā)現(xiàn)運(yùn)行中出現(xiàn)的問(wèn)題，及時(shí)對(duì)數(shù)據(jù)處理中出現(xiàn)的問(wèn)題及錯(cuò)誤進(jìn)行解決糾正。

五、結(jié)論

綜上所述，本文對(duì)云計(jì)算環(huán)境下的大規(guī)模數(shù)據(jù)處理技術(shù)進(jìn)行了分析研究，通過(guò)對(duì)數(shù)據(jù)處理廉價(jià)計(jì)算平臺(tái)的創(chuàng)建以及對(duì)云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理的框架模型的研究，分析了云計(jì)算技術(shù)在大規(guī)模數(shù)據(jù)處理中的用途。并且通過(guò)實(shí)例分析，對(duì)電子商務(wù)平臺(tái)的Web日志的大規(guī)模數(shù)據(jù)進(jìn)行計(jì)算分析，更清晰明了的闡述了云計(jì)算環(huán)境下的大規(guī)模數(shù)據(jù)處理的方式方法。

參考文獻(xiàn)：

[1]于戈，谷峪，鮑玉斌，王志剛：《云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)》，計(jì)算機(jī)學(xué)報(bào)，2011（10）

[2]王嘉，陳超：《云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理的研究》，中國(guó)電子商務(wù)，2013（09）

[3]白亞魯：《云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理的研究》，軟件雜志，2013（5）

[4]陳康：《云計(jì)算后臺(tái)大規(guī)模數(shù)據(jù)處理技術(shù)探討》，電子工程技術(shù)與標(biāo)準(zhǔn)化，2009（11）

[5]侯建，帥仁俊，侯文：《基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)模型》， 通信技術(shù). 2011（05）