黃根華

?

試論云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)

黃根華

廣東省電信規(guī)劃設(shè)計院有限公司，廣東 廣州 510630

互聯(lián)網(wǎng)基礎(chǔ)建設(shè)和普及的時代已經(jīng)過去，云計算的產(chǎn)生使得一個平臺多種應用成為可能。近年來，隨著網(wǎng)絡帶寬等網(wǎng)絡技術(shù)的發(fā)展，通過網(wǎng)絡訪問非本地計算服務的條件越來越成熟，對大規(guī)模數(shù)據(jù)的處理應用實踐，更加促進了云計算技術(shù)往更加廣闊的方向發(fā)展。研究的主要內(nèi)容是云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)及其在實際應用的意義，旨在通過構(gòu)建基于云計算虛擬機集群來解決圖數(shù)據(jù)計算難題，提高大規(guī)模圖數(shù)據(jù)處理效率，促進云計算技術(shù)的發(fā)展和推廣。

云計算環(huán)境；處理技術(shù)；大規(guī)模圖數(shù)據(jù)

圖是互聯(lián)網(wǎng)計算中最常用的數(shù)據(jù)結(jié)構(gòu)之一，相對于常見的諸如線性表類的數(shù)據(jù)結(jié)構(gòu)，圖在語義和結(jié)構(gòu)表達上更為復雜，表示能力更具有一般性，能夠高度模擬不斷演變的網(wǎng)絡模型。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，互聯(lián)網(wǎng)業(yè)務日益豐富和多樣，對計算能力提出了更高的要求。與此同時大規(guī)模圖數(shù)據(jù)處理技術(shù)研究也發(fā)展到了一個更高的層次，基于云計算環(huán)境的圖數(shù)據(jù)處理是一個重要的研究方向，如何對大規(guī)模的圖數(shù)據(jù)進行高效處理，成為新的挑戰(zhàn)[1]。

1 云計算概述

云計算是指以互聯(lián)網(wǎng)核心技術(shù)為基礎(chǔ)，以非常必要的實際應用平臺為主要內(nèi)容的一種應用程序。云計算具有通用性、虛擬化、經(jīng)濟性、可擴展性等優(yōu)勢。

云計算主要涉及三種技術(shù)。一是海量分布式存儲技術(shù)。這種存儲技術(shù)對應用中的重要數(shù)據(jù)以及信息具有強大的存儲功能，可以有效提高云計算存儲數(shù)據(jù)的質(zhì)量和安全性。二是數(shù)據(jù)管理技術(shù)。對高速訪問和讀寫的數(shù)據(jù)實現(xiàn)精準的比較、分析、存儲管理，從而有效避免由于重要數(shù)據(jù)丟失影響應用的正常運行。三是并行編程模式技術(shù)。對于云計算中的各種應用服務對象，進行科學合理的編程，按照合理的優(yōu)先級進行同步或異步響應，提高計算資源的利用率。

2 云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)

2.1 云計算環(huán)境下的圖數(shù)據(jù)存儲模型

在云計算的環(huán)境下，對于大規(guī)模圖數(shù)據(jù)的存儲，主要有超圖和單圖兩種數(shù)據(jù)模型。二者的差異主要體現(xiàn)在存儲的格式：一個是基于數(shù)據(jù)庫格式；一個是文件系統(tǒng)格式[2]。云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)的存儲應用，主要是借助這兩種方式實現(xiàn)對重要數(shù)據(jù)或是信息的海量存儲，并在存儲的過程中實現(xiàn)對相關(guān)信息的安全維護。這兩種存儲方式都具有便捷、靈活的特點，可以較大程度地提高對數(shù)據(jù)信息的高效處理。

分布式文件和分布式數(shù)據(jù)庫兩種不同形式的存儲方式，適用不同的應用場景，同一場景下運行將出現(xiàn)兩種完全不同的應用結(jié)果。因此，在實際應用的過程中，為了盡可能地提高大規(guī)模圖數(shù)據(jù)處理效率，需要我們結(jié)合其相關(guān)數(shù)據(jù)圖形的特點，采取恰當?shù)拇鎯Ω袷竭M行相應的處理。大量實踐結(jié)果證明，一般情況下，分布式數(shù)據(jù)庫主要是用來對各種數(shù)據(jù)模型的存儲，分布式文件主要是對接表和臨接矩陣來進行存儲。

2.2 云計算環(huán)境下的分割圖數(shù)據(jù)

在實際應用中，為了進一步提高對圖數(shù)據(jù)的處理質(zhì)量，需要對云計算環(huán)境下的圖數(shù)據(jù)進行必要的分割處理。簡單而言，需要進行以下步驟：首先，結(jié)合云計算集群中的大規(guī)模存儲工作節(jié)點，對具有復雜邏輯結(jié)構(gòu)的圖進行分割處理；其次，對已經(jīng)分割完的圖進行連通性與均衡性比較，以保證被分割的圖之間還可以實現(xiàn)相互之間聯(lián)通。通過以上兩個步驟反復執(zhí)行，達到一定的均衡性指標之后，即可實現(xiàn)對大規(guī)模圖數(shù)據(jù)的分割到合理的水平。圖數(shù)據(jù)過大時，不同分割的子圖之間的計算處理會出現(xiàn)時間差，出現(xiàn)“木桶理論”的時間瓶頸，降低圖數(shù)據(jù)整理處理效率，影響到應用系統(tǒng)的正常運轉(zhuǎn)。通過對這種分割之后的圖數(shù)據(jù)處理，可以有效地避免大規(guī)模圖數(shù)據(jù)計算的不同子圖之間的時間差，從而提高圖數(shù)據(jù)整體處理效率。

2.3 云計算環(huán)境下的圖數(shù)據(jù)計算模型

云計算環(huán)境下的圖數(shù)據(jù)計算模型有兩種，分別是BSP模型和Map Reduce模型。其中BSP模型主要是保障云計算環(huán)境下的圖數(shù)據(jù)之間通信，高效及時的通信機制可以避免計算機運行系統(tǒng)出現(xiàn)鎖死。Map Reduce模型是多個Reduce、Map組成的共同體，以實現(xiàn)多個共同體可以并行的對數(shù)據(jù)信息的并行處理，確保云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)的處理效率。通常的處理流程如下：首先，通過Reduce對接受到的實際數(shù)據(jù)進行聚集處理，對分布式文件中的相關(guān)數(shù)據(jù)進行保存，得到輸出的結(jié)果；其次，借助Map階段，實現(xiàn)對數(shù)據(jù)的分析計算，并進行統(tǒng)一的資源分配。通過計算得到相對應的Key值，之后在使其與之相對應的數(shù)據(jù)信息在Reduce任務中進行映射[3]。

2.4 云計算環(huán)境下的圖數(shù)據(jù)查詢處理

在現(xiàn)階段的云計算環(huán)境下，有兩種模式可以支持大規(guī)模圖數(shù)據(jù)驅(qū)動：一種是以圖頂點驅(qū)動的主動遍歷模式；另一種是與之相反的以消息驅(qū)動的被動式遍歷模式。這兩種模式僅僅是驅(qū)動對象不同，應用操作對象都是圖頂點。因此，在查詢處理圖數(shù)據(jù)過程中，圖頂點的維護有著至關(guān)重要的作用。對二者的優(yōu)缺點進行比較，主動遍歷模式的優(yōu)點在于應用性強，可以支持所有的圖應用場景，但明顯的缺點是會出現(xiàn)較大程度的資源浪費；被動便利模式在不調(diào)動處理函數(shù)的情況下，可以有效地降低不必要節(jié)點，避免資源的浪費。

2.5 云計算環(huán)境下的圖數(shù)據(jù)容錯管理

在云計算環(huán)境下，大規(guī)模圖數(shù)據(jù)持續(xù)時間長，由于云平臺硬件性能普遍較低，單個節(jié)點出現(xiàn)故障的概率高，出錯重新處理的代價非常大，因此容錯機制必不可少。大規(guī)模圖數(shù)據(jù)處理技術(shù)在云環(huán)境中的容錯管理主要是通過對相應的冗余數(shù)據(jù)備份，或者是借助硬盤來進行讀寫，以實現(xiàn)對其數(shù)據(jù)的保護。其主要內(nèi)容包括對冗余備份寫入時機的把握，確定冗余備份的相關(guān)數(shù)據(jù)存放位置，以及冗余備份過程中相關(guān)出現(xiàn)故障的檢測與恢復等。

3 云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)應用的現(xiàn)實意義

云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應用的現(xiàn)實意義。其一，強大的存儲能力，可以實現(xiàn)對數(shù)據(jù)的統(tǒng)一集中管理，統(tǒng)一高效維護，大大提高了信息數(shù)據(jù)量較大圖數(shù)據(jù)存儲以及保護水；第二，算法的靈活性拓展了大規(guī)模圖數(shù)據(jù)的實際應用領(lǐng)域，滿足不同場景的計算需求；其三，大規(guī)模圖數(shù)據(jù)處理技術(shù)將云計算技術(shù)的發(fā)展引入了一個新的方向，也促進互聯(lián)網(wǎng)計算技術(shù)的進一步發(fā)展[4]。

4 總結(jié)

綜上所述，云計算是一項將計算機技術(shù)與網(wǎng)絡技術(shù)進行有效整合而成的新型信息產(chǎn)物，這一技術(shù)有著非常廣闊的應用背景。云計算技術(shù)與大規(guī)模圖數(shù)據(jù)處理技術(shù)兩者在發(fā)展歷程中相輔相成、相互促進。基于云計算環(huán)境的下大規(guī)模圖數(shù)據(jù)處理技術(shù)的應用，將會帶給我們更加豐富和完善的用戶體驗。

[1]李東升.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].信息與電腦：理論版，2015，34（8）：1753-1767.

[2]王欣.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].決策與信息旬刊，2015，34（10）：209.

[3]李淵.淺析云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].中國高新技術(shù)企業(yè)，2014（6）：53-54.

[4]于雙紅.云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的應用研究[J].信息與電腦：理論版，2016（1）：6-7.

A Large-Scale Map Data Processing Technology in Cloud Computing Environment

Huang Genhua

Guangdong planning and Design Institute Co., Ltd., Guangdong Guangzhou 510630

The Internet infrastructure and the popularity of the era of the past, cloud computing makes a platform for a variety of applications possible.In recent years, with the rapid development of network technology such as network bandwidth, access condition and non local computing services through the network more mature, application of large-scale data processing, more to promote cloud computing the technology to broader direction. The main contents of this paper are large graph data processing technology in cloud computing environment and its significance in practical application, aims to build a cloud based virtual machine cluster to solve the graph data calculation problem, improve the large graph data processing efficiency, promote the development and promotion of cloud computing technology.

cloud computing; processing technology; large graph data

TN919.5

A

黃根華（1984—），男，工程師，畢業(yè)于中山大學，碩士，現(xiàn)就職于廣東省電信規(guī)劃設(shè)計院有限公司，長期從事網(wǎng)絡咨詢與規(guī)劃工作，在云計算、業(yè)務網(wǎng)絡等方面具有深厚的理論功底和豐富的項目經(jīng)驗。