劉瑞玲

【摘 要】本文著手于大規(guī)模圖數(shù)據(jù)處理技術在云計算環(huán)境下的應用優(yōu)勢，通過對大規(guī)模圖數(shù)據(jù)處理技術的實踐應用情況進行分析，結合云計算環(huán)境心愛的大規(guī)模圖數(shù)據(jù)處理問題情況進行研究，總結出大規(guī)模圖數(shù)據(jù)處理技術在云計算環(huán)境下的關鍵性技術實施情況，為我國今后的大規(guī)模圖數(shù)據(jù)處理技術創(chuàng)新提供可行性參考。

【關鍵詞】云計算環(huán)境；大規(guī)模圖數(shù)據(jù)；處理技術

在計算機技術中圖形結構屬于用的較多的抽象數(shù)據(jù)結構，和樹及其線性表相比，圖形結構更加復雜，它具有一定的表示能力，在我們的實際生活領域中都在合理而高效的使用圖結構，和圖有關的處理及應用方式隨處可見，例如圖在科技文獻中的引用，傳統(tǒng)領域中的應用，利用圖預測疾病突發(fā)的路徑、確定最優(yōu)的運輸線路等。新應用，分析生物信息網、語義Web分析、社交網路分析等。雖然經過了較長時間的發(fā)展及其應用，但隨著科學技術的飛速發(fā)展，更多、更大的圖規(guī)模相繼涌現(xiàn)，我們就要不斷將理論基礎進行完善，來確保能夠高效有力的對大規(guī)模圖進行處理[1]。

1 云計算簡介

云計算（Cloud Computing）是分布式處理（Distributed Computing）、并行處理（Parallel Computing）和網格計算（Grid Computing）的發(fā)展，或者說是這些計算機科學概念的商業(yè)實現(xiàn)。云計算是虛擬化（Virtualization）、公用計算（Utility Computing）、IaaS（基礎設施即服務）、PaaS（平臺即服務）、SaaS（軟件即服務）等概念混合演進并躍升的結果。云計算的基本原理是，通過使計算分布在大量的分布式計算機上，而非本地計算機或遠程服務器中，企業(yè)數(shù)據(jù)中心的運行將更與互聯(lián)網相似。這使得企業(yè)能夠將資源切換到需要的應用上，根據(jù)需求訪問計算機和存儲系統(tǒng)[2]。

2 云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術

圖是一種典型的非線性數(shù)據(jù)結構，具備一定多對多關系，它也是一種復雜的數(shù)據(jù)結構。數(shù)據(jù)元素間的關系是任意的。其他數(shù)據(jù)結構（如樹、線性表等）都有明確的條件限制，而圖形結構中任意兩個數(shù)據(jù)元素間均可相關聯(lián)。常用來研究生產流程、施工計劃、各種網絡建設等問題。因為大規(guī)模的圖具備的數(shù)據(jù)量非常繁多，所以，分析及其研究對大規(guī)模的圖的數(shù)據(jù)處理技術逐漸成為人們廣泛關注的重點。通過深入的研究以及分析，已經具備有一定層次水平的圖形圖像處理技術，對相關技術理論進行日益完善，為處理大規(guī)模的圖形技術提供基礎及其保障，但是因為信息技術的飛躍發(fā)展，促使各式各樣的信息發(fā)展較快，導致圖數(shù)據(jù)處理的規(guī)模越來越大，因此，加強對大規(guī)模圖數(shù)據(jù)處理技術的研究力度，為了能高效處理大規(guī)模的圖數(shù)據(jù)提供良好的平臺[3]。從以下幾個方面進行深入分析：

2.1 云計算環(huán)境下存儲圖數(shù)據(jù)的方式

在充分研究和分析大量資料和文獻之后得到，目前，在應用以及管理大規(guī)模圖數(shù)據(jù)處理技術的時候，其中主要包括超圖數(shù)據(jù)模型、單圖數(shù)據(jù)模型兩種常用數(shù)據(jù)模型，上述兩種數(shù)據(jù)模型都可以在一定程度上對無向圖和有向圖進行相應處理，但是兩種方式最根本區(qū)別就是不同的存儲格式。大規(guī)模體數(shù)據(jù)進行存儲的時候，最基本的就是云計算分布式存儲系統(tǒng)，可以把云計算分布系統(tǒng)分為分布式數(shù)據(jù)庫以及分布式文件系統(tǒng)兩種形式。分布式文件系統(tǒng)中最重要就是HDFS和GFS，能夠直接存放臨接矩陣和對接表；分布式數(shù)據(jù)庫，也就是說NoSQL，其中最重要的就是Hbase和Big Tabl。分布式數(shù)據(jù)庫可以分為以下將基本數(shù)據(jù)模型：主要包括KV存儲模型、CFS列族存儲模型、DS文檔存儲模型。DS模型具備方便、靈活的優(yōu)勢，比較適合使用存儲結構化數(shù)據(jù)，此模型不適合對圖數(shù)據(jù)進行存儲。經過大量數(shù)據(jù)分析研究表明，KV存儲模型十分適合存儲大規(guī)模圖數(shù)據(jù)，KV存儲模型存在支持哈量存儲、高并發(fā)查詢以及模式結構簡單的特點，在處理Page Rank等圖數(shù)據(jù)的時候，一般情況不會出現(xiàn)復雜操作，能夠符合數(shù)據(jù)處理的基本需求，如果是利用鄰接表的方式形成圖數(shù)據(jù)，Key就是圖的源頂點，Value就是出邊信息和點的值，可以更加方便的遷移和合并數(shù)據(jù)，增加空間局部性，大幅度降低處理查詢過程中讀取數(shù)據(jù)的次數(shù)，可以在一定程度上提高效率。

2.2 云計算環(huán)境下分割圖數(shù)據(jù)

一般來說，云計算環(huán)境中處理大規(guī)模圖數(shù)據(jù)，處理方式應該是分布式并行，因為圖計算存在一定強耦合性、圖數(shù)據(jù)具備連通性，為了能夠更加高效的處理圖數(shù)據(jù)，應該適當降低子圖數(shù)據(jù)之間耦合度，圖分割是有效實現(xiàn)目標的主要方式?；玖鞒淌牵菏紫刃枰纸o具備相對比較完整邏輯結構的大圖，然后在分布存儲系統(tǒng)節(jié)點中分別放置分割部分，進行適當處理，并且每個子圖啟動以后都需要能夠具備與之對應的計算服務，在處理完子圖以后，就達到處理大圖的目的。在上述處理過程總，分割大圖以后，能夠得到相對比較好的分割效果，但是在對大圖進行分割的時候，需要重合分析圖規(guī)模均衡性以及內部連通性，保證能夠降低子圖連通性，增加內部連通性，可以在一定程度上影響分布并行處理大數(shù)據(jù)機制的運行。此外，也應該降低子圖規(guī)模均衡性，不能形成比較大的偏斜，避免由于過大時間差距影響系統(tǒng)同步性[4]。

2.3 云計算環(huán)境下的圖數(shù)據(jù)計算模型

現(xiàn)階段，基于云計算基礎上具備兩種應用廣泛的模型，包括BSP模型以及Map Reduce模型。

2.3.1 Map Reduce模型

Map Reduce模型主要包括由多個reduce、map共同形成的并行處理方式，可以把執(zhí)行任務階段分為兩部分：一是，Reduce階段，在此過程中，Reduce任務會聚集處理接收到的數(shù)據(jù)，從而得到相關輸出結果，并且能夠在分布式文件中保存數(shù)據(jù)。二是，Map階段，此過程中，Map任務會合理計算分配到系統(tǒng)的數(shù)據(jù)，輸出與之對應的key值，然后在reduce任務中映射出相對應的數(shù)據(jù)信息。

2.3.2 BSP模型

BSP模型主要就是說在并行執(zhí)行消息通信的時候，具備好、數(shù)據(jù)競爭以及免鎖死的運行特點，在云計算環(huán)境下處理大規(guī)模圖數(shù)據(jù)需要合理使用上述模型，在迭代處理的時候，相比較Map Reduce模型來說，BSP模型具備相對比較高的執(zhí)行效率。

2.4 云計算環(huán)境下處理查詢圖數(shù)據(jù)

基于云計算基礎上，主要存在兩種能夠支持處理查詢大規(guī)模圖數(shù)據(jù)的驅動模式，也就是被動遍歷模式和主動遍歷模式。上述兩種模式具存在圖頂點是操作對象的共同特點，也就是說操作處理技術的基本關鍵就是圖頂點。第一，被動模式。上述處理模式能夠不進行調用處理函數(shù)，可以適當降低處理不必要頂點，大量節(jié)約資源。第二，主動遍歷模式。上述處理模式，具備比較強實用性，但是應用在特定情況下，會形成浪費資源的問題。

3 結束語

總之，依據(jù)云計算為基礎，充分分析和研究大規(guī)模圖數(shù)據(jù)處理技術，可以發(fā)現(xiàn)，在處理大規(guī)模圖數(shù)據(jù)中應用云計算技術，能夠有效提高處理效率。

【參考文獻】

[1]于戈，谷峪，鮑玉斌，等.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術[J].計算機學報，2011，34（10）：1753-1767.

[2]李健，黃慶佳，劉一陽，等.云計算環(huán)境下基于粒子群優(yōu)化的大規(guī)模圖處理任務調度算法[C]//2012年第三屆中國計算機學會服務計算學術會議論文集，2012：1-8.

[3]趙小換.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術分析[J].中國外資（下半月），2012（5）：275.

[4]李東升.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術[J].信息與電腦，2015（8）：35-35，40.

[責任編輯：王偉平]