梁星(西安測繪總站，陜西西安　710054)

?

私有云框架下的GIS柵格數(shù)據(jù)存儲與顯示研究*

梁星
(西安測繪總站，陜西西安710054)

摘要:探討了企業(yè)內部的私有云框架設計和局域網環(huán)境下分布式文件系統(tǒng)的建立，并分析了在分布式文件系統(tǒng)中如何對GIS柵格數(shù)據(jù)進行影像金字塔存儲，然后提出了利用基于G/S模式的Map/Reduce技術實現(xiàn)數(shù)據(jù)下載的負載均衡策略。實現(xiàn)了局域網環(huán)境下GIS柵格數(shù)據(jù)的高性能訪問，研究成果具有一定的實踐意義。

關鍵詞:私有云; GIS柵格數(shù)據(jù);分布式文件系統(tǒng);影像金字塔

0　引言

GIS柵格數(shù)據(jù)是海量數(shù)據(jù)，需要大量的存儲空間。對于企業(yè)級柵格數(shù)據(jù)而言，共享主要采用文件映射、網絡數(shù)據(jù)庫和WebGIS等方式，但這些方法存在缺乏統(tǒng)一調度、網絡傳輸受阻、服務器負荷大等問題。云構建方式無疑是目前海量柵格數(shù)據(jù)共享的最好方法。柵格數(shù)據(jù)存儲在云端即分布式文件系統(tǒng)中，通過服務器統(tǒng)一調度，對大量客戶端提供高性能訪問服務。目前云計算研究主要在公有云方面，對私有云研究比較少。因此，本文提出私有云的企業(yè)級柵格數(shù)據(jù)共享思路。通過構建私有云框架、設計分布式文件系統(tǒng)以及柵格數(shù)據(jù)的金字塔存儲，最終實現(xiàn)了局域網環(huán)境下的柵格數(shù)據(jù)的高性能訪問。

1　國內外云GIS研究成果

國外的云GIS研究起步較早。不管是在產品的架構還是產品的最終運營模式，國外都有一些公司進行了較好的實踐，能夠在云計算的平臺上提供具有空間屬性的數(shù)據(jù)和服務。ESRI公司是地理信息行業(yè)一家實力強大的公司，多年來一直致力于研究云GIS平臺。旗下產品ArcGIS Online能夠將GIS平臺部署在亞馬遜彈性云中，并提供云GIS服務。

國內的GIS行業(yè)如雨后春筍般發(fā)展，云GIS當然也發(fā)展迅速。比較成熟的案例是國內的SuperMap SGS平臺。它是一個在開源的基礎上開發(fā)的云計算架構，能夠完成對基礎地理信息要素的全面集成，對OGC標準的WFS、WMS、WCS等進行較好的支持[1]。

2　私有云框架設計以及文件下載訪問策略

相對于公有云擁有成千上萬個客戶，系統(tǒng)龐大，私有云的客戶則唯一。私有云致力為某一目標客戶構建，因此其能夠最大程度地促進安全性的控制、數(shù)據(jù)的管理、服務質量的提升。一個企業(yè)由于擁有基礎設施，因此它可以根據(jù)需要來確定如何在基礎設施上部署應用程序。企業(yè)的數(shù)據(jù)管理中心的防火墻內可以部署私有云，安全的主機托管場所也可以部署私有云。本文設計的私有云框架示意圖，見圖1。

私有云框架由局域網云和若干客戶端組成。局域網云運行于企業(yè)內部的局域網中，由一個總服務器和若干存儲數(shù)據(jù)的數(shù)據(jù)節(jié)點組成?？蛻舳送ㄟ^連接總服務器獲取分布式文件系統(tǒng)中的柵格文件信息和存儲的數(shù)據(jù)節(jié)點列表;總服務器負責處理來自客戶端的請求，當客戶端要求下載柵格數(shù)據(jù)時，查詢分布式文件系統(tǒng)是否有合法柵格數(shù)據(jù)和儲存的數(shù)據(jù)節(jié)點列表，并向分布式數(shù)據(jù)服務器集群查詢數(shù)據(jù)節(jié)點的可用性，最后將可用的數(shù)據(jù)節(jié)點的列表發(fā)送到客戶端?？蛻舳双@得服務器發(fā)送過來數(shù)據(jù)節(jié)點的ID、IP地址、端口號、CPU狀態(tài)、可用內存、剩余空間等信息，將柵格下載任務分成若干并行的小數(shù)據(jù)塊并啟動任務調度策略，向數(shù)據(jù)服務器集群請求并下載數(shù)據(jù)?？蛻舳伺c分布式服務器集群的數(shù)據(jù)傳輸使用的是客戶端聚合服務思想，能高效完成下載任務。

在私有云框架中，基礎的數(shù)據(jù)傳輸部分采用“完成端口”模型架構。“完成端口”模型雖然是迄今為止最復雜的一種I/O模型，但是如果一個應用程序同時需要管理為數(shù)眾多的套接字，那么采用這種模型，會使系統(tǒng)達到最佳性能。在創(chuàng)建完成端口時，可以指定在CPU能夠承受的的線程數(shù)在該完成端口上運行。當某個線程調用Sleep或者WaitForSingleObject函數(shù)時，會進入暫停狀態(tài)，因此為了使系統(tǒng)達到最佳性能，在程序設計中往往會創(chuàng)建比之前指定的線程數(shù)要多的線程，一旦某個線程進入暫停狀態(tài)，就會啟用剩下的線程來取代它的位置。

圖1　私有云框架Fig.1 Private cloud framework

3　分布式文件系統(tǒng)的建立及影像的金字塔存儲

3.1分布式文件系統(tǒng)的建立

文件系統(tǒng)結構和文件數(shù)據(jù)組成了分布式文件系統(tǒng)。文件系統(tǒng)結構以記錄為單元存儲于總服務器中，主要包括系統(tǒng)目錄數(shù)據(jù)、文件列表數(shù)據(jù)。它們的記錄結構，如表1、2、3所示。

表1　系統(tǒng)目錄記錄格式Tab.1 System directory record format

表2　系統(tǒng)文件記錄格式Tab.2　System files' record format

表3　數(shù)據(jù)節(jié)點的記錄結構Tab.3　Data nodes' recording structure

文件數(shù)據(jù)分布式存儲于數(shù)據(jù)節(jié)點，在數(shù)據(jù)節(jié)點中，對每一個文件進行分塊，每個小文件分別存儲到不同的數(shù)據(jù)節(jié)點上。分塊之后的文件儲存，如圖2所示。

圖2　數(shù)據(jù)節(jié)點的文件存儲圖Fig.2　File storage figure of data nodes

3.2影像的金字塔存儲

在客戶端用戶需要瀏覽不同精度的柵格數(shù)據(jù)。當?shù)貓D放大時，顯示空間精度提高，顯示范圍減小;當?shù)貓D縮小時，顯示空間精度降低，顯示范圍變大。為提高數(shù)據(jù)查詢速度和傳輸效率，分布式服務器中的柵格數(shù)據(jù)需建立影像金字塔。

傳統(tǒng)算法的影像金字塔的構建過程一般是先將原始影像進行重采樣生成較低分辨率的影像并保存為一個新的影像文件，然后對該影像文件再進行重采樣生成更低分辨率的影像，依次進行，直到完成預定的分層。最后再對每層的影像進行切割并保存成切片文件。需要說明的是，由于影像的數(shù)據(jù)量非常大，所以在生成新的一層影像數(shù)據(jù)時，一般需要多次加載前一層的影像數(shù)據(jù)才能完成。

按照圖2所示的流程建立影像金字塔，能夠有效減少輸入輸出的次數(shù)，大多數(shù)運算是在內存中進行的。

圖3　影像金字塔算法處理流程Fig.3 Algorithm processing flow of image pyramid

算法具體流程為:首先加載原始數(shù)據(jù)，然后按照設定的分辨率進行重采樣計算，生成新的柵格數(shù)據(jù)。如果不想再生成其他分辨率的柵格數(shù)據(jù)，則退出程序，否則繼續(xù)進行重采樣計算。該算法依托內存中存儲的數(shù)據(jù)進行多次采樣計算，能夠盡可能的減少執(zhí)行輸入輸出步驟，節(jié)省執(zhí)行時間。只有“加載原始影像數(shù)據(jù)”和“保存切片文件”需要執(zhí)行輸入輸出步驟，其它處理都是在內存中一起完成的。經測試，在完成相同的影像金字塔切割任務時，本文算法比傳統(tǒng)算法至少可以節(jié)省20%的時間。

4　柵格數(shù)據(jù)云下載與數(shù)據(jù)顯示

4.1柵格數(shù)據(jù)云下載

柵格數(shù)據(jù)云下載采用G/S模式下的Map/Reduce技術。Map/Reduce的整個過程是由映射(Map)以及重組(Reduce)兩個步驟所組成，運行時系統(tǒng)會將資料進行切割，并分配給不同的運算主機進行處理。

G/S模式，是一種在互聯(lián)網中呈網狀的空間信息的服務模式，即地學瀏覽器/分布式的空間數(shù)據(jù)服務器集群模式。它按照“請求”—“聚合”—“服務”的“客戶端聚合服務”的工作機制，使用HGML對網絡上的數(shù)據(jù)類型多樣、數(shù)據(jù)量巨大的數(shù)據(jù)依次進行存儲—組織—交換—調度—展示等步驟，最終在客戶端實現(xiàn)數(shù)據(jù)和功能的合成，生成并提供所需的空間地理信息服務[2]。

由于IT行業(yè)的發(fā)展，PC機的運行性能有了成倍的增長?，F(xiàn)在在客戶端可以完成以前在服務器端完成的工作?；凇翱蛻舳司酆戏铡惫ぷ鳈C制，能夠在不同的數(shù)據(jù)節(jié)點上只下載整體數(shù)據(jù)的一部分，在客戶端完成整個數(shù)據(jù)的合成。在客戶端獲取到服務器發(fā)送過來的數(shù)據(jù)節(jié)點列表后，不再與服務器進行交互，因此能在很大程度上降低服務器的壓力，提高整個私有云的運作效率。服務器根據(jù)客戶區(qū)的大小和地圖顯示的分辨率這兩個參數(shù)，查詢當前分辨率下的合法數(shù)據(jù)。

4.2柵格數(shù)據(jù)顯示

根據(jù)客戶端瀏覽器的地圖顯示范圍和顯示分辨率，獲取的始終為屏幕顯示范圍內的影像金字塔某級的柵格數(shù)據(jù)。在客戶端使用MFC中的StretchDIBits函數(shù)實現(xiàn)該柵格數(shù)據(jù)顯示。StretchDIBits函數(shù)原型為:

int StretchDIBits(HDC hdc，int XDest，int YDest，int nDest-Width，int nDestHeight，int XSrc，int Ysrc，int nSrcWidth，int nSrcHeight，CONST VOID * lpBits，CONST BITMAPINFO * lpBitsInfo，UINT iUsage，DWORD dwRop)[3];

根據(jù)StretchDIBits函數(shù)，事先計算顯示柵格數(shù)據(jù)在屏幕分辨率下所需的位圖大小。根據(jù)位圖大小，創(chuàng)建對應的BITMAPINFO數(shù)據(jù)結構和lpBits字節(jié)數(shù)組。最后，將客戶端下載的顯示柵格數(shù)據(jù)逐行投影至字節(jié)數(shù)組中，實現(xiàn)柵格數(shù)據(jù)的顯示。

5　系統(tǒng)測試

本次柵格數(shù)據(jù)下載的測試是依據(jù)客戶端的顯示區(qū)域大小和具體分辨率進行的。在3臺CPU為酷睿雙核T6400，內存為2G 的PC機上，設置6個數(shù)據(jù)節(jié)點。依次增加數(shù)據(jù)節(jié)點的個數(shù)，最大的數(shù)據(jù)節(jié)點數(shù)目為6。在客戶端配置網卡為瑞昱RTL8186(P)/8111C(P)PCI－E Gigabit Ethernet NIC，最大下載速度為10 MB/s。由于實驗條件的限制，測試結果受測試人員當時的狀態(tài)，局域網的網絡流量，測試機器的運行狀態(tài)等諸多因素的影響。以下載大小為150 MB的GIS柵格數(shù)據(jù)為例，其下載速度與數(shù)據(jù)節(jié)點的數(shù)量關系，如表4所示。

表4　私有云柵格數(shù)據(jù)下載測試Tab.4　Raster data download test of private clouds

從表4可以看出:數(shù)據(jù)的下載速度隨數(shù)據(jù)節(jié)點的個數(shù)增多而增加。當數(shù)據(jù)節(jié)點的數(shù)目由一個節(jié)點變?yōu)閮蓚€節(jié)點時，下載速度有了明顯的提高，較好的體現(xiàn)了云下載的效果。但基于客戶端網卡流量的限制，數(shù)據(jù)的下載速度會不斷接近上限，即趨近10 MB/s的下載速度。

6　結束語

本文在“云計算”的熱門研究背景下，以GIS柵格數(shù)據(jù)在私有云框架下的存儲與顯示為中心，系統(tǒng)闡述了企業(yè)級云框架的設計、分布式文件系統(tǒng)的建立、影像金字塔的構建以及基于G/S模式的Map/Reduce柵格數(shù)據(jù)下載模式。最后，以一幅GIS柵格數(shù)據(jù)為例，測試數(shù)據(jù)節(jié)點下載效率。測試表明，當數(shù)據(jù)節(jié)點增多時，柵格數(shù)據(jù)下載速度不斷提高，直至客戶端網卡的流量上限。因此，本文提出的私有云框架下的柵格數(shù)據(jù)云下載能夠在企業(yè)內部環(huán)境下高效共享和顯示GIS柵格數(shù)據(jù)，具有一定的理論價值和實踐意義。

[參考文獻]

[1]賈萍，劉聚海，王遠.基于云計算及物聯(lián)網的GIS綜述[J].國土資源信息化，2012(6):12－13.

[2]薛靜.基于虛擬化的云計算平臺中安全機制的研究[D].西安:西北大學，2010.

[3]趙薇，耿晴.云計算在GIS系統(tǒng)模型中的應用[J].地理空間信息，2011(6):8－9.

Study on GIS Raster Data's Storage and Display Under Private Clouds Framework

LIANG Xing
(Xi'an Surverying Station，Xi'an Shanxi 710054，China)

Abstract:This paper discusses the design of the private clouds framework and the establishment of distributed file system on local area network for the company，proposes the way to store GIS raster data on the distributed file system using Image Pyramid Model，and studies the method of how to achieve load balancing when downloading data based on Map/Reduce technology under G/S model.We have achieved the high performance access of GIS raster data on local area network，and the research results have some certain practical significance.

Key words:private clouds; GIS raster data; distributed file system; image pyramid

作者簡介:梁星(1989～)，男，湖北當陽人，助理工程師，現(xiàn)主要從事地圖制圖與GIS開發(fā)方面的工作。

*收稿日期:2015－01－25

文章編號:1007－9394(2015)02－0001－03

文獻標識碼:A

中圖分類號:P 208; P 209