平宗瑋

(山東省國(guó)土測(cè)繪院，山東 濟(jì)南 250013)

0 引言

隨著測(cè)繪地理信息采集、獲取、生產(chǎn)技術(shù)的迅猛發(fā)展，基礎(chǔ)測(cè)繪、地理國(guó)情、數(shù)字城市、海洋測(cè)繪等項(xiàng)目工程已積累了海量、多源、多主題、異構(gòu)的地理信息數(shù)據(jù)資源，既為時(shí)空大數(shù)據(jù)建設(shè)提供豐富的基礎(chǔ)數(shù)據(jù)支撐，同時(shí)又對(duì)數(shù)據(jù)存儲(chǔ)管理提出了新的挑戰(zhàn)[1-4]。時(shí)空大數(shù)據(jù)背景下的數(shù)據(jù)存儲(chǔ)，除了面對(duì)數(shù)據(jù)體量的躍升和數(shù)據(jù)種類的擴(kuò)展外，還需要應(yīng)對(duì)多樣化數(shù)據(jù)應(yīng)用場(chǎng)景對(duì)數(shù)據(jù)存儲(chǔ)形式以及數(shù)據(jù)并發(fā)訪問(wèn)性能提出的要求，傳統(tǒng)時(shí)空數(shù)據(jù)存儲(chǔ)管理中暴露出來(lái)的問(wèn)題在大數(shù)據(jù)建設(shè)過(guò)程中體現(xiàn)尤其明顯[5-7]。

地理時(shí)空大數(shù)據(jù)呈現(xiàn)多樣、動(dòng)態(tài)、異構(gòu)的特點(diǎn)[8]，測(cè)繪基準(zhǔn)數(shù)據(jù)、省級(jí)基礎(chǔ)地理信息數(shù)據(jù)、地理國(guó)(省)情普查(監(jiān)測(cè))數(shù)據(jù)、三維數(shù)據(jù)、行業(yè)專題數(shù)據(jù)、檔案資料數(shù)據(jù)等行業(yè)數(shù)據(jù)整體上分散存儲(chǔ)于多個(gè)數(shù)據(jù)中心，亟須構(gòu)建多數(shù)據(jù)中心數(shù)據(jù)一體化存儲(chǔ)模型，解決海量空間數(shù)據(jù)、非空間數(shù)據(jù)的一體化混合存儲(chǔ)、實(shí)時(shí)管理以及快速增長(zhǎng)的增量數(shù)據(jù)的擴(kuò)展問(wèn)題。

1 國(guó)內(nèi)外發(fā)展現(xiàn)狀

目前，國(guó)際上針對(duì)地理信息時(shí)空大數(shù)據(jù)的存儲(chǔ)與應(yīng)用開(kāi)展了積極研究與建設(shè)。其中，美國(guó)、加拿大、英國(guó)在建設(shè)地理信息時(shí)空大數(shù)據(jù)中心方面已積累了一定的成功經(jīng)驗(yàn)。2012年美國(guó)啟動(dòng)了“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，2014年美國(guó)建立了猶他州大數(shù)據(jù)中心，實(shí)現(xiàn)了對(duì)互聯(lián)網(wǎng)數(shù)據(jù)、地理信息數(shù)據(jù)、遙感影像數(shù)據(jù)、通信數(shù)據(jù)等的集中存儲(chǔ)和統(tǒng)一管理[9]。Corbett J C針對(duì)時(shí)空大數(shù)據(jù)的存儲(chǔ)與管理，提出了一項(xiàng)基于地理空間實(shí)體的矢量空間數(shù)據(jù)組織技術(shù)，增強(qiáng)了數(shù)據(jù)讀取速度[10-11]。Dale Woodford利用基于富客戶端的地圖增強(qiáng)技術(shù)、基于時(shí)間幀的時(shí)空數(shù)據(jù)動(dòng)態(tài)表達(dá)技術(shù)和空間數(shù)據(jù)及平臺(tái)功能自擴(kuò)展定制技術(shù)，提出了柵格式數(shù)據(jù)、圖形式數(shù)據(jù)、要素式數(shù)據(jù)、類GIS數(shù)據(jù)、ArcGIS數(shù)據(jù)5大類地理時(shí)空數(shù)據(jù)的管理方案，提升了數(shù)據(jù)讀取效率[12]。

與發(fā)達(dá)國(guó)家相比，中國(guó)在測(cè)繪時(shí)空大數(shù)據(jù)管理方面仍有一定差距。亟需對(duì)當(dāng)前的測(cè)繪時(shí)空大數(shù)據(jù)管理手段進(jìn)行優(yōu)化與革新。中國(guó)國(guó)家自然資源管理部門也積極推動(dòng)地理信息時(shí)空大數(shù)據(jù)中心的建設(shè)，目前國(guó)家基礎(chǔ)地理信息中心和浙江省、海南省、貴州省、山東省、陜西省以及黑龍江省等省的測(cè)繪地理信息數(shù)據(jù)管理部門已經(jīng)開(kāi)始了各自的地理信息時(shí)空大數(shù)據(jù)中心建設(shè)。本文以“山東省地理信息時(shí)空大數(shù)據(jù)中心”建設(shè)項(xiàng)目為背景，提出了基于云架構(gòu)的存儲(chǔ)模式，有效解決了當(dāng)前地理信息時(shí)空大數(shù)據(jù)存儲(chǔ)管理手段落后、流程分散、效率低下的問(wèn)題。

2 地理時(shí)空大數(shù)據(jù)存儲(chǔ)存在的問(wèn)題

地理時(shí)空大數(shù)據(jù)不同于普通文件型大數(shù)據(jù)，因?yàn)榈厍蚴沁\(yùn)動(dòng)著的，作為測(cè)繪導(dǎo)航與地理信息基礎(chǔ)的時(shí)空基準(zhǔn)是變化的，基于此的空間數(shù)據(jù)也是隨時(shí)間變化而變化的，時(shí)空數(shù)據(jù)是一個(gè)更加科學(xué)嚴(yán)密的概念，它同時(shí)具備空間、時(shí)間、屬性3個(gè)特征，因此在存儲(chǔ)管理中不能簡(jiǎn)單的套用現(xiàn)有大數(shù)據(jù)管理技術(shù)，一定要兼顧地理時(shí)空大數(shù)據(jù)數(shù)據(jù)特征，從應(yīng)用出發(fā)，設(shè)計(jì)符合地理信息行業(yè)的存儲(chǔ)策略。目前，地理信息時(shí)空大數(shù)據(jù)存儲(chǔ)主要面臨以下問(wèn)題：

1)性能問(wèn)題：全省地理信息數(shù)據(jù)統(tǒng)一管理，單表千萬(wàn)級(jí)成為常態(tài)，部分?jǐn)?shù)據(jù)對(duì)象單表突破億級(jí)，單表數(shù)據(jù)量過(guò)大且頻繁讀寫，數(shù)據(jù)入庫(kù)查詢以及瀏覽效率難以保證。

2)并發(fā)問(wèn)題：時(shí)空大數(shù)據(jù)承載多重業(yè)務(wù)以及眾多訪問(wèn)用戶，形成多用戶高IO、高并發(fā)的數(shù)據(jù)訪問(wèn)，集中式數(shù)據(jù)庫(kù)存在性能瓶頸，難以保證訪問(wèn)效率。

3)擴(kuò)展問(wèn)題：時(shí)空數(shù)據(jù)持續(xù)增長(zhǎng)，達(dá)到單節(jié)點(diǎn)物理存儲(chǔ)極限，擴(kuò)展困難，后續(xù)業(yè)務(wù)運(yùn)行難以為繼。

時(shí)空大數(shù)據(jù)建設(shè)需要通過(guò)對(duì)時(shí)空數(shù)據(jù)的存儲(chǔ)管理進(jìn)行針對(duì)性的規(guī)劃與技術(shù)設(shè)計(jì)，形成有效的存儲(chǔ)管理解決方案，支撐時(shí)空數(shù)據(jù)資源在政府決策、公共應(yīng)急救援、重大基礎(chǔ)設(shè)施建設(shè)、生態(tài)環(huán)境監(jiān)測(cè)、新農(nóng)村建設(shè)等國(guó)民經(jīng)濟(jì)建設(shè)中發(fā)揮作用與價(jià)值。

3 解決思路

基于國(guó)內(nèi)外較為成熟的分布式數(shù)據(jù)存儲(chǔ)技術(shù)，針對(duì)時(shí)空大數(shù)據(jù)存儲(chǔ)管理中的上述問(wèn)題，本文設(shè)計(jì)了一種基于分布式存儲(chǔ)的時(shí)空數(shù)據(jù)存儲(chǔ)方案，即通過(guò)數(shù)據(jù)分片的方式將數(shù)據(jù)內(nèi)容劃分到不同的存儲(chǔ)設(shè)備上，降低單臺(tái)設(shè)備的負(fù)載，減少數(shù)據(jù)訪問(wèn)瓶頸的出現(xiàn)。不同業(yè)務(wù)的數(shù)據(jù)對(duì)象獨(dú)立分開(kāi)存儲(chǔ)，提升數(shù)據(jù)的安全性和整體的訪問(wèn)性能。每個(gè)數(shù)據(jù)對(duì)象從業(yè)務(wù)場(chǎng)景出發(fā)制定合適的存儲(chǔ)策略，針對(duì)大數(shù)據(jù)量對(duì)象需要額外制定數(shù)據(jù)分片策略，高并發(fā)訪問(wèn)對(duì)象需要額外制定冗余存儲(chǔ)策略，以保證數(shù)據(jù)的正常應(yīng)用。出于數(shù)據(jù)存儲(chǔ)的可擴(kuò)展性與靈活性考慮，采用云架構(gòu)的模式，由云架構(gòu)提供的虛擬計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源支撐時(shí)空大數(shù)據(jù)存儲(chǔ)與運(yùn)行。在數(shù)據(jù)增長(zhǎng)或業(yè)務(wù)擴(kuò)展時(shí)，按需調(diào)配支撐資源。

基于云架構(gòu)的時(shí)空大數(shù)據(jù)分布式存儲(chǔ)技術(shù)路線如圖1所示。

圖1 基于云架構(gòu)的時(shí)空大數(shù)據(jù)分布式存儲(chǔ)技術(shù)路線圖Fig.1 Roadmap of distributed storage technology for spatio-temporal big data based on cloud architecture

4 基于云架構(gòu)的時(shí)空大數(shù)據(jù)存儲(chǔ)模式

4.1 云架構(gòu)

云架構(gòu)環(huán)境以向用戶提供基于云的各種服務(wù)為主，共包含3個(gè)層次，分別為SaaS層(軟件即服務(wù))，PaaS層(平臺(tái)即服務(wù))和IaaS層(基礎(chǔ)設(shè)施即服務(wù))[13-14]。IaaS層通過(guò)資源池構(gòu)建、資源調(diào)度、服務(wù)封裝，將已有的物理計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源進(jìn)行集中，形成一個(gè)虛擬的資源池對(duì)外提供服務(wù)，后續(xù)新購(gòu)硬件資源亦可快速接入資源池并轉(zhuǎn)換為可分配利用的服務(wù)能力。通過(guò)IaaS層的搭建，實(shí)現(xiàn)基礎(chǔ)設(shè)施資源的充分利用與動(dòng)態(tài)擴(kuò)展，并支持用戶自主搭建數(shù)據(jù)庫(kù)存儲(chǔ)環(huán)境、文件存儲(chǔ)環(huán)境和業(yè)務(wù)運(yùn)行環(huán)境，給予用戶業(yè)務(wù)定制最大的靈活性。利用IaaS層的彈性特征和定制特征，通過(guò)動(dòng)態(tài)分配虛擬計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源支撐數(shù)據(jù)存儲(chǔ)與業(yè)務(wù)運(yùn)行，并隨著業(yè)務(wù)的持續(xù)運(yùn)行，按需進(jìn)行虛擬資源擴(kuò)展。云架構(gòu)配合混合存儲(chǔ)策略和分布式的數(shù)據(jù)庫(kù)架構(gòu)，通過(guò)虛擬服務(wù)器(整合計(jì)算和存儲(chǔ))的增加，即可擴(kuò)展原有數(shù)據(jù)庫(kù)存儲(chǔ)容量以及整體的并發(fā)訪問(wèn)能力。地理時(shí)空大數(shù)據(jù)存儲(chǔ)策略將基于IaaS層服務(wù)展開(kāi)。

云架構(gòu)示意圖如圖2所示。

圖2 云架構(gòu)示意圖Fig.2 Schematic diagram of cloud architecture

4.2 時(shí)空數(shù)據(jù)存儲(chǔ)特征

矢量以及影像、地形等柵格數(shù)據(jù)是最為常見(jiàn)的時(shí)空數(shù)據(jù)[15-16]。矢量數(shù)據(jù)采用具備幾何特征的關(guān)系表進(jìn)行存儲(chǔ)。柵格數(shù)據(jù)采用鑲嵌數(shù)據(jù)集進(jìn)行管理，文件實(shí)體存儲(chǔ)于文件系統(tǒng)，空間范圍及屬性信息采用關(guān)系表進(jìn)行存儲(chǔ)，并與文件實(shí)體進(jìn)行關(guān)聯(lián)。伴隨著時(shí)空數(shù)據(jù)存在的表格數(shù)據(jù)適合采用關(guān)系表進(jìn)行存儲(chǔ)，瓦片類緩存數(shù)據(jù)適合采用NoSQL數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)管理。鑲嵌數(shù)據(jù)集邏輯結(jié)構(gòu)圖見(jiàn)圖3。

圖3 鑲嵌數(shù)據(jù)集邏輯結(jié)構(gòu)圖Fig.3 Logical structure of mosaic dataset

4.3 基于應(yīng)用分級(jí)的橫向存儲(chǔ)模式

面對(duì)不同的應(yīng)用場(chǎng)景，需要制定不同的數(shù)據(jù)讀取策略，以滿足用戶的不同需求，提高系統(tǒng)的并發(fā)性能，提升地理信息服務(wù)質(zhì)量。例如：面對(duì)數(shù)據(jù)瀏覽場(chǎng)景，優(yōu)先直連時(shí)空數(shù)據(jù)庫(kù)，選擇具有高度數(shù)據(jù)質(zhì)量的庫(kù)體成果數(shù)據(jù)。面對(duì)分發(fā)服務(wù)場(chǎng)景，優(yōu)先選擇文件形態(tài)數(shù)據(jù)。面對(duì)高并發(fā)的服務(wù)應(yīng)用以及海量數(shù)據(jù)的快速瀏覽，矢量與柵格數(shù)據(jù)處理為瓦片形態(tài)能夠獲得更優(yōu)的應(yīng)用效果與用戶體驗(yàn)。部分分析挖掘場(chǎng)景，矢量、柵格數(shù)據(jù)需要進(jìn)行特殊處理，以特定的存儲(chǔ)形式滿足算法運(yùn)行的要求。單一的物理存儲(chǔ)形式無(wú)法滿足不同類型時(shí)空數(shù)據(jù)或同類型數(shù)據(jù)不同應(yīng)用場(chǎng)景的數(shù)據(jù)存取需求，因此，需要采用混合存儲(chǔ)模式，綜合應(yīng)用時(shí)空數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)，以應(yīng)用為牽引，實(shí)現(xiàn)多源異構(gòu)時(shí)空數(shù)據(jù)最優(yōu)存儲(chǔ)形式的適配。本文研究采用一種基于應(yīng)用分級(jí)的存儲(chǔ)模式，對(duì)數(shù)據(jù)進(jìn)行橫向劃分，不同存儲(chǔ)形態(tài)的時(shí)空數(shù)據(jù)對(duì)應(yīng)不同的業(yè)務(wù)場(chǎng)景，從業(yè)務(wù)角度進(jìn)行頂層的數(shù)據(jù)劃分。不同存儲(chǔ)形態(tài)本質(zhì)上也是一種分布式存儲(chǔ)，進(jìn)而提升多重業(yè)務(wù)運(yùn)行整體的數(shù)據(jù)訪問(wèn)性能。

基于應(yīng)用分級(jí)的存儲(chǔ)模式如圖4所示。

圖4 基于應(yīng)用分級(jí)的存儲(chǔ)模式示意圖Fig.4 Schematic diagram of storage mode based on application classification

4.4 基于分布式存儲(chǔ)時(shí)空大數(shù)據(jù)存儲(chǔ)策略

針對(duì)地理時(shí)空大數(shù)據(jù)數(shù)據(jù)量大、數(shù)據(jù)格式復(fù)雜、更新快、應(yīng)用場(chǎng)景眾多的特點(diǎn)，本文研究一種基于分布式存儲(chǔ)技術(shù)的時(shí)空大數(shù)據(jù)存儲(chǔ)策略，在縱向上設(shè)計(jì)對(duì)數(shù)據(jù)庫(kù)進(jìn)行劃分，解決在地理時(shí)空數(shù)據(jù)存儲(chǔ)過(guò)程中的低性能、難擴(kuò)展等問(wèn)題。

分布式數(shù)據(jù)庫(kù)具備高透明、多副本及易擴(kuò)展的特點(diǎn)。底層節(jié)點(diǎn)對(duì)用戶透明，易于管理；通過(guò)副本集實(shí)現(xiàn)數(shù)據(jù)復(fù)制，具備一定的容錯(cuò)率，提高系統(tǒng)可靠性；利用數(shù)據(jù)分片等分布式存儲(chǔ)技術(shù)應(yīng)對(duì)高并發(fā)的數(shù)據(jù)存取訪問(wèn)，并可將數(shù)據(jù)動(dòng)態(tài)分布于新增節(jié)點(diǎn)上，實(shí)現(xiàn)系統(tǒng)擴(kuò)展。

地理時(shí)空大數(shù)據(jù)一般具備集中寫入、持續(xù)讀取的特點(diǎn)，本文設(shè)計(jì)采用一主一從或一主多從的副本集技術(shù)，保證同一數(shù)據(jù)在不同的副本上是一致的，主庫(kù)數(shù)據(jù)發(fā)生故障時(shí)，可以由從庫(kù)實(shí)現(xiàn)同步讀取，保證了系統(tǒng)的安全可用。從庫(kù)的數(shù)量由并發(fā)訪問(wèn)量決定，在云架構(gòu)的基礎(chǔ)上，結(jié)合實(shí)際業(yè)務(wù)運(yùn)行情況，動(dòng)態(tài)調(diào)整從庫(kù)數(shù)量。副本集技術(shù)中，主庫(kù)負(fù)責(zé)寫入，從庫(kù)負(fù)責(zé)讀取，主從庫(kù)之間通過(guò)復(fù)制機(jī)制保持?jǐn)?shù)據(jù)同步。在主從數(shù)據(jù)庫(kù)之上增加中間件，提供連接池、負(fù)載均衡等功能，統(tǒng)一接收數(shù)據(jù)讀寫請(qǐng)求，依據(jù)請(qǐng)求類型，寫操作提交主庫(kù)，讀操作依據(jù)主庫(kù)和各從庫(kù)的負(fù)載情況進(jìn)行靈活調(diào)度。當(dāng)超過(guò)限制的連接數(shù)后，中間件會(huì)拒絕數(shù)據(jù)庫(kù)連接請(qǐng)求，保持?jǐn)?shù)據(jù)庫(kù)運(yùn)行的穩(wěn)定性。

分布式存儲(chǔ)示意圖如圖5所示。

圖5 分布式存儲(chǔ)示意圖Fig.5 Schematic diagram of distributed storage

對(duì)于億級(jí)大表或高并發(fā)的頻繁讀寫場(chǎng)景，本文設(shè)計(jì)采用數(shù)據(jù)分片技術(shù)。邏輯單表被拆分為多個(gè)物理表，即多個(gè)分片，每個(gè)物理表存儲(chǔ)于不同的數(shù)據(jù)庫(kù)，每個(gè)數(shù)據(jù)庫(kù)具備獨(dú)立的支撐環(huán)境。數(shù)據(jù)分片需要確定分片字段，一條記錄在進(jìn)行數(shù)據(jù)庫(kù)插入時(shí)，基于該記錄分片字段的內(nèi)容計(jì)算該記錄屬于哪個(gè)分片，并將記錄插入到特定數(shù)據(jù)庫(kù)的分片中，本文將行政區(qū)劃字段定義為地理信息數(shù)據(jù)分片字段。當(dāng)在地圖窗口中對(duì)矢量數(shù)據(jù)進(jìn)行瀏覽或查詢時(shí)，多數(shù)情況下其本質(zhì)為對(duì)集中連片要素集合的訪問(wèn)，這些集中連片要素地理位置很接近，通常情況下歸屬于一個(gè)或幾個(gè)行政單元。若能夠在進(jìn)行矢量數(shù)據(jù)查詢時(shí)，根據(jù)行政區(qū)化過(guò)濾和縮小數(shù)據(jù)庫(kù)中檢索范圍，則能夠起到訪問(wèn)較少數(shù)據(jù)而較快找到滿足條件數(shù)據(jù)的效果。本文采取水平分片與垂直分片相結(jié)合的技術(shù)，將庫(kù)切分成分布式矩陣，在表的數(shù)量與單表數(shù)據(jù)量中取得動(dòng)態(tài)平衡，這種分片方式既能夠盡可能均勻地平均分布數(shù)據(jù)，防止單臺(tái)機(jī)器負(fù)載過(guò)高的問(wèn)題，也可以緩解由數(shù)據(jù)種類繁多和單表數(shù)據(jù)量大帶來(lái)的數(shù)據(jù)讀取效率問(wèn)題。面向時(shí)空大數(shù)據(jù)的存儲(chǔ)管理，不同的分布式存儲(chǔ)技術(shù)可以組合應(yīng)用，在主庫(kù)和從庫(kù)的基礎(chǔ)上，各庫(kù)可進(jìn)一步的進(jìn)行數(shù)據(jù)分片，以提升整體的數(shù)據(jù)庫(kù)訪問(wèn)性能。

分布式矩陣示意圖如圖6所示。

圖6 分布式矩陣示意圖Fig.6 Schematic diagram of distributed matrix

在讀取時(shí)，每個(gè)分片進(jìn)行相同的查詢，各分片查詢結(jié)果合并后提交給用戶。通過(guò)云架構(gòu)，可依據(jù)實(shí)際的業(yè)務(wù)運(yùn)行情況，靈活調(diào)整支撐數(shù)據(jù)分片的數(shù)據(jù)庫(kù)服務(wù)器。數(shù)據(jù)分片技術(shù)示例如圖7所示。

圖7 數(shù)據(jù)分片技術(shù)示例圖Fig.7 Example of data fragmentation technology

5 結(jié)果驗(yàn)證

為驗(yàn)證本文所提出的時(shí)空大數(shù)據(jù)存儲(chǔ)模式的可行性，以山東省省級(jí)基礎(chǔ)測(cè)繪矢量數(shù)據(jù)分布式存儲(chǔ)與檢索、空間疊加分析為應(yīng)用案例進(jìn)行測(cè)試。測(cè)試環(huán)境分別為兩臺(tái)客戶端機(jī)器，一臺(tái)客戶端連接原始存儲(chǔ)數(shù)據(jù)庫(kù)，一臺(tái)客戶端連接大數(shù)據(jù)中心數(shù)據(jù)庫(kù)，測(cè)試環(huán)境中的客戶端機(jī)器及網(wǎng)絡(luò)交換設(shè)備均采用統(tǒng)一型號(hào)。

5.1 基于省級(jí)基礎(chǔ)測(cè)繪矢量數(shù)據(jù)的分布式存儲(chǔ)與檢索性能分析

實(shí)驗(yàn)流程包括將數(shù)據(jù)通過(guò)數(shù)據(jù)庫(kù)管理軟件導(dǎo)入數(shù)據(jù)庫(kù)中，然后利用客戶機(jī)對(duì)數(shù)據(jù)進(jìn)行查詢檢索。大數(shù)據(jù)中心數(shù)據(jù)庫(kù)采用集群方式并發(fā)進(jìn)行入庫(kù)，采用省級(jí)行政區(qū)劃字段作為分片字段。檢索時(shí)間包括程序根據(jù)分區(qū)索引計(jì)算時(shí)間及數(shù)據(jù)讀取至本地時(shí)間。利用客戶機(jī)分別對(duì)不同的數(shù)據(jù)量開(kāi)展實(shí)驗(yàn)，不同級(jí)別的數(shù)據(jù)所需時(shí)間如表1所示。數(shù)據(jù)入庫(kù)效率趨勢(shì)如圖8所示。數(shù)據(jù)檢索效率趨勢(shì)如圖9所示。

表1 數(shù)據(jù)入庫(kù)及檢索時(shí)間表Tab.1 Data loader and retrieval schedule

圖8 數(shù)據(jù)入庫(kù)效率趨勢(shì)圖Fig.8 Trend chart of data loader efficiency

圖9 數(shù)據(jù)檢索效率趨勢(shì)圖Fig.9 Trend chart of data retrieval efficiency

實(shí)驗(yàn)結(jié)果表明，數(shù)據(jù)入庫(kù)與檢索時(shí)間整體上隨著數(shù)據(jù)量的增大而延長(zhǎng)，但與傳統(tǒng)數(shù)據(jù)庫(kù)相比，采用了分片技術(shù)的大數(shù)據(jù)中心數(shù)據(jù)庫(kù)整體效率得到顯著提升，并且隨著數(shù)據(jù)量的劇烈變化，效率逐步趨于穩(wěn)定。

5.2 空間疊加分析測(cè)試

空間疊加分析是地理信息數(shù)據(jù)管理中用于監(jiān)測(cè)數(shù)據(jù)現(xiàn)勢(shì)性和準(zhǔn)確性的重要手段。是一種常規(guī)、重要的數(shù)據(jù)操作。本文以空間疊加分析為例，研究數(shù)據(jù)存儲(chǔ)模式對(duì)數(shù)據(jù)計(jì)算能力的影響。具體流程為：兩種客戶端軟件對(duì)同一組測(cè)試組數(shù)據(jù)進(jìn)行疊加分析操作，記錄數(shù)據(jù)上傳、數(shù)據(jù)轉(zhuǎn)換、空間疊加、統(tǒng)計(jì)輸出幾項(xiàng)主要處理環(huán)節(jié)的耗時(shí)情況?？臻g疊加分析耗時(shí)記錄如表2所示。

表2 空間疊加分析耗時(shí)記錄表Tab.2 Time-consuming record of spatial superposition analysis

對(duì)表2進(jìn)行分析可以得出，采用了數(shù)據(jù)分片方式的大數(shù)據(jù)中心數(shù)據(jù)庫(kù)在進(jìn)行數(shù)據(jù)疊加分析時(shí)效率得到顯著提升。

通過(guò)上述實(shí)驗(yàn)，驗(yàn)證了云架構(gòu)下基于分布式存儲(chǔ)技術(shù)的存儲(chǔ)方式的有效性。實(shí)驗(yàn)結(jié)果表明，該技術(shù)能夠較好的解決海量、大規(guī)模時(shí)空大數(shù)據(jù)的存儲(chǔ)管理與數(shù)據(jù)應(yīng)用。

6 結(jié)束語(yǔ)

本文基于“山東省地理信息時(shí)空大數(shù)據(jù)中心”的建設(shè)，分析了現(xiàn)有測(cè)繪時(shí)空大數(shù)據(jù)存儲(chǔ)面臨的問(wèn)題，并提出了一種云架構(gòu)下的地理時(shí)空數(shù)據(jù)存儲(chǔ)技術(shù)，分別設(shè)計(jì)了橫向存儲(chǔ)模式與縱向存儲(chǔ)策略，降低了數(shù)據(jù)訪問(wèn)瓶頸，提高了數(shù)據(jù)安全性和整體訪問(wèn)性能。通過(guò)大數(shù)據(jù)存儲(chǔ)實(shí)驗(yàn)證明該技術(shù)能夠較好的解決海量、大規(guī)模時(shí)空大數(shù)據(jù)的存儲(chǔ)管理與數(shù)據(jù)應(yīng)用，提高了數(shù)據(jù)入庫(kù)、瀏覽響應(yīng)時(shí)間，為大數(shù)據(jù)中心的建設(shè)提供了有效的存儲(chǔ)解決方案，支撐時(shí)空數(shù)據(jù)資源在政府決策、公共應(yīng)急救援、重大基礎(chǔ)設(shè)施建設(shè)、生態(tài)環(huán)境監(jiān)測(cè)、新農(nóng)村建設(shè)等國(guó)民經(jīng)濟(jì)建設(shè)中發(fā)揮作用與價(jià)值。