王 云 張新建 楊春

（中國電子科技集團公司第二十八研究所，江蘇南京 210028）

0 引言

目前，空間數(shù)據(jù)逐漸朝著空間大數(shù)據(jù)的方向發(fā)展，且呈現(xiàn)多樣化的發(fā)展趨勢，其中包含地名地址數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、傳感器數(shù)據(jù)等。因此，在空間數(shù)據(jù)處理的視角下，可通過分布式數(shù)據(jù)結(jié)構設計，利用SQL 數(shù)據(jù)庫進行存儲，該方法在實際使用中具有成本低、擴展性強等優(yōu)點[1]。在對海量空間數(shù)據(jù)的分布式存儲查詢研究中，要結(jié)合空間數(shù)據(jù)的處理需求對空間數(shù)據(jù)進行分類控制，并提高海量空間數(shù)據(jù)的分類存儲查詢效果。

1 研究背景

海量空間數(shù)據(jù)查詢是在時空數(shù)據(jù)查詢的基礎上，對不隨時間變化的空間數(shù)據(jù)對象進行查詢，其中包含范圍查詢、點查詢以及KNN 查詢等多種方式。在進行數(shù)據(jù)查詢與信息處理的過程中，利用SQL 數(shù)據(jù)庫對海量空間數(shù)據(jù)的存儲模式、處理方式以及查詢過程等方面進行綜合分析，在數(shù)據(jù)查詢過程中，需根據(jù)存儲模型以及數(shù)據(jù)類型，提高海量空間數(shù)據(jù)的查詢性能。在空間索引中，可根據(jù)海量空間數(shù)據(jù)的特點，結(jié)合DBMS 實現(xiàn)空間數(shù)據(jù)庫的搭建與應用[2]。在多維空間對象的索引下，可根據(jù)索引特征建立多維特征的空間對象，并通過圖計算的方式，利用分布式平臺，對海量空間數(shù)據(jù)進行管理?？臻g對象的管理與位置服務質(zhì)量有直接的關系，在建立大數(shù)據(jù)集合的視角下，海量空間數(shù)據(jù)查詢要從I/O、索引等角度進行綜合分析，并建立分布式數(shù)據(jù)庫，進一步提高海量空間數(shù)據(jù)的分布管控水平。

2 研究方法

2.1 實驗環(huán)境

在建立分布式平臺的基礎上，進行海量空間數(shù)據(jù)的分布存儲查詢優(yōu)化，還需要建立統(tǒng)一的數(shù)據(jù)集，對SQL 數(shù)據(jù)庫與Spark 分布式內(nèi)存計算平臺的聯(lián)合應用性能展開討論。創(chuàng)建實驗環(huán)境，對實驗數(shù)據(jù)進行分析，并對海量空間數(shù)據(jù)進行存儲查詢，從而檢驗分布式內(nèi)存計算平臺的數(shù)據(jù)存儲查詢性能。在實驗過程中，硬件配置包含Intel W3505 CPU、500G-Disk、4G-Memory、傳統(tǒng)關系數(shù)據(jù)庫MySQL 數(shù)據(jù)庫。搭建Spark 計算框架，則是通過Standalone 模式進行部署。創(chuàng)建3 個節(jié)點的分布計算集群，包含一個主管理節(jié)點以及兩個計算節(jié)點，對海量空間數(shù)據(jù)資源進行集中化管理，同時利用分布式文件系統(tǒng)HDFS 為海量空間數(shù)據(jù)的存儲支持，達到檢驗海量空間數(shù)據(jù)查詢性能的目的[3,4]。

2.2 實驗數(shù)據(jù)

在對海量空間數(shù)據(jù)進行分析的過程中，實驗數(shù)據(jù)分析是利用TPC-H 數(shù)據(jù)集進行分析，建立TPC-H 模型后，可對1GB-10000GB 的空間數(shù)據(jù)進行讀取與分析。本次實驗分析是選擇ORDERS 的O-ORDDERKEY 屬性以及LINETEM 中的L-ORDERKEY 屬性進行分析，具體數(shù)據(jù)集如表1 所示。

表1 TPC-H數(shù)據(jù)集

在進行數(shù)據(jù)統(tǒng)計與處理中，要對海量空間數(shù)據(jù)進行查詢與分析，并通過數(shù)據(jù)綜合處理與統(tǒng)計分析，建立關系數(shù)據(jù)庫，具體的數(shù)據(jù)表屬性如表2 所示。

表2 TPC-H數(shù)據(jù)表屬性

在海量空間數(shù)據(jù)存儲查詢中，對SQL 與Spark 的連接查詢性能進行檢驗，以單位時間內(nèi)的海量數(shù)據(jù)查詢量為評估標準，并對數(shù)據(jù)邏輯關系進行統(tǒng)計與計算。具體的計算公式如下。

在上述公式中，公式1 以及公式3 分別是針對SQL以及Spark 組間內(nèi)的所有元數(shù)據(jù)進行統(tǒng)計，其中NMySQL以及NSpark是平臺對海量空間數(shù)據(jù)完成查詢的平均時間，Num_Result則是海量空間數(shù)據(jù)查詢的數(shù)據(jù)數(shù)量。在進行計算與分析中，TAve-Spark集群計算框架，可以保存節(jié)點數(shù)據(jù)。在數(shù)據(jù)統(tǒng)計與分析中，可引入Spark 以及MySQL 的性能，并對兩者的性能進行對比分析[5,6]。

2.3 實驗分析

在實驗數(shù)據(jù)分析中，針對海量空間數(shù)據(jù)存儲查詢性能進行測試，將Spark 平臺中Map 端與Reduce 端進行連接，并對數(shù)據(jù)關系進行分析，在創(chuàng)建空間數(shù)據(jù)后，可以發(fā)現(xiàn)隨著組數(shù)的增加，兩大數(shù)據(jù)表的數(shù)據(jù)處理也存在一定的差異，在前6 組實驗中，兩者之間的時間差異并不大，隨著組數(shù)據(jù)越來越多，會出現(xiàn)數(shù)據(jù)溢出的情況，Spark 平臺選擇ReduceJoin 算法進行對比分析，連接查詢性能的影響結(jié)果如表3 所示。

表3 Spark運行內(nèi)存對海量空間數(shù)據(jù)查詢性能的影響

結(jié)合上述信息數(shù)據(jù)，可以發(fā)現(xiàn)A 組的變化波動比較小，這說明隨著海量空間數(shù)據(jù)量的增加，Spark 的內(nèi)存也需要逐漸提升，這對優(yōu)化空間數(shù)據(jù)的查詢效果有促進作用。

在Spark 以及MySQL 的應用中，要從索引應用的角度進行分析，其查詢結(jié)果如圖1 所示。

圖1 MySQL有索引查詢與Spark查詢

結(jié)合上述結(jié)果可以發(fā)現(xiàn)，Spark 平臺具有性能優(yōu)勢，可實現(xiàn)海量空間數(shù)據(jù)的統(tǒng)計與分析。在單位時間內(nèi)，平均完成查詢量的變化比較明顯，在執(zhí)行時間分解的基礎上，可在單位時間內(nèi)，實現(xiàn)海量空間數(shù)據(jù)的存儲查詢，并提高數(shù)據(jù)統(tǒng)計與分析的綜合水平。

3 研究結(jié)果

3.1 內(nèi)存存儲模型設計

應用索引對數(shù)據(jù)傳輸過程進行優(yōu)化，需要從空間數(shù)據(jù)分布的角度進行優(yōu)化，并基于融合空間編碼技術，利用內(nèi)存存儲模型進行計算，其模型搭建如圖2 所示。

圖2 分布式存儲模型

海量空間數(shù)據(jù)的內(nèi)存存儲控制要盡可能減少屬性輸出，降低冗余數(shù)據(jù)以及查詢負載對海量空間數(shù)據(jù)分析的影響。在數(shù)據(jù)整合與處理的基礎上，可通過分布式存儲模型解決查詢負載問題。

3.2 TrieTree 索引設計與實現(xiàn)

在建立海量空間數(shù)據(jù)分布式存儲查詢優(yōu)化機制的過程中，已經(jīng)證明索引的應用可提高海量空間數(shù)據(jù)的處理效果，基于此，引入TrieTree 索引，對海量空間數(shù)據(jù)的分布式存儲查詢過程進行優(yōu)化，在實現(xiàn)數(shù)據(jù)整合的同時，可利用海量空間對象數(shù)據(jù)存儲與內(nèi)存存儲分析的方式提高海量空間數(shù)據(jù)存儲與查詢的精度。實現(xiàn)TrieTree 索引應用的具體設計步驟如下。

（1）在給定范圍內(nèi)查詢輸入的坐標點；（2）計算數(shù)據(jù)覆蓋面；（3）訪問數(shù)據(jù)庫中所有的MBR；（4）掃描匹配時間戳；（5）數(shù)據(jù)篩選；（6）實現(xiàn)數(shù)據(jù)統(tǒng)計與分析。

3.3 分布式存儲模型實現(xiàn)與查詢優(yōu)化

在存儲模型優(yōu)化過程中，可通過組合粗粒度定位以及本地掃描的方式對分布式存儲模型進行優(yōu)化，在建立優(yōu)化模型的基礎上，固定海量空間數(shù)據(jù)的查詢半徑，對冗余數(shù)據(jù)進行處理，并根據(jù)數(shù)據(jù)查詢過程以及數(shù)據(jù)分析目的對數(shù)據(jù)處理過程進行完善，從而降低數(shù)據(jù)冗余區(qū)域。在分布式存儲模型的應用下，可通過編碼精度以及檢索MBR 數(shù)量之間的關系控制，提高分布式存儲模型對空間數(shù)據(jù)存儲查詢的優(yōu)化效果[7]。

4 啟示建議

4.1 明確衡量標準

在海量空間數(shù)據(jù)分布式存儲查詢優(yōu)化過程中，要明確海量空間數(shù)據(jù)的分類標準，根據(jù)海量空間數(shù)據(jù)的類型，從不同數(shù)據(jù)統(tǒng)計與分析的角度，提高數(shù)據(jù)分析與處理的精度。一方面，減小海量空間數(shù)據(jù)檢索面積，并對海量空間數(shù)據(jù)之間的關系進行整合與處理，提高數(shù)據(jù)整合處理效果；另一方面，對不同查詢半徑的編碼精度以及檢索過程進行優(yōu)化，并根據(jù)海量空間數(shù)據(jù)類型對數(shù)據(jù)集進行優(yōu)化，可利用POI 數(shù)據(jù)對海量空間數(shù)據(jù)進行存儲與查詢，滿足實際操作需求。

4.2 重視數(shù)據(jù)應用

場景不同，海量空間數(shù)據(jù)也存在一定的差異性，所以，在分布式存儲模型的應用中，可在數(shù)據(jù)環(huán)境下，對數(shù)據(jù)存儲過程、數(shù)據(jù)空間占比進行優(yōu)化，并利用SQL 數(shù)據(jù)庫，依托數(shù)據(jù)關系，提高海量空間數(shù)據(jù)的分析與查詢處理效果。在數(shù)據(jù)分析與處理中，還需要利用不同的編碼精度，提高海量空間數(shù)據(jù)查詢的時效性與處理效果。在海量空間數(shù)據(jù)應用下，可調(diào)整編碼存儲精度與查詢時間之間的關系，并對數(shù)據(jù)進行統(tǒng)計，滿足海量空間數(shù)據(jù)分析的需求。

4.3 更新查詢方法

在對海量空間數(shù)據(jù)的查詢方法進行更新的過程中，要結(jié)合海量空間數(shù)據(jù)的操作與處理需求，對查詢數(shù)據(jù)進行整合與分析，并更新查詢方式，利用不同的索引對Spark與MySQL 數(shù)據(jù)庫之間的數(shù)據(jù)處理時間、性能等進行對比優(yōu)化，從而提高海量空間數(shù)據(jù)的分布式查詢分析效果。

5 結(jié)語

海量空間數(shù)據(jù)的存儲與查詢性能的優(yōu)化，要利用融合空間編碼技術以及分布式存儲模型對海量空間數(shù)據(jù)進行分類存儲，并保證數(shù)據(jù)操作與控制的綜合水平。實現(xiàn)海量空間數(shù)據(jù)優(yōu)化，要在數(shù)據(jù)查詢與分析的基礎上，對海量空間對象存儲以及數(shù)據(jù)處理等進行融合，最大化提高海量空間數(shù)據(jù)的檢索效率與處理效果，并滿足實時性的查詢需求。在海量空間數(shù)據(jù)查詢與處理中，可對分布式存儲模型的實際應用進行調(diào)整，提高數(shù)據(jù)分析的可擴展性，并滿足海量空間數(shù)據(jù)分類管理與查詢分析的綜合需求。