王 云 張新建 楊春

（中國電子科技集團(tuán)公司第二十八研究所，江蘇南京 210028）

0 引言

目前，空間數(shù)據(jù)逐漸朝著空間大數(shù)據(jù)的方向發(fā)展，且呈現(xiàn)多樣化的發(fā)展趨勢，其中包含地名地址數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、傳感器數(shù)據(jù)等。因此，在空間數(shù)據(jù)處理的視角下，可通過分布式數(shù)據(jù)結(jié)構(gòu)設(shè)計，利用SQL 數(shù)據(jù)庫進(jìn)行存儲，該方法在實(shí)際使用中具有成本低、擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)[1]。在對海量空間數(shù)據(jù)的分布式存儲查詢研究中，要結(jié)合空間數(shù)據(jù)的處理需求對空間數(shù)據(jù)進(jìn)行分類控制，并提高海量空間數(shù)據(jù)的分類存儲查詢效果。

1 研究背景

海量空間數(shù)據(jù)查詢是在時空數(shù)據(jù)查詢的基礎(chǔ)上，對不隨時間變化的空間數(shù)據(jù)對象進(jìn)行查詢，其中包含范圍查詢、點(diǎn)查詢以及KNN 查詢等多種方式。在進(jìn)行數(shù)據(jù)查詢與信息處理的過程中，利用SQL 數(shù)據(jù)庫對海量空間數(shù)據(jù)的存儲模式、處理方式以及查詢過程等方面進(jìn)行綜合分析，在數(shù)據(jù)查詢過程中，需根據(jù)存儲模型以及數(shù)據(jù)類型，提高海量空間數(shù)據(jù)的查詢性能。在空間索引中，可根據(jù)海量空間數(shù)據(jù)的特點(diǎn)，結(jié)合DBMS 實(shí)現(xiàn)空間數(shù)據(jù)庫的搭建與應(yīng)用[2]。在多維空間對象的索引下，可根據(jù)索引特征建立多維特征的空間對象，并通過圖計算的方式，利用分布式平臺，對海量空間數(shù)據(jù)進(jìn)行管理?？臻g對象的管理與位置服務(wù)質(zhì)量有直接的關(guān)系，在建立大數(shù)據(jù)集合的視角下，海量空間數(shù)據(jù)查詢要從I/O、索引等角度進(jìn)行綜合分析，并建立分布式數(shù)據(jù)庫，進(jìn)一步提高海量空間數(shù)據(jù)的分布管控水平。

2 研究方法

2.1 實(shí)驗(yàn)環(huán)境

在建立分布式平臺的基礎(chǔ)上，進(jìn)行海量空間數(shù)據(jù)的分布存儲查詢優(yōu)化，還需要建立統(tǒng)一的數(shù)據(jù)集，對SQL 數(shù)據(jù)庫與Spark 分布式內(nèi)存計算平臺的聯(lián)合應(yīng)用性能展開討論。創(chuàng)建實(shí)驗(yàn)環(huán)境，對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，并對海量空間數(shù)據(jù)進(jìn)行存儲查詢，從而檢驗(yàn)分布式內(nèi)存計算平臺的數(shù)據(jù)存儲查詢性能。在實(shí)驗(yàn)過程中，硬件配置包含Intel W3505 CPU、500G-Disk、4G-Memory、傳統(tǒng)關(guān)系數(shù)據(jù)庫MySQL 數(shù)據(jù)庫。搭建Spark 計算框架，則是通過Standalone 模式進(jìn)行部署。創(chuàng)建3 個節(jié)點(diǎn)的分布計算集群，包含一個主管理節(jié)點(diǎn)以及兩個計算節(jié)點(diǎn)，對海量空間數(shù)據(jù)資源進(jìn)行集中化管理，同時利用分布式文件系統(tǒng)HDFS 為海量空間數(shù)據(jù)的存儲支持，達(dá)到檢驗(yàn)海量空間數(shù)據(jù)查詢性能的目的[3,4]。

2.2 實(shí)驗(yàn)數(shù)據(jù)

在對海量空間數(shù)據(jù)進(jìn)行分析的過程中，實(shí)驗(yàn)數(shù)據(jù)分析是利用TPC-H 數(shù)據(jù)集進(jìn)行分析，建立TPC-H 模型后，可對1GB-10000GB 的空間數(shù)據(jù)進(jìn)行讀取與分析。本次實(shí)驗(yàn)分析是選擇ORDERS 的O-ORDDERKEY 屬性以及LINETEM 中的L-ORDERKEY 屬性進(jìn)行分析，具體數(shù)據(jù)集如表1 所示。

表1 TPC-H數(shù)據(jù)集

在進(jìn)行數(shù)據(jù)統(tǒng)計與處理中，要對海量空間數(shù)據(jù)進(jìn)行查詢與分析，并通過數(shù)據(jù)綜合處理與統(tǒng)計分析，建立關(guān)系數(shù)據(jù)庫，具體的數(shù)據(jù)表屬性如表2 所示。

表2 TPC-H數(shù)據(jù)表屬性

在海量空間數(shù)據(jù)存儲查詢中，對SQL 與Spark 的連接查詢性能進(jìn)行檢驗(yàn)，以單位時間內(nèi)的海量數(shù)據(jù)查詢量為評估標(biāo)準(zhǔn)，并對數(shù)據(jù)邏輯關(guān)系進(jìn)行統(tǒng)計與計算。具體的計算公式如下。

在上述公式中，公式1 以及公式3 分別是針對SQL以及Spark 組間內(nèi)的所有元數(shù)據(jù)進(jìn)行統(tǒng)計，其中NMySQL以及NSpark是平臺對海量空間數(shù)據(jù)完成查詢的平均時間，Num_Result則是海量空間數(shù)據(jù)查詢的數(shù)據(jù)數(shù)量。在進(jìn)行計算與分析中，TAve-Spark集群計算框架，可以保存節(jié)點(diǎn)數(shù)據(jù)。在數(shù)據(jù)統(tǒng)計與分析中，可引入Spark 以及MySQL 的性能，并對兩者的性能進(jìn)行對比分析[5,6]。

2.3 實(shí)驗(yàn)分析

在實(shí)驗(yàn)數(shù)據(jù)分析中，針對海量空間數(shù)據(jù)存儲查詢性能進(jìn)行測試，將Spark 平臺中Map 端與Reduce 端進(jìn)行連接，并對數(shù)據(jù)關(guān)系進(jìn)行分析，在創(chuàng)建空間數(shù)據(jù)后，可以發(fā)現(xiàn)隨著組數(shù)的增加，兩大數(shù)據(jù)表的數(shù)據(jù)處理也存在一定的差異，在前6 組實(shí)驗(yàn)中，兩者之間的時間差異并不大，隨著組數(shù)據(jù)越來越多，會出現(xiàn)數(shù)據(jù)溢出的情況，Spark 平臺選擇ReduceJoin 算法進(jìn)行對比分析，連接查詢性能的影響結(jié)果如表3 所示。

表3 Spark運(yùn)行內(nèi)存對海量空間數(shù)據(jù)查詢性能的影響

結(jié)合上述信息數(shù)據(jù)，可以發(fā)現(xiàn)A 組的變化波動比較小，這說明隨著海量空間數(shù)據(jù)量的增加，Spark 的內(nèi)存也需要逐漸提升，這對優(yōu)化空間數(shù)據(jù)的查詢效果有促進(jìn)作用。

在Spark 以及MySQL 的應(yīng)用中，要從索引應(yīng)用的角度進(jìn)行分析，其查詢結(jié)果如圖1 所示。

圖1 MySQL有索引查詢與Spark查詢

結(jié)合上述結(jié)果可以發(fā)現(xiàn)，Spark 平臺具有性能優(yōu)勢，可實(shí)現(xiàn)海量空間數(shù)據(jù)的統(tǒng)計與分析。在單位時間內(nèi)，平均完成查詢量的變化比較明顯，在執(zhí)行時間分解的基礎(chǔ)上，可在單位時間內(nèi)，實(shí)現(xiàn)海量空間數(shù)據(jù)的存儲查詢，并提高數(shù)據(jù)統(tǒng)計與分析的綜合水平。

3 研究結(jié)果

3.1 內(nèi)存存儲模型設(shè)計

應(yīng)用索引對數(shù)據(jù)傳輸過程進(jìn)行優(yōu)化，需要從空間數(shù)據(jù)分布的角度進(jìn)行優(yōu)化，并基于融合空間編碼技術(shù)，利用內(nèi)存存儲模型進(jìn)行計算，其模型搭建如圖2 所示。

圖2 分布式存儲模型

海量空間數(shù)據(jù)的內(nèi)存存儲控制要盡可能減少屬性輸出，降低冗余數(shù)據(jù)以及查詢負(fù)載對海量空間數(shù)據(jù)分析的影響。在數(shù)據(jù)整合與處理的基礎(chǔ)上，可通過分布式存儲模型解決查詢負(fù)載問題。

3.2 TrieTree 索引設(shè)計與實(shí)現(xiàn)

在建立海量空間數(shù)據(jù)分布式存儲查詢優(yōu)化機(jī)制的過程中，已經(jīng)證明索引的應(yīng)用可提高海量空間數(shù)據(jù)的處理效果，基于此，引入TrieTree 索引，對海量空間數(shù)據(jù)的分布式存儲查詢過程進(jìn)行優(yōu)化，在實(shí)現(xiàn)數(shù)據(jù)整合的同時，可利用海量空間對象數(shù)據(jù)存儲與內(nèi)存存儲分析的方式提高海量空間數(shù)據(jù)存儲與查詢的精度。實(shí)現(xiàn)TrieTree 索引應(yīng)用的具體設(shè)計步驟如下。

（1）在給定范圍內(nèi)查詢輸入的坐標(biāo)點(diǎn)；（2）計算數(shù)據(jù)覆蓋面；（3）訪問數(shù)據(jù)庫中所有的MBR；（4）掃描匹配時間戳；（5）數(shù)據(jù)篩選；（6）實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計與分析。

3.3 分布式存儲模型實(shí)現(xiàn)與查詢優(yōu)化

在存儲模型優(yōu)化過程中，可通過組合粗粒度定位以及本地掃描的方式對分布式存儲模型進(jìn)行優(yōu)化，在建立優(yōu)化模型的基礎(chǔ)上，固定海量空間數(shù)據(jù)的查詢半徑，對冗余數(shù)據(jù)進(jìn)行處理，并根據(jù)數(shù)據(jù)查詢過程以及數(shù)據(jù)分析目的對數(shù)據(jù)處理過程進(jìn)行完善，從而降低數(shù)據(jù)冗余區(qū)域。在分布式存儲模型的應(yīng)用下，可通過編碼精度以及檢索MBR 數(shù)量之間的關(guān)系控制，提高分布式存儲模型對空間數(shù)據(jù)存儲查詢的優(yōu)化效果[7]。

4 啟示建議

4.1 明確衡量標(biāo)準(zhǔn)

在海量空間數(shù)據(jù)分布式存儲查詢優(yōu)化過程中，要明確海量空間數(shù)據(jù)的分類標(biāo)準(zhǔn)，根據(jù)海量空間數(shù)據(jù)的類型，從不同數(shù)據(jù)統(tǒng)計與分析的角度，提高數(shù)據(jù)分析與處理的精度。一方面，減小海量空間數(shù)據(jù)檢索面積，并對海量空間數(shù)據(jù)之間的關(guān)系進(jìn)行整合與處理，提高數(shù)據(jù)整合處理效果；另一方面，對不同查詢半徑的編碼精度以及檢索過程進(jìn)行優(yōu)化，并根據(jù)海量空間數(shù)據(jù)類型對數(shù)據(jù)集進(jìn)行優(yōu)化，可利用POI 數(shù)據(jù)對海量空間數(shù)據(jù)進(jìn)行存儲與查詢，滿足實(shí)際操作需求。

4.2 重視數(shù)據(jù)應(yīng)用

場景不同，海量空間數(shù)據(jù)也存在一定的差異性，所以，在分布式存儲模型的應(yīng)用中，可在數(shù)據(jù)環(huán)境下，對數(shù)據(jù)存儲過程、數(shù)據(jù)空間占比進(jìn)行優(yōu)化，并利用SQL 數(shù)據(jù)庫，依托數(shù)據(jù)關(guān)系，提高海量空間數(shù)據(jù)的分析與查詢處理效果。在數(shù)據(jù)分析與處理中，還需要利用不同的編碼精度，提高海量空間數(shù)據(jù)查詢的時效性與處理效果。在海量空間數(shù)據(jù)應(yīng)用下，可調(diào)整編碼存儲精度與查詢時間之間的關(guān)系，并對數(shù)據(jù)進(jìn)行統(tǒng)計，滿足海量空間數(shù)據(jù)分析的需求。

4.3 更新查詢方法

在對海量空間數(shù)據(jù)的查詢方法進(jìn)行更新的過程中，要結(jié)合海量空間數(shù)據(jù)的操作與處理需求，對查詢數(shù)據(jù)進(jìn)行整合與分析，并更新查詢方式，利用不同的索引對Spark與MySQL 數(shù)據(jù)庫之間的數(shù)據(jù)處理時間、性能等進(jìn)行對比優(yōu)化，從而提高海量空間數(shù)據(jù)的分布式查詢分析效果。

5 結(jié)語

海量空間數(shù)據(jù)的存儲與查詢性能的優(yōu)化，要利用融合空間編碼技術(shù)以及分布式存儲模型對海量空間數(shù)據(jù)進(jìn)行分類存儲，并保證數(shù)據(jù)操作與控制的綜合水平。實(shí)現(xiàn)海量空間數(shù)據(jù)優(yōu)化，要在數(shù)據(jù)查詢與分析的基礎(chǔ)上，對海量空間對象存儲以及數(shù)據(jù)處理等進(jìn)行融合，最大化提高海量空間數(shù)據(jù)的檢索效率與處理效果，并滿足實(shí)時性的查詢需求。在海量空間數(shù)據(jù)查詢與處理中，可對分布式存儲模型的實(shí)際應(yīng)用進(jìn)行調(diào)整，提高數(shù)據(jù)分析的可擴(kuò)展性，并滿足海量空間數(shù)據(jù)分類管理與查詢分析的綜合需求。