黃蓋

（新疆國源測繪規(guī)劃設(shè)計(jì)院有限公司，新疆 庫爾勒市 841000）

1 引言

業(yè)務(wù)信息化的推進(jìn)以數(shù)據(jù)為基礎(chǔ)，與傳統(tǒng)靜態(tài)的、已知的數(shù)據(jù)相比，大數(shù)據(jù)是動(dòng)態(tài)和未知的，時(shí)空數(shù)據(jù)是一種特殊類型的大數(shù)據(jù)[1]。時(shí)空大數(shù)據(jù)云平臺(tái)把各種分散的時(shí)空數(shù)據(jù)匯聚在平臺(tái)上，通過數(shù)據(jù)的多維融合、關(guān)聯(lián)分析和數(shù)據(jù)挖掘等過程，找出數(shù)據(jù)隱含的規(guī)律，幫助決策者做出快捷、全面、精準(zhǔn)和有效的預(yù)判，正如中國工程院院士王家耀所說“數(shù)據(jù)隱含價(jià)值，計(jì)算發(fā)現(xiàn)價(jià)值，應(yīng)用實(shí)現(xiàn)價(jià)值”，時(shí)空大數(shù)據(jù)正日益成為治理體系和治理能力現(xiàn)代化的核心驅(qū)動(dòng)力。近年來，可視化分析、并行數(shù)據(jù)處理、Hadoop 計(jì)算框架等技術(shù)不斷應(yīng)用到時(shí)空大數(shù)據(jù)業(yè)務(wù)中[2]。現(xiàn)階段迫切需要利用云端運(yùn)算，對結(jié)構(gòu)復(fù)雜、數(shù)量龐大的數(shù)據(jù)進(jìn)行融合分析，轉(zhuǎn)化為有價(jià)值的信息。市級(jí)自然資源時(shí)空大數(shù)據(jù)云平臺(tái)立足于一網(wǎng)一庫一平臺(tái)N 應(yīng)用的信息化總體規(guī)劃，在政務(wù)網(wǎng)（一網(wǎng)）環(huán)境下構(gòu)建一體化數(shù)據(jù)庫（一庫），支撐自然資源政務(wù)管理與服務(wù)平臺(tái)（一平臺(tái)）、調(diào)查監(jiān)測及政務(wù)服務(wù)等應(yīng)用（N 應(yīng)用）。

2 現(xiàn)狀分析

時(shí)空大數(shù)據(jù)來源廣泛，數(shù)據(jù)的豐富性和飛速發(fā)展的云計(jì)算技術(shù)為GIS 提供了新的應(yīng)用模式，在這種形勢下，云平臺(tái)建設(shè)之路，經(jīng)歷了基礎(chǔ)設(shè)施的梳理到整合，從數(shù)據(jù)聚合到按業(yè)務(wù)梳理，不斷地探索時(shí)空大數(shù)據(jù)云平臺(tái)技術(shù)實(shí)現(xiàn)之路。為適應(yīng)當(dāng)前信息化要求，仍有以下任務(wù)：

一是做好總體框架設(shè)計(jì)，滿足未來發(fā)展需求。二是構(gòu)建高效基礎(chǔ)支撐層，滿足計(jì)算、存儲(chǔ)、I/O 吞吐量、系統(tǒng)穩(wěn)定性等綜合要求。三是提升時(shí)空大數(shù)據(jù)挖掘分析能力，支撐更大范圍數(shù)據(jù)的快速分析和數(shù)據(jù)深入挖掘能力。四是以應(yīng)用為導(dǎo)向盤活時(shí)空大數(shù)據(jù)，探索更深入的應(yīng)用。

3 時(shí)空大數(shù)據(jù)云平臺(tái)總體框架設(shè)計(jì)

時(shí)空大數(shù)據(jù)應(yīng)用云平臺(tái)四層結(jié)構(gòu)，從下至上分別為基礎(chǔ)層、大數(shù)據(jù)資源中心、政務(wù)管理與服務(wù)、應(yīng)用層，云安全體系全方位保障，總體框架體系如圖1 所示。

圖1 總體框架

（1）基礎(chǔ)層?；谔摂M化技術(shù)，對下層硬件資源進(jìn)行封裝、隔離，抽象為邏輯資源池，向上層操作系統(tǒng)提供多樣化的執(zhí)行環(huán)境。利用對象存儲(chǔ)、分布式存儲(chǔ)技術(shù)將時(shí)空數(shù)據(jù)和非時(shí)空數(shù)據(jù)進(jìn)行存儲(chǔ)管理，用大數(shù)據(jù)計(jì)算方法進(jìn)行抽取、清洗，提供給上層大數(shù)據(jù)資源中心使用。

（2）大數(shù)據(jù)資源中心層。通過數(shù)據(jù)總線向上層政務(wù)管理與服務(wù)層提供豐富的數(shù)據(jù)服務(wù)，同時(shí)接收來自應(yīng)用系統(tǒng)層產(chǎn)生的應(yīng)用數(shù)據(jù)，不斷地豐富時(shí)空大數(shù)據(jù)資源。

（3）政務(wù)管理與服務(wù)層?；诿嫦蚍?wù)的GIS 架構(gòu)和服務(wù)總線，提供專題服務(wù)、業(yè)務(wù)規(guī)則庫和對數(shù)字政府通用服務(wù)的支撐。

（4）應(yīng)用層。通過服務(wù)調(diào)用和應(yīng)用開發(fā)提供各種自然資源業(yè)務(wù)應(yīng)用，按業(yè)務(wù)層面主要分為業(yè)務(wù)監(jiān)管與服務(wù)應(yīng)用、調(diào)查監(jiān)測評(píng)價(jià)應(yīng)用和政務(wù)服務(wù)綜合應(yīng)用三大類。

（5）云安全體系。應(yīng)用安全方面，通過統(tǒng)一身份認(rèn)證系統(tǒng)實(shí)行嚴(yán)格身份認(rèn)證，應(yīng)用防火墻針對不同應(yīng)用設(shè)置精細(xì)策略。數(shù)據(jù)安全包括容災(zāi)備份和傳輸加密。主機(jī)安全方面部署亞信虛擬化防護(hù)系統(tǒng)進(jìn)行深度安全防護(hù)。網(wǎng)絡(luò)安全包括設(shè)置安全域、應(yīng)用防火墻技術(shù)對DDoS 等攻擊進(jìn)行有效防護(hù)。云平臺(tái)安全通過多租戶隔離實(shí)現(xiàn)不同應(yīng)用的安全隔離。運(yùn)維安全方面使用堡壘機(jī)登錄云平臺(tái)、云服務(wù)器和物理設(shè)備，實(shí)施操作的可追溯審計(jì)。

4 超融合高效基礎(chǔ)支撐環(huán)境

市級(jí)時(shí)空大數(shù)據(jù)云平臺(tái)在原來虛擬化技術(shù)的基礎(chǔ)之上，按照統(tǒng)一標(biāo)準(zhǔn)構(gòu)建時(shí)空大數(shù)據(jù)云技術(shù)架構(gòu)，實(shí)現(xiàn)裸金屬服務(wù)器、虛擬機(jī)、容器環(huán)境、華為基礎(chǔ)設(shè)施等多套技術(shù)體系的融合，最終達(dá)到統(tǒng)一化管理。通過隔離驅(qū)動(dòng)層一方面直接支撐時(shí)空大數(shù)據(jù)業(yè)務(wù)，另一方面通過接口為與“數(shù)字政府”之間對接打下基礎(chǔ)。超融合基礎(chǔ)支撐環(huán)境如圖2 所示。

圖2 超融合基礎(chǔ)支撐環(huán)境

5 時(shí)空大數(shù)據(jù)挖掘分析環(huán)境

5.1 分層結(jié)構(gòu)形成時(shí)空大數(shù)據(jù)中心

市級(jí)時(shí)空大數(shù)據(jù)中心為前中后三層結(jié)構(gòu)，前端負(fù)責(zé)數(shù)據(jù)應(yīng)用，中間負(fù)責(zé)數(shù)據(jù)處理，后端負(fù)責(zé)數(shù)據(jù)收集及存儲(chǔ)。時(shí)空大數(shù)據(jù)中心體系框架如圖3 所示。

圖3 時(shí)空大數(shù)據(jù)中心體系框架

5.1.1 后端數(shù)據(jù)存儲(chǔ)

包含空間數(shù)據(jù)和其他數(shù)據(jù)，空間數(shù)據(jù)描述現(xiàn)實(shí)世界的目標(biāo)，用點(diǎn)、線、面以及實(shí)體等基本空間數(shù)據(jù)結(jié)構(gòu)來表示空間實(shí)體的位置、形狀、大小及其分布特征；其它數(shù)據(jù)包括屬性、文本、圖像等多種空間實(shí)體的輔助表示信息數(shù)據(jù)。數(shù)據(jù)分涉密版、政務(wù)版和公眾版，涉密版數(shù)據(jù)留在涉密存儲(chǔ)區(qū)，作為其他項(xiàng)目的原始數(shù)據(jù)集，政務(wù)版和公眾版數(shù)據(jù)通過安全隔離網(wǎng)閘擺渡到電子政務(wù)外網(wǎng)區(qū)或互聯(lián)網(wǎng)區(qū)成為業(yè)務(wù)應(yīng)用數(shù)據(jù)。

5.1.2 中間數(shù)據(jù)處理

首先按業(yè)務(wù)需求對數(shù)據(jù)源中的表或視圖進(jìn)行抽取，轉(zhuǎn)換成ETL 工具可以識(shí)別的格式；然后按規(guī)則對抽取的數(shù)據(jù)進(jìn)行清洗處理，以糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤，使數(shù)據(jù)具有一致性；最后對數(shù)據(jù)進(jìn)行挖掘分析、可視化展現(xiàn)。

5.1.3 前端數(shù)據(jù)應(yīng)用

基礎(chǔ)數(shù)據(jù)服務(wù)提供要素、地圖、目錄、地名地址、資源共享、資源訂閱等服務(wù)；數(shù)據(jù)處理服務(wù)提供在線編輯、應(yīng)用定制、矢量切片、專題制圖等服務(wù)；數(shù)據(jù)分析服務(wù)提供通用化空間分析引擎、空間數(shù)據(jù)變化監(jiān)測分析等。

5.2 時(shí)空大數(shù)據(jù)組織

機(jī)構(gòu)改革之后，市級(jí)自然資源管理部門在原有一體化時(shí)空大數(shù)據(jù)組織結(jié)構(gòu)，即公共基礎(chǔ)類、專業(yè)基礎(chǔ)類、業(yè)務(wù)管理類、公共政務(wù)類四大類進(jìn)行數(shù)據(jù)組織的基礎(chǔ)上，重點(diǎn)收集補(bǔ)充整合海洋、空間規(guī)劃、地質(zhì)環(huán)境類數(shù)據(jù)，不斷豐富時(shí)空大數(shù)據(jù)資源。

5.3 分布式計(jì)算框架

采用Hadoop 主/從集群架構(gòu)體系，把GIS 應(yīng)用程序（稱為“作業(yè)”即“job”）分割成許多個(gè)小工作單元（稱為“任務(wù)”即“task”），放到集群的任意節(jié)點(diǎn)上執(zhí)行；分布式文件系統(tǒng)（HDFS）主要負(fù)責(zé)集群節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)，并實(shí)現(xiàn)高吞吐率的數(shù)據(jù)讀寫；分布式并行計(jì)算模型MapReduce[4]用于搜索領(lǐng)域，解決海量時(shí)空大數(shù)據(jù)的計(jì)算問題。Hadoop 分布式計(jì)算框架如圖4 所示。

圖4 Hadoop分布式計(jì)算框架

5.4 高性能并行計(jì)算框架

由管理節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)組成，較于分布式此方式的數(shù)據(jù)集中存放。管理節(jié)點(diǎn)將任務(wù)按數(shù)據(jù)拆分成多個(gè)子任務(wù)，并將子任務(wù)及數(shù)據(jù)推送給計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)運(yùn)算完成后通知管理節(jié)點(diǎn)執(zhí)行完成或失敗，以便開始接受下一個(gè)任務(wù)。

5.5 按業(yè)務(wù)場景使用不同計(jì)算框架

一是實(shí)時(shí)計(jì)算場景使用高性能計(jì)算。主要針對用地審批、礦業(yè)權(quán)登記等業(yè)務(wù)的支撐，將單個(gè)項(xiàng)目地塊與全市的現(xiàn)狀地類圖斑、規(guī)劃地類圖斑等百萬級(jí)要素圖層同時(shí)疊加分析，可以有效支撐全市各縣區(qū)的并發(fā)訪問。二是批處理的計(jì)算場景使用分布式計(jì)算。主要用于全域范圍的分析評(píng)價(jià)與監(jiān)督評(píng)估，如國土空間規(guī)劃實(shí)施監(jiān)督的指標(biāo)計(jì)算，用百萬級(jí)要素的全市范圍的現(xiàn)狀圖斑和規(guī)劃圖層同時(shí)疊加分析。

6 以應(yīng)用為導(dǎo)向盤活時(shí)空大數(shù)據(jù)

6.1 業(yè)務(wù)云化技術(shù)

在面向服務(wù)GIS 架構(gòu)基礎(chǔ)上探索云化實(shí)現(xiàn)，從云化模板出發(fā)，結(jié)合容器技術(shù)實(shí)現(xiàn)業(yè)務(wù)微服務(wù)，達(dá)到云化業(yè)務(wù)程序的目的，業(yè)務(wù)云化框架如圖5 所示。

圖5 業(yè)務(wù)云化框架

在微服務(wù)架構(gòu)下應(yīng)用docker 容器技術(shù)，通過模板制作、應(yīng)用類型注冊、投遞方案配置、投遞參數(shù)配置、投遞訂單解析、投遞流程實(shí)現(xiàn)等環(huán)節(jié)，初步構(gòu)建了一套從開發(fā)、測試、部署、發(fā)布到持續(xù)交付的業(yè)務(wù)云化機(jī)制。

6.2 應(yīng)用服務(wù)支撐

一是已實(shí)現(xiàn)包括三大陽光工程（陽光用地、陽光用礦、陽光用水）、國土空間規(guī)劃、城市地質(zhì)和決策參閱等重點(diǎn)應(yīng)用支撐。二是政務(wù)信息共享方面，擬通過數(shù)據(jù)交換、服務(wù)對接等方式和政務(wù)大數(shù)據(jù)中心等實(shí)現(xiàn)聯(lián)通對接，依照部門職能按需共享，為其他政府部門共享自然資源專題數(shù)據(jù)，延伸數(shù)據(jù)服務(wù)范圍。三是豐富自然資源時(shí)空大數(shù)據(jù)資源。計(jì)劃利用政務(wù)大數(shù)據(jù)中心的人口、法人、社會(huì)信用等各類數(shù)據(jù)和服務(wù)，豐富數(shù)據(jù)內(nèi)容。

7 結(jié)論

市級(jí)時(shí)空大數(shù)據(jù)云平臺(tái)通過應(yīng)用超融合架構(gòu)節(jié)省了硬件投資，通過云化業(yè)務(wù)技術(shù)簡化了應(yīng)用部署，通過分布式高性能計(jì)算框架提升了業(yè)務(wù)的對外服務(wù)能力，依托云平臺(tái)建成的自然資源時(shí)空大數(shù)據(jù)中心，實(shí)現(xiàn)了數(shù)據(jù)資源的統(tǒng)一管理，隨著數(shù)字中國的發(fā)展，時(shí)空大數(shù)據(jù)云平臺(tái)將發(fā)揮更多作用。