沈鳳嬌，余曉敏

（1.湖北省基礎(chǔ)地理信息中心，湖北 武漢 430070）

習(xí)近平總書記在黨的十九大報(bào)告中提出，推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合，建設(shè)數(shù)字中國(guó)、智慧社會(huì)，城市是人口聚集、社會(huì)發(fā)展最活躍的地區(qū)，因此智慧城市建設(shè)是建設(shè)智慧社會(huì)的重要組成部分，而時(shí)空大數(shù)據(jù)平臺(tái)是智慧城市建設(shè)與運(yùn)行的基礎(chǔ)支撐[1]。時(shí)空大數(shù)據(jù)平臺(tái)的構(gòu)成包含了時(shí)空大數(shù)據(jù)和云平臺(tái)，其中云平臺(tái)通過云計(jì)算等技術(shù)，為時(shí)空大數(shù)據(jù)的存儲(chǔ)、管理、可視化、應(yīng)用等提供基礎(chǔ)支撐。

1 時(shí)空大數(shù)據(jù)平臺(tái)概述

時(shí)空大數(shù)據(jù)平臺(tái)是基礎(chǔ)時(shí)空數(shù)據(jù)、公共專題數(shù)據(jù)、物聯(lián)網(wǎng)實(shí)時(shí)感知數(shù)據(jù)、互聯(lián)網(wǎng)在線抓取數(shù)據(jù)根據(jù)本地特色擴(kuò)展數(shù)據(jù)及其獲取、感知、存儲(chǔ)、處理、共享、集成、挖掘分析、泛在服務(wù)的技術(shù)系統(tǒng)，連同云計(jì)算環(huán)境、政策、標(biāo)準(zhǔn)、機(jī)制等支撐環(huán)境，以及時(shí)空基準(zhǔn)共同組成的時(shí)空基礎(chǔ)設(shè)施，其結(jié)構(gòu)如圖1所示[1]。

圖1 時(shí)空大數(shù)據(jù)平臺(tái)構(gòu)成

2 時(shí)空大數(shù)據(jù)平臺(tái)建設(shè)中的空間云計(jì)算框架設(shè)計(jì)

空間云計(jì)算是時(shí)空大數(shù)據(jù)平臺(tái)建設(shè)最基礎(chǔ)的支撐。通過云計(jì)算技術(shù)，一方面能實(shí)現(xiàn)資源共享，通過資源管理實(shí)現(xiàn)計(jì)算資源的統(tǒng)一管理，達(dá)到資源共享、規(guī)模效應(yīng)；另一方面，還能基于智能化、自動(dòng)化的資源調(diào)度，實(shí)現(xiàn)資源的按需調(diào)取和負(fù)載均衡[2]。

2.1 基礎(chǔ)原理

空間云計(jì)算支撐一方面依托空間數(shù)據(jù)云存儲(chǔ)，使用多個(gè)位于虛擬機(jī)的計(jì)算節(jié)點(diǎn)，構(gòu)建高性能并行計(jì)算框架，可實(shí)現(xiàn)子任務(wù)級(jí)的快速處理；另一方面，提供適合空間數(shù)據(jù)的多粒度并行計(jì)算模型與插件框架，為上層服務(wù)開發(fā)算法插件提供基礎(chǔ)支撐。如圖2所示為空間云計(jì)算支撐的原理圖[3]。

圖2 空間云計(jì)算支撐原理圖

2.2 業(yè)務(wù)流程

空間云計(jì)算支撐的業(yè)務(wù)流程如圖3所示。

圖3 空間云計(jì)算支撐業(yè)務(wù)流程圖

2.3 主要功能

空間云計(jì)算支撐提供子任務(wù)級(jí)批處理計(jì)算服務(wù)與算法插件框架，主要包括并行任務(wù)調(diào)度，空間計(jì)算插件框架與集群狀態(tài)監(jiān)控等功能模塊，如圖4所示。

圖4 空間云計(jì)算支撐功能模塊組成

并行任務(wù)調(diào)度模塊用于接收任務(wù)、分解任務(wù)，為任務(wù)分配計(jì)算資源，并將任務(wù)信息傳遞給計(jì)算插件框架，由計(jì)算插件框架調(diào)用具體算法插件實(shí)施處理過程。

空間計(jì)算插件框架提供包含插件執(zhí)行、管理、注冊(cè)、并行計(jì)算接口、影像處理鏈的基礎(chǔ)框架，為插件算法編寫提供支持。

集群狀態(tài)監(jiān)控模板提供任務(wù)與節(jié)點(diǎn)狀態(tài)監(jiān)控功能。

2.4 設(shè)計(jì)實(shí)現(xiàn)

借助成熟的開源分布式計(jì)算平臺(tái)Hadoop生態(tài)圈和Tensorflow深度學(xué)習(xí)框架來構(gòu)建時(shí)空信息云平臺(tái)的云計(jì)算平臺(tái)。主要包括3方面內(nèi)容：一是通過Apache Ambari web管理平臺(tái)hadoop生態(tài)圈，增加accumulo、HBASE分布式索引數(shù)據(jù)庫(kù)，打通空間大數(shù)據(jù)與HDFS、HBase等列存儲(chǔ)結(jié)構(gòu)壁壘——快速地跨多臺(tái)機(jī)器處理大型數(shù)據(jù)集合，實(shí)現(xiàn)海量數(shù)據(jù)索引的快速檢索存儲(chǔ)；二是增加Storm流式處理框架，基于內(nèi)存計(jì)算，擴(kuò)展云計(jì)算平臺(tái)在實(shí)時(shí)數(shù)據(jù)接入的時(shí)空數(shù)據(jù)的處理能力；三是引入Tensorflow分布式深度學(xué)習(xí)框架，用于支持神經(jīng)網(wǎng)絡(luò)密集型計(jì)算應(yīng)用開發(fā)，并結(jié)合Kubernetes和Docker容器技術(shù)，注冊(cè)Tensorflow服務(wù)到Kubernetes框架的POD單元，實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)的彈性伸縮，實(shí)現(xiàn)容器的集群資源管理、容器部署彈性伸縮，容器運(yùn)行的狀態(tài)管控，并支持GPU集群深度學(xué)習(xí)計(jì)算應(yīng)用。如圖5所示為本時(shí)空大數(shù)據(jù)平臺(tái)的云計(jì)算基礎(chǔ)平臺(tái)架構(gòu)實(shí)現(xiàn)。

圖5 云計(jì)算基礎(chǔ)平臺(tái)架構(gòu)

底層為基礎(chǔ)設(shè)施，為云計(jì)算平臺(tái)提供基礎(chǔ)硬件服務(wù)資源。中間層為云計(jì)算平臺(tái)的基礎(chǔ)構(gòu)成，主要包括四部分：即①Hadoop分布式計(jì)算生態(tài)圈，主要包括了HDFS分布式文件系統(tǒng)、Yarn資源管理器、MapReduce分布式計(jì)算框架、Spark計(jì)算框架、Hive數(shù)據(jù)倉(cāng)庫(kù)、Zookeeper分布式協(xié)調(diào)服務(wù)、Kafka消息系統(tǒng)、Ambari安裝部署配置管理工具等；②Storm分布式流計(jì)算框架；③Tensorflow分布式深度學(xué)習(xí)計(jì)算框架；④Kubernetes集群調(diào)度管理框架。

3 典型云計(jì)算應(yīng)用服務(wù)

云計(jì)算應(yīng)用服務(wù)指的是基于云計(jì)算基礎(chǔ)平臺(tái)的接口進(jìn)行應(yīng)用服務(wù)開發(fā)，如離線塊數(shù)據(jù)計(jì)算、實(shí)時(shí)流計(jì)算、數(shù)據(jù)挖掘等，后文將要介紹的典型云計(jì)算應(yīng)用服務(wù)，如多尺度影像的快速切片、位置數(shù)據(jù)路網(wǎng)實(shí)時(shí)匹配、視頻數(shù)據(jù)典型目標(biāo)動(dòng)態(tài)檢測(cè)就是基于該基礎(chǔ)平臺(tái)接口進(jìn)行的擴(kuò)展開發(fā)，使用空間云計(jì)算的組件接口來達(dá)成數(shù)據(jù)的實(shí)時(shí)性、高效性、安全性處理。

3.1 多尺度海量遙感影像的快速切片服務(wù)

采用hadoop大數(shù)據(jù)分布式計(jì)算框架，基于高性能地理信息數(shù)據(jù)處理引擎Geotrellis，對(duì)多尺度海量遙感影像大數(shù)據(jù)進(jìn)行導(dǎo)入，利用Spark RDD任務(wù)并行特性、高可用性對(duì)原始影像進(jìn)行快速瓦片分割計(jì)算；采用Accumulo分布式列式索引數(shù)據(jù)庫(kù)對(duì)瓦片進(jìn)行存儲(chǔ)，并支持瓦片柵格服務(wù)發(fā)布時(shí)進(jìn)行的高速大數(shù)據(jù)查詢，實(shí)現(xiàn)影像發(fā)布的高可用。解決了傳統(tǒng)方式在大影像數(shù)據(jù)從磁盤加載比較耗時(shí)、IO效率存在瓶頸、程序處理異常不可恢復(fù)、服務(wù)遷移不便的問題，增強(qiáng)數(shù)據(jù)處理效率吞吐量，提高用戶體驗(yàn)以及影像發(fā)布的實(shí)際應(yīng)用價(jià)值，服務(wù)流程如圖6所示。

圖6 遙感影像快速切片服務(wù)流程

3.2 位置數(shù)據(jù)路網(wǎng)實(shí)時(shí)匹配計(jì)算服務(wù)

海量的移動(dòng)位置傳感器位置數(shù)據(jù)接入平臺(tái)后，實(shí)時(shí)消息Kafka服務(wù)將原始位置信息導(dǎo)入Storm流式接收器，將城市中的海量交通設(shè)備位置流式數(shù)據(jù)通過高效實(shí)時(shí)的Storm計(jì)算框架進(jìn)行分發(fā)調(diào)度，分布至各個(gè)運(yùn)算節(jié)點(diǎn)進(jìn)行運(yùn)算；根據(jù)初始定位結(jié)果，利用路網(wǎng)數(shù)據(jù)庫(kù)，實(shí)時(shí)計(jì)算處理，將每次移動(dòng)目標(biāo)點(diǎn)的位置坐標(biāo)進(jìn)行糾正，投影到實(shí)際道路位置，并實(shí)時(shí)反饋至外部消費(fèi)服務(wù)用戶，從而使用戶獲取精度更高的實(shí)時(shí)位置，減少位置信號(hào)噪聲所帶來的干擾，服務(wù)流程如圖7所示。

圖7 位置數(shù)據(jù)路網(wǎng)實(shí)時(shí)匹配計(jì)算服務(wù)業(yè)務(wù)流程圖

3.3 視頻數(shù)據(jù)典型動(dòng)態(tài)目標(biāo)檢測(cè)服務(wù)

為了克服傳統(tǒng)圖像識(shí)別對(duì)視頻這類隨機(jī)復(fù)雜數(shù)據(jù)的環(huán)境識(shí)別能力弱、誤報(bào)率高、計(jì)算實(shí)時(shí)性差的問題，采用分布式深度神經(jīng)網(wǎng)絡(luò)計(jì)算技術(shù)平臺(tái)框架，通過構(gòu)建圖像卷積目標(biāo)分割模型，對(duì)視頻傳感器實(shí)時(shí)流進(jìn)行處理，實(shí)現(xiàn)對(duì)當(dāng)前環(huán)境的人、車等典型對(duì)象內(nèi)容實(shí)時(shí)高準(zhǔn)確率的識(shí)別與分割，達(dá)到典型視頻圖像內(nèi)容識(shí)別分類的目的，服務(wù)流程如圖8所示。

圖8 視頻數(shù)據(jù)典型動(dòng)態(tài)目標(biāo)檢測(cè)服務(wù)流程圖

4 結(jié) 語(yǔ)

智慧城市時(shí)空大數(shù)據(jù)平臺(tái)建設(shè)是提升城市治理能力、解決城市問題的具體舉措，也是全面履行好自然資源部職責(zé)的切實(shí)行動(dòng)，對(duì)于促進(jìn)城市政務(wù)信息資源整合共享、實(shí)現(xiàn)信息資源深度應(yīng)用、支撐政府科學(xué)決策具有重要意義[14]。