亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于分布式架構(gòu)的海量空間數(shù)據(jù)快速瀏覽與發(fā)布系統(tǒng)設(shè)計

        2022-12-30 10:34:46東,申
        中國科學(xué)探險 2022年9期
        關(guān)鍵詞:瓦片引擎服務(wù)

        李 東,申 遼

        1云南省自然資源廳國土資源信息中心

        2云南省測繪資料檔案館〈云南省基礎(chǔ)地理信息中心〉

        隨著自然資源數(shù)據(jù)獲取方式更加快捷,云南省現(xiàn)有自然資源信息化建設(shè)積累了大量的空間地理信息數(shù)據(jù)成果,因數(shù)據(jù)量大導(dǎo)致地圖服務(wù)瀏覽、查詢效率不高,地圖瓦片的構(gòu)建處理時間冗長、更新不及時,影響了自然資源大數(shù)據(jù)建設(shè)成果的應(yīng)用與推廣。同時,現(xiàn)有國土資源、基礎(chǔ)測繪、地質(zhì)環(huán)境等專業(yè)的信息化應(yīng)用建設(shè)中也發(fā)布了大量的地圖服務(wù),由于技術(shù)要求不一、管理分散、更新困難等問題,迫切需要建設(shè)國土空間海量數(shù)據(jù)快速瀏覽查詢、服務(wù)發(fā)布及更新系統(tǒng),滿足自然資源空間大數(shù)據(jù)的管理、快速瀏覽查詢和更新需求。

        1 系統(tǒng)技術(shù)設(shè)計

        建設(shè)自然資源數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng),主要是為了解決好兩個方面的問題。

        一是研發(fā)高性能分布式地圖瓦片引擎,解決地圖服務(wù)的快速切圖、快速發(fā)布、快速瀏覽的問題。實現(xiàn)在大數(shù)據(jù)量背景下的空間地圖服務(wù)高速化。

        二是研發(fā)國土資源空間數(shù)據(jù)統(tǒng)一發(fā)布系統(tǒng),解決現(xiàn)有地圖服務(wù)管理分散、數(shù)據(jù)不統(tǒng)一、資源利用效率低等問題。實現(xiàn)跨平臺的地圖服務(wù)統(tǒng)一管理、統(tǒng)一發(fā)布和統(tǒng)一更新。

        系統(tǒng)功能的建設(shè)應(yīng)包含高性能地圖瓦片引擎、空間數(shù)據(jù)高速更新、統(tǒng)一地圖服務(wù)發(fā)布與管理、地圖快速瀏覽查詢、系統(tǒng)監(jiān)控等五大主要功能模塊。

        1.1 系統(tǒng)技術(shù)架構(gòu)

        自然資源海量數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)需要在架構(gòu)層面,解決自然資源數(shù)據(jù)體量巨大、處理速度快、數(shù)據(jù)類型繁多、價值密度低等特性帶來的挑戰(zhàn),因此在技術(shù)選型上采用了當(dāng)前主流的Hadoop架構(gòu),并結(jié)合空間數(shù)據(jù)存儲、分析的特點,選擇了多種當(dāng)前主流的大數(shù)據(jù)框架[1]。在大數(shù)據(jù)存儲層,統(tǒng)一采用分布式文件系統(tǒng),架構(gòu)Swift、HBase,實現(xiàn)對空間數(shù)據(jù)的存儲;在大數(shù)據(jù)處理層,采用MapReduce、Hive、Spark等大數(shù)據(jù)處理框架,同時采用GIS Tools for Hadoop實現(xiàn)對空間大數(shù)據(jù)的處理[2]??臻g大數(shù)據(jù)管理的總體技術(shù)架構(gòu)如圖1所示:

        圖1 系統(tǒng)技術(shù)架構(gòu)

        (1)數(shù)據(jù)采集層

        國土資源大數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)的數(shù)據(jù)來源于國土資源大數(shù)據(jù)平臺,數(shù)據(jù)格式以結(jié)構(gòu)化空間數(shù)據(jù)為主,此外還會包括大量的非結(jié)構(gòu)化數(shù)據(jù),例如:圖片、視頻、音頻、文檔等。

        (2)大數(shù)據(jù)存儲層

        為了滿足不同數(shù)據(jù)格式的存儲要求,在數(shù)據(jù)存儲層搭建異構(gòu)的數(shù)據(jù)庫存儲技術(shù),對于結(jié)構(gòu)化數(shù)據(jù),采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(RDBMS)Oracle;對于非結(jié)構(gòu)化數(shù)據(jù),采用分布式存儲架構(gòu),Ceph、HDFS、HBase、Swift。在數(shù)據(jù)存儲層,對關(guān)系型數(shù)據(jù)庫和分布式存儲實現(xiàn)統(tǒng)一管理,向上層提供統(tǒng)一的訪問接口[3]。

        (3)大數(shù)據(jù)處理層

        結(jié)合空間數(shù)據(jù)處理的特點,在大數(shù)據(jù)處理層建 立GIS Tools for Hadoop框 架,依 托 底 層 的MapReduce、Hive,對空間數(shù)據(jù)進(jìn)行分布式處理和運算。同時,搭建通用的大數(shù)據(jù)處理框架,如Spark等,滿足常規(guī)大數(shù)據(jù)的處理需求,處理結(jié)果經(jīng)過空間建模、可視化,最終面向業(yè)務(wù)應(yīng)用。

        (4)服務(wù)層

        服務(wù)層為用戶提供快速瀏覽的地圖服務(wù)能力,包括矢量地圖快速瀏覽服務(wù)、影像地圖快速瀏覽服務(wù)。

        (5)應(yīng)用層

        國土資源大數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)支持Web端的訪問方式,用戶可以在Web端,訪問系統(tǒng)所發(fā)布的各類專題地圖服務(wù)。包括土地專題圖、礦政專題圖、地質(zhì)環(huán)境專題圖、不動產(chǎn)登記專題圖等。

        1.2 系統(tǒng)功能設(shè)計

        (1)高性能地圖瓦片引擎

        提供矢量地圖的分布式瓦片圖像緩存生成、影像地圖的分布式瓦片圖像緩存生成、分布式瓦片緩存管理、瓦片緩存局部更換等功能。為了與ArcGIS平臺兼容,高性能瓦片引擎要在輸入、輸出兩大環(huán)節(jié)與ArcGIS平臺保持兼容。高性能地圖瓦片引擎不僅要能夠識別ArcGIS配圖文件,還要能夠利用存儲在國土資源空間數(shù)據(jù)庫中的空間數(shù)據(jù)來生成地圖瓦片。由于既有的業(yè)務(wù)應(yīng)用系統(tǒng)所引用的地圖服務(wù),都是采用ArcGIS平臺發(fā)布的,所以高性能地圖瓦片引擎所生成的地圖瓦片也要能夠發(fā)布到ArcGIS平臺上,這樣就可以最大限度地保證在提升地圖服務(wù)效能的同時,保持相關(guān)業(yè)務(wù)的持續(xù)性。

        采用分布式計算框架不僅把計算的壓力分散到多臺設(shè)備上,尤其是把IO的壓力也分散開,有效利用各臺設(shè)備上的高速緩存,極大地提高瓦片生成效率。

        在分布式瓦片引擎節(jié)點上生成的地圖瓦片,也是散布在各個節(jié)點上。通過分布式文件系統(tǒng)將這些分散的地圖瓦片組織成為一個統(tǒng)一的整體。為了提高分布式瓦片存儲的存取速度,必須建立一套統(tǒng)一的分布式文件索引。

        (2)數(shù)據(jù)主動更新

        針對既有空間數(shù)據(jù)庫,能夠感知空間數(shù)據(jù)的更新。按照數(shù)據(jù)更新的空間范圍,快速重構(gòu)瓦片圖像緩存,并更新到相關(guān)地圖服務(wù)中。

        數(shù)據(jù)更新模塊的功能滿足兩項要求:

        一是能夠主動感知既有空間數(shù)據(jù)庫中的指定空間數(shù)據(jù)的更新。

        二是按照空間數(shù)據(jù)更新范圍,自動生成局部瓦片并更新到相關(guān)地圖服務(wù)中,根據(jù)所感知的空間數(shù)據(jù)的更新范圍,自動計算需要重新生成的瓦片范圍,通過瓦片引擎生成局部的地圖瓦片,然后再通過地圖統(tǒng)一發(fā)布服務(wù),把局部的地圖瓦片更新到相關(guān)的地圖服務(wù)中。

        (3)統(tǒng)一地圖服務(wù)發(fā)布與管理

        統(tǒng)一地圖服務(wù)發(fā)布與管理模塊包含國土空間資源目錄維護(hù)、矢量地圖服務(wù)快速發(fā)布、影像地圖服務(wù)快速發(fā)布、導(dǎo)入既有地圖服務(wù)、地圖服務(wù)維護(hù)管理等功能。

        統(tǒng)一地圖服務(wù)發(fā)布與管理模塊的功能需要滿足兩項要求:

        一是快速發(fā)布新的地圖服務(wù),包括矢量地圖服務(wù)和影像地圖服務(wù)。在高性能地圖服務(wù)平臺上,發(fā)布新的地圖服務(wù)。根據(jù)要求通過高性能地圖瓦片引擎生成地圖瓦片,提供可以快速瀏覽的地圖服務(wù)。

        二是跨平臺維護(hù)與管理既有已發(fā)布的地圖服務(wù)。通過ArcGIS的地圖服務(wù)管理接口,跨平臺接入已發(fā)布的地圖服務(wù),并實現(xiàn)統(tǒng)一的地圖服務(wù)管理功能。

        (4)地圖快速瀏覽查詢。地圖快速瀏覽查詢模塊包含基礎(chǔ)地圖快速瀏覽、專題圖快速瀏覽、圖層控制、地圖工具(選取、繪制、編輯、地圖量算)、空間數(shù)據(jù)快速查詢、空間數(shù)據(jù)分析等功能。本模塊實現(xiàn)的地圖快速瀏覽與快速查詢是基于所發(fā)布的地圖服務(wù)提供的高性能。

        (5)系統(tǒng)監(jiān)控

        系統(tǒng)監(jiān)控模塊包含集群管理、服務(wù)器節(jié)點監(jiān)控、服務(wù)發(fā)布任務(wù)監(jiān)控、操作日志、系統(tǒng)日志,以及基礎(chǔ)的系統(tǒng)管理功能。

        由于高性能地圖瓦片引擎會用到分布式處理技術(shù),導(dǎo)致系統(tǒng)部署在較為復(fù)雜的分布式集群環(huán)境下,良好高效的系統(tǒng)監(jiān)控模塊會使得整個集群環(huán)境易于維護(hù)。

        2 采用的關(guān)鍵技術(shù)

        2.1 基于dubbo的分布式處理

        隨著云計算的發(fā)展,系統(tǒng)應(yīng)用的規(guī)模不斷擴(kuò)大,常規(guī)的垂直應(yīng)用架構(gòu)已無法應(yīng)對,分布式服務(wù)架構(gòu)以及流動計算架構(gòu)勢在必行,亟需一個治理系統(tǒng)確保架構(gòu)演進(jìn)有條不紊。在本系統(tǒng)里我們將業(yè)務(wù)應(yīng)用抽取為一個個獨立的服務(wù),形成穩(wěn)定的服務(wù)中心,統(tǒng)一對外提供服務(wù)調(diào)用。采用分布式部署,具備橫向擴(kuò)展能力,滿足快速響應(yīng)需求,提供高容錯處理機(jī)制。

        主要核心部件:

        Remoting:網(wǎng)絡(luò)通信框架,實現(xiàn)了sync-overasync和request-response消息機(jī)制;

        RPC:遠(yuǎn)程過程調(diào)用,支持負(fù)載均衡、容災(zāi)和集群功能;

        Registry:服務(wù)目錄框架用于服務(wù)的注冊和服務(wù)事件發(fā)布和訂閱。

        2.2 基于nginx+lua+redis的高性能訪問分發(fā)

        借助于Nginx的事件驅(qū)動模型和非阻塞IO,可以實現(xiàn)高性能的Web應(yīng)用程序。同時引入ngx_lua,該模塊通過標(biāo)準(zhǔn)Lua5.1解釋器或LuaJIT 2.0/2.1,把Lua嵌入到Nginx里面,并利用Nginx子請求,把強(qiáng)大的Lua線程混合到Nginx的事件模型中。Lua代碼被執(zhí)行在網(wǎng)絡(luò)上是100%非阻塞的。在本系統(tǒng)中,上游請求服務(wù)為Redis,通過讀取Redis里存儲的瓦片緩存票據(jù)緩存索引,最終實現(xiàn)地圖訪問的高性能分發(fā)。

        Nginx采用的是master-worker模型多進(jìn)程模型一個master進(jìn)程管理多個worker進(jìn)程,基本的事件處理都是放在woker中,由master處理外部信號、配置文件的讀取及worker的初始化,worker進(jìn)程采用單線程、非阻塞的事件模型(Event Loop,事件循環(huán))來實現(xiàn)端口的監(jiān)聽及客戶端請求的處理和響應(yīng),同時worker還要處理來自master的信號。由于worker使用單線程處理各種事件,所以一定要保證主循環(huán)是非阻塞的,否則會大大降低worker的響應(yīng)能力。而Lua代碼執(zhí)行是非阻塞,非常符合Nginx進(jìn)程模型。

        2.3 分布式空間分析引擎

        通常GIS軟件以數(shù)據(jù)獲取、存儲、管理功能為主,并添加了各種時間維度和空間維度的專題圖展示功能,具有空間統(tǒng)計、地理分區(qū)、路徑分析、選址優(yōu)化等空間分析方法。但現(xiàn)有的數(shù)據(jù)管理和分析算法也難以擴(kuò)展到大規(guī)模的分布式并行計算系統(tǒng)之上,無法滿足對非結(jié)構(gòu)化的未知數(shù)據(jù)的探索性分析的需要,無法滿足大規(guī)模數(shù)據(jù)快速處理和復(fù)雜時空關(guān)系的分析需要。分布式空間分析引擎,引入空間數(shù)據(jù)庫一體化管理空間、屬性數(shù)據(jù),以及較小冗余度、高效空間索引等優(yōu)勢,結(jié)合分布式計算引擎對大型運算的優(yōu)化支持,實現(xiàn)分布式技術(shù)的空間分析方法。分布式空間分析引擎架構(gòu)由2部分組成:

        一是分布式計算層,以計算性能良好的Spark作為計算引擎,引入了與其他分布式計算不同的彈性分布式數(shù)據(jù)集(Resilient Distributed Datasets, RDD)進(jìn)行內(nèi)存運算,與MapReduce相比節(jié)省了大量的磁盤輸入、輸出操作,提高了運算速度;并以Shark(Hive on Spark)為數(shù)據(jù)倉庫,將查詢語句轉(zhuǎn)換為Spark上的RDD操作。

        二是數(shù)據(jù)管理層,采用空間數(shù)據(jù)庫與HDFS混合的方式進(jìn)行數(shù)據(jù)存儲。

        3 結(jié)論

        通過高速分布式計算技術(shù)與傳統(tǒng)的空間地理信息服務(wù)發(fā)布相結(jié)合,建設(shè)自然資源數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng),實現(xiàn)高速生成地圖瓦片、高速發(fā)布地圖服務(wù)、高速瀏覽地圖服務(wù),從技術(shù)上為云南省國土資源大數(shù)據(jù)的推廣應(yīng)用提供保障。同時通過分布式服務(wù)治理技術(shù),對國土資源時空云平臺、基礎(chǔ)地理信息時空云平臺、地質(zhì)環(huán)境信息時空云平臺上所發(fā)布的地圖服務(wù),實現(xiàn)跨平臺的統(tǒng)一管理、統(tǒng)一發(fā)布、統(tǒng)一更新,逐步改善既有業(yè)務(wù)應(yīng)用系統(tǒng)的地圖服務(wù)環(huán)境,從管理上解決國土資源信息化高速發(fā)展、數(shù)據(jù)成果快速積累所帶來的一些問題。

        猜你喜歡
        瓦片引擎服務(wù)
        一種基于主題時空價值的服務(wù)器端瓦片緩存算法
        服務(wù)在身邊 健康每一天
        慣性
        揚子江(2019年1期)2019-03-08 02:52:34
        服務(wù)在身邊 健康每一天
        服務(wù)在身邊 健康每一天
        藍(lán)谷: “涉藍(lán)”新引擎
        商周刊(2017年22期)2017-11-09 05:08:31
        招行30年:從“滿意服務(wù)”到“感動服務(wù)”
        商周刊(2017年9期)2017-08-22 02:57:56
        無形的引擎
        河南電力(2015年5期)2015-06-08 06:01:46
        基于Cocos2d引擎的PuzzleGame開發(fā)
        基于NoSQL數(shù)據(jù)庫的瓦片地圖服務(wù)
        国产精品日日摸夜夜添夜夜添| 中文字幕人妻av四季| 翘臀诱惑中文字幕人妻| 在线免费观看黄色国产强暴av| 综合色区亚洲熟妇另类| 欧美日韩色另类综合| 久久成年片色大黄全免费网站| 人妻少妇无码中文幕久久| 国内偷拍第一视频第一视频区| 色婷婷久久亚洲综合看片| 伊人久久精品无码二区麻豆| 色偷偷久久一区二区三区| 亚洲AV无码专区国产H小说| 操国产丝袜露脸在线播放| 在线观看国产白浆一区三区| 人妻丰满熟妇无码区免费| 国产96在线 | 亚洲| 97人妻视频妓女网| av在线网站一区二区| 国产精品一区二区久久国产| 久久久久无码国产精品一区| 亚洲暴爽av人人爽日日碰| 国产无套视频在线观看香蕉| 日韩熟女精品一区二区三区视频 | 日韩欧美成人免费观看| 久久久男人天堂| 91在线观看国产自拍| 变态调教一区二区三区女同| 欧美猛男军警gay自慰| 人妻中出精品久久久一区二| 中文字幕日本av网站| 少妇无套裸按摩呻吟无呜| 亚洲熟女乱色综合亚洲图片| 在线免费黄网| 国内精品熟女一区二区| 国产精品会所一区二区三区| 欧美野外疯狂做受xxxx高潮| 欧美精品日韩一区二区三区| 亚洲黑寡妇黄色一级片| av无码精品一区二区三区| 97午夜理论片在线影院|