亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        公益性地質(zhì)大數(shù)據(jù)服務平臺設(shè)計*

        2023-08-22 03:47:14武宇娟張鋅蕾
        計算機時代 2023年8期
        關(guān)鍵詞:公益性陜西省數(shù)據(jù)庫

        張 晨,武宇娟,段 琛,張鋅蕾

        (1.自然資源陜西省衛(wèi)星應用技術(shù)中心,陜西 西安 710002;2.陜西省地質(zhì)大數(shù)據(jù)中心)

        0 引言

        隨著大數(shù)據(jù)時代的到來,科學研究進入了以大數(shù)據(jù)為基礎(chǔ)、以數(shù)據(jù)密集型計算為手段的第四范式。大數(shù)據(jù)技術(shù)可助力地質(zhì)調(diào)查工作進入數(shù)字化、智能化的地質(zhì)調(diào)查時代,促使地質(zhì)數(shù)據(jù)共享與開放,突破各種主客觀因素的限制推動數(shù)字經(jīng)濟發(fā)展。

        本文在分析、總結(jié)陜西省公益性地質(zhì)數(shù)據(jù)資源特征的基礎(chǔ)上,探討了大數(shù)據(jù)架構(gòu)思想指導下地質(zhì)數(shù)據(jù)分級共享服務的設(shè)計思路和實現(xiàn)情況,形成了可行的平臺建設(shè)方案,為數(shù)字中國提供了陜西省公益性地質(zhì)調(diào)查領(lǐng)域的典型案例及經(jīng)驗。

        1 公益性地質(zhì)大數(shù)據(jù)服務平臺設(shè)計

        1.1 總體設(shè)計思路

        地質(zhì)學屬于數(shù)據(jù)密集型科學,地質(zhì)大數(shù)據(jù)具有大量性、特殊性、涉密性、多樣性和價值性[1],也具有潛在價值大的標志性特征[2]。陜西省公益性地質(zhì)調(diào)查工作在礦產(chǎn)地質(zhì)、農(nóng)業(yè)地質(zhì)、城市地質(zhì)、地質(zhì)災害綜合防治、國土空間規(guī)劃、地質(zhì)遺跡、自然資源衛(wèi)星遙感技術(shù)應用等領(lǐng)域,積累了多維、多元、多源的靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù),具有數(shù)據(jù)格式豐富、數(shù)據(jù)維護碎片化、靜態(tài)數(shù)據(jù)價值高、動態(tài)數(shù)據(jù)體量大的典型特征。

        綜合分析現(xiàn)有公益性地質(zhì)數(shù)據(jù)管理和利用現(xiàn)狀,以“多級文件夾+文件”的數(shù)據(jù)存儲模式以及地質(zhì)資料匯交流程下的數(shù)據(jù)管理方式已經(jīng)無法支撐地質(zhì)數(shù)據(jù)在匯存管用各個環(huán)節(jié)的高效流轉(zhuǎn)和數(shù)字資產(chǎn)管理,與數(shù)字地質(zhì)工作新格局的要求尚存在較大距離,不利于地質(zhì)數(shù)據(jù)的深度挖掘和價值再造。充分考慮地質(zhì)數(shù)據(jù)的混合性、抽樣性、稀缺性、多源性、多元性、多態(tài)性、時空性、變化性、因果性、關(guān)聯(lián)性、方向性、分帶性、代表性、惟一性等等[4],兼顧數(shù)據(jù)更新方式、頻率,陜西省公益性地質(zhì)大數(shù)據(jù)服務平臺自下而上劃分為基礎(chǔ)設(shè)施層、數(shù)據(jù)層、服務層、應用層(圖1)。引入分級共享審核流程,來保障數(shù)據(jù)資產(chǎn)管理、智能分析以及服務調(diào)用等方面的需求。

        圖1 系統(tǒng)總體架構(gòu)

        1.2 基礎(chǔ)設(shè)施層

        采用私有云方式建立一個集中式基礎(chǔ)環(huán)境,通過使用服務器端虛擬化技術(shù)對資源進行集中管理,實現(xiàn)資源粒度的劃分和封裝,提供虛擬BIOS、虛擬處理器、虛擬內(nèi)存、虛擬設(shè)備與I/O 能力,保護關(guān)鍵業(yè)務系統(tǒng)和數(shù)據(jù)。

        1.3 數(shù)據(jù)層

        準確、全面是大數(shù)據(jù)的基礎(chǔ)[3]。在實現(xiàn)數(shù)據(jù)隨用隨調(diào)、細粒度服務、全面可見的同時兼顧管理的可操作性是數(shù)據(jù)層設(shè)計的難點,也是本平臺設(shè)計的核心。利用Hbase 和HDFS 將多源異構(gòu)原始數(shù)據(jù)進行分布式存儲,采用關(guān)系型+文件系統(tǒng)的存儲管理方式實現(xiàn)多源、異構(gòu)數(shù)據(jù)的管理,通過索引關(guān)系進行統(tǒng)一的查詢、瀏覽、管理和維護。結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)等采用關(guān)系型模型進行存儲和管理;矢量數(shù)據(jù),例如基礎(chǔ)地理數(shù)據(jù)、地質(zhì)圖件數(shù)據(jù)等,采用擴展關(guān)系型模型(Geodatabase)來進行存儲和管理;非結(jié)構(gòu)化的圖片、電子文檔、音視頻等數(shù)據(jù),則以元數(shù)據(jù)+編目+文件方式統(tǒng)一存儲在文件服務器上;多源、多分辨率,多時相的遙感影像數(shù)據(jù)區(qū)分為冷數(shù)據(jù)和熱數(shù)據(jù),采用元數(shù)據(jù)+編目+影像文件方式,冷數(shù)據(jù)存儲在磁盤陣列上,熱數(shù)據(jù)存儲在緩存中。

        使用專業(yè)的數(shù)據(jù)處理工具和人工交互方式,對原始數(shù)據(jù)進行提取、轉(zhuǎn)換、重構(gòu)、空間投影轉(zhuǎn)換和質(zhì)檢后入庫。以符合地質(zhì)調(diào)查行業(yè)習慣的數(shù)據(jù)分類為主,利用標簽系統(tǒng)擴展數(shù)據(jù)特征維度,建立數(shù)據(jù)庫分類目錄。在不改變空間數(shù)據(jù)原始格式的情況下,使用商用Web 空間數(shù)據(jù)服務平臺將其發(fā)布成符合OGC 標準的服務,以便提供即時服務能力。

        1.4 平臺層

        基于基礎(chǔ)設(shè)施層和數(shù)據(jù)層提供的工具和接口,以商用GIS 平臺為基礎(chǔ),搭建面向應用層的體系化服務能力。提供數(shù)據(jù)、功能、接口和管理四類服務(圖2)。

        圖2 平臺層服務能力圖

        1.5 應用層

        應用層圍繞公益性地質(zhì)業(yè)務,集成已有系統(tǒng)或搭建新系統(tǒng)。以統(tǒng)一入口、標準化API接口、數(shù)據(jù)即時同步和界面風格統(tǒng)一的基本原則,實現(xiàn)了陜西省地源熱泵監(jiān)控平臺、陜西省地質(zhì)災害監(jiān)測預警信息系統(tǒng)、秦嶺北麓國土資源衛(wèi)星遙感監(jiān)測服務平臺、陜西省農(nóng)村生活垃圾治理遙感監(jiān)測核查與整治等業(yè)務系統(tǒng)集成。使用平臺層提供的微服務組件,快速構(gòu)建業(yè)務流。由通用數(shù)據(jù)服務、矢量數(shù)據(jù)服務、柵格數(shù)據(jù)服務提供業(yè)務數(shù)據(jù),開發(fā)了霞客游陜西、項目管理中心、地質(zhì)調(diào)查隨身行等業(yè)務或管理應用。

        2 實驗測試

        在私有云環(huán)境下,安裝Windows 10 操作系統(tǒng),配置Hadoop、Hbase、Zookeeper、Kafka、Redis、Tomcat、ArcGIS等環(huán)境。以關(guān)系型數(shù)據(jù)庫(PostgreSQL)、NoSQL數(shù)據(jù)庫(MongoDB、MinIO)和空間數(shù)據(jù)庫(PostGIS、FileGDB)進行數(shù)據(jù)庫存儲和管理。間數(shù)據(jù)庫整合多尺度、多源數(shù)據(jù)類型(包括矢量數(shù)據(jù)、柵格數(shù)據(jù)、遙感影像數(shù)據(jù)等)的空間數(shù)據(jù)。屬性數(shù)據(jù)庫主要用于存儲與管理具有比較精確的空間特性的地理位置屬性數(shù)據(jù)(區(qū)市地理、空間位置、相對動態(tài)等),通過空間屬性與基礎(chǔ)地理數(shù)據(jù)建立鏈接。時間是每個專業(yè)維度屬性的一個復合數(shù)據(jù)項[5],采取時間標簽+非結(jié)構(gòu)化數(shù)據(jù)庫存儲技術(shù)解決地質(zhì)數(shù)據(jù)的生命周期版本管理、細粒度拆分引起的數(shù)據(jù)體量幾何式增長帶來的分析和定位問題。在此基礎(chǔ)上,構(gòu)建統(tǒng)一的標簽體系,嘗試建立了數(shù)據(jù)血緣關(guān)系分析和熱詞云功能(圖3)。

        圖3 熱詞云

        3 結(jié)論

        地質(zhì)大數(shù)據(jù)的高維度、時空性和涉密性對平臺的構(gòu)建具有很高要求。需根據(jù)數(shù)據(jù)特征進行分類存儲和管理,需以地質(zhì)調(diào)查業(yè)務流程和實際應用需求設(shè)計數(shù)據(jù)調(diào)用。陜西省公益性地質(zhì)大數(shù)據(jù)平臺為地質(zhì)調(diào)查數(shù)據(jù)的匯、存、管、用提供了一套可行的實踐方案。未來對于地質(zhì)數(shù)據(jù)的時空耦合、多源異構(gòu)數(shù)據(jù)融合與挖掘、多維數(shù)據(jù)的可視化表達等前沿技術(shù)問題仍需進一步研究。

        猜你喜歡
        公益性陜西省數(shù)據(jù)庫
        陜西省自強中等專業(yè)學校簡介
        陜西省抓黨建促脫貧攻堅的實踐與思考
        當代陜西(2019年8期)2019-05-09 02:23:32
        聚焦兩會
        陜西畫報(2018年1期)2018-11-17 19:33:14
        關(guān)于準公益性和公益性水利項目PPP回報機制的探索
        陜西省閱讀文化節(jié)
        數(shù)據(jù)庫
        財經(jīng)(2017年2期)2017-03-10 14:35:35
        一家醫(yī)院的“公益性報告”
        數(shù)據(jù)庫
        財經(jīng)(2016年15期)2016-06-03 07:38:02
        數(shù)據(jù)庫
        財經(jīng)(2016年3期)2016-03-07 07:44:46
        數(shù)據(jù)庫
        財經(jīng)(2016年6期)2016-02-24 07:41:51
        亚洲美女性生活一级片| 日本在线看片免费人成视频1000| 久久精品国内一区二区三区| 色系免费一区二区三区| 长腿丝袜在线观看国产| 精品厕所偷拍一区二区视频| 任你躁国产自任一区二区三区 | 国产aⅴ夜夜欢一区二区三区| 成人在线视频自拍偷拍| 一本一道久久精品综合| 香蕉人人超人人超碰超国产| 在线免费观看韩国a视频| 少妇久久高潮不断免费视频| 国产一区二区av免费在线观看| 果冻传媒2021精品一区| 专区国产精品第一页| 国产黑色丝袜在线观看网站91| 亚洲av午夜一区二区三| 日韩毛片免费无码无毒视频观看| 国产日韩久久久精品影院首页| 亚洲一区久久久狠婷婷| 欧美牲交a欧美牲交| a人片在线观看苍苍影院| 国产成人一区二区三区视频免费蜜| 美女一区二区三区在线视频| 伊人久久精品无码二区麻豆| 亚洲精品国产精品国自产观看 | 熟女系列丰满熟妇av| 日本乱码一区二区三区在线观看| 草草浮力影院| 精品无码AV无码免费专区| 东京热东京道日韩av| 强开小婷嫩苞又嫩又紧视频| 亚洲中文字幕无码mv| 综合图区亚洲另类偷窥| 一区二区三区午夜视频在线| 国语对白嫖老妇胖老太| 老熟妇Av| 中文字日产幕码三区做法| 国产精品美女久久久久av福利 | 日韩精品有码中文字幕|