曾國雄,何林華,唐宗仁,霍宏旭
(北京慧圖科技(集團(tuán))股份有限公司,100071,北京)
隨著衛(wèi)星遙感技術(shù)、地面感知技術(shù)、大數(shù)據(jù)技術(shù)、數(shù)字孿生技術(shù)、虛擬仿真技術(shù)等發(fā)展,數(shù)據(jù)成為智慧水利建設(shè)不可或缺的一部分。數(shù)據(jù)底板是數(shù)字孿生流域中的“算據(jù)”部分,是數(shù)據(jù)聯(lián)接與傳遞的“中樞”,也是支撐數(shù)字孿生流域模型平臺、知識平臺和業(yè)務(wù)應(yīng)用平臺的數(shù)據(jù)基底。數(shù)據(jù)底板應(yīng)在水利一張圖基礎(chǔ)上升級擴(kuò)展,完善數(shù)據(jù)類型、數(shù)據(jù)范圍、數(shù)據(jù)質(zhì)量以及優(yōu)化數(shù)據(jù)融合、分析計(jì)算等功能。
當(dāng)下數(shù)據(jù)底板構(gòu)建面臨新機(jī)遇和新挑戰(zhàn),快速高效融合多來源(空、天、地)、多尺度(多級流域)、多維度(時(shí)、空)的水利數(shù)據(jù),有效管理數(shù)據(jù)、全面挖掘數(shù)據(jù),是提升數(shù)據(jù)服務(wù)價(jià)值的基礎(chǔ)。由于孿生數(shù)據(jù)的表示、分類、預(yù)處理、存儲、使用、測試等缺乏標(biāo)準(zhǔn)指導(dǎo),導(dǎo)致數(shù)據(jù)分類不統(tǒng)一、數(shù)據(jù)格式不兼容,通用性差、互操作困難、數(shù)據(jù)融合困難。因此需要研究建立一套統(tǒng)一的數(shù)據(jù)底板構(gòu)建標(biāo)準(zhǔn),強(qiáng)化數(shù)據(jù)在應(yīng)用過程中的有效性和可靠性,支撐水利業(yè)務(wù)“四預(yù)”功能實(shí)現(xiàn)。
數(shù)據(jù)底板的搭建目標(biāo)是在現(xiàn)有數(shù)據(jù)共享體系基礎(chǔ)上收集流域范圍的水利基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)管理數(shù)據(jù)、動態(tài)監(jiān)測數(shù)據(jù)、地理空間數(shù)據(jù)以及跨行業(yè)共享數(shù)據(jù),以數(shù)據(jù)模型為核心進(jìn)行數(shù)據(jù)關(guān)聯(lián)與融合,形成基礎(chǔ)數(shù)據(jù)統(tǒng)一、監(jiān)測數(shù)據(jù)匯集、二三維一體化、跨層級跨業(yè)務(wù)的數(shù)據(jù)底板,實(shí)現(xiàn)全要素的數(shù)字化映射,并與模型平臺、知識平臺集成實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)化,形成具備持續(xù)性更新能力的數(shù)據(jù)支撐體系。數(shù)據(jù)底板構(gòu)建總體架構(gòu)如圖1。
①數(shù)據(jù)源:數(shù)據(jù)底板所需融合匯聚的各種數(shù)據(jù)源,包括通過不同采集手段獲取的數(shù)據(jù)。
②數(shù)據(jù)匯集:主要實(shí)現(xiàn)水利業(yè)務(wù)應(yīng)用所需的多源數(shù)據(jù)統(tǒng)一匯聚。一般需歸集的關(guān)系數(shù)據(jù)主要是水利要素基礎(chǔ)和關(guān)聯(lián)數(shù)據(jù)、量測水?dāng)?shù)據(jù)、雨水情數(shù)據(jù)、預(yù)報(bào)降雨量及日蒸發(fā)量數(shù)據(jù)、閘門/泵站流量等數(shù)據(jù),通過數(shù)據(jù)治理工具、人工錄入等方式統(tǒng)一進(jìn)行歸集和整合,接入數(shù)據(jù)湖中實(shí)現(xiàn)跨部門、多源數(shù)據(jù)的匯聚;非關(guān)系型數(shù)據(jù)主要包括基礎(chǔ)地形、傾斜攝影、水下地形、BIM模型、量測站設(shè)備拍攝的圖片、視頻以及其他水利工程資料等。
③數(shù)據(jù)治理與存儲:對各類數(shù)據(jù)按照相關(guān)要求和規(guī)范建立項(xiàng)目數(shù)據(jù)標(biāo)準(zhǔn),實(shí)現(xiàn)數(shù)據(jù)整合、整編匯總和存儲。通過建立項(xiàng)目數(shù)據(jù)標(biāo)準(zhǔn),以元數(shù)據(jù)為驅(qū)動,構(gòu)建完整的數(shù)據(jù)管理體系,對問題數(shù)據(jù)進(jìn)行更新,提升數(shù)據(jù)質(zhì)量。
④數(shù)據(jù)服務(wù):將各類數(shù)據(jù)資源按照《國家數(shù)據(jù)共享交換平臺數(shù)據(jù)交換系統(tǒng)技術(shù)規(guī)范》等標(biāo)準(zhǔn)規(guī)范,進(jìn)行接口化、服務(wù)化的封裝,并通過服務(wù)集成平臺發(fā)布等方式,為防汛抗旱、灌區(qū)管理、水資源管理、城鄉(xiāng)供水等水利業(yè)務(wù)應(yīng)用提供數(shù)字資源目錄、數(shù)字查詢和分析、數(shù)據(jù)可視化以及數(shù)據(jù)共享等服務(wù)。
圖1 數(shù)據(jù)底板構(gòu)建總體架構(gòu)
針對不同數(shù)據(jù)來源采用不同的數(shù)據(jù)匯聚方式,通過大數(shù)據(jù)技術(shù)實(shí)現(xiàn)各類數(shù)據(jù)統(tǒng)一匯聚、存儲,并基于制定的數(shù)據(jù)標(biāo)準(zhǔn)按照標(biāo)準(zhǔn)化治理方法進(jìn)行清洗轉(zhuǎn)化、融合處理,提升數(shù)據(jù)質(zhì)量,為水利業(yè)務(wù)應(yīng)用提供服務(wù)。統(tǒng)一數(shù)據(jù)底板構(gòu)建路徑如圖2。
圖2 統(tǒng)一數(shù)據(jù)底板構(gòu)建路徑
數(shù)據(jù)底板構(gòu)建首先要弄清楚水利數(shù)據(jù)來源,也就是數(shù)據(jù)的采集對象,并針對采集對象分析數(shù)據(jù)獲取手段。
綜合現(xiàn)有研究成果,梳理大數(shù)據(jù)采集對象包含自然環(huán)境類、社會活動類、工程設(shè)施類、業(yè)務(wù)管理類4個(gè)維度。其中自然環(huán)境類對象采集內(nèi)容主要包括河流、湖泊、地下水以及相關(guān)的水環(huán)境、水生態(tài)、地貌等信息;社會活動類對象信息主要采集網(wǎng)絡(luò)上與水管理相關(guān)內(nèi)容,比如輿情、人類活動軌跡等;工程設(shè)施類對象采集內(nèi)容主要包括工程安全、工程安防監(jiān)控以及工程相關(guān)的雨水情、環(huán)境等信息;業(yè)務(wù)管理類對象采集內(nèi)容包括防汛抗旱、水資源管理、河湖管理、水土保持監(jiān)管、農(nóng)村水利管理等業(yè)務(wù)管理工作相關(guān)的涉水事件、行為與現(xiàn)象,還包括閘門、泵站等機(jī)電設(shè)備運(yùn)行工況以及水利工程運(yùn)行預(yù)報(bào)、調(diào)度、控制等信息。
為獲取上述4類對象信息內(nèi)容,采集手段分為地面監(jiān)測、衛(wèi)星遙感、航空遙感、互聯(lián)網(wǎng)采集及模型模擬(再分析)5類,構(gòu)成了天空地一體化立體監(jiān)測體系,編織了水利信息感知“天羅地網(wǎng)”。
匯集的原始數(shù)據(jù)一般應(yīng)按照一定的標(biāo)準(zhǔn)入湖,需建立歸集庫,初步確定原始數(shù)據(jù)入湖標(biāo)準(zhǔn)。歸集庫的數(shù)據(jù)表與數(shù)據(jù)源的庫表結(jié)構(gòu)及數(shù)據(jù)內(nèi)容保持一致,除了對有差異的字段類型進(jìn)行轉(zhuǎn)換外,不對原始數(shù)據(jù)進(jìn)行其他加工處理。歸集庫表結(jié)構(gòu)應(yīng)基于數(shù)據(jù)來源表結(jié)構(gòu)設(shè)計(jì),額外增加時(shí)間戳字段,便于增量歸集數(shù)據(jù)。歸集庫建模時(shí)需根據(jù)不同數(shù)據(jù)來源創(chuàng)建不同的歸集表,表名按照“數(shù)據(jù)庫標(biāo)識+數(shù)據(jù)來源單位縮寫+具體數(shù)據(jù)信息”形式創(chuàng)建,以方便區(qū)分?jǐn)?shù)據(jù)來源,歸集表中字段名稱及數(shù)據(jù)類型需和數(shù)據(jù)來源保持一致,便于后續(xù)數(shù)據(jù)出現(xiàn)問題時(shí)回溯查源。不同數(shù)據(jù)類型可選擇的匯集方式與入湖方法見圖3。
數(shù)據(jù)存儲通常采用關(guān)系型數(shù)據(jù)庫、分布式數(shù)據(jù)庫、分布式文件系統(tǒng)分別對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一存儲和管理。
(1)關(guān)系型數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫管理系統(tǒng)是當(dāng)前智慧水利建設(shè)中結(jié)構(gòu)化數(shù)據(jù)的主要存儲方式,如實(shí)時(shí)雨水情數(shù)據(jù)庫、基礎(chǔ)水文數(shù)據(jù)庫、水質(zhì)數(shù)據(jù)庫等,都是結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)關(guān)系型數(shù)據(jù)庫具有分布式存儲所不具備的安全優(yōu)勢;由關(guān)系型數(shù)據(jù)庫擴(kuò)展形成的并行數(shù)據(jù)庫逐步取代關(guān)系型數(shù)據(jù)庫的某些功能,能大幅度提升業(yè)務(wù)系統(tǒng)性能。
(2)分布式數(shù)據(jù)庫
分布式數(shù)據(jù)庫可對結(jié)構(gòu)松散無模式的半結(jié)構(gòu)化水利數(shù)據(jù)、非事務(wù)特性的海量結(jié)構(gòu)化數(shù)據(jù)或海量非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲。目前在涉水領(lǐng)域大部分采用HBase作為系統(tǒng)開發(fā)的存儲數(shù)據(jù)庫。HBase是Hadoop生態(tài)圈的重要組成部分,內(nèi)部管理文件全部存儲在HDFS(Hadoop Distributed File System)中。
圖3 數(shù)據(jù)匯集方式與方法
(3)分布式文件系統(tǒng)
分布式文件系統(tǒng)主要包括GFS(Google File System)、HDFS、Colossus、GPFS(General Parallel File System)、Ceph、Farsite、Clover等,可對非結(jié)構(gòu)化水利數(shù)據(jù)進(jìn)行存儲。其中HDFS作為面向數(shù)據(jù)追加和讀取優(yōu)化的開源分布式文件系統(tǒng),具有可移植、高容錯(cuò)和可大規(guī)模水平擴(kuò)展特性。采用HDFS文件和MapReduce并行計(jì)算框架可以實(shí)現(xiàn)空間數(shù)據(jù)密集計(jì)算、并行計(jì)算、快速檢索與快速傳輸,解決海量多源遙感數(shù)據(jù)處理效率低和共享程度低等問題。
4.數(shù)據(jù)治理(治)
數(shù)據(jù)治理是對匯集后的多源數(shù)據(jù)進(jìn)行統(tǒng)一管理同,以提升數(shù)據(jù)規(guī)范性、一致性、可用性,避免數(shù)據(jù)冗余和沖突。
(1)數(shù)據(jù)權(quán)責(zé)關(guān)系梳理
數(shù)據(jù)資產(chǎn)權(quán)責(zé)關(guān)系是數(shù)據(jù)治理的基礎(chǔ),也是多源數(shù)據(jù)融合的重要依據(jù),針對所有匯集過來的數(shù)據(jù)進(jìn)行明確數(shù)據(jù)責(zé)任劃分,確保在數(shù)據(jù)治理過程中出現(xiàn)多源數(shù)據(jù)沖突時(shí)采用準(zhǔn)確的數(shù)據(jù)來源,從而保證數(shù)據(jù)的權(quán)威性。當(dāng)數(shù)據(jù)治理完成形成標(biāo)準(zhǔn)的數(shù)據(jù)資產(chǎn)后,應(yīng)指定相應(yīng)責(zé)任部門牽頭制定數(shù)據(jù)資產(chǎn)管理的政策、標(biāo)準(zhǔn)、規(guī)則、流程等,確保數(shù)據(jù)資產(chǎn)管理規(guī)范化。
(2)數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)
①基礎(chǔ)屬性數(shù)據(jù)庫標(biāo)準(zhǔn):應(yīng)嚴(yán)格遵守《水利對象分類與編碼總則》(SL/T 213—2020)、《水利對象基礎(chǔ)數(shù)據(jù)庫表結(jié)構(gòu)與標(biāo)識符》(SL/T 809—2021)等水利行業(yè)、信息化建設(shè)相關(guān)的技術(shù)標(biāo)準(zhǔn)和規(guī)范進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化設(shè)計(jì)。
②監(jiān)測數(shù)據(jù)庫標(biāo)準(zhǔn):應(yīng)優(yōu)先按照國標(biāo)、行標(biāo)設(shè)計(jì),沒有國標(biāo)、行標(biāo)的數(shù)據(jù)按照項(xiàng)目標(biāo)準(zhǔn)規(guī)定建設(shè),應(yīng)主要參考《水利對象分類與編碼總則》、《實(shí)時(shí)雨水情表結(jié)構(gòu)與標(biāo)識符》(SL 323—2011)、《水質(zhì)數(shù)據(jù)庫表結(jié)構(gòu)與標(biāo)識符規(guī)定》(SL 325—2016)等標(biāo)準(zhǔn)規(guī)范。
③業(yè)務(wù)管理數(shù)據(jù)庫標(biāo)準(zhǔn):結(jié)合實(shí)際業(yè)務(wù)需求并遵循數(shù)據(jù)庫設(shè)計(jì)三大范式自建標(biāo)準(zhǔn)規(guī)范。庫表結(jié)構(gòu)中涉及監(jiān)測數(shù)據(jù)、基礎(chǔ)屬性數(shù)據(jù)、預(yù)報(bào)數(shù)據(jù)等字段信息的應(yīng)盡量貼合相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)。
④地理空間數(shù)據(jù)庫標(biāo)準(zhǔn):嚴(yán)格遵守《水利地理空間信息元數(shù)據(jù)標(biāo)準(zhǔn)》(SL 420—2007)、《水利空間要素圖式與表達(dá)規(guī)范》(SL 730—2015)、《空間三維模型數(shù)據(jù)服務(wù)結(jié)構(gòu)團(tuán)體標(biāo)準(zhǔn)》(T/CAGIS 2—2020)等相關(guān)技術(shù)標(biāo)準(zhǔn)和規(guī)范進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化設(shè)計(jì)。
⑤元數(shù)據(jù)庫標(biāo)準(zhǔn):依據(jù)《水利信息核心元數(shù)據(jù)標(biāo)準(zhǔn)》(SL 473—2010)設(shè)計(jì),以保證元數(shù)據(jù)庫權(quán)威性、準(zhǔn)確性,如元數(shù)據(jù)基本信息應(yīng)包括中文名稱、英文名稱、縮寫名、定義、數(shù)據(jù)類型、約束/條件、最大出現(xiàn)次數(shù)、域等8個(gè)信息。
(3)數(shù)據(jù)清洗轉(zhuǎn)化
數(shù)據(jù)清洗轉(zhuǎn)化是實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化的主要處理環(huán)節(jié)。對匯集來的數(shù)據(jù)按照建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)制定數(shù)據(jù)清洗規(guī)則,通過手工清洗、ETL任務(wù)清洗等方式對分散的基礎(chǔ)數(shù)據(jù)、空間數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等進(jìn)行過濾、去重、格轉(zhuǎn)、校驗(yàn)操作,同時(shí)進(jìn)行數(shù)據(jù)追溯和數(shù)據(jù)質(zhì)量控制,保證數(shù)據(jù)的一致性、權(quán)威性、完整性、合法性、唯一性。
①數(shù)據(jù)清洗任務(wù)。數(shù)據(jù)清洗轉(zhuǎn)化包括過濾、去重、格轉(zhuǎn)、校驗(yàn)以及多元?dú)w一。
過濾:在歸集的歷史數(shù)據(jù)中,部分?jǐn)?shù)據(jù)存在不符合數(shù)據(jù)含義、數(shù)據(jù)類型甚至存在亂碼的情況,這部分?jǐn)?shù)據(jù)可直接過濾掉。
去重:部分?jǐn)?shù)據(jù)的屬性值均相同,這些數(shù)據(jù)被認(rèn)為是重復(fù)記錄,通過合并/消除的方式合并為一條記錄。
格轉(zhuǎn):包含空值處理、無效值處理、數(shù)據(jù)字典碼轉(zhuǎn)換以及單位轉(zhuǎn)換。空值處理,即部分?jǐn)?shù)據(jù)存在空字符串、null、NULL等空值情況,將該部分?jǐn)?shù)據(jù)統(tǒng)一轉(zhuǎn)化為NULL。無效值處理,即部分?jǐn)?shù)據(jù)存在無效情況,如日期類型的字段為NULL或空字符串等,將該部分?jǐn)?shù)據(jù)統(tǒng)一轉(zhuǎn)化為固定日期。數(shù)據(jù)字典碼轉(zhuǎn)換,即部分?jǐn)?shù)據(jù)存在大量的字典碼值信息,如代碼與描述同時(shí)存在,系統(tǒng)統(tǒng)一處理全部轉(zhuǎn)化為標(biāo)準(zhǔn)統(tǒng)一的碼值。單位轉(zhuǎn)換,即部分?jǐn)?shù)據(jù)的單位與標(biāo)準(zhǔn)庫中規(guī)定的單元不一致,需將單位轉(zhuǎn)換為標(biāo)準(zhǔn)庫的單位,保證后續(xù)數(shù)據(jù)應(yīng)用的準(zhǔn)確性。
校驗(yàn):需校驗(yàn)數(shù)據(jù)編碼或字典碼是否符合標(biāo)準(zhǔn)庫的設(shè)計(jì)規(guī)范,不符合需按照設(shè)計(jì)規(guī)范正確修改。
多源歸一:主要是指一數(shù)一源策略,包括來源優(yōu)先、權(quán)責(zé)指定、時(shí)間優(yōu)先等。當(dāng)同一數(shù)據(jù)有不同來源時(shí),需根據(jù)策略做數(shù)據(jù)融合,保證數(shù)據(jù)的準(zhǔn)確性。來源優(yōu)先,即數(shù)據(jù)調(diào)研階段,把匯集的多源數(shù)據(jù)進(jìn)行列舉,并根據(jù)權(quán)責(zé)關(guān)系進(jìn)行排序,按照先后順序選取。權(quán)責(zé)指定,即將相關(guān)元數(shù)據(jù)按照部門或者系統(tǒng)進(jìn)行指定,指定的數(shù)據(jù)源存在數(shù)據(jù)就去融合,否則不處理。時(shí)間優(yōu)先,即對同等權(quán)重的多源數(shù)據(jù)采用后進(jìn)為準(zhǔn)的原則,同類數(shù)據(jù)以最后入庫的數(shù)據(jù)為最新的正確數(shù)據(jù)。
②數(shù)據(jù)清洗技術(shù)。數(shù)據(jù)清洗技術(shù)主要包括異構(gòu)數(shù)據(jù)處理技術(shù)、異常數(shù)據(jù)檢測技術(shù)、缺失數(shù)據(jù)處理技術(shù)、重復(fù)數(shù)據(jù)檢測技術(shù)等。其中,異構(gòu)數(shù)據(jù)轉(zhuǎn)化技術(shù)通過建立表字段映射規(guī)則、拆分規(guī)則和值合并規(guī)則或計(jì)算機(jī)轉(zhuǎn)換函數(shù)對異構(gòu)數(shù)據(jù)進(jìn)行處理。異常值清洗技術(shù)是指對于某個(gè)或某幾個(gè)字段,絕大部分記錄在該字段的值遵循某個(gè)模式,不遵循該模式的記錄被認(rèn)為是異常值。缺失值清洗技術(shù)是針對實(shí)際存在但未被存入所屬字段的值進(jìn)行數(shù)據(jù)清洗處理。如果缺失值的記錄占極小部分,或缺失的屬性與關(guān)鍵屬性關(guān)聯(lián)度不大時(shí),可以簡單丟棄含缺失值的記錄;當(dāng)缺失值的記錄非常龐大,棄之不用會嚴(yán)重影響分析結(jié)果,則需要人為補(bǔ)上,從而進(jìn)行后續(xù)分析。
(4)數(shù)據(jù)融合處理
數(shù)據(jù)融合是利用計(jì)算機(jī)技術(shù)對時(shí)序獲得的若干感知數(shù)據(jù),在一定準(zhǔn)則下加以分析、綜合,以完成所需決策和評估任務(wù)而進(jìn)行的數(shù)據(jù)處理過程。數(shù)據(jù)融合的實(shí)質(zhì)是針對多維數(shù)據(jù)進(jìn)行關(guān)聯(lián)或綜合分析,應(yīng)選取適當(dāng)?shù)娜诤夏J胶吞幚硭惴???晒┻x擇的數(shù)據(jù)融合方式有結(jié)構(gòu)化數(shù)據(jù)接入、非結(jié)構(gòu)化數(shù)據(jù)接入、API數(shù)據(jù)接入、流式數(shù)據(jù)接入、流式數(shù)據(jù)導(dǎo)入等。
(5)數(shù)據(jù)血緣分析
數(shù)據(jù)血緣指數(shù)據(jù)產(chǎn)生的鏈路關(guān)系,即數(shù)據(jù)產(chǎn)生、加工融合、流轉(zhuǎn)流通到最終消亡,之間自然會形成的一種關(guān)系。建立在數(shù)據(jù)融合之上,自動計(jì)算形成全局的數(shù)據(jù)血緣圖譜,可形象、直觀展示數(shù)據(jù)鏈路關(guān)系,方便數(shù)據(jù)開發(fā)者探索數(shù)據(jù)問題本質(zhì),及時(shí)定位問題,輔助數(shù)據(jù)治理。
血緣圖譜提供分層展示數(shù)據(jù)的能力,以帶箭頭的連線體現(xiàn)數(shù)據(jù)關(guān)聯(lián)關(guān)系,箭頭指向下游數(shù)據(jù)。血緣圖譜可覆蓋數(shù)據(jù)表的源頭,記錄數(shù)據(jù)表的所屬數(shù)據(jù)源、源頭與目標(biāo)表映射關(guān)系以及數(shù)據(jù)量。同時(shí)提供搜索功能,可快速定位某數(shù)據(jù)表的上下游血緣關(guān)系,并可查看該數(shù)據(jù)表詳情。
5.數(shù)據(jù)服務(wù)(用)
數(shù)據(jù)底板提供多樣化的數(shù)據(jù)服務(wù)能力,包括目錄服務(wù)、查詢分析服務(wù)、可視化服務(wù)以及共享服務(wù)等。
數(shù)據(jù)資源目錄:是對已完成治理的信息資源進(jìn)行排序、編碼、描述,便于檢索、定位與獲取信息資源。資源目錄編目后存儲到數(shù)據(jù)表中,并對數(shù)據(jù)表設(shè)置安全訪問權(quán)限,保證目錄數(shù)據(jù)的可信性。
數(shù)據(jù)查詢分析服務(wù):大數(shù)據(jù)之間存在豐富的關(guān)聯(lián)關(guān)系,發(fā)掘大數(shù)據(jù)價(jià)值的一個(gè)重要基礎(chǔ)是能夠分析出數(shù)據(jù)集里隱藏的相互關(guān)系網(wǎng)??梢酝ㄟ^利用《水利公文詞表》和《水利信息化常用術(shù)語》構(gòu)建水利領(lǐng)域本體,并綜合知網(wǎng)語義,形式化描述水利數(shù)據(jù)間的關(guān)聯(lián)關(guān)系,定義語義推理規(guī)則,構(gòu)建基于模糊語義的推理機(jī)對水利大數(shù)據(jù)的語義關(guān)系發(fā)現(xiàn)進(jìn)行技術(shù)探索,實(shí)現(xiàn)數(shù)據(jù)查詢分析。
數(shù)據(jù)可視化服務(wù):當(dāng)水利大數(shù)據(jù)以直觀的、沉浸感的可視化圖像或圖形形式展示在用戶面前時(shí),用戶利用視覺思維能力能夠一眼洞悉水利數(shù)據(jù)背后隱藏的信息并轉(zhuǎn)化為水利知識及管理智慧。考慮到水利領(lǐng)域工程建設(shè)需求、業(yè)務(wù)管理需求和流域水循環(huán)特點(diǎn),信息可視化技術(shù)已引入水利領(lǐng)域開展研究,取得了具有行業(yè)特點(diǎn)的成果,為實(shí)現(xiàn)可視化服務(wù)奠定了基礎(chǔ)。
數(shù)據(jù)共享服務(wù):研究面向動態(tài)業(yè)務(wù)需求的數(shù)據(jù)共享服務(wù)技術(shù),利用服務(wù)封裝與組合技術(shù)將數(shù)據(jù)訪問功能發(fā)布成為數(shù)據(jù)服務(wù),構(gòu)建起水利數(shù)據(jù)資源服務(wù)體系,通過API接口共享以及前置機(jī)共享為用戶提供服務(wù)聚合、發(fā)布訂閱和門戶訪問等多模式的數(shù)據(jù)共享服務(wù)。
統(tǒng)一數(shù)據(jù)底板構(gòu)建標(biāo)準(zhǔn)是一項(xiàng)系統(tǒng)工程,除了要考慮上述5個(gè)關(guān)鍵環(huán)節(jié),還需要考慮數(shù)據(jù)匹配度、數(shù)據(jù)安全以及虛擬仿真技術(shù)選型等內(nèi)容。這些因素相輔相成,共同構(gòu)成數(shù)字孿生流域建設(shè)中數(shù)據(jù)底板構(gòu)建的標(biāo)準(zhǔn)體系?!?/p>