王東
(遼寧省河庫管理服務中心(遼寧省水文局),遼寧沈陽110003)
智慧水利是智慧社會的重要組成部分,是推進新時代水利現(xiàn)代化的重要舉措,也是水利信息化的發(fā)展方向[1]。遼寧水利信息化經(jīng)過長時間的建設,已經(jīng)取得一定成績,對水利信息化建設也提出了更高的標準和要求[2]。省內的水利工程更是具有點多、面廣、量大等特點,作為重要戰(zhàn)略性信息數(shù)據(jù)資源的水利數(shù)據(jù)目前尚不完整、不全面,加上分散管理、條塊分割的傳統(tǒng)水信息管理與應用模式,制約了水治理體系和治理能力現(xiàn)在化推進[3]。因此,數(shù)據(jù)資源池的建設增強了信息獲取和利用能力,提高水利業(yè)務精準化管理水平。通過水利行業(yè)內外部數(shù)據(jù)的匯集、整合和治理,可以推動數(shù)據(jù)貫通和業(yè)務協(xié)同創(chuàng)新,為水資源調配、供水保障、防汛排澇、水土流失、水污染等的預測研判和管理調控提供數(shù)據(jù)支撐,支撐水利業(yè)務的精準調度及科學決策[4],提升水利行業(yè)規(guī)范化、精細化管理水平。
遼寧已有數(shù)據(jù)資源主要分為水利基礎數(shù)據(jù)、水利業(yè)務數(shù)據(jù)、水利政務數(shù)據(jù)、地理信息數(shù)據(jù)、文件圖像視頻等五類數(shù)據(jù),分別存儲在百余個數(shù)據(jù)庫文件中,存儲較為分散,數(shù)據(jù)價值沒有得到應有的發(fā)揮。現(xiàn)有數(shù)據(jù)資源中,能夠實時更新的數(shù)據(jù)占55%左右,其余均為定期或不定期更新。數(shù)據(jù)產(chǎn)生方式主要包括人工錄入、系統(tǒng)自動生成、遙測采集、人工自動混合模式或其他單位接入等5種方式,能夠保證業(yè)務開展所需的數(shù)據(jù)及時更新。數(shù)據(jù)庫軟件主要采用SQL-server和Oracle兩類,受技術、安裝環(huán)境、應用范圍等限制,數(shù)據(jù)庫、中間件存在重復使用的情況。
1)數(shù)據(jù)規(guī)范程度不高
水利數(shù)據(jù)資源來源廣泛、種類繁多、覆蓋面廣、數(shù)據(jù)量大,數(shù)據(jù)資源的規(guī)范性不高,數(shù)據(jù)體系不完善,數(shù)據(jù)格式、存儲方式和解析規(guī)則缺少統(tǒng)一規(guī)范,導致數(shù)據(jù)標準化、精準度程度低,數(shù)據(jù)質量缺乏保障。監(jiān)測數(shù)據(jù)體系不健全,缺乏定量化、精細化分析方法,造成監(jiān)測數(shù)據(jù)代表性不足、粒度較粗,時效性差等問題。洪水業(yè)務中,社會經(jīng)濟數(shù)據(jù)空間力度較粗;旱情業(yè)務中,地面墑情監(jiān)測代表性不足,衛(wèi)星遙感監(jiān)測準確性特別是量化精度不高;水資源開發(fā)利用業(yè)務中,監(jiān)測計量率不夠,節(jié)水監(jiān)測數(shù)據(jù)質量不高。
2)基礎設施分散,資源支撐不足
應用系統(tǒng)建設過程中建設了一些基礎應用支撐服務,為數(shù)據(jù)匯集提供了部分支撐。由于建設相對分散,沒有充分發(fā)揮整體效率,計算資源和存儲設備只服務于各自的系統(tǒng),無法對資源進行整體管理,造成資源浪費;數(shù)據(jù)的收集和使用始終取決于不同的業(yè)務系統(tǒng)。數(shù)據(jù)不僅分布在不同的業(yè)務部門之間,而且在形式上存在異構、交叉冗余和業(yè)務之間的語義沖突。由于缺乏數(shù)據(jù)共享機制,未進行數(shù)據(jù)共享或共享程度差,阻礙了水利數(shù)據(jù)的進一步整合和分析,不利于各個業(yè)務的發(fā)展[3]。
通過數(shù)據(jù)整合,將多源異構數(shù)據(jù)入庫管理,建立數(shù)據(jù)的聯(lián)動更新機制,保證同數(shù)同源,權威認證,能夠動態(tài)、靈活、按需地支撐自然資源業(yè)務運行,實現(xiàn)數(shù)據(jù)在政府部門間的共享應用。對水利業(yè)務管理對象進行抽象和空間化表達,完成數(shù)據(jù)庫的概念設計、邏輯設計及可擴展的物理存儲設計,支撐數(shù)據(jù)的“隨需所取”。
1)數(shù)據(jù)庫方面
數(shù)據(jù)庫采用“分布存儲、集中管理”的方式進行設計,根據(jù)數(shù)據(jù)現(xiàn)狀,數(shù)據(jù)整合建庫方法可分為兩類:對還未建庫的數(shù)據(jù)采用標準化建庫方法“新建”,納入到數(shù)據(jù)資源池中進行綜合管理;對已建庫管理的數(shù)據(jù),根據(jù)實際情況,采用數(shù)據(jù)庫遷移“統(tǒng)管”或者動態(tài)視圖“引流”的方式,實現(xiàn)數(shù)據(jù)的統(tǒng)一管理。其中,“統(tǒng)管”是指把分散管理的已建庫數(shù)據(jù),集中收集整合,并在統(tǒng)一的管理平臺下進行管理?!耙鳌笔侵笇σ呀◣旖⒁粋€復制的對象與原始庫并行(同時)運行,通過數(shù)據(jù)管理子系統(tǒng)的調度,逐步取代。對于完成預處理、整合和質檢合格的數(shù)據(jù),依據(jù)建庫標準規(guī)范和設計好的數(shù)據(jù)模型,將成果數(shù)據(jù)分別導入、加載到分布式的相應數(shù)據(jù)庫中,并建立數(shù)據(jù)字典、數(shù)據(jù)庫索引和元數(shù)據(jù),最后注冊到統(tǒng)一數(shù)據(jù)資源目錄[5]。
2)數(shù)據(jù)治理方面
通過統(tǒng)一的數(shù)據(jù)模型,明確數(shù)據(jù)之間的關聯(lián)關系,可動態(tài)記錄數(shù)據(jù)的變化,優(yōu)先開展數(shù)據(jù)庫的頂層梳理和設計。依據(jù)相關法律法規(guī)、業(yè)務規(guī)范、數(shù)據(jù)標準及業(yè)務調研成果,梳理水利管理相關流程,將業(yè)務流程劃分為基本業(yè)務單元,依據(jù)業(yè)務單元數(shù)據(jù)特征抽取水利管理實體對象,分析業(yè)務單元之間的潛在沖突分析結果,進行沖突業(yè)務單元的模塊化合并,抽取對象之間的關系,構建符合水利管理特征的數(shù)據(jù)關系模型。
3)邏輯結構方面
在概念設計的基礎上,結合實際業(yè)務情況,設計一體化數(shù)據(jù)庫的邏輯結構,將對象、對象關系進行實例轉化,構建實體關系圖,為數(shù)據(jù)庫的物理存儲設計打下基礎。在數(shù)據(jù)庫的邏輯設計和概念設計的基礎上,數(shù)據(jù)庫的物理設計主要是規(guī)范數(shù)據(jù)庫的存儲形式和存儲內容。
將水利原始數(shù)據(jù)及互聯(lián)網(wǎng)數(shù)據(jù)進行匯集,進入?yún)R集庫[6]。匯集庫是數(shù)據(jù)資源池建設的源泉和基礎,以離線文件、接口、直連數(shù)據(jù)庫等形式管理從水利各業(yè)務、其他部門和企業(yè)、互聯(lián)網(wǎng)等匯交和采集的原始數(shù)據(jù),完成全量備份,保障了數(shù)據(jù)資源的完整性和可用性。數(shù)據(jù)資源池總體架構示意圖如圖1所示。
圖1 數(shù)據(jù)資源池總體架構示意圖
對各來源的業(yè)務數(shù)據(jù)基于“一數(shù)一源”的原則,按照數(shù)據(jù)標準規(guī)范進行清洗、比對與整合,形成資源庫數(shù)據(jù)內容,在數(shù)據(jù)入庫后進行時空化管理,具體包括基礎庫、主題庫、產(chǎn)品庫[7]。
1)建設數(shù)據(jù)庫,按照數(shù)據(jù)資源目錄,分類建設池化匯聚的各類數(shù)據(jù),實現(xiàn)高性能存儲。從而實現(xiàn)數(shù)據(jù)空間、屬性、關系和元數(shù)據(jù)的一體化管理,統(tǒng)一對象編碼,統(tǒng)一數(shù)據(jù)字典,為各類業(yè)務應用提供規(guī)范、權威和高效的數(shù)據(jù)支撐。水利對象基礎信息的治理,其中最重要的一方面就是水利對象的整合,不同來源的水利對象不同,但存在交叉的對象,即同一對象在不同數(shù)據(jù)庫均有存儲,但其編碼體系不一致,造成同一對象在不同的數(shù)據(jù)庫有不同的對象代碼。因此,對象基礎信息治理的首要前提是通過對象名稱、對象所在地、關鍵指標數(shù)據(jù)等信息進行對象代碼映射關系整理[8],明確進入基礎庫的對象名錄,并按賦予水利對象統(tǒng)一的對象代碼。
2)實現(xiàn)水利數(shù)據(jù)空間、關系、屬性元數(shù)據(jù)的集成管理,為各種業(yè)務應用提供權威、規(guī)范、高效的數(shù)據(jù)支撐,利用數(shù)據(jù)庫開發(fā)技術、ETL數(shù)據(jù)技術、質量控制技術等數(shù)據(jù)治理技術,針對數(shù)據(jù)歸一化處理、一致化處理、圖斑處理、實體編碼與關聯(lián)、質量檢查與入庫等需求,對分散的水利對象信息,以及水利對象空間和業(yè)務關系等數(shù)據(jù)整合,形成面向對象建模、統(tǒng)一語義、分布式存儲與管理的水利數(shù)據(jù)資源。水利基礎庫主要是用來存儲水利基礎信息,包括水利對象數(shù)據(jù)、水利監(jiān)測數(shù)據(jù)、水利業(yè)務數(shù)據(jù)、水利政務數(shù)據(jù)、外部共享數(shù)據(jù)及社會數(shù)據(jù)等,是將離散的數(shù)據(jù)變成有機整體的關鍵。將涉及水利業(yè)務和政務應用全局的對象基礎信息,以及水利對象空間和業(yè)務等數(shù)據(jù),統(tǒng)一納入水利數(shù)據(jù)資源池進行管理,并提供相應的數(shù)據(jù)服務[6]。
3)建設數(shù)據(jù)資源規(guī)范,通過對數(shù)據(jù)資源體系的梳理,參考相關技術標準制訂數(shù)據(jù)資源整合相關規(guī)范。
4)開發(fā)數(shù)據(jù)資源智能綜合管理平臺,通過數(shù)據(jù)資源綜合管理平臺的建設,對數(shù)據(jù)抽取、推送、調用和數(shù)據(jù)治理進行集中管理、分工協(xié)作,提升數(shù)據(jù)管理質量,利用數(shù)據(jù)可視化技術進行綜合展示,為業(yè)務應用提供信息支持[7]。
數(shù)據(jù)資源池的建設,提高了基礎設施利用效率及涉水數(shù)據(jù)和水利信息系統(tǒng)的集約整合共享程度,減少軟硬件的重復建設[8],實現(xiàn)業(yè)務應用協(xié)同創(chuàng)新,提升水利管理和服務水平,推進水治理體系和治理能力現(xiàn)代化,產(chǎn)生巨大經(jīng)濟效益,實現(xiàn)了水利行業(yè)內部及社會相關部門間的信息交換,打通數(shù)據(jù)壁壘,有效消除信息孤島,使彼此互聯(lián)互通,實現(xiàn)涉水數(shù)據(jù)“聚、通、用”。實現(xiàn)水利行業(yè)整體工作的協(xié)同優(yōu)化,降低了單項應用成本,使各項工作無需從頭做起,整體性降低了數(shù)據(jù)獲取費用[9]。有效提升國家水安全保障能力、治水治理能力和水利公共服務能力。
綜上所述,數(shù)據(jù)資源池的作用在于拓寬水利信息開放和共享的渠道,提升水利公共服務能力。梳理匯集水利各類數(shù)據(jù),為后續(xù)公共支撐服務提供支撐,釋放水利數(shù)據(jù)社會價值,向有關行業(yè)、企業(yè)和公眾提供更加豐富、及時、精準的公共信息儲備,使其更為及時、精準地獲取水事行為指引和監(jiān)管意見要求,有效降低了廣大水利服務對象接受管理服務時所付出的大量交通和時間成本。