艾 萍 ,陳雅莉 ,程海云 ,史芳斌
(1.河海大學(xué)水文水資源學(xué)院,江蘇 南京 210098;2.長江水利委員會水文局,湖北 武漢 430010;3.湖北省水利廳,湖北 武漢 430071)
全球氣候變化和人類活動,導(dǎo)致水文傳統(tǒng)模擬分析途徑與生產(chǎn)應(yīng)用中“水文過程的環(huán)境背景條件是穩(wěn)定的和各種不確定性因素的干擾相對較小”2 項隱含的假設(shè)不再成立,水文分析、預(yù)報和設(shè)計等方面的不確定性大大增加,風(fēng)險隨之劇增。因此盡可能考慮多個途徑組合而成的水文循環(huán)過程及更多影響因素,以減少對其認(rèn)知的不確定性。另一方面,經(jīng)濟(jì)社會發(fā)展要求水文行業(yè)拓展服務(wù)領(lǐng)域的需求十分迫切。無論是水文學(xué)科的發(fā)展,還是拓展水文服務(wù)領(lǐng)域,都需要更加豐富的水文信息,更需要科學(xué)的水文信息組織。而對各類異構(gòu)、多源和不同時空尺度的水文信息進(jìn)行科學(xué)組織,必須依靠信息組織理論與系統(tǒng)的支撐。
為此,河海大學(xué)與長江委水文局等單位合作,以“水文信息資源統(tǒng)一組織平臺技術(shù)研究與應(yīng)用”為題,開展了多學(xué)科交叉的研究與實踐,并取得豐碩成果。所開發(fā)的水文信息資源統(tǒng)一組織平臺(以下簡稱平臺)軟件系統(tǒng),已經(jīng)在多個部門得到應(yīng)用。僅在長江委水文局國家水文數(shù)據(jù)庫結(jié)構(gòu)重構(gòu)的定制性服務(wù)中,通過描述與規(guī)則的嚴(yán)格驗證,平臺系統(tǒng) 1 次就完成了 67 種源和 107 種目標(biāo)數(shù)據(jù)表、9 736 282 條數(shù)據(jù)記錄的抽取、按字段值的復(fù)雜轉(zhuǎn)換和數(shù)據(jù)結(jié)構(gòu)的重構(gòu),既保證了數(shù)據(jù)的一致性,又極大地提高了工作效率。
水文信息是國民經(jīng)濟(jì)建設(shè)與社會發(fā)展中一切水事活動決策的依據(jù),也是水文行業(yè)服務(wù)于社會、經(jīng)濟(jì)、環(huán)境、生態(tài)和國防等領(lǐng)域的主體信息產(chǎn)品。水文信息的數(shù)字形式主要是人工或自動設(shè)備觀測獲得的各類水文數(shù)據(jù)。隨著 3S 技術(shù)在水文信息采集中的廣泛應(yīng)用,數(shù)字化水文信息的種類不斷增加,時空尺度更加復(fù)雜,特別是遙感信息的加入,數(shù)據(jù)量成倍增加。
全球氣候變化、人類活動(如三峽工程、南水北調(diào)工程)等對水文循環(huán)的影響日益顯著。理論上,水文循環(huán)的物理和化學(xué)過程相當(dāng)簡單:水文循環(huán)的過程是水量、能量和動量平衡的過程,這是水文科學(xué)的關(guān)鍵核心理念。在這個過程中,水循環(huán)通過蒸散發(fā)與能量循環(huán)相聯(lián)系;水的運(yùn)動帶動物質(zhì)運(yùn)動,參與碳循環(huán)等等。但現(xiàn)實中的水文循環(huán)過程卻非常復(fù)雜。這是因為現(xiàn)實中的水循環(huán)都是由多個簡單路徑組合而成的復(fù)雜路徑,水文過程受到多種不同的地球物理因素的控制和影響,導(dǎo)致對水循環(huán)的認(rèn)知不確定性的累積與放大。此外,由于水文過程時空尺度跨越幅度相當(dāng)大,也使水文研究與應(yīng)用必須面對時空尺度不同導(dǎo)致的不確定性問題。故在學(xué)科研究方面,盡可能考慮多個途徑組合而成的水文循環(huán)過程及多因素的影響;在水文生產(chǎn)應(yīng)用方面,盡可能多地收集和處理相關(guān)信息以減少對水循環(huán)過程認(rèn)知的不確定性的影響,已經(jīng)成為水文學(xué)科發(fā)展和水文生產(chǎn)應(yīng)用的共識[1]。
不同水文數(shù)據(jù)的采集、處理與存貯和應(yīng)用的模式與技術(shù)條件存在較大差異,在水文行業(yè)和各級水文部門內(nèi)部,存在著數(shù)據(jù)分散,不易進(jìn)行統(tǒng)一的建庫、管理與維護(hù),難以形成流域(區(qū)域)完整的水文信息資源等問題。不僅如此,為了滿足增加信息以減少水文不確定性的研究與生產(chǎn)應(yīng)用,還需要考慮共享非水文部門(如氣象、國土、農(nóng)業(yè)、林業(yè)、交通等)的相關(guān)信息的需求。面對多源、異構(gòu)和自治管理的數(shù)據(jù)源,采用傳統(tǒng)的數(shù)據(jù)集成方式,難以實現(xiàn)水文信息資源的集成與應(yīng)用。因此,必須引入新的理念與技術(shù)。
采用“虛擬化”技術(shù),“組織”信息而不是“集成”信息,構(gòu)造水文信息資源組織模型,將水文信息組織成為虛擬化的水文信息資源,并據(jù)此開發(fā)計算機(jī)信息系統(tǒng)平臺,來支撐多源、異構(gòu)和自治管理的水文數(shù)據(jù)源的虛擬化組織與應(yīng)用,是解決問題的有效途徑[2]。
平臺系統(tǒng)就是支撐多源、異構(gòu)和自治管理的水文數(shù)據(jù)源的虛擬化組織與應(yīng)用的專業(yè)計算機(jī)信息系統(tǒng),其主要需求可歸納為:
1)保持各數(shù)據(jù)來源的高度自治。由于考慮水文數(shù)據(jù)的采集、管理與維護(hù)等可能分屬于不同的行業(yè)與部門,因此,必須保持其原有數(shù)據(jù)源的獨(dú)立性。
2)支持動態(tài)配置機(jī)制。由于數(shù)據(jù)源具有高度的獨(dú)立性,因此,必須考慮其加入和退出服務(wù)的隨機(jī)性。
3)支持動態(tài)需求。由于統(tǒng)一的水文信息資源組織,主要面對主題化的決策支持需求,而決策支持具有“就一事論一事”的特點(diǎn),具有明顯的不確定性。
4)簡單實用。不應(yīng)使用復(fù)雜的水文信息資源組織結(jié)構(gòu),導(dǎo)致處理的復(fù)雜化。
根據(jù)需求分析,水文信息資源統(tǒng)一組織平臺必須支持資源的動態(tài)配置,從而實現(xiàn)水文資源的虛擬化組織,并可支持個性化應(yīng)用需求。因此,平臺的結(jié)構(gòu)需要充分考慮實現(xiàn)基于反射機(jī)制的資源動態(tài)配置與演化需求。為了達(dá)到這個目的,根據(jù)自治多源異構(gòu)水文信息資源組織架構(gòu)[2],將平臺的功能劃分為以下 4 個主要部分(結(jié)構(gòu)示意圖如圖 1 所示):
圖1 水文信息資源統(tǒng)一組織平臺功能結(jié)構(gòu)示意圖
1)資源組織。完成資源(包括數(shù)據(jù)和軟件功能構(gòu)件)的注冊和撤消,支持建立數(shù)據(jù)源間的映射關(guān)系,從而實現(xiàn)資源的組織。
2)資源安全。實現(xiàn)通過“用戶→用戶組→角色→權(quán)限”的方式控制 1 個注冊用戶可以在系統(tǒng)中操作哪些功能;通過“用戶→用戶組→共享等級→權(quán)資源”的路線控制 1 個注冊用戶可以在系統(tǒng)中使用哪些資源,從而實現(xiàn)資源的安全管理。
3)資源應(yīng)用。提供組合資源(包括數(shù)據(jù)和處理)功能,用以支持用戶的應(yīng)用需求定制。
4)系統(tǒng)維護(hù)。配置管理支撐系統(tǒng)安全、穩(wěn)定、高效運(yùn)行的全局參數(shù),定義系統(tǒng)運(yùn)行時動態(tài)狀態(tài),維護(hù)系統(tǒng)資源等。
平臺系統(tǒng)的功能結(jié)構(gòu),很好地體現(xiàn)了支持水文信息資源虛擬化組織與動態(tài)演化式應(yīng)用的特征:
1)通過資源的注冊與撤消機(jī)制,支持各類自治的異構(gòu)多源水文數(shù)據(jù)源的動態(tài)加入與退出;支持?jǐn)?shù)據(jù)處理功能構(gòu)件的動態(tài)加入與退出。
2)通過對注冊數(shù)據(jù)資源和處理功能的統(tǒng)一管理,實現(xiàn)數(shù)據(jù)資源與處理的動態(tài)配置,形成統(tǒng)一的水文信息資源組織(虛擬化信息資源)與應(yīng)用體系。
3)支持解耦信息服務(wù)過程中數(shù)據(jù)抽取、轉(zhuǎn)換、運(yùn)算、重構(gòu)、再生及展示等主要過程,用戶可以按自己的需要對這些關(guān)鍵過程進(jìn)行動態(tài)定義。
4)考慮到水文信息資源統(tǒng)一組織平臺系統(tǒng)的用戶屬同一專業(yè)領(lǐng)域,各類水文數(shù)據(jù)的語義比較明確。為了不使系統(tǒng)過于復(fù)雜,系統(tǒng)不重點(diǎn)考慮語義異構(gòu)問題,但預(yù)留支持本體處理的結(jié)構(gòu)。
為了實現(xiàn)上述功能,并達(dá)到支持水文信息資源虛擬化組織與動態(tài)演化式應(yīng)用的目標(biāo),系統(tǒng)采用了如圖 2 所示的結(jié)構(gòu)。
圖2 系統(tǒng)結(jié)構(gòu)示意圖
平臺從層次結(jié)構(gòu)上劃分為 3 個部分:Web 應(yīng)用支撐層、元數(shù)據(jù)管理層和資源層。其中,元數(shù)據(jù)管理層是平臺的核心,管理平臺中的各種資源描述及基于平臺服務(wù)的服務(wù)規(guī)則;Web 應(yīng)用支撐層是平臺的運(yùn)行支撐,通過元數(shù)據(jù)和服務(wù)規(guī)則對各種資源進(jìn)行動態(tài)調(diào)用和處理,即基于平臺的各種服務(wù)由 Web 應(yīng)用支撐層完成最終的運(yùn)行;資源層是平臺的基礎(chǔ),存放平臺內(nèi)的各種資源。
根據(jù)平臺的需求,為了支持其數(shù)據(jù)、處理、服務(wù)的用戶自主定義與運(yùn)用,必須引入相應(yīng)的計算機(jī)軟件新技術(shù),并進(jìn)行綜合性的集成創(chuàng)新。應(yīng)用的技術(shù)主要包括:動態(tài)演化[3]、專業(yè)業(yè)務(wù)構(gòu)件抽取[4-5]、輕量級框架及其運(yùn)行時體系結(jié)構(gòu)標(biāo)記語言和反射機(jī)制[6]等。
平臺的主要功能是組織各類水文信息資源,形成虛擬化的水文信息資源集合,并提供相應(yīng)的方法和手段,讓用戶根據(jù)需要組織數(shù)據(jù)并配置處理生成個性化的信息服務(wù)。
根據(jù)平臺的功能,在平臺上進(jìn)行信息組織與應(yīng)用的一般過程是:
登錄進(jìn)入系統(tǒng),通過選擇系統(tǒng)功能,注冊數(shù)據(jù)資源和構(gòu)件(處理功能)資源,或選擇已經(jīng)注冊的資源,按處理需要,配置所需要的數(shù)據(jù)和處理規(guī)則,生成個性化的用戶服務(wù)。用戶服務(wù)保存后,可供授權(quán)用戶重復(fù)使用,直到服務(wù)被撤消。
平臺系統(tǒng)中預(yù)先定義了基本系統(tǒng)服務(wù),也就是已經(jīng)在平臺中預(yù)先定義好的操作,支持用戶直接實現(xiàn)基本功能,并供用戶進(jìn)一步配置后形成個性化服務(wù):數(shù)據(jù)源注冊/注銷;構(gòu)件(組件、處理功能模塊)注冊/注銷;映射方案(資源提取轉(zhuǎn)換規(guī)則)管理;資源安全管理;資源應(yīng)用支撐(資源配置及個性化應(yīng)用定制);數(shù)據(jù)抽取、轉(zhuǎn)換、重構(gòu)等等。
圖3是在平臺上定制的,不同數(shù)據(jù)源抽取重構(gòu)服務(wù)執(zhí)行結(jié)果的例子,這個例子充分展示了平臺的技術(shù)特色。實際上,在開放和可演化技術(shù)的支持下,平臺可以支持實現(xiàn)水文信息各個層次、不同類型的水文信息組織與應(yīng)用需求。
平臺系統(tǒng)采用開放技術(shù),以輕量級 J2EE 架構(gòu)為基礎(chǔ),綜合應(yīng)用 MVC 設(shè)計模式及反射機(jī)制,以資源描述為核心,實現(xiàn)了水文信息資源集合的虛擬化統(tǒng)一管理和應(yīng)用。
圖3 多源數(shù)據(jù)抽取組織的結(jié)果
平臺系統(tǒng),支持用戶自行按照主題構(gòu)造所需要的信息服務(wù)。平臺系統(tǒng)已構(gòu)造的基本水文數(shù)據(jù)的常規(guī)服務(wù),特別是構(gòu)造的基礎(chǔ)水文數(shù)據(jù)庫從原非行業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)庫向行業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)庫的數(shù)據(jù)遷移服務(wù)的成功應(yīng)用,充分驗證了水文信息資源統(tǒng)一組織理論和采用的軟件系統(tǒng)平臺實現(xiàn)技術(shù),能很好地滿足水文信息集成應(yīng)用的需求。
水文信息資源統(tǒng)一組織平臺系統(tǒng)與運(yùn)行平臺無關(guān)和具有全部自主知識產(chǎn)權(quán),并且充分考慮了減少對復(fù)雜水文循環(huán)的認(rèn)知不確定性,拓展水文服務(wù)領(lǐng)域,支持水文信息綜合開發(fā)與應(yīng)用的需要,支持用戶需求的動態(tài)定義,因此,具備了在全國水文系統(tǒng)、水文水資源研究機(jī)構(gòu)、防汛抗旱指揮、水資源管理等水利,能源,交通,環(huán)保行業(yè)推廣應(yīng)用的條件,也可向國內(nèi)國際水文水資源教學(xué)、管理及研究部門進(jìn)行技術(shù)推廣。特別是對于需要綜合和主題化水文信息服務(wù)的防汛及水資源等水事務(wù)高層決策,系統(tǒng)可為其提供更加有效的信息支撐。
水文信息資源統(tǒng)一組織平臺系統(tǒng)以描述為核心,實現(xiàn)了對水文信息資源的虛擬化組織與應(yīng)用的支撐。系統(tǒng)不但理論依據(jù)充分,平臺無關(guān),支持動態(tài)演化,技術(shù)先進(jìn)實用,運(yùn)行維護(hù)簡單,應(yīng)用方便,而且具有全部知識產(chǎn)權(quán),便于推廣。
平臺的實現(xiàn),涉及水文、水信息、計算機(jī)和管理等學(xué)科,是多學(xué)科融合的綜合性研究與開發(fā),需要各方面專家密切配合進(jìn)行集成創(chuàng)新。平臺系統(tǒng)在生產(chǎn)實際中的成功應(yīng)用,表明了平臺系統(tǒng)為用水文信息科學(xué)組織來支撐開展復(fù)雜因素和多途徑組合水循環(huán)的研究及拓展水文服務(wù)領(lǐng)域,提供了確定和解決相應(yīng)問題的信息基礎(chǔ)架構(gòu)、設(shè)施與手段,在開拓水文學(xué)科研究思路、拓展水文服務(wù)領(lǐng)域等方面極具價值和應(yīng)用前景。
[1] Malcolm G Anderson and Jeffrey J McDonnell. Encyclopedia of Hydrological Sciences [M]. John Wiley & Sons Ltd, USA. 2005.
[2] 陳雅莉,馬勤,陳春華. 虛擬化自治多源異構(gòu)水文信息資源組織研究[J]. 水文,2010 (5): 12-15.
[3] 陳雅莉,艾萍,姚成霞. 動態(tài)配置機(jī)制及其在水利信息系統(tǒng)中的應(yīng)用[J]. 水利信息化,2010 (3): 13-27, 40.
[4] Ping Ai,Ya-Li Chen. Extracting software component from hydrological information service system[A], Hydroinformatics in Hydrology, Hydrogeology and Water Resources[C], 2009,IAHS Publication 331: 333-341.
[5] Ping Ai, Ya-Li Chen, A Survey of Applied Research of Soft Computing for Hydrology in China[A], International Conference on Information Technology & Environmental Systems Sciences 2008[C], PROCEEDINGS: 741-746.
[6] Jian Yu, Ping Ai, WISE MVC++: A Web Application Framework for High-level Software Reuse[A], International Conference on Information Technology & Environmental Systems Sciences 2008, PROCEEDINGS[C]: 719-723.