馬紅旺,高振記 ,方利,陳運帷,韓興剛
1.湖南科技大學(xué)建筑與城鄉(xiāng)規(guī)劃學(xué)院,湖南 湘潭 411201
2.中國環(huán)境科學(xué)研究院環(huán)境信息研究所,北京 100012
3.ESRI中國(北京)有限公司,北京 100027
自20世紀(jì)80年代開始,我國的環(huán)境信息化建設(shè)以環(huán)境監(jiān)測和環(huán)境統(tǒng)計為主要信息源,相繼建立起“環(huán)境統(tǒng)計數(shù)據(jù)庫”、“環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)庫”、“全國鄉(xiāng)鎮(zhèn)工業(yè)污染源數(shù)據(jù)庫”等一批重點環(huán)境數(shù)據(jù)庫[1]。從“十五”開始,由水利部國際合作與科技司組織的中國可持續(xù)發(fā)展水資源與水環(huán)境信息共享技術(shù)研究項目,開啟了我國對水環(huán)境信息共享的研究和探索[2]。隨著信息技術(shù)的不斷發(fā)展以及對水環(huán)境管理工作的日趨重視,我國的流域水環(huán)境信息建設(shè)取得了積極進(jìn)展,各地相繼建立起地方性的水環(huán)境信息共享平臺,如黃河水利委員會主持建立的“黃河水環(huán)境信息管理系統(tǒng)”,江蘇省建立的“太湖流域水環(huán)境信息共享平臺”等,通過平臺加強(qiáng)對流域范圍內(nèi)水環(huán)境的科學(xué)管理,并利用平臺對水環(huán)境進(jìn)行分析、評價和預(yù)測,為管理部門提供輔助決策支持。但這些平臺的定制化嚴(yán)重、架構(gòu)耦合度較高,擴(kuò)展性低,信息同步較困難,無法及時有效地獲取流域各部門最新的水環(huán)境信息[3-4]。為此,筆者針對當(dāng)前流域水環(huán)境風(fēng)險管理對數(shù)據(jù)的共享要求,結(jié)合各級環(huán)境保護(hù)部門環(huán)境信息存儲、管理、使用的現(xiàn)狀,提出了基于Geoportal的流域水環(huán)境信息共享平臺構(gòu)建技術(shù)方法,以期為流域水環(huán)境信息共享提供適宜的解決方案[5-6]。
流域水環(huán)境信息由環(huán)境背景數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)以及圖像、音頻等多媒體數(shù)據(jù)組成[7]。環(huán)境背景數(shù)據(jù)包含流域的基礎(chǔ)地理信息數(shù)據(jù)、遙感影像數(shù)據(jù)、環(huán)境專題數(shù)據(jù),業(yè)務(wù)數(shù)據(jù)包括監(jiān)測數(shù)據(jù)、分析數(shù)據(jù)和統(tǒng)計數(shù)據(jù)等。這些不同格式的數(shù)據(jù)分布在不同的管理部門,且由于環(huán)境信息的時效性需求,水環(huán)境信息整體呈現(xiàn)出多源、異構(gòu)、分布式和時效性等特征。
流域水環(huán)境信息共享平臺旨在為水環(huán)境風(fēng)險評估與預(yù)警提供數(shù)據(jù)支撐。針對水環(huán)境信息的特點,需要建立能跨地域、跨部門、多源異構(gòu)數(shù)據(jù)有效集成的共享機(jī)制,且要保證環(huán)境監(jiān)測數(shù)據(jù)的時效性、準(zhǔn)確性,同時又需要支持地圖服務(wù)、影像服務(wù)和空間分析服務(wù)等來實現(xiàn)水環(huán)境風(fēng)險的預(yù)測、模擬和顯示。
針對上述需求,對共享平臺的總體架構(gòu)進(jìn)行了設(shè)計,要求共享平臺具有可擴(kuò)展及可伸縮性,在此基礎(chǔ)上,對水環(huán)境信息的數(shù)據(jù)集成方案、分布式共享策略和數(shù)據(jù)同步更新等關(guān)鍵技術(shù)進(jìn)行了研究,形成一套科學(xué)、合理且可推廣的水環(huán)境信息共享平臺構(gòu)建技術(shù)體系。
流域水環(huán)境管理不同部門業(yè)務(wù)側(cè)重點存在差異,且對信息共享的需求也不盡相同,需能對不同服務(wù)功能進(jìn)行靈活地重組和拓展,以滿足不同層次的需求,因此采用基于面向服務(wù)架構(gòu)(service-oriented architecture,SOA)的設(shè)計思路。
SOA是一種粗粒度、松耦合服務(wù)架構(gòu),是在傳統(tǒng)的面向?qū)ο竽P偷幕A(chǔ)上引入抽象的服務(wù)層,進(jìn)一步對業(yè)務(wù)對象進(jìn)行封裝,其能針對不同的業(yè)務(wù)對象和業(yè)務(wù)邏輯進(jìn)行組合實現(xiàn)特定的服務(wù)功能,具有高度的可拓展性和適應(yīng)性,可以靈活適應(yīng)業(yè)務(wù)需求的變化[8-9]。在SOA基礎(chǔ)上,將流域水環(huán)境信息共享平臺設(shè)計為三層一門戶的總體結(jié)構(gòu)[10-15],即服務(wù)層、數(shù)據(jù)層、支持層和流域水環(huán)境信息共享平臺門戶網(wǎng)站(圖1)。
支持層作為平臺運行的基礎(chǔ),提供平臺運行的軟硬件環(huán)境,主要包括服務(wù)器、網(wǎng)絡(luò)、機(jī)房環(huán)境等硬件和規(guī)范標(biāo)準(zhǔn)、數(shù)據(jù)管理辦法等軟件;數(shù)據(jù)層的核心是元數(shù)據(jù)庫[11],共享平臺的數(shù)據(jù)組織方式采用基于元數(shù)據(jù)的存儲和管理,數(shù)據(jù)來源可以是本地數(shù)據(jù)庫數(shù)據(jù)源也可以是外部數(shù)據(jù)源,數(shù)據(jù)源可以在存儲結(jié)構(gòu)、邏輯規(guī)范和數(shù)據(jù)標(biāo)準(zhǔn)上不同,通過統(tǒng)一的元數(shù)據(jù)描述規(guī)范和數(shù)據(jù)訪問協(xié)議將元數(shù)據(jù)信息注冊到平臺的元數(shù)據(jù)庫中[16-17];服務(wù)層通過目錄、空間、數(shù)據(jù)存取和數(shù)據(jù)分析處理服務(wù),提供跨區(qū)域的數(shù)據(jù)搜索、訪問、下載及元數(shù)據(jù)發(fā)布功能,并提供空間數(shù)據(jù)定位、空間搜索、地圖訪問和空間數(shù)據(jù)抽取等服務(wù)[18],同時服務(wù)層還提供資源的自動收割機(jī)制來及時更新數(shù)據(jù)資源,服務(wù)層具可拓展性,可根據(jù)服務(wù)接口進(jìn)行拓展,也可以通過用戶提交的模型服務(wù)進(jìn)行外部關(guān)聯(lián)[19-20]。
Geoportal是近年發(fā)展起來的針對空間信息資源共享的技術(shù),其提供了一整套地理空間資源的框架、協(xié)議和組件模塊來構(gòu)建空間數(shù)據(jù)基礎(chǔ)設(shè)施(SDI),實現(xiàn)資源的注冊、發(fā)布、共享、訪問和實時收割的功能。該平臺采用ESRI公司推出的ArcGIS Server的Geoportal組件,可實現(xiàn)多格式數(shù)據(jù)類型協(xié)議的封裝,并提供多站點注冊、聯(lián)邦式查詢和元數(shù)據(jù)自動收割機(jī)制,有效地實現(xiàn)資源的共享,極大地提高了共享平臺的擴(kuò)展性、靈活性。同時良好的互操作性也為其廣泛的行業(yè)應(yīng)用提供了保證,如美國國家環(huán)境保護(hù)局環(huán)境數(shù)據(jù)集門戶網(wǎng)、The Geospatial One-Stop(GOS)、美國國家海洋和大氣局的國家氣候數(shù)據(jù)中心、波蘭研究院地理門戶網(wǎng)等平臺都是基于Geoportal實現(xiàn)的[21]。
1.3.1 Geoportal資源共享機(jī)制
圖1 流域水環(huán)境信息共享平臺總體結(jié)構(gòu)Fig.1 General structural design for regional water information sharing platform
Geoportal的核心概念是資源,其將元數(shù)據(jù)記錄、Web服務(wù)、文檔、視頻、REST URLS等幾乎所有的事物都抽象成資源,在Geoportal中用戶可以進(jìn)行資源的制作、發(fā)現(xiàn)、使用和資源服務(wù)[22],Geoportal資源共享機(jī)制如圖2所示。
圖2 Geoportal資源共享機(jī)制Fig.2 Mechanism of Geoportal data sharing
1.3.2 資源服務(wù)共享策略
流域水環(huán)境信息共享是基于元數(shù)據(jù)的共享,所有水環(huán)境信息包括環(huán)境背景數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、多媒體數(shù)據(jù)以及地處理(GP)服務(wù)、流域水環(huán)境分析模型等都抽象成資源,根據(jù)流域水環(huán)境數(shù)據(jù)元數(shù)據(jù)標(biāo)準(zhǔn)研究成果對這些資源分類注冊其元數(shù)據(jù)[23],在Geoportal中構(gòu)建平臺服務(wù)功能對外提供檢索、預(yù)覽、分析和下載等。
元數(shù)據(jù)的共享策略采取中心平臺、分布式站點和注冊用戶自助發(fā)布相結(jié)合的共享策略(圖3)。中心平臺負(fù)責(zé)搭建信息共享的總體框架,為分布式站點和注冊用戶自助發(fā)布提供接口支持和操作界面,同時中心平臺發(fā)布大量水環(huán)境監(jiān)測的專題數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)和空間數(shù)據(jù)服務(wù)等,分布式站點根據(jù)自身的業(yè)務(wù)方向和數(shù)據(jù)特征選擇特定的協(xié)議類型進(jìn)行站點定制,從而實時地共享其數(shù)據(jù)資源,而用戶自助發(fā)布只需登錄平臺門戶進(jìn)行注冊即可完成。
圖3 流域水環(huán)境信息共享平臺共享數(shù)據(jù)內(nèi)容Fig.3 Sharing data of regional water information sharing platform
1.3.3 分布式站點的資源共享
流域水環(huán)境信息共享采取分布式站點的資源共享,相對于傳統(tǒng)的分布式數(shù)據(jù)庫共享模式,該共享方式更簡潔、靈活,能根據(jù)不同管理部門的業(yè)務(wù)特征進(jìn)行更有效的資源共享,避免高成本、多重復(fù)的安裝部署和繁重的數(shù)據(jù)庫維護(hù)工作[24],下級部門只需要根據(jù)本身業(yè)務(wù)進(jìn)行分布式站點定制并注冊到中心平臺中即可實現(xiàn)該站點的資源共享。
在分布式站點資源共享框架設(shè)計中,中心站點提供注冊的類型,各分布式站點根據(jù)其自身的業(yè)務(wù)類型和數(shù)據(jù)特征選擇相應(yīng)的注冊類型進(jìn)行定制。流域水環(huán)境信息共享平臺提供了通用URL資源、空間信息服務(wù)、FTP資源以及網(wǎng)頁目錄服務(wù),每種類型封裝了對相應(yīng)的數(shù)據(jù)規(guī)范和類型的支持(圖4)。
通用URL資源封裝了對大部分?jǐn)?shù)據(jù)規(guī)范和協(xié)議的支持,側(cè)重于日常的水質(zhì)監(jiān)測數(shù)據(jù)、圖片、文檔數(shù)據(jù)較多的站點,也支持一定的空間信息服務(wù);空間信息服務(wù)主要是針對地圖服務(wù)、影像服務(wù)、水環(huán)境專題服務(wù)以及地理處理模型的GP服務(wù)等;FTP資源則是對網(wǎng)絡(luò)上FTP服務(wù)器資源進(jìn)行注冊的一種類型;網(wǎng)頁目錄服務(wù)是對共享平臺的一種延伸,既可以是對流域水環(huán)境管理部門內(nèi)數(shù)據(jù)資源的目錄服務(wù)共享,也可以是針對社會上科研機(jī)構(gòu)、公司企業(yè)等任何支持OGC(open geospatial consortium)網(wǎng)頁目錄服務(wù)(catalog service for the web,CSW)規(guī)范的站點進(jìn)行注冊[25-27],最大程度上實現(xiàn)流域內(nèi)水環(huán)境信息的共享。
圖4 Geoportal分布式站點注冊Fig.4 Registration for Geoportal distributed site
1.3.4 網(wǎng)頁收割器(Web Harvester)的設(shè)計和實現(xiàn)平臺采取基于站點的共享策略,因此中心站點的元數(shù)據(jù)及資源與分布式站點資源的同步至關(guān)重要。流域水環(huán)境信息共享平臺通過構(gòu)建Web Harvester對分布式站點資源自動收割,生成最新的元數(shù)據(jù)和索引,Web Harvester的設(shè)計如圖5所示。
圖5 流域水環(huán)境信息共享平臺Web Harvester模型Fig.5 Web Harvester Model of regional water information sharing platform
Web Harvester采取多線程的處理設(shè)計,從平臺配置文件讀取注冊的分布站點后,在收割池中分配對應(yīng)的線程進(jìn)行站點資源的同步,根據(jù)不同站點類型對應(yīng)的協(xié)議進(jìn)行元數(shù)據(jù)的同步,最后更新本地的元數(shù)據(jù)記錄和資源索引,在該過程中Watch Dog負(fù)責(zé)監(jiān)視分布式站點連接狀態(tài)以及用戶的操作。
為驗證該共享技術(shù)的可用性,筆者將該框架技術(shù)應(yīng)用于流域水環(huán)境信息共享平臺的開發(fā)。平臺由用戶管理、空間信息服務(wù)、資源注冊、資源發(fā)布、資源搜索、數(shù)據(jù)下載等基本功能模塊組成。平臺中注冊了本身站點并實現(xiàn)了OGC CSW規(guī)范的ArcGIS.com,在平臺中通過空間地理服務(wù)搜索平臺數(shù)據(jù)資源,如定位到沈陽(圖6)即可檢索到平臺內(nèi)包含有關(guān)沈陽的資源,并提供資源的詳細(xì)信息,元數(shù)據(jù)信息和地圖服務(wù)的鏈接,還可從關(guān)聯(lián)的分布式站點中進(jìn)行資源搜索,如對ArcGIS.com(圖7)中的數(shù)據(jù)進(jìn)行檢索。
基于Geoportal的水環(huán)境信息共享平臺有效地實現(xiàn)了流域水環(huán)境信息的高效共享,以服務(wù)的方式進(jìn)行共享可以消除數(shù)據(jù)的平臺差異、結(jié)構(gòu)差異和存儲差異,能實現(xiàn)多源異構(gòu)數(shù)據(jù)的有效集成,基于WEB站點分布式數(shù)據(jù)共享機(jī)制能最大程度地實現(xiàn)流域水環(huán)境信息的共享?;贕eoportal的流域水環(huán)境共享平臺是對信息共享平臺構(gòu)建的一次新嘗試,平臺運行安全、可靠和穩(wěn)定,系統(tǒng)測試結(jié)果表明,該技術(shù)框架是科學(xué)、合理和可行的。
由于平臺基于B/S架構(gòu),其數(shù)據(jù)信息的共享依賴網(wǎng)絡(luò)性能,硬件設(shè)施的好壞對平臺性能會產(chǎn)生較大的影響,分布式搜索依賴于遠(yuǎn)程站點的穩(wěn)定和協(xié)議支持,服務(wù)響應(yīng)的快慢和資源的可獲得性受帶寬影響較大。平臺的局限在于用戶訪問量與服務(wù)器負(fù)載均衡的限制,以及提供數(shù)據(jù)服務(wù)的分布式站點可能因客觀原因?qū)е掠脩魺o法訪問其所提供數(shù)據(jù)服務(wù),因此要保障共享平臺的穩(wěn)定運行,必須保障各注冊站點的穩(wěn)定性和網(wǎng)絡(luò)的暢通性。
總體而言,Geoportal作為空間資源信息共享和跨站點的資源繼承共享的新方式,方便用戶構(gòu)建與自身領(lǐng)域相關(guān)的空間信息服務(wù)基礎(chǔ)設(shè)施,為多源異購數(shù)據(jù)信息的集成、共享和高效管理提供了新的解決方案。
[1]沈體雁,程承旗.中國環(huán)境元數(shù)據(jù)標(biāo)準(zhǔn)與環(huán)境信息共享模式的研究[J].環(huán)境保護(hù),2000(5):32-34.
[2]朱星明,章樹安,陳蓓玉,等.可持續(xù)發(fā)展水文水資源信息共享探索及實踐[J].水利學(xué)報,2006,37(1):109-114.
[3]劉真,孫德寶,楊緒華.黃河水環(huán)境地理信息系統(tǒng)的研制與開發(fā)[J].華北水利水電學(xué)院學(xué)報,2002,23(3):53-56.
[4]何春銀.江蘇省太湖流域水環(huán)境信息共享平臺集成關(guān)鍵技術(shù)及其應(yīng)用[J].環(huán)境監(jiān)測管理與技術(shù),2009,21(6):58-61.
[5]卜偉,黃洪.信息共享平臺在環(huán)境管理中的支撐作用[J].環(huán)境科學(xué)與管理,2008,33(8):28-36.
[6]孫興富,屈曉萍,潘芳芳,等.環(huán)境信息技術(shù)的應(yīng)用及其展望[J].環(huán)境科學(xué)與管理,2007,32(4):16-19.
[7]劉勁松,陳輝,高吉喜.環(huán)境背景數(shù)據(jù)分類編碼研究[J].河北師范大學(xué)學(xué)報:自然科學(xué)版,2005,29(2):199-203.
[8]姜國華,李曉林,季英珍.基于SOA的框架模型研究[J].電腦與信息技術(shù),2007,15(6):37-39.
[9]周昊.基于SOA的企業(yè)應(yīng)用整合研究與實現(xiàn)[D].南京:南京理工大學(xué),2007.
[10]楊艷,王紅旗,王亞男.環(huán)境管理信息網(wǎng)絡(luò)系統(tǒng)概念框架[J].地球信息科學(xué),2000(3):37-44.
[11]孫颯梅.元數(shù)據(jù)管理的環(huán)境信息共享機(jī)制[J].環(huán)境與可持續(xù)發(fā)展,2006(3):27-28.
[12]張永軍,曾維華,彭斯震.中國主要污染行業(yè)資源環(huán)境信息共享系統(tǒng)開發(fā)研究[J].中國人口·資源與環(huán)境,2005,15(1):61-65.
[13]CALADO P,SILVA A S,LAENDER A H F.A bayesian network approach to searching web database through keyword-based queries[J].Information Processing and Management,2004,40(5):773-790.
[14]唐先明,章曉一,王文娟.中科院資源環(huán)境數(shù)據(jù)交互與共享系統(tǒng)的建設(shè)[J].地球信息科學(xué),2005,3(1):34-36.
[15]魏山峰,王橋,羅海江,等.中國環(huán)境監(jiān)測總站地表水環(huán)境監(jiān)測空間信息平臺系統(tǒng)研建[J].中國環(huán)境監(jiān)測,2008,24(2):31-37.
[16]CHE D R,ABERER K,OZSU M T.Query optimization in XML structured-document database[J].J Computer Science and Technology,2005,20(3):357.
[17]許峰,張雪潔,李鳳生,等.XML數(shù)據(jù)集成平臺的研究與應(yīng)用[J].計算機(jī)工程與設(shè)計,2009,30(13):3212-3215.
[18]于海龍,鄔倫,劉瑜,等.基于Web Service的GIS與應(yīng)用模型集成研究[J],測繪學(xué)報,2006,35(2):153-159.
[19]ASHOK K,ROGER L,YANG H S,et al.A model for application integration using web services[C]//Fourth annualACIS international conference on computer and information science.[S.l.]:IEEE,2005:468-475.
[20]International Organization for Standard.ISO 19119 Geographic information service[S].Geneva:International Organization for Standard,2002.
[21]Environmental Systems Research Institute Inc.Geoportal server live user sites[EB/OL].[2012-01-10].http://www.esri.com/software/arcgis/geoportal/live-user-sites.html.
[22]Environmental Systems Research Institute Inc.ArcGIS server geoportal extension[EB/OL].[2012-01-10].http://help.arcgis.com/en/geoportal_extension/10.0/help/index.html/What_is_the_Geoportal_Extension/.
[23]范宇航.基于元數(shù)據(jù)的南寧市環(huán)境信息共享模式分析[J].環(huán)境科學(xué)導(dǎo)刊,2007,26(6):21-23.
[24]沈惠璋,趙繼娣,ROBIN Q.基于SOA的分布式服務(wù)供應(yīng)鏈信息共享平臺研究與實踐[J].計算機(jī)應(yīng)用研究,2010,27(2):607-610.
[25]查祝華,周旭,劉若梅,等.OCG CSW規(guī)范實現(xiàn)探討[J].測繪通報,2009(7):12-21.
[26]Open Geospatial Consortium Inc.OGC reference model[EB/OL].(2011-12-19)[2012-01-10].http://www.opengeospatial.org/standards/orm.
[27]Open Geospatial Consortium Inc.OpenGIS catalogue services specification[EB/OL].(2007-02-23)[2012-01-10].http://www.opengeospatial.org/standards/is.○