張紅文,程明慧,夏定輝
(1.重慶市地理信息中心,重慶 401121;2.華鎣市林業(yè)局,四川華鎣638600)
FME支持下的空間數(shù)據(jù)庫(kù)更新技術(shù)
張紅文1,程明慧2,夏定輝1
(1.重慶市地理信息中心,重慶 401121;2.華鎣市林業(yè)局,四川華鎣638600)
保證數(shù)據(jù)庫(kù)現(xiàn)勢(shì)性,利用多源數(shù)據(jù)實(shí)現(xiàn)快速更新成為必然,研發(fā)批量數(shù)據(jù)更新技術(shù)成為趨勢(shì)。針對(duì)建立數(shù)據(jù)之間的轉(zhuǎn)換關(guān)系是批量數(shù)據(jù)更新的關(guān)鍵,結(jié)合重慶市的1:500空間數(shù)據(jù)更新機(jī)制,對(duì)數(shù)據(jù)特征進(jìn)行了深入研究,充分發(fā)揮FME技術(shù)平臺(tái)優(yōu)勢(shì),采用數(shù)據(jù)庫(kù)批量更新技術(shù),實(shí)現(xiàn)了一套符合我市空間數(shù)據(jù)庫(kù)更新技術(shù)流程。
空間數(shù)據(jù)庫(kù);批量更新;FME技術(shù)
基礎(chǔ)地理空間數(shù)據(jù)庫(kù)對(duì)地區(qū)發(fā)展數(shù)字化、信息化有著重要作用。目前,重慶市基礎(chǔ)地理空間數(shù)據(jù)庫(kù)已經(jīng)建成。近些年來,隨著重慶政治經(jīng)濟(jì)文化所發(fā)生巨大變化,城市面貌日新月異,據(jù)統(tǒng)計(jì),2008年就有約200km2的地區(qū)煥然一新,以此計(jì)算,若不加強(qiáng)空間數(shù)據(jù)庫(kù)的及時(shí)更新,估計(jì)在2至3年內(nèi),目前的整個(gè)空間數(shù)據(jù)庫(kù)將完全不能滿足現(xiàn)勢(shì)要求,因此需要找到一條快速、有效更新空間數(shù)據(jù)庫(kù)的方法,保持我市數(shù)據(jù)庫(kù)現(xiàn)勢(shì)性以支撐城市建設(shè)和經(jīng)濟(jì)快速發(fā)展的需要。在這些年,我們學(xué)習(xí)、借鑒其他城市的成功經(jīng)驗(yàn)并不斷開拓創(chuàng)新、積極探索,逐步形成了適合自身特點(diǎn)的基礎(chǔ)空間數(shù)據(jù)庫(kù)更新的技術(shù)體系。本文結(jié)合重慶市1:500空間數(shù)據(jù)更新機(jī)制,通過對(duì)數(shù)據(jù)特征的深入研究,提出了基于FME的空間數(shù)據(jù)批量更新方法,為基礎(chǔ)空間據(jù)庫(kù)的更新、管理提供了借鑒作用。
FME Suite(Feature Manipulate Engine)是加拿大SafeSoftware公司推出的一套完整的訪問空間數(shù)據(jù)的解決方案的軟件,可用于讀寫、存儲(chǔ)和轉(zhuǎn)換各種空間數(shù)據(jù)。該軟件是基于OpenGIS協(xié)會(huì)提出的新的數(shù)據(jù)轉(zhuǎn)換理念“語義轉(zhuǎn)換”(寬通道轉(zhuǎn)換)進(jìn)行數(shù)據(jù)的管理[1]。FME通過轉(zhuǎn)換過程的數(shù)據(jù)重構(gòu),實(shí)現(xiàn)不同格式(模型)的空間數(shù)據(jù)間的轉(zhuǎn)換。此外,系統(tǒng)還能改善用戶已經(jīng)錄入的數(shù)據(jù)的質(zhì)量,對(duì)不同格式數(shù)據(jù)進(jìn)行集中管理。
FME語義轉(zhuǎn)換屬于數(shù)據(jù)格式轉(zhuǎn)換的范疇,但有別于傳統(tǒng)的數(shù)據(jù)格式轉(zhuǎn)換。語義轉(zhuǎn)換是通過在轉(zhuǎn)換過程中重新構(gòu)造數(shù)據(jù),利用語義文件映射提取源數(shù)據(jù)的不同層面和內(nèi)容,來滿足最終用戶或系統(tǒng)的需求[2]。它利用可重新定義輸入或輸出數(shù)據(jù)的引擎 (數(shù)據(jù)模型),保持內(nèi)部一致性和可擴(kuò)展性。輸入、輸出格式或系統(tǒng)的數(shù)據(jù)模型映射到該引擎,不再需要滿足最低公用標(biāo)準(zhǔn)的要求,改變了傳統(tǒng)格式轉(zhuǎn)換應(yīng)用程序?qū)Ω髯韵到y(tǒng)的種種限制要求,其轉(zhuǎn)換流程如圖1所示。
圖1 FME語義轉(zhuǎn)換流程圖
2.1 空間數(shù)據(jù)庫(kù)更新的關(guān)鍵技術(shù)
2.1.1 批量更新技術(shù)
根據(jù)數(shù)據(jù)生產(chǎn)者所提供的更新信息內(nèi)容,數(shù)據(jù)庫(kù)更新主要分為 2種方式:增量更新和批量更新。所謂增量更新是指在主數(shù)據(jù)庫(kù)更新過程中或之后,只記錄或提取新版數(shù)據(jù)中發(fā)生變化的要素及相關(guān)信息,然后將這些信息以增量文件的方式集成到原來數(shù)據(jù)庫(kù)中的過程。而批量更新是指在數(shù)據(jù)庫(kù)更新中,直接通過數(shù)據(jù)刪除、新增、接邊等方式,將更新數(shù)據(jù)按要素更新,替換原有數(shù)據(jù)[3]。
重慶市1∶500數(shù)據(jù)目前主要采取離散的方式進(jìn)行生產(chǎn),即由項(xiàng)目建設(shè)單位負(fù)責(zé)組織數(shù)據(jù)的生產(chǎn),數(shù)據(jù)的生產(chǎn)單位和技術(shù)要求也不盡相同,缺乏統(tǒng)一協(xié)調(diào),同時(shí)增量式更新更適合于地形地貌變化不大的小比例尺數(shù)據(jù)的更新,因此重慶需要采取批量更新方式進(jìn)行基礎(chǔ)地理信息數(shù)據(jù)庫(kù)的更新。
2.1.2 多源數(shù)據(jù)集成技術(shù)
在數(shù)據(jù)庫(kù)更新過程中,我們常使用不同數(shù)據(jù)源、格式多樣的基礎(chǔ)空間數(shù)據(jù),其數(shù)據(jù)生產(chǎn)平臺(tái)不同且采用的編碼標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量千差萬別,因此如何將多源數(shù)據(jù)通過某種技術(shù)手段、方法統(tǒng)一到標(biāo)準(zhǔn)基礎(chǔ)空間數(shù)據(jù)庫(kù)中成為目前地理空間數(shù)據(jù)庫(kù)更新的重要課題。我們通過引入FME的語義轉(zhuǎn)換優(yōu)勢(shì),同時(shí)深入挖掘各種來源數(shù)據(jù)的特點(diǎn),建立合理的語義映射關(guān)系,實(shí)現(xiàn)了多源數(shù)據(jù)的集成更新[4]。
2.1.3 模版控制技術(shù)
基礎(chǔ)空間數(shù)據(jù)庫(kù)更新是多級(jí)比例尺、全要素的更新,更新工作量和復(fù)雜程度非常大,而城市的快速更新、發(fā)展要求我們能夠提供一個(gè)更及時(shí)、有效的基礎(chǔ)空間數(shù)據(jù)資源,因此更新效率不高一直成為基礎(chǔ)空間數(shù)據(jù)庫(kù)更新的重大難題。在FME平臺(tái)中引入模版控制技術(shù),實(shí)現(xiàn)了數(shù)據(jù)庫(kù)的快速、規(guī)范化更新[5]。在更新過程中針對(duì)不同的數(shù)據(jù)情況靈活建立語義映射模版、轉(zhuǎn)換模版、質(zhì)量檢查模版等各類建庫(kù)模版,將建庫(kù)過程模塊化、規(guī)范化,能夠靈活、自動(dòng)地控制數(shù)據(jù)更新過程,同時(shí)極大地提高生產(chǎn)效率。
2.2 基于FME的重慶市基礎(chǔ)空間數(shù)據(jù)庫(kù)更新
2.2.1 建立映射關(guān)系
通過對(duì)DWG數(shù)據(jù)的分析,將數(shù)據(jù)整合為點(diǎn)、線、面和注記4種幾何類型。如block或cell的幾何類型為點(diǎn);等高線、陡坎、河流及溝渠等的幾何類型都是線;房屋、湖泊水庫(kù)等的幾何類型為面;文字說明、數(shù)字等的幾何類型為注記。根據(jù)數(shù)據(jù)的屬性信息(名稱、顏色、圖層、大小、旋轉(zhuǎn)角度、坐標(biāo)等)判斷圖形表示的是什么要素,建立對(duì)應(yīng)的要素的映射表。
根據(jù)上面的原則,在數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)(滿足《重慶市基礎(chǔ)地理信息電子數(shù)據(jù)標(biāo)準(zhǔn)》DB50/T286-2008要求的數(shù)據(jù))之間,建立起一個(gè)數(shù)據(jù)映射模型[6],如圖2所示。
圖2 數(shù)據(jù)映射關(guān)系圖
下面給出常見的CAD數(shù)據(jù)映射表實(shí)例表,通過這些映射關(guān)系,在CAD數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)之間搭建了一座橋梁,使二者之間能夠?qū)崿F(xiàn)數(shù)據(jù)相互轉(zhuǎn)換,如圖3、圖4所示。
圖3 點(diǎn)數(shù)據(jù)映射表
圖4 線數(shù)據(jù)映射表
2.2.2 更新流程設(shè)計(jì)
映射關(guān)系建立完成后,我們?cè)O(shè)計(jì)數(shù)據(jù)更新流程來進(jìn)行數(shù)據(jù)更新。數(shù)據(jù)庫(kù)是采用ArcSDE技術(shù)建設(shè)的,需把DWG數(shù)據(jù)格式統(tǒng)一轉(zhuǎn)換到shp、gdb等格式。FME的讀取一般采取以下2種方式:一種是按圖層信息讀取,這種方式比較適合分層統(tǒng)一數(shù)據(jù);另一種按數(shù)據(jù)幾何類型讀?。窗凑拯c(diǎn)線面的方式讀?。7]。由于我市更新數(shù)據(jù)的現(xiàn)狀存在要素分類、分層標(biāo)準(zhǔn)不統(tǒng)一等問題,所以在設(shè)計(jì)流程時(shí)我們采用第二種方式,按數(shù)據(jù)幾何類型讀取。數(shù)據(jù)更新流程如圖5所示。
圖5 CAD數(shù)據(jù)更新流程圖
2.2.3 批量轉(zhuǎn)換
在建立好的映射關(guān)系模版和更新流程模版基礎(chǔ)上,通過批量轉(zhuǎn)換器實(shí)現(xiàn)數(shù)據(jù)的批量轉(zhuǎn)換,提高更新效率,如圖6所示。
圖6 批量轉(zhuǎn)換示意圖
2.2.4 質(zhì)量檢查
通過檢查方案的確定、檢查模版的定制、質(zhì)量檢查、報(bào)告輸出等環(huán)節(jié),對(duì)更新成果進(jìn)行產(chǎn)品級(jí)、圖層級(jí)、地物級(jí)的全面檢查,保證更新數(shù)據(jù)的質(zhì)量[8]。產(chǎn)品級(jí)檢查項(xiàng)包括數(shù)據(jù)命名規(guī)范、數(shù)據(jù)格式規(guī)范、元數(shù)據(jù)項(xiàng)值合法性、圖層是否存在等。圖層級(jí)檢查項(xiàng)包括圖層名稱是否正確、屬性定義是否正確等。地物級(jí)檢查項(xiàng)包括編碼分層正確性、字段值是否符合規(guī)范、數(shù)值一致性、拓?fù)潢P(guān)系是否正確、幾何畫法是否符合規(guī)范、幾何類型是否正確、空間包含性、幾何依賴性、空間分布性、幾何接邊、屬性接邊等,如圖7、圖8所示。
圖7 質(zhì)量檢查模板設(shè)置圖
圖8 質(zhì)量檢查示意圖
圖9是數(shù)據(jù)轉(zhuǎn)換前后的效果對(duì)比情況,通過上述過程轉(zhuǎn)換后,圖形信息幾乎沒有什么損失,要素之間保持了正確的拓?fù)潢P(guān)系,同時(shí)在轉(zhuǎn)換過程中實(shí)現(xiàn)了要素編碼等屬性賦值及要素的自動(dòng)分層,達(dá)到了數(shù)據(jù)庫(kù)更新的要求,如圖9所示。
圖9 更新前后對(duì)比圖
快速更新空間數(shù)據(jù)庫(kù)采用批量式更新技術(shù),關(guān)鍵在于如何建立數(shù)據(jù)之間的轉(zhuǎn)換關(guān)系,準(zhǔn)確有效地處理空間數(shù)據(jù)?;谡Z義轉(zhuǎn)換方式可以自動(dòng)實(shí)現(xiàn)要素圖形、屬性、分層重組等,把人們從繁瑣的數(shù)據(jù)轉(zhuǎn)換處理過程中解放出來,全身心投入數(shù)據(jù)資源本身的研究分析,大大提高了空間數(shù)據(jù)的處理、轉(zhuǎn)換效率,極大地提高了數(shù)據(jù)庫(kù)的更新速度。
[1] 李剛,朱慶杰.基于FME的城市GIS基礎(chǔ)空間數(shù)據(jù)格式轉(zhuǎn)換[J].測(cè)繪通報(bào),2006(4):17-21
[2] 潘邦龍,趙俊三.利用FMESuite實(shí)現(xiàn)MapGIS地圖數(shù)據(jù)和Geodatabase間的語義轉(zhuǎn)換[J].四川測(cè)繪,2007(3):56-59
[3] 劉勇,李成名.城市基礎(chǔ)空間數(shù)據(jù)庫(kù)更新方法研究[J].測(cè)繪科學(xué),2006,31(4):121-125
[4] 曾巧玲.利用FME實(shí)現(xiàn)GIS與CAD的語義轉(zhuǎn)換[J].計(jì)算機(jī)工程與應(yīng)用,2005,41(3):254-257
[5] 吳秀芹,張洪巖.ArcGIS 9地理信息系統(tǒng)應(yīng)用與實(shí)踐[M].北京:清華大學(xué)出版社,2007
[6] DB50/T286-2008.重慶市基礎(chǔ)地理信息電子數(shù)據(jù)標(biāo)準(zhǔn)[S].
[7] 王厚之,肖劍平.基于FME建立GIS基本地形數(shù)據(jù)庫(kù)建設(shè)方法研究[J].城市勘測(cè),2006(3):15-18
[8] 鐘耳順.地理信息系統(tǒng)技術(shù)開發(fā)、應(yīng)用與產(chǎn)品[J].中外科技信息,1998(12):56-58
Research on Updating Spatial Database Technology Based on FME
by ZHANG Hongwen
In order to ensure that the database updating,use multi-source data to achieve rapid updates become inevitable,bulk data updating technology has become the trend.Combined with the Chongqing City 1:500 spatial data updating mechanism,the paper conducted the thorough research on the data characteristics,with the help of FME technology platform,study a set of spatial database updating technology process.
spatial database,batch update,technology of FME
2011-10-14
項(xiàng)目來源:重慶市科委科技資助項(xiàng)目(CSTC,2009CB2015)。
T208
A
1672-4623(2011)06-0057-03
張紅文,助理工程師,主要研究方向?yàn)榭臻g數(shù)據(jù)建庫(kù)和數(shù)據(jù)處理。