王 慧，蔡志剛，唐 偉，任 易，吳承紅

（1.浙江省測繪科學(xué)技術(shù)研究院，浙江 杭州 310012；2.浙江省水利河口研究院，浙江 杭州 310020）

傳統(tǒng)測繪地理信息正向追求高精、高效和智能化的新型測繪快速轉(zhuǎn)型升級。新型測繪需要高效智能化構(gòu)建統(tǒng)一、實用的結(jié)構(gòu)化時空地理數(shù)據(jù)庫成果，而在已積聚的海量多源地理信息數(shù)據(jù)庫中，異構(gòu)性成為空間數(shù)據(jù)信息共享的瓶頸[1]。在實現(xiàn)時空地理數(shù)據(jù)高度集成的過程中，數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)庫結(jié)構(gòu)整合、數(shù)據(jù)要素融合是緊密銜接的主要環(huán)節(jié)。已有研究在CAD圖形和地理空間數(shù)據(jù)庫的數(shù)據(jù)格式互轉(zhuǎn)[2-4]、異構(gòu)專題數(shù)據(jù)庫的結(jié)構(gòu)轉(zhuǎn)換[5-7]、基于柵格和矢量的多源地理信息空間融合[8-10]等方面進行了較系統(tǒng)的剖析。為實現(xiàn)將地理空間數(shù)據(jù)庫異構(gòu)整合的智能化處理代替繁重且易出錯的人工處理，已有學(xué)者基于MapGIS、ArcGIS Spatial ETL、ArcGIS Object開發(fā)設(shè)計了多源異構(gòu)空間數(shù)據(jù)轉(zhuǎn)換、重構(gòu)、合并、集成工具，提高了數(shù)據(jù)集成效率[11-13]。然而，隨著時空地理數(shù)據(jù)庫數(shù)據(jù)體量的不斷增長以及異構(gòu)整合場景的不斷豐富，現(xiàn)有技術(shù)常用的桌面端模式已不能滿足快速、自適應(yīng)轉(zhuǎn)換的需求，因而亟需對異構(gòu)整合關(guān)鍵技術(shù)展開深入研究。

鑒于時空地理數(shù)據(jù)庫異構(gòu)整合轉(zhuǎn)換本質(zhì)上是異構(gòu)數(shù)據(jù)庫的抽取、轉(zhuǎn)換和重新統(tǒng)一組裝的問題，即ETL過程[14]，本文重點基于ETL理論和語義映射研究了異構(gòu)整合整體技術(shù)方案和關(guān)鍵技術(shù)，并依托FME平臺進行異構(gòu)整合功能開發(fā)，形成B/S模式、基于云計算的面向時空地理數(shù)據(jù)庫的科學(xué)、標準、自動化的在線整合平臺，以實現(xiàn)新型測繪時期對海量時空數(shù)據(jù)庫整合的快速響應(yīng)。

1 時空地理數(shù)據(jù)庫概述

1.1 時空地理數(shù)據(jù)庫

地理信息數(shù)據(jù)倉庫涵蓋了數(shù)量龐大且種類豐富的時空地理數(shù)據(jù)庫（圖1），各類數(shù)據(jù)庫的建設(shè)依據(jù)為數(shù)據(jù)字典。數(shù)據(jù)字典規(guī)定了要素分類、數(shù)據(jù)庫分層、數(shù)據(jù)庫圖層屬性結(jié)構(gòu)和各要素的圖形表示等具體內(nèi)容，是數(shù)據(jù)庫組織異構(gòu)性的主要體現(xiàn)。不同數(shù)據(jù)庫中水系面要素的圖層結(jié)構(gòu)如圖2所示，其中數(shù)據(jù)庫中圖層名稱、字段名稱、字段類型均存在一定差異。

圖1 不同結(jié)構(gòu)的時空地理數(shù)據(jù)庫圖層示例

時空地理數(shù)據(jù)庫異構(gòu)整合的目標是將依據(jù)不同數(shù)據(jù)字典創(chuàng)建的數(shù)據(jù)庫整合轉(zhuǎn)換至統(tǒng)一框架結(jié)構(gòu)的目標數(shù)據(jù)庫，通常涉及要素代碼轉(zhuǎn)換、要素圖層轉(zhuǎn)換、屬性結(jié)構(gòu)轉(zhuǎn)換等步驟。相較于數(shù)據(jù)庫要素級的處理，數(shù)據(jù)庫的異構(gòu)整合轉(zhuǎn)換在數(shù)據(jù)庫建設(shè)工作中的占比更多、難度更大、技術(shù)門檻更高，且整合轉(zhuǎn)換的質(zhì)量好壞、效率高低將直接影響時空地理數(shù)據(jù)庫成果的正確性以及地理信息數(shù)據(jù)服務(wù)的有效性和敏捷性。

1.2 現(xiàn)有技術(shù)分析

面向時空地理數(shù)據(jù)庫異構(gòu)整合的研究總體圍繞3個方面：數(shù)據(jù)庫整合集成的關(guān)鍵過程分析、異構(gòu)整合技術(shù)流程的制定和多源異構(gòu)空間數(shù)據(jù)自動集成工具的開發(fā)。現(xiàn)有研究成果初步形成了異構(gòu)整合的技術(shù)流程，在一定程度上提高了異構(gòu)整合的效率，但存在以下問題亟待解決：①異構(gòu)整合過程中異常問題的處理不夠深入、全面，整體工作流有待細致梳理，形成嚴謹、科學(xué)、標準化的技術(shù)方案；②異構(gòu)整合的自動化實現(xiàn)常限于某一種GIS平臺，桌面模式無法穩(wěn)定支撐海量數(shù)據(jù)庫的規(guī)?；D(zhuǎn)換，在云計算資源的支撐下開展在線異構(gòu)整合技術(shù)研究十分迫切；③在異構(gòu)整合功能開發(fā)的過程中，需要充分考慮擴展性、靈活性和自適應(yīng)性，設(shè)計一個通用的轉(zhuǎn)換方案或平臺以滿足不同異構(gòu)轉(zhuǎn)換場景。

2 基于ETL的異構(gòu)整合關(guān)鍵技術(shù)分析

2.1 語義映射關(guān)系的自動創(chuàng)建

源數(shù)據(jù)庫和目標數(shù)據(jù)庫的映射關(guān)系是實現(xiàn)數(shù)據(jù)轉(zhuǎn)換的基礎(chǔ)，其創(chuàng)建依據(jù)是對應(yīng)的數(shù)據(jù)標準或數(shù)據(jù)字典，主要面向要素代碼、圖層名稱和屬性名稱3個層面，如表1所示。通過源描述與目標描述進行語義匹配可自動創(chuàng)建映射關(guān)系，再以數(shù)據(jù)字典為輔助完善映射關(guān)系，該方式能大量減少人工作業(yè)，形成的語義映射文件能重復(fù)應(yīng)用于大批量數(shù)據(jù)庫異構(gòu)整合中。語義映射的關(guān)鍵是確保要素、屬性、圖層都能找到各自的映射，通過映射關(guān)系在數(shù)據(jù)轉(zhuǎn)換后實現(xiàn)數(shù)據(jù)結(jié)構(gòu)邏輯的重新組織，并解決形式表達層面上的沖突。

表1 映射關(guān)系示例

2.2 異構(gòu)整合的ETL關(guān)鍵環(huán)節(jié)

從ETL理論技術(shù)角度分析異構(gòu)整合，即以海量、復(fù)雜、多樣的地理空間數(shù)據(jù)庫為數(shù)據(jù)源，從中按需提取，再經(jīng)過數(shù)據(jù)清洗、加工、整理和轉(zhuǎn)換等步驟，最后裝載至目標框架結(jié)構(gòu)數(shù)據(jù)庫中。

1）數(shù)據(jù)清洗。時空地理數(shù)據(jù)庫作為數(shù)據(jù)轉(zhuǎn)換的數(shù)據(jù)源難免存在不合規(guī)范的數(shù)據(jù)，數(shù)據(jù)清洗的目標是分析找出數(shù)據(jù)缺失（如水系面丟失常水位岸線、丟失水系交匯線、水系對象線等）、數(shù)據(jù)重復(fù)（如要素自重復(fù)、要素唯一編碼重復(fù)等）、要素代碼異常（如超出要素代碼表、要素圖層錯誤等）和屬性不規(guī)范（如小數(shù)取位不正確、屬性賦空不正確等）等問題數(shù)據(jù)，并進行處理。在數(shù)據(jù)清洗環(huán)節(jié)設(shè)計自動化檢查和處理算法，開發(fā)工具集實現(xiàn)數(shù)據(jù)補缺、數(shù)據(jù)自動化去重、屬性規(guī)范化，對于保證數(shù)據(jù)轉(zhuǎn)換的正確性具有重要意義。

2）數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)轉(zhuǎn)換的前提是已有基于數(shù)據(jù)字典創(chuàng)建的映射關(guān)系表，但不排除數(shù)據(jù)庫與數(shù)據(jù)字典存在屬性字段命名或類型沖突，因此考慮先進行數(shù)據(jù)庫結(jié)構(gòu)框架的自動提取，并與數(shù)據(jù)字典進行對比，在確保數(shù)據(jù)庫符合對應(yīng)數(shù)據(jù)字典要求的條件下再開展數(shù)據(jù)庫的異構(gòu)轉(zhuǎn)換。為適應(yīng)不同的異構(gòu)轉(zhuǎn)換場景，本文采取調(diào)用要素代碼映射表、圖層映射表、屬性字段映射表等外部配置表的方式實現(xiàn)源數(shù)據(jù)庫向目標數(shù)據(jù)庫的異構(gòu)轉(zhuǎn)換。

3）數(shù)據(jù)重新裝載。由于可擴展標記語言（XML）能對文檔結(jié)構(gòu)和數(shù)據(jù)進行約定，在實現(xiàn)數(shù)據(jù)信息標準化、統(tǒng)一化和共享上具有獨特優(yōu)勢[15]，因此在異構(gòu)整合前先創(chuàng)建或在ArcGIS平臺下導(dǎo)出目標框架結(jié)構(gòu)XML文件，再通過外部調(diào)用該文件，從而保證將源數(shù)據(jù)庫精準地裝載至目標框架結(jié)構(gòu)的數(shù)據(jù)庫中。

2.3 數(shù)據(jù)庫異構(gòu)整合的異常問題

在地理空間數(shù)據(jù)庫的ETL過程中，必不可少地會面臨數(shù)據(jù)源異常和轉(zhuǎn)換過程異常等問題，如數(shù)據(jù)源中要素代碼所指要素放錯層、數(shù)據(jù)源中要素代碼異常、數(shù)據(jù)轉(zhuǎn)換過程中要素與目標圖層的幾何類型不一致（面轉(zhuǎn)線、面轉(zhuǎn)點、線轉(zhuǎn)面、線轉(zhuǎn)點等如表2所示）、要素幾何類型特征碼與實際要素幾何類型不一致（表3）等問題。

表2 屬性類型沖突示例

表3 幾何類型沖突示例

在異構(gòu)數(shù)據(jù)庫的整合轉(zhuǎn)換中，應(yīng)考慮數(shù)據(jù)庫的完整性和安全性以及轉(zhuǎn)換過程的穩(wěn)定性和抗干擾性。鑒于異構(gòu)數(shù)據(jù)庫整合轉(zhuǎn)換中錯誤常發(fā)生在最后的數(shù)據(jù)寫入階段，為減少耗時本文采用前置異常沖突檢查、對異常數(shù)據(jù)標記分流輸出的處理方式，在ETL完整執(zhí)行后再對異常數(shù)據(jù)庫進行修改處理。

3 在線異構(gòu)整合的設(shè)計與實現(xiàn)

3.1 異構(gòu)整合功能模塊的開發(fā)

本文通過對異構(gòu)整合關(guān)鍵環(huán)節(jié)的分析梳理，構(gòu)建了異構(gòu)整合技術(shù)流程，如圖3所示。FME Workbench中內(nèi)置了上百個轉(zhuǎn)換器，可支持數(shù)據(jù)庫的快速ETL實現(xiàn)，其中PythonCaller轉(zhuǎn)換器能調(diào)用ArcPy、FME Objects和sys等函數(shù)類庫，從而為FME+Python+ArcPy的集成和拓展提供無限可能，Schema Maper等轉(zhuǎn)換器能快速實現(xiàn)屬性映射。

圖3 時空地理數(shù)據(jù)庫異構(gòu)整合技術(shù)流程圖

基于FME進行異構(gòu)數(shù)據(jù)庫整合轉(zhuǎn)換功能開發(fā)時，只對源數(shù)據(jù)庫進行讀取操作，不會因異常而回滾全部操作，能避免破壞源數(shù)據(jù)庫。此外，本文采用外部配置表作為映射關(guān)系約束，以目標數(shù)據(jù)庫XML框架文件為輸出結(jié)構(gòu)約束，從而提高轉(zhuǎn)換的自適應(yīng)性和正確性。其主要子功能模塊包括數(shù)據(jù)庫框架結(jié)構(gòu)提取、要素屬性預(yù)檢查、水位岸線與交匯線自動生成、映射關(guān)系表自動創(chuàng)建、異常數(shù)據(jù)檢查輸出、匹配數(shù)據(jù)自動轉(zhuǎn)換等，最終形成全流程異構(gòu)整合工具集發(fā)布至FME Server。

3.2 在線異構(gòu)整合平臺開發(fā)與應(yīng)用

FME平臺通過引入在線空間數(shù)據(jù)ETL技術(shù)，可建立基于SOA的空間ETL服務(wù)，其多節(jié)點的并行處理能力為海量數(shù)據(jù)的快速整合提供了支撐。因此，聯(lián)合

FME平臺的Server和Integration的API接口進行在線異構(gòu)整合功能的二次開發(fā)。其關(guān)鍵技術(shù)路線如圖4所示。

圖4 在線異構(gòu)整合開發(fā)關(guān)鍵技術(shù)

管理員在后臺進行目標數(shù)據(jù)庫模板XML、代碼映射表、圖層映射表、屬性字段映射表和輸出結(jié)果路徑等統(tǒng)一參數(shù)的預(yù)配置，用戶即可訪問前端主頁，實現(xiàn)本地時空地理數(shù)據(jù)庫的一鍵上傳和在線異構(gòu)整合結(jié)果的一鍵下載，如圖5所示。通過浙江省新型測繪體系數(shù)據(jù)庫整合建設(shè)項目的大量應(yīng)用，驗證了本文研究成果在時空地理數(shù)據(jù)庫異構(gòu)整合中的正確性、完整性、高效性和靈活性。

圖5 時空地理數(shù)據(jù)庫在線異構(gòu)整合的應(yīng)用

4 結(jié)語

本文借助ETL理論，提出了一套科學(xué)、標準化的數(shù)據(jù)庫異構(gòu)整合處理流程，并基于FME提供的ETL技術(shù)和ETL服務(wù)進行二次開發(fā)；采用讀取數(shù)據(jù)庫框架XML文件、圖層、屬性、代碼映射表等外部文件的方式，實現(xiàn)了海量多源異構(gòu)時空地理數(shù)據(jù)庫的在線高效精準整合，為構(gòu)建全省框架結(jié)構(gòu)統(tǒng)一的地理空間數(shù)據(jù)庫提供了一種集約型的解決方案，對優(yōu)化地理空間數(shù)據(jù)庫的生產(chǎn)組織模式以及進一步提升自然資源數(shù)據(jù)支撐效率和數(shù)據(jù)服務(wù)質(zhì)量具有一定的參考意義。