唐 權(quán)， 吳勤書(shū)，曹全龍

(1.江蘇省基礎(chǔ)地理信息中心，江蘇南京210013;2.江蘇省測(cè)繪研究所，江蘇南京210013)

一、引 言

隨著經(jīng)濟(jì)社會(huì)對(duì)地理空間信息的需求日益增加，以及互聯(lián)網(wǎng)的飛速發(fā)展和普及，GIS應(yīng)用日益豐富，基于地理位置的服務(wù)廣泛用于交通、醫(yī)療、教育、居住、娛樂(lè)、公共安全等行業(yè)服務(wù)中。門(mén)牌、道路、單位等地名地址數(shù)據(jù)作為最常用的社會(huì)公共信息資源之一，不僅與人們的日常生活息息相關(guān)，而且是政府行政管理、經(jīng)濟(jì)建設(shè)中不可或缺的基礎(chǔ)信息資源，加快建立涵蓋各行業(yè)各專題數(shù)據(jù)的標(biāo)準(zhǔn)地址庫(kù)系統(tǒng)具有廣泛的應(yīng)用前景。在省級(jí)標(biāo)準(zhǔn)地址庫(kù)層面，加快整合分散在市縣政府各部門(mén)和其他單位的地址信息資源，實(shí)現(xiàn)跨部門(mén)、跨行業(yè)、跨應(yīng)用系統(tǒng)之間的地址空間信息交換、共享與協(xié)同處理已成為當(dāng)前迫切需求。然而，在實(shí)際工作中，各個(gè)機(jī)構(gòu)或部門(mén)的業(yè)務(wù)系統(tǒng)大多是相互孤立的，且不同部門(mén)業(yè)務(wù)應(yīng)用系統(tǒng)采用的GIS軟件平臺(tái)、數(shù)據(jù)模型、地理表達(dá)方式、投影方式等各不相同，導(dǎo)致地址數(shù)據(jù)存在著各種差異，造成數(shù)據(jù)共享和一體化管理較為困難［1-2］。

空間ETL技術(shù)能實(shí)現(xiàn)對(duì)空間數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載，本文將其引入到省級(jí)標(biāo)準(zhǔn)地址庫(kù)建設(shè)中，實(shí)現(xiàn)對(duì)各市縣部門(mén)和其他相關(guān)部門(mén)地址信息資源的匯集和整合，并以江蘇省警務(wù)標(biāo)準(zhǔn)地址庫(kù)建設(shè)為例進(jìn)行應(yīng)用實(shí)踐，成功匯集了全省5市警務(wù)地理信息平臺(tái)(PGIS)和其他業(yè)務(wù)系統(tǒng)中的地址數(shù)據(jù)，取得了較好的應(yīng)用效果，證明了基于空間ETL技術(shù)實(shí)現(xiàn)省級(jí)標(biāo)準(zhǔn)地址庫(kù)的匯集方法的有效性。該方法具有一定的實(shí)踐借鑒意義，可為其他地區(qū)和行業(yè)開(kāi)展類似的標(biāo)準(zhǔn)地址庫(kù)和空間數(shù)據(jù)匯集提供一定的科學(xué)參考。

二、空間ETL技術(shù)與標(biāo)準(zhǔn)地址庫(kù)

ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和裝載(extract，transformation，loading)的英文簡(jiǎn)稱，是數(shù)據(jù)倉(cāng)庫(kù)獲取高質(zhì)量數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，是對(duì)分散在各業(yè)務(wù)系統(tǒng)中的現(xiàn)有數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、清洗和加載的過(guò)程，如圖1所示［3］?？臻g數(shù)據(jù)主要指用來(lái)表示空間實(shí)體的位置、形狀、大小及其分布特征諸多方面信息的數(shù)據(jù)，空間數(shù)據(jù)倉(cāng)庫(kù)則是面向主題的空間數(shù)據(jù)集合［4］?？臻gETL技術(shù)主要實(shí)現(xiàn)對(duì)空間數(shù)據(jù)的抽取、轉(zhuǎn)換、裝載。標(biāo)準(zhǔn)地址庫(kù)可以視為空間數(shù)據(jù)倉(cāng)庫(kù)的一種子集。標(biāo)準(zhǔn)地址庫(kù)主要包括門(mén)樓牌位置、地標(biāo)中心點(diǎn)位置、興趣點(diǎn)門(mén)面中心點(diǎn)或特征點(diǎn)位置和自然地物中心點(diǎn)等各類地址信息。數(shù)據(jù)屬性項(xiàng)由地址描述、地址編碼、地址空間位置、地址生命周期、管理屬性等屬性數(shù)據(jù)項(xiàng)構(gòu)成。

圖1 ETL實(shí)現(xiàn)的主要步驟

空間ETL不僅要處理常規(guī)的屬性數(shù)據(jù)，同時(shí)還需要處理海量的、多時(shí)態(tài)的、多尺度的空間數(shù)據(jù)。因此，除了對(duì)屬性數(shù)據(jù)進(jìn)行處理之外，還需要與其他GIS工具相結(jié)合，如地理編碼工具、坐標(biāo)轉(zhuǎn)換工具、尺度轉(zhuǎn)換工具、空間數(shù)據(jù)拼接與分割工具，對(duì)空間數(shù)據(jù)進(jìn)行有效的處理［5］。Safe Software FME(feature manipulation engine)是一款強(qiáng)大的空間ETL商業(yè)產(chǎn)品，可以支持150多種空間格式數(shù)據(jù)之間的轉(zhuǎn)換，如圖2所示。

圖2 空間ETL實(shí)現(xiàn)的主要步驟

三、基于空間ETL技術(shù)實(shí)現(xiàn)省級(jí)標(biāo)準(zhǔn)地址庫(kù)匯聚

空間ETL包括數(shù)據(jù)抽取、轉(zhuǎn)換和裝載3個(gè)過(guò)程，基于空間ETL實(shí)現(xiàn)省級(jí)標(biāo)準(zhǔn)地址庫(kù)匯聚過(guò)程具體如圖3所示。

1.準(zhǔn)備數(shù)據(jù)源

地址信息是政府行政管理和社會(huì)經(jīng)濟(jì)建設(shè)的基礎(chǔ)性信息資源，許多相關(guān)業(yè)務(wù)應(yīng)用系統(tǒng)均涉及地址數(shù)據(jù)。這種現(xiàn)象在市縣級(jí)政府部門(mén)中更為普遍，諸多部門(mén)建有與地名地址相關(guān)的業(yè)務(wù)系統(tǒng)。如民政局為實(shí)現(xiàn)更好地規(guī)范和完善地名的管理，建有“數(shù)字地名”系統(tǒng);公安局為了通過(guò)門(mén)牌號(hào)實(shí)現(xiàn)可視化的網(wǎng)絡(luò)門(mén)牌管理，并解決門(mén)牌、戶籍、治安管理中的諸多問(wèn)題，大力推進(jìn)標(biāo)準(zhǔn)地址庫(kù)建設(shè);國(guó)土資源局、房屋管理局和規(guī)劃局等其他GIS相關(guān)部門(mén)，為方便進(jìn)行各種管理和應(yīng)用，同樣建有涉及地址信息的業(yè)務(wù)系統(tǒng)。因此，省級(jí)標(biāo)準(zhǔn)地址庫(kù)的數(shù)據(jù)源可能來(lái)自于不同部門(mén)的數(shù)據(jù)庫(kù)系統(tǒng)或者其他業(yè)務(wù)應(yīng)用系統(tǒng)。

圖3 基于空間ETL技術(shù)實(shí)現(xiàn)省級(jí)標(biāo)準(zhǔn)地址庫(kù)匯聚過(guò)程

在開(kāi)展地址數(shù)據(jù)整合之前，首先需要對(duì)各數(shù)據(jù)源進(jìn)行調(diào)研分析，了解各數(shù)據(jù)源的數(shù)據(jù)格式、內(nèi)容、相關(guān)指標(biāo)體系、采集手段、時(shí)間跨度、數(shù)據(jù)質(zhì)量、空間分辨率、坐標(biāo)系等多源異構(gòu)性，制訂一套標(biāo)準(zhǔn)化整合方案和規(guī)劃;然后，在嚴(yán)格的質(zhì)量控制與保證體系下進(jìn)行空間ETL數(shù)據(jù)整合改造，確保整合后的地址數(shù)據(jù)成果正確、規(guī)范、有效。

2.空間ETL實(shí)現(xiàn)

(1)數(shù)據(jù)抽取

利用空間ETL實(shí)現(xiàn)省級(jí)標(biāo)準(zhǔn)地址庫(kù)匯聚首先是地址數(shù)據(jù)的抽取。從不同部門(mén)、不同的業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫(kù)及數(shù)據(jù)格式中抽取數(shù)據(jù)，而且數(shù)據(jù)不僅指數(shù)據(jù)庫(kù)中的標(biāo)準(zhǔn)空間地址數(shù)據(jù)，可能還涉及非結(jié)構(gòu)化(如文本文件等)的數(shù)據(jù)，這需要設(shè)計(jì)多個(gè)接口去建立跨平臺(tái)、跨數(shù)據(jù)訪問(wèn)、跨數(shù)據(jù)格式的數(shù)據(jù)讀取接口，實(shí)現(xiàn)數(shù)據(jù)的訪問(wèn)與讀取［5］。按照抽取時(shí)間的不同，數(shù)據(jù)ETL過(guò)程可以被分為兩種類型：全量ETL過(guò)程和增量ETL過(guò)程。全量ETL過(guò)程一般用于數(shù)據(jù)倉(cāng)庫(kù)的初始化，而增量ETL過(guò)程則用于地址庫(kù)的后期增量維護(hù)［3］。數(shù)據(jù)抽取是省級(jí)標(biāo)準(zhǔn)地址庫(kù)匯聚的關(guān)鍵，抽取的數(shù)據(jù)集一般先保存到數(shù)據(jù)準(zhǔn)備區(qū)內(nèi)，在此進(jìn)行數(shù)據(jù)清理、轉(zhuǎn)換和集成，然后再裝載到數(shù)據(jù)倉(cāng)庫(kù)中。

(2)數(shù)據(jù)轉(zhuǎn)換

空間數(shù)據(jù)轉(zhuǎn)換，也就是建立數(shù)據(jù)映射以后進(jìn)行數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)的映射指的是從源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的映射，空間數(shù)據(jù)的映射轉(zhuǎn)換就是要建立源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的關(guān)系，可以將源數(shù)據(jù)模型映射到目標(biāo)數(shù)據(jù)模型的模式數(shù)據(jù)作為映射規(guī)則保存到映射規(guī)則文件中［5］。

空間數(shù)據(jù)轉(zhuǎn)換步驟包括：

1)實(shí)現(xiàn)投影轉(zhuǎn)換，將已抽取的數(shù)據(jù)源空間投影轉(zhuǎn)換為與標(biāo)準(zhǔn)地址庫(kù)相一致的投影;

2)實(shí)現(xiàn)數(shù)據(jù)格式化，將來(lái)自不同地址數(shù)據(jù)源的同類數(shù)據(jù)轉(zhuǎn)換為相同格式;

3)實(shí)現(xiàn)數(shù)據(jù)類型轉(zhuǎn)換，包括將某種數(shù)據(jù)類型或格式轉(zhuǎn)換為另一種數(shù)據(jù)類型或格式的較低層次轉(zhuǎn)換;

4)實(shí)現(xiàn)數(shù)據(jù)選擇操作，根據(jù)選擇條件對(duì)數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行選擇;

5)實(shí)現(xiàn)字段抽取，從一個(gè)或多個(gè)數(shù)據(jù)源中抽取有用的字段;

6)實(shí)現(xiàn)字段合并，包括地址字符串操作、日期和時(shí)間算術(shù)運(yùn)算、其他條件語(yǔ)句，以及基本計(jì)算等功能。

可以將各轉(zhuǎn)換方法或轉(zhuǎn)換步驟進(jìn)行模塊化設(shè)計(jì)，便于后續(xù)快速構(gòu)建和重復(fù)利用轉(zhuǎn)換模型，以提高轉(zhuǎn)換效率，轉(zhuǎn)換方法包括投影轉(zhuǎn)換、格式轉(zhuǎn)換、列值計(jì)算、屬性空間化、空間屬性化、聯(lián)合處理和自定義SQL等。

(3)數(shù)據(jù)清洗

在已抽取的數(shù)據(jù)中有許多“臟數(shù)據(jù)”存在，因此，有必要對(duì)其進(jìn)行全面檢查及改正，消除數(shù)據(jù)差錯(cuò)，這一過(guò)程就稱作數(shù)據(jù)清洗。數(shù)據(jù)清洗過(guò)程中要?jiǎng)h除數(shù)據(jù)中的錯(cuò)誤和不一致的數(shù)據(jù)，過(guò)濾掉不符合要求的數(shù)據(jù)。這些不符合要求的數(shù)據(jù)主要有不完整的數(shù)據(jù)(定位信息丟失、地址屬性信息無(wú)值)，錯(cuò)誤的數(shù)據(jù)(定位信息錯(cuò)誤、所填值無(wú)效)，重復(fù)的數(shù)據(jù)(不同數(shù)據(jù)源抽取的相似數(shù)據(jù)、同數(shù)據(jù)源過(guò)程數(shù)據(jù)或相同數(shù)據(jù))三大類。通過(guò)數(shù)據(jù)清洗轉(zhuǎn)換，剔除“臟數(shù)據(jù)”，使得數(shù)據(jù)具有良好的正確性和較高的可用性。

(4)數(shù)據(jù)加載

各種地址數(shù)據(jù)在完成數(shù)據(jù)抽取、轉(zhuǎn)換、清洗后，最后按照統(tǒng)一的數(shù)據(jù)格式進(jìn)行存儲(chǔ)和加載。利用空間數(shù)據(jù)庫(kù)管理系統(tǒng)的批裝載功能和優(yōu)化裝載技術(shù)，將支持整個(gè)地址數(shù)據(jù)裝載處理過(guò)程。在裝載過(guò)程中，數(shù)據(jù)庫(kù)裝載服務(wù)支持刪除和重建空間索引、空間數(shù)據(jù)查詢等基本功能，以及提供系統(tǒng)日志、錯(cuò)誤報(bào)告、數(shù)據(jù)備份與恢復(fù)功能。

3.匯集省級(jí)標(biāo)準(zhǔn)地址庫(kù)

經(jīng)過(guò)抽取匯集的省級(jí)標(biāo)準(zhǔn)地址庫(kù)負(fù)責(zé)最終地址數(shù)據(jù)的組織和管理。標(biāo)準(zhǔn)地址庫(kù)中的數(shù)據(jù)組織是否合理、管理是否規(guī)范，對(duì)后續(xù)地址數(shù)據(jù)的應(yīng)用效果起著決定性的作用。經(jīng)過(guò)空間ETL過(guò)程形成的地址數(shù)據(jù)庫(kù)為后續(xù)地址數(shù)據(jù)的分析和應(yīng)用提供了統(tǒng)一的數(shù)據(jù)基礎(chǔ)，從而為各政府部門(mén)、企事業(yè)單位和社會(huì)公眾提供基礎(chǔ)地理信息服務(wù)。

四、空間ETL技術(shù)在江蘇省警務(wù)標(biāo)準(zhǔn)地址庫(kù)建設(shè)中的應(yīng)用實(shí)踐

空間標(biāo)準(zhǔn)地址庫(kù)是警用地理信息開(kāi)展應(yīng)用的前提和基礎(chǔ)，如業(yè)務(wù)地理數(shù)據(jù)上圖定位、批量比對(duì)、空間分析等，都以空間標(biāo)準(zhǔn)地址庫(kù)為基礎(chǔ)。目前，部、省和市三級(jí)公安部門(mén)已全面建設(shè)警務(wù)地理信息平臺(tái)(PGIS)，大量的公安業(yè)務(wù)數(shù)據(jù)通過(guò)標(biāo)準(zhǔn)地址庫(kù)實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)的空間化，警用標(biāo)準(zhǔn)地址庫(kù)已經(jīng)成為公安業(yè)務(wù)系統(tǒng)與警用地理信息相互關(guān)聯(lián)的橋梁。在江蘇省范圍內(nèi)，已有南京、常州、蘇州等市公安局在其警務(wù)地理信息平臺(tái)中建設(shè)了市級(jí)標(biāo)準(zhǔn)地址庫(kù)。江蘇省公安廳在這些市級(jí)標(biāo)準(zhǔn)地址庫(kù)和省廳已有人口住址信息、機(jī)構(gòu)信息的基礎(chǔ)上，通過(guò)空間ETL技術(shù)，建立各數(shù)據(jù)源的轉(zhuǎn)換通道，對(duì)全省地址進(jìn)行抽取、轉(zhuǎn)換和加載，匯集形成了省級(jí)警務(wù)標(biāo)準(zhǔn)地址庫(kù)，如圖4所示。截至目前，江蘇省警務(wù)標(biāo)準(zhǔn)地址庫(kù)已經(jīng)匯聚了南京、常州、蘇州、南通、鎮(zhèn)江5個(gè)市級(jí)PGIS平臺(tái)中的標(biāo)準(zhǔn)地址庫(kù)數(shù)據(jù)和省廳人口住址信息、機(jī)構(gòu)信息中的地址數(shù)據(jù)，總記錄數(shù)達(dá)200萬(wàn)余條，省級(jí)標(biāo)準(zhǔn)地址庫(kù)還在進(jìn)一步建設(shè)完善之中。

在江蘇公安日常警務(wù)業(yè)務(wù)應(yīng)用中，標(biāo)準(zhǔn)地址庫(kù)取得了較好的應(yīng)用效果。公安業(yè)務(wù)信息包括人員住址信息、機(jī)構(gòu)信息、接處警信息、案事件信息等警務(wù)基礎(chǔ)數(shù)據(jù)，警務(wù)標(biāo)準(zhǔn)地址庫(kù)基本上覆蓋了90%的這些公安業(yè)務(wù)數(shù)據(jù)中的空間地址信息。在人員和機(jī)構(gòu)相關(guān)業(yè)務(wù)系統(tǒng)中，可直接引用標(biāo)準(zhǔn)地址庫(kù)，如在標(biāo)準(zhǔn)地址庫(kù)中可查找到相應(yīng)地址，則直接保存該地址編碼，而無(wú)需手動(dòng)輸入，大大減少了地址信息錄入的工作量，增加了地址數(shù)據(jù)的規(guī)范性與準(zhǔn)確性，減少了數(shù)據(jù)冗余。通過(guò)與標(biāo)準(zhǔn)地址庫(kù)進(jìn)行地址匹配，分析人員可以通過(guò)PGIS系統(tǒng)在地圖上直接展示出110報(bào)警的位置、案事件的發(fā)生地，為后續(xù)空間分析應(yīng)用奠定基礎(chǔ)。由于所有地址均引用自唯一的警用標(biāo)準(zhǔn)地址庫(kù)，以此作為相互關(guān)聯(lián)的載體和橋梁，實(shí)現(xiàn)了各警務(wù)業(yè)務(wù)平臺(tái)與地址相關(guān)的業(yè)務(wù)數(shù)據(jù)的互通，可以消除部門(mén)業(yè)務(wù)之前形成的數(shù)據(jù)孤島，進(jìn)一步拓展業(yè)務(wù)數(shù)據(jù)進(jìn)行地理空間分析的廣度和深度。

圖4 基于空間ETL技術(shù)江蘇省級(jí)警務(wù)標(biāo)準(zhǔn)地址庫(kù)建設(shè)的應(yīng)用

五、結(jié)論與討論

標(biāo)準(zhǔn)地址庫(kù)是數(shù)字城市建設(shè)中的基礎(chǔ)工程之一，構(gòu)建統(tǒng)一的省級(jí)標(biāo)準(zhǔn)地址庫(kù)，在省域范圍內(nèi)整合各行業(yè)地址信息資源，基于標(biāo)準(zhǔn)地址使各部門(mén)分散的信息資源庫(kù)建立起有機(jī)聯(lián)系，可為全省各政府部門(mén)實(shí)現(xiàn)信息共享、交換和整合提供基礎(chǔ)信息支撐。由于地址空間數(shù)據(jù)的多源異構(gòu)性，導(dǎo)致了其整合工作的復(fù)雜性，本文提出的基于空間ETL技術(shù)實(shí)現(xiàn)省級(jí)標(biāo)準(zhǔn)地址庫(kù)的匯集，較好地解決了地址數(shù)據(jù)整合過(guò)程中由于數(shù)據(jù)多源異構(gòu)性而造成的數(shù)據(jù)難以實(shí)現(xiàn)集成的問(wèn)題，并在江蘇省警務(wù)標(biāo)準(zhǔn)地址庫(kù)建設(shè)中進(jìn)行了應(yīng)用實(shí)踐。江蘇省警務(wù)標(biāo)準(zhǔn)地址庫(kù)的成功建設(shè)取得了較好的應(yīng)用效果，證明了基于空間ETL技術(shù)實(shí)現(xiàn)省級(jí)標(biāo)準(zhǔn)地址庫(kù)的匯集方法的有效性，具有一定的實(shí)踐意義，可為其他地區(qū)和行業(yè)開(kāi)展類似的標(biāo)準(zhǔn)地址庫(kù)和空間數(shù)據(jù)匯集提供一定的科學(xué)參考。

采用基于空間ETL匯集省級(jí)標(biāo)準(zhǔn)地址庫(kù)的方法能夠解決多源異構(gòu)空間地址數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和裝載，但是由于空間ETL技術(shù)的復(fù)雜性和地址數(shù)據(jù)的多源異構(gòu)性，如何提高空間地址數(shù)據(jù)整合效率和數(shù)據(jù)質(zhì)量等問(wèn)題，尚待進(jìn)一步深入研究。

［1］龔健雅.空間信息資源共享與互操作技術(shù)［J］.國(guó)土資源信息化，2003(5)：15-21.

［2］王雅琴，陶華學(xué)，高華，等.基于GML的多源異構(gòu)數(shù)據(jù)交換模式研究［J］.測(cè)繪科學(xué)，2006，31(2)：88-89.

［3］徐俊剛，裴瑩.數(shù)據(jù)ETL研究綜述［J］.計(jì)算機(jī)科學(xué)，2011，38(4)：15-20.

［4］田揚(yáng)戈，邊馥苓.空間數(shù)據(jù)倉(cāng)庫(kù)的ETL研究［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2007，32(4)：362-365.

［5］陳紅華，王志杰，鄭加柱，等.基于空間ETL實(shí)現(xiàn)VCT數(shù)據(jù)交換共享［J］.測(cè)繪科學(xué)，2012，37(1)：185-186.

［6］劉龍庚，楊東日，李小平.信息產(chǎn)業(yè)資源共享與分析平臺(tái)中ETL技術(shù)研究［J］.四川大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，49(1)：85-89.