□浙江省統(tǒng)一征地事務(wù)辦公室 俞建康

ETL工具在數(shù)字城管內(nèi)業(yè)處理中的應(yīng)用

□浙江省統(tǒng)一征地事務(wù)辦公室 俞建康

隨著數(shù)字地球、數(shù)字城市的發(fā)展，數(shù)字城管也應(yīng)運(yùn)而生。數(shù)字城管是運(yùn)用信息化手段和移動通信技術(shù)手段來處理、分析和管理整個(gè)城市的所有城管部件和城管事件信息，促進(jìn)城市管理的現(xiàn)代化、信息化。數(shù)字城管平臺根據(jù)部件數(shù)據(jù)的特點(diǎn)，采用ArcGIS數(shù)據(jù)入庫來管理部件數(shù)據(jù)，ArcGIS數(shù)據(jù)入庫是一項(xiàng)很復(fù)雜的工作，在實(shí)際工作中摸索發(fā)現(xiàn)，ArcGIS軟件自帶的一個(gè)擴(kuò)展模塊Spatial ETL Tool工具給數(shù)據(jù)入庫帶來很大的方便。

一、數(shù)字城管系統(tǒng)及數(shù)據(jù)特點(diǎn)

“數(shù)字城管”系統(tǒng)基于3S技術(shù)、大型空間數(shù)據(jù)庫、網(wǎng)絡(luò)通訊、地理編碼等信息技術(shù)，集成地理空間框架、單元網(wǎng)格、管理部件和時(shí)間、地理編碼等多種數(shù)據(jù)源，將信息技術(shù)與城市管理有機(jī)結(jié)合的城市綜合管理系統(tǒng)。城市管理部件的普查和建庫為“數(shù)字城管”系統(tǒng)建設(shè)提供基礎(chǔ)數(shù)據(jù)，數(shù)據(jù)的質(zhì)量及可靠性是系統(tǒng)建設(shè)成敗的關(guān)鍵。實(shí)現(xiàn)數(shù)字化、信息化的關(guān)鍵在于基礎(chǔ)數(shù)據(jù)的支持，部件數(shù)據(jù)庫是數(shù)字城管系統(tǒng)的核心數(shù)據(jù)庫。

在《城市市政監(jiān)管信息系統(tǒng)技術(shù)規(guī)范》中指出，“空間數(shù)據(jù)是系統(tǒng)運(yùn)行的數(shù)據(jù)基礎(chǔ)”，空間數(shù)據(jù)的管理和展現(xiàn)需要采用地理信息系統(tǒng)（GIS）技術(shù)。以GIS為核心的地理空間信息技術(shù)是數(shù)字城管的核心應(yīng)用技術(shù)，它與無線通信、寬帶網(wǎng)絡(luò)和無線網(wǎng)絡(luò)日趨融合在一起，為政府管理、城市居民生活和商務(wù)活動提供了一種立體的、多層面的信息服務(wù)系統(tǒng)。在數(shù)字城管的項(xiàng)目中應(yīng)用GIS技術(shù)，不僅要考慮當(dāng)前項(xiàng)目應(yīng)用的具體需求，還要站在“數(shù)字城管”建設(shè)的高度上，綜合評價(jià)和選擇。

采用GIS技術(shù)有三點(diǎn)好處：首先，它使得每個(gè)城市部件有了自己的精確空間位置，并以地圖的方式直觀展現(xiàn)；其次，地物和地上設(shè)施是部件的重要參照系，全城市的大比例尺地形圖以及高分辨率影像圖被無縫集成管理，以圖形的方式展現(xiàn)出來，不論對于城市監(jiān)督員還是指揮中心和監(jiān)督中心，都可以對城市部件周圍的環(huán)境有一個(gè)全面、完整的了解，從而在事件處理上有更多的參考依據(jù)；最后，結(jié)合移動定位技術(shù)，監(jiān)督中心可以在地圖上隨時(shí)掌握城管監(jiān)督員的準(zhǔn)確位置，實(shí)現(xiàn)有效地監(jiān)督和調(diào)度。

▲圖1▲傳統(tǒng)內(nèi)業(yè)處理流程圖

▲圖2▲創(chuàng)建要素類

▲圖3▲新建要素類設(shè)置字段屬性對話框

城市部件的建設(shè)和管理涉及到城市的多個(gè)職能部門的工作內(nèi)容，主要存在以下特點(diǎn)。

一是類型復(fù)雜。涵蓋城市公共設(shè)施的各個(gè)方面。城市部件涉及7大類97個(gè)小類，城市街道、廣場等公共區(qū)域所能看到的公共設(shè)施需要全部分類測量采集、建庫。

二是產(chǎn)權(quán)單位和維護(hù)單位眾多。涉及園林、綠化、城建、規(guī)劃、市政公用、道橋等多個(gè)城市管理部門。

三是城市發(fā)展變化快，更新頻率大。城市建設(shè)的快速發(fā)展，不停的改變著城市的面貌及城市基礎(chǔ)設(shè)施，導(dǎo)致城市部件的更新普查頻率提高。

四是同一空間位置可能有多個(gè)城管部件。如路燈和路燈上廣告的空間坐標(biāo)就相同。

GIS技術(shù)發(fā)展多年，市場上的GIS軟件多種多樣，應(yīng)用在不同的領(lǐng)域。GIS的基礎(chǔ)作用在數(shù)字城管系統(tǒng)中是不可替代的，它管理著城市的基礎(chǔ)地理信息、地名信息和重要的部件信息，并通過工作流程實(shí)現(xiàn)了數(shù)據(jù)的共享。GIS平臺為數(shù)字城管提供了數(shù)據(jù)獲取、管理、分析等一整套解決方案,可廣泛應(yīng)用于數(shù)字城管業(yè)務(wù)處理平臺的各個(gè)子系統(tǒng)中。根據(jù)部件數(shù)據(jù)類型復(fù)雜、更新速度快等特點(diǎn)以及數(shù)字城管系統(tǒng)的運(yùn)行和管理特點(diǎn)，為避免由于GIS軟件的擴(kuò)展性不強(qiáng)，無法支撐更高層次的應(yīng)用，被迫放棄原有平臺，推倒重來，造成數(shù)據(jù)、經(jīng)濟(jì)和時(shí)間的損失等缺陷，數(shù)字城管系統(tǒng)選用ERIS公司開發(fā)的ArcGIS軟件作為基礎(chǔ)GIS平臺。

ArcGIS具有強(qiáng)大的地圖制作、空間數(shù)據(jù)管理、空間分析、空間信息整合、發(fā)布與共享的能力，是分析功能最強(qiáng)大的GIS軟件。利用ArcGIS建立個(gè)人地理數(shù)據(jù)庫來管理城市部件數(shù)據(jù)，給數(shù)據(jù)處理與管理帶來很大的方便?？臻g數(shù)據(jù)庫系統(tǒng)可以充分利用RDBMS數(shù)據(jù)管理的功能，利用SQL語言對空間與非空間數(shù)據(jù)進(jìn)行操作，同時(shí)可以利用關(guān)系數(shù)據(jù)庫的海量數(shù)據(jù)管理、事務(wù)處理(Transaction)、記錄鎖定、并發(fā)控制、數(shù)據(jù)倉庫等功能，與傳統(tǒng)的基于文件方式的空間數(shù)據(jù)管理模式相比較，具有安全性高、并發(fā)性能好、對海量數(shù)據(jù)的管理能力強(qiáng)等優(yōu)點(diǎn)。

二、數(shù)字城管內(nèi)業(yè)處理流程

數(shù)字城管內(nèi)業(yè)處理的主要任務(wù)是利用ArcGIS建立個(gè)人地理數(shù)據(jù)庫來管理外業(yè)測量的城市部件數(shù)據(jù)。傳統(tǒng)內(nèi)業(yè)處理的作業(yè)流程如圖1所示。

1.整理EXCEL表格

外業(yè)測量人員把每個(gè)組每天外業(yè)測量的DAT數(shù)據(jù)導(dǎo)入到EXCEL表格中，內(nèi)業(yè)人員按照外業(yè)的記錄表格整理數(shù)據(jù)。內(nèi)業(yè)整理表格的標(biāo)準(zhǔn)格式如圖2所示。

表格內(nèi)容包括：點(diǎn)號，該點(diǎn)的坐標(biāo)X、Y、H，部件名稱，材質(zhì)，狀態(tài)，照片，主管部門名稱，主管部門代碼，數(shù)據(jù)來源，規(guī)格，備注。外業(yè)測量人員把每個(gè)點(diǎn)號對應(yīng)的部件名稱和相應(yīng)屬性都會記錄在測量表格中，內(nèi)業(yè)人員按照外業(yè)記錄將相應(yīng)的屬性輸入到EXCEL表中。

按部件名稱將表格分類是一個(gè)比較復(fù)雜的過程，現(xiàn)采用某公司自主研發(fā)的軟件給工作帶來了很大的方便。

2.EXCEL表轉(zhuǎn)SHP文件

在ArcGIS的ArcCatalog下，將分類后的EXCEL表格轉(zhuǎn)為SHP文件。在Catalog根目錄下選擇要轉(zhuǎn)為SHP的目標(biāo)表格的Sheet，單擊鼠標(biāo)右鍵，在出現(xiàn)的快捷菜單欄中選擇創(chuàng)建要素類下的從XY表，如圖2所示。

在從XY表創(chuàng)建要素類的對話框中設(shè)置輸入字段，選擇輸入坐標(biāo)的坐標(biāo)系，指定輸出shipfile的路徑。這里需要注意的是：在X輸入字段的下拉框中選擇Y，在Y輸入字段的下拉框中選擇X，而坐標(biāo)系的選擇則是根據(jù)外業(yè)測量所選擇的坐標(biāo)系來確定，最后指定輸出shapefile文件的存儲路徑。

參數(shù)設(shè)置完成后點(diǎn)擊“確定”按鈕，SHP文件將按指定路徑存到指定的文件里。

3.創(chuàng)建個(gè)人地理數(shù)據(jù)庫

創(chuàng)建個(gè)人地理數(shù)據(jù)庫也是在Catalog軟件中進(jìn)行的。首先在根目錄的目標(biāo)文件夾下新建個(gè)人地理數(shù)據(jù)庫并對其重命名，命名規(guī)則為“×××數(shù)字城管”。在新建的數(shù)據(jù)庫下新建要素集，要素集名稱統(tǒng)一為Components，然后在Components要素集下新建要素類。新建要素類的命名規(guī)則為“區(qū)名拼音首字母縮寫”（大寫字母）+“_”+“部件大類”+“部件小類”+“_”+“部件名稱”，如泰安的上水井蓋命名為“TA_0101_上水井蓋”。根據(jù)所建要素類部件的類型選擇存儲要素的類型，如上水井蓋要選擇“點(diǎn)要素”。點(diǎn)擊“下一步”設(shè)置圖層要素的屬性字段，輸入字段名稱、選擇數(shù)據(jù)類型并設(shè)置字段長度，設(shè)置對話框如圖3所示。

圖層的字段名稱及對應(yīng)的字段代碼、數(shù)據(jù)類型和字段長度祥見表1。

按上述步驟依次建立各個(gè)圖層，各個(gè)點(diǎn)狀圖層的字段屬性都是完全相同的，可以采用圖層復(fù)制，然后對復(fù)制圖層重命名的方法，這樣可以提高工作效率，避免重復(fù)工作。但是線狀圖層不能復(fù)制點(diǎn)狀圖層，新建線狀要素類時(shí)注意存儲類型的選擇，在存儲的要素類型中選擇“線要素”，如圖4所示。

表1▲部件數(shù)據(jù)基本屬性字段要求

▲圖4▲要素存儲類型的選擇

▲圖5▲用ETL處理內(nèi)業(yè)流程圖

4.數(shù)據(jù)入庫

數(shù)據(jù)庫建成之后，即要進(jìn)行數(shù)據(jù)入庫。數(shù)據(jù)入庫也是在Catalog根目錄下進(jìn)行的，右擊新建數(shù)據(jù)庫下的要素類，在出現(xiàn)的下拉菜單中選擇“加載”項(xiàng)下的“數(shù)據(jù)加載”功能。點(diǎn)擊數(shù)據(jù)加載即出現(xiàn)簡單數(shù)據(jù)加載程序?qū)υ捒颍谳斎霐?shù)據(jù)選擇框中選擇目標(biāo)SHP文件，SHP文件打開之后需要注意的是必須點(diǎn)擊“添加”按鈕把目標(biāo)SHP文件添加到要加載的源數(shù)據(jù)列表中。

點(diǎn)擊“下一步”按鈕，所有參數(shù)設(shè)置都為默認(rèn)，繼續(xù)點(diǎn)擊“下一步”進(jìn)入到選擇加載到目標(biāo)字段中的源字段的界面，在匹配源字段的下拉框中選擇要加載到目標(biāo)字段的對應(yīng)字段。字段選擇完成后點(diǎn)擊“下一步”，出現(xiàn)選擇加載數(shù)據(jù)內(nèi)容的對話框，在此對話框中選擇“加載全部源數(shù)據(jù)”，繼續(xù)點(diǎn)擊“下一步”，然后點(diǎn)擊“完成”按鈕，至此數(shù)據(jù)加載完成。

數(shù)據(jù)入庫就是按照上述步驟，將每個(gè)SHP圖層都一一加載到已經(jīng)建好的數(shù)據(jù)庫中。這是一個(gè)很復(fù)雜的重復(fù)工作過程，既耗費(fèi)時(shí)間又容易出現(xiàn)人為原因造成的錯(cuò)誤。

三、ETL工具

Spatial ETL Tool相當(dāng)于FME的Workbench。FME是加拿大Safe軟件公司針對ArcGIS開發(fā)的一個(gè)擴(kuò)展模塊。其獨(dú)立的軟件稱為FME Suite(Feature Manipulate Engineering)，F(xiàn)MESuite是一套完整的訪問空間數(shù)據(jù)的解決方案，可用于讀寫存儲和轉(zhuǎn)換各種空間數(shù)據(jù)，是功能更為強(qiáng)大的空間數(shù)據(jù)平臺。ETL是數(shù)據(jù)抽取（Extract）、轉(zhuǎn)換（Transform）、清洗（Cleansing）、裝載（Load）的過程，是構(gòu)建數(shù)據(jù)庫的重要環(huán)節(jié)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)庫模型，將數(shù)據(jù)加載到數(shù)據(jù)庫中。

1.利用ETL工具進(jìn)行內(nèi)業(yè)處理

利用ETL工具內(nèi)業(yè)處理的步驟，如圖5所示。

2.表格合并

合并表格前的整理工作很重要，要保持所有表格的表頭都相同，當(dāng)然內(nèi)容也要按表頭的順序排列。把整理好的表格全部放到同一個(gè)文件里，在該文件里新建一個(gè)EXCEL表，重命名為“合并”。打開新建的合并表，單擊視圖菜單，雙擊右上角的“宏”命令，創(chuàng)建一個(gè)新的“合并表”宏定義，將VB代碼粘貼到“合并表”宏中，點(diǎn)擊運(yùn)行，文件夾內(nèi)的所有表格就按順序合并到表“合并”內(nèi)。

▲圖6▲新建Spatial▲ETL▲Tool

▲圖7▲Spatial▲ETL▲Tool界面

3.利用ETL分層

按上面講述的步驟把合并后的表格轉(zhuǎn)為SHP文件。把SHP文件按上述數(shù)據(jù)入庫的步驟導(dǎo)入到事先建立好的數(shù)據(jù)庫中，這里的數(shù)據(jù)庫只需建立三個(gè)圖層，即點(diǎn)層、線層、面層。SHP文件導(dǎo)入數(shù)據(jù)庫后相應(yīng)的字段就被賦予標(biāo)準(zhǔn)的格式，然后再導(dǎo)出為SHP文件。這樣SHP文件就轉(zhuǎn)為標(biāo)準(zhǔn)格式了。

Spatial ETL Tool是ArcGIS軟件自帶的一個(gè)擴(kuò)展模塊，是ArcMAP中ArcToolbox下自定義的一個(gè)應(yīng)用工具。利用Spatial ETL Tool工具按部件名稱分層的工作流程：

打開ArcMap，右鍵點(diǎn)擊ArcToolbox的根目錄，選擇“New Toolbox”項(xiàng)，點(diǎn)擊新建一個(gè)Toolbox，重命名為LayerTools。

右鍵點(diǎn)擊新建的LayerTools工具箱，依次選擇〉〉New〉〉Spatial ETL Tool菜單項(xiàng)，如圖6所示。

在新建Spatial ETL Tool后，會出現(xiàn)設(shè)置向?qū)υ捒?，設(shè)置好輸入文件的格式。該工具是一個(gè)強(qiáng)大的數(shù)據(jù)交換平臺，支持上百種數(shù)據(jù)格式的交互，在下拉框中輸入文件格式或者點(diǎn)擊下拉框后方的按鈕，打開格式選擇對話框選擇格式，在輸入格式時(shí)可以體會下該工具方便易用的智能提示功能。要處理的原始數(shù)據(jù)是shape文件，在數(shù)據(jù)格式下拉框中選擇ESRI Shape的數(shù)據(jù)格式。

點(diǎn)擊下一步按鈕，彈出原數(shù)據(jù)選擇對話框，選擇原始數(shù)據(jù)。

點(diǎn)擊下一步按鈕，彈出目標(biāo)數(shù)據(jù)格式選擇對話框，設(shè)置好對應(yīng)的ESRI Shape格式。

點(diǎn)擊下一步按鈕，彈出指定文件參數(shù)對話框，點(diǎn)擊Paramerters按鈕選擇文件參數(shù)，Shape File Type選擇2D(ArcView 3.0)，其他參數(shù)選擇默認(rèn)值。

點(diǎn)擊下一步按鈕，在下一步彈出的對話框中點(diǎn)擊完成按鈕，彈出Spatial ETL Tool界面，對應(yīng)FME的Workbench。圖7中褐色區(qū)域表示原數(shù)據(jù)，淺黃色區(qū)域表示目標(biāo)數(shù)據(jù)。

點(diǎn)擊目標(biāo)數(shù)據(jù)淺黃色框的屬性按鈕，彈出要素類型屬性對話框，選擇Fanout by Attribute的分類方法，并在其下拉框里選擇OBJNAME。

最后，點(diǎn)擊Run Translation，設(shè)置目標(biāo)數(shù)據(jù)輸出路徑，稍等片刻，分類處理即可完成。

總之，SHP文件內(nèi)的所有部件都按部件名稱分為單個(gè)的圖層，把各個(gè)圖層導(dǎo)入到空數(shù)據(jù)庫即可。這里只需建一個(gè)空數(shù)據(jù)庫，無需建立各個(gè)分圖層，但是需要注意的是數(shù)據(jù)入庫選擇的是導(dǎo)入而不是前面的加載。兩者的區(qū)別在于加載數(shù)據(jù)是一個(gè)層一個(gè)層的加載，而導(dǎo)入是把所有的SHP圖層一次性全部加入到數(shù)據(jù)庫中。

四、結(jié)論

利用ETL工具進(jìn)行數(shù)據(jù)入庫可以極大提高內(nèi)業(yè)處理的工作效率，按照傳統(tǒng)的入庫工作流程，在表格整理完成后的工作，也需要一段時(shí)間，而且這個(gè)工作是一個(gè)重復(fù)枯燥的過程，需要工作人員精神高度集中，稍不留神就容易出錯(cuò)。利用ETL工具不僅降低了工作人員的勞動強(qiáng)度，而且減少了人為因素造成的錯(cuò)誤，從而降低了錯(cuò)誤率、提高了工作效率。另外，ETL工具對數(shù)據(jù)進(jìn)行的是整體處理，保證了數(shù)據(jù)的完整性和一致性。