亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        ETL工具在數(shù)字城管內(nèi)業(yè)處理中的應(yīng)用

        2017-04-06 05:25:54浙江省統(tǒng)一征地事務(wù)辦公室俞建康
        浙江國土資源 2017年3期
        關(guān)鍵詞:內(nèi)業(yè)城管對話框

        □浙江省統(tǒng)一征地事務(wù)辦公室 俞建康

        ETL工具在數(shù)字城管內(nèi)業(yè)處理中的應(yīng)用

        □浙江省統(tǒng)一征地事務(wù)辦公室 俞建康

        隨著數(shù)字地球、數(shù)字城市的發(fā)展,數(shù)字城管也應(yīng)運(yùn)而生。數(shù)字城管是運(yùn)用信息化手段和移動通信技術(shù)手段來處理、分析和管理整個(gè)城市的所有城管部件和城管事件信息,促進(jìn)城市管理的現(xiàn)代化、信息化。數(shù)字城管平臺根據(jù)部件數(shù)據(jù)的特點(diǎn),采用ArcGIS數(shù)據(jù)入庫來管理部件數(shù)據(jù),ArcGIS數(shù)據(jù)入庫是一項(xiàng)很復(fù)雜的工作,在實(shí)際工作中摸索發(fā)現(xiàn),ArcGIS軟件自帶的一個(gè)擴(kuò)展模塊Spatial ETL Tool工具給數(shù)據(jù)入庫帶來很大的方便。

        一、數(shù)字城管系統(tǒng)及數(shù)據(jù)特點(diǎn)

        “數(shù)字城管”系統(tǒng)基于3S技術(shù)、大型空間數(shù)據(jù)庫、網(wǎng)絡(luò)通訊、地理編碼等信息技術(shù),集成地理空間框架、單元網(wǎng)格、管理部件和時(shí)間、地理編碼等多種數(shù)據(jù)源,將信息技術(shù)與城市管理有機(jī)結(jié)合的城市綜合管理系統(tǒng)。城市管理部件的普查和建庫為“數(shù)字城管”系統(tǒng)建設(shè)提供基礎(chǔ)數(shù)據(jù),數(shù)據(jù)的質(zhì)量及可靠性是系統(tǒng)建設(shè)成敗的關(guān)鍵。實(shí)現(xiàn)數(shù)字化、信息化的關(guān)鍵在于基礎(chǔ)數(shù)據(jù)的支持,部件數(shù)據(jù)庫是數(shù)字城管系統(tǒng)的核心數(shù)據(jù)庫。

        在《城市市政監(jiān)管信息系統(tǒng)技術(shù)規(guī)范》中指出,“空間數(shù)據(jù)是系統(tǒng)運(yùn)行的數(shù)據(jù)基礎(chǔ)”,空間數(shù)據(jù)的管理和展現(xiàn)需要采用地理信息系統(tǒng)(GIS)技術(shù)。以GIS為核心的地理空間信息技術(shù)是數(shù)字城管的核心應(yīng)用技術(shù),它與無線通信、寬帶網(wǎng)絡(luò)和無線網(wǎng)絡(luò)日趨融合在一起,為政府管理、城市居民生活和商務(wù)活動提供了一種立體的、多層面的信息服務(wù)系統(tǒng)。在數(shù)字城管的項(xiàng)目中應(yīng)用GIS技術(shù),不僅要考慮當(dāng)前項(xiàng)目應(yīng)用的具體需求,還要站在“數(shù)字城管”建設(shè)的高度上,綜合評價(jià)和選擇。

        采用GIS技術(shù)有三點(diǎn)好處:首先,它使得每個(gè)城市部件有了自己的精確空間位置,并以地圖的方式直觀展現(xiàn);其次,地物和地上設(shè)施是部件的重要參照系,全城市的大比例尺地形圖以及高分辨率影像圖被無縫集成管理,以圖形的方式展現(xiàn)出來,不論對于城市監(jiān)督員還是指揮中心和監(jiān)督中心,都可以對城市部件周圍的環(huán)境有一個(gè)全面、完整的了解,從而在事件處理上有更多的參考依據(jù);最后,結(jié)合移動定位技術(shù),監(jiān)督中心可以在地圖上隨時(shí)掌握城管監(jiān)督員的準(zhǔn)確位置,實(shí)現(xiàn)有效地監(jiān)督和調(diào)度。

        ▲圖1▲傳統(tǒng)內(nèi)業(yè)處理流程圖

        ▲圖2▲創(chuàng)建要素類

        ▲圖3▲新建要素類設(shè)置字段屬性對話框

        城市部件的建設(shè)和管理涉及到城市的多個(gè)職能部門的工作內(nèi)容,主要存在以下特點(diǎn)。

        一是類型復(fù)雜。涵蓋城市公共設(shè)施的各個(gè)方面。城市部件涉及7大類97個(gè)小類,城市街道、廣場等公共區(qū)域所能看到的公共設(shè)施需要全部分類測量采集、建庫。

        二是產(chǎn)權(quán)單位和維護(hù)單位眾多。涉及園林、綠化、城建、規(guī)劃、市政公用、道橋等多個(gè)城市管理部門。

        三是城市發(fā)展變化快,更新頻率大。城市建設(shè)的快速發(fā)展,不停的改變著城市的面貌及城市基礎(chǔ)設(shè)施,導(dǎo)致城市部件的更新普查頻率提高。

        四是同一空間位置可能有多個(gè)城管部件。如路燈和路燈上廣告的空間坐標(biāo)就相同。

        GIS技術(shù)發(fā)展多年,市場上的GIS軟件多種多樣,應(yīng)用在不同的領(lǐng)域。GIS的基礎(chǔ)作用在數(shù)字城管系統(tǒng)中是不可替代的,它管理著城市的基礎(chǔ)地理信息、地名信息和重要的部件信息,并通過工作流程實(shí)現(xiàn)了數(shù)據(jù)的共享。GIS平臺為數(shù)字城管提供了數(shù)據(jù)獲取、管理、分析等一整套解決方案,可廣泛應(yīng)用于數(shù)字城管業(yè)務(wù)處理平臺的各個(gè)子系統(tǒng)中。根據(jù)部件數(shù)據(jù)類型復(fù)雜、更新速度快等特點(diǎn)以及數(shù)字城管系統(tǒng)的運(yùn)行和管理特點(diǎn),為避免由于GIS軟件的擴(kuò)展性不強(qiáng),無法支撐更高層次的應(yīng)用,被迫放棄原有平臺,推倒重來,造成數(shù)據(jù)、經(jīng)濟(jì)和時(shí)間的損失等缺陷,數(shù)字城管系統(tǒng)選用ERIS公司開發(fā)的ArcGIS軟件作為基礎(chǔ)GIS平臺。

        ArcGIS具有強(qiáng)大的地圖制作、空間數(shù)據(jù)管理、空間分析、空間信息整合、發(fā)布與共享的能力,是分析功能最強(qiáng)大的GIS軟件。利用ArcGIS建立個(gè)人地理數(shù)據(jù)庫來管理城市部件數(shù)據(jù),給數(shù)據(jù)處理與管理帶來很大的方便??臻g數(shù)據(jù)庫系統(tǒng)可以充分利用RDBMS數(shù)據(jù)管理的功能,利用SQL語言對空間與非空間數(shù)據(jù)進(jìn)行操作,同時(shí)可以利用關(guān)系數(shù)據(jù)庫的海量數(shù)據(jù)管理、事務(wù)處理(Transaction)、記錄鎖定、并發(fā)控制、數(shù)據(jù)倉庫等功能,與傳統(tǒng)的基于文件方式的空間數(shù)據(jù)管理模式相比較,具有安全性高、并發(fā)性能好、對海量數(shù)據(jù)的管理能力強(qiáng)等優(yōu)點(diǎn)。

        二、數(shù)字城管內(nèi)業(yè)處理流程

        數(shù)字城管內(nèi)業(yè)處理的主要任務(wù)是利用ArcGIS建立個(gè)人地理數(shù)據(jù)庫來管理外業(yè)測量的城市部件數(shù)據(jù)。傳統(tǒng)內(nèi)業(yè)處理的作業(yè)流程如圖1所示。

        1.整理EXCEL表格

        外業(yè)測量人員把每個(gè)組每天外業(yè)測量的DAT數(shù)據(jù)導(dǎo)入到EXCEL表格中,內(nèi)業(yè)人員按照外業(yè)的記錄表格整理數(shù)據(jù)。內(nèi)業(yè)整理表格的標(biāo)準(zhǔn)格式如圖2所示。

        表格內(nèi)容包括:點(diǎn)號,該點(diǎn)的坐標(biāo)X、Y、H,部件名稱,材質(zhì),狀態(tài),照片,主管部門名稱,主管部門代碼,數(shù)據(jù)來源,規(guī)格,備注。外業(yè)測量人員把每個(gè)點(diǎn)號對應(yīng)的部件名稱和相應(yīng)屬性都會記錄在測量表格中,內(nèi)業(yè)人員按照外業(yè)記錄將相應(yīng)的屬性輸入到EXCEL表中。

        按部件名稱將表格分類是一個(gè)比較復(fù)雜的過程,現(xiàn)采用某公司自主研發(fā)的軟件給工作帶來了很大的方便。

        2.EXCEL表轉(zhuǎn)SHP文件

        在ArcGIS的ArcCatalog下,將分類后的EXCEL表格轉(zhuǎn)為SHP文件。在Catalog根目錄下選擇要轉(zhuǎn)為SHP的目標(biāo)表格的Sheet,單擊鼠標(biāo)右鍵,在出現(xiàn)的快捷菜單欄中選擇創(chuàng)建要素類下的從XY表,如圖2所示。

        在從XY表創(chuàng)建要素類的對話框中設(shè)置輸入字段,選擇輸入坐標(biāo)的坐標(biāo)系,指定輸出shipfile的路徑。這里需要注意的是:在X輸入字段的下拉框中選擇Y,在Y輸入字段的下拉框中選擇X,而坐標(biāo)系的選擇則是根據(jù)外業(yè)測量所選擇的坐標(biāo)系來確定,最后指定輸出shapefile文件的存儲路徑。

        參數(shù)設(shè)置完成后點(diǎn)擊“確定”按鈕,SHP文件將按指定路徑存到指定的文件里。

        3.創(chuàng)建個(gè)人地理數(shù)據(jù)庫

        創(chuàng)建個(gè)人地理數(shù)據(jù)庫也是在Catalog軟件中進(jìn)行的。首先在根目錄的目標(biāo)文件夾下新建個(gè)人地理數(shù)據(jù)庫并對其重命名,命名規(guī)則為“×××數(shù)字城管”。在新建的數(shù)據(jù)庫下新建要素集,要素集名稱統(tǒng)一為Components,然后在Components要素集下新建要素類。新建要素類的命名規(guī)則為“區(qū)名拼音首字母縮寫”(大寫字母)+“_”+“部件大類”+“部件小類”+“_”+“部件名稱”,如泰安的上水井蓋命名為“TA_0101_上水井蓋”。根據(jù)所建要素類部件的類型選擇存儲要素的類型,如上水井蓋要選擇“點(diǎn)要素”。點(diǎn)擊“下一步”設(shè)置圖層要素的屬性字段,輸入字段名稱、選擇數(shù)據(jù)類型并設(shè)置字段長度,設(shè)置對話框如圖3所示。

        圖層的字段名稱及對應(yīng)的字段代碼、數(shù)據(jù)類型和字段長度祥見表1。

        按上述步驟依次建立各個(gè)圖層,各個(gè)點(diǎn)狀圖層的字段屬性都是完全相同的,可以采用圖層復(fù)制,然后對復(fù)制圖層重命名的方法,這樣可以提高工作效率,避免重復(fù)工作。但是線狀圖層不能復(fù)制點(diǎn)狀圖層,新建線狀要素類時(shí)注意存儲類型的選擇,在存儲的要素類型中選擇“線要素”,如圖4所示。

        表1▲部件數(shù)據(jù)基本屬性字段要求

        ▲圖4▲要素存儲類型的選擇

        ▲圖5▲用ETL處理內(nèi)業(yè)流程圖

        4.數(shù)據(jù)入庫

        數(shù)據(jù)庫建成之后,即要進(jìn)行數(shù)據(jù)入庫。數(shù)據(jù)入庫也是在Catalog根目錄下進(jìn)行的,右擊新建數(shù)據(jù)庫下的要素類,在出現(xiàn)的下拉菜單中選擇“加載”項(xiàng)下的“數(shù)據(jù)加載”功能。點(diǎn)擊數(shù)據(jù)加載即出現(xiàn)簡單數(shù)據(jù)加載程序?qū)υ捒颍谳斎霐?shù)據(jù)選擇框中選擇目標(biāo)SHP文件,SHP文件打開之后需要注意的是必須點(diǎn)擊“添加”按鈕把目標(biāo)SHP文件添加到要加載的源數(shù)據(jù)列表中。

        點(diǎn)擊“下一步”按鈕,所有參數(shù)設(shè)置都為默認(rèn),繼續(xù)點(diǎn)擊“下一步”進(jìn)入到選擇加載到目標(biāo)字段中的源字段的界面,在匹配源字段的下拉框中選擇要加載到目標(biāo)字段的對應(yīng)字段。字段選擇完成后點(diǎn)擊“下一步”,出現(xiàn)選擇加載數(shù)據(jù)內(nèi)容的對話框,在此對話框中選擇“加載全部源數(shù)據(jù)”,繼續(xù)點(diǎn)擊“下一步”,然后點(diǎn)擊“完成”按鈕,至此數(shù)據(jù)加載完成。

        數(shù)據(jù)入庫就是按照上述步驟,將每個(gè)SHP圖層都一一加載到已經(jīng)建好的數(shù)據(jù)庫中。這是一個(gè)很復(fù)雜的重復(fù)工作過程,既耗費(fèi)時(shí)間又容易出現(xiàn)人為原因造成的錯(cuò)誤。

        三、ETL工具

        Spatial ETL Tool相當(dāng)于FME的Workbench。FME是加拿大Safe軟件公司針對ArcGIS開發(fā)的一個(gè)擴(kuò)展模塊。其獨(dú)立的軟件稱為FME Suite(Feature Manipulate Engineering),F(xiàn)MESuite是一套完整的訪問空間數(shù)據(jù)的解決方案,可用于讀寫存儲和轉(zhuǎn)換各種空間數(shù)據(jù),是功能更為強(qiáng)大的空間數(shù)據(jù)平臺。ETL是數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、清洗(Cleansing)、裝載(Load)的過程,是構(gòu)建數(shù)據(jù)庫的重要環(huán)節(jié),用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù),經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)庫模型,將數(shù)據(jù)加載到數(shù)據(jù)庫中。

        1.利用ETL工具進(jìn)行內(nèi)業(yè)處理

        利用ETL工具內(nèi)業(yè)處理的步驟,如圖5所示。

        2.表格合并

        合并表格前的整理工作很重要,要保持所有表格的表頭都相同,當(dāng)然內(nèi)容也要按表頭的順序排列。把整理好的表格全部放到同一個(gè)文件里,在該文件里新建一個(gè)EXCEL表,重命名為“合并”。打開新建的合并表,單擊視圖菜單,雙擊右上角的“宏”命令,創(chuàng)建一個(gè)新的“合并表”宏定義,將VB代碼粘貼到“合并表”宏中,點(diǎn)擊運(yùn)行,文件夾內(nèi)的所有表格就按順序合并到表“合并”內(nèi)。

        ▲圖6▲新建Spatial▲ETL▲Tool

        ▲圖7▲Spatial▲ETL▲Tool界面

        3.利用ETL分層

        按上面講述的步驟把合并后的表格轉(zhuǎn)為SHP文件。把SHP文件按上述數(shù)據(jù)入庫的步驟導(dǎo)入到事先建立好的數(shù)據(jù)庫中,這里的數(shù)據(jù)庫只需建立三個(gè)圖層,即點(diǎn)層、線層、面層。SHP文件導(dǎo)入數(shù)據(jù)庫后相應(yīng)的字段就被賦予標(biāo)準(zhǔn)的格式,然后再導(dǎo)出為SHP文件。這樣SHP文件就轉(zhuǎn)為標(biāo)準(zhǔn)格式了。

        Spatial ETL Tool是ArcGIS軟件自帶的一個(gè)擴(kuò)展模塊,是ArcMAP中ArcToolbox下自定義的一個(gè)應(yīng)用工具。利用Spatial ETL Tool工具按部件名稱分層的工作流程:

        打開ArcMap,右鍵點(diǎn)擊ArcToolbox的根目錄,選擇“New Toolbox”項(xiàng),點(diǎn)擊新建一個(gè)Toolbox,重命名為LayerTools。

        右鍵點(diǎn)擊新建的LayerTools工具箱,依次選擇〉〉New〉〉Spatial ETL Tool菜單項(xiàng),如圖6所示。

        在新建Spatial ETL Tool后,會出現(xiàn)設(shè)置向?qū)υ捒?,設(shè)置好輸入文件的格式。該工具是一個(gè)強(qiáng)大的數(shù)據(jù)交換平臺,支持上百種數(shù)據(jù)格式的交互,在下拉框中輸入文件格式或者點(diǎn)擊下拉框后方的按鈕,打開格式選擇對話框選擇格式,在輸入格式時(shí)可以體會下該工具方便易用的智能提示功能。要處理的原始數(shù)據(jù)是shape文件,在數(shù)據(jù)格式下拉框中選擇ESRI Shape的數(shù)據(jù)格式。

        點(diǎn)擊下一步按鈕,彈出原數(shù)據(jù)選擇對話框,選擇原始數(shù)據(jù)。

        點(diǎn)擊下一步按鈕,彈出目標(biāo)數(shù)據(jù)格式選擇對話框,設(shè)置好對應(yīng)的ESRI Shape格式。

        點(diǎn)擊下一步按鈕,彈出指定文件參數(shù)對話框,點(diǎn)擊Paramerters按鈕選擇文件參數(shù),Shape File Type選擇2D(ArcView 3.0),其他參數(shù)選擇默認(rèn)值。

        點(diǎn)擊下一步按鈕,在下一步彈出的對話框中點(diǎn)擊完成按鈕,彈出Spatial ETL Tool界面,對應(yīng)FME的Workbench。圖7中褐色區(qū)域表示原數(shù)據(jù),淺黃色區(qū)域表示目標(biāo)數(shù)據(jù)。

        點(diǎn)擊目標(biāo)數(shù)據(jù)淺黃色框的屬性按鈕,彈出要素類型屬性對話框,選擇Fanout by Attribute的分類方法,并在其下拉框里選擇OBJNAME。

        最后,點(diǎn)擊Run Translation,設(shè)置目標(biāo)數(shù)據(jù)輸出路徑,稍等片刻,分類處理即可完成。

        總之,SHP文件內(nèi)的所有部件都按部件名稱分為單個(gè)的圖層,把各個(gè)圖層導(dǎo)入到空數(shù)據(jù)庫即可。這里只需建一個(gè)空數(shù)據(jù)庫,無需建立各個(gè)分圖層,但是需要注意的是數(shù)據(jù)入庫選擇的是導(dǎo)入而不是前面的加載。兩者的區(qū)別在于加載數(shù)據(jù)是一個(gè)層一個(gè)層的加載,而導(dǎo)入是把所有的SHP圖層一次性全部加入到數(shù)據(jù)庫中。

        四、結(jié)論

        利用ETL工具進(jìn)行數(shù)據(jù)入庫可以極大提高內(nèi)業(yè)處理的工作效率,按照傳統(tǒng)的入庫工作流程,在表格整理完成后的工作,也需要一段時(shí)間,而且這個(gè)工作是一個(gè)重復(fù)枯燥的過程,需要工作人員精神高度集中,稍不留神就容易出錯(cuò)。利用ETL工具不僅降低了工作人員的勞動強(qiáng)度,而且減少了人為因素造成的錯(cuò)誤,從而降低了錯(cuò)誤率、提高了工作效率。另外,ETL工具對數(shù)據(jù)進(jìn)行的是整體處理,保證了數(shù)據(jù)的完整性和一致性。

        猜你喜歡
        內(nèi)業(yè)城管對話框
        城管執(zhí)法的“民生溫度”
        公路施工項(xiàng)目內(nèi)業(yè)資料管理探討
        應(yīng)用地表覆蓋數(shù)據(jù)估算LiDAR內(nèi)業(yè)工作量的方法研究
        正?;謴?fù)虛擬機(jī)
        高速公路機(jī)電系統(tǒng)內(nèi)業(yè)資料管理思考
        Bootlace Worms’Secret etc.
        建筑工程內(nèi)業(yè)資料管理探討
        江西建材(2018年4期)2018-04-10 12:37:50
        城管遞煙執(zhí)法,無需批評卻要檢討
        在踐行“三嚴(yán)三實(shí)”中提高城管水平
        快速抓取對話框中的完整信息
        電腦迷(2012年22期)2012-04-29 20:30:54
        天天做天天添av国产亚洲| 中文字幕日本一区二区在线观看| 老司机在线免费视频亚洲| 亚洲天堂一区av在线| 精品无码人妻一区二区三区不卡| 欧美一欧美一区二三区性| 国产亚洲青春草在线视频| 狠色人妻丝袜中文字幕| 亚洲精品久久久久avwww潮水| 波多野结衣aⅴ在线| 日本视频精品一区二区| 91九色中文视频在线观看| 国产乡下三级全黄三级| 波多野结衣亚洲一区二区三区| 国产人妖一区二区在线| 亚洲毛片在线观看免费| 国产精品r级最新在线观看| 亚洲夜夜骑| 亚洲综合天堂av网站在线观看| 偷拍综合在线视频二区| 亚洲精品无码专区在线| 男女好痛好深好爽视频一区| 一本色道加勒比精品一区二区| 成人免费看aa片| 久久精品夜夜夜夜夜久久| 免费在线观看蜜桃视频| 亚洲国产精品高清在线| 亚洲国产成人片在线观看无码| 国产精品久久码一区二区| 亚洲情精品中文字幕99在线| 人妻体内射精一区二区三区| 亚洲熟伦熟女新五十路熟妇| 国产精品国产三级国产AvkTV | 亚洲国产天堂久久综合| 九九99久久精品在免费线18| 免费国产自拍视频在线观看| 麻豆国产精品久久人妻| 精品国产18久久久久久| 中文字幕偷拍亚洲九色| 丝袜美腿国产一区精品| 黄色a级国产免费大片|