解智強，王貴武，高忠，周海彬

(昆明市城市地下管線探測辦公室，云南昆明 650011)

頻繁市政工程建設(shè)背景下的地下管線GIS數(shù)據(jù)更新方法

解智強?，王貴武，高忠，周海彬

(昆明市城市地下管線探測辦公室，云南昆明 650011)

城市地下管線GIS數(shù)據(jù)庫建成后，即面臨數(shù)據(jù)應(yīng)用－更新－維護－應(yīng)用的反復循環(huán)的問題，特別是在城市快速建設(shè)與發(fā)展時期尤其如此，本文就昆明市滇池治理重點工程－城市地下雨污分流改造為代表，針對過程中對地下排水管線GIS數(shù)據(jù)的使用，尤其針對數(shù)據(jù)需求、數(shù)據(jù)采集、數(shù)據(jù)更新過程及地下管線GIS數(shù)據(jù)庫工作方式設(shè)計與運行，提出大工程背景下解決地下管線信息更新存在問題的若干技術(shù)方法。

城市地下管線GIS數(shù)據(jù)庫；排水管線雨污分流改造；數(shù)據(jù)更新

1 引 言

昆明市于2007年～2010年開展了城市地下排水管線普查探測工作，共完成昆明市主城區(qū) 330 km2的市政道路綜合管線 12 000 km，該數(shù)據(jù)資料已經(jīng)通過驗收并入庫。同時，昆明市還開展了小區(qū)庭院排水管線的普查。目前，已完成大部分的外業(yè)管線探測工作，正轉(zhuǎn)入內(nèi)業(yè)修改、完善及數(shù)據(jù)入庫前的準備階段。昆明市共完成城市地下管線20 000余千米的普查探測任務(wù)，其中探明昆明市主城區(qū)地下管線井位40萬余座、同時通過規(guī)范化的數(shù)據(jù)采集標準要求，以建設(shè)地理信息系統(tǒng)的方法統(tǒng)一將這些數(shù)據(jù)使用大型關(guān)系型數(shù)據(jù)庫Oracle 10G進行存儲和管理[1]。

隨著城市化建設(shè)進程的加快，特別是現(xiàn)代新昆明建設(shè)快速推進，大量道路與河道工程經(jīng)過不斷地實施改造，使城市地下管線信息資源數(shù)據(jù)面臨著不斷更新完善的壓力。特別是2009年，昆明市實施了城市雨污分流改造等大型的市政工程以及一批重要地城市地下排水管線改造工程，使昆明市地下管線數(shù)據(jù)庫每天面臨大量數(shù)據(jù)進出的實際。這些工作對Oracle數(shù)據(jù)存儲方式和工作情況形成一定壓力，并對城市地下管線數(shù)據(jù)庫的更新與維護方法提出挑戰(zhàn)。因此，城市地下管線數(shù)據(jù)庫的管理、更新、維護的技術(shù)體系的制定及技術(shù)方法的使用對地下管線信息資源共享平臺的建設(shè)具有重要的作用[2]。

2 昆明市頻繁市政工程的開展及其對地下管線GIS數(shù)據(jù)的需求

昆明市城市市政工程建設(shè)對地下管線數(shù)據(jù)的需求十分明顯:①在工程項目的設(shè)計階段，大量的地下管線數(shù)據(jù)和背景地圖數(shù)據(jù)從數(shù)據(jù)庫中讀取出來，通過GIS軟件本身開發(fā)的數(shù)據(jù)讀取程序，將其轉(zhuǎn)換為圖形化通用的CAD格式數(shù)據(jù)，提供設(shè)計項目的可行性研究報告編寫以及項目設(shè)計實施。②在項目施工階段，地下管線資源數(shù)據(jù)通過其本身圖形及圖面信息標識成為指導施工建設(shè)的客觀依據(jù)，在項目的施工圖設(shè)計和項目的竣工圖編制過程中發(fā)揮著關(guān)鍵的作用。③在項目結(jié)尾階段，新的城市地下排水管線數(shù)據(jù)將通過竣工測量的方式采集并提交數(shù)據(jù)入庫管理，這需要新生產(chǎn)的地下管線GIS數(shù)據(jù)能夠按照《昆明市城市地下管線數(shù)據(jù)標準》嚴格地進行數(shù)據(jù)的采集、建設(shè)與管理，以滿足生產(chǎn)出來的數(shù)據(jù)能夠及時完成數(shù)據(jù)入庫與管理，以保證昆明市城市地下管線的現(xiàn)狀性應(yīng)用[3]。

上述數(shù)據(jù)的頻繁進出對已經(jīng)建成的地下管線數(shù)據(jù)庫形成了壓力，主要體現(xiàn)在:

①數(shù)據(jù)的進出不斷地改變著數(shù)據(jù)庫的字段的結(jié)構(gòu)、內(nèi)容以及表之間數(shù)據(jù)容量的大小，這一點對于數(shù)據(jù)庫設(shè)計而言，數(shù)據(jù)接納規(guī)則及更新機制的建設(shè)十分重要。

②新舊數(shù)據(jù)的接邊以及接邊后數(shù)據(jù)再規(guī)則化入庫的問題十分關(guān)鍵。

③需要考慮Oracle數(shù)據(jù)庫的優(yōu)化問題以滿足用戶對數(shù)據(jù)庫性能水平要求不斷提升的考慮。

3 數(shù)據(jù)庫數(shù)據(jù)的動態(tài)更新流程設(shè)計與實現(xiàn)方法

地下管線數(shù)據(jù)更新流程的合理設(shè)計對數(shù)據(jù)的動態(tài)更新與實現(xiàn)至關(guān)重要，因此，在考慮城市地下管線信息資源數(shù)據(jù)入庫時，首先需要考慮城市地下管線的入庫方法和數(shù)據(jù)入庫的策略，因為這影響到數(shù)據(jù)出庫與入庫的效率，更重要的是，影響到數(shù)據(jù)庫的快速容納能力。

3.1 昆明市地下管線信息資源數(shù)據(jù)更新的現(xiàn)狀分析

昆明市城市地下管線數(shù)據(jù)由外業(yè)采集與管理－內(nèi)業(yè)編輯及入庫前準備－數(shù)據(jù)入庫－數(shù)據(jù)庫內(nèi)編輯、處理與分析等幾類項目構(gòu)成。其中，考慮到數(shù)據(jù)來源的多樣化(昆明市城市地下管線探測數(shù)據(jù)的資料由多家測繪單位完成測量)，管線數(shù)據(jù)庫建設(shè)時考慮到了其更新問題的存在。因此，通過《昆明市城市地下管線探測技術(shù)規(guī)程》的技術(shù)文件規(guī)定，設(shè)置了管線數(shù)據(jù)文件的交換數(shù)據(jù)格式——MDB數(shù)據(jù)庫，通過對數(shù)據(jù)庫的字段及其數(shù)據(jù)錄入的統(tǒng)一填寫，約束了并規(guī)范了數(shù)據(jù)統(tǒng)一提交的格式[4，5]，這是將來數(shù)據(jù)庫更新與維護必須經(jīng)過的關(guān)鍵環(huán)節(jié)(線表的設(shè)計如表1所示)。

管線線表設(shè)計重要字段列舉 表1

其次，昆明市城市地下管線探測數(shù)據(jù)建庫考慮了城市地下管線的服務(wù)范圍的廣泛性，因為數(shù)據(jù)的及時更新才能夠滿足城市市政建設(shè)的動態(tài)化及第一時間的工作需要。昆明市城市地下管線信息資源數(shù)據(jù)在動態(tài)更新之后面臨的新任務(wù)是:這些數(shù)據(jù)需要轉(zhuǎn)換為不同的數(shù)據(jù)格式，以滿足不同管線權(quán)屬單位的需要(如表2所示)，這同樣是昆明市地下管線信息資源數(shù)據(jù)輸出的一個重要的關(guān)鍵環(huán)節(jié)，也是數(shù)據(jù)輸出的基本要求。

部分管線數(shù)據(jù)用戶使用的數(shù)據(jù)格式及數(shù)據(jù)要求 表2

3.2 昆明市地下管線信息資源數(shù)據(jù)更新采用的策略及更新流程方案

(1)更新策略

昆明市城市地下管線資源數(shù)據(jù)采用標準的中間格式數(shù)據(jù)手段轉(zhuǎn)換更新，通過采用外業(yè)探測、更新后，室內(nèi)整理后的數(shù)據(jù)是Access的MDB數(shù)據(jù)庫，使用轉(zhuǎn)換流程轉(zhuǎn)換到Oracle數(shù)據(jù)庫進行管理。根據(jù)系統(tǒng)昆明市城市地下管線信息系統(tǒng)實現(xiàn)的功能，昆明市城市地下管線數(shù)據(jù)更新如圖1所示。

圖1 昆明市城市地下管線數(shù)據(jù)更新技術(shù)路線

這種策略的使用至少有以下優(yōu)點:

①通過中間數(shù)據(jù)交換格式mdb，在CAD開發(fā)的數(shù)據(jù)編輯子系統(tǒng)中進行編輯處理，本項功能多達43個地下管線數(shù)據(jù)檢查項目，將MDB數(shù)據(jù)中存在的數(shù)據(jù)問題得到有效處理。

②通過中間數(shù)據(jù)交換格式mdb，可以將一些數(shù)據(jù)中存在的問題在數(shù)據(jù)庫建設(shè)的初期就實現(xiàn)過濾，不將這些數(shù)據(jù)中存在的問題帶到數(shù)據(jù)庫中去。

③通過MDB數(shù)據(jù)庫，為與其他平臺的數(shù)據(jù)交換格式提供了中介平臺，避免其他用戶在獲取數(shù)據(jù)時，直接對數(shù)據(jù)庫操作，這滿足了昆明市城市地下管線信息資源數(shù)據(jù)庫的安全性要求。

經(jīng)過處理后的數(shù)據(jù)，質(zhì)量得到了充分保證之后，按照系統(tǒng)操作流程，昆明市城市地下管線信息系統(tǒng)根據(jù)更新數(shù)據(jù)的范圍、權(quán)屬、可以手動選擇更新范圍，也可以自動全庫更新，如圖2所示。

圖2 昆明市城市地下管線數(shù)據(jù)庫更新流程

(2)數(shù)據(jù)更新流程方案

管線更新測量工作的基礎(chǔ)資料依托于2007年、2008年的市政道路、庭院小區(qū)普查的成果資料，在成果資料的基礎(chǔ)上更新、修改、完善。根據(jù)管線數(shù)據(jù)更新策略及實際操作要求，設(shè)計出如圖3所示的更新流程。

上述流程針對任務(wù)化設(shè)計，實現(xiàn)了城市地下管線通過圖－庫一體化的方法實現(xiàn)數(shù)據(jù)的聯(lián)動，保證數(shù)據(jù)更新圍繞規(guī)劃工作得到實施。

圖3 數(shù)據(jù)流程方案

4 面對地下管線數(shù)據(jù)更新需求數(shù)據(jù)庫的優(yōu)化措施

昆明市城市地下管線采用數(shù)據(jù)庫優(yōu)化的方法實現(xiàn)地下管線數(shù)據(jù)進庫和出庫的數(shù)據(jù)質(zhì)量做到最優(yōu)，這一點對地下管線數(shù)據(jù)實時動態(tài)更新以及快速和高效地提供用戶使用十分重要，針對本問題，昆明市城市地下管線信息系統(tǒng)采用以下手段實現(xiàn)數(shù)據(jù)庫的優(yōu)化工作:

4.1 系統(tǒng)架構(gòu)配置優(yōu)化

硬件是系統(tǒng)運行的基礎(chǔ)，架構(gòu)是運行的保證，為確保系統(tǒng)正常高效的工作，昆明市城市地下管線信息系統(tǒng)采用合理的系統(tǒng)架構(gòu)配置。系統(tǒng)架構(gòu)配置如圖4所示，該數(shù)據(jù)架構(gòu)的設(shè)置保障了數(shù)據(jù)的讀出、輸入僅通過數(shù)據(jù)和Oracle發(fā)生關(guān)系而和系統(tǒng)操作體系無關(guān)，以此保證數(shù)據(jù)得到及時、快捷的數(shù)據(jù)更新手段。

圖4 昆明市城市地下管線系統(tǒng)架構(gòu)配置

4.2 地下管線數(shù)據(jù)庫優(yōu)化設(shè)置

(1)管線數(shù)據(jù)表的優(yōu)化設(shè)計

基于表驅(qū)動的信息管理的系統(tǒng)，數(shù)據(jù)表的設(shè)計規(guī)范是第三范式(3NF)。其最基本的特征是非主鍵的屬性只依賴于主鍵的屬性?；诘谌妒降臄?shù)據(jù)庫數(shù)據(jù)表設(shè)計具有如下的優(yōu)點:

①消除了管線及附屬物、地形等的冗余數(shù)據(jù)，大大節(jié)省了磁盤存儲空間；

②良好的數(shù)據(jù)完整性限制，即基于主外鍵的參照完整限制和基于主鍵的實體完整性限制，使得管線數(shù)據(jù)容易維護，也容易導入、導出及更新；

③數(shù)據(jù)可逆性優(yōu)秀，做連接(Join)查詢或合并表時不會遺漏、也不會重復；

④消除了冗余數(shù)據(jù)(冗余列)，在查詢(Select)時每個管線數(shù)據(jù)頁存的數(shù)據(jù)行就多，有效地減少了邏輯I/O，即每個Cash存的頁面就多，也減少物理I/O；

⑤該設(shè)計能滿足管線工程的需要，運行穩(wěn)定、可靠。

(2)地下管線數(shù)據(jù)庫數(shù)據(jù)對象配置優(yōu)化策略

數(shù)據(jù)庫數(shù)據(jù)對象優(yōu)化策略是均勻地把管線、地形等數(shù)據(jù)分布在系統(tǒng)磁盤中，平衡I/O訪問，避免I/O瓶頸。具體辦法如下:

①訪問分散到不同的磁盤，充分利用現(xiàn)有的硬件設(shè)置，使管線數(shù)據(jù)跨越多個設(shè)備。多個I/O運轉(zhuǎn)，避免I/O競爭，克服訪問瓶頸，同時根據(jù)數(shù)據(jù)的被訪問幾率，分別放置隨機訪問和連續(xù)訪問數(shù)據(jù)。

②分離存儲系統(tǒng)數(shù)據(jù)庫I/O和應(yīng)用數(shù)據(jù)庫I/O。同時系統(tǒng)審計表和臨時庫表存儲在剩余空間較大、訪問較少的磁盤。

③管線操作事務(wù)日志存放于單獨的磁盤，減少磁盤I/O開銷，還有利于在系統(tǒng)障礙后的恢復，提高管線系統(tǒng)的安全性、可靠性。

④根據(jù)表被訪問的幾率分別放置于不同的磁盤，即把頻繁訪問的“活性”表放在單獨的磁盤上；把頻繁用的表、頻繁做Join?作的表分別放在單獨的磁盤上，甚至把頻繁訪問的表的字段放在不同的磁盤上，把訪問分散到不同的磁盤上，避免I/O爭奪；

⑤利用段技術(shù)分離頻繁訪問的表及其索引(非聚族的)、分離文本及圖像數(shù)據(jù)。段技術(shù)的使用目的是平衡I/O，避免瓶頸，增加數(shù)據(jù)庫吞吐量，實現(xiàn)數(shù)據(jù)并行掃描，提高系統(tǒng)操作的并發(fā)度，最大化磁盤吞吐量。

(3)數(shù)據(jù)庫SQL的應(yīng)用優(yōu)化

①WHERE子句的應(yīng)用

Oracle采用自下而上的順序解析WHERE子句，表之間的連接須寫在其他WHERE條件之前，其中過濾掉最大數(shù)量記錄的條件語句須寫在WHERE子句的末尾。

②SELECT子句中避免使用“?”

Oracle在解析的過程中，會將“?”依次轉(zhuǎn)換成所有的列名，此轉(zhuǎn)換過程是通過查詢數(shù)據(jù)字典完成的，將耗費更多的時間，為了有效提高工作效率，故盡量避免使用“?”。

SQL語句的優(yōu)化使用能夠有效實現(xiàn)地下管線數(shù)據(jù)的快速讀取。

4.3 數(shù)據(jù)源輸出轉(zhuǎn)換手段

為保證數(shù)據(jù)庫系統(tǒng)的穩(wěn)定及數(shù)據(jù)的安全，數(shù)據(jù)轉(zhuǎn)換等導入導出操作不在數(shù)據(jù)庫中進行，而是通過輸出中間轉(zhuǎn)換格式后，再使用轉(zhuǎn)換模塊轉(zhuǎn)換給其他軟件進行使用，這樣直接避免了對數(shù)據(jù)庫本身頻繁的數(shù)據(jù)操作造成系統(tǒng)的操作隱患。其具體流程如圖5、6所示。

圖5 昆明市城市地下管線導出流程圖

圖6 昆明市城市地下管線導入流程圖

5 應(yīng)用實例

昆明市城市雨、污分流改造工程共涉及昆明市主城區(qū)60 km2內(nèi)的新建雨、污水系統(tǒng)，該工程實施過程中大量新城市的地下庭院排水管線被生產(chǎn)出來，同時，隨著工作的開展，現(xiàn)有的和新建的城市地下排水管線都不可避免地發(fā)生著屬性的改變。

筆者使用超出一定區(qū)域數(shù)據(jù)取出的方法，將數(shù)據(jù)從數(shù)據(jù)庫中取出后，在AutoCAD開發(fā)的數(shù)據(jù)編輯平臺上進行數(shù)據(jù)的編輯與修改，通過技術(shù)規(guī)范的要求將數(shù)據(jù)進行的接邊(接邊可根據(jù)自主開發(fā)程序完成)，完成后，再整塊導入Oracle數(shù)據(jù)中進行管理，同時在Oracle數(shù)據(jù)庫中通過GIS要素拓撲跟蹤與編輯接邊功能實現(xiàn)新、老數(shù)據(jù)的無縫接邊，實現(xiàn)數(shù)據(jù)的無縫集成(流程詳如圖7、圖8所示)。

通過本文所描述的方法，筆者以指定范圍內(nèi)的數(shù)據(jù)為實驗基礎(chǔ)，以小區(qū)為數(shù)據(jù)錄入單位，通過數(shù)據(jù)的出庫、入庫操作，解決了數(shù)據(jù)入庫過程中的屬性信息及圖形信息得到動態(tài)而同步的更新，同時，實現(xiàn)數(shù)據(jù)入庫的工作對數(shù)據(jù)庫本身造成的壓力適中，保證數(shù)據(jù)庫安全運行。

圖7 不同的顏色代表不同的排水管線屬性

圖8 排水管線數(shù)據(jù)更新過程中的接邊處理

6 結(jié) 語

隨著昆明市城市化進程的快速推進，每年有將近1 000 km的城市地下排水管線發(fā)生變化。2009年昆明市開展了城市雨、污地下排水管線的分流工作，過程中數(shù)據(jù)的進出直接考驗著昆明市城市地下管線信息資源數(shù)據(jù)庫，通過上述方法的實踐應(yīng)用，筆者在實現(xiàn)了數(shù)據(jù)的靈活進出數(shù)據(jù)庫的同時，滿足了城市地下管線更新的需要。地下管線數(shù)據(jù)每天都在頻繁的提出更新需求，對于地下管線數(shù)據(jù)庫的管理存在一定的挑戰(zhàn)，根據(jù)昆明市的實際情況，筆者以為數(shù)據(jù)庫更新應(yīng)當從數(shù)據(jù)錄入手段、硬件軟件優(yōu)化技術(shù)、程序開發(fā)手段、數(shù)據(jù)交換等幾個方面著重解決問題。昆明市城市地下管線信息系統(tǒng)建設(shè)使用了上述手段后，有效地支持了城市地下管線數(shù)據(jù)的更新并提供使用[6]。

因此，昆明城市地下管線信息數(shù)據(jù)更新過程中，筆者認為下列環(huán)節(jié)十分重要:

①數(shù)據(jù)庫的定期維護與清理是城市地下管線數(shù)據(jù)庫動態(tài)維護的根本保證，因此，定期進行城市地下管線的動態(tài)更新維護十分關(guān)鍵；

②數(shù)據(jù)入庫前的預處理是一個關(guān)鍵的環(huán)節(jié)，利用管線采集軟件進行必要的數(shù)據(jù)進出處理；

③數(shù)據(jù)接邊過程是地下管線信息數(shù)據(jù)更新的關(guān)鍵環(huán)節(jié)，通過技術(shù)手段對新老數(shù)據(jù)進行接邊處理是昆明市城市地下管線現(xiàn)狀性持續(xù)保證的基礎(chǔ)；

④數(shù)據(jù)的交換程序的開發(fā)能夠滿足城市地下管線數(shù)據(jù)庫能夠快速、及時地將現(xiàn)狀信息成果在各部門進行推廣使用。

同時，筆者認為，城市地下管線信息資源數(shù)據(jù)在推廣使用過程中尚存在以下困難需要克服:

①隨著數(shù)據(jù)量的增長必須解決掉城市地下管線數(shù)據(jù)尺寸不斷膨脹帶來的數(shù)據(jù)效率的問題；

②必須進一步尋找出新老數(shù)據(jù)的屬性項結(jié)合問題，如地下管線的新舊物探點的編號實現(xiàn)；

③逐漸增加的用戶對數(shù)據(jù)需求的不斷增加所帶來的需要解決的技術(shù)問題，如地下管線數(shù)據(jù)的空間轉(zhuǎn)換模型的研究與開發(fā)。這些問題的有效解決才能夠促進城市地下管線信息系統(tǒng)更好地運行，以滿足地下管線信息動態(tài)快速更新的需要。

[1]區(qū)福邦.城市地下管線普查技術(shù)研究與應(yīng)用[M].南京:東南大學出版社，1998

[2]洪立波.積極推進城市地下管線信息化建設(shè)[J].地下管線管理，2008(2)

[3]江貽芳，王勇.城市地下空間信息化建設(shè)探討[J].河南理工大學學報，2006，25(5)

[4]CJJ61－2003.城市地下管線探測技術(shù)規(guī)程[S].

[5]KGX2007.昆明市城市地下管線探測技術(shù)規(guī)程[S].

[6]王貴武，解智強，田金福.昆明市城市地下管線探測暨信息化建設(shè)工程論述[J].測繪通報，2009(6):58～61

Frequent Municipal Project Background Underground Pipeline GIS Data Updating Method

Xie ZhiQiang，Wang GuiWu，Gao Zhong，Zhou HaiBin
(Kunming City Underground Pipeline Detection Office，Kunming 650011，China)

When underground Pipeline GIS database is completed，it will face data applications－Update－maintenance－the application of repeated cycles，especially in the period of the rapid construction and development of the city，In this paper，key projects for the Dianchi Lake in Kunming－the city to transform the process of diverting rain pollution of underground drainage lines to use GIS data，especially for data needs，data collection，data updating process，and Underground Pipeline GIS database design and operation work，made a number of technology solutions to large underground pipeline engineering background update problem.

urban underground pipeline GIS database；stream of rain and sewage drainage line transformation；GIS data update

1672－8262(2010)05－78－05

P208

B

2010—08—19

解智強(1973—)，男，高級工程師，主要從事GIS及城市地下管線信息化工作。