季 宇，曾銀龍，張 榮

(1.揚(yáng)州市城市規(guī)劃編制研究（地理信息）中心，江蘇揚(yáng)州 225200；2.揚(yáng)州市江海學(xué)院，江蘇揚(yáng)州 225200)

Oracle數(shù)據(jù)庫中地形數(shù)據(jù)存儲的優(yōu)化實(shí)踐

季 宇1，曾銀龍1，張 榮2

(1.揚(yáng)州市城市規(guī)劃編制研究（地理信息）中心，江蘇揚(yáng)州 225200；2.揚(yáng)州市江海學(xué)院，江蘇揚(yáng)州 225200)

采用Oracle數(shù)據(jù)庫、ArcSDE和基于ArcGIS開發(fā)的地理信息系統(tǒng)平臺對地形數(shù)據(jù)進(jìn)行存儲、管理及更新過程中產(chǎn)生的數(shù)據(jù)存儲碎片及磁盤利用率問題進(jìn)行分析，針對這些問題提出解決方法。減少數(shù)據(jù)庫中的地形數(shù)據(jù)存儲碎片并提高磁盤的利用率，進(jìn)一步改善地理信息系統(tǒng)讀寫數(shù)據(jù)的性能。

數(shù)據(jù)文件；導(dǎo)出導(dǎo)入；數(shù)據(jù)行；表空間；數(shù)據(jù)塊

隨著地理信息系統(tǒng)長期使用的過程中，Oracle數(shù)據(jù)庫中存儲的地理信息數(shù)據(jù)不斷更新及數(shù)據(jù)量不斷增大，從而暴露出不少數(shù)據(jù)存儲方面的問題。最突出的問題是數(shù)據(jù)存儲碎片及磁盤利用率偏低，從而影響到地理信息系統(tǒng)讀寫數(shù)據(jù)的性能。在尋求不到具體的原因下，只有通過數(shù)據(jù)的導(dǎo)出導(dǎo)入來重新構(gòu)建數(shù)據(jù)庫表空間中的數(shù)據(jù)文件，費(fèi)時(shí)費(fèi)力。

1 數(shù)據(jù)存儲方面問題的表象

地理信息系統(tǒng)使用的地形數(shù)據(jù)是不斷更新的，因此更加容易引起數(shù)據(jù)存儲方面的問題。其問題表象如下：1）數(shù)據(jù)多次更新后，數(shù)據(jù)的讀寫速度逐漸變慢；2）使用數(shù)據(jù)庫收縮段功能對數(shù)據(jù)表進(jìn)行存儲優(yōu)化時(shí)，提示數(shù)據(jù)行無法移動(dòng)；3）地形數(shù)據(jù)表空間中的單個(gè)數(shù)據(jù)文件大小無法自動(dòng)擴(kuò)展；4）數(shù)據(jù)多次更新后，數(shù)據(jù)存儲占用的磁盤空間增長速度異常。

2 出現(xiàn)上述問題的原因

引起數(shù)據(jù)存儲問題的原因是多方面的：①地理信息系統(tǒng)對地形數(shù)據(jù)采用的更新方式；②ArcSDE存儲參數(shù)配置的不合理；③創(chuàng)建數(shù)據(jù)表空間不合理；④數(shù)據(jù)庫中地形數(shù)據(jù)存儲是否得到定期的優(yōu)化。由這四類原因?qū)е碌臄?shù)據(jù)存儲問題在Oracle數(shù)據(jù)庫中有以下的具體表現(xiàn)：

1）地形數(shù)據(jù)表的行鏈接行遷移嚴(yán)重。地形數(shù)據(jù)的更新方式有三種：圖幅更新、范圍更新、要素更新。在采用以上三種方式對數(shù)據(jù)的更新過程中，對數(shù)據(jù)庫存儲的地形數(shù)據(jù)進(jìn)行大量的增、刪、改操作，并且地形數(shù)據(jù)更新前后數(shù)據(jù)量是變化的。

導(dǎo)致行鏈接/行遷移的原因有兩種：①當(dāng)數(shù)據(jù)被插入時(shí)一個(gè)數(shù)據(jù)塊無法容納，因此插入較大數(shù)據(jù)行時(shí)容易產(chǎn)生行鏈接；②原本存儲在一個(gè)數(shù)據(jù)塊內(nèi)的數(shù)據(jù)行，因?yàn)楦虏僮鲗?dǎo)致長度增長，而所在數(shù)據(jù)塊的可用空間也不能容納增長后的數(shù)據(jù)行，從而產(chǎn)生行遷移。

由上可知，大量的增、刪、改操作及地形數(shù)據(jù)更新前后數(shù)據(jù)量的不同，因此容易導(dǎo)致行鏈接/行遷移。當(dāng)數(shù)據(jù)行發(fā)生鏈接/遷移時(shí)，對其訪問將會(huì)造成I/O性能降低，因?yàn)镺racle為獲取這些數(shù)據(jù)行的數(shù)據(jù)時(shí)，必須訪問更多的數(shù)據(jù)塊。

2）數(shù)據(jù)庫中地形數(shù)據(jù)表的存儲字段不能有效的得到oracle的支持。ArcSDE 9.2及之前的版本在Dbtune. Sde中的GEOMETRY_STORAGE的參數(shù)默認(rèn)的是LongRaw（SdeBinary）,LongRaw數(shù)據(jù)類型存儲優(yōu)點(diǎn)是使用LongRaw字段存儲地形數(shù)據(jù)，可以在Oracle數(shù)據(jù)庫系統(tǒng)之間直接進(jìn)行數(shù)據(jù)遷移，沒有數(shù)據(jù)庫版本的限制。但是在Oracle10g的版本中，LongRaw數(shù)據(jù)類型將無法得數(shù)據(jù)庫的支持，例如段空間管理、數(shù)據(jù)行移動(dòng)、收縮段等。LongRaw數(shù)據(jù)類型用于存放數(shù)據(jù)量大的行時(shí)，從而無法避免的導(dǎo)致行鏈接行遷。

3)將ArcSDE的相關(guān)數(shù)據(jù)與地形數(shù)據(jù)存儲在同一表空間的數(shù)據(jù)文件中，并通過配置多個(gè)數(shù)據(jù)文件存儲數(shù)據(jù)。①將地形數(shù)據(jù)存放到ArcSDE表空間的數(shù)據(jù)文件中，導(dǎo)致地形數(shù)據(jù)和ArcSDE的數(shù)據(jù)存放上的混亂，從而不便于數(shù)據(jù)的管理和維護(hù);②在配置地形數(shù)據(jù)表空間時(shí)選用了小文件表空間。在32位操作系統(tǒng)下，隨著地形數(shù)據(jù)的不斷增加，單個(gè)數(shù)據(jù)文件最多只能存儲32GB,在單個(gè)數(shù)據(jù)文件存滿數(shù)據(jù)以后需要添加新的數(shù)據(jù)文件，對多個(gè)數(shù)據(jù)文件的管理，使SGA（系統(tǒng)全局區(qū)）中關(guān)于數(shù)據(jù)庫中數(shù)據(jù)文件的信息，以及控制文件的容量增多。

4）數(shù)據(jù)庫中回收站中數(shù)據(jù)長期積累未得到有效的刪除。在地形數(shù)據(jù)的更新過程中，刪除的地形數(shù)據(jù)表被存放到數(shù)據(jù)表的回收站中，便于數(shù)據(jù)表的回滾，長期的缺少對數(shù)據(jù)表回收站的清理，從而導(dǎo)致磁盤空間得不到有效地釋放，磁盤空間利用率降低。

3 解決方法

3.1 系統(tǒng)的部署階段

3.1.1 ArcSDE的DBTUNE.SDE中存儲參數(shù)設(shè)置

1)數(shù)據(jù)類型設(shè)置。根據(jù)部署系統(tǒng)時(shí)選用的Oracle版本不同，設(shè)置合適的數(shù)據(jù)類型。在Oracle10g數(shù)據(jù)庫中LongRaw數(shù)據(jù)類型不支持?jǐn)?shù)據(jù)行移動(dòng)，通過將ArcSDE中的LongRaw數(shù)據(jù)類型轉(zhuǎn)換成BLOB數(shù)據(jù)類型來獲得數(shù)據(jù)庫存儲優(yōu)化功能的支持。

2)Pect free、In itrans、Nologging參數(shù)設(shè)置。在ArcSde中數(shù)據(jù)表分為F表（要素表）、S表（索引表）、A表（新增表）、D表（刪除表）、B表（屬性表），在長期的系統(tǒng)使用過程中數(shù)據(jù)量較大是A表和F表。

①在系統(tǒng)部署的前期，需要對將后地形數(shù)據(jù)更新量及頻率進(jìn)行統(tǒng)計(jì)和分析，針對性的在Dbtune.Sde中對A_STORAGE及F_STORAGE存儲參數(shù)的Pectfree（為更新一個(gè)數(shù)據(jù)塊所保留的空間）進(jìn)行合理的設(shè)置，減少數(shù)據(jù)庫中地形數(shù)據(jù)的行鏈接行遷移。

②Oracle無法獲得足夠的歷史信息來判斷某個(gè)數(shù)據(jù)行是否被一個(gè)事務(wù)修改過。當(dāng)大量事務(wù)在短時(shí)間內(nèi)并發(fā)地修改同一數(shù)據(jù)塊就會(huì)出現(xiàn)以上情況。用戶可以為可能被多個(gè)事務(wù)同時(shí)更新相同數(shù)據(jù)塊的表設(shè)置較大的Initrans值，以便避免上述情況。設(shè)置了較大的Initrans值后，Oracle就能為每個(gè)數(shù)據(jù)塊分配足夠的空間來記錄訪問此數(shù)據(jù)塊的事務(wù)的信息。通過與系統(tǒng)開發(fā)人員的交流，必要的了解數(shù)據(jù)更新過程中事務(wù)處理，從而調(diào)整合適Initrans值。

③Nologging的設(shè)置可以大大提高性能。Oracle沒有記錄增、刪、改所產(chǎn)生的redo（回滾）信息，Nologging設(shè)置后要做數(shù)據(jù)庫數(shù)據(jù)的完全備份。

3.1.2 數(shù)據(jù)庫存儲參數(shù)設(shè)置

1)數(shù)據(jù)塊的設(shè)置。數(shù)據(jù)庫中標(biāo)準(zhǔn)的數(shù)據(jù)塊容量是由初始化參數(shù)DB_BLOCK_SIZE指定的,Oracle10g中默認(rèn)值為8 k。除此之外，用戶還可以指定五個(gè)非標(biāo)準(zhǔn)的數(shù)據(jù)塊容量。數(shù)據(jù)塊容量應(yīng)該設(shè)為操作系統(tǒng)塊容量的整數(shù)倍（同時(shí)小于數(shù)據(jù)塊容量的最大限制），以便減少不必要的I/O操作。Oracle數(shù)據(jù)塊是Oracle可以使用和分配的最小存儲單位。可以使用Toad工具對地形數(shù)據(jù)表進(jìn)行分析，可以通過 AVG_ROW_LEN是否大于DB_BLOCK_SIZE方法來調(diào)整合理的DB_BLOCK_SIZE大小。

2)數(shù)據(jù)擴(kuò)展參數(shù)的設(shè)置。當(dāng)一個(gè)段初始數(shù)據(jù)擴(kuò)展中的數(shù)據(jù)塊都已裝滿，Oracle會(huì)自動(dòng)添加一個(gè)增量的數(shù)據(jù)擴(kuò)展。數(shù)據(jù)擴(kuò)展增量不宜設(shè)置過大。因?yàn)榈匦螖?shù)據(jù)更新過程中會(huì)使數(shù)據(jù)擴(kuò)展出現(xiàn)空閑的數(shù)據(jù)塊，而這些空閑的數(shù)據(jù)塊不能被立即被釋放，導(dǎo)致存儲空間的浪費(fèi)。

3.1.3 創(chuàng)建合理的表空間

1)不同應(yīng)用的數(shù)據(jù)分開存儲。將ArcSDE的管理數(shù)據(jù)及地形數(shù)據(jù)存放在不同的表空間數(shù)據(jù)文件中，便于數(shù)據(jù)存儲的管理與維護(hù)。

2)數(shù)據(jù)文件的設(shè)置。在地形數(shù)據(jù)更新過程中，單個(gè)數(shù)據(jù)文件不能滿足數(shù)據(jù)存儲的需求，從而需要配置多個(gè)數(shù)據(jù)文件。在系統(tǒng)的部署期間應(yīng)該考慮在 Oracle支持的情況下采用大文件表空間。這樣Oracle數(shù)據(jù)庫使用的表空間可以由一個(gè)單一的大文件構(gòu)成，而不是若干個(gè)小數(shù)據(jù)文件。在數(shù)據(jù)庫中使用大文件表空間減少了數(shù)據(jù)文件的數(shù)量，因此也簡化了對數(shù)據(jù)文件的管理工作。

3.2 系統(tǒng)的維護(hù)階段

3.2.1 行鏈接行遷移的消除

通過查詢V$sysstat視圖可以對行鏈接行遷移進(jìn)行分析，可以推測出數(shù)據(jù)表的鏈化現(xiàn)象是否影響數(shù)據(jù)庫的讀寫性能。如果數(shù)據(jù)表行鏈接行遷移嚴(yán)重可以使用toad工具對地形數(shù)據(jù)用戶的所有數(shù)據(jù)表進(jìn)行分析，對產(chǎn)生行鏈接行遷移的數(shù)據(jù)表進(jìn)行修復(fù)。在采用LongRaw數(shù)據(jù)類型時(shí)行鏈接行遷移無法避免，由于LongRaw不支持?jǐn)?shù)據(jù)行的移動(dòng)，只能使用導(dǎo)出導(dǎo)入方式消除行鏈接行遷移。

3.2.2 數(shù)據(jù)表存儲的優(yōu)化

1)數(shù)據(jù)表的壓縮。在地理信息系統(tǒng)的更新過程中頻繁從表中刪除行，則數(shù)據(jù)表中的塊可僅部分填充行?？梢允褂?Alter Table命令手工壓縮該表內(nèi)的空間。首先啟動(dòng)數(shù)據(jù)表的行移動(dòng)，然后讓 Oracle移動(dòng)表內(nèi)行，以壓縮塊內(nèi)行的分配。Shrink Space Compact操作會(huì)重新組織該表的行，使這些存儲更加緊湊。

2)降低數(shù)據(jù)表的最高使用標(biāo)記（已經(jīng)寫入的行的最高塊號）。數(shù)據(jù)表的壓縮并不降低數(shù)據(jù)表的最高使用標(biāo)記。在全表掃描時(shí)將讀取所有的塊，直到最高使用標(biāo)記。Shrink Space降低最高使用標(biāo)記，同時(shí)使數(shù)據(jù)表空閑塊得到釋放，提高磁盤的利用率。

3.2.3 數(shù)據(jù)表回收站的維護(hù)

數(shù)據(jù)表中的回收站實(shí)際上是一張數(shù)據(jù)字典表包含了丟棄的對象信息。被丟棄的對象并沒有真正的刪除并且占用磁盤空間。它們會(huì)不停的記錄并抵消用戶磁盤空間配額，只有當(dāng)受到數(shù)據(jù)庫表空間限制時(shí)才會(huì)被清空。定期清除數(shù)據(jù)表回收站有利于磁盤空間的回收。

3.2.4 導(dǎo)入導(dǎo)出方法的優(yōu)缺點(diǎn)

使用導(dǎo)入導(dǎo)出可能是解決碎片最快的方法，但如果在您想執(zhí)行導(dǎo)入之前，導(dǎo)出文件中發(fā)生了問題，就會(huì)在導(dǎo)入數(shù)據(jù)時(shí)出現(xiàn)錯(cuò)誤。在系統(tǒng)的實(shí)際運(yùn)行階段是不允許重新構(gòu)建數(shù)據(jù)庫表空間，因此需要利用數(shù)據(jù)庫的存儲優(yōu)化功能對地形數(shù)據(jù)存儲進(jìn)行優(yōu)化。

4 工程實(shí)踐

4.1 實(shí)踐一

1)系統(tǒng)環(huán)境：數(shù)據(jù)庫服務(wù)器操作系統(tǒng) Windows 2003 Server 32Bit;數(shù)據(jù)庫為Oracle 10g;CPU為Xeon 3.0GHz;內(nèi)存4GB;硬盤為4塊硬盤組成Raid5;客戶端：基于 ArcGIS開發(fā)的地理信息系統(tǒng)平臺。ArcSDE存儲參數(shù)：GEOMETRY_STORAGE采用LongRaw數(shù)據(jù)類型。

2)數(shù)據(jù)量：16GB。

3)實(shí)驗(yàn)?zāi)康模篖ongRaw字段類型無法獲得數(shù)據(jù)庫存儲優(yōu)化功能的支持。

4)實(shí)驗(yàn)方法：(1)在Oracle10g的SqlPlus中使用Utlchain.Sql創(chuàng)建Chained_Rows表;(2)使用Toad工具對地形數(shù)據(jù)用戶的所有數(shù)據(jù)表進(jìn)行分析;(3)通過查詢V$sysstat視圖進(jìn)一步分析數(shù)據(jù)的行鏈接行遷移;(4)用toad進(jìn)行修復(fù)。

5)測試結(jié)果：在實(shí)驗(yàn)的過程中發(fā)現(xiàn)F表（要素表）行鏈接行遷移現(xiàn)象最多，查看F表中Point字段采用LongRaw數(shù)據(jù)類型，使用Toad進(jìn)行修復(fù)時(shí)，報(bào)數(shù)據(jù)行無法移動(dòng)。因此使得基于數(shù)據(jù)行移動(dòng)的數(shù)據(jù)庫存儲優(yōu)化功能無法得到支持,數(shù)據(jù)碎片將得不到有效地消除，從而影響到地理信息系統(tǒng)讀寫數(shù)據(jù)的性能。

4.2 實(shí)踐二

1)系統(tǒng)環(huán)境：數(shù)據(jù)庫服務(wù)器操作系統(tǒng) Windows 2003Server32Bit;數(shù)據(jù)庫為Oracle10g;CPU為XEON 3.0GHz;內(nèi)存4GB;硬盤為4塊硬盤組成Raid5;客戶端：基于ArcGIS開發(fā)的地理信息系統(tǒng)平臺。

2)數(shù)據(jù)量：16GB。

3)實(shí)驗(yàn)?zāi)康模和ㄟ^數(shù)據(jù)庫的存儲優(yōu)化功能，提高磁盤利用率。

4)實(shí)驗(yàn)方法：(1)通過ESRI公司提供的數(shù)據(jù)轉(zhuǎn)換工具將 F1中 Point字段的 LongRaw數(shù)據(jù)類型轉(zhuǎn)換成Blob數(shù)據(jù)類型;(2)Dba_Extents查看F1表占用的數(shù)據(jù)擴(kuò)展?fàn)顩r;(3)SPACE_USAGE來分析F1表的數(shù)據(jù)空間的空閑狀況;(4)數(shù)據(jù)表的壓縮;(5)降低數(shù)據(jù)表的最高使用標(biāo)記。

5)實(shí)驗(yàn)結(jié)果：通過Dba_Extents查看F1表占用了10個(gè)數(shù)據(jù)擴(kuò)展，每個(gè)數(shù)據(jù)擴(kuò)展占用1024個(gè)數(shù)據(jù)塊。通過SPACE_USAGE來分析F1表中有280個(gè)75-100%空閑空間的數(shù)據(jù)塊。對數(shù)據(jù)表的壓縮、降低數(shù)據(jù)表的最高使用標(biāo)記后，F(xiàn)1表只占用了2個(gè)數(shù)據(jù)擴(kuò)展，分別占用1024和128個(gè)數(shù)據(jù)塊，并且使得 F1表中的280個(gè)75-100%空閑空間降低為0個(gè)。對所有的地形數(shù)據(jù)表進(jìn)行存儲優(yōu)化后使得數(shù)據(jù)量由16 GB變?yōu)?3 GB，釋放了3GB的磁盤空間，同時(shí)地理信息系統(tǒng)讀寫數(shù)據(jù)的速度也所提高。

5總結(jié)

在系統(tǒng)塔建的前期應(yīng)對使用的ArcSDE、Oracle版本進(jìn)行必要的了解，并根據(jù)以后地形數(shù)據(jù)更新的數(shù)據(jù)量及頻率進(jìn)行統(tǒng)計(jì)和分析，來配置合理的存儲參數(shù)。在系統(tǒng)的使用過程中需要有規(guī)律地對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行維護(hù)，改善數(shù)據(jù)庫的性能。通過系統(tǒng)前期的良好的規(guī)劃及后期的維護(hù)，可以使系統(tǒng)平穩(wěn)效率的運(yùn)行。

[1] B14220-02,Oracle Database Concepts10g Release 2(10.2)[S]

[2] B14231-02,Oracle Database Administrator's Guide10g Release 2(10.2)[S]

[3] B14211-01,OracleDatabase Performance TuningGuide10g Release2(10.2)[S]

[4] 張立浩,尹志軍.OracleDatabase10g完全參考手冊[M].北京：清華大學(xué)出版社，2006

[5] ArcGIS9.2 Desktop Help[EB/OL].http://webhelp.esri.com/arcgisdesktop/9.2/index.cfm?TopicName=welcome,2008-10-17

Optimization Practice for Terrain Data Storage in Oracle

by JiYu

Using Oracle Database,Arc SDE and based Arc GIS development of geographic information system platform for terrain data storage,management and update.Terrain Data Storage generated data storage fragmentation and disk space utilization rate problem.Analysis of the problem s and find solutions to reduce data storage fragmentation and increase disk space utilization rate also improve the performance o f geographic inform ation system read-w rite data.

datafile,expim p,datarow,tablespace,datab lock （Page:50）

P208

B

1672-4623(2011)01-0050-03

2009-11-20

季宇，助理工程師，從事數(shù)據(jù)庫管理、性能調(diào)優(yōu)方面的研究。