沈曉麗,吳美華

(1.山西長(zhǎng)治供電分公司 ,山西長(zhǎng)治 046011;2.黑龍江傲立信息產(chǎn)業(yè)有限公司,黑龍江哈爾濱 150909)

海量三維影像數(shù)據(jù)的處理、存儲(chǔ)與發(fā)布

沈曉麗1,吳美華2

(1.山西長(zhǎng)治供電分公司 ,山西長(zhǎng)治 046011;2.黑龍江傲立信息產(chǎn)業(yè)有限公司,黑龍江哈爾濱 150909)

總結(jié) “基于A rcGIS平臺(tái),對(duì)海量影像數(shù)據(jù)進(jìn)行處理、存儲(chǔ)與發(fā)布”的試驗(yàn)方法與試驗(yàn)結(jié)論,闡述了通過(guò)采用圖形切片、地圖緩存技術(shù),在A rcGIS平臺(tái)上,可實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的快速發(fā)布,滿足基于地理信息系統(tǒng)的電網(wǎng)空間信息展示需求。

切片;緩存;海量影像數(shù)據(jù)

受資助項(xiàng)目:山西省電力公司科技項(xiàng)目

0 引言

隨著遙感技術(shù)和數(shù)字?jǐn)z影技術(shù)的快速發(fā)展,影像數(shù)據(jù)的使用越來(lái)越多,現(xiàn)在已經(jīng)成為重要的數(shù)據(jù)源和數(shù)據(jù)更新的手段。在山西電網(wǎng)空間信息服務(wù)平臺(tái)長(zhǎng)治用戶供電方案輔助決策項(xiàng)目開(kāi)發(fā)中,嘗試開(kāi)展地理信息影像數(shù)據(jù)的使用。然而,影像地圖信息的數(shù)據(jù)量非常大,并且隨分辨率的提高呈幾何級(jí)遞增,達(dá)到幾GB甚至幾十GB字節(jié),系統(tǒng)規(guī)模迅速擴(kuò)張,造成所獲取的影像與三維數(shù)據(jù)無(wú)法滿足項(xiàng)目實(shí)際開(kāi)發(fā)與應(yīng)用需求,需要對(duì)數(shù)據(jù)進(jìn)行加工與處理,才能完成數(shù)據(jù)的發(fā)布工作。

為此,在A rcG IS平臺(tái)所提供的一系列的數(shù)據(jù)處理與發(fā)布軟件之上,針對(duì)山西長(zhǎng)治供電分公司電網(wǎng)空間服務(wù)平臺(tái)的原始數(shù)字正射影像數(shù)據(jù) (DOM)與數(shù)字高程模型 (DEM),進(jìn)行了一系列的數(shù)據(jù)處理與存儲(chǔ)試驗(yàn),取得了很好的效果。

1 數(shù)字正射影像圖與數(shù)字高程模型簡(jiǎn)介

數(shù)字正射影像圖DOM(Digital Orthophoto Map)是利用 DEM對(duì)遙感影像 (單色或彩色),經(jīng)逐像元進(jìn)行輻射改正、微分糾正和鑲嵌,并按規(guī)定圖幅范圍裁剪生成的形象數(shù)據(jù),帶有公里格網(wǎng)、圖廓 (內(nèi)、外)整飾和注記的平面圖。

數(shù)字高程模型DEM(Digital Elevation Model)是一定范圍內(nèi)規(guī)則格網(wǎng)點(diǎn)的平面坐標(biāo) (X,Y)及其高程 (Z)的數(shù)據(jù)集,它主要是描述區(qū)域地貌形態(tài)的空間分布,是通過(guò)等高線或相似立體模型進(jìn)行數(shù)據(jù)采集 (包括采樣和量測(cè)),然后進(jìn)行數(shù)據(jù)內(nèi)插而形成的。DEM是對(duì)地貌形態(tài)的虛擬表示,可派生出等高線、坡度圖等信息,也可與DOM或其他專題數(shù)據(jù)疊加,用于與地形相關(guān)的分析應(yīng)用,同時(shí)它本身還是制作DOM的基礎(chǔ)數(shù)據(jù)。

2 ArcGIS平臺(tái)介紹

2.1 數(shù)據(jù)處理工具簡(jiǎn)介

A rcToolBox包含了A rcGIS地理處理的大部分分析工具和數(shù)據(jù)管理工具,使用A rcToo lbox中的工具,能夠在GIS數(shù)據(jù)庫(kù)中建立并集成多種數(shù)據(jù)格式,進(jìn)行高級(jí)GIS分析,處理GIS數(shù)據(jù)等,可以合并、剪貼、分割圖幅,以及使用各種高級(jí)的空間分析工具等。

A rcG lobe設(shè)計(jì)用于海量數(shù)據(jù)展示,所以為提高顯示效率而進(jìn)行了數(shù)據(jù)緩存,它將數(shù)據(jù)分塊并按級(jí)別建立緩存和索引,使得即使在顯示海量數(shù)據(jù)時(shí)仍可以高速地展示與漫游。

2.2 數(shù)據(jù)發(fā)布工具簡(jiǎn)介

A rcGISServer用于構(gòu)建集中管理、支持多用戶的企業(yè)級(jí)GIS應(yīng)用。開(kāi)發(fā)者使用A rcGIS Server可構(gòu)建 Web應(yīng)用、Web服務(wù)以及其他運(yùn)行在J2EEWeb服務(wù)器上的企業(yè)級(jí)應(yīng)用,是一個(gè)包含多個(gè)部件的分布式系統(tǒng),可被分別配置在多臺(tái)計(jì)算機(jī)上。A rcGISServer系統(tǒng)的各個(gè)部分分別在對(duì)象管理、負(fù)載平衡等過(guò)程中發(fā)揮特定的作用。

為了提升瀏覽性能,采用現(xiàn)時(shí)比較流行的地圖緩存技術(shù) (通俗的說(shuō)法為 “瓦片技術(shù)”)。所謂的地圖緩存技術(shù),就是按照一定的數(shù)學(xué)規(guī)則,把地圖切成一定規(guī)格的圖片保存到計(jì)算機(jī)的硬盤(pán)里,當(dāng)用戶通過(guò)客戶端瀏覽器訪問(wèn)地圖服務(wù)時(shí),服務(wù)器直接返回當(dāng)前地圖坐標(biāo)區(qū)域所對(duì)應(yīng)的 “瓦片”,從而達(dá)到降低服務(wù)器負(fù)擔(dān),提升地圖瀏覽速度的效果。

3 海量數(shù)據(jù)處理、存儲(chǔ)與發(fā)布

3.1 數(shù)據(jù)處理

3.1.1 數(shù)據(jù)準(zhǔn)備

項(xiàng)目開(kāi)發(fā)所使用成果圖涉及670幅0.5m的數(shù)字正射影像圖 (DOM)、7幅0.2 m的城區(qū)內(nèi)數(shù)字正射影像圖和670幅數(shù)字高程模型圖 (DEM),在磁盤(pán)上進(jìn)行文件存儲(chǔ),數(shù)據(jù)文件提前經(jīng)過(guò)了融合處理,處理后的數(shù)據(jù)基本接近自然色,能夠充分地反映出長(zhǎng)治地區(qū)的基本地形地貌。

3.1.2 數(shù)據(jù)檢查

通過(guò)數(shù)據(jù)檢查,發(fā)現(xiàn)影像數(shù)據(jù)中存在以下問(wèn)題。

a)地理坐標(biāo)系 (Geogrpahic Coordinate System)未進(jìn)行設(shè)置。

b)投影坐標(biāo)系 (Projected Coordinate Systems)未進(jìn)行設(shè)置。

c)數(shù)據(jù)涉及篇幅太多,存儲(chǔ)容量為90 G,如果不進(jìn)行拼接處理,無(wú)法進(jìn)行圖形發(fā)布。

d)數(shù)據(jù)接邊處存在白色的縫隙和壓邊。

e)中國(guó)山西地處投影坐標(biāo)跨帶區(qū),合并會(huì)造成數(shù)據(jù)失真。

3.1.2 數(shù)據(jù)處理

地理坐標(biāo)系使用基于經(jīng)緯度的坐標(biāo)系統(tǒng)描述地球上某一點(diǎn)所處的位置。某一個(gè)地理坐標(biāo)系是基于一個(gè)基準(zhǔn)面來(lái)定義的?；鶞?zhǔn)面是利用特定橢球體對(duì)特定地區(qū)地球表面的逼近,因此每個(gè)國(guó)家或地區(qū)均有各自的基準(zhǔn)面。

中國(guó)常用的三個(gè)基準(zhǔn)面和地理坐標(biāo)系:GCS_WGS1984(基于 WGS84基準(zhǔn)面),GCS_BEIJING1954(基于北京 1954基準(zhǔn)面),GCS_XIAN1980(基于西安1980基準(zhǔn)面)。

針對(duì)數(shù)據(jù)情況,采用符合其標(biāo)準(zhǔn)的GCS_XIAN1980坐標(biāo)系,參數(shù)設(shè)置略。

投影坐標(biāo)系 (Pro jected Coordinate System s)使用基于X、Y值的坐標(biāo)系統(tǒng)來(lái)描述地球上某個(gè)點(diǎn)所處的位置。這個(gè)坐標(biāo)系是從地球的近似橢球體投影得到的,它對(duì)應(yīng)于某個(gè)地理坐標(biāo)系。

投影坐標(biāo)系由以下參數(shù)確定:地理坐標(biāo)系 (由基準(zhǔn)面確定,比如北京54、西安80、WGS84),投影方法 (比如高斯-克呂格、Lam bert投影、Mercator投影)。

北京1954投影坐標(biāo)系和西安1980坐標(biāo)系都是應(yīng)用高斯-克呂格投影,只是基準(zhǔn)面、橢球、大地原點(diǎn)不同。

針對(duì)數(shù)據(jù)情況,采用了高斯-克呂格投影,參數(shù)設(shè)置略。

確定了地理坐標(biāo)系和投影坐標(biāo)系后,將對(duì)數(shù)據(jù)進(jìn)行批量的設(shè)置,因?yàn)樯轿鞯靥幙鐜^(qū),針對(duì)不同帶區(qū)的數(shù)據(jù),應(yīng)該選擇不同的空間參考,在A rc-ToolBox中,順序打開(kāi)Sm ap le→Data Management→Projections→Batch Define Coordinate System,進(jìn)行空間參考批量設(shè)置。

3.2 數(shù)據(jù)存儲(chǔ)與發(fā)布

地圖共有677幅DOM數(shù)據(jù)與670幅DEM數(shù)據(jù),以文件的形式存儲(chǔ)在磁盤(pán)上,占用的存儲(chǔ)空間為90 G,以何種方式進(jìn)行圖形數(shù)據(jù)的存儲(chǔ)與發(fā)布,需要經(jīng)過(guò)測(cè)試進(jìn)行驗(yàn)證。

3.2.1 數(shù)字正射影像數(shù)據(jù)處理

以下幾種方法,列舉了在影像數(shù)據(jù)存儲(chǔ)與發(fā)布過(guò)程中出現(xiàn)的問(wèn)題,比較了存儲(chǔ)方式的優(yōu)缺點(diǎn)。

方法一:將677幅DOM數(shù)據(jù)以文件形式直接加入到A rcMap中,制作發(fā)布文件,然后對(duì)服務(wù)進(jìn)行發(fā)布,發(fā)布結(jié)果成功。但是當(dāng)對(duì)數(shù)據(jù)進(jìn)行瀏覽操作,發(fā)現(xiàn)數(shù)據(jù)響應(yīng)速度太慢,為提升瀏覽性能,采用地圖緩存技術(shù),決定創(chuàng)建數(shù)據(jù)切片。當(dāng)數(shù)據(jù)切片進(jìn)行到第七級(jí)別時(shí)候,系統(tǒng)報(bào)錯(cuò),為釋放系統(tǒng)內(nèi)存,重新啟動(dòng)機(jī)器后,再次對(duì)數(shù)據(jù)進(jìn)行切片處理,仍然彈出系統(tǒng)錯(cuò)誤對(duì)話框。

通過(guò)翻閱系統(tǒng)幫助與檢查系統(tǒng)的內(nèi)存與CPU的處理情況,判斷得出結(jié)論,因數(shù)據(jù)篇幅過(guò)多,導(dǎo)致系統(tǒng)在內(nèi)存計(jì)算的負(fù)荷加大,例如圖形顯示計(jì)算、圖形接邊計(jì)算等等,造成了服務(wù)器內(nèi)存的使用率高,系統(tǒng)無(wú)法完成計(jì)算,試驗(yàn)結(jié)果失敗。

方法二:新建個(gè)人的Personal Geodatabase,將數(shù)據(jù)進(jìn)行導(dǎo)入,導(dǎo)入時(shí)沒(méi)有進(jìn)行合并,發(fā)布后,無(wú)法進(jìn)行切片處理,試驗(yàn)結(jié)果失敗。

方法三:新建File Geodatabase,將數(shù)據(jù)進(jìn)行導(dǎo)入并合并,每張Raster Dataset的存儲(chǔ)量最大為256TB,可以滿足數(shù)據(jù)的存儲(chǔ)需求。

目前數(shù)據(jù)的現(xiàn)狀是篇幅過(guò)多并且分帶,假如將數(shù)據(jù)合并到一個(gè)Raster Dataset中,將會(huì)造成數(shù)據(jù)存儲(chǔ)空間過(guò)大、顯示過(guò)慢和因跨帶造成的數(shù)據(jù)扭曲和失真的。于是采用分片拼接。拼接原則如下:不同帶區(qū)的數(shù)據(jù)分開(kāi)合并,同一片區(qū)的數(shù)據(jù)必須相鄰。拼接方法如下:在FileGDB,右鍵Im port→Raster Dataset,先導(dǎo)入一片,點(diǎn)擊導(dǎo)入的影像,右鍵Load→Load data導(dǎo)入其他幅數(shù)據(jù)。

以上拼接方法使用了Raster Dataset默認(rèn)的存儲(chǔ)空間,支持?jǐn)?shù)據(jù)的最大容量為4G。假設(shè)數(shù)據(jù)需求超過(guò)4 G時(shí),需要采用以下方法進(jìn)行拼接:在FileGDB,右鍵 New→Raster Dataset,然后設(shè)置屬性,設(shè)置空間參考,波段設(shè)置為3,壓縮方式為“None”,即無(wú)損壓縮,調(diào)整存儲(chǔ)空間為256 T,實(shí)際每片存儲(chǔ)為10 G;點(diǎn)擊導(dǎo)入的影像,右鍵Load->Load data導(dǎo)入其他幅數(shù)據(jù)。

數(shù)據(jù)導(dǎo)入結(jié)束后,對(duì)數(shù)據(jù)進(jìn)行發(fā)布,切片處理成功。此種方法為當(dāng)前案例的最優(yōu)處理方法。

數(shù)據(jù)合并后,存在白色的縫隙和壓邊情況,對(duì)于此類數(shù)據(jù),采用對(duì)圖形數(shù)據(jù)進(jìn)行二次合并,二次合并選擇的圖片為拼接縫隙附近或縫隙上的圖片,將其覆蓋到縫隙上,保證了圖形的本色。

3.2.2 數(shù)據(jù)高程模型處理

數(shù)據(jù)高程模型拼接方法如下:在FileGDB,右鍵Import→Raster Dataset,先導(dǎo)入一片;點(diǎn)擊導(dǎo)入的影像,右鍵Load→Load data導(dǎo)入其他幅數(shù)據(jù)。

數(shù)據(jù)高程模型拼接轉(zhuǎn)換方法如下。方法一:將合并好的數(shù)據(jù)高程模型,進(jìn)行轉(zhuǎn)換,在A rcTool-Box中,通過(guò)3D Analyst Too ls→Coversion→Form Raster→Raster to Tin,將合并后的數(shù)據(jù)高程模型轉(zhuǎn)換 Tin格式后,數(shù)據(jù)存儲(chǔ)空間變小,但數(shù)據(jù)質(zhì)量明顯下降,接邊處出現(xiàn)裂縫,而且出現(xiàn)臟數(shù)據(jù),無(wú)法滿足使用。方法二:數(shù)據(jù)高程模型轉(zhuǎn)換Im g格式后,數(shù)據(jù)效果較好,在A rcToolBox中,通過(guò) Data Management Tools→Projections and T ransform ations→Raster→Project Raster進(jìn)行轉(zhuǎn)換,失真情況得到了控制。

3.2.3 三維服務(wù)調(diào)優(yōu)

對(duì)于GB級(jí)的矢量要素 (密密麻麻的等高線、水系),漫游過(guò)程中,刷新一次大約50 s,遠(yuǎn)遠(yuǎn)超過(guò)用戶要求的20 s/次,甚至出現(xiàn)長(zhǎng)時(shí)間無(wú)響應(yīng)。

根據(jù)文字的調(diào)優(yōu)經(jīng)驗(yàn),針對(duì)數(shù)據(jù)量非常大的特點(diǎn),顯示時(shí)只需要加載窗口所需數(shù)據(jù)即可,如果能夠快速定位所需數(shù)據(jù),肯定能夠提高顯示效率。

方法一,利用空間索引。

嘗試將存儲(chǔ)于FileGDB中的數(shù)據(jù)導(dǎo)入A rcSDE(本機(jī)),并建立合適的空間索引,經(jīng)測(cè)試發(fā)現(xiàn)顯示漫游速度從原來(lái)的多于50 s,提高到了18 s左右,明顯減少了A rcGlobe的漫游響應(yīng)時(shí)間。導(dǎo)入A rcSDE建立空間索引的方法基本上達(dá)到了用戶的最低要求。

雖然導(dǎo)入A rcSDE建立空間索引的方法基本上能夠滿足用戶的最低需求,但效果仍然不夠理想。要整體提高數(shù)據(jù)瀏覽速度必須借助緩存機(jī)制來(lái)實(shí)現(xiàn)。

方法二:利用緩存。

研究A rcGlobe的緩存機(jī)制發(fā)現(xiàn),打開(kāi)圖層后A rcG lobe會(huì)依據(jù)圖層的比例來(lái)建立 “按需緩存”?！鞍葱杈彺妗笔窃跒g覽的時(shí)候自動(dòng)生成的緩存文件,這會(huì)影響瀏覽速度,因此需要在瀏覽前按照合適的比例及顯示參數(shù),一次性創(chuàng)建好緩存。

經(jīng)測(cè)試,建立緩存文件后,在顯示初始化完成后,導(dǎo)航模式下 (只能俯視三維要素的顯示模式)漫游速度大約5 s,非導(dǎo)航模式 (可以側(cè)視三維要素的顯示模式)漫游速度10 s左右。

4 結(jié)束語(yǔ)

以上是在開(kāi)發(fā) 《基于GIS的用戶供電方案輔助決策系統(tǒng)》時(shí),對(duì)高分辯率海量三維影像圖的處理與發(fā)布試驗(yàn)經(jīng)驗(yàn)。系統(tǒng)運(yùn)行表明,在A rcGIS平臺(tái)上,通過(guò)上述方法可實(shí)現(xiàn)對(duì)海量影像數(shù)據(jù)的處理、存儲(chǔ)與發(fā)布,滿足基于地理信息系統(tǒng)的電網(wǎng)空間信息展示需求。

Studies on the Processing,Storing and Issuing of Mass Three-dimensional Image Data

SHEN Xiao-li1,WU Mei-hua2
(1.ChangzhiPower Supp ly Comany,Changzhi,Shanxi 046011,China;2.HeilongjiangO live In formation Industry Co.,Ltd,Haerbin,Heilongjiang 150909,China)

This paper summarizes the testmethods and the test conclusions of the processing,storing and issuing of the ArcGIS-based mass image data.On the A rcGIS p latform,it can issuemass image data fleetly and show the Grid's spatial information(which is based on the geographic information system)bymeans of graphics slicing technology andmap caching technique.

slicing;caching;mass image data

TP274

B

1671-0320(2010)06-0058-03

2010-09-10,

2010-10-12

沈曉麗 (1966-),女,安徽長(zhǎng)豐人,1988年畢業(yè)于山東大學(xué)無(wú)線電物理專業(yè),高級(jí)工程師,主要從事信息化建設(shè)和管理工作,山西電力技術(shù)院專家;

吳美華 (1977-),女,黑龍江海倫人,2001年畢業(yè)于哈爾濱工業(yè)大學(xué)計(jì)算機(jī)應(yīng)用與科學(xué)技術(shù)專業(yè),工程師,主要從事軟件開(kāi)發(fā)工作。