馮志元，李朝奎,2，殷智慧，楊 武

(1.湖南科技大學(xué) 地理空間信息湖南省工程實(shí)驗(yàn)室，湖南 湘潭 411201; 2．湖南科技大學(xué) 地球空間信息科學(xué)研究中心，湖南 湘潭 411201)

基于集群的遙感影像并行繪制研究

馮志元1，李朝奎1,2，殷智慧1，楊 武1

(1.湖南科技大學(xué) 地理空間信息湖南省工程實(shí)驗(yàn)室，湖南 湘潭 411201; 2．湖南科技大學(xué) 地球空間信息科學(xué)研究中心，湖南 湘潭 411201)

基于集群并行繪制系統(tǒng)，采用基于WCF通信構(gòu)架的Sort-first體系結(jié)構(gòu)，對(duì)遙感影像建立金字塔層次模型，提高并行繪制效率。并行繪制集群系統(tǒng)采用基于WCF構(gòu)架并發(fā)機(jī)制的分布式數(shù)據(jù)存儲(chǔ)模式，突破傳統(tǒng)的共享數(shù)據(jù)存儲(chǔ)模式，減少數(shù)據(jù)在網(wǎng)絡(luò)傳輸?shù)拈_(kāi)銷。在集群系統(tǒng)環(huán)境下，對(duì)遙感影像建立金字塔模型和未建立金字塔模型兩種情況下的影像數(shù)據(jù)進(jìn)行并行繪制實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:建立金字塔模型的遙感影像使得并行繪制效率顯著提高。

集群；并行繪制；WCF；分布式存儲(chǔ)；金字塔

目前，采用價(jià)格昂貴的高性能處理器來(lái)進(jìn)行遙感影像數(shù)據(jù)的繪制代價(jià)太高，因而采用性價(jià)比較高的集群系統(tǒng)實(shí)現(xiàn)大范圍數(shù)據(jù)的處理仍是一個(gè)合理的選擇?；赪CF(Windows Communication Foundation)構(gòu)架的并發(fā)機(jī)制的集群系統(tǒng)，對(duì)共享模式的數(shù)據(jù)進(jìn)行并行計(jì)算，不僅需要考慮信息的傳遞，還需要考慮數(shù)據(jù)在網(wǎng)絡(luò)傳輸?shù)拈_(kāi)銷。相對(duì)于WCF構(gòu)架的分布式并行繪制，采用保留模式的數(shù)據(jù)存儲(chǔ)模式[1]，不再需要考慮數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸，根據(jù)有效的任務(wù)分配策略直接對(duì)本地的數(shù)據(jù)進(jìn)行提取和通過(guò)對(duì)遙感影像數(shù)據(jù)建立金字塔模型進(jìn)行并行計(jì)算繪制即可，提高并行繪制的效率。并行繪制效率[2]的影響因素很多，主要有以下幾個(gè)方面：數(shù)據(jù)預(yù)處理、任務(wù)劃分、任務(wù)調(diào)度和負(fù)載平衡。本文對(duì)遙感影像建立金字塔預(yù)處理模型，并在集群環(huán)境下進(jìn)行并行繪制實(shí)驗(yàn)，探討提高并行繪制效率的方法。

1 并行繪制

1.1 并行繪制體系結(jié)構(gòu)

目前，經(jīng)典的3種并行繪制體系結(jié)構(gòu)中[2-5]，Sort-first、Sort-last是主流體系結(jié)構(gòu)。Sort-first體系結(jié)構(gòu)中，幾何處理之前要做歸屬判斷，顯示屏中的圖像空間區(qū)域被分割成多個(gè)子區(qū)域并分配給不同的繪制服務(wù)器進(jìn)行處理。Sort-last則不對(duì)圖像空間區(qū)域進(jìn)行劃分，而是只將顯示屏幕中場(chǎng)景數(shù)據(jù)等分為若干子數(shù)據(jù)集，然后對(duì)子數(shù)據(jù)集進(jìn)行劃分(此劃分不受空間格局限制)，因而可以保證備處理器的繪制單元數(shù)量基本相等，從而保證負(fù)載平衡。三維并行繪制體系結(jié)構(gòu)自身存在一些優(yōu)缺點(diǎn)。Sort-first的優(yōu)點(diǎn)是各流水線之間完整且相互獨(dú)立；缺點(diǎn)是需要進(jìn)行圖元?dú)w屬判斷,對(duì)顯示屏幕劃分并非空間均勻劃分，容易造成各處理器負(fù)載不平衡。Sort-last的優(yōu)點(diǎn)是把場(chǎng)景中空間對(duì)象劃分為若干個(gè)子數(shù)據(jù)集，對(duì)劃分后各數(shù)據(jù)集的顯示屏幕不再進(jìn)行劃分，而且沒(méi)有任何冗余處理；缺點(diǎn)是需要深度合成，由于每個(gè)像素合成速度隨著空間分辨率的提高而線性增加，給網(wǎng)絡(luò)數(shù)據(jù)傳輸帶來(lái)巨大的壓力。

為解決Sort-first體系下的圖元?dú)w屬判斷帶來(lái)的負(fù)載不平衡問(wèn)題和Sort-last體系下的像素深度合成問(wèn)題，相關(guān)學(xué)者采用兩種并行繪制體系結(jié)構(gòu)相結(jié)合的方法。R.Samantad[6]提出一種Sort-first&Sort-last混合體系結(jié)構(gòu)。但是空間圖像像素的深度合成問(wèn)題依然是混合繪制模式的瓶頸。

各個(gè)服務(wù)處理器之間的低耦合度，是實(shí)現(xiàn)并行繪制計(jì)算的一個(gè)基本條件。本文中采用sort-first體系結(jié)構(gòu)，對(duì)大范圍的遙感影像數(shù)據(jù)進(jìn)行網(wǎng)格分割，并存儲(chǔ)在分布式的服務(wù)器上進(jìn)行繪制。每個(gè)分布的服務(wù)器都可以獨(dú)立地對(duì)圖像進(jìn)行處理，不需要交互操作，很大程度上滿足并行繪制的條件。

1.2 集群并行構(gòu)架

集群并行構(gòu)架(見(jiàn)圖1)是基于WCF的通信基礎(chǔ)架構(gòu)[7-10]，不但能提供web Service，還可以提供Remoting，Enterprise Services，MSMQ等，目的是提供統(tǒng)一的編程模型，將編程與通信基礎(chǔ)結(jié)構(gòu)分開(kāi)。WCF構(gòu)架的消息并發(fā)機(jī)制由3部分組成：集群客戶端代理、集群計(jì)算節(jié)點(diǎn)和分布式存儲(chǔ)。

圖1 集群并行構(gòu)架

集群客戶端代理又稱“集群控制器”[11]，是集群服務(wù)器端為客戶端發(fā)送請(qǐng)求提供的一個(gè)訪問(wèn)接口。通過(guò)該接口，客戶端可以向服務(wù)器建立會(huì)話和提交場(chǎng)景數(shù)據(jù)的繪制指令信息，使得客戶端與服務(wù)器端建立可信連接。

集群計(jì)算節(jié)點(diǎn)又稱“集群繪制節(jié)點(diǎn)”，是集群中呈分布式的承載數(shù)據(jù)處理服務(wù)的一些節(jié)點(diǎn)。每一個(gè)計(jì)算節(jié)點(diǎn)，都留有整個(gè)場(chǎng)景數(shù)據(jù)的備份，無(wú)需從客戶端調(diào)用數(shù)據(jù)，通過(guò)接收客戶端的繪制指令，直接從本地讀取數(shù)據(jù)，并進(jìn)行繪制計(jì)算。

分布式存儲(chǔ)是對(duì)大范圍的遙感數(shù)據(jù)儲(chǔ)存的形式，分布在各個(gè)計(jì)算節(jié)點(diǎn)上。計(jì)算節(jié)點(diǎn)接收到繪制指令時(shí)，可以直接對(duì)本服務(wù)器上的相應(yīng)數(shù)據(jù)進(jìn)行繪制和處理，減少數(shù)據(jù)從客戶端調(diào)用在網(wǎng)絡(luò)傳輸上增加開(kāi)銷。

通過(guò)基于WCF構(gòu)架的消息傳遞，客戶端把繪制請(qǐng)求發(fā)送到集群中的每個(gè)計(jì)算節(jié)點(diǎn)，能夠正確接受會(huì)話的計(jì)算節(jié)點(diǎn)開(kāi)始對(duì)分配的任務(wù)進(jìn)行繪制；當(dāng)繪制完成后，返回消息響應(yīng)，該任務(wù)完成。集群中的計(jì)算節(jié)點(diǎn)無(wú)需從客戶端調(diào)用數(shù)據(jù)，直接對(duì)本地部署好的數(shù)據(jù)進(jìn)行提取和繪制計(jì)算，減少數(shù)據(jù)在網(wǎng)絡(luò)上傳輸?shù)拈_(kāi)銷。

1.3 任務(wù)劃分策略

對(duì)于集群的并行繪制系統(tǒng)，好的任務(wù)劃分方法和任務(wù)分配方案是提高系統(tǒng)性能的重要指標(biāo)。

自適應(yīng)屏幕劃分算法更符合任務(wù)劃分，避免繪制無(wú)效圖像；最佳屏幕劃分?jǐn)?shù)可以采用最優(yōu)劃分?jǐn)?shù)搜索算法，該算法是基于反饋的自適應(yīng)屏幕分割算法。方法具有如下特點(diǎn)：①劃分與對(duì)象數(shù)據(jù)的空間位置無(wú)關(guān)；②劃分過(guò)程簡(jiǎn)單，減小每幀繪制之前計(jì)算屏幕劃分布局開(kāi)銷；③對(duì)無(wú)用區(qū)域剔除，無(wú)用區(qū)域包括圖像繪制時(shí)間大于圖像讀取時(shí)間的區(qū)域和空?qǐng)D像區(qū)域[4]；④劃分屏幕數(shù)據(jù)存在限制，不能太多也不能太少，否則都會(huì)影響性能。

一種效率高的任務(wù)分配方法，其分配策略見(jiàn)圖2，分配步驟如下：①統(tǒng)計(jì)各任務(wù)的繪制時(shí)間，并對(duì)繪制時(shí)間按從大到小的順序排列；②對(duì)各處理器的時(shí)間進(jìn)行初始化；③統(tǒng)計(jì)當(dāng)前各個(gè)進(jìn)程積累時(shí)間，將任務(wù)隊(duì)列中當(dāng)前的任務(wù)分配給積累的最少進(jìn)程；④循環(huán)第三步驟，直到所有的任務(wù)分配完畢。

如圖2(a)所示，把區(qū)域2和區(qū)域3的空間對(duì)象，分配給同一個(gè)服務(wù)器端的處理器進(jìn)行繪制(見(jiàn)圖2(b)所示)，有效保證各個(gè)服務(wù)器對(duì)空間對(duì)象處理時(shí)間的平衡。

圖2 高效任務(wù)分配策略

該方法的優(yōu)點(diǎn)：可以實(shí)現(xiàn)系統(tǒng)的高效繪制，保證各個(gè)服務(wù)器端的處理器的并行繪制時(shí)間基本均衡；缺點(diǎn)：對(duì)于大數(shù)據(jù)量的空間數(shù)據(jù)進(jìn)行處理時(shí)，需要多次對(duì)空間數(shù)據(jù)進(jìn)行任務(wù)分配，增加任務(wù)分配開(kāi)銷。

1.4 金字塔層次模型

圖像分層有利于快速讀取某一層的圖像信息[13]。常用的方法就是對(duì)遙感圖像建立金字塔層次模型，便于圖像的快速讀取和顯示。本文對(duì)圖像建立分層方法：設(shè)置金字塔最頂層大小(47*47)，依次以2的整數(shù)倍對(duì)圖像進(jìn)行分層，直到動(dòng)態(tài)分完為止。

采用GDAL庫(kù)文件建立分層，提供對(duì)遙感影像RasterIO接口，可以對(duì)大數(shù)據(jù)量的遙感影像建立金字塔模型[14-16]。以Srtm_01.tif遙感影像為例(見(jiàn)圖3金字塔層次模型)。

圖3 金字塔層次模型

設(shè)置頂層金字塔大小：

Int iTopNum = 2209; // 47*47

建立的各個(gè)層的大?。?/p>

OverView 0: Size (1501,1501); OverView 1 : Size (751,751); OverView 2 :Size (376,376)

OverView 3 : Size (188,188); OverView 4 : Size (94,94) ; OverView 5 : Size (47,47)

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)過(guò)程

1)實(shí)驗(yàn)硬件環(huán)境。3臺(tái)計(jì)算節(jié)點(diǎn)和1臺(tái)代理節(jié)點(diǎn)，配置：處理器Intel(R) Xeon(R) CPU E5620 @2.40GHz (2處理器)，內(nèi)存8.00GB，64位操作系統(tǒng)。

2)實(shí)驗(yàn)軟件環(huán)境。頭節(jié)點(diǎn)配置環(huán)境：VS2010開(kāi)發(fā)環(huán)境、HPC Server 2008 操作系統(tǒng)、HPC Pack 2008 R2 SDK、MPI.Net和MPI.NET Runtime。

計(jì)算節(jié)點(diǎn)配置環(huán)境：HPC Server Pack 2008 R2、HPC Server 2008操作系統(tǒng)、MPI.NET Runtime和 .net Framework 4.0。

3)實(shí)驗(yàn)數(shù)據(jù)。Projection:GEOGCS["WGS84",DATUM["WGS_1984",SPHEROID["WGS84",6378137,298.257223563,AUTHORITY["EPSG","7030"]]

RasterSize (6001,6001) *6

Corner Coordinates:

Upper Left (109.999583817611, 30.0004172478019)

Lower Left (109.999583817611, 14.9995836723247)

Upper Right (120.000417272016, 30.0004172478019)

Lower Right(120.000417272016，14.9995836723247)

DataType: Int16

ColorInterpretation: Gray

圖4為遙感影像圖，對(duì)其進(jìn)行格網(wǎng)分割成6塊。由于遙感影像圖分塊的最右下角影像不包含陸地信息，故在進(jìn)行并行繪制時(shí)對(duì)該區(qū)域的影像進(jìn)行剔除處理。為保證第一個(gè)實(shí)驗(yàn)與第二個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)相等，均對(duì)遙感影像最右下角區(qū)域不做考慮。然后對(duì)每塊影像圖建立金字塔層次模型，并在集群環(huán)境下對(duì)未處理和處理的遙感影像分別進(jìn)行并行繪制實(shí)驗(yàn)測(cè)試。

圖4 遙感影像圖

遙感影像數(shù)據(jù)見(jiàn)表1，分別對(duì)影像進(jìn)行預(yù)處理，建立的金字塔模型數(shù)據(jù)大小如表1所示。建立金字塔模型的文件比本身圖像要小許多，因而不會(huì)犧牲很多計(jì)算機(jī)空間。

表1 遙感影像數(shù)據(jù)表

2.2 實(shí)驗(yàn)結(jié)果

1)對(duì)5個(gè)有效(未處理)tif圖像(圖像最右下角的圖像剔除)進(jìn)行集群并行繪制，3個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行繪制的時(shí)間如表2所示。

表2 (未處理)并行繪制時(shí)間統(tǒng)計(jì)表

對(duì)5個(gè)有效(未處理)tif圖像，進(jìn)行串行的運(yùn)行時(shí)間：0:02:06.407。

2)對(duì)5個(gè)有效(構(gòu)造金字塔模型)tif圖像(對(duì)影像構(gòu)建金字塔模型，且圖像最右下角的圖像剔除)進(jìn)行集群并行繪制，3個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行繪制的時(shí)間如表3所示。

表3 (構(gòu)造金字塔模型)并行繪制時(shí)間統(tǒng)計(jì)表

對(duì)5個(gè)有效(構(gòu)造金字塔模型，圖像最右下角的圖像剔除)tif圖像，進(jìn)行串行的運(yùn)行時(shí)間：0:00:29.672。

2.3 并行加速比測(cè)試

在集群環(huán)境下，對(duì)沒(méi)有處理的遙感影像和構(gòu)造金字塔模型的遙感影像進(jìn)行加速比測(cè)試，其加速比如表4所示。

表4 加速比測(cè)試

2.4 結(jié)果分析

從表4中可看出：①單機(jī)上對(duì)分塊的遙感影像進(jìn)行串行繪制時(shí)，經(jīng)過(guò)建立金字塔模型的串行運(yùn)行效率要優(yōu)于未進(jìn)行處理的影像運(yùn)行效率；②集群中對(duì)分塊的遙感影像進(jìn)行并行繪制時(shí)，建立金字塔模型的影像的運(yùn)行效率較高；③經(jīng)過(guò)建立金字塔模型的影像的加速比高于未處理的影像的加速比。

3 結(jié) 論

在計(jì)算機(jī)集群環(huán)境下，基于WCF通信構(gòu)架的sort-fist體系結(jié)構(gòu)，對(duì)遙感圖像先進(jìn)行分塊，然后對(duì)每塊影像建立金字塔層次模型(每個(gè)圖塊都動(dòng)態(tài)預(yù)處理分為6個(gè)圖層，最頂層的數(shù)據(jù)統(tǒng)一設(shè)置成47*47)，能夠提高集群并行繪制的效率。經(jīng)過(guò)預(yù)處理的遙感影像在集群環(huán)境下并行繪制效率約是未處理影像的兩倍，這對(duì)于遙感影像的并行繪制具有重要意義。

[1]金哲凡.保留模式圖形并行繪制研究[D].杭州:浙江大學(xué),2004.

[2]譚同德,王小偉,趙新?tīng)N,等.基于多核PC集群的并行繪制系統(tǒng)研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用,2010，30(7):1828-1831.

[3]王攀,劉華海,李思昆，等.無(wú)合成并行繪制算法中的自適應(yīng)屏幕分割策略[J].系統(tǒng)仿真學(xué)報(bào),2012,24(1):99-102.

[4]彭敏峰.并行繪制系統(tǒng)體系結(jié)構(gòu)關(guān)鍵技術(shù)研究[D].長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué),2006.

[5]馮慧玲.實(shí)時(shí)集群計(jì)算機(jī)體系結(jié)構(gòu)的研究[D].西安:西安科技大學(xué),2006.

[6]R SAMANTA,T FUNKHOUSER,KAI LI,et al.Hybrid Sort-First and Sort-Last Parallel Rendering with a Cluster of PCs.[C]//Proceedings of the ACM SIGGRAPH/EUROGR-APHICS workshop on Graphics hardware,2000.USA:ACM,2000:97-108.

[7]羅丹.基于WCF的遺留系統(tǒng)并行構(gòu)架的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州:浙江大學(xué),2011.

[8]J LOWY.Programming WCF Services[M].0’ReillyMedia,Inc.,2007.

[9]S KLEIN.Professional WCF Progralnllling[M].WileyIndia,Inc.,2009.

[10]石教英. 分布并行圖形繪制技術(shù)及其應(yīng)用[M].北京：科學(xué)出版社,2010.

[11]RUI XIN YANG.Value range queries on earth science data via histogram clustering[M]. Lecture Notes In Computer Science,1999.

[12]許涌,萬(wàn)國(guó)龍.海量圖像數(shù)據(jù)快速顯示技術(shù)[J].計(jì)算機(jī)工程與設(shè)計(jì),2003(6):36-38.

[13]張利.多尺度海量柵格數(shù)據(jù)組織與管理的研究[D].鄭州:信息工程大學(xué),2005.

[14]張宏偉,童恒建,左博新,等.基于GDAL大于2G 遙感圖像的快速瀏覽[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(13):159-162.

[15]余粉香,王光霞,萬(wàn)剛.大數(shù)據(jù)量遙感影像的快速調(diào)度與顯示[J].海洋測(cè)繪,2006，26(2):27-30.

[16]李東穎,唐新明,閆浩文.基于分離式金字塔模型的測(cè)繪立體影像數(shù)據(jù)檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].測(cè)繪工程,2012，21(5):30-34.

[責(zé)任編輯：張德福]

Parallel rendering research of remote sensing image based on cluster

FENG Zhi-yuan1, LI Chao-kui1,2, YIN Zhi-hui1, YANG Wu1

(1.Hunan Provincial Engineering Laboratory of Geospatial Information, Hu’nan University of Science and Technology, Xiangtan 411201, China；2.Academic Center of Geospatial Information Science，Hu’nan University of Science and Technology，Xiangtan 411201, China)

Parallel rendering system based on cluster uses the Sort-first system structure based on WCF communication framework, through the establishment of the pyramid hierarchy model of remote sensing image in order to improve the parallel rendering efficiency. The cluster parallel rendering system based on distributed data storage mode of WCF framework, through the sharing of data storage mode, greatly reduces the time of the data in the network transmission. Based on the cluster system environment, two kinds of parallel rendering experiments with and without pyramid model are made for the remote sensing image, as a result of which the pyramid model can improve the efficiency of parallel rendering.

cluster; parallel rendering; WCF; distributed data storage mode; pyramid

2013-06-10

國(guó)家自然科學(xué)基金資助項(xiàng)目(41271390)；湖南省自然科學(xué)基金資助項(xiàng)目(12JJ9023)；湖南科技大學(xué)研究生優(yōu)秀學(xué)位論文培育資助項(xiàng)目(S120036)

馮志元(1986-)，男，碩士研究生.

TP753

：A

：1006-7949(2014)07-0026-04