杜根遠(yuǎn)　張火林　苗　放

1(許昌學(xué)院國(guó)際教育學(xué)院　河南 許昌 461000)2(成都理工大學(xué)地球物理學(xué)院　四川 成都 610059)

?

一種基于MPI和OpenMP的剖分遙感影像并行分割方法

杜根遠(yuǎn)1張火林1苗放2

1(許昌學(xué)院國(guó)際教育學(xué)院河南 許昌 461000)2(成都理工大學(xué)地球物理學(xué)院四川 成都 610059)

隨著遙感數(shù)據(jù)量的快速增長(zhǎng)，組織效率和處理速率成為其快捷應(yīng)用的瓶頸，地球剖分理論和高性能計(jì)算為該問(wèn)題解決提供了一種可能途徑?；谏鲜鏊悸?，設(shè)計(jì)一種基于MPI和OpenMP的剖分遙感影像并行分割方法。該方法在地球剖分組織理論的研究基礎(chǔ)上，針對(duì)遙感影像數(shù)據(jù)進(jìn)行剖分化處理，依據(jù)應(yīng)用需求確定剖分層級(jí)，形成有利于并行處理的影像數(shù)據(jù)剖分面片集合；在MPI集群計(jì)算和OpenMP多核任務(wù)處理環(huán)境下，對(duì)上述剖分面片集進(jìn)行相應(yīng)操作的并行化處理，最后把處理后的面片整合為所需要的結(jié)果數(shù)據(jù)。通過(guò)一個(gè)遙感影像數(shù)據(jù)K-Means分割的例子對(duì)上述方法進(jìn)行驗(yàn)證。結(jié)果表明，該方法能在分割結(jié)果保持一致的情況下，有效提高遙感影像的組織效率和處理速度，達(dá)到了一定的加速比，實(shí)用性較強(qiáng)。

遙感影像地球剖分理論剖分面片MPIOpenMP

0　引　言

目前，全球天地一體化的高分辨率對(duì)地觀測(cè)體系已經(jīng)初步形成，利用該體系進(jìn)行環(huán)境保護(hù)、災(zāi)害監(jiān)測(cè)、資源開(kāi)發(fā)、軍事偵察等諸多軍事及民用領(lǐng)域應(yīng)用成為了新的手段[1]。高分辨率衛(wèi)星遙感是對(duì)地觀測(cè)體系的重要組成部分，呈現(xiàn)出高空間分辨率、高光譜分辨率、高時(shí)間分辨率和多平臺(tái)、多傳感器、多角度的發(fā)展趨勢(shì)。隨著航空航天技術(shù)的發(fā)展和遙感器件性能的改進(jìn)，利用遙感產(chǎn)生的空間數(shù)據(jù)體量日益龐大。與此同時(shí)，遙感數(shù)據(jù)的應(yīng)用領(lǐng)域也在不斷地深化和拓展。然而，人們對(duì)空間數(shù)據(jù)的解析和利用程度卻遠(yuǎn)遠(yuǎn)低于數(shù)據(jù)獲取的速度。如何對(duì)遙感數(shù)據(jù)進(jìn)行高效的組織、管理和快捷的信息提取成為當(dāng)前研究的一個(gè)熱點(diǎn)，地球剖分組織理論和并行計(jì)算是解決上述問(wèn)題的有效途徑。

經(jīng)過(guò)幾十年的發(fā)展，遙感影像處理技術(shù)日趨成熟，已經(jīng)取得了一大批理論和算法成果[1]。以并行數(shù)據(jù)處理為基礎(chǔ)的高性能計(jì)算技術(shù)是目前遙感影像高效處理所采用的主要方法，也是提高影像處理速度和效率的最有效方法之一[2-5]。文獻(xiàn)[2]提出了一種基于網(wǎng)格環(huán)境的遙感影像并行分類模型，并設(shè)計(jì)了網(wǎng)格服務(wù)及任務(wù)調(diào)度的算法流程；文獻(xiàn)[3]針對(duì)遠(yuǎn)海遙感影像目標(biāo)物數(shù)量相對(duì)較少的特點(diǎn)，提出了對(duì)影像進(jìn)行并行處理的集群體系任務(wù)分配算法模型；文獻(xiàn)[4]提出了一種面向統(tǒng)一遙感圖像處理的多粒度并行模型，并給出了模型的四層接口，描述了模型接口、定義、并行任務(wù)調(diào)度和容錯(cuò)機(jī)制等；文獻(xiàn)[5]提出一種有效的、可擴(kuò)展的并行點(diǎn)對(duì)稱的遙感影像像素分類并行算法，并給出了用于計(jì)算基于距離的點(diǎn)對(duì)稱的加速策略。與此同時(shí)，高性能集群、專用硬件設(shè)備GPU、MIC等在遙感影像高性能處理領(lǐng)域得到廣泛應(yīng)用[6,7]。

但是，由于缺乏有效的數(shù)據(jù)組織機(jī)制，多源異構(gòu)的影像數(shù)據(jù)要實(shí)現(xiàn)動(dòng)態(tài)、高效關(guān)聯(lián)比較困難。此外，遙感影像并行處理算法需要采取合理的策略進(jìn)行粒度分割，以充分發(fā)揮集群的計(jì)算能力；且遙感影像并行算法的實(shí)際運(yùn)行效率往往達(dá)不到理想的加速比，嚴(yán)重依賴于集群的硬件配置情況，不具有通用性。如何科學(xué)高效地對(duì)空間數(shù)據(jù)進(jìn)行組織，合理設(shè)計(jì)并行算法模型，充分利用集群CPU、GPU及MIC的計(jì)算能力對(duì)其進(jìn)行優(yōu)化，不僅對(duì)編程者而言是難點(diǎn)，同時(shí)也給空間數(shù)據(jù)應(yīng)用帶來(lái)了困難。

針對(duì)上述問(wèn)題，基于地球剖分組織理論，設(shè)計(jì)了一種基于MPI和OpenMP混合編程模式下的遙感影像并行分割方法。該方法首先對(duì)遙感影像數(shù)據(jù)進(jìn)行剖分化處理，形成有利于并行處理的影像數(shù)據(jù)剖分面片集合；在MPI集群計(jì)算和OpenMP多核任務(wù)處理環(huán)境下，對(duì)上述剖分面片集進(jìn)行相應(yīng)操作的并行化處理，最后把處理后的面片整合為所需要的結(jié)果數(shù)據(jù)。通過(guò)一個(gè)實(shí)例對(duì)上述方法進(jìn)行了驗(yàn)證，結(jié)果表明，該方法能有效提高遙感影像的組織效率和處理速度，加速效果較為明顯。

1　地球剖分模型(EMD)

地球剖分組織理論是研究如何對(duì)地理空間位置進(jìn)行劃分的方法，它依據(jù)剖分組織框架，把地球表面劃分為離散分布、大小相似、無(wú)縫無(wú)疊的剖分面片。相比平面數(shù)據(jù)模型，具有全球空間數(shù)據(jù)統(tǒng)一組織、存儲(chǔ)、提取、分析、平面-球面一體化表達(dá)、數(shù)據(jù)整合匯聚迅速等優(yōu)勢(shì)。剖分模型是地球剖分組織理論研究的核心問(wèn)題，該模型研究對(duì)地球表面進(jìn)行多級(jí)劃分的方式和方法以及得到剖分面片形狀、編碼、結(jié)構(gòu)、如何組織等問(wèn)題。幾種常見(jiàn)的剖分模型包括QTM模型[8](Quaternary Triangular Mesh)、STQIE模型[9](Spherical Triangle Quadtree based on Icosahedron and ERLRP)、SIMG模型[10](Spatial Information Multi-Grid)等。剖分模型中的剖分面片構(gòu)成一個(gè)相互關(guān)聯(lián)的地球剖分遙感影像體系框架，剖分面片層級(jí)之間以及同層不同面片之間大多采用四叉樹(shù)和剖分編碼來(lái)進(jìn)行組織。但部分剖分模型存在剖分面片變形、計(jì)算復(fù)雜等一系列問(wèn)題，不能有效滿足宏觀空間剖分?jǐn)?shù)據(jù)高性能處理的需求[3]。

北京大學(xué)973課題組基于上述研究基礎(chǔ)，設(shè)計(jì)并驗(yàn)證了EMD剖分模型的整套方案[11,12]。其主要思想是地球表面行劃分為中低緯度區(qū)域和高緯度區(qū)域，對(duì)不同的部分采用不同的剖分方法。在該方案中，采用基于地圖分幅的“等經(jīng)緯度格網(wǎng)”方法對(duì)中低緯度區(qū)域進(jìn)行剖分；采用“正多面體”以三角形進(jìn)行剖分的方法對(duì)高緯度區(qū)域進(jìn)行剖分，從而實(shí)現(xiàn)地球空間多種數(shù)據(jù)的統(tǒng)一組織和高效管理[11,12]。

剖分面片是地球表面經(jīng)剖分模型劃分出來(lái)的分割單元，具有多尺度、多等級(jí)、小變形、離散、規(guī)則等特點(diǎn)。每一個(gè)剖分面片均有唯一的編碼標(biāo)識(shí)、層級(jí)結(jié)構(gòu)和明確的地理空間位置、范圍等信息。

剖分面片模板包含剖分面片的基本結(jié)構(gòu)和內(nèi)容，其本身既為經(jīng)處理后的高分辨率遙感影像，同時(shí)也包含與該面片相關(guān)聯(lián)的其他空間特征數(shù)據(jù)，是與面片相對(duì)應(yīng)的數(shù)據(jù)樣本。一個(gè)剖分面片可對(duì)應(yīng)多種剖分面片模板，根據(jù)數(shù)據(jù)處理和應(yīng)用需求的不同，每一種模板可對(duì)應(yīng)于一個(gè)具體的處理算法[13,14]。

2　MPI+OpenMP混合編程模式

目前有兩種主要的并行系統(tǒng)：分布式內(nèi)存系統(tǒng)和共享內(nèi)存系統(tǒng)。在分布式內(nèi)存系統(tǒng)中，每個(gè)核都擁有自己的私有內(nèi)存，核之間的通信是顯式的，需要使用類似于在網(wǎng)絡(luò)中發(fā)送消息的機(jī)制；在共享內(nèi)存系統(tǒng)中，原則上每個(gè)核能訪問(wèn)每個(gè)內(nèi)存區(qū)域。

MPI用于分布式內(nèi)存系統(tǒng)的編程，一個(gè)MPI系統(tǒng)通常由一組庫(kù)、頭文件和相應(yīng)環(huán)境構(gòu)成，其并行程序通過(guò)調(diào)用庫(kù)中函數(shù)完成消息傳遞，在編譯時(shí)與庫(kù)進(jìn)行鏈接。常用的MPI系統(tǒng)是MPICH。

OpenMP用于共享內(nèi)存系統(tǒng)的編程，是對(duì)C語(yǔ)言相對(duì)更高層次的擴(kuò)展，容易將很多程序并行化，主要針對(duì)細(xì)粒度的循環(huán)級(jí)并行，可使用Fork-Join的并行執(zhí)行模式。

石化智造，需要集聚一大批專業(yè)人才、高端人才，這是團(tuán)隊(duì)研發(fā)持續(xù)不斷的基礎(chǔ)，錢鋒團(tuán)隊(duì)引進(jìn)了一批“高潛能”人才，培育出了一支“高品質(zhì)”的研發(fā)團(tuán)隊(duì)。

為了結(jié)合分布式內(nèi)存結(jié)構(gòu)和共享式內(nèi)存結(jié)構(gòu)的優(yōu)勢(shì)，業(yè)界提出采用MPI+OpenMP的分布式/共享內(nèi)存的混合編程模式。該模式下，計(jì)算結(jié)點(diǎn)內(nèi)部和之間采用二級(jí)并行，計(jì)算結(jié)點(diǎn)內(nèi)部利用OpenMP方式并行，計(jì)算結(jié)點(diǎn)之間采用MPI方式并行。實(shí)踐證明，該模式能較好地提升并行系統(tǒng)的性能[15]。

3　剖分遙感影像并行處理方法

遙感影像經(jīng)剖分模型進(jìn)行剖分化處理，形成不同層級(jí)的剖分面片集合；對(duì)剖分面片進(jìn)行特征提取并快速生成剖分面片模板，建立剖分面片模板數(shù)據(jù)庫(kù)；針對(duì)具體應(yīng)用如分割算法進(jìn)行并行化分析，實(shí)現(xiàn)算法并行處理模型；設(shè)計(jì)相應(yīng)并行類，形成處理算法的并行化類庫(kù)，最終實(shí)現(xiàn)遙感影像的快速并行處理。其并行化處理流程如圖1所示。

圖1　剖分面片模板處理算法的并行化流程

3.1遙感影像剖分化處理

針對(duì)特定應(yīng)用需求的熱點(diǎn)區(qū)域、分辨率的遙感影像，根據(jù)應(yīng)用需求，按照EMD剖分流程生成該遙感影像所對(duì)應(yīng)級(jí)別的剖分面片，提取剖分面片單元的模板化特征形成面片模板，進(jìn)行入庫(kù)操作。如果檢索該面片模板不存在則直接入庫(kù)，否則根據(jù)該遙感影像特征進(jìn)行相似度對(duì)比，確定閾值，當(dāng)對(duì)比結(jié)果小于閾值則不更新該面片對(duì)應(yīng)的模板，否則入庫(kù)并更新該面片模板。模板庫(kù)按照“數(shù)據(jù)節(jié)點(diǎn)編號(hào)/衛(wèi)星類型/面片層級(jí)/目標(biāo)模板數(shù)據(jù)”方式組織面片模板數(shù)據(jù)。

3.2構(gòu)建模板并行計(jì)算模式

剖分面片模板作為剖分面片并行計(jì)算的基本單元，剖分面片的模板創(chuàng)建應(yīng)當(dāng)依據(jù)一定的應(yīng)用需求。需要對(duì)特定區(qū)域的數(shù)據(jù)進(jìn)行處理時(shí)，可直接提取相應(yīng)的模板用于剖分化并行計(jì)算，從而實(shí)現(xiàn)數(shù)據(jù)的高效處理，縮短應(yīng)用準(zhǔn)備時(shí)間。剖分面片模板并行計(jì)算模式源于剖分?jǐn)?shù)據(jù)組織模型的支持。在面片層面，計(jì)算節(jié)點(diǎn)采用分布式存儲(chǔ)體系結(jié)構(gòu)，通過(guò)MPI實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)(剖分面片)之間的并發(fā)數(shù)據(jù)處理，從而實(shí)現(xiàn)粗粒度數(shù)據(jù)并行；在計(jì)算節(jié)點(diǎn)(剖分面片)內(nèi)部，可根據(jù)數(shù)據(jù)特點(diǎn)或具體算法利用OpenMP進(jìn)行細(xì)粒度數(shù)據(jù)并行。

3.3形成算法并行處理模型

首先對(duì)算法并行性分析。對(duì)于特定遙感圖像處理算法，利用并行化分析工具Intel VTune找出該算法的計(jì)算熱點(diǎn)，通過(guò)計(jì)算依賴、數(shù)據(jù)依賴分析，考察計(jì)算熱點(diǎn)的可并行性；分析模板相關(guān)的處理算法及其可并行的代碼步占整個(gè)算法總運(yùn)算步的百分比。依據(jù)算法并行化特征可分為全局可并行算法、局部可并行算法、不可并行算法三類。根據(jù)分類，提取三種不同的處理模型：全局并行處理模型、局部并行處理模型、串行算法處理模型。其次生成算法并行處理模型。根據(jù)熱點(diǎn)計(jì)算特點(diǎn)，實(shí)現(xiàn)在MPI與OpenMP混合并行計(jì)算框架下計(jì)算任務(wù)的多粒度分解模式與節(jié)點(diǎn)間數(shù)據(jù)交換策略，得到算法的并行處理模型。在MPI與OpenMP混合并行計(jì)算框架下，MPI處于頂層，主要負(fù)責(zé)計(jì)算節(jié)點(diǎn)間的通信；OpenMP處于底層，負(fù)責(zé)單機(jī)內(nèi)多核心并行處理。

全局并行處理模型主要針對(duì)具有天然并行性、計(jì)算量較大、與影像信息統(tǒng)計(jì)密切相關(guān)的處理算法，這類算法數(shù)據(jù)及運(yùn)算依賴性較弱，計(jì)算任務(wù)易于分解，并行效果好。處理流程為：集群主節(jié)點(diǎn)接受參數(shù)，完成初始化功能，利用MPI消息庫(kù)，將計(jì)算熱點(diǎn)區(qū)域分解到各個(gè)計(jì)算節(jié)點(diǎn)；各計(jì)算節(jié)點(diǎn)獲取計(jì)算任務(wù)，利用OpenMP實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)的并行計(jì)算；最后將計(jì)算結(jié)果聚合至主節(jié)點(diǎn)。主節(jié)點(diǎn)動(dòng)態(tài)控制計(jì)算節(jié)點(diǎn)的計(jì)算負(fù)載。

串行算法處理模型主要針對(duì)計(jì)算熱點(diǎn)區(qū)域依賴性較強(qiáng)、并行性較差的處理算法。其處理流程為：集群主節(jié)點(diǎn)進(jìn)行計(jì)算任務(wù)的分配，利用MPI將計(jì)算任務(wù)分配至存放對(duì)應(yīng)面片模板的計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)任務(wù)的本地計(jì)算，從而節(jié)省數(shù)據(jù)傳輸所帶來(lái)的額外開(kāi)銷。

3.4算法并行化類庫(kù)頂層設(shè)計(jì)

針對(duì)具體處理算法和并行化模型，運(yùn)用面向?qū)ο筌浖_(kāi)發(fā)技術(shù)，設(shè)計(jì)相應(yīng)的并行類。將該算法并行化模型中處理步驟抽象為并行類的方法成員，利用MPI與OpenMP對(duì)該并行類的方法進(jìn)行并行化實(shí)現(xiàn)，在此基礎(chǔ)上形成剖分面片模板處理算法的并行化類庫(kù)。

根據(jù)并行處理模型設(shè)計(jì)三個(gè)接口IFullParallelProcessing、ISectionParallelProcessing、INearbyProcessing。該接口定義面向剖分面片模板處理算法的并行化流程，并把流程中每一個(gè)步驟抽象為接口中的方法。

為處理算法并行類實(shí)現(xiàn)一個(gè)共同的父接口，即抽象工廠IRemoting-ImgProcessingFactory，該工廠定義三個(gè)方法createFullParallelProcessing()、createSectionParallel-Processing()、createNearbyProcessing()。RemotingImgProcessingFactory實(shí)現(xiàn)抽象工廠接口，負(fù)責(zé)生成遙感圖像處理算法具體的并行化類。

3.5生成處理算法并行化類庫(kù)

確定該處理算法所必需的計(jì)算參數(shù)，包括算法的輸入輸出、對(duì)應(yīng)的面片模板編號(hào)、圖像像素大小等。將其映射為相應(yīng)并行算法類的數(shù)據(jù)成員，編寫相應(yīng)的構(gòu)造方法實(shí)現(xiàn)該類的初始化；選定該處理算法的并行化處理模型，實(shí)現(xiàn)相應(yīng)的接口，逐一實(shí)現(xiàn)接口所定義的并行化步驟，即完成該算法的并行類；將常見(jiàn)的處理算法按上述方法進(jìn)行并行化，構(gòu)建常見(jiàn)處理算法的并行化類庫(kù)。用戶要進(jìn)行特定的遙感處理，只需導(dǎo)入該類庫(kù)，生成該并行算法框架類的具體實(shí)例，調(diào)用類中實(shí)現(xiàn)的方法即可實(shí)現(xiàn)該處理的快速并行化。這些算法均在MPI+OpenMP混合并行計(jì)算框架下實(shí)現(xiàn)。

4　應(yīng)用及效果

4.1基于K-means的混合聚類并行分割算法

基于上述思想，設(shè)計(jì)了集群環(huán)境下的基于K-means的混合型圖像并行分割算法。該算法采用MPI并行框架，主線程讀取影像數(shù)據(jù)，根據(jù)計(jì)算節(jié)點(diǎn)數(shù)目，進(jìn)行任務(wù)分解。由于圖像數(shù)據(jù)按行存放，可根據(jù)行數(shù)及計(jì)算節(jié)點(diǎn)個(gè)數(shù)進(jìn)行分塊，將影像數(shù)據(jù)均勻分解成若干子圖，將各子圖數(shù)據(jù)及聚類中心傳輸?shù)礁鱾€(gè)節(jié)點(diǎn)計(jì)算進(jìn)程。進(jìn)程間的通信由MPI的消息傳遞函數(shù)完成。各計(jì)算進(jìn)程各自執(zhí)行并行的K-means聚類算法，其主要方法為：void KmeansParallel :: kmeans_run (vector > &datas, vector & indexer, vector &labels)。K-means聚類算法主要時(shí)間耗費(fèi)在于計(jì)算各像素與聚類中心的距離。該算法利用OpenMP的#Pragma omp parallel for編譯指導(dǎo)指令，將計(jì)算任務(wù)并行分解到計(jì)算節(jié)點(diǎn)的多個(gè)核心。計(jì)算進(jìn)程將各自聚類結(jié)果傳回給主進(jìn)程，主進(jìn)程進(jìn)行層次聚類算法，從而完成各聚類的合并。層次聚類計(jì)算各子聚類的距離，該距離定義為兩子聚類間節(jié)點(diǎn)的平均距離，當(dāng)該距離小于某一閾值時(shí)進(jìn)行子聚類的合并，該閾值通過(guò)實(shí)驗(yàn)確定最佳值。

算法的具體流程如圖2所示。

圖2　基于K-means的混合并行分割算法流程圖

4.2算法具體應(yīng)用

通過(guò)一個(gè)遙感影像分割的例子對(duì)上述思路進(jìn)行驗(yàn)證。首先對(duì)影像數(shù)據(jù)進(jìn)行分級(jí)剖分處理，形成剖分面片集合；依據(jù)具體應(yīng)用選取相應(yīng)級(jí)別的剖分面片，利用上述算法進(jìn)行并行化分割處理，最終實(shí)現(xiàn)遙感影像的快速并行處理，如圖3所示。

圖3　實(shí)驗(yàn)流程

研究數(shù)據(jù)來(lái)源于2013年9月9日Landsat8衛(wèi)星的操作陸地成像儀所拍衛(wèi)星影像，影像區(qū)域?yàn)楣_克斯坦遠(yuǎn)東地區(qū)，空間分辨率大于8米。依據(jù)EMD模型對(duì)其進(jìn)行剖分處理，形成面片集，依據(jù)應(yīng)用需求對(duì)面片進(jìn)行并行處理，處理后的剖分面片可根據(jù)需要可進(jìn)行縫合、拼接；選取實(shí)驗(yàn)區(qū)域第7級(jí)剖分面片，其緯差5′，經(jīng)差7′30″，對(duì)應(yīng)于1∶5萬(wàn)比例尺的地圖；根據(jù)實(shí)驗(yàn)需要，選取實(shí)驗(yàn)影像區(qū)域大小1667×1666像素。

實(shí)驗(yàn)中使用4臺(tái)計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)CPU選用為Intel i5-4590 3.3 GHz四核處理器，內(nèi)存選用Kingston DDR3 2666 8 GB。軟件環(huán)境采用Windows 7操作系統(tǒng)，開(kāi)發(fā)工具為Visual Studio 2010，并行環(huán)境為MPICH2，多線程庫(kù)采用OpenMP。影像分割算法采用K-means聚類算法，針對(duì)遙感影像所在區(qū)域地物地貌進(jìn)行目視判讀，確定算法聚類中心數(shù)K值為4。

依據(jù)文中所述方法對(duì)K-means算法進(jìn)行并行化實(shí)現(xiàn)，其算法思想不再贅述。算法串行及并行分割后的影像效果如圖4所示。(a)為影像原圖，(b)為串行K-means分割效果，(c)為并行K-means分割效果，其分割效果接近。當(dāng)聚類中心數(shù)K值選取為4時(shí)，得到的分割效果較好，K值選取為其他值時(shí)分割效果不理想。

圖4　分割實(shí)驗(yàn)結(jié)果

選擇十次不同的初始聚類中心，對(duì)上述剖分遙感影像面片單元進(jìn)行十次串、并行K-means算法測(cè)試，其時(shí)間消耗對(duì)比如表1所示，本文所述的并行方法在時(shí)間上有明顯的優(yōu)勢(shì)。由于聚類中心選擇的隨機(jī)性導(dǎo)致每次算法運(yùn)行時(shí)間有差異，但從平均情況來(lái)看，并行算法的加速比達(dá)到2.947左右，從表中數(shù)據(jù)可以看出，加速比相對(duì)穩(wěn)定，加速效果較為理想。

表1　K-means算法串行及并行運(yùn)行比較

5　結(jié)　語(yǔ)

本文提出了一種在MPI和OpenMP混合編程模式下的遙感影像并行分割方法。從實(shí)驗(yàn)可以看出，本文方法既利用了地球剖分理論在遙感數(shù)據(jù)組織上的優(yōu)勢(shì)，又彌補(bǔ)了OpenMP在分布式并行的缺陷和MPI在細(xì)粒度上的不足。從實(shí)驗(yàn)結(jié)果可以看出，執(zhí)行效率相對(duì)串行方法有較大的提高，有良好的加速比。本文所提出的方法能夠有效地提高空間數(shù)據(jù)的組織和存儲(chǔ)效率，縮短空間數(shù)據(jù)應(yīng)用的時(shí)間，增強(qiáng)空間數(shù)據(jù)更新和解譯能力，為進(jìn)一步研究遙感影像的高性能計(jì)算提供借鑒，具有一定的示范意義。

[1] Lee C A,Gasster S D,Plaza A,et al.Recent developments in high performance computing for remote sensing:A review[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2011,4(3):508-527.

[2] 張雁,吳保國(guó),王曉輝,等.基于網(wǎng)格環(huán)境的遙感圖像并行分類[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(2):194-197,219.

[3] 曾志,劉仁義,李先濤,等.一種基于分塊的遙感影像并行處理機(jī)制[J].浙江大學(xué)學(xué)報(bào):理學(xué)版,2012,39(2):225-230.

[4] Guo W, Zhu X,Hu T,et al.A Multi-granularity Parallel Model for Unified Remote Sensing Image Processing WebServices[J].Transactions in GIS,2012,16(6):845-866.

[5] Maulik U,Sarkar A.Efficient parallel algorithm for pixel classification in remote sensing imagery[J].Geoinformatica,2012,16(2):391-407.

[6] 袁濤,馬艷,劉定生.GPU在遙感圖像處理中的應(yīng)用綜述[J].遙感信息,2012,27(6):110-117.

[7] Liu Y,Chen B,Yu H,et al.Applying GPU and POSIX thread technologies in massive remote sensing image data processing[C]//2011 IEEE 19th International Conference on Geoinformatics,2011:1-6.

[8] Dutton G.A hierarchical coordinate system for geoprocessing and cartography:working through the scales[M]//Lecture Notes in Earth Sciences,vol.79.Berlin: Springer-Verlag,1999.

[9] 袁文,莊大方,袁武,等.基于等角比例投影的球面三角四叉樹(shù)剖分模型[J].遙感學(xué)報(bào),2009,13(1):103-111.

[10] 李德仁.論廣義空間信息網(wǎng)格和狹義空間信息網(wǎng)格[J].遙感學(xué)報(bào),2005,9(5):513-520.[11] 宋樹(shù)華,程承旗,濮國(guó)梁,等.基于EMD的遙感影像數(shù)據(jù)組織模型[J].地理與地理信息科學(xué),2013,29(3):21-25.

[12] 關(guān)麗,呂雪鋒.面向空間數(shù)據(jù)組織的地理空間剖分框架性質(zhì)分析[J].北京大學(xué)學(xué)報(bào):自然科學(xué)版,2012,48(1):123-132.

[13] 程承旗,任伏虎,濮國(guó)梁,等.空間信息剖分組織導(dǎo)論[M].北京: 科學(xué)出版社,2012.

[14] 杜根遠(yuǎn),熊德蘭,張火林.基于剖分理論的遙感影像模板數(shù)據(jù)模型[J].計(jì)算機(jī)應(yīng)用,2014,34(4):1165-1168,1181.

[15] Hudik M,Hodon M.Modeling,optimization and performance prediction of parallel algorithms[C]//IEEE Symposium on Computers and Communication,2014:1-7.

A PARALLEL SEGMENTATION METHOD OF PARTITIONED REMOTE SENSING IMAGE BASED ON MPI AND OPENMP

Du Genyuan1Zhang Huolin1Miao Fang2

1(International School of Education,Xuchang University,Xuchang 461000,Henan,China)2(CollegeofGeophysics,ChengduUniversityofTechnology,Chengdu610059,Sichuan,China)

With the rapid growth of remote sensing data, organisational efficiency and processing speed become the bottlenecks of its fast applications, but earth partition theory and high-performance computing technology offer a possible solution. Guided by this idea, the researchers designed an MPI-and-OpenMP-based parallel segmentation method for partitioned remote sensing images. On the basis of earth partition organisation theory study, the method conducts partition process aimed at remote sensing image data and determines the partition layer according to the application requirements, and forms the partitioning facets set of image data conducive to parallel processing; Under the context of MPI cluster computing and OpenMP multi-core tasks processing, the researchers carried out the parallel processing of corresponding operation on above mentioned partitioning facets set, and finally integrated the processed facets into required result data. The above method has been verified by an example of K-means segmentation of remote sensing image data. Experimental result indicated that under the condition of keeping the conformity of segmentation results, this method could effectively raise the organisational efficiency and processing speed of remote sensing image, reached certain speedup and had strong practicality.

Remote sensing imageEarth partition theoryPartition facetMPIOpenMP

2015-03-30。國(guó)家自然科學(xué)基金項(xiàng)目(U1304403)；河南省科技攻關(guān)計(jì)劃項(xiàng)目(132102210398)；河南省基礎(chǔ)與前沿技術(shù)研究計(jì)劃項(xiàng)目(132300410349)。杜根遠(yuǎn)，副教授，主研領(lǐng)域：空間信息技術(shù)，高性能地學(xué)計(jì)算。張火林，講師。苗放，教授。

TP751

A

10.3969/j.issn.1000-386x.2016.09.043