史園莉， 孫中平， 姜俊， 高乾， 孫浩， 聞瑞紅

(1.生態(tài)環(huán)境部衛(wèi)星環(huán)境應(yīng)用中心，北京 100094； 2.國家環(huán)境保護衛(wèi)星遙感重點實驗室，北京 100101)

0 引言

隨著通訊技術(shù)和計算技術(shù)的融合與發(fā)展，云計算服務(wù)逐漸深入各領(lǐng)域的應(yīng)用。與傳統(tǒng)的單機和網(wǎng)絡(luò)應(yīng)用環(huán)境相比，云計算通過集中式虛擬化計算、軟件及數(shù)據(jù)等服務(wù)，整合閑置計算資源、存儲資源和網(wǎng)絡(luò)資源，資源共享、按需分配，充分發(fā)揮硬件設(shè)備利用的最大化能力，節(jié)約使用成本，提高了資源設(shè)備使用效率。國內(nèi)外企業(yè)及科研機構(gòu)不斷挖掘云計算服務(wù)的潛在應(yīng)用，從數(shù)據(jù)的存儲、挖掘、管理和計算等方面提供一站式服務(wù)，為社會公共行業(yè)和個人提供有償云計算和存儲服務(wù)。鑒于數(shù)據(jù)信息共享公開的局限性，各行業(yè)也逐漸整合硬件和數(shù)據(jù)資源，構(gòu)建行業(yè)私有云平臺，如農(nóng)業(yè)云[1]、水利云[2]和教育云[3]等?；ヂ?lián)網(wǎng)時代信息技術(shù)的主流商業(yè)模式改變了以往的以本地資源為用戶提供資源的方式，在云計算中用戶以“服務(wù)”的形式獲取計算力和存儲力[4]。

環(huán)境遙感技術(shù)利用多源衛(wèi)星遙感數(shù)據(jù)實現(xiàn)地表水、環(huán)境空氣和宏觀生態(tài)的大范圍、全天候、全天時的遙感動態(tài)監(jiān)測，可為環(huán)境管理提供多層次、全方位的環(huán)境遙感信息和技術(shù)服務(wù)，提高國家對生態(tài)環(huán)境和重大環(huán)境污染事故的監(jiān)控能力。而隨著對地觀測技術(shù)的發(fā)展，人類對地球的綜合觀測能力達到了空前水平，遙感數(shù)據(jù)呈現(xiàn)出明顯的“大數(shù)據(jù)”特征，從而對大數(shù)據(jù)分析能力和數(shù)據(jù)使用方式的要求也大大提高[5-6]。針對環(huán)境遙感應(yīng)用的業(yè)務(wù)需求，相繼已建成遙感數(shù)據(jù)處理、數(shù)據(jù)庫管理和生態(tài)參數(shù)定量反演等多個應(yīng)用系統(tǒng)。隨著業(yè)務(wù)需求的不斷增多，雖然各系統(tǒng)可以發(fā)揮各自業(yè)務(wù)功能，但軟硬件結(jié)構(gòu)相對獨立，業(yè)務(wù)系統(tǒng)無法有效共享和集成，缺乏統(tǒng)一的數(shù)據(jù)管理模式，導(dǎo)致數(shù)據(jù)冗余、缺失或不一致，系統(tǒng)無法支持全局應(yīng)用、處理和分析等問題。近幾年，隨著信息化水平的快速發(fā)展，云計算已經(jīng)成為信息化建設(shè)的重要方向。國內(nèi)外遙感數(shù)據(jù)處理相關(guān)企業(yè)和高校正在積極研究基于云計算的遙感數(shù)據(jù)處理技術(shù)和服務(wù)，如ENVI Services Engine企業(yè)級遙感平臺、地理空間數(shù)據(jù)云、資源三號衛(wèi)星影像云服務(wù)平臺和SuperMap SGS智慧城市時空信息云平臺等[7-10]。

上述相關(guān)云服務(wù)平臺主要用于衛(wèi)星遙感數(shù)據(jù)的存儲分發(fā)服務(wù)，基本未涉及到海量遙感數(shù)據(jù)的加工處理、信息挖掘等關(guān)鍵技術(shù)的業(yè)務(wù)化運行。為了探索云服務(wù)平臺在環(huán)境遙感應(yīng)用領(lǐng)域的適用性，研究分析云服務(wù)平臺與傳統(tǒng)高性能平臺在海量衛(wèi)星遙感數(shù)據(jù)處理中的特點，以便在今后的相關(guān)系統(tǒng)建設(shè)中擇優(yōu)選擇系統(tǒng)架構(gòu)，更好地發(fā)揮2個平臺各自的優(yōu)勢，提高日常業(yè)務(wù)應(yīng)用效率，本文借助虛擬化、云計算等信息化建設(shè)的新技術(shù)，針對環(huán)境遙感云服務(wù)需求，研究基于云計算的環(huán)境遙感數(shù)據(jù)處理服務(wù)平臺架構(gòu)設(shè)計、網(wǎng)絡(luò)拓?fù)浜头?wù)功能，初步構(gòu)建環(huán)境遙感云服務(wù)平臺，對比分析云服務(wù)平臺與高性能平臺的處理效率，為衛(wèi)星遙感數(shù)據(jù)處理平臺的發(fā)展提供參考。

1 環(huán)境遙感云服務(wù)平臺設(shè)計

環(huán)境遙感云服務(wù)平臺利用云計算、大數(shù)據(jù)技術(shù)，提升資源整合和數(shù)據(jù)共享，實現(xiàn)軟硬件環(huán)境的統(tǒng)一監(jiān)管，加強大數(shù)據(jù)管理、資源共享、信息挖掘和業(yè)務(wù)應(yīng)用的保障能力，從而提高環(huán)境監(jiān)管、宏觀決策和公眾服務(wù)的水平。環(huán)境遙感云服務(wù)平臺設(shè)計包括架構(gòu)設(shè)計、網(wǎng)絡(luò)拓?fù)浜头?wù)功能設(shè)計3方面。

1.1 架構(gòu)設(shè)計

環(huán)境遙感云服務(wù)平臺架構(gòu)設(shè)計充分考慮網(wǎng)絡(luò)、數(shù)據(jù)、應(yīng)用和安全等方面的多樣化需求，采用多層次、強解耦性的體系架構(gòu)，既保證有良好的擴展性和靈活性，又保證其規(guī)范性和安全性，系統(tǒng)基于分布式技術(shù)，統(tǒng)一考慮數(shù)據(jù)量大、應(yīng)用開發(fā)復(fù)雜等各個層面的需求，提供靈活的資源管理和數(shù)據(jù)服務(wù)機制。

按照常規(guī)服務(wù)層次，環(huán)境遙感云服務(wù)平臺包括云基礎(chǔ)設(shè)施服務(wù)(infrastructure as a service，IaaS)、云平臺服務(wù)(platform as a service，PaaS)和云軟件服務(wù)(software as a service，SaaS)3種模式(圖1)。

圖1 環(huán)境遙感云服務(wù)平臺架構(gòu)設(shè)計

1)IaaS即通過網(wǎng)絡(luò)提供硬件設(shè)備使用的服務(wù)模式。將若干異構(gòu)的計算服務(wù)設(shè)備、磁盤存儲設(shè)備和網(wǎng)絡(luò)傳輸設(shè)備等物理設(shè)備，通過虛擬化軟件創(chuàng)建成統(tǒng)一共享的計算資源池、存儲資源池和網(wǎng)絡(luò)資源池等基礎(chǔ)設(shè)施資源池，在一定安全機制的保障下[11]，供不同用戶通過網(wǎng)絡(luò)獲得所需數(shù)量的服務(wù)器、存儲等硬件設(shè)備服務(wù)。

2)PaaS即通過網(wǎng)絡(luò)提供軟件研發(fā)平臺的服務(wù)模式。在平臺上搭建分布式處理、并行計算、負(fù)載均衡[12]、虛擬計算和機器學(xué)習(xí)等開發(fā)研究軟件環(huán)境，以及易于使用云資源的中間件[13]等，向用戶提供科學(xué)研究、計算模型以及二次定制開發(fā)平臺服務(wù)。

3)SaaS即通過網(wǎng)絡(luò)提供軟件服務(wù)使用的模式。將成熟完備的環(huán)境遙感數(shù)據(jù)處理軟件和管理系統(tǒng)部署到云平臺上，直接給用戶提供內(nèi)部辦公桌面應(yīng)用服務(wù)，水環(huán)境遙感服務(wù)、大氣環(huán)境遙感服務(wù)、生態(tài)環(huán)境遙感服務(wù)和土壤環(huán)境遙感服務(wù)等業(yè)務(wù)應(yīng)用，以及將來外部應(yīng)用等服務(wù)。

云管理層用于對云平臺上述3種服務(wù)模式的統(tǒng)一管理，包括云用戶管理、運行監(jiān)控、資源管理、計費管理、服務(wù)管理、容災(zāi)管理和安全管理等。

1.2 網(wǎng)絡(luò)拓?fù)?/h3>

環(huán)境遙感云服務(wù)平臺的網(wǎng)絡(luò)拓?fù)淙鐖D2所示。

圖2 環(huán)境遙感云服務(wù)平臺網(wǎng)絡(luò)拓?fù)涫疽鈭D

按照功能區(qū)域劃分，環(huán)境遙感云服務(wù)平臺由云業(yè)務(wù)管理池、虛擬計算資源池、虛擬存儲資源池和虛擬網(wǎng)絡(luò)資源池4部分組成。

1)云業(yè)務(wù)管理池： 面向管理人員與用戶的操作入口，部署云平臺及配套的管理軟件，如智能管理系統(tǒng)、虛擬機控制器和數(shù)據(jù)庫控制器等，主要提供云平臺系統(tǒng)管理、任務(wù)調(diào)度、流程管控、網(wǎng)絡(luò)通信、硬件狀態(tài)監(jiān)控和用戶管理等功能。

近年來，我國高層建筑抗震設(shè)計實例中也廣泛應(yīng)用基于性能考慮的抗震設(shè)計方法，且目前已取得了顯著的成績，這對提高我國高層建筑的抗震設(shè)計的可靠性有很大的推動。隨著我國建筑行業(yè)的不斷發(fā)展，大量研究工作的不斷深入和工程實例的不斷應(yīng)用，基于性能考慮的抗震設(shè)計方法也會變得日趨完善，我國高層建筑的抗震能力又會上到一個新的臺階。

2)虛擬計算資源池： 整合已有若干異構(gòu)或同構(gòu)物理計算服務(wù)器，構(gòu)建虛擬計算服務(wù)資源池，提供計算資源硬件平臺，主要負(fù)責(zé)衛(wèi)星遙感數(shù)據(jù)處理任務(wù)的分布式并行計算等，為IaaS，PaaS和SaaS需求提供計算資源服務(wù)。

3)虛擬存儲資源池： 整合已有若干異構(gòu)或同構(gòu)物理磁盤存儲陣列，構(gòu)建虛擬存儲服務(wù)資源池，提供關(guān)系型數(shù)據(jù)庫服務(wù)所需的資源，負(fù)責(zé)衛(wèi)星遙感原始數(shù)據(jù)、中間產(chǎn)品和生產(chǎn)結(jié)果的存儲，為IaaS，PaaS和SaaS需求提供存儲資源服務(wù)。

4)虛擬網(wǎng)絡(luò)資源池： 整合已有若干異構(gòu)或同構(gòu)物理網(wǎng)絡(luò)傳輸設(shè)備，構(gòu)建虛擬網(wǎng)絡(luò)服務(wù)資源池，負(fù)責(zé)數(shù)據(jù)及其他信息的快速傳輸?shù)?，為IaaS，PaaS和SaaS需求提供網(wǎng)絡(luò)資源服務(wù)。

用戶網(wǎng)絡(luò)是環(huán)境遙感云服務(wù)平臺的外圍設(shè)備，通過網(wǎng)絡(luò)向云業(yè)務(wù)管理池申請訪問使用云平臺資源，負(fù)責(zé)按需任務(wù)的提交、管理和本地數(shù)據(jù)下載等； 用戶圖形工作站負(fù)責(zé)數(shù)據(jù)處理、數(shù)據(jù)的快速查詢?yōu)g覽和海量影像編輯等。

1.3 服務(wù)功能

環(huán)境遙感云服務(wù)平臺主要利用主流虛擬化技術(shù)搭建用于環(huán)境遙感監(jiān)管監(jiān)測的分布式私有云平臺，融匯遙感衛(wèi)星數(shù)據(jù)、環(huán)境監(jiān)測數(shù)據(jù)和基礎(chǔ)地理數(shù)據(jù)等數(shù)據(jù)于數(shù)據(jù)資源池，提供數(shù)據(jù)云盤服務(wù)、地圖云服務(wù)、空間分析云服務(wù)、參數(shù)云服務(wù)和影像處理云服務(wù)，并對各項云服務(wù)資源和計算處理過程進行管理，達到共享資源池、彈性擴展、動態(tài)伸縮、工作流構(gòu)建、負(fù)載均衡、按需使用、自助服務(wù)和快速響應(yīng)的統(tǒng)一服務(wù)支撐。

通過環(huán)境遙感云服務(wù)平臺，用戶無需利用傳統(tǒng)方式構(gòu)建遙感應(yīng)用系統(tǒng)，可隨時在云服務(wù)平臺上建立虛擬遙感應(yīng)用系統(tǒng)環(huán)境，使用遙感數(shù)據(jù)、軟件、計算機和網(wǎng)絡(luò)環(huán)境進行業(yè)務(wù)應(yīng)用或提供服務(wù)[8]。其服務(wù)功能如圖3所示。

圖3 環(huán)境遙感云服務(wù)平臺服務(wù)功能

1)數(shù)據(jù)云盤服務(wù)： 管理云盤中存儲的各類型的基礎(chǔ)地理信息數(shù)據(jù)、衛(wèi)星遙感數(shù)據(jù)及其他輔助服務(wù)數(shù)據(jù)，同時為用戶提供云存儲共享空間，保障云盤數(shù)據(jù)的存儲安全。

2)地圖云服務(wù)： 面向服務(wù)架構(gòu)，監(jiān)控管理地圖云資源與計算環(huán)境，向云外的用戶提供地圖云服務(wù)，包括基礎(chǔ)地圖服務(wù)、影像數(shù)據(jù)服務(wù)、三維空間數(shù)據(jù)服務(wù)、Keyhole標(biāo)記語言(Keyhole markup language，KML)服務(wù)和目錄服務(wù)等。

3)空間分析云服務(wù)： 基于云架構(gòu)模式提供地理信息系統(tǒng)(geographic information system，GIS)空間分析服務(wù)功能，包括符合柵格計算服務(wù)、空間聚合分析服務(wù)、緩沖區(qū)分析服務(wù)、密度分析服務(wù)、專題圖制作服務(wù)、地圖打印服務(wù)和空間幾何運算服務(wù)等。

4)參數(shù)云服務(wù)： 封裝成熟的模型及參數(shù)，為用戶提供在線的多種生態(tài)參量模型云計算服務(wù)，包括植被指數(shù)模型、葉面積指數(shù)模型、凈生態(tài)系統(tǒng)生產(chǎn)力模型、生物量模型、植被覆蓋度模型、地表反照率模型和土壤濕度模型等。

5)影像處理云服務(wù)： 為用戶提供多源衛(wèi)星遙感影像在線處理服務(wù)，包括正射校正、幾何糾正、融合處理、大氣校正、輻射定標(biāo)、云量監(jiān)測和影像分割等。

2 平臺建設(shè)

依托浪潮云計算技術(shù)，設(shè)計搭建了一套服務(wù)于環(huán)境遙感業(yè)務(wù)應(yīng)用及日常辦公應(yīng)用的云平臺，為衛(wèi)星遙感數(shù)據(jù)應(yīng)用探索全新的處理模式。環(huán)境遙感云服務(wù)平臺軟硬件基礎(chǔ)設(shè)施具體配置如表1—2所示。云平臺總體性能具備總中央處理器(central processing unit，CPU)為2 303.23 GHz，總內(nèi)存為4 094 GB，總存儲量為272 TB。根據(jù)實際業(yè)務(wù)應(yīng)用需要，目前該云平臺已虛擬45臺虛擬服務(wù)器。

表1 環(huán)境遙感云服務(wù)平臺軟件配置

表2 環(huán)境遙感云服務(wù)平臺硬件配置

云平臺虛擬化軟件是環(huán)境遙感云服務(wù)平臺的核心基礎(chǔ)，主要負(fù)責(zé)完成底層物理資源的虛擬融合、按需分配與高效管理，提高資源交付的敏捷性和靈活性，提升資源的使用效率，為上層業(yè)務(wù)提供不間斷的資源保障與可伸縮的資源供給。云平臺管理軟件是環(huán)境遙感云服務(wù)平臺的大腦，使計算、存儲和網(wǎng)絡(luò)3大物理資源融合為有機整體，負(fù)責(zé)物理資源和虛擬資源的統(tǒng)一管理與監(jiān)控，實現(xiàn)IaaS、基礎(chǔ)資源根據(jù)業(yè)務(wù)需求的彈性擴展和動態(tài)流轉(zhuǎn)，以及業(yè)務(wù)的自動感知和服務(wù)的自動化交付。

3 實驗與分析

目前已建成高性能遙感光學(xué)數(shù)據(jù)自動處理系統(tǒng)，運行于高性能平臺上，用于海量遙感數(shù)據(jù)的高效處理，進行高精度自動化地面控制點采集配準(zhǔn)與優(yōu)化、快速影像融合與無縫勻色鑲嵌等圖像處理，實現(xiàn)衛(wèi)星遙感數(shù)據(jù)產(chǎn)品的標(biāo)準(zhǔn)規(guī)范化、自動化數(shù)據(jù)生產(chǎn)，為環(huán)境遙感業(yè)務(wù)化提供保障。

在環(huán)境遙感云服務(wù)平臺上搭建與高性能平臺基本相同的軟硬件環(huán)境，部署上述高性能遙感光學(xué)數(shù)據(jù)自動處理系統(tǒng)，在2個平臺上運行相同的遙感數(shù)據(jù)處理任務(wù)。通過實驗對比，綜合分析云服務(wù)平臺的數(shù)據(jù)處理能力。

3.1 硬件環(huán)境對比

表3為云服務(wù)平臺和高性能平臺2種平臺的硬件環(huán)境對比。由于系統(tǒng)級的虛擬化導(dǎo)致計算節(jié)點的性能配置都較低，云服務(wù)平臺性能還達不到己趨于成熟的高性能計算集群水平[14]，二者主要差異為： ①計算節(jié)點與存儲之間的網(wǎng)絡(luò)環(huán)境差異，云服務(wù)平臺為GB網(wǎng)絡(luò)，高性能平臺為10 GB網(wǎng)絡(luò)； ②計算環(huán)境差異，高性能平臺在各計算節(jié)點上配置有圖形處理器(graphics processing unit，GPU)加速卡。

表3 云服務(wù)平臺和高性能平臺的硬件環(huán)境對比

3.2 系統(tǒng)性能對比

采用高分一號衛(wèi)星2 m空間分辨率全色和8 m空間分辨率多光譜數(shù)據(jù)共69對(138景)進行數(shù)據(jù)生產(chǎn)實驗，分別統(tǒng)計了云服務(wù)平臺和高性能平臺的生產(chǎn)效率，如表4所示。

表4 云服務(wù)平臺和高性能平臺的生產(chǎn)效率對比

3.3 結(jié)果分析

表4結(jié)果表明，運行相同的遙感并行軟件，高性能集群平臺數(shù)據(jù)處理效率是云服務(wù)平臺的2.5倍左右。主要有3方面原因：

1)計算方面，高性能平臺計算性能相對優(yōu)越。遙感數(shù)據(jù)處理和定量反演中涉及到的快速傅里葉變換(fast Fourier transform，F(xiàn)FT)等運算需要大量的整型或浮點型的數(shù)學(xué)計算，計算節(jié)點的處理性能直接影響遙感數(shù)據(jù)的處理速度。由于云服務(wù)平臺計算節(jié)點CPU性能和高性能計算集群GPU性能的差異，其數(shù)據(jù)處理計算能力遠低于高性能集群計算。

2)通信方面，云服務(wù)平臺網(wǎng)絡(luò)帶寬不及高性能平臺。影響遙感數(shù)據(jù)處理速度重要因素之一是計算節(jié)點之間、節(jié)點與存儲之間的網(wǎng)絡(luò)傳輸能力。對于現(xiàn)有的業(yè)務(wù)化遙感數(shù)據(jù)處理系統(tǒng)平臺，通常為提高數(shù)據(jù)處理效率，采用進程或者線程級別的并行，如消息傳遞接口(message passing interface，MPI)和GPU[15]等。云服務(wù)平臺各計算節(jié)點通信采用GB級以太網(wǎng)(Ethernet)，其性能遠遠達不到高速網(wǎng)絡(luò)(InfiniBand)連接的高性能集群，同樣制約了云服務(wù)平臺的數(shù)據(jù)處理效率。

3)存儲方面，云服務(wù)平臺沒有專門的并行存儲服務(wù)[16]。為滿足高性能程序的并行輸入輸出需求，高性能服務(wù)器廣泛采用光纖存儲設(shè)備和并行文件系統(tǒng)，如Lustre、通用并行文件系統(tǒng)(general parallel file system，GPFS)和并行虛擬文件系統(tǒng)(parallel virtual file system，PVFS)等。云服務(wù)平臺提供較底層的虛擬塊設(shè)備如彈性塊存儲(elastic block store，EBS)等，高層的數(shù)據(jù)庫存儲服務(wù)不能直接滿足并行讀寫的需求。其他方面，為了保持高可靠性，云服務(wù)平臺通常維持多個數(shù)據(jù)集副本，確保能夠?qū)κ〉墓?jié)點重新分布處理。而對于衛(wèi)星遙感數(shù)據(jù)，特別是高空間分辨率衛(wèi)星數(shù)據(jù)，單個文件的數(shù)據(jù)量很大(幾百MB甚至1 GB以上)，這種單個的海量數(shù)據(jù)嚴(yán)重制約了數(shù)據(jù)集副本的維持效率，不利于分布式存儲。

4 結(jié)論與討論

由于實驗條件有限，云服務(wù)平臺和高性能平臺對比測試在硬件環(huán)境配置上存在差異，一定程度上影響了云服務(wù)平臺的計算效率。但是海量衛(wèi)星遙感數(shù)據(jù)處理具有計算密集、輸入/輸出密集、體量大等特點，這對計算機計算性能、輸入/輸出傳輸和數(shù)據(jù)存儲等有較高的需求。目前來看，在常規(guī)云環(huán)境中開展高性能計算有一定的局限性，傳統(tǒng)已成熟的高性能集群計算平臺更適合于業(yè)務(wù)化海量遙感衛(wèi)星數(shù)據(jù)的高效處理和參數(shù)產(chǎn)品反演。但隨著信息技術(shù)產(chǎn)業(yè)的迅速發(fā)展，資源整合、數(shù)據(jù)共享是信息化建設(shè)的主要方向，云服務(wù)平臺需在服務(wù)架構(gòu)設(shè)計、網(wǎng)絡(luò)傳輸和存儲策略等方面逐步改進完善，不斷提高數(shù)據(jù)處理效率，以滿足計算密集型應(yīng)用的需求，將在今后大數(shù)據(jù)挖掘、海量衛(wèi)星遙感數(shù)據(jù)處理等方面發(fā)揮重要作用。