王加亮，秦 勃，劉健健，劉 妮

（中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院 青島 266100）

1 引言

海洋環(huán)境信息主要包括海面高度、潮流、海流、海浪、溫度、鹽度、密度、氣溫、氣壓、濕度等。由于海洋環(huán)境的復(fù)雜性，各種指標(biāo)非常多，空間和時(shí)間跨度非常大，其監(jiān)測(cè)信息具有海量性的特點(diǎn)；并且海洋環(huán)境信息的觀測(cè)手段多種多樣，如浮標(biāo)、臺(tái)站、CODAS、CTD、ADCP、觀測(cè)船、遙感、衛(wèi)星等，導(dǎo)致數(shù)據(jù)的格式和精度多種多樣，甚至以不同的數(shù)據(jù)形式存在，如圖像、聲音、文本等。由于這些信息基本以數(shù)字的形式呈現(xiàn)，很難作為海洋研究、開發(fā)利用和管理有效的分析手段，因此采用可視化處理技術(shù)對(duì)海洋環(huán)境信息進(jìn)行分析、處理具有非常重要的意義。

鑒于海洋環(huán)境信息的海量性、多源性和數(shù)據(jù)形式多樣性，海洋環(huán)境信息可視化分析處理需要采用大規(guī)模的并行計(jì)算模式以提高可視化分析、處理的效率，支持海洋環(huán)境信息的交互可視化需求。鑒于Hadoop云計(jì)算平臺(tái)在海量數(shù)據(jù)檢索、抽取等處理方面具有諸多優(yōu)勢(shì)，本文在已實(shí)現(xiàn)的海洋環(huán)境信息并行可視化分析處理的基礎(chǔ)上，將GPU（gaphic processing unit,圖形處理器）[1]、MPI（message passing interface）并行計(jì)算引入MapReduce處理機(jī)制，實(shí)現(xiàn)海洋環(huán)境空間數(shù)據(jù)場(chǎng)大規(guī)模數(shù)據(jù)集的檢索、抽取、插值計(jì)算、特征可視化分析的并行處理，構(gòu)建一個(gè)基于云環(huán)境的海洋環(huán)境信息遠(yuǎn)程交互可視化平臺(tái)體系架構(gòu)解決方案，達(dá)到海洋環(huán)境信息的溫鹽密度場(chǎng)、流場(chǎng)等的遠(yuǎn)程交互可視化的目的。

2 國(guó)內(nèi)外研究現(xiàn)狀

近年來(lái)，各大IT公司紛紛推出了自己的云計(jì)算基礎(chǔ)設(shè)施和云計(jì)算服務(wù)，如谷歌的Google Apps、微軟的Windows Azure、IBM的Blue Cloud等，這大大促進(jìn)了云計(jì)算技術(shù)的發(fā)展，使云計(jì)算技術(shù)在海量數(shù)據(jù)處理方面獲得了廣泛的應(yīng)用。同時(shí)，為了解決流式處理的問題，各大IT公司也不斷地對(duì)既有平臺(tái)進(jìn)行改造或者直接推出新的實(shí)時(shí)云計(jì)算平臺(tái)解決方案，如Facebook的Facebook Messages就是在Hadoop基礎(chǔ)上改造成的更有效的實(shí)時(shí)系統(tǒng)，而Yahoo則是推出新的S4開源流計(jì)算平臺(tái)。我國(guó)云計(jì)算服務(wù)尚處于起步階段，但是發(fā)展迅速，淘寶、360安全衛(wèi)士等都在大規(guī)模使用和發(fā)展Hadoop云計(jì)算平臺(tái)。但是目前將云計(jì)算理論應(yīng)用于海洋環(huán)境信息遠(yuǎn)程交互可視化的工作還很少。

3 海洋環(huán)境信息交互可視化體系架構(gòu)設(shè)計(jì)

一般情況下，云計(jì)算體系架構(gòu)[2]采用3層棧結(jié)構(gòu)，分別為應(yīng)用服務(wù)層（SaaS）、平臺(tái)服務(wù)層（PaaS）、基礎(chǔ)設(shè)施服務(wù)層（IaaS），由不同的層次提供不同級(jí)別的服務(wù)。海洋環(huán)境信息交互可視化云計(jì)算體系架構(gòu)（見圖1）也分為3層：應(yīng)用層（包括用戶接口層、應(yīng)用模型層）、平臺(tái)層（包括云服務(wù)層、云平臺(tái)）、資源層（包括虛擬資源層、物理層）。

（1）應(yīng)用層

用戶接口層主要接收用戶的交互信息，形成任務(wù)描述文件，為用戶顯示可視化任務(wù)執(zhí)行結(jié)果等。應(yīng)用模型層主要是各種定制的可視化模型，其響應(yīng)用戶接口層的各種任務(wù)請(qǐng)求，利用云平臺(tái)層提供的各種云服務(wù)完成具體的可視化任務(wù)，并為海洋環(huán)境信息采集用戶提供數(shù)據(jù)上傳服務(wù)。

（2）平臺(tái)層

云服務(wù)層主要完成對(duì)各種可視化定制模塊處理任務(wù)的響應(yīng)，對(duì)應(yīng)海洋環(huán)境信息可視化的數(shù)據(jù)預(yù)處理、數(shù)據(jù)的映射、可視化圖像的繪制3個(gè)步驟，提供各個(gè)可視化服務(wù)分割模塊的具體處理服務(wù)。云平臺(tái)層主要提供具體的存儲(chǔ)服務(wù)和計(jì)算服務(wù)，并對(duì)Hadoop的計(jì)算服務(wù)進(jìn)行了一定的改進(jìn)，引入了GPU并行計(jì)算、MPI并行計(jì)算、CPU并行計(jì)算等多種類型、多種層次、多種粒度的并行模式，使其更適合海洋環(huán)境信息數(shù)據(jù)交互可視化任務(wù)的需求，在第4節(jié)將做更具體的陳述。

（3）資源層

資源層主要為平臺(tái)層提供計(jì)算存儲(chǔ)服務(wù)。其中，物理層主要由磁盤陣列組成的數(shù)據(jù)中心以及配有大容量硬盤的CPU計(jì)算服務(wù)器和GPU計(jì)算服務(wù)器組成；虛擬層通過虛擬化技術(shù)，將來(lái)自不同節(jié)點(diǎn)、不同結(jié)構(gòu)的物理資源進(jìn)行整合，形成大型資源池供平臺(tái)層使用。

4 MapReduce處理機(jī)制優(yōu)化

4.1 并行計(jì)算模式

并行計(jì)算模式依照數(shù)據(jù)和程序的結(jié)合過程分為3種方式：一是將數(shù)據(jù)移到程序所在的位置，如傳統(tǒng)的MPI；二是將程序移動(dòng)到數(shù)據(jù)所在的位置，如Hadoop云計(jì)算平臺(tái)的MapReduce；三是將程序和數(shù)據(jù)共同移到第三方位置，如GPU并行計(jì)算。

MPI是高性能計(jì)算（high performance computing,HPC）和網(wǎng)格計(jì)算（gid cmputing）采用的主要方式。其將作業(yè)分散到集群的各臺(tái)機(jī)器上，這些機(jī)器訪問由存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）組織的共享文件系統(tǒng)，適用于計(jì)算密集型的作業(yè)。如果節(jié)點(diǎn)需要訪問更大量的數(shù)據(jù)（幾百個(gè)GB的數(shù)據(jù)），那么很多計(jì)算節(jié)點(diǎn)會(huì)由于網(wǎng)絡(luò)帶寬的瓶頸問題而空閑下來(lái)等待數(shù)據(jù)。

GPU將大量的晶體管用作ALU計(jì)算單元，具有強(qiáng)勁的計(jì)算能力、高性能/價(jià)格比和高性能/能耗比，再加上其3倍于摩爾定律的發(fā)展速度，在當(dāng)今追求綠色高性能計(jì)算的時(shí)代，GPU的計(jì)算優(yōu)勢(shì)受到越來(lái)越多的關(guān)注。除專業(yè)圖形應(yīng)用外，GPU已大量地用于通用計(jì)算問題，并形成了GPU通用計(jì)算研究領(lǐng)域，即GPGPU(general-purpose computing on graphics processing units)，又稱 GP2U。GPU 相對(duì)獨(dú)立的并行計(jì)算架構(gòu)，非常適合處理海洋環(huán)境信息可視化這種兼具數(shù)據(jù)密集和計(jì)算密集特點(diǎn)的任務(wù)處理。

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，它是Google的MapReduce編程模型和框架的開源實(shí)現(xiàn)，其可以在大量廉價(jià)的硬件設(shè)備組成的集群上運(yùn)行應(yīng)用程序。它為應(yīng)用程序提供了一組穩(wěn)定可靠的接口，是一個(gè)具有高可靠性和擴(kuò)展性的分布式系統(tǒng)，在海量數(shù)據(jù)處理方面性能很強(qiáng)，并在地震模擬、互聯(lián)網(wǎng)信息挖掘等方面得到了廣泛的應(yīng)用。

綜觀上述并行計(jì)算模式及海洋環(huán)境信息海量數(shù)據(jù)的特點(diǎn)，可以看出交互可視化處理無(wú)論是GPU還是MPI，并行計(jì)算的通信時(shí)間消耗都會(huì)急劇地增加，而且單GPU的運(yùn)算能力也是有限的；而Hadoop默認(rèn)模式被設(shè)計(jì)成適合海量數(shù)據(jù)處理，側(cè)重于最大化吞吐量和效率，最初被設(shè)計(jì)成適合處理離線且I/O方式是從磁盤上順序讀寫大量數(shù)據(jù)的批處理式工作，對(duì)于隨機(jī)讀寫和實(shí)時(shí)在線需求的支持多是采用將MapReduce的批處理結(jié)果上傳到MYSQL等方式來(lái)實(shí)現(xiàn)近乎實(shí)時(shí)的低時(shí)延響應(yīng)。

為了建立一種更高效的處理海量環(huán)境信息的交互可視化體系架構(gòu)模式，4.2節(jié)將結(jié)合MapReduce移動(dòng)運(yùn)算到數(shù)據(jù)所在節(jié)點(diǎn)，減少海量數(shù)據(jù)通信和GPU運(yùn)算較高加速比的優(yōu)點(diǎn)，提出一種基于MapReduce的多層次并行處理機(jī)制，對(duì)MapReduce的處理機(jī)制進(jìn)行優(yōu)化。

4.2 基于MapReduce的多層次并行處理機(jī)制

基于MapReduce的多層次并行處理機(jī)制如圖2所示，該機(jī)制[3,4]中融合了GPU和多核CPU多種計(jì)算資源，首先通過MapReduce機(jī)制對(duì)任務(wù)進(jìn)行分發(fā)，實(shí)現(xiàn)第一層次多節(jié)點(diǎn)的并行，然后在每個(gè)節(jié)點(diǎn)上根據(jù)節(jié)點(diǎn)的配置情況采用GPU等并行方式實(shí)現(xiàn)第二層次的并行，這種多層次并行處理機(jī)制可以有效發(fā)揮目前廣泛存在的混合異構(gòu)集群的計(jì)算能力。

（1）MapReduce的多層次并行體系

針對(duì)海洋環(huán)境信息可視化數(shù)據(jù)密集的特點(diǎn)，由于Hadoop默認(rèn)機(jī)制是數(shù)據(jù)本地化（data-local）的，也就是任務(wù)運(yùn)行在輸入分片所在的節(jié)點(diǎn)上，或者機(jī)架本地化（rack-local）：即任務(wù)和輸入分片在同一個(gè)機(jī)架上，但不在同一個(gè)節(jié)點(diǎn)上。對(duì)于數(shù)據(jù)密集型的運(yùn)算，這可以大大減少節(jié)點(diǎn)間的通信負(fù)載，因此應(yīng)用Hadoop能較好地解決海洋環(huán)境信息數(shù)據(jù)海量的問題。

同時(shí)，針對(duì)海洋環(huán)境信息可視化計(jì)算密集的特點(diǎn)，鑒于GPU非常適合高計(jì)算強(qiáng)度的應(yīng)用，因此將GPU應(yīng)用到MapReduce過程中[5]，即在Hadoop的并行基礎(chǔ)上增加一個(gè)并行層次，實(shí)現(xiàn)多層次并行。另外，實(shí)驗(yàn)結(jié)果也顯示：高計(jì)算強(qiáng)度是發(fā)揮GPU高浮點(diǎn)計(jì)算性能的前提條件，否則由于CPU與GPU之間的數(shù)據(jù)傳輸及同步開銷過大，不能發(fā)揮GPU的優(yōu)勢(shì)。具體實(shí)現(xiàn)時(shí)，應(yīng)優(yōu)化算法減少數(shù)據(jù)傳輸?shù)拇螖?shù)以及數(shù)據(jù)量和同步的開銷。但是也應(yīng)該看到，如果數(shù)據(jù)粒度過小，那么計(jì)算強(qiáng)度也會(huì)成比例地下降，因此應(yīng)該通過實(shí)驗(yàn)，尋找一個(gè)最優(yōu)的數(shù)據(jù)粒度。將GPU應(yīng)用到MapReduce過程中，采用大粒度的CPU并行預(yù)處理數(shù)據(jù)，大規(guī)模計(jì)算采用GPU進(jìn)行第二層次的并行，可以提高Hadoop集群的運(yùn)算效率和吞吐率。

MPI也比較適合計(jì)算密集型的作業(yè)，通過對(duì)MPI進(jìn)行改進(jìn)減少通信開銷，MPI能夠應(yīng)用于數(shù)據(jù)密集型計(jì)算領(lǐng)域，并能顯著加速Hadoop和MapReduce應(yīng)用程序[7]。

（2）基于管道的數(shù)據(jù)傳送

Hadoop系統(tǒng)[7]默認(rèn)將每個(gè)Map和Reduce階段的全部輸出在下階段被消耗前就被實(shí)體化到本地穩(wěn)定存儲(chǔ)器或者產(chǎn)生輸出，雖然批量實(shí)體化可以簡(jiǎn)化Hadoop的容錯(cuò)機(jī)制，其對(duì)于大型部署十分關(guān)鍵，但是這會(huì)導(dǎo)致運(yùn)算節(jié)點(diǎn)的怠工，因此可以在MapReduce之間增加一個(gè)管道，變Hadoop默認(rèn)的“推”（即在Map階段運(yùn)算完畢產(chǎn)生中間結(jié)果之后才開始Reduce階段）為“推”和“拉”（即在Map階段沒有完全計(jì)算完畢產(chǎn)生部分中間結(jié)果的時(shí)候就開始Reduce階段的運(yùn)算）并舉，這種方式可以增加并行機(jī)會(huì)，提高利用率，從而縮短工作完成時(shí)間，最終減少響應(yīng)時(shí)間。

5 海洋環(huán)境信息可視化云計(jì)算平臺(tái)的構(gòu)建與實(shí)現(xiàn)

5.1 海洋環(huán)境信息可視化云計(jì)算平臺(tái)的構(gòu)建

海洋環(huán)境信息可視化云計(jì)算實(shí)驗(yàn)平臺(tái)網(wǎng)絡(luò)及物理結(jié)構(gòu)如圖3所示。實(shí)驗(yàn)平臺(tái)的硬件配置主要是Hadoop集群中的12臺(tái)機(jī)器，每臺(tái)機(jī)器配有Intel Core i5-23020 CPU，4 GB內(nèi)存，其中8臺(tái)機(jī)器配有支持CUDA運(yùn)算的Nvidia GTX 460顯卡，另外4臺(tái)機(jī)器的顯卡不支持CUDA運(yùn)算，其中一臺(tái)機(jī)器作為Hadoop的主節(jié)點(diǎn)，其他為從節(jié)點(diǎn)，并通過吉比特網(wǎng)絡(luò)連接曙光TC 4000A集群。在Hadoop集群之外配有門戶服務(wù)器、應(yīng)用服務(wù)器和管理服務(wù)器。

軟件配置方面主要是為每臺(tái)機(jī)器安裝配置了Hadoop 0.20.2、MPICH2、Nvidia 的 CUDA Toolkit 4.1。另外為每臺(tái)機(jī)器配置了JCuda 0.4.1。

5.2 海洋環(huán)境信息可視化處理流程及其實(shí)現(xiàn)

海洋環(huán)境信息可視化處理流程如圖4所示。用戶通過瀏覽器訪問云計(jì)算門戶Web服務(wù)器，然后再由Web服務(wù)器調(diào)用Hadoop集群進(jìn)行大規(guī)模并行計(jì)算，Hadoop集群的執(zhí)行結(jié)果經(jīng)Web服務(wù)器最終在客戶端的瀏覽器中以網(wǎng)頁(yè)的形式呈現(xiàn)。

（1）可視化計(jì)算過程調(diào)用及結(jié)果顯示的實(shí)現(xiàn)

Web服務(wù)器對(duì)MapReduce計(jì)算的調(diào)用可以用后端執(zhí)行Shell Script的方式實(shí)現(xiàn)。在可視化結(jié)果的展示方面，使用基于HTML5的WebGL技術(shù)，WebGL是一種3D繪圖標(biāo)準(zhǔn)，這種繪圖標(biāo)準(zhǔn)允許把JavaScript和OpenGL ES 2.0結(jié)合在一起，通過增加OpenGL ES 2.0的一個(gè)JavaScript綁定，WebGL可以為HTML5 Canvas提供硬件3D加速渲染，其硬件加速功能可以將可視化數(shù)據(jù)更快地呈現(xiàn)給用戶，并更快地響應(yīng)用戶的交互請(qǐng)求。另外，雖然從云計(jì)算理論上來(lái)講，希望能夠構(gòu)造一種弱客戶端的應(yīng)用，即盡量將存儲(chǔ)和計(jì)算資源都集中于龐大的“云”中心，但是推送運(yùn)算到數(shù)據(jù)并不能完全適合所有的情況，客戶端的運(yùn)算并不能完全由云計(jì)算所替代，海量數(shù)據(jù)分析的應(yīng)用程序能夠從“服務(wù)器+客戶端”的體系結(jié)構(gòu)中受益[8]。因此為了加強(qiáng)用戶的交互性，在用戶軟硬件環(huán)境支持的情況下將一部分“小數(shù)據(jù)”的任務(wù)在本地客戶端利用WebGL的硬件加速功能來(lái)完成，實(shí)驗(yàn)證明本地化處理是一種簡(jiǎn)單的、有利于減少時(shí)延和公共資源數(shù)據(jù)加載的有效方法。

（2）多層次并行處理機(jī)制實(shí)現(xiàn)

實(shí)驗(yàn)中使用的開發(fā)語(yǔ)言為Java編程語(yǔ)言。由于Nvidia的CUDA編程框架目前只支持C和C++語(yǔ)言，為了實(shí)現(xiàn)Java對(duì) GPU的調(diào)用引入JCuda，JCuda是對(duì) CUDA runtime和driver API的一種Java封裝，其實(shí)現(xiàn)了Java對(duì)GPU的調(diào)用。具體的調(diào)用方式一種是使用jcudaUtils-0.0.4.jar中的相關(guān)接口，將CUDA代碼封裝為字符串，這種方式的優(yōu)點(diǎn)是實(shí)現(xiàn)對(duì)CUDA代碼的自動(dòng)編譯和向TaskTracker的自動(dòng)分發(fā)，缺點(diǎn)是在每次執(zhí)行過程中都會(huì)對(duì)CUDA代碼進(jìn)行編譯，增加了額外開銷；另一種方式是使用JNI(Java native interface）調(diào)用編譯好的CUDA代碼，這種方式的優(yōu)點(diǎn)是CUDA代碼只需要編譯一次，但是需要手動(dòng)將編譯好的CUDA二進(jìn)制代碼放到每臺(tái)TaskTracker上，而且使用JNI也可能會(huì)喪失代碼的平臺(tái)移植性。

另外，GPU的初始化是需要時(shí)間的，因此為了有效發(fā)揮GPU的優(yōu)勢(shì)，在Map中加入GPU運(yùn)算時(shí)粒度不應(yīng)該太小，但是由于Hadoop本身是通過啟動(dòng)TaskTracker的一個(gè)Java線程來(lái)執(zhí)行任務(wù)的，如果大粒度的任務(wù)數(shù)據(jù)量過大的話，會(huì)出現(xiàn)JVM內(nèi)存溢出的錯(cuò)誤，為此需要加大Java JVM的Heap space的大小。

6 結(jié)束語(yǔ)

本文針對(duì)海洋環(huán)境信息長(zhǎng)時(shí)間序列海量數(shù)據(jù)的特點(diǎn)，提出了一種基于Hadoop云計(jì)算平臺(tái)的海洋環(huán)境信息遠(yuǎn)程交互可視化的體系架構(gòu)，并針對(duì)MapReduce進(jìn)行了優(yōu)化，采用多級(jí)多粒度的并行運(yùn)算體系架構(gòu)，提高了海洋環(huán)境信息可視化的響應(yīng)效率。但是由于Hadoop本身的設(shè)計(jì)目標(biāo)是應(yīng)用于大規(guī)模海量數(shù)據(jù)的批處理式工作，因此對(duì)Hadoop相關(guān)配置及多級(jí)并行運(yùn)算算法進(jìn)行優(yōu)化，提高其運(yùn)算處理效率及響應(yīng)速度將是未來(lái)工作的重點(diǎn)。

1 Buck I.GPU computing:programming a massively parallel processor.International Symposium on Code Generation and Optimization(CGO’07),California,2007:17～23

2 曾誠(chéng)，李兵，何克清.云計(jì)算的棧模型研究.微電子學(xué)與計(jì)算機(jī)，2009,26（8）:22～27

3 Polo J,Carrera D,Becerra Y,et al.Performance of accelerated MapReduce workloads in heterogengous clusters.Proceedings of 39th International Conference on Parallel Processing,San Diego,2010:653～662

4 盧風(fēng)順，宋君強(qiáng)，銀?？档?CPU/GPU協(xié)同并行計(jì)算研究綜述.計(jì)算機(jī)科學(xué)，2011,38（3）:5～9

5 Huy T Vo,Broson J,Summa B,et al.2011 IEEE Symposium,RI,2011:81～89

6 Condie T,Conway N,Alvaro P,et al.MapReduce OnLine,UCB/EECS-2009-136.Berkeley:Electrical Engineering and Computer Sciences University of California,2009

7 Lu Xiaoyi,Wang Bing,Zha Li,et al.Can MPI benefit Hadoop and MapReduce applications.Proceedings of 2011 International Conference on Parallel Processing Workshops,Taipei,China,2011:371～379

8 Crochow K,Howe B,Stoermer M,et al.Client+Cloud:evaluating seamless architectures for visual data analytics in the ocean sciences.Proceedingsof22nd InternationalConference on Scientific and Statistical Database Management,Berlin,2010:114～131