莫基敏

摘 要：目前計(jì)算機(jī)工作站的低成本和可用性使其成為高性能計(jì)算的有吸引力的解決方案。網(wǎng)絡(luò)技術(shù)的顯著進(jìn)步使得能夠來(lái)實(shí)現(xiàn)高性能的全球計(jì)算。據(jù)此，介紹了在動(dòng)畫(huà)生成中使用網(wǎng)格計(jì)算組成的系統(tǒng)中的性能結(jié)果。利用多節(jié)點(diǎn)的計(jì)算機(jī)結(jié)構(gòu)及使用Globus網(wǎng)格管理軟件對(duì)網(wǎng)格計(jì)算的性能和損耗進(jìn)行定量評(píng)估和分析。實(shí)驗(yàn)結(jié)果表明，多節(jié)點(diǎn)的網(wǎng)格計(jì)算系統(tǒng)使得生成的時(shí)間顯著減少，同時(shí)在動(dòng)畫(huà)生成過(guò)程中的CPU負(fù)載大大減少。

關(guān)鍵詞：網(wǎng)格計(jì)算；動(dòng)畫(huà)生成；監(jiān)控

中圖分類(lèi)號(hào)：TB

文獻(xiàn)標(biāo)識(shí)碼：A

doi：10.19311/j.cnki.1672-3198.2016.32.099

1 介紹

隨著信息技術(shù)的發(fā)展，大量的數(shù)據(jù)需要被處理。單臺(tái)計(jì)算機(jī)不再能滿足處理這么大量數(shù)據(jù)處理的需要。因此，許多解決方案被提出，其中一個(gè)就是網(wǎng)格并行計(jì)算。網(wǎng)格計(jì)算是一種管理計(jì)算機(jī)集合以實(shí)現(xiàn)共同任務(wù)的技術(shù)。與超級(jí)計(jì)算機(jī)相比，網(wǎng)格技術(shù)是松散耦合的，并且使用網(wǎng)格管理工具包，很容易構(gòu)建具有強(qiáng)計(jì)算能力的可擴(kuò)展和安全的網(wǎng)格。網(wǎng)格技術(shù)的另一個(gè)優(yōu)點(diǎn)是經(jīng)濟(jì)實(shí)惠。例如，公司可以在自己的機(jī)器中實(shí)現(xiàn)其網(wǎng)格基礎(chǔ)架構(gòu)，并在機(jī)器空閑時(shí)向其分配任務(wù)。

本文設(shè)計(jì)了一個(gè)用于動(dòng)畫(huà)生成的網(wǎng)格架構(gòu)。第2節(jié)將介紹設(shè)計(jì)目標(biāo)，第3節(jié)將討論網(wǎng)格計(jì)算結(jié)構(gòu)設(shè)計(jì)細(xì)節(jié)，然后第4節(jié)將描述硬件配置及討論實(shí)驗(yàn)結(jié)果，最后在第5節(jié)進(jìn)行總結(jié)。

2 設(shè)計(jì)目標(biāo)

基于具有一定數(shù)量的計(jì)算機(jī)節(jié)點(diǎn)的系統(tǒng)設(shè)計(jì)，把pov格式文件存儲(chǔ)在系統(tǒng)中的每臺(tái)計(jì)算機(jī)里。每臺(tái)計(jì)算機(jī)能夠從pov文件生成高清晰度圖像，而生成的圖像將對(duì)網(wǎng)格中的所有計(jì)算機(jī)可見(jiàn)。在生成圖像之后，任何計(jì)算機(jī)應(yīng)該能夠?qū)D像逐幀轉(zhuǎn)換為高清晰度動(dòng)畫(huà)。但在這種情況下，在圖像或者動(dòng)畫(huà)生成期間，CPU和內(nèi)存資源將會(huì)不足。為了解決這個(gè)問(wèn)題，可通過(guò)在該系統(tǒng)中使用網(wǎng)格計(jì)算，并且可以通過(guò)添加多個(gè)服務(wù)器節(jié)點(diǎn)以減少CPU和存儲(chǔ)器的占用率，以實(shí)現(xiàn)加速處理數(shù)據(jù)的目標(biāo)。其中，網(wǎng)格上的每個(gè)節(jié)點(diǎn)都應(yīng)該安裝Globus Toolkit工具包。

3 網(wǎng)格計(jì)算結(jié)構(gòu)設(shè)計(jì)

3.1 可擴(kuò)展性

Globus工具包為網(wǎng)格管理提供了一些組件。Globus資源分配和管理GRAM是使得用戶能夠定位、提交、監(jiān)視和取消遠(yuǎn)程作業(yè)的組件之一。此外，監(jiān)控和發(fā)現(xiàn)服務(wù)MDS可提供有關(guān)節(jié)點(diǎn)的狀態(tài)和可用性的信息，Grid管理器可以使用這些信息來(lái)選擇使用資源。

當(dāng)前網(wǎng)格資源管理有其弱點(diǎn)。公共采用的架構(gòu)是2層層次資源管理。然而，在大規(guī)模網(wǎng)格網(wǎng)絡(luò)中使用該架構(gòu)，一些資源將變得不可訪問(wèn)。此外，使用2層架構(gòu)使得網(wǎng)絡(luò)QoS較差。

在新的框架中，我們提供分層資源管理器。資源管理器有三種類(lèi)型：（1）管理一個(gè)特定資源的個(gè)人資源管理器（IRM）；（2）管理集群中的資源的集群資源管理器（CRM）；（3）網(wǎng)格資源管理器（GRM），用于管理整個(gè)網(wǎng)格網(wǎng)絡(luò)中的資源。在4層網(wǎng)格網(wǎng)絡(luò)中，IRM用在最低層級(jí)1中，中間層采用CRM，在頂層框架使用GRM進(jìn)行資源管理。

3.2 安全性

網(wǎng)格的安全性通過(guò)以下手段維護(hù)：（1）防火墻：部署防火墻以保護(hù)網(wǎng)格免受惡意攻擊。防火墻通過(guò)檢查數(shù)據(jù)包的源IP地址和目的IP地址來(lái)管理網(wǎng)絡(luò)。惡意和可疑數(shù)據(jù)包將被防火墻從網(wǎng)關(guān)外部過(guò)濾。防火墻可以限制從Internet到網(wǎng)格的訪問(wèn)，它還可以限制從網(wǎng)格計(jì)算系統(tǒng)到外部Internet的訪問(wèn)嘗試。（2）Globus工具包：Globus工具包適用于我們的企業(yè)動(dòng)畫(huà)生成網(wǎng)格系統(tǒng)的設(shè)計(jì)。它提供了一個(gè)稱為“Globus安全基礎(chǔ)設(shè)施”（GSI）的安全標(biāo)準(zhǔn)和模塊。Globus安全基礎(chǔ)設(shè)施在網(wǎng)格計(jì)算環(huán)境中的計(jì)算機(jī)之間提供了秘密的、防篡改的、可委托的通信支持。我們使用非對(duì)稱加密RSA用于GSI以實(shí)現(xiàn)安全和可認(rèn)證的通信。（3）證書(shū)：網(wǎng)格上的每個(gè)用戶和服務(wù)都有一個(gè)已識(shí)別的證書(shū)。證書(shū)包含主題名稱、公鑰、證明公鑰屬于主題的證書(shū)頒發(fā)機(jī)構(gòu)（CA）和CA的數(shù)字簽名的信息。（4）相互認(rèn)證：GSI使用安全套接字層（SSL）進(jìn)行相互認(rèn)證。SSL使用1024和2048位密鑰長(zhǎng)度的RSA算法。當(dāng)兩個(gè)單元的網(wǎng)格相互通信時(shí)，他們將首先驗(yàn)證對(duì)方的第三方CA。在雙重驗(yàn)證成功之后，然后建立連接。（5）密碼通信：缺省情況下，GSI不保證雙方之間的加密通信。如果請(qǐng)求機(jī)密通信，GSI可以提供用于加密和解密的共享密鑰。對(duì)于我們網(wǎng)格的設(shè)計(jì)，GSI的這兩個(gè)特性都用于保護(hù)節(jié)點(diǎn)和服務(wù)器之間的通信。

3.3 外部集成

在我們的實(shí)驗(yàn)網(wǎng)格系統(tǒng)中，需要允許集成外部資源。為了解決這個(gè)問(wèn)題，我們部署了開(kāi)放網(wǎng)格服務(wù)架構(gòu)OGSA。OGSA通過(guò)分布式異構(gòu)和動(dòng)態(tài)網(wǎng)格環(huán)境提供服務(wù)和資源的集成，無(wú)論是在外部資源共享或服務(wù)提供方面。我們的設(shè)計(jì)有一些要求：（1）全局名稱空間：為了容易地訪問(wèn)外部數(shù)據(jù)和資源，網(wǎng)格系統(tǒng)應(yīng)當(dāng)能夠在不考慮位置或復(fù)制的安全約束下透明地與其他節(jié)點(diǎn)交互。（2）元數(shù)據(jù)服務(wù)：我們必須認(rèn)識(shí)到調(diào)用和跟蹤外部資源是很重要的。我們需要訪問(wèn)和管理跨管理域的實(shí)體元數(shù)據(jù)的權(quán)限。（3）場(chǎng)地自治性：獲取資源的機(jī)制需要符合地方控制和政策。（4）資源使用數(shù)據(jù)：這是在網(wǎng)格網(wǎng)絡(luò)上集成和交換外部資源使用數(shù)據(jù)的機(jī)制和模式。

3.4 監(jiān)控

數(shù)據(jù)收集和分布機(jī)制的尺度是非常重要的。一個(gè)監(jiān)測(cè)機(jī)制應(yīng)建立以監(jiān)測(cè)網(wǎng)格系統(tǒng)的當(dāng)前性能。當(dāng)pov文件的大小，或者動(dòng)畫(huà)的質(zhì)量增加時(shí)，網(wǎng)格系統(tǒng)監(jiān)控機(jī)制應(yīng)該能夠檢測(cè)相應(yīng)每個(gè)節(jié)點(diǎn)的性能。因此，服務(wù)器將能夠注意到潛在的資源缺乏并確定節(jié)點(diǎn)的數(shù)量。通常，以下特性性能監(jiān)視信息是系統(tǒng)或程序產(chǎn)生的數(shù)據(jù)的最重要的部分。

4 硬件配置及實(shí)驗(yàn)結(jié)果

在我們的實(shí)驗(yàn)網(wǎng)格環(huán)境中，我們部署五臺(tái)計(jì)算機(jī)，包括一個(gè)服務(wù)器和四個(gè)客戶端節(jié)點(diǎn)組成網(wǎng)格網(wǎng)絡(luò)。在服務(wù)器端，我們部署了英特爾至強(qiáng)服務(wù)器。這樣的處理器可以滿足動(dòng)畫(huà)和POV射線軟件實(shí)現(xiàn)的計(jì)算。4GB DDR3內(nèi)存RAM可為網(wǎng)格計(jì)算設(shè)備提供高吞吐量。西部數(shù)據(jù)2 TB硬盤(pán)為30分鐘的動(dòng)畫(huà)存儲(chǔ)提供足夠的空間。AMD HD5630還提供足夠的圖處理。對(duì)于客戶端，主要工作是網(wǎng)格計(jì)算，因此我們上面部署的設(shè)備滿足要求。

通過(guò)對(duì)動(dòng)畫(huà)的生成演算得到的實(shí)驗(yàn)結(jié)果，我們發(fā)現(xiàn)4節(jié)點(diǎn)下比2節(jié)點(diǎn)或1點(diǎn)所消耗的計(jì)算時(shí)間有所減少，同時(shí)CPU占用率也有所減少，可見(jiàn)多節(jié)點(diǎn)對(duì)動(dòng)畫(huà)演算是有作用的。

5 結(jié)論

并行計(jì)算正在成為當(dāng)代計(jì)算機(jī)科學(xué)中流行和重要的概念。在網(wǎng)格計(jì)算的環(huán)境中，如何有效地監(jiān)視節(jié)點(diǎn)信息和應(yīng)用性能是網(wǎng)格計(jì)算中的一個(gè)難點(diǎn)問(wèn)題。本文介紹了一種基于Globus toolkit的網(wǎng)格計(jì)算系統(tǒng)組成及共同的動(dòng)畫(huà)演算，并介紹了網(wǎng)格技術(shù)研究和設(shè)計(jì)。設(shè)計(jì)了基于多節(jié)點(diǎn)和多級(jí)分布式結(jié)構(gòu)的運(yùn)算模型。

未來(lái)我們的想法是實(shí)現(xiàn)自動(dòng)計(jì)算節(jié)點(diǎn)選擇算法，并將其集成到我們的集群和網(wǎng)格計(jì)算平臺(tái)中。每個(gè)站點(diǎn)中的計(jì)算節(jié)點(diǎn)被選擇為實(shí)時(shí)提供的運(yùn)算信息，軟件包還可以針對(duì)計(jì)算節(jié)點(diǎn)的不同速度處理器，意味著哪個(gè)所選計(jì)算節(jié)點(diǎn)應(yīng)當(dāng)執(zhí)行什么計(jì)算在異構(gòu)集群和網(wǎng)格協(xié)定環(huán)境中。

參考文獻(xiàn)

[1]I.A.Klimonov，V.D.Korneev，V.M.Sveshnikov.Parallelization technologies for solving three-dimensional boundary value problems on quasi-structured grids using the cpu+gpu hybrid computing environment[J].Numerical Methods and Programming，Advanced Computing， 2016，（17）：65-71.

[2]S.Iturriaga，S.Nesmachnow，F(xiàn).Luna，E.Alba.A parallel local search in cpu/gpu for scheduling independent tasks on large heterogeneous computing systems[J].Journal of Supercomputing，2015，71（2）：648-672.

[3]Z.Junbo，W.Jian-Syuan，P.Yi，L.Tianrui.A parallel matrix-based method for computing approximations in incomplete information systems[J].IEEE Transactions on Knowledge and Data Engineering，2015，27（2）：326-339.