武亮亮，薛業(yè)，吳毅松，王德健

（大連民族學院網(wǎng)絡(luò)與信息技術(shù)中心，遼寧大連， 116605）

并行機群環(huán)境在網(wǎng)絡(luò)資源平臺建設(shè)中的應(yīng)用

武亮亮，薛業(yè)，吳毅松，王德健

（大連民族學院網(wǎng)絡(luò)與信息技術(shù)中心，遼寧大連， 116605）

引入廣泛應(yīng)用于并行計算領(lǐng)域的機群環(huán)境，采用多服務(wù)器分布式并行任務(wù)處理模式，組合NAS網(wǎng)絡(luò)存儲設(shè)備，提出了一種新的解決方案，使資源平臺的管理和使用更加實用、穩(wěn)定和高效。

并行，機群，網(wǎng)絡(luò)存儲，共享分布

隨著網(wǎng)絡(luò)應(yīng)用的不斷發(fā)展，多業(yè)務(wù)、多網(wǎng)絡(luò)不斷普及，高校網(wǎng)絡(luò)資源平臺的建設(shè)和使用勢在必行，目前平臺建設(shè)和使用多基于Ftp服務(wù)，F(xiàn)tp是一種文件傳輸協(xié)議，在校園網(wǎng)內(nèi)可使用戶可靠高效地傳送數(shù)據(jù)。隨著平臺建設(shè)廣域發(fā)展，訪問量日益增多，傳統(tǒng)的單處理機模式已不能滿足對平臺使用的高效性和穩(wěn)定性的要求，當在線人數(shù)達到超負荷時，則可能出現(xiàn)無限延遲等待甚至宕機。因此如何搭建更加安全穩(wěn)定的網(wǎng)絡(luò)資源平臺，以方便師生高速有效地訪問使用越顯重要［1］。本文引入廣泛應(yīng)用于并行計算領(lǐng)域的機群環(huán)境，采用多服務(wù)器分布式并行任務(wù)處理模式，實現(xiàn)負載均衡高效的運行模式。

1 多處理機模式——并行機群環(huán)境

基于分布式存儲技術(shù)的機群環(huán)境，通過提高局部節(jié)點的處理能力而使其成為所謂的超結(jié)點，廣泛應(yīng)用于高性能計算領(lǐng)域，例如石油勘探、氣候模擬等，是滿足高性能數(shù)據(jù)處理要求的有效途徑，是目前計算機科學領(lǐng)域研究的熱點之一［2］。機群系統(tǒng)較之傳統(tǒng)的并行處理系統(tǒng)，具有成本低、開發(fā)周期短、投資風險低、系統(tǒng)擴展性好等優(yōu)點。性能對比如圖1。

圖1 優(yōu)化的機群系統(tǒng)性能

1.1 負載均衡策略

機群環(huán)境由分布在高速局域網(wǎng)上的多臺服務(wù)器節(jié)點組成，通過將用戶的Ftp請求按特定的分發(fā)策略重定向到不同的節(jié)點以達到負載平衡［3］。單個服務(wù)器節(jié)點往往采用基于進程調(diào)度的資源分配方法，根據(jù)應(yīng)用的需求將Ftp請求劃分為若干個子類，調(diào)整各子類的進程數(shù)量，從而達到服務(wù)分級的目的，如圖2。在機群環(huán)境下，可以將所有服務(wù)節(jié)點的進程資源統(tǒng)一分配，同時在請求分發(fā)時，保證每臺節(jié)點的同類資源被公平消耗。

圖2 傳統(tǒng)網(wǎng)絡(luò)資源訪問——多對多形式

網(wǎng)絡(luò)資源平臺前端是采用Web服務(wù)，影響用戶使用感受最直接的因素是延遲等待，即排隊時間和服務(wù)時間之和，是指從前端節(jié)點建立TCP連接，開始接受Ftp請求直到將應(yīng)答響應(yīng)移交給TCP連接的傳輸層協(xié)議所經(jīng)歷的時間。鑒于此，考慮采用最大空閑節(jié)點優(yōu)先的負載均衡策略，以保證各服務(wù)節(jié)點能夠協(xié)同合作、公平消耗，提高系統(tǒng)資源的利用率。

機群中的服務(wù)節(jié)點P0，是整個機群系統(tǒng)的核心，需要同時和客戶端以及其他服務(wù)節(jié)點建立TCP連接，系統(tǒng)開銷較大，實際應(yīng)用中優(yōu)先采用性能相對較高的硬件設(shè)備，避免成為系統(tǒng)瓶頸。所有節(jié)點采用進程每連接結(jié)構(gòu)，為了實現(xiàn)不同優(yōu)先級的業(yè)務(wù)子類，各節(jié)點的進程池相應(yīng)地劃分為若干個部分，進程池能容納服務(wù)進程的個數(shù)稱為進程配額，不同子類在相互隔離的池中接受服務(wù)。每個節(jié)點按照一致的分類準則，相同部署，可處理機群定義的所有業(yè)務(wù)子類，以FIFO的方式等待進程服務(wù)。前后節(jié)點通過心跳檢測原理實現(xiàn)可靠的消息通訊，在每個心跳時刻，后續(xù)節(jié)點通過狀態(tài)向前繼節(jié)點報告，返回自己的狀態(tài)信息，進程調(diào)度器根據(jù)前繼節(jié)點返回的控制命令，調(diào)整當前服務(wù)節(jié)點各個業(yè)務(wù)類的進程配額，如圖3。

圖3 機群環(huán)境下超節(jié)點多處理器共享存儲訪問

將分布式共享的并行機群應(yīng)用于網(wǎng)絡(luò)資源平臺的使用特點是:

（1）多節(jié)點多處理單元可負載均衡、安全高效地處理同時在線多用戶提出的訪問申請，減少用戶延遲等待的時間，用戶可在節(jié)點內(nèi)進行任意的瀏覽和選擇操作，將下載任務(wù)計入隊列。

（2）下載任務(wù)順次啟動，根據(jù)最大空閑節(jié)點策略，可觸發(fā)多節(jié)點并行下載，使得單用戶下載速度成倍增長，整體訪問速度大大提升。

1.2 機群環(huán)境搭建

?

相關(guān)操作:

（1）所有節(jié)點機均安裝同一版本的Debian操作系統(tǒng)，最好采用相同的分區(qū)結(jié)構(gòu);

（2）統(tǒng)一設(shè)置用戶（node0，node1，node2…）和根口令;

（3）關(guān)閉系統(tǒng)防火墻，開啟apache，ftp，echo，rsh，nfs，netfs，telnet等相應(yīng)的系統(tǒng)服務(wù)，并修改主機名:vim/etc/sysconfig/network例:HOSTNAME =node0（node1，node2…）;

（4）對所有節(jié)點進行同網(wǎng)段的IP網(wǎng)絡(luò)設(shè)置，修改IP地址、網(wǎng)關(guān)等信息。

2 多存儲模式——NAS網(wǎng)絡(luò)存儲

網(wǎng)絡(luò)存儲，是基于數(shù)據(jù)存儲的通用網(wǎng)絡(luò)術(shù)語，分為直連式存儲DAS、網(wǎng)絡(luò)存儲設(shè)備NAS和存儲網(wǎng)絡(luò)SAN三種。其中NAS是一種專用數(shù)據(jù)存儲設(shè)備，直接采用網(wǎng)絡(luò)介質(zhì)相連實現(xiàn)數(shù)據(jù)存儲機制，避免增加服務(wù)器的I/O負載。如圖4，NAS內(nèi)嵌系統(tǒng)軟件，提供跨平臺文件共享，實現(xiàn)數(shù)據(jù)集中管理，不但具有SAN的共享數(shù)據(jù)和集中管理的優(yōu)點，同時具有接入快捷、成本低、兼容性好、管理方便等特點，因此NAS已經(jīng)逐漸成為企事業(yè)單位網(wǎng)絡(luò)存儲方案的主要選擇之一［4］。

管道輸水灌溉和滴灌的單井控制面積應(yīng)根據(jù)公式（1）計算，并結(jié)合片區(qū)的空間分布確定，原則上采用的單井控制灌溉面積不小于計算值的10畝。噴灌工程的單井控制面積的確定還應(yīng)結(jié)合噴灌機的選型確定。審查中要嚴格控制單井控制面積，一方面盡量少打井減少投資，另一方面可促進節(jié)水，避免水資源的浪費。

圖4 NAS存儲結(jié)構(gòu)

2.1 共享分配策略

并行機群具有多種樣式，這里采用的是分布式共享模式。由多個節(jié)點計算機通過消息傳遞網(wǎng)絡(luò)互相連接，各個處理單元雖然擁有自己獨立的局部存儲器，但是信息資源主要存放于NAS網(wǎng)絡(luò)共享存儲空間，每個進程都有權(quán)利對共享地址空間進行存儲訪問，如果多個進程同時訪問一個地址時，通過鎖機制來協(xié)調(diào)處理。各個處理單元之間通過消息傳遞來交換信息和協(xié)調(diào)控制各個處理器的執(zhí)行。

要實現(xiàn)機群服務(wù)的高可用性，就要確保服務(wù)進程在失效后能夠快速重啟，并且可靠恢復。經(jīng)分析引入機群環(huán)境中的檢查點機制［5］，其核心目標是:檢查點信息的高效讀寫，提高機群服務(wù)的可用性;檢查點信息的一致性，確保機群服務(wù)失效后能夠根據(jù)檢查點信息可靠地恢復服務(wù)狀態(tài)。

如圖5，根據(jù)機群檢查點機制服務(wù)的核心目標，基于共享內(nèi)存的并行機群環(huán)境設(shè)計思路是:

（1）基于共享內(nèi)存的檢查點信息讀寫。在機群系統(tǒng)的每個服務(wù)節(jié)點上啟動一個檢查點進程，維護本服務(wù)端和檢查點進程都可以訪問的共享內(nèi)存;在此節(jié)點上運行的服務(wù)將其關(guān)鍵信息保存在該共享內(nèi)存中，并在機群某一服務(wù)進程失效重啟后，能夠迅速通過檢查點進程讀出該服務(wù)的檢查點信息，恢復服務(wù)狀態(tài)。

（2）基于單向環(huán)狀的檢查點備份結(jié)構(gòu)。將機群內(nèi)所有檢查點進程組成一個單向邏輯環(huán)結(jié)構(gòu)，在該邏輯環(huán)中，檢查點進程按照順時針方向，向其前繼節(jié)點備份檢查點信息，當檢查點進程失效重新啟動后，檢查點進程可根據(jù)在邏輯環(huán)中的備份信息，恢復失效前所維護的服務(wù)檢查點信息。檢查點進程T1將檢查點信息備份到進程T2，進程T2將檢查點信息備份到進程T3，依此類推。

圖5 共享內(nèi)存的并行機群環(huán)狀檢查點機制

由此，基于共享內(nèi)存和檢查點機制的機群環(huán)境，設(shè)計的核心思想是通過基于共享內(nèi)存訪問提高檢查點的執(zhí)行效率，并通過檢查點間的備份結(jié)構(gòu)降低內(nèi)存作為非穩(wěn)定存儲帶來的信息可靠性風險維護。根據(jù)機群可靠性理論，短時間內(nèi)出現(xiàn)2次或更多次故障的概率近似為零。

2.2 網(wǎng)絡(luò)存儲搭建

2.2.2 具體操作:

（1）存儲端

配置存儲端網(wǎng)絡(luò)

管理磁盤組，建立ISCSI和NAS兩種類型的虛擬磁盤

Debian下調(diào)用的是ISCSI盤，選擇local user驗證模式，建立用戶組和共享目錄

（2）服務(wù)器節(jié)點終端

更新Debian系統(tǒng)資源獲取列表sources.list，安裝open－iscsi

添加相應(yīng)存儲節(jié)點iscsiadm–m discovery–t sendtargets–p 210.30.1.41:3260

磁盤分驅(qū)，設(shè)定文件格式fdisk/dev/sdb

掛接本地文件夾mount/dev/sdb1//var/ftp/開啟iscsi服務(wù)/etc/init.d/open－iscsi start修改開機啟動項/etc/rc.local

3 測試結(jié)果

網(wǎng)絡(luò)中心并行機群環(huán)境根據(jù)實際情況搭建，網(wǎng)絡(luò)資源平臺建設(shè)小具規(guī)模，現(xiàn)供全校師生訪問，運行一段時間以來，安全平穩(wěn)，用戶延遲等待和宕機現(xiàn)象明顯改善，具體參考數(shù)據(jù)如下。

表1 機群共享存儲環(huán)境下訪問速度對比

表2 機群共享存儲環(huán)境下服務(wù)性能對比

4 結(jié)語

通過測試結(jié)果來看，機群環(huán)境在網(wǎng)絡(luò)資源平臺中的應(yīng)用得到了很好的效果，各方面性能都有所提升，基本解決了現(xiàn)階段存在的問題，但是隨著信息資源量和訪問人數(shù)的日益增大，則還需要通過增加更多服務(wù)節(jié)點，優(yōu)化負載均衡等方法，以達到最佳效果，有待于進一步研究。

［1］孫進康，陳章其.高校網(wǎng)絡(luò)教學資源的建設(shè)與共享［J］.中國電化教育，2008（1）:60－63.

［2］鄭曉薇，武亮亮.機群下基于網(wǎng)格的并行任務(wù)分配策略研究［J］.微電子學與計算機，2008（3）:134－136.

［3］郭成城，晏蒲柳.一種異構(gòu)Web服務(wù)器集群動態(tài)負載均衡算法［J］.計算機學報，2005（2）:179－183.

［4］GAO Wen，CHEN Mingyu.A faster checkpointing and recovery algorithm with a hierarchical storage approach，Proc of the 8th Int conf on High—Performance computing inAsia.Pacific Region.Los Alamitos，CA:IEEE，ComputerSociety，2005:78－86。

［5］梁祿金，喬強.NAS存儲技術(shù)在現(xiàn)代數(shù)字圖書館中的應(yīng)用研究［J］.現(xiàn)代情報，2008（12）:99－101.

Application of Parallel Cluster in Network Resource Construction

WU Liang－liang，XUE Ye，WU Yi－song，WANG De－jian
（Network and Information Technology Center，Dalian Nationalities University，Dalian Liaoning 116600，China）

In this paper，we introduce the cluster environment，which widely applies in parallel computing field，into network resource construction.Adoptting mutiserver distributed parallel task treatment mode and NAS network memory equipment，we propose a kind of new solution which brings the administration and usage of resource platform more practicality，stability，and high－effect.

parallel;cluster;network memory;shared distribution

TP393

A

1009－315X（2012）03－0272－03

2011－12－13;最后

2012－03－26

武亮亮（1982－），女，遼寧錦州人，助理工程師，主要從事并行機群、數(shù)據(jù)安全研究。

（責任編輯 劉敏）