網(wǎng)格技術(shù)是推動(dòng)互聯(lián)網(wǎng)資源有效使用的重要環(huán)節(jié),而基于網(wǎng)格技術(shù)的校園網(wǎng)格是學(xué)校用來(lái)實(shí)現(xiàn)校園整體IT資源共享、挖掘潛能,從而提高其研究能力的一個(gè)強(qiáng)有力的手段。本文論述了網(wǎng)格計(jì)算這種新型的分布式計(jì)算技術(shù),并分析了網(wǎng)格技術(shù)與校園網(wǎng)相結(jié)合的重要意義,進(jìn)而根據(jù)校園網(wǎng)格框架結(jié)構(gòu)和建立原則,提出了一種新的校園網(wǎng)格集群系統(tǒng)結(jié)構(gòu)模型,實(shí)現(xiàn)了資源共享,提高了資源利用率,從而促進(jìn)學(xué)校信息化的發(fā)展。
校園網(wǎng)格可以使共享的資源合理分配,同時(shí)兼顧到各個(gè)部門(mén)對(duì)于資源的不同需求,并根據(jù)不同需求設(shè)立不同的優(yōu)先級(jí)以利于管理、維護(hù)。同時(shí),校園網(wǎng)格還可以為資源擁有者提供一種交易方法,即將目前閑置的資源貢獻(xiàn)出去,以此換回將來(lái)自己在資源需求峰值時(shí)能夠利用其他限制資源的權(quán)力。與此同時(shí),校園網(wǎng)格的建立可以改變學(xué)校傳統(tǒng)意義上對(duì)IT資源構(gòu)建和管理上的分散模式,取而代之的是將主要投入集中在學(xué)校共享資源上,如可以共享的網(wǎng)絡(luò)設(shè)備、計(jì)算中心、數(shù)據(jù)中心等等,這樣將使學(xué)校對(duì)于各種資源的投資最大化,并使IT資源的管理更趨合理化。
一、校園網(wǎng)格概述
1.網(wǎng)格計(jì)算
網(wǎng)格計(jì)算是伴隨著互聯(lián)網(wǎng)而迅速發(fā)展起來(lái)的,是專(zhuān)門(mén)針對(duì)復(fù)雜科學(xué)計(jì)算的新型計(jì)算模式。這種計(jì)算模式是利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個(gè)“虛擬的超級(jí)計(jì)算機(jī)”,其中每一臺(tái)參與計(jì)算的計(jì)算機(jī)就是一個(gè)“節(jié)點(diǎn)”,而整個(gè)計(jì)算機(jī)是由成千上萬(wàn)個(gè)“節(jié)點(diǎn)”組成的“一張網(wǎng)格”,所以這種計(jì)算方式叫網(wǎng)格計(jì)算。這樣組織起來(lái)的“虛擬的超級(jí)計(jì)算機(jī)”有兩個(gè)優(yōu)勢(shì):一是數(shù)據(jù)處理能力超強(qiáng)。二是能充分利用網(wǎng)上的閑置處理能力[1]。
實(shí)際上,網(wǎng)格計(jì)算是分布式計(jì)算(Distributed Computing)的一種,如果我們說(shuō)某項(xiàng)工作是分布式的,那么,參與這項(xiàng)工作的一定不只是一臺(tái)計(jì)算機(jī),而是一個(gè)計(jì)算機(jī)網(wǎng)絡(luò),顯然這種“螞蟻搬山”的方式將具有很強(qiáng)的數(shù)據(jù)處理能力[2]。
2.網(wǎng)格的基本要素
一個(gè)良好的網(wǎng)格系統(tǒng)需要一些最基本的功能部件來(lái)保證其正常運(yùn)行。功能部件可以被用來(lái)滿(mǎn)足特定的需求,根據(jù)網(wǎng)格應(yīng)用的不同,功能部件也會(huì)不盡相同,但是作為網(wǎng)格的公共基礎(chǔ)部分,有些功能部件是必不可少的。
(1)用戶(hù)界面(Portal)
用戶(hù)界面(Portal)是為那些專(zhuān)業(yè)用戶(hù)使用網(wǎng)格資源,提交其需要執(zhí)行的作業(yè)而設(shè)計(jì)的簡(jiǎn)單易用的工具。
?。?)數(shù)據(jù)移動(dòng)
數(shù)據(jù)移動(dòng)的目的是解決作業(yè)在異地運(yùn)行時(shí)的數(shù)據(jù)上傳和結(jié)果數(shù)據(jù)下載的問(wèn)題。數(shù)據(jù)的移動(dòng)有如下幾種情況。
獨(dú)立方式:獨(dú)立的數(shù)據(jù)傳遞方式,獨(dú)立于作業(yè)的提交。例如隨機(jī)文件的傳遞或一個(gè)預(yù)定的數(shù)據(jù)傳遞可通過(guò)特定的傳輸工具或數(shù)據(jù)網(wǎng)格。
分段傳輸:用手工上傳方式將數(shù)據(jù)傳遞到集群。
傳遞計(jì)算的結(jié)果:將最終的運(yùn)算結(jié)果傳遞給用戶(hù)以及底層作業(yè)日志存儲(chǔ)系統(tǒng)。
傳遞計(jì)算的中間結(jié)果:將作業(yè)處理過(guò)程的中間信息傳遞給用戶(hù),供用戶(hù)根據(jù)這些信息調(diào)整作業(yè)處理進(jìn)程。
?。?)資源管理
資源管理的主要任務(wù)就是充當(dāng)資源的供應(yīng)方,并為那些需要資源的作業(yè)或任務(wù)分配資源。
?。?)作業(yè)提交
最終用戶(hù)需要一種方法來(lái)提交、定義它的作業(yè)以及作業(yè)的工作參數(shù),比如數(shù)據(jù)的位置路徑,計(jì)算資源組、觸發(fā)機(jī)制、認(rèn)證信息等等。
?。?)作業(yè)監(jiān)控
最終用戶(hù)可以通過(guò)界面來(lái)監(jiān)控、管理其作業(yè)。
?。?)網(wǎng)格系統(tǒng)的管理
網(wǎng)格系統(tǒng)管理在于控制身份認(rèn)證、授權(quán),網(wǎng)格系統(tǒng)管理的真正目標(biāo)是允許系統(tǒng)管理員異地控制和操作[3]。
3.校園網(wǎng)格的定義
校園網(wǎng)格是網(wǎng)格技術(shù)在校園中的一種應(yīng)用,與其他的計(jì)算網(wǎng)格、信息網(wǎng)格不同,它的資源提供者是各部門(mén)的各類(lèi)資源,包括集群、數(shù)據(jù)庫(kù)、高性能計(jì)算機(jī)、個(gè)人PC機(jī)、存儲(chǔ)設(shè)備等,而用戶(hù)一般是學(xué)校的教職員工和學(xué)生,他們通過(guò)校園網(wǎng)格共享計(jì)算、信息、存儲(chǔ)、教學(xué)等資源。
作為一個(gè)優(yōu)良的校園網(wǎng)格需要滿(mǎn)足以下條件:
?。?)集中管理用戶(hù)的身份認(rèn)證和授權(quán)。
?。?)支持異構(gòu)計(jì)算機(jī)資源,對(duì)于不同的硬件、操作系統(tǒng)的支持。
?。?)允許不同的最終用戶(hù)對(duì)資源的不同需求。
?。?)允許計(jì)算資源共享。
?。?)校園網(wǎng)格能提供資源的整合能力,同時(shí)能夠調(diào)配網(wǎng)格上的資源解決單個(gè)問(wèn)題的需求。
(6)校園網(wǎng)格必須能為學(xué)校的IT建設(shè)、資源使用、系統(tǒng)資源瓶頸分析提供有力的數(shù)據(jù)。
?。?)校園網(wǎng)格不應(yīng)該是一個(gè)封閉的系統(tǒng),它有能力和兄弟學(xué)校的網(wǎng)格系統(tǒng)互聯(lián)、互通。
二、校園網(wǎng)格的設(shè)計(jì)原則
(1)與網(wǎng)格框架兼容。網(wǎng)格作為廣域異構(gòu)分布資源互聯(lián)的基礎(chǔ)設(shè)施,為上層提供了許多基礎(chǔ)服務(wù),校園網(wǎng)格的設(shè)計(jì)應(yīng)基于網(wǎng)格框架,并與底層網(wǎng)格機(jī)制相兼容。
?。?)一致的信息結(jié)構(gòu)。用戶(hù)以一致的方式訪(fǎng)問(wèn)資源的結(jié)構(gòu)信息和狀態(tài)信息。
?。?)與底層實(shí)現(xiàn)機(jī)制無(wú)關(guān)性,包括資源的存儲(chǔ)、訪(fǎng)問(wèn)方式等。系統(tǒng)可以定義一些界面或接口,以封裝不同系統(tǒng)在資源存儲(chǔ)、管理等方面的異構(gòu)性。
(4)與應(yīng)用策略無(wú)關(guān)性。應(yīng)將與性能無(wú)關(guān)的一些重要功能的實(shí)現(xiàn)方式留給用戶(hù)或是應(yīng)用程序來(lái)選擇,而不是由系統(tǒng)封裝執(zhí)行[4]。
三、校園網(wǎng)格集群系統(tǒng)結(jié)構(gòu)模型
1.網(wǎng)格集群系統(tǒng)結(jié)構(gòu)模型
根據(jù)前文提到的校園網(wǎng)格設(shè)計(jì)的一般原則,校園網(wǎng)格集群系統(tǒng)應(yīng)包括三個(gè)部分:用戶(hù)訪(fǎng)問(wèn)部分、作業(yè)調(diào)度和高性能計(jì)算部分、報(bào)表統(tǒng)計(jì)分析部分。如圖1所示。
?。?)用戶(hù)訪(fǎng)問(wèn)部分應(yīng)包括多種方式,用戶(hù)可通過(guò)瀏覽器、命令行、集成后的應(yīng)用程序訪(fǎng)問(wèn)高性能計(jì)算開(kāi)放式平臺(tái)和計(jì)算服務(wù)器的資源。根據(jù)用戶(hù)不同的需要在多種訪(fǎng)問(wèn)方式中進(jìn)行切換。
?。?)作業(yè)調(diào)度和高性能計(jì)算部分應(yīng)支持異構(gòu)的分布式Unix/Linux,Windows計(jì)算環(huán)境,提供可靠的集群管理、負(fù)載共享、復(fù)雜作業(yè)管理及調(diào)度功能和大規(guī)模并行計(jì)算的能力,可以有效提高大型計(jì)算任務(wù)的資源利用率。
(3)報(bào)表統(tǒng)計(jì)分析部分,針對(duì)高性能計(jì)算部分的作業(yè)信息,報(bào)表統(tǒng)計(jì)部分應(yīng)支持大型的數(shù)據(jù)分析和數(shù)據(jù)挖掘。網(wǎng)格使用過(guò)程中的資源使用信息、作業(yè)信息、記賬信息存儲(chǔ)到數(shù)據(jù)庫(kù)中,數(shù)據(jù)分析系統(tǒng)根據(jù)這些信息提供出校園網(wǎng)格IT系統(tǒng)全面的負(fù)載和運(yùn)行狀況分析報(bào)表。利用這些報(bào)表,網(wǎng)格管理人員可以有效地針對(duì)系統(tǒng)性能,優(yōu)化系統(tǒng)使用,優(yōu)化項(xiàng)目或人員的管理,從而減少運(yùn)營(yíng)和IT基礎(chǔ)建設(shè)的成本,并為下一步的投資提供決策依據(jù),以實(shí)現(xiàn)投資回報(bào)的最大化。
2.校園網(wǎng)格集群系統(tǒng)解決的問(wèn)題
?。?)統(tǒng)一規(guī)劃的提交與管理界面
通過(guò)提供Web門(mén)戶(hù)的方式及應(yīng)用軟件的集成,為用戶(hù)提供了統(tǒng)一的作業(yè)提交和管理界面。用戶(hù)只需提交自己的作業(yè)任務(wù)即可,無(wú)需關(guān)心其任務(wù)去哪些計(jì)算機(jī)運(yùn)行,這種方式大大降低了最終用戶(hù)的使用軟件的門(mén)檻。
?。?)資源在集群層面的共享
整合整個(gè)校園的異構(gòu)資源,包括異構(gòu)的硬件資源(如CPU、內(nèi)存等)和異構(gòu)的軟件資源(Windows,Linux,Solaris),屏蔽資源差異。匯集本地集群的計(jì)算資源,為大規(guī)模計(jì)算任務(wù)提供更多的資源。
?。?)優(yōu)先級(jí)控制
作業(yè)調(diào)度部分應(yīng)提供多種調(diào)度方式,以保證用戶(hù)使用上的優(yōu)先級(jí),使計(jì)算資源(CPU,內(nèi)存等)根據(jù)用戶(hù)的需要,進(jìn)行合理的優(yōu)化,使用戶(hù)在項(xiàng)目管理中總能迅速地獲得所需要的計(jì)算資源。
網(wǎng)格技術(shù)的目標(biāo)是實(shí)現(xiàn)互聯(lián)網(wǎng)上資源的全面共享與協(xié)同合作,為用戶(hù)提供便捷、高效的計(jì)算服務(wù),網(wǎng)格將會(huì)成為未來(lái)的計(jì)算模式。而校園網(wǎng)格的構(gòu)建是網(wǎng)格普及化的關(guān)鍵一步。本文對(duì)網(wǎng)格技術(shù)在校園信息化建設(shè)中的應(yīng)用進(jìn)行了探討和研究,提出了一種校園網(wǎng)格的框架結(jié)構(gòu)。網(wǎng)格技術(shù)必將會(huì)大大促進(jìn)校園信息化的發(fā)展。
參考文獻(xiàn)
[1]