劉 琦

在推動(dòng)HPC普及的道路上,微軟終于邁出了堅(jiān)實(shí)一步,推出寄予厚望的Windows HPC Server 2008。這款產(chǎn)品究竟融合了哪些新特性,才使得它成為微軟這一HPC新兵向Linux和Unix發(fā)起挑戰(zhàn)的底牌?

過(guò)去只有國(guó)防和科研才會(huì)用到的高性能計(jì)算(HPC)已經(jīng)成為近年來(lái)成長(zhǎng)最快的領(lǐng)域之一,而且普及化趨勢(shì)日漸明顯。在微軟推出HPC產(chǎn)品前,這一領(lǐng)域一直都是Linux和Unix的天下。作為HPC領(lǐng)域的新入局者,微軟在2006年以面向集群服務(wù)器的Windows Compute Cluster Server 2003(WCCS)試水。而在2008年,微軟明確地為自己的企業(yè)級(jí)產(chǎn)品加入一款具有標(biāo)志性意義的產(chǎn)品——Windows HPC Server 2008(HPCS),這絕對(duì)稱得上微軟在HPC領(lǐng)域中的重大突破。

誰(shuí)在青睞HPCS

Windows HPC Server 2008將提供新的高速網(wǎng)絡(luò)、高效靈活的集群管理工具、面向服務(wù)的體系結(jié)構(gòu)(SOA)任務(wù)調(diào)度,可用于計(jì)算流體力學(xué)、水利樞紐模擬等大規(guī)模并行項(xiàng)目,或BLAST、蒙特卡羅模擬等復(fù)雜的并行項(xiàng)目。

Altair Engineering、Cluster Resources、Platform Computing等多家相關(guān)行業(yè)的企業(yè)都已宣布支持Windows HPC Server 2008。美國(guó)內(nèi)布拉斯加大學(xué)PKI研究院的計(jì)算中心已經(jīng)將Windows HPC Server 2008部署到一套擁有1151個(gè)節(jié)點(diǎn)的大型集群上,為政府、科研和工業(yè)用戶提供服務(wù)。愛(ài)荷華大學(xué)、劍橋大學(xué)、3M、Baker Hughes也都已經(jīng)著手部署此套Windows HPC Server 2008。而沖進(jìn)Top500前十名的曙光5000系統(tǒng),更是以1920個(gè)節(jié)點(diǎn)成為目前成功部署該系統(tǒng)的最大的通用高性能計(jì)算平臺(tái)。

與此同時(shí),一些大型金融投資公司,比如摩根斯坦利也在越來(lái)越多地使用HPC技術(shù)。微軟稱,HPC Server 2008允許用戶運(yùn)行復(fù)雜的算法,例如確定投資組合的風(fēng)險(xiǎn)程度。這種復(fù)雜的應(yīng)用程序可在多個(gè)服務(wù)器內(nèi)核的并行環(huán)境中運(yùn)行,不必重新編寫(xiě)應(yīng)用程序的代碼。對(duì)于金融服務(wù)公司來(lái)說(shuō),不用重新編寫(xiě)代碼支持消息傳遞接口(MPI)協(xié)議就可以運(yùn)行現(xiàn)有程序的能力或許是HPC Server 2008最重要的功能。

開(kāi)發(fā)與部署兩不誤

Windows HPC Server 2008是以Windows Server 2008為基礎(chǔ)設(shè)計(jì)出的產(chǎn)品,提供了企業(yè)級(jí)的工具、性能和擴(kuò)展性。這款操作系統(tǒng)由Windows Server 2008和Microsoft HPC Pack兩個(gè)部分組成,結(jié)合了集成式HPC解決方案與高效的開(kāi)發(fā)環(huán)境,并集成了大量Windows Server平臺(tái)所具備的即插即用功能,幫助用戶提高工作效率和降低所使用的 HPC 環(huán)境的復(fù)雜性。與WCCS 相比,該產(chǎn)品的易用性,穩(wěn)定性等都有了很大提高。比如在很短時(shí)間內(nèi)在成百上千臺(tái)的裸機(jī)上部署好Windows HPC Server 2008,運(yùn)行診斷程序測(cè)試現(xiàn)有機(jī)器的連通性等。

Windows HPC Server 2008提供全面的部署、管理與監(jiān)控工具,并能夠集成于現(xiàn)有的基礎(chǔ)設(shè)施之中。Microsoft HPC Pack提供了集群管理、任務(wù)調(diào)度、MPI編程環(huán)境等一系列工具。由于開(kāi)發(fā)并行程序需要集成的開(kāi)發(fā)環(huán)境以及對(duì)分布式計(jì)算標(biāo)準(zhǔn)的支持,Visual Studio 2008為Windows HPC Server 2008提供了一個(gè)全面的并行程序環(huán)境。

除了提供對(duì)OpenMP、MPI以及Web Services的支持,Windows HPC Server 2008同樣支持第三方數(shù)值庫(kù)提供者,性能優(yōu)化器、編譯器,以及為開(kāi)發(fā)和糾錯(cuò)并行程序所提供的調(diào)試程序。此外,Windows HPC Server 2008還內(nèi)建了與Linux協(xié)同合作的能力,以Linux代碼編寫(xiě)的應(yīng)用程序可以通過(guò)“Windows Service for UNIX”技術(shù),被Windows HPC Server 2008編譯并運(yùn)行。其統(tǒng)一的管理部署界面則可以有效降低大型、小型計(jì)算機(jī)集群部署的復(fù)雜度,并且提供了一個(gè)全新且簡(jiǎn)單高效的管理體驗(yàn)來(lái)提升集群管理員的效率。

增強(qiáng)性能與可擴(kuò)展性

Windows HPC Server 2008通過(guò)增強(qiáng)用戶現(xiàn)有的功能特性以及整合企業(yè)內(nèi)部已有的工具,可以使用戶在更短時(shí)間里進(jìn)行更多操作,從而提高效率。管理員和開(kāi)發(fā)人員可以利用公共的效率平臺(tái)和開(kāi)發(fā)平臺(tái),通過(guò)技術(shù)工作站和集群節(jié)省時(shí)間。

管理員能夠使用現(xiàn)有的微軟管理工具集中管理控制企業(yè)整個(gè)Windows Server結(jié)構(gòu)。命令行接口向管理員完全開(kāi)放,普通端用戶并不需要掌握命令行方式就可以使用性能強(qiáng)大的HPC。程序開(kāi)發(fā)人員能夠利用熟悉的開(kāi)發(fā)工具,比如Visual Studio提供的本地并行調(diào)試程序進(jìn)行開(kāi)發(fā)或調(diào)試并行程序。此外,開(kāi)發(fā)團(tuán)隊(duì)可以使用Microsoft Office SharePoint Server 2007管理他們的項(xiàng)目并進(jìn)行合作。

Windows HPC Server 2008與其它微軟產(chǎn)品的整合也更好地提升了HPC的生產(chǎn)效率,同時(shí)增強(qiáng)了終端用戶的使用體驗(yàn),這其中就包括與Microsoft Office SharePoint Server 以及Windows Workflow Foundation的聯(lián)合使用,以及能夠更好增強(qiáng)管理有效性的Microsoft System Center 解決方案。通過(guò)與 Windows Communication Foundation (WCF)的整合,Windows HPC Server 2008使面向服務(wù)架構(gòu)(SOA)程序的開(kāi)發(fā)者可以更好地利用HPC解決方案所提供的全新特性。來(lái)自各個(gè)領(lǐng)域大量的軟件供應(yīng)商也紛紛對(duì)他們的應(yīng)用做出進(jìn)一步調(diào)整從而實(shí)現(xiàn)與 Windows HPC Server 2008 的無(wú)縫銜接。用戶在依然使用熟悉的應(yīng)用程序的同時(shí)可以進(jìn)行業(yè)務(wù)的提交和監(jiān)控,而不必學(xué)習(xí)新的更復(fù)雜的用戶界面。

這一高擴(kuò)展性平臺(tái)的發(fā)布使曾經(jīng)受困于Windows平臺(tái)限制的高性能開(kāi)發(fā)者們打破了限制。Windows HPC Server 2008搭建在已經(jīng)成熟的Windows Server 2008 x64-bit技術(shù)平臺(tái)之上,能有效地?cái)U(kuò)展到幾千個(gè)處理內(nèi)核,同時(shí)還包含能幫助系統(tǒng)管理員監(jiān)控系統(tǒng)實(shí)時(shí)狀況并保持系統(tǒng)穩(wěn)定性的管理工具。該產(chǎn)品與Windows Server 2008企業(yè)版和Microsoft Windows SQL Server整合,還可以提供恢復(fù)服務(wù)器級(jí)故障的能力并且通過(guò)系統(tǒng)級(jí)的冗余提供其固有的可靠性和可用性。

系統(tǒng)快速部署可管理

Windows HPC Server 2008包括配置向?qū)А⒐ぞ?、?nèi)建管理控制臺(tái)以及任務(wù)列表,以在增強(qiáng)Windows Server 2008部署服務(wù)的基礎(chǔ)上簡(jiǎn)化計(jì)算節(jié)點(diǎn)的供給,從而使用戶可以在一個(gè)集群中建立、修改并且部署系統(tǒng)鏡像。

系統(tǒng)模板是新增加的一項(xiàng)功能,通過(guò)使用系統(tǒng)模板,減少安裝和配置系統(tǒng)時(shí)所花費(fèi)的時(shí)間和人力。模板的使用能夠使IT專(zhuān)家建立標(biāo)準(zhǔn)化系統(tǒng)的鏡像并且隨時(shí)為集群系統(tǒng)打補(bǔ)丁。另兩項(xiàng)則是增強(qiáng)的功能,一項(xiàng)是Windows Deployment Services(WDS),使用它可以快速地部署操作系統(tǒng)鏡像,通過(guò)全新的HPC Pack Administration控制臺(tái)可以對(duì)進(jìn)程進(jìn)行實(shí)時(shí)監(jiān)控。另一項(xiàng)是可以通過(guò)命令行方式、PowerShell,或者其它諸如Perl之類(lèi)的腳本語(yǔ)言進(jìn)行編程,管理集群。

新增監(jiān)控與安全特性

建立在Windows Server 2008 64-bit技術(shù)之上的Windows HPC Server 2008包括可擴(kuò)展的管理工具。該工具使用全新的系統(tǒng)界面,它所提供的熱點(diǎn)地圖(Heat map)可以顯示出系統(tǒng)利用率的整體概況。

在監(jiān)控與系統(tǒng)安全方面,以下三項(xiàng)均為全新特性。第一,Windows Server 2008企業(yè)版包含了恢復(fù)服務(wù)器級(jí)故障服務(wù),一旦硬件出現(xiàn)問(wèn)題,Windows Failover Services和SQL Server數(shù)據(jù)庫(kù)集群可以提供頭節(jié)點(diǎn)冗余,從而提高系統(tǒng)的可靠性和可用性。第二,管理員可以根據(jù)硬件、軟件或者網(wǎng)絡(luò)特征的不同建立不同的群組,所建立的群組可以簡(jiǎn)化管理,并且可以通過(guò)映射任務(wù)需求分配給適合的服務(wù)器,從而實(shí)現(xiàn)對(duì)資源利用率進(jìn)行優(yōu)化。第三,內(nèi)建的診斷工具使管理員可以快速識(shí)別并診斷集群中硬件、軟件或者網(wǎng)絡(luò)故障。此外,系統(tǒng)中心操作管理器(System Center Operations Manager 2007)還有自動(dòng)化執(zhí)行常規(guī)任務(wù)、冗余任務(wù)、智能報(bào)告、智能監(jiān)控等功能。

支持SOA工作負(fù)載

Microsoft HPC Pack 2008包括靈活的任務(wù)調(diào)度器,調(diào)度器包括了命令行和圖形式的用戶界面以及向集群遞交任務(wù)的應(yīng)用程序接口。任務(wù)調(diào)度器可以定位批處理及最新的面向服務(wù)的應(yīng)用,用戶也可將其部署為與其他任務(wù)調(diào)度器相互配合的方式,以適應(yīng)混合模式和其他高級(jí)策略的要求。

任務(wù)調(diào)度支持全新的SOA工作負(fù)載,這是一項(xiàng)全新的功能。計(jì)算結(jié)點(diǎn)能夠通過(guò)Windows Communication Foundation(WCF)代理與提交系統(tǒng)之間進(jìn)行通信。WCF代理是一組專(zhuān)用節(jié)點(diǎn),它用于擴(kuò)展集群的性能并充當(dāng)代理,促進(jìn)公用網(wǎng)絡(luò)客戶端和私有網(wǎng)絡(luò)計(jì)算節(jié)點(diǎn)間的通信。其他的WCF代理可以根據(jù)需求隨時(shí)加入系統(tǒng)以進(jìn)行擴(kuò)展。

HPC Pack任務(wù)調(diào)度器進(jìn)行了功能增強(qiáng),可以實(shí)現(xiàn)復(fù)雜的內(nèi)核調(diào)度、端口調(diào)度、服務(wù)器調(diào)度。任務(wù)調(diào)度器支持現(xiàn)存的策略,如基于優(yōu)先級(jí)的先來(lái)先服務(wù)、回填、非搶占式調(diào)度等策略,此外還包括采用新的策略進(jìn)行任務(wù)搶占、任務(wù)擴(kuò)充與縮減。

HPC Pack降低了與現(xiàn)存集群整合的復(fù)雜性也是一項(xiàng)新特性。這是為了增加任務(wù)調(diào)度的協(xié)同性,通過(guò)支持諸如OGF HPC Profile等業(yè)界標(biāo)準(zhǔn)實(shí)現(xiàn)的。此外,與基于Unix程序子系統(tǒng)(SUA)的整合可以最大化地利用用戶當(dāng)前的成本投入,同時(shí)增強(qiáng)Unix和Linux代碼編寫(xiě)的程序擴(kuò)展到HPCS平臺(tái)的能力。

加強(qiáng)網(wǎng)絡(luò)與高速互聯(lián)

Windows HPC Server 2008通過(guò)提供最新的網(wǎng)絡(luò)配置向?qū)А⑷碌木W(wǎng)絡(luò)診斷工具以及網(wǎng)絡(luò)驅(qū)動(dòng)器管理的簡(jiǎn)化方式,可以明顯降低部署集群中多種網(wǎng)絡(luò)的復(fù)雜性。微軟消息傳遞接口(MS MPI)進(jìn)行了功能增強(qiáng),它基于ANL所實(shí)現(xiàn)的MPI2標(biāo)準(zhǔn)編寫(xiě)而成,可以利用任何Windows Server 2008提供的互連方式,包含支持全新網(wǎng)絡(luò)路徑,是一種更快的接口。

NetDirect是微軟為高速、低延遲網(wǎng)絡(luò)所設(shè)計(jì)的全新RDMA接口,例如Infiniband、10G以太網(wǎng)和Myrinet網(wǎng)絡(luò)。通過(guò)利用可直接避開(kāi)OS 和 TCP/IP的架構(gòu),NetDirect可以在大規(guī)模并行程序上發(fā)揮更好的性能,因?yàn)樗哂袠O低的延遲、高帶寬以及有效調(diào)節(jié)CPU利用率的能力。

頭節(jié)點(diǎn)是突出特點(diǎn)

Windows HPC Server 2008 設(shè)計(jì)了頭節(jié)點(diǎn)是一個(gè)突出的特點(diǎn)。頭節(jié)點(diǎn)是對(duì)集群進(jìn)行管理、部署以及任務(wù)調(diào)度的單一節(jié)點(diǎn),可以控制并協(xié)調(diào)所有對(duì)集群資源的訪問(wèn)。一旦系統(tǒng)出現(xiàn)故障,頭節(jié)點(diǎn)借助該系統(tǒng)中的故障轉(zhuǎn)移服務(wù),能夠轉(zhuǎn)移到其他備援節(jié)點(diǎn),從而進(jìn)行故障恢復(fù)。

Windows HPC Server 2008 使用企業(yè)現(xiàn)有的基礎(chǔ)架構(gòu)以及Microsoft Active Directory是考慮到安全性、賬戶管理以及使用諸如Systems Center Operations Manager 2007端到端的服務(wù)管理解決方案。

WCF應(yīng)用模式也是該系統(tǒng)的一個(gè)特色,面向不同服務(wù)的客戶端應(yīng)用。WCF可以發(fā)起交互式會(huì)話,它包括了以下幾個(gè)步驟:1.客戶端生成一個(gè)會(huì)話,該會(huì)話用于指定執(zhí)行一個(gè)計(jì)算的WCF服務(wù)。2.任務(wù)調(diào)度器將任務(wù)交給代理并啟動(dòng)服務(wù)實(shí)例池。3.客戶端連接到代理端,任務(wù)調(diào)度器提供代理端到客戶端的端點(diǎn)引用(EPR)。4.客戶端連接到EPR.。5.標(biāo)準(zhǔn)WCF請(qǐng)求/響應(yīng)消息發(fā)出。