陳紅梅 張紀(jì)英

摘 ?要： 研究了集群的系統(tǒng)結(jié)構(gòu)和主要優(yōu)勢，以及集群式高性能計算系統(tǒng)的誕生;分析了集群式高性能計算系統(tǒng)的架構(gòu)和構(gòu)建方式，集群構(gòu)建包括網(wǎng)絡(luò)部署、存儲系統(tǒng)、計算節(jié)點、管理節(jié)點、登錄節(jié)點等部分。在此基礎(chǔ)上構(gòu)建了基于Linux的集群式高性能計算系統(tǒng)。

關(guān)鍵詞： 集群技術(shù); 高性能計算; 系統(tǒng)架構(gòu); 集群構(gòu)建

中圖分類號：TP399 ? ? ? ? ?文獻(xiàn)標(biāo)志碼：A ? ? 文章編號：1006-8228（2015）07-13-02

Research of high performance computing cluster

Chen Hongmei， Zhang Jiying

（Jianghan University Institute for Interdisciplinary Research， Wuhan， Hubei 430056， China）

Abstract： This paper researches the system architecture and the main advantages of the cluster， then analyzes the framework of the high performance computing cluster. The high performance computing cluster is composed of computing network， management network， storage system， compute nodes， log-on nodes， etc. On the basic of the above research， Jianghan University built the high performance computing cluster based on Linux.

Key words： cluster technology; high performance computing; framework of the high performance computing cluster; cluster building

0 引言

隨著社會的發(fā)展，各個領(lǐng)域?qū)Ω咝阅苡嬎愕男枨笤絹碓狡惹?。高性能計算已被公認(rèn)為繼理論科學(xué)和實驗科學(xué)之后的第三大科學(xué)研究方法，是科技創(chuàng)新的重要手段[1]。在當(dāng)前社會情況下，高性能計算已經(jīng)成為一個國家綜合實力的體現(xiàn)，對國家戰(zhàn)略的發(fā)展有著重要影響。由此可見，高性能計算機是信息產(chǎn)業(yè)的重要領(lǐng)域，是現(xiàn)代社會科學(xué)研究、社會服務(wù)和經(jīng)濟(jì)活動中一種極為重要且不可或缺的戰(zhàn)略工具。

網(wǎng)絡(luò)技術(shù)的快速發(fā)展和處理器性能的迅速提高，讓越來越多的人開始用相對便宜的以太網(wǎng)把相對廉價的服務(wù)器連接起來組成集群使用，從而以較少的代價獲得較高的性能。集群已成為高性能計算機研究開發(fā)的一個方向，尤其是基于Linux的集群式高性能計算系統(tǒng)就有“窮人的超級計算機”之說。

1 計算機集群技術(shù)

1.1 集群的概念

集群就是一組相互獨立的、通過高速網(wǎng)絡(luò)互聯(lián)的計算機，這些計算機能夠協(xié)同工作，并對外表現(xiàn)為一個集成單一的計算機資源。美國著名的阿伯丁公司（Aberdeen Group Inc）對計算機集群系統(tǒng)下的定義為——計算機集群是一種多節(jié)點的計算機，具有以下特點：

⑴ 從用戶、程序員、操作員及管理員角度看，它相當(dāng)于一個單一的系統(tǒng);

⑵ 可以提高可靠性;

⑶ 具有在集群范圍內(nèi)統(tǒng)一的操作與管理特征;

⑷ 為打印隊列、批作業(yè)隊列、文件系統(tǒng)以及外部設(shè)備等在集群范圍內(nèi)共享;

⑸ 完美的增量式擴充能力;

⑹ 通過互連與技術(shù)選擇可以進(jìn)行靈活的配置。

1.2 集群的系統(tǒng)結(jié)構(gòu)

根據(jù)典型的集群體系結(jié)構(gòu)，其中涉及到的主要技術(shù)可以歸屬于四個層次。

⑴ 網(wǎng)絡(luò)層：包括通信協(xié)議和網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)等。

⑵ 節(jié)點機和操作系統(tǒng)層：包括高性能客戶機、分層或基于微內(nèi)核的操作系統(tǒng)等。

⑶ 管理層：包括負(fù)載平衡、資源調(diào)度、資源管理、安全問題和并行I/0等。

⑷ 應(yīng)用層：包括并行程序開發(fā)環(huán)境和并行應(yīng)用等。

集群技術(shù)是上述四個層次的有機結(jié)合，各層次雖然側(cè)重領(lǐng)域有所不同，但都有其不可或缺的重要性[2]。管理層是集群系統(tǒng)所特有的功能與技術(shù)的體現(xiàn)，正是集群管理系統(tǒng)把多臺計算機組織起來，使之可以被稱為“集群”。

1.3 集群的主要優(yōu)勢

集群系統(tǒng)之所以能夠從技術(shù)可能發(fā)展到實際應(yīng)用，主要原因是它與傳統(tǒng)的并行處理系統(tǒng)相比具有高性價比、高性能、高可用性和高可擴展性等幾個明顯優(yōu)勢。

⑴ 高性價比

集群技術(shù)是使用特定方式，將符合工業(yè)標(biāo)準(zhǔn)的硬件設(shè)備連接起來。在同樣性能的條件下，采用計算機集群比采用同等運算能力的大型計算機具有更高的性價比。

⑵ 高性能

像天氣預(yù)報、核試驗?zāi)M等這樣的計算密集型應(yīng)用，需要計算機具有很強的運算處理能力。對于這些應(yīng)用，一般都使用集群技術(shù)，集中幾十甚至上百臺計算機來滿足需求。集群技術(shù)研究的一個重要目標(biāo)之一就是提高處理性能。

⑶ 高可用性

集群技術(shù)使系統(tǒng)在一個節(jié)點失效后，它的任務(wù)可以傳遞給其他節(jié)點。從而在故障發(fā)生時集群系統(tǒng)仍可以繼續(xù)工作，將系統(tǒng)停運時間減到最小。

⑷ 高可擴展性

采用集群技術(shù)時，若想擴展系統(tǒng)能力，只需要將新的服務(wù)器加入集群中即可。對于用戶來說，服務(wù)的連續(xù)性幾乎沒有變化，好像系統(tǒng)在不知不覺中完成了升級。

2 集群式高性能計算系統(tǒng)

2.1 集群式高性能計算系統(tǒng)的誕生

集群式高性能計算系統(tǒng)是使用高速通信網(wǎng)絡(luò)將多臺原本獨立、完整的微機或工作站連接在一起，構(gòu)成一個統(tǒng)一的整體，使之可作為一種單一的計算資源來使用。與SMP和MPP相比，集群具有更高的可擴展性、可用性和易維護(hù)性，而且價格低，性價比高。

二十世紀(jì)九十年代中期，隨著微處理器和動態(tài)隨機存儲器速度的提升以及PCI總線的出現(xiàn)，個人電腦市場日趨成熟。另外，在互聯(lián)網(wǎng)的浪潮之下，局域網(wǎng)技術(shù)也迅速發(fā)展，在帶寬和延遲上與傳統(tǒng)高性能計算機所采用的專有網(wǎng)絡(luò)的差距也日漸減少。在軟件方面，1991年出現(xiàn)的Linux操作系統(tǒng)，到1994年已經(jīng)相當(dāng)穩(wěn)定[3];1993年發(fā)布的基于消息傳遞的并行程序設(shè)計標(biāo)準(zhǔn)MPI，是一種由國際組織維護(hù)的國際標(biāo)準(zhǔn)，并有許多廠商為其提供具體的實現(xiàn)版本。至此，集群式高性能計算系統(tǒng)的出現(xiàn)可謂是萬事俱備。

美國航空航天局（National Aeronautics and Space Administration，NASA）Goddard 航天中心的Beowulf 項目為集群式高性能計算系統(tǒng)的研究帶來了突破。1994 年名為Wiglaf 的第一臺Beowulf 集群在Goddard 航天中心誕生，1995 年第二代Beowulf 集群Hrothgar 建成，1997年第三代Beowulf 集群Loki 和Hyglac分別在LANL 和加州理工學(xué)院建成。加州大學(xué)伯克力分校（University of California at Berkeley）的NOW（Network Of Workstations）是與Beowulf項目齊名的另一個著名的高性能集群項目。1997 年誕生的NOW-2 ，其運算能力超過10GFLOPS，成為首臺進(jìn)入世界超級計算機500 強（Top500）的集群計算機。

2.2 集群式高性能計算系統(tǒng)的架構(gòu)

集群式高性能計算系統(tǒng)由多個節(jié)點組成，系統(tǒng)構(gòu)建和管理需要強大的專業(yè)技術(shù)支撐。集群構(gòu)建包括網(wǎng)絡(luò)部署、存儲系統(tǒng)、計算節(jié)點、管理節(jié)點、登錄節(jié)點等部分[4]。集群式高性能計算系統(tǒng)的一般架構(gòu)如圖1所示。

圖1 ?集群式高性能計算系統(tǒng)架構(gòu)

集群式高性能計算系統(tǒng)要組建兩個主要高速網(wǎng)絡(luò)：管理網(wǎng)絡(luò)和計算網(wǎng)絡(luò)。管理網(wǎng)絡(luò)一般通過萬兆或千兆以太網(wǎng)將計算節(jié)點、登錄節(jié)點、I/O節(jié)點和管理節(jié)點全相連。計算網(wǎng)絡(luò)一般使用高速率的Infiniband網(wǎng)絡(luò)將計算節(jié)點和I/O節(jié)點全相連。另外，存儲系統(tǒng)和I/O節(jié)點之間一般通過高速光纖相連。

出于安全和價格方面的考慮，集群式高性能計算系統(tǒng)中各節(jié)點一般安裝Linux操作系統(tǒng)。在管理層，為了實現(xiàn)對集群的有效管理，集群要安裝集群管理工具如IBM for Linux Extreme Cloud Administration Toolkit（XCAT）;同時安裝作業(yè)調(diào)度系統(tǒng)如IBM Platform LSF，以實現(xiàn)高性能的負(fù)載管理，有效利用集群資源，實現(xiàn)最佳性能。在應(yīng)用層，要配置相應(yīng)的編譯器和數(shù)學(xué)庫等，并安裝配置OpenMPI等并行計算環(huán)境。

2.3 集群式高性能計算系統(tǒng)實例

隨著高性能計算機和計算方法的快速發(fā)展，物理、化學(xué)、生物等學(xué)科對計算資源有著迫切的需求，國內(nèi)多所高校和科研院所紛紛開始構(gòu)建高性能計算平臺[5]。江漢大學(xué)也構(gòu)建了集群式高性能計算系統(tǒng)，該系統(tǒng)包括19個計算節(jié)點、2個I/O節(jié)點、2個登錄節(jié)點、1個管理節(jié)點、一組管理網(wǎng)絡(luò)、一組計算網(wǎng)絡(luò)。管理網(wǎng)絡(luò)通過萬兆以太網(wǎng)將計算節(jié)點、登錄節(jié)點、I/O節(jié)點和管理節(jié)點全相連。計算網(wǎng)絡(luò)使用56Gbps速率的Infiniband網(wǎng)絡(luò)將刀片式計算節(jié)點、GPU計算節(jié)點、胖節(jié)點、登錄節(jié)點和I/O節(jié)點全相連。

江漢大學(xué)集群式高性能計算系統(tǒng)的操作系統(tǒng)為Redhat Linux Server 6.4，作業(yè)調(diào)度系統(tǒng)為IBM Platform，應(yīng)用開發(fā)環(huán)境軟件為Intel Cluster Studio軟件工具包。

3 結(jié)束語

計算機集群作為當(dāng)前世界上并行處理的熱點和主流，具有許多明顯優(yōu)勢：高性價比、高性能、高可用性和高可擴展性等。集群式高性能計算系統(tǒng)可以采用廉價的符合工業(yè)標(biāo)準(zhǔn)的硬件構(gòu)造高性能的系統(tǒng)，并且可以通過增加CPU個數(shù)和內(nèi)存容量來提高性能。上述優(yōu)勢使得集群式高性能計算系統(tǒng)的研究已經(jīng)成為并行計算研究開發(fā)的一個重要方向。

參考文獻(xiàn)：

[1] 李波，曹福毅，王祥鳳.高性能計算技術(shù)發(fā)展概述[J].沈陽工程學(xué)院學(xué)

報（自然科學(xué)版），2012.8（3）：252-254

[2] 張洋.計算機集群技術(shù)概述[J].信息系統(tǒng)工程，2013.32（5）：95

[3] 周興銘.高性能計算技術(shù)發(fā)展[J].自然雜志，2011.33（5）： 249-254

[4] 林皎，陳玉潔，張武生，徐偉平，楊廣文.高性能計算平臺建設(shè)的探索與

實踐[J].實驗技術(shù)與管理，2012.29（5）：217-219

[5] 盛樂標(biāo)，游偉倩，周慶林.南京大學(xué)高性能計算中心建設(shè)的探索與實

踐[J].實驗技術(shù)與管理，2013.30（11）：144-146