希潤高娃

內蒙古師范大學計算機與信息工程學院 內蒙古 010022

0 引言

高性能仍是計算機領域的重要目標。并行計算的不斷發(fā)展推動著高性能計算的發(fā)展，利用集群系統(tǒng)的并行計算技術已被認為是未來解決大數據量問題或商業(yè)計算的導向。集群能夠充分利用現有的閑置計算機資源，而且還能夠使用較低配置的軟硬件，來實現較高性能的計算。隨著處理器技術和高性能網絡技術的飛速發(fā)展，以及軟件工具的改善，PC的性能不斷的提高，價格越來越廉價，性價比已遠遠優(yōu)于工作站，而PC集群也成為了高性價比的并行計算資源。所以基于PC的并行計算環(huán)境及其上的并行算法的研究是很有價值和意義的。

MPI(Message Passing Interface)是基于消息傳遞編寫并行程序的一種用戶界面，是一個并行函數庫的標準，是可移植的標準平臺。MPI具有內定和用戶自定義的數據匯集操作功能，可以把大量數據進行打包后傳輸；能有效地管理消息、緩存區(qū)，具有結構化緩存，擴充數據類型及異構性，能實現完全異步的點對點通信，發(fā)送與接收操作可以完全與計算操作交叉進行。MP移植性好、功能強大、效率高、硬件平臺支持度高等多種優(yōu)點，使它成為了研究和應用的重要并行環(huán)境。

1 集群

1.1 集群系統(tǒng)結構

集群是一組協(xié)同工作的服務實體，用以提供比單一服務實體更具擴展性和可用性的服務平臺，屬于分布式存儲的并行計算機結構，典型的集群系統(tǒng)結構如圖1所示。

圖1 集群系統(tǒng)結構圖

集群通過計算機高速網絡將一群工作節(jié)點連接起來，充分利用各個節(jié)點的各種資源，統(tǒng)一調度，協(xié)調處理，以實現高效率的并行計算。其高速網絡可以是普通的局域網也可以是高速網絡，而通信協(xié)議一般是TCP/IP協(xié)議。集群的節(jié)點可以是高端微機也可以是低端微機，而且可以是單機也可以是多處理器系統(tǒng)。每個節(jié)點都有獨立的存儲器、I/O設備和操作系統(tǒng)，各節(jié)點除了可以作為單一的計算資源供交互式用戶使用外，還可以協(xié)同工作表現為單一、集中的計算資源供并行計算任務使用。

1.2 集群系統(tǒng)分類

根據不同的標準，集群系統(tǒng)可有多種分類方式。其中針對集群系統(tǒng)的使用目的可分為三類。

(l) 高性能計算集群(High Performance Compute clustering)：以高性價比替代用于并行計算的傳統(tǒng)超級計算機。使用高速商用互聯網絡；可以包含數十個至上萬個PC機或工作站；可以提供接近甚至超過傳統(tǒng)超級計算機的計算能力。但是價格只是具有同等計算能力的超級計算機的幾十分之一。

(2) 高可用性集群(High-availability clustering)：掩蓋硬件以及軟件的易錯性，對外提供不間斷的服務。高可用性集群致力于使服務器系統(tǒng)的運行速度和響應速度盡可能快。

(3) 負載均衡集群(Load-balance clustering)：在多個節(jié)點間分配網絡或計算負載。

這三種類型的集群通常會發(fā)生混合與重疊。本文主要圍繞高性能計算集群進行介紹。

2 PC集群的建立與MPI環(huán)境的安裝

2.1 硬件選擇與安裝

硬件是集群系統(tǒng)的物理基礎，硬件的安裝比軟件安裝較為標準化。如何選擇適合于搭建集群系統(tǒng)的硬件，主要取決于對集群的功能、性能以及價格等因素的要求。

單個節(jié)點構建，包括CPU、內存、總線和I/O系統(tǒng)等；節(jié)點連接包括網卡、交換機等。

PC節(jié)點跟普通PC并沒有很大的區(qū)別，只是性能上可能有所差別，如CPU的主頻較高，內存容量較大，I/O系統(tǒng)速度較快等。

節(jié)點連接時，連接各節(jié)點的通信子系統(tǒng)是整個集群系統(tǒng)的性能瓶頸。集群系統(tǒng)中使用的網絡技術有很多，包括以太網、光纖分布式數據接口FDDI(Fiber Distributed Data Interface)、異步傳輸模式ATM(Asynchronous Transfer Model)、Myrinet、高性能并行接口HiPPI(High Performance Parallel Interface)以及可擴展一致性接口SCI(Scalable Coherent Interface)等，但由于高速以太網的普及，采用以太網會帶來較高的性價比。以太網系統(tǒng)包括網線、網卡及交換機等。選擇網卡主要考慮帶寬、接口類型、總線類型等。交換機的技術參數較多，主要考慮機架插槽數和擴展槽數、最大可堆疊數、背板吞吐量、緩沖區(qū)大小和MAC地址表大小等。

本文中的實例是包含四個PC節(jié)點的小型集群，每個節(jié)點的配置有，CPU：Pentium Ⅳ 2.0G、內存：2G 、硬盤：160G IDE、主板：ASUS P4T Socket 423 網卡：100Mbps Ethernet，在一個網段的局域網中，四臺PC機可以互相Ping的通，通過DHCP獲得IP地址，互相可以ssh；節(jié)點連接沒有使用交換設備。

2.2 軟件的選擇與安裝

2.2.1 軟件選擇

目前，流行的操作系統(tǒng)大致分為如下幾類：Windows系列、各種UNIX、Linux以及Mac OS。對構建高性能計算集群，Linux是最佳的選擇。本文中所創(chuàng)建的集群中使用的是Red Hat Enterprise Linux-5U4。

Linux是目前兼容硬件平臺及各種文件系統(tǒng)最為完備的操作系統(tǒng)，良好的軟硬件兼容性保證了Linux系統(tǒng)能夠使用于異構集群，同時開放源碼的發(fā)展模式也保證了現有集群軟件方便地遷移至Linux下運行。Linux系統(tǒng)對UNIX系統(tǒng)的兼容使得目前基于UNIX的集群系統(tǒng)可以在很小的修改下就能夠成功運行于Linux。

MPICH是最重要的一種MPI實現，是一個與MPI規(guī)范同步發(fā)展的版本。本文將采用MPI的一個成熟和廣泛使用的版本mpich2-1.3.2p1來構造MPI并行環(huán)境。

2.2.2 軟件安裝

四個節(jié)點的操作相同，下面以節(jié)點1的操作為例進行說明。

(1) 配置IP地址及網絡環(huán)境

如表1所示，設置IP地址與主機名。

表1 節(jié)點主機名與IP地址分配表

① 通過編輯/etc/sysconfig/network文件永久修改主機名。編輯內容為：

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=node1

② 在其中一臺機器上修改/etc/hosts文件，將每個機器的IP地址與主機名關聯起來，然后把該hosts文件拷貝到其他三臺機器的相應目錄下。hosts文件更改如下：

127.0.0.1 localhost.localdomain localhost

192.168.0.164 node1

192.168.0.145 node2

192.168.0.151 node3

192.168.0.118 node4。

(2) 創(chuàng)建SSH信任連接

① 在一臺機器上生成SSH密鑰對，命令為：#ssh-keygen-t dsa。

② 進入ssh目錄，生成authorized_keys文件，命令為：#mv id_rsa.pub authorized_keys ；authorized_keys文件用于保存所有允許以當前用戶身份登錄的ssh客戶端用戶的公鑰內容。

③ 建立本身的信任連接，命令為：#ssh node1，按提示輸入YES。

④ 把生成的authorized_keys文件拷貝到其它機器的ssh目錄下。

⑤ 對每個機器執(zhí)行ssh命令來確認每臺機器的信任連接已建立。

(3) 安裝MPICH2

① 從MPICH官方網站下載源代碼包，解壓縮，創(chuàng)建安裝目錄，進入mpich2解壓目錄，編譯并且設置安裝目錄/usr/loca/mpi，進行安裝。

② 進入mpd目錄，安裝進程管理器，最新版的MPICH2的默認進程管理器為hydra，本文中使用的是mpd。

#cd src/pm/mpd

#./configure –prefix=/usr/local/mpi

#make && make install

③ 通過編輯.bashrc文件修改環(huán)境變量，修改后的.bashrc文件如下：

# User specific aliases and functions

alias rm='rm -i'

alias cp='cp -i'

alias mv='mv -i'

PATH="$PATH:/usr/local/mpi/bin"

#Source global definitions

if [ -f /etc/bashrc ]; then

. /etc/bashrc

fi

④ 修改/usr/local/mpi/etc/mpd.conf文件，設置密碼，內容為：secretword=myword；設置文件讀取權限和修改時間。

#touch /usr/local/mpi/etc/mpd.conf

#chmod 600 /usr/local/mpi/etc/mpd.conf

⑤ 最后創(chuàng)建主機名稱集合文件etc/mpd.hosts，文件內容為四個主機名。

(4) 查錯

啟動單節(jié)點和集群，上面運行測試程序，運行正常的話，利用mpdcheck，對每個節(jié)點和每兩個節(jié)點進行查錯。

3 測試

在建立的集群上運行了MPICH的圓周率程序和分塊矩陣乘法程序，運行結果如表2所示。

表2 測試結果對照表

4 結論

利用集群系統(tǒng)的研究與應用已成為熱點，它具有高性價比、高可擴展性、靈活的系統(tǒng)結構等其它并行系統(tǒng)不可代替的優(yōu)勢。而在PC普及的今天，PC集群具有很多的優(yōu)點及很大的發(fā)展空間。本文的實例表明，基于PC集群的MPI并行環(huán)境是易構建的，對于大量數據計算，性能更佳。由于參與運算的機器需要通過網絡傳遞一些消息，如果計算量不大的話，通信開銷影響會比較明顯，反不如單機來得快。

[1] 徐巍,.李玉榕.MPICH在集群系統(tǒng)中的運用.福建工程學院學報.

[2] 鎮(zhèn)方雄.PC集群的建立和MPI并行環(huán)境的實現與編程.咸寧學院學報.

[3] 鄒凱.Linux Cluster and Storage.

[4] 都志輝,李三立,陳渝等.高性能計算之并行編程技術-MPI并行程序設計.清華大學出版社.