◆韓 菲 李 煒

?

分布式獨(dú)立內(nèi)存簡易高性能計(jì)算集群搭建測試與應(yīng)用

◆韓 菲1李 煒2

（1.聯(lián)想（北京）有限公司 北京 100094；2.聯(lián)想（北京）信息技術(shù)有限公司 北京 100094）

高性能計(jì)算技術(shù)對地震勘探的影響非常巨大，高性能計(jì)算集群為地震數(shù)據(jù)處理提供了越來越高的硬件保障。本文提出一種基于Linux系統(tǒng)的小型高性能計(jì)算集群的構(gòu)建方案，并結(jié)合三維地震數(shù)據(jù)進(jìn)行疊前偏移計(jì)算，對集群浮點(diǎn)運(yùn)算性能進(jìn)行分析測試。結(jié)果表明，此架構(gòu)能夠有效解決大規(guī)模并行計(jì)算問題，提高計(jì)算速度并且降低計(jì)算成本。

高性能計(jì)算；計(jì)算效率；集群搭建

0 引言

隨著計(jì)算機(jī)的廣泛應(yīng)用和性能的大幅度提高，計(jì)算機(jī)處理問題的規(guī)模也越來越大。尤其在地震勘探領(lǐng)域中，快速處理大規(guī)模地震數(shù)據(jù)的要求與日俱增[1]。地震勘探方法是目前使用最為廣泛、解決油氣勘探問題最為有效的地球物理方法。該原理是利用人工方法引起地殼震動(dòng)，再用精密儀器按一定的觀測方式記錄爆炸后地面上各接收點(diǎn)的振動(dòng)信息，通過分析和處理這些大量數(shù)據(jù)推斷地下的地質(zhì)構(gòu)造。該方法收集到的數(shù)據(jù)都達(dá)到TB級別，海洋探測的數(shù)據(jù)量更是以PB級別為單位。高性能計(jì)算機(jī)若在短時(shí)間內(nèi)完成對這種數(shù)據(jù)的分析，需要具有驚人的計(jì)算能力[2]。因此，計(jì)算機(jī)的高性能計(jì)算能力在地震勘探領(lǐng)域中的地位舉足輕重，提高計(jì)算機(jī)的并行處理能力和浮點(diǎn)運(yùn)算能力勢在必行。目前，單個(gè)處理器的計(jì)算性能可提升的空間有限。將一組高性能計(jì)算機(jī)連接起來組成具有并行結(jié)構(gòu)的高性能集群，實(shí)現(xiàn)高效并行計(jì)算，是滿足科學(xué)和工程計(jì)算問題中高性能數(shù)據(jù)處理要求的一種有效途徑。

計(jì)算機(jī)集群是指多臺(tái)同構(gòu)或異構(gòu)的計(jì)算機(jī)用某種方式連接起來，協(xié)同完成特定的任務(wù)計(jì)算機(jī)系統(tǒng)。目前計(jì)算機(jī)集群技術(shù)按照使用目的可分為三類：高可用集群(High Availability Cluster)、負(fù)載均衡集群(Load Balance Cluster)、科學(xué)計(jì)算集群(High Performance Computing Cluster)。高可用集群，利用集群管理軟件，當(dāng)主服務(wù)器出現(xiàn)故障時(shí)，備份服務(wù)器能夠自動(dòng)接管主服務(wù)器的工作，并及時(shí)切換過去，以實(shí)現(xiàn)對用戶的不間斷服務(wù)；負(fù)載均衡集群，負(fù)載壓力根據(jù)某種算法合理分配到集群中的每一臺(tái)計(jì)算機(jī)上，以減輕主服務(wù)器的壓力，降低對主服務(wù)器的硬件和軟件要求[3]?？茖W(xué)計(jì)算集群，即充分利用集群中的每一臺(tái)計(jì)算機(jī)的資源，實(shí)現(xiàn)復(fù)雜運(yùn)算的并行處理，通常用于科學(xué)計(jì)算領(lǐng)域。集群所用計(jì)算機(jī)可以是工作站或者普通PC機(jī)。針對地震資料處理的高吞吐量、高計(jì)算量等特點(diǎn)，本文提出了使用linux PC機(jī)構(gòu)建小型高性能計(jì)算集群，用來解決大型地震數(shù)據(jù)處理問題的解決方案。

1 基于Linux簡易集群搭建

集群是由一組獨(dú)立的計(jì)算機(jī)系統(tǒng)構(gòu)成的一個(gè)松耦合的多處理器系統(tǒng)，通過網(wǎng)絡(luò)技術(shù)將一組工作站或PC機(jī)連接起來，計(jì)算機(jī)之間高度緊密地協(xié)同工作，像一個(gè)單獨(dú)集成的計(jì)算資源運(yùn)行一組共用的應(yīng)用程序，為用戶和應(yīng)用程序提供類似單機(jī)系統(tǒng)的功能。

1.1 集群基本概念

（1）節(jié)點(diǎn)

在高性能計(jì)算集群中，主要功能節(jié)點(diǎn)有管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)。集群中的每臺(tái)計(jì)算機(jī)都是集群節(jié)點(diǎn)(node)。管理節(jié)點(diǎn)一般兼具登錄節(jié)點(diǎn)的功能，成為高性能集群的入口，作為集群中心的“核心”領(lǐng)導(dǎo)者，控制其他計(jì)算機(jī)，管理和監(jiān)控各個(gè)節(jié)點(diǎn)的系統(tǒng)狀態(tài)和網(wǎng)絡(luò)狀態(tài)，為其他計(jì)算機(jī)分配計(jì)算任務(wù)，調(diào)度負(fù)載，安裝計(jì)算節(jié)點(diǎn)所需軟件，一般稱為集群的主節(jié)點(diǎn)[4]。

計(jì)算節(jié)點(diǎn)是整個(gè)集群系統(tǒng)的重要組成部分，執(zhí)行并行計(jì)算任務(wù)。單個(gè)計(jì)算節(jié)點(diǎn)CPU主頻越高，內(nèi)存越大，總線帶寬越高，對計(jì)算效率的提高越有利。因此在選擇硬件的架構(gòu)方式時(shí)，硬件的參數(shù)也考慮到其中。

存儲(chǔ)節(jié)點(diǎn)一般也兼具I/O節(jié)點(diǎn)功能，連接到外部磁盤陣列,形成網(wǎng)絡(luò)存儲(chǔ)，存儲(chǔ)大量地震數(shù)據(jù)。存儲(chǔ)基本模式分有NAS(Network Attached Storage)，SAN(Storage Area Network and SAN Protocols)。NAS被定義為一種專用數(shù)據(jù)存儲(chǔ)服務(wù)器，磁盤陣列，和內(nèi)嵌系統(tǒng)軟件，可提供跨平臺(tái)文件共享功能，并且方便配置，有效降低總擁有成本，保護(hù)不必要的存儲(chǔ)投資。架構(gòu)方式如圖1。

圖1 NAS網(wǎng)絡(luò)存儲(chǔ)基本架構(gòu)

SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)，是一種高速網(wǎng)絡(luò)。提供在計(jì)算機(jī)與存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)傳輸。當(dāng)前常見的可使用SAN技術(shù)，如Lenovo的光纖存儲(chǔ)，或者說是一種更新的光纖信道技術(shù)[5]。SCSI和ISCSI在存儲(chǔ)區(qū)域網(wǎng)絡(luò)中也運(yùn)用高速以太網(wǎng)協(xié)議，目前是兩種廣泛的存儲(chǔ)區(qū)域網(wǎng)絡(luò)協(xié)議。架構(gòu)方式如圖2，圖2中藍(lán)色線表示存儲(chǔ)使用光纖網(wǎng)絡(luò)技術(shù)連接。

圖2 SAN網(wǎng)絡(luò)存儲(chǔ)基本架構(gòu)

（2）節(jié)點(diǎn)間通信

集群中計(jì)算節(jié)點(diǎn)需要通過遠(yuǎn)程通信協(xié)議來完成任務(wù)的接受和執(zhí)行，ssh和rsh是目前最為流行的兩種遠(yuǎn)程通信協(xié)議。本集群建立節(jié)點(diǎn)無密碼ssh訪問實(shí)現(xiàn)節(jié)點(diǎn)間通信技術(shù)，為的是讓節(jié)點(diǎn)與節(jié)點(diǎn)之間是更高效的更快速緊密的進(jìn)行通訊。ssh是secure shell的縮寫，是建立在應(yīng)用層和傳輸層基礎(chǔ)上的安全協(xié)議，起作用是提供安全快捷的遠(yuǎn)程管理服務(wù)[6]。在計(jì)算機(jī)集群中，每個(gè)節(jié)點(diǎn)都需要分擔(dān)一定的任務(wù)，而這些任務(wù)都是有執(zhí)行任務(wù)的主節(jié)點(diǎn)發(fā)起的。集群網(wǎng)絡(luò)中MPICH的通信，其余節(jié)點(diǎn)通過遠(yuǎn)程通信協(xié)議來完成任務(wù)的接收和執(zhí)行。

（3）文件共享

集群系統(tǒng)需要共享各種數(shù)據(jù)文件，并行編程環(huán)境，處理地震數(shù)據(jù)，使用常用軟件和地球物理軟件。選用NFS，將這些文件在同一個(gè)路徑下共享，其他所有計(jì)算機(jī)可以對這些共享文件運(yùn)行和讀寫。NFS(Network File System)即網(wǎng)絡(luò)文件系統(tǒng)，是一種在網(wǎng)絡(luò)上的機(jī)器間共享文件的方法[7]，文件如同客戶的本地磁盤驅(qū)動(dòng)器上一樣。NFS構(gòu)建一個(gè)單一映像系統(tǒng)，如采用NFS將管理節(jié)點(diǎn)的文件系統(tǒng)掛載到本地文件系統(tǒng)中，只需在管理節(jié)點(diǎn)/etc/export文件中加入需要共享的目錄，目錄下安裝一次所需軟件，其他計(jì)算機(jī)都可共享使用。

（4）并行編程環(huán)境

本集群并行編程環(huán)境采用消息傳遞接口MPI(message passing interface)。不同編程模型對應(yīng)不同的編程環(huán)境。MPI是一個(gè)庫，一種規(guī)范，是目前最流行的分布存儲(chǔ)并行編程環(huán)境。MPI已經(jīng)和fortran語言、C語言、C++語言綁定，它有較高的通信性能，很好的可移植性和強(qiáng)大的功能。目前MPICH已經(jīng)發(fā)展到2.0版本，它包括200多個(gè)函數(shù)，功能強(qiáng)大。

（5）作業(yè)管理系統(tǒng)

作業(yè)管理系統(tǒng)提供對批量作業(yè)的定義、提交、調(diào)度、執(zhí)行、監(jiān)控機(jī)制，有軟件管理機(jī)制和系統(tǒng)管理機(jī)制。系統(tǒng)管理機(jī)制使用Linux操作系統(tǒng)的top、netstat等系統(tǒng)監(jiān)測命令，如地震數(shù)據(jù)處理軟件cgg軟件中的scp模塊功能，它能反映出系統(tǒng)使用狀態(tài)、使用率、I/O等待情況、用戶使用情況。從而更加有效地利用系統(tǒng)資源，平衡網(wǎng)絡(luò)負(fù)載和提高系統(tǒng)整體性能，最終應(yīng)用在大型高性能集群系統(tǒng)上[8]。使系統(tǒng)或用戶提交的作業(yè)以批處理的方式進(jìn)行地震數(shù)據(jù)的計(jì)算處理。

1.2 集群硬件環(huán)境搭建

硬件是整個(gè)集群系統(tǒng)的物理基礎(chǔ)，硬件的選擇主要取決于用戶對集群的功能、性能以及價(jià)格等因素要求。在開始搭建Linux高性能計(jì)算集群之前，先了解一下硬件環(huán)境，硬件與操作系統(tǒng)的關(guān)系也很大。

集群由多臺(tái)同構(gòu)或異構(gòu)的計(jì)算機(jī)通過某種方式連接起來。Message Passing Interface，MPI，消息傳遞接口，可以實(shí)現(xiàn)節(jié)點(diǎn)與節(jié)點(diǎn)之間的通信，但會(huì)帶來沒有必要的額外資源開銷。分布式內(nèi)存系統(tǒng)會(huì)迫使您考慮數(shù)據(jù)分割問題，因?yàn)槊恳粋€(gè)獲取遠(yuǎn)程數(shù)據(jù)的消息都會(huì)產(chǎn)生一個(gè)嚴(yán)重的延遲。通過增加節(jié)點(diǎn)的方式增加CPU的數(shù)量，分布式內(nèi)存的系統(tǒng)提供了很好的可擴(kuò)展性。本文搭建的分布式獨(dú)立內(nèi)存集群，含一個(gè)管理節(jié)點(diǎn)與一組同構(gòu)計(jì)算節(jié)點(diǎn)，通過網(wǎng)絡(luò)相連的構(gòu)建集群。每個(gè)節(jié)點(diǎn)具有獨(dú)立的內(nèi)存，并且互補(bǔ)占用資源。

在該集群方案中，設(shè)置1個(gè)管理節(jié)點(diǎn)，6個(gè)計(jì)算節(jié)點(diǎn)，1個(gè)I/O節(jié)點(diǎn)，其中管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)及I/O節(jié)點(diǎn)都是同一個(gè)性能。使用的是HP 920cn機(jī)器，CPU選用Intel 處理器 2.6GHz，內(nèi)存4GB，600GB硬盤空間。I/O節(jié)點(diǎn)連接一個(gè)NAS盤陣，一套千兆交換機(jī)，因?yàn)橹挥幸粔K網(wǎng)卡，所以直接從訪問層到計(jì)算層，如圖3所示。

1.3 集群軟件系統(tǒng)配置

（1）操作系統(tǒng)的選擇

常見的操作系統(tǒng)有Windows、Linux、Unix以及Mac OS。Linux系統(tǒng)是由全世界各地成千上萬的程序員設(shè)計(jì)和實(shí)現(xiàn)的，其目的是建立不受任何商業(yè)化軟件的版權(quán)制約的操作系統(tǒng)，全世界都能自由使用UNIX兼容產(chǎn)品。在性能上與商業(yè)產(chǎn)品相比毫不遜色，且價(jià)格低廉，源碼開放。Linux的版本目前有RedHat linux、Debian linux、Suse linux等，很多地球物理軟件在Linux環(huán)境下開發(fā)和運(yùn)行。同時(shí)，Linux操作系統(tǒng)集群具有擴(kuò)展性，高可用性，非常適用于程序開發(fā)與批量處理，并且對不同的硬件架構(gòu)具有很好的兼容性，無論是同構(gòu)還是異構(gòu)系統(tǒng)都可以用來構(gòu)造集群。本集群選用Linux操作系統(tǒng)(Redhat Enterprise 5.4 X86_64 64)，

圖3 計(jì)算機(jī)集群系統(tǒng)結(jié)構(gòu)圖

（2）系統(tǒng)服務(wù)的構(gòu)建

在構(gòu)建服務(wù)上本文采用較為原始簡易的方法來構(gòu)建：

帳戶構(gòu)建：將所有節(jié)點(diǎn)的帳戶共享，將/etc目錄下的passwd、group、shadow都與主節(jié)點(diǎn)同步，將home目錄在主節(jié)點(diǎn)上掛載，從主節(jié)點(diǎn)收集所有計(jì)算節(jié)點(diǎn)的公鑰。

網(wǎng)絡(luò)傳輸：將ssh、rsh、dsh等做好無密碼之間傳輸服務(wù)，如/etc下的hosts、hosts.deny等文件。

文件共享：NFS (network file system) 配置從/etc目錄的export文件共享。設(shè)置的時(shí)候注意格式以及權(quán)限設(shè)置，都可以在export文件里寫清楚。

文件掛載：這個(gè)過程關(guān)鍵重要(file system mount)，可以將其寫入到開啟自動(dòng)啟動(dòng)，否則每次開機(jī)啟動(dòng)的時(shí)候會(huì)非常繁瑣。

Yum配置：在Linux操作系統(tǒng)上，如果需要安裝軟件，就需要解決系統(tǒng)和軟件之間的軟件包的依賴關(guān)系，yum是Linux系統(tǒng)里面的一個(gè)快速安裝的管理命令。功能強(qiáng)大，效率高，系統(tǒng)缺少安裝包一步到位。

防火墻配置：防火墻關(guān)系到主機(jī)與訪問端的連接問題，以及數(shù)據(jù)遠(yuǎn)程拷貝問題。本文中最終涉及到的技術(shù)問題的一部分系統(tǒng)配置也將是在這里。

2 簡易集群性能測試及其應(yīng)用

2.1 MPI軟件的安裝及應(yīng)用

MPI是一種消息傳遞編程模型，并成為這種編程模型的代表。事實(shí)上，標(biāo)準(zhǔn)版MPI雖然很龐大，但是它的最終目的是服務(wù)于進(jìn)程間通信這一目的。MPI適用于Windows、Linux等不同操作系統(tǒng)，同時(shí)也適用于工作站、服務(wù)器、PC機(jī)。

（1）并行軟件安裝：

軟件安裝版本：mpich2-1.2.1p1.tar.gz

軟件安裝路徑：/opt/mpi

解壓軟件路徑：

tar zxvf mpich2-1.2.1p1.tar.gz –C/opt (壓縮包解壓到/opt)

cd /opt/mpich2-1.2.1p1 (進(jìn)入壓縮包)

./config --prefix=/opt/mpi (設(shè)置安裝路徑：/opt/mpi)

make

make install

(2)設(shè)置mpi環(huán)境變量：

環(huán)境變量以csh為例：setenv PATH /opt/mpi/bin:$PATH (添加到.cshrc)

環(huán)境變量以bash為例：PATH=/opt/mpi/bin:$PATH (添加到.bashrc)

(3)測試命令

which mpd

which mpiexec

which mpirun

(4)添加.mpd.conf

添加完成后用vi 編輯器打開加入內(nèi)容：secretword=

修改.mpd.conf權(quán)限 chmod 600 .mpd.conf

2.2 簡易集群MPI并行環(huán)境測試

（1）MPI測試

簡易集群并行MPI程序在linuxhp01-linuxhp07都已經(jīng)安裝。管理節(jié)點(diǎn)確定為linuxhp02，所有的軟件配置文件都在該主機(jī)上。

進(jìn)行測試機(jī)器有：linuxhp02 用戶：user01 和linuxhp01 用戶：user01

在程序目錄下創(chuàng)建mpd.hosts文件。啟動(dòng)mpd & (在linuxhp01與linuxhp02分別啟動(dòng))；啟動(dòng)后在任意機(jī)器上執(zhí)行：mpdboot –n 2 (參數(shù)n,與參數(shù)2表示用2臺(tái)主機(jī))。如圖4所示：仔細(xì)觀察這臺(tái)機(jī)器是linuxhp02 啟動(dòng)mpd & 后使用pseaf | grep mpd 可以查看到進(jìn)程ID 30147 mpd啟動(dòng)成功。從linuxhp02節(jié)點(diǎn)登陸到linuxhp01節(jié)點(diǎn)。

圖4 mpd加節(jié)點(diǎn)進(jìn)程啟動(dòng)

在linuxhp01下執(zhí)行ps –eaf | grep mpd 可以看到linuxhp02的進(jìn)程ID36435 在linuxhp01下啟動(dòng)成功，如圖5所示。

圖5 所示linuxhp01進(jìn)程ID36435

（2）程序測試

在程序目錄里面建立：mpd.hosts文件，啟用的兩個(gè)節(jié)點(diǎn)主機(jī)名寫入：

linuxhp01

linuxhp02

啟動(dòng)mpd后,執(zhí)行mpdbootn 2 執(zhí)行完后主機(jī)不會(huì)給我們?nèi)魏翁崾?，但我們可以查到它的進(jìn)程。

運(yùn)行程序：mpirunnp 2 ./3D_QMIG_NEW 運(yùn)行狀態(tài)如圖9所示，兩臺(tái)主機(jī)正在運(yùn)算，如圖6所示。

圖6 MPI作業(yè)執(zhí)行和運(yùn)行

用Linux操作系統(tǒng)的top命令查看兩臺(tái)主機(jī)消耗的CPU狀態(tài)、內(nèi)存狀態(tài)及其他系統(tǒng)資源狀態(tài)，如圖7所示。

圖7 主機(jī)狀態(tài)

(a) linuxhp01主機(jī)狀態(tài)；(b)linuxhp02主機(jī)狀態(tài)

（3）測試結(jié)果

在整個(gè)測試的過程中系統(tǒng)運(yùn)行狀態(tài)良好，目前運(yùn)行的是三維地震數(shù)據(jù)疊前偏移算法，并行效率與集群的軟硬件搭建情況和并行算法的設(shè)計(jì)都有很大關(guān)系。如圖8所示，使用四個(gè)節(jié)點(diǎn)計(jì)算圓周率得出來的結(jié)果。使用1個(gè)節(jié)點(diǎn)的計(jì)算時(shí)間約21s，使用6個(gè)節(jié)點(diǎn)并行計(jì)算，約為4.6s。節(jié)點(diǎn)數(shù)越多，并行效率越高，計(jì)算時(shí)間越短，大大的提高了計(jì)算的速度和提高效率。

圖8 測試圓周率所有時(shí)間與節(jié)點(diǎn)個(gè)數(shù)之間的關(guān)系

3 總結(jié)與展望

本文通過搭建小型計(jì)算機(jī)集群來展示高性能計(jì)算集群的搭建方法和過程，高性能計(jì)算不僅能夠節(jié)省計(jì)算時(shí)間，提高計(jì)算精度，而且能夠解決超大規(guī)模并行計(jì)算問題，目前使用簡易型小集群在處理工作量小的數(shù)據(jù)很有幫助，處理較大量級的地震數(shù)據(jù)量表現(xiàn)為較為吃力。目前商業(yè)化的高性能計(jì)算集群技術(shù)非常成熟，硬件如LENOVO FlexSystem刀片節(jié)點(diǎn)、NextScale高密度節(jié)點(diǎn)。本文未來向商業(yè)化集群技術(shù)學(xué)習(xí)、模仿與實(shí)踐，將計(jì)算資源最大化利用。

[1]李根國，桂亞東，劉欣. 淺談高性能計(jì)算的地位及應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件，2006.

[2]姚益平，劉剛.面向大規(guī)模體系仿真的高性能仿真計(jì)算機(jī)系統(tǒng)[J].系統(tǒng)仿真學(xué)報(bào)，2011.

[3]黃訸，易曉東，李妍妍等.面向高性能計(jì)算機(jī)的海量數(shù)據(jù)處理平臺(tái)實(shí)現(xiàn)與評測[J].計(jì)算機(jī)研究與發(fā)展，2012.

[4]孫立華，胡牧，孟慶強(qiáng)等.配網(wǎng)線損大數(shù)據(jù)高性能計(jì)算解決方案[J].計(jì)算機(jī)與現(xiàn)代化，2016.

[5]陳新宇，劉倩，張寶花等.基于高性能計(jì)算環(huán)境的科學(xué)計(jì)算應(yīng)用平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].科研信息化技術(shù)與應(yīng)用，2016.

[6]張軼凡，盧正興，王芙蓉.Linux下高性能網(wǎng)絡(luò)I/O解決方案分析[J].現(xiàn)代計(jì)算機(jī)，2006.

[7]顧夢非，徐煒民.一個(gè)基于Linux的集群部署方案[J].計(jì)算機(jī)應(yīng)用與軟件，2008.

[8]徐成俊，馮婕，李繼宏等.一種高性能計(jì)算網(wǎng)絡(luò)安全解決方案[J].福建電腦，2008.