孟玲玲

(河南師范大學(xué) 網(wǎng)絡(luò)中心，河南 新鄉(xiāng) 453007)

高性能計算集群系統(tǒng)建設(shè)與運(yùn)行管理研究

孟玲玲

(河南師范大學(xué) 網(wǎng)絡(luò)中心，河南 新鄉(xiāng) 453007)

高性能計算集群系統(tǒng)是一種投入較大、設(shè)備更新速度較快的大型儀器設(shè)備系統(tǒng)。探討了以科學(xué)計算為基礎(chǔ)的高性能計算集群系統(tǒng)建設(shè)、高效運(yùn)行及可持續(xù)維護(hù)管理問題。以河南師范大學(xué)高性能計算中心為例，對中心高性能計算集群系統(tǒng)建設(shè)經(jīng)驗及特點進(jìn)行了介紹。

高性能計算；集群建設(shè)；作業(yè)調(diào)度；安全管理；運(yùn)維管理

0 引言

河南師范大學(xué)網(wǎng)絡(luò)中心于2014年成立了高性能計算中心，簡稱HPC。 HPC中心是一個硬件先進(jìn)、功能齊全、資源豐富，面向全校師生提供高性能計算服務(wù)的開放性公共基礎(chǔ)設(shè)施。HPC中心搭建了高可靠、運(yùn)行良好的HPC集群系統(tǒng)，該系統(tǒng)由硬件系統(tǒng)、軟件管理系統(tǒng)、環(huán)境監(jiān)控系統(tǒng)3部分構(gòu)成，采用機(jī)架式，可動態(tài)擴(kuò)展，運(yùn)營以來大大改善了科研人員從事大型數(shù)值模擬計算的硬件條件，本文對系統(tǒng)合理建設(shè)、高效利用和有效管理進(jìn)行了探討。

1 HPC集群系統(tǒng)

高性能計算(High-performance computing)是計算機(jī)科學(xué)的一個分支，它致力于開發(fā)超級計算機(jī)，研究并行算法，開發(fā)相關(guān)軟件。高性能計算集群主要用于處理復(fù)雜的計算問題，應(yīng)用在需要大規(guī)?？茖W(xué)計算的環(huán)境中，如天氣預(yù)報、石油勘探與油藏模擬、分子模擬、基因測序等。本文研究內(nèi)容是高性能計算集群系統(tǒng)[1-6]。高性能計算集群上運(yùn)行的應(yīng)用程序一般使用并行算法，把一個大的普通問題按照一定的規(guī)則分為許多小的子問題，在集群內(nèi)的不同節(jié)點上進(jìn)行計算[7]，而這些小問題的處理結(jié)果，經(jīng)過處理可合并為原問題的最終結(jié)果。這些小問題的計算一般可以并行完成，從而縮短問題的處理時間。高性能計算集群在計算過程中各節(jié)點是協(xié)同工作的，它們分別處理大問題的一部分，并在處理中根據(jù)需要進(jìn)行數(shù)據(jù)交換，各節(jié)點的處理結(jié)果都是最終結(jié)果的一部分。高性能計算集群的處理能力與集群規(guī)模成正比，是集群內(nèi)各節(jié)點處理能力之和。

1.1 HPC集群硬件配置

河南師范大學(xué)高性能網(wǎng)格計算平臺硬件為IBM Flex System刀片服務(wù)器，其體系結(jié)構(gòu)(見圖1)為高性能計算集群架構(gòu)，平臺由140臺IBM Flex System X240兩路刀片服務(wù)器計算節(jié)點、2臺管理和登錄節(jié)點以及高性能存儲系統(tǒng)組成，所有節(jié)點通過56Gb Infiniband高速網(wǎng)絡(luò)連接。該計算平臺浮點運(yùn)算次數(shù)理論峰值達(dá)到39.424TFlops，存儲能力為120 TB(60*2TB NL SAS)。此外還有機(jī)柜、供電系統(tǒng)、布線系統(tǒng)、散熱系統(tǒng)、主控制臺等。

1.2 軟件配置

登陸節(jié)點機(jī)器名：login；登陸節(jié)點地址：sc.htu.cn(校內(nèi)直接登陸，校外須使用VPN后登陸)；運(yùn)算節(jié)點名：c01n01-c10n14；各節(jié)點配置：兩個Intel XEON E5-2660 8核主頻2.2GHz CPU(共16核)、32GB內(nèi)存及300GB SAS硬盤；計算網(wǎng)絡(luò)：56Gbps InfiniBand高速計算網(wǎng)和千兆以太網(wǎng)；管理網(wǎng)絡(luò)：千兆以太網(wǎng)；操作系統(tǒng)：x86_64架構(gòu)的64位RHELS6.4-x86_64；編譯器：Intel、PGI和GNU等C/C++ Fortran編譯器；數(shù)值函數(shù)庫：Intel MKL；并行環(huán)境：Intel MPI和Open MPI等，支持MPI等分布式內(nèi)存程序：節(jié)點內(nèi)和節(jié)點間；OpenMP等共享內(nèi)存程序：節(jié)點內(nèi)；資源管理和作業(yè)調(diào)度：IBM Platform LSF。

1.3 HPC集群特點

高性能計算集群具有以下特點：①高可用性。本身互為冗余節(jié)點，能夠為用戶提供不間斷服務(wù)。系統(tǒng)包括了多個結(jié)點，當(dāng)一個結(jié)點出現(xiàn)故障時，整個系統(tǒng)仍然能繼續(xù)為用戶提供服務(wù)；②高可擴(kuò)展性。在集群系統(tǒng)中可以動態(tài)加入新的服務(wù)器，刪除需要淘汰的服務(wù)器，從而能夠最大限度地擴(kuò)展系統(tǒng)以滿足不斷增長的應(yīng)用需要；③多用戶和多任務(wù)。Linux系統(tǒng)是一個分時多任務(wù)環(huán)境，它可以同時做多個事情。Linnux系統(tǒng)可以處理一個用戶的多個要求，并支持多人同時活動。

圖1 HPC集群系統(tǒng)結(jié)構(gòu)

2 HPC集群運(yùn)行管理

HPC集群是置于網(wǎng)絡(luò)中的一臺具有服務(wù)器功能，并能進(jìn)行大型數(shù)值模擬計算的大型設(shè)備，按照用戶需求，此設(shè)備需要7×24小時×365天不間斷運(yùn)行。因此，網(wǎng)絡(luò)運(yùn)行和安全運(yùn)維管理非常重要。采取LSF作業(yè)管理系統(tǒng)進(jìn)行調(diào)度管理，合理分布資源池；同時采取一系列的安全和運(yùn)維管理，以保證系統(tǒng)更好地為科研服務(wù)。

2.1 LSF作業(yè)管理系統(tǒng)

HPC集群系統(tǒng)采用LSF(Load Sharing Facility)作業(yè)管理系統(tǒng)(見圖2)運(yùn)行。LSF是分布資源管理工具[4-7]，用來調(diào)度、監(jiān)視、分析聯(lián)網(wǎng)計算機(jī)負(fù)載、故障分析、作業(yè)提交與管理、資源管理、系統(tǒng)監(jiān)視等功能。河南師范大學(xué)HPC中心采用IBMPlatformLSFV9.1進(jìn)行資源作業(yè)。

圖2 HPC集群系統(tǒng)管理、作業(yè)調(diào)度及運(yùn)行監(jiān)控

根據(jù)用戶作業(yè)提出的需求分配對應(yīng)資源給作業(yè)，避免作業(yè)間無序干擾，盡量使整個系統(tǒng)負(fù)載均衡，保證用戶占用資源公平。鑒于LSF作業(yè)調(diào)度在集群管理系統(tǒng)的重要地位，制定了高性能計算集群使用規(guī)范，基本原則是：

(1) 所有需要運(yùn)行的作業(yè)必須通過作業(yè)提交命令bsub提交。

(2) HPC要求用戶在使用集群系統(tǒng)時，一律通過安裝在相應(yīng)集群上的作業(yè)管理系統(tǒng)提交作業(yè)，進(jìn)行計算，不可繞過作業(yè)管理系統(tǒng)使用超算集群。

(3)作業(yè)應(yīng)提交到合適隊列，鼓勵提交運(yùn)行時間短的作業(yè)。

(4)提交后可利用相關(guān)命令查詢作業(yè)狀態(tài)。

2.2 HPC集群安全管理

為保證集群系統(tǒng)運(yùn)行安全，防止物理因素、自然因素和人為因素對集群的破壞，HPC中心為集群系統(tǒng)建設(shè)了標(biāo)準(zhǔn)機(jī)房，配備機(jī)房空調(diào)冷風(fēng)道設(shè)施，常年保持標(biāo)準(zhǔn)溫度；配備不間斷電源UPS，以保證短時間停電等突發(fā)狀況下不影響系統(tǒng)正常工作；在不得不關(guān)機(jī)的情況下，系統(tǒng)能夠?qū)⒂脩舻某绦蚪財?、保存、再恢?fù)。保證用戶作業(yè)公平合理，共享計算資源，提高計算資源利用率和作業(yè)吞吐量，同時保障計算資源7×24×365不間斷運(yùn)行。具體措施有：①用戶應(yīng)自覺遵守有關(guān)保密制度，不利用高性能計算中心計算資源泄露國家機(jī)密，或從事違法犯罪活動；②不擅自轉(zhuǎn)讓、出借用戶帳號，將口令隨意告訴他人；也不借用他人帳戶使用計算資源；③不使用軟件或硬件方法竊取他人口令，非法入侵他人帳戶，閱讀他人文件，竊取他人計算研究成果或受法律保護(hù)的資源；④自覺遵守國家有關(guān)保護(hù)知識產(chǎn)權(quán)的各項規(guī)定，不在高性能計算中心集群上擅自復(fù)制和使用未經(jīng)授權(quán)的程序和文件，擅自傳播或拷貝享有版權(quán)的軟件，違反者責(zé)任自負(fù)；⑤用戶不得利用高性能計算中心制造和傳播計算機(jī)病毒；禁止破壞數(shù)據(jù)、破壞程序或其它行為；⑥用戶應(yīng)對自己的作業(yè)和結(jié)果安全負(fù)責(zé)，防止發(fā)生數(shù)據(jù)損壞、丟失和泄密事故。

2.3 HPC集群運(yùn)維管理

HPC中心要求設(shè)備管理人員必須站在信息化建設(shè)前沿，積極參加高性能計算研討會，及時了解設(shè)備管理更新升級信息，使儀器設(shè)備維護(hù)管理科學(xué)化、規(guī)范化、先進(jìn)化[3]；加強(qiáng)日常檢查，要經(jīng)常查看系統(tǒng)日志文件并分析，從中發(fā)現(xiàn)問題，及時解決問題。定期檢查，確保設(shè)備處于正常工作狀態(tài)。根據(jù)硬件設(shè)備報警信息判斷出現(xiàn)問題設(shè)備，發(fā)現(xiàn)問題及時解決；做好設(shè)備檢查和維護(hù)記錄，對于設(shè)備經(jīng)常發(fā)生的故障要熟練掌握解決方法，及時排除故障。

HPC中心通過Web瀏覽器使用局域網(wǎng)、VPN(虛擬專用網(wǎng)絡(luò))、互聯(lián)網(wǎng)訪問計算資源。通過定制的Web portal集成用戶各類應(yīng)用軟件(包括用戶自編軟件)。無需安裝客戶端，終端用戶通過圖形界面就能完成作業(yè)遞交、文件傳輸、作業(yè)中間結(jié)果在線查看、過往作業(yè)查詢等工作，大大方便了用戶使用。

3 結(jié)語

河南師范大學(xué)HPC中心，通過合理的集群系統(tǒng)運(yùn)行和管理制度執(zhí)行，構(gòu)建了一個良好的適用于科研的HPC平臺，為科研工作作出了貢獻(xiàn)。為了更好地服務(wù)于廣大師生，還需要進(jìn)一步加強(qiáng)HPC中心建設(shè)，認(rèn)真學(xué)習(xí)設(shè)備生產(chǎn)商提供的各項技術(shù)資料，滿足科研工作者更多需求。

[1] 關(guān)偉豪，吳汝明，郭清順，等.中山大學(xué)高性能計算服務(wù)平臺的建設(shè)[J].實驗技術(shù)與管理，2011,8(4)：303-306.

[2] 黃建忠，張滬寅，程媛.開放式高性能計算平臺的建設(shè)與研究[J].計算機(jī)教育，2012(22):55-59.

[3] 初建崇，韓海濤，張來紅，等.新形勢下提升教學(xué)儀器設(shè)備保障管理能力研究[J].實驗技術(shù)與管理，2013,30(6)：217-219.

[4] 安喜鋒.高性能計算集群管理系統(tǒng)與作業(yè)調(diào)度技術(shù)研究與實現(xiàn)[D].西安：西北工業(yè)大學(xué)，2005.

[5] 李薛劍.高性能計算平臺在高校中的應(yīng)用及服務(wù)模式探索[J].電腦知識與技術(shù)，2015(1)：42-43.

[6] 林皎，張武生，徐偉平.高性能計算平臺開放服務(wù)的探索與實踐[J].實驗技術(shù)與管理，2012,29(3):334-336.

[7] 王陽，周智力，盧康.高性能計算集群調(diào)度策略優(yōu)化及應(yīng)用程序并行效率研究[J].硅谷，2013(20):31-32.

(責(zé)任編輯：杜能鋼)

孟玲玲(1984-)，女，河南正陽人，碩士，河南師范大學(xué)網(wǎng)絡(luò)中心助理工程師，研究方向為高性能計算、數(shù)值代數(shù)與圖像處理。

10.11907/rjdk.162690

TP319

A

1672-7800(2017)003-0138-02