文/勞鳳丹

當(dāng)前，高性能計算（簡稱“高算”）與大數(shù)據(jù)、人工智能等新興技術(shù)融合加深，應(yīng)用場景不斷豐富，不再限于專業(yè)計算領(lǐng)域，還延伸至商業(yè)領(lǐng)域及日常生活，影響日益深遠。作為科學(xué)研究和人才培養(yǎng)重地，高校對高算的需求尤為迫切。2021年，工業(yè)和信息化部印發(fā)的《新型數(shù)據(jù)中心發(fā)展三年行動計劃（2021—2023 年）》，明確提出要加快高性能、智能計算中心部署，推動新型數(shù)據(jù)中心算力供應(yīng)多元化。在此背景下，高校投資建設(shè)校級高算平臺的趨勢愈發(fā)明顯。然而，高算所需技術(shù)與高校信息化部門已有技能儲備存在較大差異，團隊上手參與建設(shè)存在一定門檻。

校級高算平臺的定位和目標(biāo)是讓科研工作與高算平臺建設(shè)相輔相成，讓科研團隊專注于科研創(chuàng)新，讓算力服務(wù)充分支撐教學(xué)和科研，支持學(xué)科交叉，支持大團隊、大項目產(chǎn)出大成果，滿足各學(xué)科領(lǐng)域?qū)τ诖笠?guī)模數(shù)據(jù)處理和大規(guī)?？茖W(xué)計算的需求。

中國農(nóng)業(yè)大學(xué)校級高算平臺經(jīng)過大半年時間的建設(shè)摸索及試運行，于2022 年6 月正式上線，目前已初步達成預(yù)期建設(shè)效果，資源利用率介于70%～95%，部分大課題組已將全部計算轉(zhuǎn)至校內(nèi)平臺，師生總體滿意度高。

校級高性能計算平臺運行成果

滿足師生科研計算需求，助力成果產(chǎn)出

圍繞“創(chuàng)建高價值、實現(xiàn)低成本、提供優(yōu)服務(wù)”的建設(shè)理念，中國農(nóng)業(yè)大學(xué)校級高算平臺一期總建設(shè)經(jīng)費為400 萬，規(guī)模很小，但在架構(gòu)設(shè)計、設(shè)備組合選型、軟件功能設(shè)計和作業(yè)調(diào)度管理等方面成效明顯。如圖1～2 所示，截至目前，平臺已累計為15 所學(xué)院、141 個賬號提供服務(wù)，完成327679 項作業(yè)、7990369CPU 核時、179138GPU 卡時的計算任務(wù)。平臺CPU資源在工作日的平均利用率超過70%，高峰期高達95%，高算成為校內(nèi)最繁忙的科研公共服務(wù)平臺。

高算平臺成為師生科研工作的重要支撐。據(jù)不完全數(shù)據(jù)統(tǒng)計，自平臺上線以來，依托平臺已產(chǎn)出《自然》《細胞》《科學(xué)》子刊論文4篇，SCI論文11篇（不完全統(tǒng)計），數(shù)十個國家級科研項目正在其上運行計算任務(wù)。

平臺采用先進設(shè)計理念，使用具備一定優(yōu)勢

目前，農(nóng)大校級高算平臺是國內(nèi)最先采用Intel Ice Lake CPU 構(gòu)建的平臺，一期共計部署35 臺計算節(jié)點，總算力每秒251 TFlops（萬億次浮點數(shù)運算），在運算速度、網(wǎng)絡(luò)速度、橫向縱向擴展能力、統(tǒng)一調(diào)度節(jié)能等方面具備一定優(yōu)勢。同時，平臺還支持人工智能算力，采用AI 人工深度學(xué)習(xí)算法框架，使計算模型不受傳統(tǒng)架構(gòu)局限，能夠應(yīng)對眾多來自人工智能的復(fù)雜挑戰(zhàn)。

平臺自上線以來，一直處于供不應(yīng)求狀態(tài)。為解決算力不足問題，平臺正在進行二期建設(shè)（圖3～4），預(yù)計在2023 年下半年建設(shè)完成，計算能力有望提升至1178 TFlops，整體增長3.5 倍，能夠服務(wù)師生更大范圍的科研工作。

圖3 校級高算平臺發(fā)展時間軸

圖4 校級高算平臺算力規(guī)模

校級高性能計算平臺建設(shè)經(jīng)驗

建設(shè)前期充分調(diào)研

在建設(shè)前期，項目組調(diào)研校內(nèi)師生高算需求、兄弟高校高算建設(shè)，并與高算、存儲、GPU 等廠家積極進行技術(shù)交流，在此基礎(chǔ)上分析歸納學(xué)校高性能計算平臺總體建設(shè)思路。此外，考慮到信息技術(shù)發(fā)展較快，項目組對關(guān)鍵設(shè)備系統(tǒng)選型進行充分調(diào)研，確保建設(shè)方案具備一定的先進性和兼容性。

校內(nèi)調(diào)研。首次建設(shè)校級高算平臺，應(yīng)對校內(nèi)高算需求有較為充分的了解。調(diào)研側(cè)重包括：校內(nèi)主要有哪些課題組需要用到算力，其所需支撐軟件、所屬計算領(lǐng)域、算力和存儲需求量是多少；CPU 計算、GPU 計算、胖節(jié)點需求情況；課題組解決計算的途徑及每年大概的計算費用；院系和課題組已自建高算集群情況摸查；等等。調(diào)研可通過網(wǎng)絡(luò)問卷，或定向發(fā)郵件、打電話、學(xué)院走訪交談等多種方式組合開展并匯總數(shù)據(jù)，這些數(shù)據(jù)對于后期規(guī)劃、應(yīng)用安裝和定向精細化服務(wù)均有較大幫助。

校外高校調(diào)研。向先進高校借鑒其成功的建設(shè)和管理經(jīng)驗通常會事半功倍，可在招標(biāo)機構(gòu)網(wǎng)站上搜索并下載校級高算平臺的招標(biāo)技術(shù)需求，或直接打電話請教相關(guān)老師?；谌缟蟽煞N方式，項目組在2021 年先后獲取到了來自北京大學(xué)、清華大學(xué)、復(fù)旦大學(xué)、中國科學(xué)技術(shù)大學(xué)、北京航空航天大學(xué)、北京交通大學(xué)、香港中文大學(xué)（深圳）等高校的高算項目需求文檔。通過通讀、理解多份文檔，迅速和較為深入地了解并把握了高算平臺架構(gòu)、核心技術(shù)、各模塊類別、彼此關(guān)聯(lián)、相關(guān)主流廠家等關(guān)鍵信息。

廠家調(diào)研。分別與主流的高算服務(wù)器廠商、CPU 和GPU 廠商、存儲廠商、高速網(wǎng)絡(luò)廠商、軟件廠商等進行技術(shù)溝通交流，再結(jié)合產(chǎn)品官網(wǎng)介紹，橫向比較同類產(chǎn)品、分析案例和優(yōu)劣勢后，形成自己的知識體系，擇優(yōu)選擇適合學(xué)校應(yīng)用場景的產(chǎn)品。例如，在CPU 通用芯片選型調(diào)研中，Intel 和AMD 尤為關(guān)鍵，調(diào)研主要確定生態(tài)環(huán)境、使用場景，適合高算的芯片型號、芯片性能、芯片價格，等等。

高速網(wǎng)絡(luò)設(shè)計

數(shù)據(jù)傳輸是高性能計算場景中的重要環(huán)節(jié)。為解決高性能計算場景中高帶寬、高并發(fā)、低時延的數(shù)據(jù)傳輸要求，項目組專門采購RDMA 技術(shù)（遠程直接內(nèi)存訪問），而非TCP/IP 以太網(wǎng)技術(shù)來構(gòu)建計算和存儲網(wǎng)絡(luò)，主要目的是以此釋放CPU去執(zhí)行運行程序和處理數(shù)據(jù)的工作。在高算領(lǐng)域，大致有兩類RDMA 網(wǎng)絡(luò)，分別是Infiniband（簡稱IB）、RoCE。IB 是從硬件級別保證RDMA 的可靠傳輸，技術(shù)先進但成本貴。RoCE 是在以太網(wǎng)上封裝的RDMA 技術(shù)，穩(wěn)定性稍弱于IB，配置和管理相對復(fù)雜，但具備一定的價格優(yōu)勢。目前采用IB 專用網(wǎng)絡(luò)的集群比重大，但也有部分高校集群開始采用RoCE 網(wǎng)絡(luò)，可根據(jù)自身情況選擇IB 或RoCE。

存儲架構(gòu)設(shè)計

磁盤讀寫速度遠落后于CPU、GPU的運算速度，故文件儲存系統(tǒng)的性能是影響整個高算集群性能的重要因素，如下幾點是農(nóng)大采購存儲的相關(guān)思考：

存儲架構(gòu)通用。盡量選擇普適性的存儲系統(tǒng)，架構(gòu)能夠支持多廠家硬件平臺，確保后續(xù)擴容不局限于一個廠家。在規(guī)劃中明確計算節(jié)點訪問存儲采用基于RDMA網(wǎng)絡(luò)的POSIX 通訊協(xié)議，而非效率較低的NFS 通訊協(xié)議。

存儲系統(tǒng)容量按需采購。電子產(chǎn)品有壽命期，最穩(wěn)定的運行周期是3～5 年，存儲系統(tǒng)規(guī)劃的總?cè)萘恳詰?yīng)用場景和用戶數(shù)據(jù)增長的歷史數(shù)據(jù)作為依據(jù)。并行存儲都具備很強的橫向擴展能力，建議根據(jù)階段性的性能和容量的預(yù)估，分批次購買，無縫橫向擴容。

明確存儲性能要求。存儲系統(tǒng)中，須定義其數(shù)據(jù)容錯方式、可用容量（客戶端df -h 可見容量），以及定義整套存儲系統(tǒng)單線程讀/寫帶寬、多客戶端實測聚合讀/寫帶寬。以上三項數(shù)據(jù)能夠最終決定存儲容量和性能參數(shù)，也與最終的實際價格密切相關(guān)。同時，存儲系統(tǒng)也應(yīng)該明確裸容量的配套最小元數(shù)據(jù)數(shù)量和元數(shù)據(jù)檢索的性能（例如每秒文件最大創(chuàng)建數(shù)量、每秒文件定位數(shù)量等）。

明確采購SAS 硬盤。SAS 硬盤比SATA 有著更高的穩(wěn)定性、可靠性，絕大多數(shù)存儲廠商提供的高性能存儲系統(tǒng)均采用企業(yè)級SAS 硬盤。

國產(chǎn)化思考

目前，信創(chuàng)平臺能夠適用于部分教學(xué)場景和特定精度的計算場景?？茖W(xué)計算和研究有時效性要求，通用的計算能力仍是目前校級高算公共平臺的首位需求，大部分學(xué)生會選擇高效的通用計算平臺，適配性和生態(tài)問題是阻礙國產(chǎn)系統(tǒng)大面積使用的另一主要原因。師生在通用平臺上適用的程序如果移植到國產(chǎn)平臺，就需要花費額外時間和精力重新編譯，且對部分閉源的專業(yè)商業(yè)計算軟件仍無法適用。所以，首次建設(shè)校級高性能計算平臺時建議以通用架構(gòu)為主，在有經(jīng)費支持的情況下也建議分批次搭配采購一定比例的國產(chǎn)產(chǎn)品。

實用方案設(shè)計

關(guān)系到高算平臺是否實用、好用的幾點參考：

CPU 和GPU 比例。不同學(xué)校的HPC和AI 計算有較大差異，前期需在調(diào)研數(shù)據(jù)基礎(chǔ)上設(shè)計合適比例。例如：北航既有基礎(chǔ)學(xué)科的HPC 計算，也有大量的計算機和航空類AI 智算，或許1：1 做設(shè)計是合理的；北郵和傳媒的需求比較集中，例如AI 計算和動漫專業(yè)的圖形渲染，故基本上偏向于GPU 需求；而農(nóng)大生命科學(xué)、化學(xué)等學(xué)科的CPU 計算遠高于計算機學(xué)科的GPU 計算需求，故按照4：1 來設(shè)計會較為合理。

軟件易用性。除了以傳統(tǒng)命令提交作業(yè)的模式外，還應(yīng)考慮以互聯(lián)網(wǎng)思維、站在用戶視角梳理并優(yōu)化使用體驗，最終實現(xiàn)圖形化的任務(wù)提交和自動化的性能監(jiān)測，降低普通師生的使用難度，實現(xiàn)高算平臺的快速推廣并提高作業(yè)效率。

高算平臺架構(gòu)具備先進性。在同一平臺對異構(gòu)的HPC 和AI 進行作業(yè)的統(tǒng)一調(diào)度和資源分配，管理調(diào)度更為高效。方案設(shè)計應(yīng)能實現(xiàn)CPU、GPU、并行存儲、高速網(wǎng)絡(luò)之間的全線速轉(zhuǎn)發(fā)，這是影響平臺高效運行的先決條件。

機房設(shè)施部署

根據(jù)方案的算力規(guī)模估算高算集群的總功率，結(jié)合現(xiàn)有機房條件判斷是否需要配套改建機房環(huán)境。每個學(xué)校的機房條件不同，所采購的機器形態(tài)也就不盡相同。液冷模式的機房能效水平高于風(fēng)冷機房，但其前期投入成本、后期維護成本也相對要高，故適用于規(guī)模大的機房；風(fēng)冷機房適用于規(guī)模較小的機房或不便于部署水冷設(shè)施的機房。液冷機房單個機柜的功率可達到65KW，風(fēng)冷機房則可設(shè)計單機柜25KW～35KW。對于行級空調(diào)制冷量，要結(jié)合回風(fēng)溫度進行綜合考量，確保人員進行維護調(diào)試的舒適度。此外，用電量、UPS 后備時間、消防滅火系統(tǒng)、配線間安全、機房環(huán)控、電池安全均需要綜合考量設(shè)計，一般來說，學(xué)校機房可按照B 級標(biāo)準(zhǔn)進行相關(guān)設(shè)計。

管理體系搭建

高算平臺上線前，學(xué)校要結(jié)合自身實際配套制定校級高性能計算平臺運行管理辦法，以加強平臺規(guī)范管理，明確職責(zé)分工，保持可持續(xù)運行與發(fā)展，確保其對教學(xué)、科研的支撐和公用性的發(fā)揮。管理辦法一般應(yīng)包括組織機構(gòu)及職責(zé)分工、資源分配和使用、培訓(xùn)交流、獎勵與懲罰、收費細則等。農(nóng)大出臺校級高算平臺的管理辦法、收費政策、獎勵政策初稿后，第一時間邀請高算用戶代表討論，在充分聽取修訂意見的基礎(chǔ)上，再提交校長辦公會審議。

充分免費試用

為方便師生熟悉高性能計算平臺，建議高校將新建好的高算集群對校內(nèi)師生免費試用。免費試用有幾點好處，一是讓師生盡快熟悉平臺的使用，并根據(jù)師生的使用情況和反饋問題有針對性地提供使用培訓(xùn)、改善系統(tǒng)功能；二是可以挖掘潛在的重點用戶，為其提供精細服務(wù)的同時，也借助其口頭宣傳提升平臺的知名度；三是為平臺正式上線提供好的宣傳素材，并獲得師生的支持。

上線宣傳培訓(xùn)

農(nóng)大高算在歷經(jīng)4 個月的充分免費試運行后再正式上線。平臺老師親自制作了一個“凝心聚力，智算賦能，服務(wù)雙一流建設(shè)”的5 分鐘宣傳小視頻，分為建設(shè)歷程、高算資源、高算試運行代表成果、用戶代表寄語等內(nèi)容，宣傳達到預(yù)期效果。此外，管理員通過騰訊視頻會議精心開展了多期專題培訓(xùn)，并于培訓(xùn)前發(fā)布公告及圖文并茂的微信推文；建立校級高性能計算微信服務(wù)群，第一時間發(fā)布各類通知公告；通過服務(wù)到學(xué)院活動，在學(xué)院進行高算宣傳。通過以上多種方式，較為快速地發(fā)展了一批高算用戶。

團隊管理心得

高算任務(wù)的運行是一項復(fù)雜的調(diào)度工程。高算需要專業(yè)的團隊，不僅需要懂網(wǎng)絡(luò)、懂安全、懂機房、懂系統(tǒng)、懂腳本的計算機相關(guān)專業(yè)背景管理員，還需要計算科學(xué)專業(yè)背景的人才來充當(dāng)應(yīng)用學(xué)科與計算機學(xué)科之間的“翻譯官”。對于普通高校而言，最好是設(shè)置專門崗位，并給予管理員相關(guān)培訓(xùn)機會。對于農(nóng)大而言，目前仍有網(wǎng)絡(luò)技術(shù)中心的老師兼職管理，為了讓老師能盡快獨立解決問題，會邀請廠商開展管理培訓(xùn)。此外，農(nóng)大通過“走出去”“請進來”等方式學(xué)習(xí)兄弟高校超算中心的先進管理經(jīng)驗，借鑒成功經(jīng)驗和幫助文檔，提升自身管理能力。