文 / 李會民

隨著計算技術(shù)的發(fā)展，計算逐步成為了與實(shí)驗(yàn)、理論并駕齊驅(qū)的第三種科學(xué)技術(shù)研究方式，不僅覆蓋了越來越多的領(lǐng)域，影響也愈發(fā)深遠(yuǎn)，而高校對超級計算的需求也更加急切。

中國科學(xué)技術(shù)大學(xué)（簡稱“中國科大”）是中國科學(xué)院所屬的以前沿科學(xué)和高新技術(shù)為主、兼有醫(yī)學(xué)和特色文科的綜合性重點(diǎn)大學(xué)。2002年底，學(xué)校多個學(xué)科申請211、985工程經(jīng)費(fèi)建設(shè)自己的超算系統(tǒng)?？紤]到需求眾多，分散建設(shè)存在場地、人員、規(guī)模太小而無法滿足重大科研需求等問題，學(xué)校決定集中資金籌建第五公共服務(wù)平臺，即科學(xué)計算平臺。平臺于2003年10月投資800萬元建成，逐步建設(shè)成為現(xiàn)在的超級計算中心（簡稱“中心”），是國內(nèi)最早的校級超算中心之一。

組織架構(gòu)與職能

中心是學(xué)校六大公共實(shí)驗(yàn)中心之一，歸屬于學(xué)校網(wǎng)絡(luò)信息中心而不是某一學(xué)院，這樣做的主要原因在于：網(wǎng)絡(luò)信息中心是IT技術(shù)支撐部門，具備相關(guān)IT技術(shù)人才，具有良好的服務(wù)意識；不隸屬于某學(xué)科，對各學(xué)科公平；非科研單位，員工的評價體系主要與建好平臺、服務(wù)好用戶相關(guān)，而不以發(fā)表論文的數(shù)量和級別為標(biāo)準(zhǔn)。由此，中心人員可以安心做好技術(shù)支持服務(wù)，更好地建設(shè)和運(yùn)行維護(hù)超算平臺。

為確保持續(xù)性發(fā)展，中心設(shè)有專家組。專家組由從事計算機(jī)科研方面的知名專家（主要確保計算硬件等方面的前瞻性）及不同學(xué)科的典型超算用戶（主要確保具體需求及行業(yè)前瞻性）組成，主要負(fù)責(zé)對中心的建設(shè)、運(yùn)行、管理和發(fā)展等重大決策提出指導(dǎo)和咨詢意見，并為中心爭取學(xué)校認(rèn)可及相應(yīng)投入。中心組織架構(gòu)如圖1所示。

圖1 超級計算中心組織架構(gòu)

本著推動科學(xué)計算、促進(jìn)人才培養(yǎng)的建設(shè)方針，中心為校內(nèi)有高性能計算需求的所有院系、實(shí)驗(yàn)室、師生提供算力資源服務(wù)、用戶超算設(shè)備托管及運(yùn)維服務(wù)、用戶技術(shù)支持服務(wù)，并與用戶合作進(jìn)行超算方面的研發(fā)等；同時，中心力所能及向校外提供一定的資源服務(wù)及技術(shù)支持，回饋社會；最后，中心建設(shè)了“研究生超級計算實(shí)驗(yàn)訓(xùn)練中心”，培訓(xùn)超算相關(guān)人才。

中國國家網(wǎng)格（CNGrid）合肥中心（2005年）和中國國家網(wǎng)格（CNGrid）合肥運(yùn)行中心（2016年）；images/BZ_27_1548_2257_1570_2279.png中國科學(xué)院超級計算環(huán)境GPU分中心（2010年）和合肥中心（中科大）（2014年）；images/BZ_27_1548_2373_1570_2396.png超級計算創(chuàng)新聯(lián)盟理事單位（2014年）；images/BZ_27_1548_2432_1570_2454.png安徽省高校科研協(xié)作高性能計算公共平臺（2014年）：對安徽省教育和科研計算機(jī)網(wǎng)高校用戶提供高性能計算服務(wù)；images/BZ_27_1548_2607_1570_2629.png高通量量子材料基因庫計算平臺，與合肥微尺度物質(zhì)科學(xué)國家研究中心材料基因團(tuán)隊共建（2016年）；images/BZ_27_1548_2723_1570_2746.png超級計算中心蘇州分中心，與中國科大蘇州高等研究院共建，提供基于寒武紀(jì)智能芯片的超級計算資源等（2018年）；images/BZ_27_1548_2898_1570_2921.png超級計算中心生命科學(xué)學(xué)院分中心，與生命科學(xué)學(xué)院共建（2021年）。中國科大超級計算中心積極爭取資源與合作

建設(shè)理念

三層架構(gòu)

在高校超算服務(wù)中，面對不同規(guī)模的算力需求和不同類型的算力平臺，一個不可避免又至關(guān)重要的問題是：應(yīng)如何更合理、更有效地分配資源？

一方面，作為研究型大學(xué)，中國科大有很多重大科研和工程課題，對計算資源的需求很大。有些大規(guī)模并行的需求是間斷性而不是持續(xù)性的，如果完全依賴于校超算資源，投資規(guī)模會很大，并導(dǎo)致很大浪費(fèi)。對于此類應(yīng)用，通常建議用戶使用校外公共算力資源。而使用校外資源面臨的挑戰(zhàn)是：有些應(yīng)用存在計算前和/或計算后大量數(shù)據(jù)的傳輸問題，如沒有足夠快的網(wǎng)絡(luò)，數(shù)據(jù)傳輸時間會很長，只能攜帶存儲設(shè)備等乘坐交通工具去現(xiàn)場處理；同時，校外算力的實(shí)際性能有高有低，技術(shù)支持也有好有壞，未必能及時為用戶提供良好服務(wù)；此外，有些應(yīng)用因?yàn)榘踩珕栴}不適合使用校外算力。

另一方面，由于用戶數(shù)多、需求旺盛，中心超算系統(tǒng)受限于建設(shè)經(jīng)費(fèi)和場地，規(guī)模有限，利用率非常高（常年超過80%），導(dǎo)致用戶作業(yè)排隊時間較長，有些并行規(guī)模較大的任務(wù)甚至需要等待多天。圖2顯示了2022年度中心部分超算系統(tǒng)的實(shí)際利用率，瀚海20超算系統(tǒng)平均利用率為84.69%，TC4600超算系統(tǒng)則為72.15%。

圖2 超級計算系統(tǒng)2022年度實(shí)際利用率

此外，不少課題組或?qū)W院建有或大或小的自建超算系統(tǒng)，投入從幾千萬元到幾萬元不等，多用于調(diào)試程序、小規(guī)模測算、運(yùn)行一些非重要計算等，一般可以滿足數(shù)十到數(shù)百核并行的需求。然而，用戶自建的系統(tǒng)通常面臨著場地、運(yùn)行維護(hù)人員、安全等各方面挑戰(zhàn)，建設(shè)水平參差不齊，實(shí)際價值發(fā)揮有高有低。

為此，中心制定了三層架構(gòu)（用戶自建算力、中心建設(shè)算力、利用校外算力）的建設(shè)方針（如圖3所示），根據(jù)實(shí)際需求及經(jīng)費(fèi)情況，建設(shè)了中等適度規(guī)模的平臺（當(dāng)前最大能支撐數(shù)萬核并行），盡量為用戶提供更多算力資源，促進(jìn)科研進(jìn)展，同時盡量充分發(fā)揮價值，減少浪費(fèi)。由此，平臺既保證了具備一定規(guī)模，作業(yè)排隊時間適度，可以運(yùn)行相對大規(guī)模并行作業(yè)，滿足大多數(shù)用戶需求；又避免了因規(guī)模過大利用率低而導(dǎo)致的資源浪費(fèi)。

圖3 三層架構(gòu)模式

規(guī)模及選型

中心按需建設(shè)，每年都會更新系統(tǒng)，每三到五年更新一套大系統(tǒng)，其余時間在該大系統(tǒng)上擴(kuò)建。如表1所示，按需建設(shè)的方法雖然有缺點(diǎn)，但這些缺點(diǎn)能夠通過管理和調(diào)度策略弱化，因此仍非常適合中國科大。

表1 優(yōu)缺點(diǎn)對比

在建設(shè)時，中心按照當(dāng)前系統(tǒng)使用情況，對用戶反饋、產(chǎn)品發(fā)展、其他高校情況等做調(diào)研，對典型應(yīng)用進(jìn)行實(shí)際測試，決定具體的CPU或GPU、內(nèi)存、計算網(wǎng)絡(luò)、存儲等不同類型的配置數(shù)量等，形成可行性論證報告，并通過專家論證。

計算資源與機(jī)房基礎(chǔ)

超算系統(tǒng)

2019年起，中心超算系統(tǒng)以“瀚海+年份”的規(guī)則命名，其含義為：“承瀚海之遼闊，比星云之光華”，“瀚?！睒O具中國科大特色，在國內(nèi)高校與科研單位具有很高的辨識度；同時，“瀚?！币泊砹顺阆到y(tǒng)計算能力強(qiáng)大，有力支持了教學(xué)及科研工作，幫助師生探索科學(xué)奧秘，勇攀科研高峰。

中心目前運(yùn)行系統(tǒng)的總理論雙精度峰值浮點(diǎn)計算能力達(dá)5.72PFlops（千萬億次/秒，CPU：3.50PFlops、GPU：2.22PFlops、MIC：21.28TFlops），位居國內(nèi)高校前列。表2是中心目前運(yùn)行中的超算系統(tǒng)相關(guān)數(shù)據(jù)。

表2 運(yùn)行中的超算系統(tǒng)

超算專用機(jī)房

就功耗來說，超算設(shè)備（一般10～30kW/機(jī)柜）比普通信息化設(shè)備（一般4～6kW/機(jī)柜）高很多，對制冷要求高。因此，建設(shè)時不能僅考慮初期成本，還需要考慮后期運(yùn)維成本等。由于功耗高，我們選用節(jié)能、PUE（電源使用效率）低的機(jī)柜級制冷方式（圖4），機(jī)柜與行間空調(diào)封在一起，前面玻璃門（方便不開柜門查看設(shè)備狀態(tài)），后面鋼板門。冷風(fēng)從空調(diào)橫向送到設(shè)備前，被設(shè)備吸進(jìn)內(nèi)部，熱風(fēng)從后部出來，被空調(diào)吸到換熱片換熱。冷熱風(fēng)全部封閉在機(jī)柜內(nèi)部，制冷效率高，PUE能低至1.2。除了功耗低，該方式還防塵，運(yùn)行更可靠、性能更高、壽命更長；機(jī)房工作環(huán)境約為24℃，只有打開柜門時才會感受到冷熱風(fēng)，其他時間很少受強(qiáng)風(fēng)、高熱、高噪音折磨，舒適度相對較高。

圖4 機(jī)柜級制冷（左右2臺機(jī)柜+中間1臺行間空調(diào)）示意

在供電方面，如果機(jī)房所有設(shè)備都接UPS（不間斷電源），需要容量很大的UPS主機(jī)及電池，不僅建設(shè)費(fèi)用很高（電池需要3～5年更換一次），而且電池占地面積大，對承重要求高，UPS電力轉(zhuǎn)換也存在電力損耗的問題。而目前學(xué)校服務(wù)器等IT設(shè)備對電壓波動等要求不算太高，多數(shù)設(shè)備都支持電源N+N冗余。學(xué)校的電力有兩路市電且相對可靠，為此中心的超算機(jī)房僅配置小型UPS系統(tǒng)，主要支撐非常重要的監(jiān)控、網(wǎng)絡(luò)、存儲、管理登錄節(jié)點(diǎn)等，而大量計算節(jié)點(diǎn)則采用雙路市電，無需經(jīng)UPS直接供電。十多年的運(yùn)行證明，該方法行之有效，節(jié)省了大量經(jīng)費(fèi)。

2013年9月，位于校東區(qū)新圖書館一樓的超算中心機(jī)房建成。機(jī)房共有54個機(jī)柜級制冷機(jī)柜，每兩個機(jī)柜之間有一臺55kW制冷量的行間空調(diào)，可支持單機(jī)柜IT峰值功耗近30kW，平均功耗約15kW，2014年獲由中國數(shù)據(jù)中心工作組頒發(fā)的優(yōu)秀教育數(shù)據(jù)中心獎。

2022年底建成的超算中心機(jī)房（西區(qū)）級別更高，其20個機(jī)柜分成兩組，每組10個機(jī)柜級制冷機(jī)柜和11個機(jī)柜級制冷空調(diào)間隔排布，每臺空調(diào)30kW制冷量，每個機(jī)柜兩個64A三相五線PDU（電源分配單元）分別接不同的兩路市電。對于N+N電源冗余的設(shè)備，能夠?qū)崿F(xiàn)每個機(jī)柜30kW負(fù)載時，任何一路電斷電時，設(shè)備運(yùn)行均不受影響；任何一臺行間空調(diào)出現(xiàn)故障時，散熱均不受影響。不僅單機(jī)柜容量非常大（2023年新購置的2900萬元設(shè)備，放不滿10個機(jī)柜，單機(jī)柜實(shí)際功耗為25～29kW），而且可靠性很高。

服務(wù)體系

管理及收費(fèi)政策

用戶對算力的需求是無止境的。例如，稍微修改一下計算參數(shù)，計算量就有可能上百倍增加。如果采用免費(fèi)政策，再多算力都可能耗盡，不僅會造成很大的資源浪費(fèi)，而且會導(dǎo)致真正有需要的用戶無法及時獲得算力資源；但如果收費(fèi)標(biāo)準(zhǔn)太高，則會嚴(yán)重降低用戶使用的意愿，不利于科學(xué)研究進(jìn)展。

為此，中心為了調(diào)節(jié)資源，保障學(xué)校重大科研項(xiàng)目的計算需求使用，研究制定了《中國科學(xué)技術(shù)大學(xué)超級計算中心收費(fèi)標(biāo)準(zhǔn)（試行）》。該標(biāo)準(zhǔn)采取不以盈利為目的、用戶用得起的原則，部分免費(fèi)，部分收費(fèi)，與調(diào)度優(yōu)先級掛鉤。

中心收費(fèi)標(biāo)準(zhǔn)（表3）基本按照算力設(shè)備購置價（不含場地、人員、電力等費(fèi)用）折舊（一般為五年）來核算，目前提供三種方式：免費(fèi)、普通付費(fèi)排隊（費(fèi)用遠(yuǎn)低于購置成本）、付費(fèi)獨(dú)占計算主機(jī)（費(fèi)用約與購置成本一致）。

表3 當(dāng)前收費(fèi)標(biāo)準(zhǔn)

用戶服務(wù)

作為一所研究型大學(xué)，雖然中國科大用戶對自己本專業(yè)的知識掌握得很好，但不少人對計算機(jī)、Linux系統(tǒng)、編譯環(huán)境、作業(yè)調(diào)度系統(tǒng)、軟件編譯安裝等方面的知識了解并不深，甚至不清楚內(nèi)存與存儲的區(qū)別等。

因此，對中心來說，僅僅投資軟硬件，做好超算系統(tǒng)的建設(shè)、運(yùn)行、維護(hù)是不夠的，還要做好用戶支持服務(wù)，幫助用戶方便高效地使用超算系統(tǒng)，更好地發(fā)揮系統(tǒng)價值。

為此，中心采取了多項(xiàng)行動服務(wù)用戶：部署了很多編譯環(huán)境、工具及應(yīng)用軟件，并采用module environment軟件包對其做了封裝，用戶在使用時采用命令調(diào)用設(shè)置即可，操作非常簡單；設(shè)置了中文登錄提示并開發(fā)了引導(dǎo)式命令faq，用戶登錄后會看到，運(yùn)行faq命令即可一步步查看所需信息；編寫了大量的用戶手冊、應(yīng)用安裝使用文檔等，經(jīng)常舉辦培訓(xùn)，充分引導(dǎo)用戶學(xué)會自己查看手冊、搜索解決辦法；采用QQ用戶技術(shù)支持群提供即時服務(wù)，由此，解決問題的方法其他用戶也可以看到，降低重復(fù)回答工作的比率（QQ群有1578人，有可能是最大的超算用戶技術(shù)支持群）。

用戶支持成果

在二十年的建設(shè)歷程中，中心為學(xué)校科研、人才培養(yǎng)等做出了顯著貢獻(xiàn)，得到了校內(nèi)外的廣泛認(rèn)可（圖5）。據(jù)不完全統(tǒng)計，2022年在超算中心用戶發(fā)表的論文中，致謝中心的SCI論文高達(dá)464篇（含Nature系列、Science系列、PRL、JACS、Cell等頂級期刊論文38篇），學(xué)校主頁新聞報道的22篇重要科研成果論文致謝了校超算中心。

人才隊伍

二十一世紀(jì)什么最重要？人才！對于學(xué)校超算中心來說更是如此。在人才隊伍建設(shè)方面，中心現(xiàn)有專職人員8名，其中正副主任為兼職，分別是網(wǎng)絡(luò)安全博士和計算物理博士；其余6名專職人員包括計算物理博士2名、計算化學(xué)博士1名、高性能計算博士1名、計算機(jī)學(xué)士1名；人事、行政、財務(wù)、網(wǎng)絡(luò)、信息等其他工作則由網(wǎng)絡(luò)信息中心同事協(xié)助處理。

受大環(huán)境所限，高?？蒲袓彵燃夹g(shù)支撐崗待遇高很多；而比起高校，IT人才在企業(yè)的待遇往往也更高。這導(dǎo)致中心在招聘合適人才時面臨挑戰(zhàn)，人才結(jié)構(gòu)有待優(yōu)化。

為提升服務(wù)學(xué)校、支撐學(xué)校高水平科研工作和人才培養(yǎng)的能力，進(jìn)一步激發(fā)技術(shù)支撐工作者的積極性、主動性和創(chuàng)造性，打造一支同一流大學(xué)建設(shè)相匹配的高水平公共技術(shù)支撐隊伍，學(xué)校公共實(shí)驗(yàn)中心出臺了技術(shù)支撐績效管理辦法。績效以技術(shù)支撐學(xué)?？蒲械馁|(zhì)量、貢獻(xiàn)和影響以及人才培養(yǎng)成效為導(dǎo)向，綜合考慮技術(shù)支撐工作者年度工作情況，建立了科學(xué)合理的評價標(biāo)準(zhǔn)。其中，績效額度總量的80%用于綜合績效獎勵，主要獎勵在崗技術(shù)員在支撐科研創(chuàng)新、攻關(guān)技術(shù)難題、提升儀器性能、獲得知識產(chǎn)權(quán)、實(shí)施成果轉(zhuǎn)化、參與人才培養(yǎng)、拓展儀器共享以及開展公共服務(wù)等方面的貢獻(xiàn)，績效額度總量的20%用于人才績效獎勵。

同時，在科研工作方面，作為研究型大學(xué)的超級計算中心，中國科大超算中心在開展科研工作時“不忘初心”，堅持以做好本職工作為前提，適度參與本職工作相關(guān)的科研，掌握行業(yè)進(jìn)展，以更好地促進(jìn)本職工作及協(xié)助用戶為目的進(jìn)行科研攻關(guān)。在此前提下，中心員工積極參加相關(guān)的重點(diǎn)研發(fā)項(xiàng)目、橫向項(xiàng)目等，其中既有獨(dú)自承擔(dān)的，也有參與用戶項(xiàng)目的，都取得了不錯的成果。

展望未來，隨著GPU等協(xié)處理器技術(shù)、大數(shù)據(jù)、人工智能技術(shù)的發(fā)展，高校將越來越依賴于算力，算力平臺的建設(shè)也將越來越重要。下一步，中國科大超算中心將在學(xué)生培養(yǎng)、學(xué)科建設(shè)、AI等平臺的建設(shè)上加大力度，并加強(qiáng)與用戶的合作開發(fā)，進(jìn)一步助力學(xué)校雙一流建設(shè)。