浦廷民

中國(guó)中元國(guó)際工程有限公司 北京 100089

高性能計(jì)算技術(shù)是當(dāng)今國(guó)家發(fā)展的戰(zhàn)略性制高點(diǎn)，正越來(lái)越成為一個(gè)國(guó)家科技創(chuàng)新核心競(jìng)爭(zhēng)力的重要體現(xiàn)，是推動(dòng)國(guó)家安全與創(chuàng)新發(fā)展的核心引擎，在國(guó)家安全、科技創(chuàng)新、經(jīng)濟(jì)發(fā)展和社會(huì)進(jìn)步等各方面都發(fā)揮著重要作用。超級(jí)計(jì)算中心與普通數(shù)據(jù)中心的用電設(shè)備、運(yùn)行模式及保障等級(jí)均有差異，國(guó)家并無(wú)相應(yīng)設(shè)計(jì)規(guī)范及標(biāo)準(zhǔn)，設(shè)計(jì)人員需對(duì)項(xiàng)目進(jìn)行綜合分析，制定合理的供配電系統(tǒng)方案。

1 超級(jí)計(jì)算中心發(fā)展現(xiàn)狀

科學(xué)技術(shù)是第一生產(chǎn)力，是先進(jìn)生產(chǎn)力的集中體現(xiàn)和主要標(biāo)志。2016年，我國(guó)發(fā)布《國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略綱要》，將“推動(dòng)高性能計(jì)算技術(shù)的研發(fā)和綜合應(yīng)用”作為“推動(dòng)產(chǎn)業(yè)技術(shù)體系創(chuàng)新，創(chuàng)造發(fā)展新優(yōu)勢(shì)”的戰(zhàn)略任務(wù)之一，科技部明確提出要“重點(diǎn)加強(qiáng)超級(jí)計(jì)算等技術(shù)研發(fā)及應(yīng)用”，并部署了系列國(guó)際領(lǐng)先的超級(jí)計(jì)算機(jī)研制。

圖1 大數(shù)據(jù)基因工程分析示意圖

圖2 氣象大數(shù)據(jù)展示圖

隨著云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈和邊緣計(jì)算等高新技術(shù)的快速推廣和普及，以超級(jí)計(jì)算為核心的算力經(jīng)濟(jì)越來(lái)越成為衡量一個(gè)地方數(shù)字經(jīng)濟(jì)發(fā)展程度的代表性指標(biāo)。超算在智慧城市、防災(zāi)減災(zāi)、資源勘探、氣象預(yù)測(cè)、地震勘探、生物模擬、材料設(shè)計(jì)、天體研究、航空航天、藥物研究、動(dòng)漫渲染、金融風(fēng)險(xiǎn)分析等各方面發(fā)揮的作用越來(lái)越大。

自1964年第一臺(tái)高性能計(jì)算機(jī)CDC6600誕生，到最新一期TOP500排行榜占據(jù)首位、理論峰值達(dá)514PFlops的Fugaku（富岳），高性能計(jì)算機(jī)的計(jì)算能力已經(jīng)有了11個(gè)數(shù)量級(jí)的提升，用電量也是大幅提升至28MW。

表1 2020年6月HPC TOP500前十排名

2 超級(jí)計(jì)算中心用電設(shè)備特點(diǎn)

超級(jí)計(jì)算中心的組成應(yīng)根據(jù)系統(tǒng)運(yùn)行特點(diǎn)及設(shè)備具體要求確定，應(yīng)由超級(jí)計(jì)算機(jī)房、輔助區(qū)、支持區(qū)和運(yùn)營(yíng)管理區(qū)等功能區(qū)域組成[2]。

超級(jí)計(jì)算中心一般按運(yùn)算能力（Linpack持續(xù)計(jì)算性能）進(jìn)行等級(jí)分類，一般運(yùn)算速度大于100PFlop/s 便可稱為大型超級(jí)計(jì)算中心，下一代世界最快的超級(jí)計(jì)算中心運(yùn)算速度已能達(dá)到1-2EFlops。

超級(jí)計(jì)算機(jī)主要特點(diǎn)是極大的數(shù)據(jù)存儲(chǔ)量和極快速的數(shù)據(jù)處理速度，大型超級(jí)計(jì)算中心總用電負(fù)荷由幾兆瓦到幾十兆瓦，新一代E級(jí)超級(jí)計(jì)算機(jī)用電負(fù)荷將會(huì)達(dá)到50MW以上，隨著芯片技術(shù)發(fā)展及制冷技術(shù)提高，單個(gè)計(jì)算機(jī)柜的功率也由幾十千瓦提升至四五百千瓦，超高功率的計(jì)算機(jī)柜也更多采用高溫液冷技術(shù)進(jìn)行制冷，其配電及制冷相比于普通數(shù)據(jù)中心存在很大差異。

超級(jí)計(jì)算中心用電負(fù)荷一般會(huì)分為HPL工況負(fù)荷和日常工況負(fù)荷。HPL工況負(fù)荷主要是全球超級(jí)計(jì)算機(jī)大會(huì)打榜時(shí)使用的負(fù)荷，其計(jì)算機(jī)柜幾乎滿負(fù)荷運(yùn)行，負(fù)荷功率最大；日常工況計(jì)算機(jī)柜幾乎半載運(yùn)行，與HPL工況的負(fù)荷相差較大。

3 超級(jí)計(jì)算中心供配電系統(tǒng)架構(gòu)及液冷控制系統(tǒng)

超級(jí)計(jì)算中心主要由計(jì)算機(jī)柜、高速網(wǎng)絡(luò)柜、存儲(chǔ)機(jī)柜、管理機(jī)柜以及其相對(duì)應(yīng)的配電及制冷系統(tǒng)組成，其供配電架構(gòu)各不相同。

3.1 計(jì)算機(jī)柜

計(jì)算機(jī)柜主要用于部署液冷計(jì)算節(jié)點(diǎn)，同時(shí)內(nèi)部配置配電模塊及分頁(yè)單元等組件，為計(jì)算節(jié)點(diǎn)提供物理空間、配電和制冷的基礎(chǔ)保障。

根據(jù)超級(jí)計(jì)算中心的業(yè)務(wù)需求，其計(jì)算機(jī)柜供電保障等級(jí)相比傳統(tǒng)數(shù)據(jù)中心IT機(jī)柜的用電保證等級(jí)略低，變壓器可按N架構(gòu)配置，為計(jì)算機(jī)柜供電的線路可自低壓母線段采用一路市電放射式供電，提供單電源保障。

為保障計(jì)算機(jī)柜的電源質(zhì)量，計(jì)算機(jī)柜會(huì)考慮配置HVDC或UPS供電，根據(jù)重要程度及客戶需要，可不配置蓄電池或配置3-7min電池。

因大型超級(jí)計(jì)算中心計(jì)算機(jī)柜用電負(fù)荷超大，且負(fù)荷等級(jí)要求不高，根據(jù)客戶需求及經(jīng)濟(jì)利益考慮，計(jì)算機(jī)柜一般不考慮柴油發(fā)電機(jī)組作為備用電源進(jìn)行供電。

3.2 高速網(wǎng)絡(luò)、存儲(chǔ)及管理機(jī)柜

高速網(wǎng)絡(luò)主要是超級(jí)計(jì)算機(jī)房?jī)?nèi)計(jì)算節(jié)點(diǎn)間和計(jì)算節(jié)點(diǎn)與高速存儲(chǔ)節(jié)點(diǎn)聯(lián)絡(luò)用的內(nèi)部網(wǎng)絡(luò)。

高速網(wǎng)絡(luò)、存儲(chǔ)及管理機(jī)柜等設(shè)備一般按A級(jí)數(shù)據(jù)中心標(biāo)準(zhǔn)進(jìn)行供電，根據(jù)客戶需求可采用2N UPS供電或一路市電+一路UPS電源進(jìn)行雙電源供電，當(dāng)采用一路市電+一路UPS電源供電時(shí)，UPS按N+1標(biāo)準(zhǔn)進(jìn)行配置，UPS蓄電池按單機(jī)滿載15min考慮。

高速網(wǎng)絡(luò)、存儲(chǔ)及管理機(jī)柜等設(shè)備用的變壓器按2N架構(gòu)配置，當(dāng)一臺(tái)變壓器故障，另一臺(tái)變壓器能帶全部負(fù)荷，同時(shí)配置N+1冗余柴油發(fā)電機(jī)組作為備用電源。

3.3 冷源設(shè)備

計(jì)算機(jī)柜和高速網(wǎng)絡(luò)一般采用高溫冷源系統(tǒng)制冷，高溫冷源系統(tǒng)設(shè)備同樣屬于比較關(guān)鍵的動(dòng)力設(shè)備，供電系統(tǒng)可靠性要求較高，一、二次高溫循環(huán)水泵、冷卻塔及冷源控制等冷源動(dòng)力負(fù)荷建議采用雙路供電。采用浸沒式液冷系統(tǒng)時(shí)，系統(tǒng)有一定的熱惰性，關(guān)機(jī)或斷電后相變換熱過程仍會(huì)持續(xù)一段時(shí)間，存在短暫超壓的風(fēng)險(xiǎn)，一般會(huì)考慮不少于一組對(duì)應(yīng)的一、二次泵及監(jiān)控模塊采用2N變壓器+不間斷電源的架構(gòu)提供高可靠性供電， 以保證市電斷電后維持部分冷夜的循環(huán)。

存儲(chǔ)及管理機(jī)柜的制冷同樣需要高可靠性電源保障，參考《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》GB50174-2017中A級(jí)數(shù)據(jù)中心對(duì)IT設(shè)備的供電要求，采用一路市電和一路UPS電源雙路供電， UPS可按N配置，蓄電池后備時(shí)間一般按單機(jī)滿載15min考慮[1]。

冷源設(shè)備的變壓器配置可均按2N容錯(cuò)配置，并采用柴油發(fā)電機(jī)組作為備用電源。

3.4 液冷智能化系統(tǒng)

液冷智能化系統(tǒng)實(shí)時(shí)在線監(jiān)測(cè)參數(shù)及狀態(tài)偏離系統(tǒng)正常運(yùn)行的設(shè)定范圍，系統(tǒng)即時(shí)產(chǎn)生報(bào)警，并記錄詳細(xì)的信息。系統(tǒng)液位保持在其預(yù)設(shè)安全范圍內(nèi)波動(dòng)，如超過其預(yù)設(shè)安全范圍，系統(tǒng)產(chǎn)生報(bào)警，并自動(dòng)開啟供、排液系統(tǒng)（泵、閥），保證液位處于預(yù)設(shè)安全范圍內(nèi)，如出現(xiàn)冷媒泄漏，系統(tǒng)通過液位、壓力等參數(shù)檢測(cè)或漏液傳感器的反饋信號(hào)，及時(shí)產(chǎn)生報(bào)警和準(zhǔn)確定位。系統(tǒng)內(nèi)冷媒流量及溫度異常，具備及時(shí)調(diào)節(jié)組件運(yùn)行參數(shù)（如閥門開度，泵的轉(zhuǎn)速等）功能，保證冷媒流量及溫度處于正常范圍內(nèi)。

4 電力復(fù)用方案研究

因計(jì)算機(jī)柜HPL工況負(fù)荷和日常工況負(fù)荷用電負(fù)荷差異很大，如考慮計(jì)算機(jī)柜HPL工況負(fù)荷及項(xiàng)目總體負(fù)荷，會(huì)導(dǎo)致外電源回路增加，高低壓柜及變壓器數(shù)量增多，為節(jié)省投資并避免電力資源浪費(fèi)，需結(jié)合項(xiàng)目情況對(duì)供配電系統(tǒng)進(jìn)行整體規(guī)劃。

超級(jí)計(jì)算機(jī)柜最大負(fù)荷發(fā)生在HPL測(cè)試工況的負(fù)荷和打榜時(shí)的負(fù)荷，測(cè)試工況一般需要調(diào)試幾個(gè)月時(shí)間，全球超級(jí)計(jì)算機(jī)大會(huì)打榜時(shí)間一般幾個(gè)小時(shí)。為保障HPL工況的總用電負(fù)荷，可綜合分析對(duì)比HPL工況最大負(fù)荷及日常工況下所有用電負(fù)荷（包括日常工況計(jì)算機(jī)柜及制冷負(fù)荷、其它通用機(jī)柜及制冷負(fù)荷、建筑用電負(fù)荷等）的情況，組建供配電系統(tǒng)架構(gòu)，主要是將除HPL工況負(fù)荷以外的其他用電負(fù)荷（如：其它通用機(jī)柜用電及制冷負(fù)荷、建筑用電負(fù)荷等）與HPL工況負(fù)荷錯(cuò)峰用電，不同時(shí)使用，這樣可有效降低變配電設(shè)備投資，節(jié)省外電源等電力資源[2]。

針對(duì)以上情況，一般會(huì)考慮以下兩種供配電形式：

當(dāng)超級(jí)計(jì)算中心為中小規(guī)模時(shí)，變壓器裝機(jī)容量大約不超過20MVA時(shí)，其總用電負(fù)荷并不是太大，這種情況下可將計(jì)算機(jī)柜及其制冷系統(tǒng)等HPL工況下的用電負(fù)荷與其他用電負(fù)荷（如：其他通用機(jī)柜用電及制冷負(fù)荷、建筑用電負(fù)荷等）設(shè)置在同一臺(tái)變壓器上，多臺(tái)變壓器均勻配置，按兩者最大負(fù)荷設(shè)置變壓器容量，HPL工況下將其它用電負(fù)荷切除掉，當(dāng)打榜完成后保證日常工況負(fù)荷及其它用電負(fù)荷的運(yùn)行。

當(dāng)超級(jí)計(jì)算中心為中大規(guī)模時(shí)，變壓器裝機(jī)容量可達(dá)到幾十甚至上百兆伏安，此情況下HPL工況負(fù)荷本身就很大，且用電負(fù)荷集中，針對(duì)計(jì)算機(jī)柜一般會(huì)設(shè)置多臺(tái)專用變壓器甚至專用外電源回路，以滿足HPL工況的用電保障，當(dāng)打榜完成后，需對(duì)供配電系統(tǒng)進(jìn)行改造，將約50%計(jì)算機(jī)柜專用變壓器調(diào)整至其他負(fù)荷使用，同時(shí)將此部分計(jì)算機(jī)柜用電調(diào)整至另外約50%計(jì)算機(jī)柜專用變壓器供電，最簡(jiǎn)單改動(dòng)最小的方式就是將為計(jì)算機(jī)柜供電的互為備用的兩臺(tái)變壓器拆除掉其中一臺(tái)，將聯(lián)絡(luò)母線投切，可將計(jì)算機(jī)柜專用變壓器裝機(jī)容量減少一半，為此需協(xié)調(diào)相關(guān)供電部門提供臨時(shí)供電方案，此方式可節(jié)省項(xiàng)目總用電量的申請(qǐng)，減少外電源回路數(shù)量，從而達(dá)到節(jié)省項(xiàng)目投資的目的。

圖3 變壓器數(shù)量減半之前和減半之后，變壓器與計(jì)算機(jī)柜HVDC連接關(guān)系示意圖

5 新技術(shù)應(yīng)用

5.1 HVDC高壓直流電源

數(shù)據(jù)中心傳統(tǒng)的供電方式為交流供電，通過UPS實(shí)現(xiàn)不間斷供電。然而計(jì)算單元是直流用電設(shè)備，末端仍要配置開關(guān)電源將交流電進(jìn)行整流和DC/DC變換，才可供計(jì)算機(jī)主板上各類元件使用。

采用高壓直流供電的超級(jí)計(jì)算中心，10kV或20kV電源經(jīng)過配電變壓器、低壓配電柜、高壓直流電源，最終為服務(wù)器提供240V或380V直流電源，高壓直流電源輸出的直流母線可以直接掛接電池，實(shí)現(xiàn)與交流UPS類似的不間斷供電。

數(shù)據(jù)中心交流供電與直流供電的供電原理圖如下所示。從圖中可以看出，由于高壓直流供電相比交流UPS供電少了兩個(gè)交直流變換環(huán)節(jié)，因此可以節(jié)約4%左右的損耗。

高壓直流電源的直流母線如果不接入電池，則每個(gè)整流模塊的輸出均應(yīng)設(shè)置防反灌電流二極管，保證當(dāng)單一模塊供電時(shí)，不會(huì)因?yàn)樗矔r(shí)的電壓跌落引起服務(wù)器工作異常。如果接入電池，則應(yīng)采取適當(dāng)?shù)募夹g(shù)手段，保證在電池供電模式下，電池從開始放電到放電截止的整個(gè)過程中，高壓直流電源的直流輸出電壓滿足對(duì)前一級(jí)電源直流輸出的要求。

圖4 數(shù)據(jù)中心交流供電與直流供電的供電原理圖

5.2 飛輪儲(chǔ)能技術(shù)解決電壓閃變問題

飛輪儲(chǔ)能設(shè)備是一種機(jī)電能量轉(zhuǎn)換和儲(chǔ)存裝置，屬于物理電池范疇，利用飛輪的轉(zhuǎn)動(dòng)慣量實(shí)現(xiàn)對(duì)電能的儲(chǔ)存和釋放。飛輪儲(chǔ)能工作原理圖如下。

磁懸浮飛輪儲(chǔ)能設(shè)備是最新一代的飛輪儲(chǔ)能裝置，通過對(duì)磁懸浮軸承和高速電機(jī)的主動(dòng)精密控制，使飛輪在真空腔體內(nèi)以懸浮狀態(tài)高速旋轉(zhuǎn)存儲(chǔ)能量，設(shè)備功率密度大，廣泛應(yīng)用于醫(yī)院，數(shù)據(jù)中心等領(lǐng)域，可根據(jù)應(yīng)用需要組成飛輪儲(chǔ)能陣列系統(tǒng)，實(shí)現(xiàn)兆瓦級(jí)的功率需求。

圖5 飛輪儲(chǔ)能技術(shù)原理圖

飛輪儲(chǔ)能具有高安全、低要求、長(zhǎng)壽命、低成本、高功率、快充放、無(wú)污染、易回收的顯著特點(diǎn)。

電壓閃變持續(xù)時(shí)間一般為3-5秒。當(dāng)計(jì)算機(jī)柜所用UPS或HVDC不配置電池時(shí)，電壓暫降、閃變、電源切換等原因會(huì)導(dǎo)致計(jì)算機(jī)柜短時(shí)供電中斷，此時(shí)飛輪儲(chǔ)能方案可以持續(xù)保證負(fù)荷的供電穩(wěn)定性及供電質(zhì)量。飛輪和市電可實(shí)現(xiàn)無(wú)縫接力供電，充放電相對(duì)獨(dú)立，各回路間不會(huì)形成環(huán)流，穩(wěn)定可靠。

6 結(jié)束語(yǔ)

超級(jí)計(jì)算中心的設(shè)計(jì)是個(gè)復(fù)雜工程，需要在設(shè)計(jì)中切實(shí)做到從設(shè)備特性、業(yè)務(wù)需求及工藝角度出發(fā)，滿足系統(tǒng)需求，優(yōu)化系統(tǒng)方案，為項(xiàng)目提供安全、可靠、經(jīng)濟(jì)、合理、節(jié)能、高效的供配電系統(tǒng)設(shè)計(jì)方案。