龍熹

1. 騰訊科技（深圳）有限公司 廣東 深圳 518063；2. 騰訊云計(jì)算（北京）有限責(zé)任公司 北京 100000

引言

近年來，5G+、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)的發(fā)展顯著加快，基于數(shù)據(jù)和算力的AI產(chǎn)品在很多領(lǐng)域都有成功應(yīng)用，帶動(dòng)了云計(jì)算數(shù)據(jù)中心行業(yè)的總體發(fā)展，特別是近期ChatGPT產(chǎn)品發(fā)布帶來的大模型訓(xùn)練浪潮，讓數(shù)據(jù)中心服務(wù)器從計(jì)算加存儲(chǔ)的通用服務(wù)器時(shí)代進(jìn)入了追求極致算力的AI服務(wù)器時(shí)代，加速了數(shù)據(jù)中心供配電技術(shù)變革。當(dāng)前，數(shù)據(jù)中心領(lǐng)域?qū)PU高算力服務(wù)器的需求逐年遞增，但匹配AI智能算力服務(wù)器的數(shù)據(jù)中心供配電系統(tǒng)的設(shè)計(jì)難度大、要求高，相關(guān)人員必須遵循行業(yè)規(guī)范，并根據(jù)AI算力的特點(diǎn)來優(yōu)化設(shè)計(jì)，保障數(shù)據(jù)中心供配電系統(tǒng)的性能及功能。

1 Al智能算力云計(jì)算數(shù)據(jù)中心供配電系統(tǒng)

世界進(jìn)入了AI時(shí)代，為滿足各行各業(yè)的實(shí)際需求，互聯(lián)網(wǎng)公司數(shù)據(jù)中心向云計(jì)算、高算力方向的發(fā)展成為必然趨勢(shì)。云計(jì)算數(shù)據(jù)中心可整合計(jì)算、網(wǎng)絡(luò)等資源，提供優(yōu)質(zhì)化、精準(zhǔn)化服務(wù)，以創(chuàng)造更大的價(jià)值[1]。同時(shí)數(shù)據(jù)中心的AI算力大小決定了其大數(shù)據(jù)分析和大模型訓(xùn)練的能力，成為當(dāng)前重要的數(shù)據(jù)中心性能指標(biāo)，數(shù)據(jù)中心供配電系統(tǒng)的建設(shè)需匹配變化趨勢(shì)。不同于傳統(tǒng)的供配電系統(tǒng)，服務(wù)于AI算力的云計(jì)算數(shù)據(jù)中心供配電系統(tǒng)需融合多種軟硬件技術(shù)，并兼具智能化、一體化、模塊化特點(diǎn)，能進(jìn)行實(shí)時(shí)監(jiān)測(cè)、智能故障分析，并依據(jù)算力服務(wù)器的特點(diǎn)優(yōu)化供配電方式，滿足AI算力基礎(chǔ)設(shè)施高效、經(jīng)濟(jì)、智能化需求。

2 Al智能算力數(shù)據(jù)中心供配電系統(tǒng)設(shè)計(jì)要點(diǎn)

在通用大模型浪潮的推動(dòng)下，為了滿足生成式AI不斷增長(zhǎng)的需求，以大功率GPU芯片為主的AI算力服務(wù)器在新數(shù)據(jù)中心建設(shè)規(guī)劃中將占據(jù)重要份額。相比普通服務(wù)器采用GPU芯片的AI服務(wù)器對(duì)于數(shù)據(jù)中心供電架構(gòu)方面有著不同要求。

2.1 數(shù)據(jù)中心供配電系統(tǒng)要求

2.2.1 電力需求：AI服務(wù)器通常具有更高的功耗需求，因?yàn)樗鼈冃枰嗟挠?jì)算資源來處理復(fù)雜的AI任務(wù)，AI服務(wù)器的功率從750W、1500W、4500W、8000W等不同檔次逐步向高端集中，因此，AI服務(wù)器需要更強(qiáng)大的電力供應(yīng)來滿足其高功耗需求。

2.1.2 電力密度：由于AI服務(wù)器的功耗較高，其電力密度（即每個(gè)機(jī)柜或機(jī)架的功率密度）通常比普通服務(wù)器更高。這意味著在設(shè)計(jì)數(shù)據(jù)中心供電架構(gòu)時(shí)，需要考慮如何提供足夠的電力密度，以滿足AI服務(wù)器的需求。單個(gè)機(jī)柜的功率將從目前主流的8～10kW提升到24～70kW，同時(shí)這意味著數(shù)據(jù)中心的電力需求和散熱需求將大幅增加，給數(shù)據(jù)中心的設(shè)計(jì)、建設(shè)和運(yùn)維帶來更大挑戰(zhàn)。

2.1.3 散熱和冷卻：由于AI服務(wù)器的功耗較高，它們產(chǎn)生的熱量也更多，越來越接近風(fēng)冷散熱的極限，這需要采用更強(qiáng)大的散熱冷卻系統(tǒng)，比如采用液冷或風(fēng)液混合的散熱方案；同時(shí)由于散熱功率提升導(dǎo)致單個(gè)機(jī)柜的冷卻設(shè)備、通風(fēng)設(shè)備的占地面積增加，意味著更高的散熱冷卻系統(tǒng)成本；另一方面，單個(gè)機(jī)柜的功率增加使得熱保護(hù)關(guān)機(jī)時(shí)間減少，基本上沒有機(jī)會(huì)做保護(hù)的動(dòng)作，這就要求在服務(wù)器制冷側(cè)要做連續(xù)制冷。

2.1.4 線路容量：由于AI服務(wù)器的功耗較高，它們需要更多的電力供應(yīng)。因此，在數(shù)據(jù)中心供電架構(gòu)中，需要確保電力線路具有足夠的容量。

2.2 數(shù)據(jù)中心架構(gòu)設(shè)計(jì)原則

2.2.1 高性能：AI數(shù)據(jù)中心的計(jì)算資源、網(wǎng)絡(luò)資源、基礎(chǔ)設(shè)施資源具有較高的信息處理與吞吐能力，網(wǎng)絡(luò)應(yīng)充分滿足數(shù)據(jù)交換與傳輸速度，不用存在阻塞，具備對(duì)突發(fā)流量、突發(fā)計(jì)算量的承受能力。供配電系統(tǒng)的建設(shè)必須遵循為高性能業(yè)務(wù)服務(wù)的原則。并兼顧技術(shù)經(jīng)濟(jì)性。

2.2.2 擴(kuò)展性：AI數(shù)據(jù)中心應(yīng)具有良好的靈活性與可擴(kuò)展性，能夠根據(jù)今后的業(yè)務(wù)不斷深入發(fā)展的需求，擴(kuò)大設(shè)備容量與提高用戶數(shù)量與質(zhì)量的功能。在供配電系統(tǒng)設(shè)計(jì)時(shí)充分考慮后期的擴(kuò)容，以及功率彈性。

2.2.3 適應(yīng)性：供配電系統(tǒng)應(yīng)能滿足標(biāo)準(zhǔn)要求，同時(shí)確保各子系統(tǒng)具有良好的電磁兼容性和電氣故障隔離功能，當(dāng)某一點(diǎn)故障時(shí)快速實(shí)現(xiàn)故障隔離，不影響其他設(shè)備連續(xù)供電。

2.2.4 可用性：供配電各系統(tǒng)的設(shè)計(jì)應(yīng)滿足標(biāo)準(zhǔn)要求，工作安全可靠。并在關(guān)鍵部件設(shè)計(jì)硬件冗余、備份等可靠性技術(shù)上采用相關(guān)軟件技術(shù)提供較強(qiáng)的管理機(jī)制，控制方法，實(shí)現(xiàn)故障監(jiān)控以及安全授權(quán)的措施，提高數(shù)據(jù)中心可用性。

2.2.5 穩(wěn)定性：供配電設(shè)計(jì)應(yīng)在成熟且廣泛應(yīng)用的基礎(chǔ)上追求系統(tǒng)的先進(jìn)性，做到方案和產(chǎn)品的最優(yōu)結(jié)合，同時(shí)考慮系統(tǒng)運(yùn)行的穩(wěn)定。

2.2.6 可維護(hù)性：對(duì)供配電系統(tǒng)采用模塊化設(shè)計(jì)，產(chǎn)品的冗余設(shè)計(jì)作為重點(diǎn)需求指標(biāo)。對(duì)硬件、軟件供應(yīng)商的實(shí)施和售后服務(wù)能力進(jìn)行詳細(xì)的要求，并準(zhǔn)備對(duì)應(yīng)預(yù)案。

2.2.7 經(jīng)濟(jì)性：以較高的性價(jià)比規(guī)劃、設(shè)計(jì)和建設(shè)數(shù)據(jù)中心供配電系統(tǒng)，達(dá)到投入產(chǎn)出比最大值，確保數(shù)據(jù)中心安全運(yùn)營的基礎(chǔ)上合理降低Capex和Opex。

2.2.8 節(jié)能與環(huán)保：供配電規(guī)劃和設(shè)計(jì)要采用高效的供配電技術(shù)，實(shí)現(xiàn)充分的節(jié)能與環(huán)保要求，實(shí)現(xiàn)綠色數(shù)據(jù)中心。

3 高算力數(shù)據(jù)中心供配電系統(tǒng)方案對(duì)比

AI智能算力數(shù)據(jù)中心建設(shè)要求應(yīng)滿足GB50174 - 2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》在附錄“電氣”中規(guī)定：A級(jí)數(shù)據(jù)中心應(yīng)滿足容錯(cuò)要求，可采用2N系統(tǒng)，也可采用其他避免單點(diǎn)故障的系統(tǒng)配置。A級(jí)數(shù)據(jù)中心供配電系統(tǒng)主要有3種架構(gòu)：2N、DR、RR[2]。

3.1 各供配電系統(tǒng)架構(gòu)的特點(diǎn)

3.1.1 2N供配電系統(tǒng)。由兩個(gè)供配電單元組成，每個(gè)單元均能滿足全部負(fù)載的用電需要，兩個(gè)單元同時(shí)工作，互為備用。正常運(yùn)行時(shí)，每個(gè)單元向負(fù)載提供50%的電能，當(dāng)一個(gè)單元故障停止運(yùn)行時(shí)，另一個(gè)單元向負(fù)載提供100%的電能。這種多電源系統(tǒng)冗余的供電方式，克服單電源系統(tǒng)存在的單點(diǎn)故障瓶頸，增加了供電系統(tǒng)可靠性。但是由于設(shè)備配置多、成本高，通常情況下效率比N+X系統(tǒng)低。

3.1.2 DR供配電系統(tǒng)。DR是Distribution Redundancy的簡(jiǎn)稱，意思是分布冗余。由N（N ≥ 3）個(gè)配置相同的供配電單元組成，N個(gè)單元同時(shí)工作。將負(fù)載均分為N組，每個(gè)供配電單元為本組負(fù)載和相鄰負(fù)載供電，形成“手拉手”供電方式。N=3的DR系統(tǒng)正常運(yùn)行情況下，每個(gè)供配電單元的負(fù)荷率為66 %。當(dāng)一個(gè)供配電系統(tǒng)發(fā)生故障，其對(duì)應(yīng)負(fù)載由相鄰供配電單元繼續(xù)供電。

3.1.3 RR供配電系統(tǒng)。RR是Reserve Redundancy的簡(jiǎn)稱，意思是后備冗余。由多個(gè)供配電單元組成，其中一個(gè)單元作為其他運(yùn)行單元的備用。當(dāng)一個(gè)運(yùn)行單元發(fā)生故障，通過電源切換裝置，備用單元繼續(xù)為負(fù)載供電。

3.2 三種架構(gòu)供配電系統(tǒng)對(duì)比分析

3.2.1 可用度對(duì)比。采用電氣分析軟件ETAP對(duì)2N、DR、RR 3種架構(gòu)的可用度進(jìn)行分析。

從可用度數(shù)值來看，2N、DR、RR 3種架構(gòu)的可用性大致相同，2N系統(tǒng)可用性最高。

表1 三種架構(gòu)可用度對(duì)比表

3.2.2 成本對(duì)比。建設(shè)成本、運(yùn)行成本（電費(fèi)）對(duì)比分析如下表所示（假設(shè)2N系統(tǒng)為A）。

表2 三種架構(gòu)成本對(duì)比表

建設(shè)成本2N系統(tǒng)最高，DR系統(tǒng)比2N系統(tǒng)低9 %，RR系統(tǒng)比2N系統(tǒng)低15 %；運(yùn)行成本RR系統(tǒng)最高，DR系統(tǒng)最低。

3.2.3 系統(tǒng)架構(gòu)、物理隔離、運(yùn)維難度對(duì)比。

表3 三種架構(gòu)復(fù)雜性、隔離、運(yùn)維難度對(duì)比表

2N系統(tǒng)架構(gòu)簡(jiǎn)單明了，容易實(shí)現(xiàn)物理隔離，日常運(yùn)行維護(hù)難度最低；RR系統(tǒng)架構(gòu)最復(fù)雜，日常運(yùn)行維護(hù)難度很高，設(shè)備切換需要依靠自動(dòng)控制系統(tǒng)完成，手動(dòng)控制難度很大，需要很強(qiáng)大的運(yùn)行維護(hù)團(tuán)隊(duì)進(jìn)行運(yùn)維保障，對(duì)運(yùn)維專業(yè)度要求很高，優(yōu)點(diǎn)是成本低[3-4]。

3.3 供配電架構(gòu)對(duì)比分析

綜上所述，高算力數(shù)據(jù)中心供配電架構(gòu)按照當(dāng)前主流的2N架構(gòu)設(shè)計(jì)往DR方案演進(jìn)2+1方案，后續(xù)持續(xù)演進(jìn)到3+1是可行的，如進(jìn)一步加強(qiáng)運(yùn)維保障團(tuán)隊(duì)則可在確保供電可靠性的基礎(chǔ)上進(jìn)一步優(yōu)化成本。

4 服務(wù)器分布式供電和集中式供電的對(duì)比

4.1 分布式供電方案

目前服務(wù)器的分布式供電方案基本采用標(biāo)準(zhǔn)通用冗余電源（Common Redundant Power Supplies，CRPS）電源，通用服務(wù)器通常采用2個(gè)（1+1）12V輸出CRPS的方案，GPU服務(wù)器可采用6個(gè)（3+3或者4+2）54V輸出 CRPS（給GPU供電），再加2個(gè)（1+1）12V輸出CRPS的方案（給主板供電）。

4.2 集中式供電方案

服務(wù)器集中式供電方案通常采用計(jì)算機(jī)電源（Power Supply Unit，PSU）設(shè)置，采用10+2或者11+1的冗余設(shè)計(jì)，額定功率可以達(dá)30~33kW，單個(gè)PSU功率為3kW；具備集中式電源管理功能，可以兼容19”和21”服務(wù)器布置，預(yù)留接口兼容冷板液冷服務(wù)器。PSU兼容交直流輸入（AC 220V、DC 240V），內(nèi)建ATS功能，可以預(yù)設(shè)兩路輸入的工作狀態(tài)控制兩路輸入的轉(zhuǎn)換。監(jiān)控單元具備實(shí)時(shí)數(shù)據(jù)匯報(bào)、PSU狀態(tài)監(jiān)視和工作狀態(tài)控制、在線升級(jí)等功能[5]。

4.3 兩種服務(wù)器供電方案對(duì)比

4.3.1 供電效率：目前的CRPS方案的理論效率最高值為94%。在GPU應(yīng)用場(chǎng)景下，PSU供電鏈路采用集中供電效率為95.5%，相比CRPS方案可提升1.5%。

4.3.2 電源總?cè)萘浚篊RPS采用2N的冗余，集中供電采用N+X的冗余?？傠娫慈萘恳詥喂?0kW布置為例，CPRS方案需要配置60kW的電源；集中電源按常見布置為N+2的冗余，總電源容量為36kW，即采用集中供電，電源總需求容量降低40%左右。

4.3.3 成本：目前的集中電源產(chǎn)業(yè)鏈不成熟，供應(yīng)量低，效率與鈦金電源相同；產(chǎn)業(yè)鏈成熟后，按照物料成本至少可以做到現(xiàn)在的85%，降本空間較大。

4.4 兩種服務(wù)器供電方案對(duì)比

綜上所述，集中式供電方案電源效率更高，對(duì)電源總?cè)萘恳蟾?，后續(xù)的成本優(yōu)化空間也較大，在AI算力的GPU服務(wù)器供電上有較高的應(yīng)用價(jià)值。

5 結(jié)束語

AI智能算力云計(jì)算數(shù)據(jù)中心的設(shè)計(jì)難度較大，雖行業(yè)內(nèi)陸續(xù)出臺(tái)了相應(yīng)的參考標(biāo)準(zhǔn)，也開展了一些技術(shù)探索，但在具體的設(shè)計(jì)過程中相關(guān)人員需從AI高算力的特點(diǎn)著手，優(yōu)化設(shè)計(jì)理念，提升數(shù)據(jù)中心供配電系統(tǒng)的適配度、可靠性和單位算力的降本能力。