趙銳涵 朱同先 趙宇衡 季海峰 張曉艷 姜 昊

中國移動通信集團江蘇有限公司

0 引言

數(shù)據(jù)中心是云計算服務(wù)的核心基礎(chǔ)設(shè)施，是云計算規(guī)?；?、集約化發(fā)展的關(guān)鍵，云和終端客戶的互動要通過數(shù)據(jù)中心及其所提供的運營服務(wù)來實現(xiàn)。云服務(wù)商對于數(shù)據(jù)中心快速部署、快速擴張和高功率密度的要求，帶動了數(shù)據(jù)中心向大規(guī)模、模塊化、綠色節(jié)能的趨勢發(fā)展，同時提出更高的運維和定制化要求。

1 行業(yè)背景與電源選擇

1.1 數(shù)據(jù)中心發(fā)展趨勢

為了滿足社會信息化水平不斷提高的要求，促進我國數(shù)據(jù)中心，特別是大型數(shù)據(jù)中心的合理布局和健康發(fā)展，國家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局于2020年12月23日下發(fā)《關(guān)于加快構(gòu)建全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系的指導意見》。據(jù)統(tǒng)計，2019年中國數(shù)據(jù)中心數(shù)量大約有7.4萬個，較2012年增加2.3萬個。其中，超大型、大型數(shù)據(jù)中心占數(shù)據(jù)中心總量達到12.7%；而規(guī)劃在建數(shù)據(jù)中心中，超大型、大型數(shù)據(jù)中心數(shù)量占比達到36.1%。

數(shù)據(jù)中心規(guī)模的不斷擴大，單機架的設(shè)計功耗也在持續(xù)升高。北京市經(jīng)濟和信息化局于2021年4月27日率先發(fā)布《北京市數(shù)據(jù)中心統(tǒng)籌發(fā)展實施方案（2021-2023年）》，其中明確要求“新建云數(shù)據(jù)中心PUE不應(yīng)高于1.3，單機架功率不應(yīng)低于6千瓦”。在政策、現(xiàn)場、土地價格等諸多因素影響下，高功率機柜成為未來機柜發(fā)展的必然趨勢。

1.2 外市電選擇標準

隨著用電需求持續(xù)增大，在數(shù)據(jù)中心規(guī)劃設(shè)計階段，如何確定外市電的電壓等級，需要充分考慮局站類別、當?shù)毓╇姉l件、市電的可靠性和分類、局（站）用電容量以及供電部門要求。在《通信局（站）電源系統(tǒng)總技術(shù)要求》YD/T 1051-2018中規(guī)定了通信局（站）根據(jù)其重要性、規(guī)模大小分類。其中承載國際、省際等全網(wǎng)性業(yè)務(wù)的機房、集中為全省提供業(yè)務(wù)及支撐的機房、超大型和大型數(shù)據(jù)中心機房等的局站為一類機房，原則上應(yīng)考慮采用一類市電引入。引入外市電的電壓等級通常在220 kV、110 kV、66 kV、35 kV、20 kV、10 kV、380 V或220 V電源中選擇，經(jīng)技術(shù)性和經(jīng)濟性比較確定。

根據(jù)《數(shù)據(jù)中心設(shè)計規(guī)范》（GB50174-2017）要求，A級數(shù)據(jù)中心的供電電源也應(yīng)按一級負荷中的特別重要的負荷考慮，因此按《供配電系統(tǒng)設(shè)計規(guī)范》（GB50052-2009）要求需采用雙重電源+柴油發(fā)電機供電。在A級數(shù)據(jù)中心內(nèi)的10/0.4 kV變電所及以下低壓配電系統(tǒng)中均按照2N的原則配置設(shè)備及線路，對于其上一級的110 kV或220 kV變電站的線路及主變沒有做出強制性的要求。按照江蘇省《電力用戶業(yè)擴工程技術(shù)規(guī)范》（DB32/T1088-2007）規(guī)定，數(shù)據(jù)中心的市電電源進線滿足N+1要求即可。如果總用電量超過10萬kVA容量，根據(jù)江蘇省《電力用戶業(yè)擴工程技術(shù)規(guī)范》（DB32/T1088-2007）規(guī)定“用戶申請容量在10萬kVA及以上時，宜采用220 kV及以上電壓等級供電”。

以總用電容量為10萬kVA為限，若數(shù)據(jù)中心設(shè)計PUE為1.30，平均單機架設(shè)計功耗為5 KW，則園區(qū)機架數(shù)可達15300架；若平均單機架為7 KW，則園區(qū)機架數(shù)可達10900架。用電容量限制了數(shù)據(jù)中心的整體機架規(guī)模。

因此，從土地規(guī)模、政策方向、電力容量、業(yè)務(wù)需求、投資回報等多個角度去分析數(shù)據(jù)中心的建設(shè)方向和目標，是非常復(fù)雜的項目，本文以某運營商數(shù)據(jù)中心為研究對象，重點分析討論“1+1”模式220 kV供電與“2+1”模式110 kV供電兩種方案的優(yōu)劣勢。

2 方案比較

2.1 項目概況

某運營商數(shù)據(jù)中心園區(qū)地處華東地區(qū)，園區(qū)整體基礎(chǔ)設(shè)施系統(tǒng)設(shè)計遵循國家GB 50174-2017 A標準及部分參考國際Uptime和TIA942 T3+標準。其中一期包含機房樓2棟，110 kV變電站1棟，制冷站1棟，動力中心1棟，輔助辦公用房1棟，總設(shè)計用電功率超6萬kVA。二期新建機房樓2棟，柴油發(fā)電機樓1棟，用電功率達到10萬kVA。園區(qū)整體用電功率達到16萬kVA，遠遠超出110kV線路容量上限。

從電氣結(jié)構(gòu)上分析，一期110kV變電站已經(jīng)引入兩路110 kV市電進線，對應(yīng)兩臺容量為10萬kVA的110kV/10 kV主變壓器，10 kV母線采用單母線四分段的形式，其中I、II段母線對應(yīng)1#主變，III、IV段母線對應(yīng)2#主變。當出現(xiàn)單路市電停電或者計劃性停電時，I和IV，II和III可分別通過聯(lián)絡(luò)柜實現(xiàn)手拉手供電。一期根據(jù)負載分配情況，已經(jīng)啟用6組10kV出線為末端進行供電。

二期按照規(guī)劃負載，需要重新引出10組10kV配電線路為機房樓供電，每組進線組容量約為1萬kVA。因此需要對園區(qū)整體電力容量進行擴容并重新進行負載分配。

2.2 電氣引入方案比較

從電源引入角度來看，如果采用兩路220 kV市電供電模式，需要拆除原有外市電電纜，重新選擇上級電源站，規(guī)劃外市電線路路由，復(fù)核110 kV變電站土建設(shè)計能否滿足要求或者重新新建220 kV變電站，拆除原系統(tǒng)中的電纜和電氣設(shè)備。如果考慮“2+1”110 kV外市電擴容方案，需要確定新建線路上級變電站，規(guī)劃進線路由，確定原110 kV是否有空間擺放擴容變壓器、GIS等設(shè)備。參考原有一期圖紙和現(xiàn)場勘查結(jié)果，擴容一路110 kV進線，電纜管溝、變壓器、GIS的空間是可以滿足要求的。

從負載分配方案考慮，兩路220 kV市電供電模式比較簡單，所有10 kV電源進線引入端分別引自兩路220 kV下掛母線，日常運行時，任一路電源運行容量不超過50%即可，單路停電時，通過手拉手形式通過聯(lián)絡(luò)柜供電，雙路停電則通過應(yīng)急后備電源供電。如果為“2+1”110 kV市電供電方案則需要對每路10 kV進線規(guī)劃容量進行統(tǒng)計復(fù)核，重新進行排列組合。理想情況下，終期滿載運行，每路110 kV日常用電容量可達線路總?cè)萘康?/3，當其中任一一路市電停電，則將所帶負載進行均分，由另外兩路分別帶載，此時另外兩路運行功率達到100%，當出現(xiàn)兩路停電乃至三路停電的情況，則通過應(yīng)急后備電源供電。將三路110 kV市電分別記作A、B、C，每路市電通過110 kV主變，各帶兩段10 kV母線，分別記作I、II、III、IV、V、VI，則A路外市電帶I、II段母線，B路進線帶III、IV段母線，C路進線帶V、VI段母線。由于同組變壓器下兩段母線分別引自兩把分支開關(guān)，并無電氣連接，I、VI，II、III和IV、V直接有聯(lián)絡(luò)柜可以進行手拉手。因此，假定A路停電，則I、II兩段母線下所帶負載分別由C路進線和B路進線進行供電。考慮到數(shù)據(jù)中心負載增長的一般規(guī)律，在較長周期內(nèi)，園區(qū)整體用電功率很難達到一路市電的總設(shè)計容量。因此在負載分配的設(shè)計規(guī)劃階段，技術(shù)團隊提出，10kV負載在分配階段，機房樓、制冷站同組10kV進線分配應(yīng)該按照I、IV，II、V和III、VI進行進線互備設(shè)計。這種分配方案可以保證園區(qū)在整體市電容量充足的情況下，即使兩路110 kV外市電停電，園區(qū)整體依然可以保證都由外市電進行供電，不需要啟動應(yīng)急后備電源。

圖1 “2+1”110 kV負載分配示意圖

從投資角度考慮，110 kV外市電線路引入電纜選用YJLW03-64/110 kV-1×800mm2，單回路綜合單價約為1200萬/千米；220kV外市電線路引入電纜選用ZC-YJLW03-127/220kV-1×2000 mm2，單回路造價約為5800萬/千米。此外，如果采用220 kV方案，還需要廢除原有110 kV變電站，并且重新完成新變電站的建設(shè)。結(jié)合該項目上級電源站所距離數(shù)據(jù)中心的距離，兩種方案的投資估算如表1所示。

表1 新建兩路220kV和引入一路110kV市電引入方案對比表

從現(xiàn)有業(yè)務(wù)保障角度考慮，重新引入一路110kV及負載割接改造，機房業(yè)務(wù)大約會有5天供電可靠性會受到影響。而220kV改造方案會有20天左右機房供電至少一路需要中斷。

經(jīng)多輪溝通，不斷優(yōu)化方案，最終擬按照再引入一路110kV電源和現(xiàn)有兩路110kV電源組成2+1方案，并通過10kV中壓側(cè)倒換實現(xiàn)園區(qū)供電。經(jīng)測算，該方案最終投資預(yù)算約1.6億元，至少可節(jié)省7.4億元。且后期運營維護、建設(shè)周期都大大減少和縮短。

3 落地實施

園區(qū)第三路110kV外市電引自臨近220kV變電站110kV備用間隔，線路全長約8公里，電纜采用YJLW03-64/110-1×800mm2。110kV變電站內(nèi)部新增1臺100MVA主變，新增1組110kV進線GIS裝置（線變組接線），10kV新增2段母線，接入原10kV母線系統(tǒng)，最終10kV改建為單母線六分段環(huán)形接線。

4 自動化運維方案

4.1 自動化需求

“2+1”方案落地后，又面臨新的難題和挑戰(zhàn)，如何解決結(jié)構(gòu)復(fù)雜的系統(tǒng)或者設(shè)備分布比較分散的大系統(tǒng)，如何確保系統(tǒng)動作順序的可靠性、準確性，避免由于誤動作影響系統(tǒng)的持續(xù)運行成為一個重要課題。

通常，高壓開關(guān)柜的保護邏輯往往在建設(shè)調(diào)測期間已經(jīng)固化完成，后期調(diào)整的可能性很小。以單路進線停電為例，該數(shù)據(jù)中心機樓高壓開關(guān)柜的動作順序為：按順序依次分開停電側(cè)出線柜→分開停電側(cè)進線柜→閉合高壓聯(lián)絡(luò)柜開關(guān)→按順序依次閉合停電側(cè)出線柜。一般我們將這種投切方式叫做順序投切，這個方案的優(yōu)點在于調(diào)試相對簡單，如果出現(xiàn)開關(guān)動作錯誤，現(xiàn)場人員方便定位。然而在“2+1”供電模式下，如果需要實現(xiàn)10kV側(cè)中壓倒換的順利完成，需要增加的采樣單元、二次線數(shù)量非常多，相互之間的聯(lián)動關(guān)系也非常復(fù)雜，改造后的調(diào)測難度也非常大。因此，技術(shù)團隊提出基于SCADA平臺進行功能開發(fā)實現(xiàn)對10kV以及后備電源的整體調(diào)度，并且更進一步實現(xiàn)智能化分級保障方案。

4.2 自控方案設(shè)計

場控系統(tǒng)利用SCADA系統(tǒng)既有的采樣、存儲功能，對一定時間區(qū)域內(nèi)負載電流進行計算，加上該線路的充電電流需量以及一定安全裕量，從而得到需要保障各出線柜負載穩(wěn)定運行電流需量。通過人工對出線開關(guān)進行預(yù)分級標記，從而優(yōu)先保障為重要出線開關(guān)供電，從而保障重要業(yè)務(wù)不受斷電影響，持續(xù)穩(wěn)定運行。

假定110 kV進線A、B停電，兩路所帶母線分別為I、II和III、IV，每段母線需要倒切的電流量為各出線最大短期運行電流與充電電流之和：

I需=∑（Imax出線1+Imax出線2+…）+∑（Imax充電1+Imax充電2+…）

由于I段與VI段，IV段與V段有聯(lián)絡(luò)柜連接，當前V段與VI段母線運行電流分別為IVI及IIII，每路進線大載流量為In，則：

若In-IV-IVI-III需-IIII需≥I1需+IIV需，則通過機樓內(nèi)10 kV母聯(lián)將II、III段母線下負載倒切至V、VI段，同時閉合110kV變電站IV、V段和I、VI段之間的聯(lián)絡(luò)柜；

若In-IV-IVI-III需-IIII需≥0且In-IV-IVI-III需-IIII需＜I1需+IIV需，則通過機樓內(nèi)10 kV母聯(lián)將II、III段母線下負載倒切至V、VI段，啟動I、IV段母線所帶負載的對應(yīng)的油機組，完成啟機并機進行供電；

若In-IV-IVI-III需-IIII需＜0，則根據(jù)重要等級，將重要負載通過機樓內(nèi)10 kV母聯(lián)將II、III段母線下負載倒切至V、VI段，超出部分及I、IV段母線所帶負載通過啟動對應(yīng)的油機組，完成啟機并機進行供電。

這里特別強調(diào)，負載對應(yīng)母線一定要按照I、IV，II、V和III、VI進行進線互備設(shè)計。

當系統(tǒng)給出倒切方案后，會先在人機界面進行彈框，調(diào)度人員可以選擇進行方案預(yù)演，或者立即執(zhí)行。

通過SCADA系統(tǒng)的介入，我們還可以實現(xiàn)對同一重要級別的負載根據(jù)末端負荷大小進行排序，使整套高壓開關(guān)柜投入順序按照負荷的大小順序投入，減少對園區(qū)微電網(wǎng)的沖擊。

5 結(jié)束語

采用“2+1”供電模式引入一路110 kV電源，通過10 kV成環(huán)互為備份，在行業(yè)內(nèi)屬于先進技術(shù)處理模式，可有效解決供電容量的問題，且大大節(jié)省建設(shè)投資，減少后續(xù)維護成本。

（1）節(jié)約建設(shè)投資：某運營商數(shù)據(jù)中心三路110 kV線路方案相對于兩路220kV方案可減少投資7.4億元；（2）縮短建設(shè)周期：采用1路110kV引入對施工環(huán)境、施工工藝要求較220kV要低，預(yù)計節(jié)省工期約6個月以上；（3）減少后續(xù)維護成本：220kV電壓等級更高，維護難度更大，預(yù)防性試驗及絕緣性檢測成本要降低成本500萬元/年；（4）變電站建設(shè)面積減?。?20kV市電電源需新建1棟220kV變電站6000平方米，而本方案采用“2+1”110kV引入只需建1臺110kV變壓器及配套，利用現(xiàn)有變電站擴容；（5）通過場控平臺降低硬件投資、減少改造施工量并減少一線駐場技術(shù)人員數(shù)量。可以節(jié)約一次性投資約400萬元，后續(xù)每年可以節(jié)約運維費用約240萬元。