張一凡, 滑 祥

(萬國數(shù)據(jù)服務(wù)有限公司, 上海 200131)

0 引 言

數(shù)據(jù)中心供配電系統(tǒng)是為機房內(nèi)所有需要電源的設(shè)備提供穩(wěn)定、可靠的動力電源支持的系統(tǒng)。一旦供配電系統(tǒng)出現(xiàn)故障,輕則降低IT或輔助設(shè)備的冗余度,重則會導致IT設(shè)備斷電宕機,造成經(jīng)濟損失和社會影響。本文結(jié)合項目中的實際設(shè)備故障案例和運行數(shù)據(jù),對A級數(shù)據(jù)中心的供配電系統(tǒng)設(shè)計、施工方面進行分析,供相關(guān)技術(shù)人員參考。

1 數(shù)據(jù)中心的規(guī)范要求

1.1 ANSI標準TIA-942

美國國家標準學會(ANSI)于2005批準頒布的TIA-942(ANSI/TIA/EIA-942 Telecommunications Infrastructure Standard for Data Centers《數(shù)據(jù)中心通信基礎(chǔ)設(shè)施標準》),該標準針對數(shù)據(jù)中心基礎(chǔ)設(shè)施的可用性定義了4種不同等級,作為數(shù)據(jù)中心基礎(chǔ)設(shè)施分級認證的標準。4種不同等級認證分別被命名為Tier 1、Tier 2、Tier 3、Tier 4等級,分別對應數(shù)據(jù)中心的可用性指標及年平均故障時間。其中Tier 4級可用性99.995%、年平均故障時間0.4 h。

1.2 國標GB 50174

依據(jù)GB 50174—2017《數(shù)據(jù)中心設(shè)計規(guī)范》規(guī)定,數(shù)據(jù)中心設(shè)計時應根據(jù)機房的使用性質(zhì),管理要求及其在經(jīng)濟社會中的重要性確認機房級別,劃分為A、B、C 3種級別。A級數(shù)據(jù)中心的基礎(chǔ)設(shè)施宜按照容錯系統(tǒng)配置,基礎(chǔ)設(shè)施應在一次意外事故后或單系統(tǒng)設(shè)備維護、檢修時仍能保證電子信息系統(tǒng)正常運行[1]。A級數(shù)據(jù)中心應由雙重電源供電,并應設(shè)置備用電源。

2 數(shù)據(jù)中心的現(xiàn)狀

大型園區(qū)型數(shù)據(jù)中心通常配置獨立的220 kV或110 kV變電站,由變電站饋送10 kV電源至數(shù)據(jù)樓;中型數(shù)據(jù)中心往往采用2回110 kV或35 kV的線變組接入后,通過10 kV母線饋送各配電變;小型數(shù)據(jù)中心基本上用2回10 kV市電電源通過電纜送往數(shù)據(jù)中心高壓10 kV配電系統(tǒng)。

獨立的數(shù)據(jù)樓通常是2路10 kV電纜電源進線,10 kV電氣主接線為單母線分段,并配置能承擔數(shù)據(jù)機房滿載正常運行的柴油發(fā)電機組作為備用電源。配電變壓器常采用2N系統(tǒng)設(shè)置,后端不間斷電源系統(tǒng)通常采用2N的UPS并機系統(tǒng)供電,也有部分采用2N的高壓直流配電或1路高壓直流配電、1路市電直供方式。標準2N系統(tǒng)A級數(shù)據(jù)中心供配電系統(tǒng)示意圖如圖1所示。

圖1 標準2N系統(tǒng)A級數(shù)據(jù)中心供配電系統(tǒng)示意圖

2.1 0.4 kV聯(lián)絡(luò)母線

2N系統(tǒng)設(shè)計的低壓配電系統(tǒng),考慮10 kV饋線電纜、配電變壓器在運行中的故障場景,通常設(shè)計有0.4 kV聯(lián)絡(luò)母線[1]。低壓密集絕緣母線由于其造價、體積等優(yōu)點,數(shù)據(jù)中心項目上基本上采用此類母線。

按照建設(shè)方對降低數(shù)據(jù)中心建設(shè)成本的要求,部分項目在0.4 kV優(yōu)化聯(lián)絡(luò)母線。某項目低壓配電一次圖如圖2所示。圖中,原本低壓聯(lián)絡(luò)開關(guān)、隔離開關(guān)的標準配置省去了額定電流3 200 A或4 000 A的隔離開關(guān)。

圖2 某項目低壓配電一次圖

在實際運維現(xiàn)場中,0.4 kV聯(lián)絡(luò)母線空載帶電時發(fā)生過數(shù)起短路故障,造成配電變低壓總進線開關(guān)保護分閘,單邊母線停電。人工應急檢查,對聯(lián)絡(luò)母線段隔離后,恢復2N低壓配電。與母線廠商一起對事故原因進行分析,結(jié)論為:母線連接處安裝不到位,一側(cè)連接側(cè)板壓在連接器異型材,接觸不緊密,存在間隙;另一側(cè)未插接到位,母線銅排相間裸露,電氣間隙不滿足設(shè)計要求。某品牌低壓密集絕緣母線接頭連接器安裝異常如圖3所示。在灰塵、濕度變化時易引起擊穿空氣造成短路,瞬間高溫造成銅排熔化。

圖3 某品牌低壓密集絕緣母線接頭連接器安裝異常

2.2 UPS并機系統(tǒng)外部維修旁路母線

項目中UPS通常采用2～4臺并機系統(tǒng),通過UPS的并列運行,提高UPS供電系統(tǒng)的可靠性、增加UPS系統(tǒng)的冗余度。UPS并機系統(tǒng)均配置外部維修旁路,用于UPS的整組維修、維護等場景。根據(jù)并機系統(tǒng)容量的大小,外部維修旁路常采用額定電流3 200 A、2 500 A、2 000 A的低壓密集絕緣母線。

為降低數(shù)據(jù)中心的建設(shè)成本,新設(shè)計的項目在外部維修旁路電源側(cè)設(shè)置框架式斷路器,后端通過母線直接轉(zhuǎn)接至UPS輸出并機柜的母線,省去了1個框架式隔離開關(guān)及其盤柜。早期項目配電情況如圖1所示,外部維修旁路的電源側(cè)配置斷路器、負載側(cè)配置斷路器或隔離開關(guān),其優(yōu)勢在于密集絕緣母線故障時隔離、日常維護隔離用。

2.3 園區(qū)型中心用戶變電站的電氣主接線

隨著“東數(shù)西算”項目的推進,在大型、超大型、園區(qū)型數(shù)據(jù)中心項目中,獨立變電站往往配置不小于4臺電力變壓器,此時其電氣主接線在設(shè)計報審階段前就需要和外電部門溝通。目前部分110/10 kV的變電站,110 kV采用單母線分段,設(shè)置聯(lián)絡(luò)開關(guān);部分變電站,采用兩套一進多出的單母線,無聯(lián)絡(luò)開關(guān)。

以江蘇某園區(qū)型數(shù)據(jù)中心為例,某園區(qū)型數(shù)據(jù)中心配套變電站一次圖如圖4所示。因電網(wǎng)側(cè)的原因,近年上級電網(wǎng)多次要求用戶站配合倒閘,設(shè)置聯(lián)絡(luò)開關(guān),在電網(wǎng)調(diào)度指令下,利用110 kV聯(lián)絡(luò)開關(guān)短時合環(huán)運行,實施不停電倒負荷,避免下掛5棟數(shù)據(jù)樓的10條線路停電操作,實現(xiàn)后端負載無感知。

圖4 某園區(qū)型數(shù)據(jù)中心配套變電站一次圖

2.4 用戶變電站的無功補償配置

數(shù)據(jù)中心設(shè)置的變電站電壓等級分為35 kV、110 kV及220 kV,國網(wǎng)單位往往憑借原來應用于工業(yè)企業(yè)或者電網(wǎng)變電站的設(shè)計經(jīng)驗,在10 kV母線段上掛大量電容器,作為感性無功功率的補償。

數(shù)據(jù)中心行業(yè)設(shè)備以不間斷電源UPS設(shè)備為主,其設(shè)備技術(shù)參數(shù)要求功率因素不低于0.95,電源端內(nèi)部配置PFC等類似設(shè)備。因此在后端服務(wù)器負載投入時,用戶站進線側(cè)功率因素為0.95以上,且偏容性。用戶站配置的高壓電容器除變電站起動時,整個數(shù)據(jù)中心生命周期,電容器補償裝置均閑置,造成設(shè)備投資浪費。

電網(wǎng)電費計量點根據(jù)所在區(qū)域、項目也不一樣。上海區(qū)域電費計量點均在用戶側(cè)進線計量;河北等地電費計量點在電網(wǎng)變電站出線側(cè);江蘇區(qū)域依據(jù)不同項目,有的計量點在用戶側(cè),有的在電網(wǎng)側(cè),根據(jù)供用電合同的約定。當計量點在電網(wǎng)側(cè)時,通過較長的電纜輸送至用戶站,因電纜的電容效應,會消耗大量的容性無功功率。數(shù)據(jù)中心后端負載一般都是隨客戶服務(wù)器上架而緩慢升高,在投用的1～3年內(nèi),有功功率不高時,易造成計量點處功率因素偏低,每個月都會因電網(wǎng)考核指標而罰款,造成用戶不必要的經(jīng)濟損失。用戶站因前期按照工業(yè)企業(yè)變電站配置,未配置高壓電抗器類負載而面臨無法進行容性無功功率過剩的補償尷尬。

3 設(shè)計與施工

3.1 低壓密集絕緣母線應用時的設(shè)計

設(shè)計配置時需要注意:① 0.4 kV配電系統(tǒng),采用單母線分段接線形式,新建工程必須設(shè)置低壓聯(lián)絡(luò)開關(guān)、隔離開關(guān)柜,用于低壓聯(lián)絡(luò)用密集絕緣母線的故障隔離、日常檢修場景。② IT用UPS外部維修旁路采用低壓密集絕緣母線時,維修旁路的電源側(cè)、負載側(cè)宜分別裝斷路器、隔離開關(guān),用于應對密集絕緣母線的故障隔離、日常檢修場景。

由于低壓密集絕緣母線的安裝工藝要求較空氣絕緣母線高,如果沒有設(shè)置隔離開關(guān),一旦發(fā)生故障會造成低壓母線一段時間單邊不可用,單邊UPS的蓄電池放電耗盡,后端負載單邊供電中斷,IT設(shè)備冗余降低。并機UPS系統(tǒng)的輸出柜亦需要考慮上述接頭故障場景,如果沒有設(shè)置隔離開關(guān),一旦發(fā)生故障,會造成UPS輸出中斷,多個列頭柜單邊供電中斷。隔離故障部位的時間視搶修人員能力而定,易造成下端模塊機房IT設(shè)備長時間單邊供電。數(shù)據(jù)機房目前都是靠2N服務(wù)器電源PSU來保證高可靠性,隔離故障所需時間內(nèi),多個列頭柜的單路供電存在較大風險。

3.2 用戶變電站的設(shè)計

設(shè)計優(yōu)化點一:大型園區(qū)型數(shù)據(jù)中心項目中,其往往配置不小于4臺電力變壓器,其高壓電氣主接線宜按照設(shè)計聯(lián)絡(luò)開關(guān)報批。

項目中,GIS設(shè)備在上述設(shè)計時,除了增加1個間隔的成本外,必然會布置在同一個防火分區(qū)內(nèi),有人會提出疑問:按照GB 50174—2017的要求A級數(shù)據(jù)中心,容錯配置的變配電設(shè)備應分別布置在不同的物理隔間內(nèi)[1]。數(shù)據(jù)樓內(nèi)配電設(shè)施按照此要求執(zhí)行,而獨立變電站可以參考電網(wǎng)的變電站設(shè)計。

設(shè)計優(yōu)化點二:設(shè)計高電壓等級變電站的項目,當計量點在電網(wǎng)側(cè),通過較長的電纜、架空/電纜混合線路輸送至用戶站,需要設(shè)計單位考慮電纜的電容效應的影響,結(jié)合數(shù)據(jù)中心生產(chǎn)負載增長速度,適當設(shè)置電抗器類補償設(shè)備,減少電容設(shè)備的配置。

3.3 低壓密集絕緣母線的施工

低壓聯(lián)絡(luò)母線施工中需要注意:① 低壓密集絕緣母線(大母線、機房配電母線)的安裝需要確保施工遵循廠家的《作業(yè)施工、安裝維護手冊》技術(shù)點實施。重點關(guān)注段間連接器的安裝質(zhì)量。在專人檢查連接器內(nèi)部母排和銅片的搭接狀態(tài)無誤后,統(tǒng)一進行連接器外防護蓋板的安裝。母線接頭連接器結(jié)構(gòu)示意圖如圖5所示。具體執(zhí)行參考《低壓母線槽應用技術(shù)規(guī)程》的安裝、驗收章節(jié)[2]。② 運維前帶載測試期間,紅外成像檢查母線槽的連接器等是否滿足廠家標稱溫升要求。

圖5 母線接頭連接器結(jié)構(gòu)示意圖

低壓密集絕緣母線的設(shè)計說明、施工交底中需明確:① 聯(lián)絡(luò)母線額定電流不小于3 200 A,單節(jié)母線長度不小于2 m的,每一單元母線支架應不少于2個;② 水平母線槽的安裝方面:立式、臥式均需要使用壓板將母線槽外殼固定在支架上;③ 支架的高低應一致,支架設(shè)置的位置應避開母線槽接頭,位于連接器兩端[2]。

在實際故障、施工中,單節(jié)密集絕緣母線較長時,其重量較大,施工人員對母線進行安裝時如果吊架過少,其安裝難度較大,難以確保施工質(zhì)量(接頭);吊桿、支架等輔材其價格便宜,不會影響工程成本。用母線槽壓板防止安裝中母線左右晃動,造成安裝好的連接器又出現(xiàn)移位。

3.4 10 kV電纜頭的施工

電力電纜終端的施工注意事項:① 施工人員具備施工資質(zhì),按照附件廠商施工說明書施工;② 電纜的外屏蔽層與電纜終端內(nèi)的屏蔽層搭接良好;③ 電纜終端的應力錐部位不允許承受彎曲應力,盡量保持直線[3]。

電纜終端往往是高壓電纜相對薄弱的地方,其制作質(zhì)量決定了電纜的運行可靠性。事故案例一:10 kV電纜使用冷縮終端時,可以采用冷縮直管、冷縮終端、三支套結(jié)構(gòu),也可以采用冷縮終端、冷縮直管、三支套結(jié)構(gòu)。采用第一種結(jié)構(gòu)相對來說安裝后,局部放電風險較大。某數(shù)據(jù)中心項目中干式配電變的高壓側(cè)電纜采用上進線,10 kV電纜采用第一種方式制作終端,由于冷縮終端處于分叉處,長期導致喇叭口處電場應力集中,最終導致電纜的主絕緣單相對地絕緣擊穿事故發(fā)生。事故案例二:某施工單位為降低成本,臨時聘請1人實施10 kV電纜頭的施工作業(yè),施工單位未能識別出該人員不具備電纜頭制作能力。造成多個新建項目電纜頭制作不合格,耐壓試驗時發(fā)現(xiàn)異常,解剖發(fā)現(xiàn)擠包絕緣電纜的半導電層沒有按照要求與應力錐的半導電層均勻不間斷地過渡,中間有一段僅用冷縮直管包裹剝?nèi)グ雽щ妼拥碾娎|主絕緣。

4 結(jié) 語

一座高可靠性、經(jīng)濟運行的數(shù)據(jù)中心與開始的設(shè)計到設(shè)備制造、施工安裝、后期運行維護等都密切相關(guān),任何一個環(huán)節(jié)的不足都會給后期設(shè)備運維帶來潛在風險或增加運維成本。