晁懷頗

(世源科技工程有限公司，北京 100142)

0 引言

近年來，國家信息化發(fā)展戰(zhàn)略的貫徹落實(shí)，不僅推動(dòng)了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算的蓬勃發(fā)展，也同時(shí)推動(dòng)了數(shù)據(jù)中心的快速發(fā)展。作為一種為集中放置的電子信息設(shè)備提供運(yùn)行環(huán)境的建筑場(chǎng)所，數(shù)據(jù)中心已成為現(xiàn)代信息社會(huì)的重要基礎(chǔ)設(shè)施，國內(nèi)已建成或正在建設(shè)的數(shù)據(jù)中心數(shù)以萬計(jì)。

供配電系統(tǒng)是數(shù)據(jù)中心基礎(chǔ)設(shè)施的重要組成部分，負(fù)責(zé)為電子信息設(shè)備、制冷、空調(diào)、監(jiān)控、安防、照明等所有系統(tǒng)(設(shè)備)供電。在數(shù)據(jù)中心宕機(jī)事故中，超過半數(shù)是因?yàn)楣┡潆娤到y(tǒng)故障或操作不當(dāng)導(dǎo)致，因此，選擇一個(gè)高可用的供配電系統(tǒng)已成為數(shù)據(jù)中心建設(shè)的基本要求。

本文將針對(duì)一個(gè)建筑面積約10 000m2、布置 1 200 個(gè)5kW機(jī)柜的數(shù)據(jù)中心工程展開論述，分別介紹適用于數(shù)據(jù)中心的高可用供配電系統(tǒng)的三種常用形式，并從可用度、建設(shè)和運(yùn)行成本、運(yùn)維等角度進(jìn)行分析和比較。

1 系統(tǒng)構(gòu)架

數(shù)據(jù)中心高可用供配電系統(tǒng)有三種常用形式，分別為2N系統(tǒng)、DR系統(tǒng)和RR系統(tǒng)。下文將在市電配置和發(fā)電機(jī)配置相同的前提下，就三種系統(tǒng)展開討論。其中，市電電源系統(tǒng)中，接入雙路10kV市電電源，雙路電源同時(shí)工作、互為備用，設(shè)置兩段10kV市電配電母線，兩段母線采用分段單母的接線方式。發(fā)電機(jī)電源系統(tǒng)中，配置8臺(tái)10.5kV柴油發(fā)電機(jī)組，8臺(tái)機(jī)組按(7+1)冗余配置，采用單母線并機(jī)系統(tǒng)。

1.1 2N系統(tǒng)

2N系統(tǒng)由2個(gè)供配電單元組成，每個(gè)供配電單元均能滿足負(fù)載的用電要求，且2個(gè)供配電單元同時(shí)工作、互為備用。正常運(yùn)行時(shí)，每個(gè)單元向負(fù)載提供50%電能，當(dāng)一個(gè)單元故障停止運(yùn)行時(shí)，另一個(gè)單元向負(fù)載提供100%電能。系統(tǒng)構(gòu)架如圖1所示，共配置8臺(tái)2 500kVA變壓器，兩兩一組，共4組，同組2臺(tái)變壓器同時(shí)工作、互為備用，其中T1～T6為IT設(shè)備供電，T7、T8為輔助和支持設(shè)備供電。每組為IT設(shè)備供電的變壓器下配置兩組按2N配置的UPS，N=3×(1×500kVA)。

圖1 2N系統(tǒng)構(gòu)架圖

1.2 DR系統(tǒng)

DR(Distribution Redundancy，分布冗余)系統(tǒng)由N個(gè)配置相同的供配電單元組成，N個(gè)單元同時(shí)工作、互為備用(N≥3)；將負(fù)載均勻分為N組，每組負(fù)載再細(xì)分為N-1個(gè)負(fù)載單元；第一個(gè)供配電系統(tǒng)為第一組負(fù)載內(nèi)N-1個(gè)負(fù)載單元提供第A路電源，另外N-1個(gè)供配電單元為第一組負(fù)載內(nèi)的N-1個(gè)負(fù)載單元分別提供一路電源，作為負(fù)載單元的B路電源，依此類推。當(dāng)一組供配電系統(tǒng)故障時(shí)，其對(duì)應(yīng)組負(fù)載內(nèi)N-1個(gè)負(fù)載單元失去A路供電，B路電源則分別由未故障的N-1個(gè)供配電系統(tǒng)繼續(xù)供電。

本文所述DR系統(tǒng)中供配電單元的數(shù)量為3。系統(tǒng)構(gòu)架如圖2所示，共配置9臺(tái)1 600kVA變壓器，其中6臺(tái)變壓器為IT設(shè)備供電，3臺(tái)為輔助和支持設(shè)備供電。

圖2 DR系統(tǒng)構(gòu)架圖

一臺(tái)1 600kVA變壓器和兩組2×500kVA UPS組成一個(gè)供配電單元，共6個(gè)供電配單元，每3個(gè)供配電單元為一組，同組3個(gè)供電單元按DR配置。另外3臺(tái)為輔助和支持設(shè)備供電的變壓器也按DR配置。

1.3 RR系統(tǒng)

RR(Reserve Redundanc，后備冗余)系統(tǒng)需設(shè)置多個(gè)供配電單元，其中一個(gè)單元作為其他使用單元的備用。當(dāng)一個(gè)使用單元故障時(shí)，通過電源切換裝置，備用單元繼續(xù)向故障單元下的負(fù)載供電。系統(tǒng)構(gòu)架如圖3所示，共配置5臺(tái)2 500kVA變壓器，按4+1冗余配置，其中T1、T2、T3為IT設(shè)備供電，T4為輔助和支持設(shè)備供電，T5為冗余變壓器。T1～T3、T5變壓器下各設(shè)置兩組(3×500kVA)UPS，T5變壓器下UPS為T1～T3下UPS的備用，組成3+1冗余系統(tǒng)，通過STS實(shí)現(xiàn)切換，確保IT設(shè)備供電的連續(xù)性。

2 系統(tǒng)可用度分析

根據(jù)國家標(biāo)準(zhǔn)GB/T 2900.13-2008《電工術(shù)語 可信性和服務(wù)質(zhì)量》規(guī)定，可用性為在所要求的外部資源得到提供的情況下，產(chǎn)品在給定的條件下、給定的時(shí)刻或時(shí)間區(qū)間內(nèi)，能處于完成要求的功能狀態(tài)的能力。可用度為在給定的時(shí)間區(qū)間內(nèi)能處于完成要求的功能狀態(tài)的概率，可表示為平均可用時(shí)間同平均可用時(shí)間與平均不可用時(shí)間的和之比。

圖3 RR系統(tǒng)構(gòu)架圖

可用度A可表示為MTBF/(MTBF+MTTR)，MTBF為平均失效間隔工作時(shí)間，MTTR為平均修復(fù)時(shí)間。

2.1 分析方法

本文采用軟件ETAP 16分別進(jìn)行三種系統(tǒng)可用度的計(jì)算，計(jì)算方法為：N個(gè)系統(tǒng)串聯(lián)可用度AN=A1×A2×……×AN；2個(gè)系統(tǒng)并聯(lián)可用度A=[1-(1-A1)×(1-A2)]；N+1冗余可用度A=[1-(1-A1)2](N+1)×N/2。

2.2 分析依據(jù)

本文采用軟件ETAP 16提供的可用度數(shù)據(jù)進(jìn)行計(jì)算，該軟件內(nèi)數(shù)據(jù)依據(jù)IEEE Std493 1997，具體數(shù)值參見表1。

2.3 分析模型和結(jié)果

三種供配電系統(tǒng)可用度分析模型圖分別如圖4～6所示。

由于篇幅限制，本文不對(duì)計(jì)算過程展開討論，僅對(duì)在相同計(jì)算方法、相同計(jì)算輸入數(shù)據(jù)前提下得出結(jié)論進(jìn)行討論。三類不同供配電系統(tǒng)末端雙電源IT設(shè)備的可用度計(jì)算結(jié)果見表2。

供配電系統(tǒng)各環(huán)節(jié)可用度數(shù)據(jù)表 表1

注1：軟件ETAP 16未提供系統(tǒng)可用度數(shù)據(jù)，平均無故障時(shí)間按照15年(131 400 h)輸入；平局修復(fù)時(shí)間按照24 h輸入。
注2：軟件ETAP 16未提供系統(tǒng)可用度數(shù)據(jù)，平均無故障時(shí)間按照5年(43 800 h)輸入；平局修復(fù)時(shí)間按照24 h輸入。
注3：軟件ETAP 16未提供系統(tǒng)可用度數(shù)據(jù)，平均無故障時(shí)間按照10年(87 600 h)輸入；平局修復(fù)時(shí)間按照8 h輸入。
注4：軟件ETAP 16未提供系統(tǒng)可用度數(shù)據(jù)，平均無故障時(shí)間按照10年(87 600 h)輸入；平局修復(fù)時(shí)間按照12 h輸入。

圖4 2N系統(tǒng)可用度計(jì)算模型框圖

圖5 DR系統(tǒng)可用度計(jì)算模型框圖

圖6 RR系統(tǒng)可用度計(jì)算模型框圖

2N、DR、RR系統(tǒng)末端雙電源IT設(shè)備可用度分析結(jié)果表 表2

由表2數(shù)據(jù)可知，可用度由高到低分別為2N系統(tǒng)、DR系統(tǒng)、RR系統(tǒng)。究其原因，三類系統(tǒng)的冗余均可視作N+1配置，按N+1配置的環(huán)節(jié)中，故障數(shù)量超過1時(shí)，系統(tǒng)將失效；N越小冗余設(shè)備越多，可用度越高。三類系統(tǒng)中各環(huán)節(jié)視作N+1時(shí)的配置見表3。

2N、DR、RR系統(tǒng)各環(huán)節(jié)N+1冗余配置表 表3

本文雖然提供了三類系統(tǒng)可用度分析的具體數(shù)值，但系統(tǒng)中各環(huán)節(jié)可用度輸入數(shù)值、各環(huán)節(jié)設(shè)備配置(如UPS并機(jī)數(shù)量)等的變化，都會(huì)對(duì)具體數(shù)值造成影響。因此，具體數(shù)值僅供各位讀者做定性分析參考之用。另外，需要注意的是，可用度計(jì)算無法體現(xiàn)由于人為操作失誤、設(shè)備安裝和調(diào)試不當(dāng)、運(yùn)維不當(dāng)?shù)纫蛩卦斐上到y(tǒng)可用度降低的影響。

3 成本

除了可用度，成本也是數(shù)據(jù)中心規(guī)劃、建設(shè)和運(yùn)維關(guān)注的重點(diǎn)，下文將就上述的三類系統(tǒng)的建設(shè)和運(yùn)行成本展開討論。

3.1 建設(shè)成本

依照上文所述的各系統(tǒng)構(gòu)架對(duì)各環(huán)節(jié)設(shè)備進(jìn)行配置。但是基于各環(huán)節(jié)設(shè)備單價(jià)僅是來源于筆者的項(xiàng)目經(jīng)驗(yàn)，不能完全適用于不同地區(qū)、不同行業(yè)數(shù)據(jù)中心建設(shè)，也不能完全適應(yīng)不同品牌、不同類型的設(shè)備單價(jià)，故本文中定性給出的各系統(tǒng)造價(jià)差異，僅供比價(jià)參考。

其中，三個(gè)系統(tǒng)中設(shè)置的末端配電箱、ATS、變頻器等配置基本相同、造價(jià)占比較小、對(duì)整體造價(jià)的影響小，未納入設(shè)備配置表和造價(jià)估算進(jìn)行比較；線纜、橋架、接地等材料成本占比較小，未進(jìn)行比較；市電進(jìn)線電纜的采購、敷設(shè)及測(cè)試成本，以及供電部門高可靠性收費(fèi)等成本不確定性較大，未進(jìn)行比較。

如表4～6所示，分別為2N系統(tǒng)、DR系統(tǒng)、RR系統(tǒng)主要設(shè)備配置及造價(jià)估算清單。

2N系統(tǒng)主要設(shè)備配置及造價(jià)估算表 表4

DR系統(tǒng)主要設(shè)備配置及造價(jià)估算表 表5

RR系統(tǒng)主要設(shè)備配置及造價(jià)估算表 表6

經(jīng)過比較可知，2N系統(tǒng)設(shè)備造價(jià)高，DR和RR系統(tǒng)造價(jià)相當(dāng)，較之2N系統(tǒng)造價(jià)低9%左右。

3.2 運(yùn)行成本

折舊成本、運(yùn)維人工和材料成本，未進(jìn)行比較。線路和高低壓開關(guān)柜損耗占比較小，未進(jìn)行比較。

(1)電度電價(jià)

運(yùn)行成本從項(xiàng)目達(dá)產(chǎn)后供配電系統(tǒng)內(nèi)設(shè)備消耗的電能進(jìn)行比較。供配電系統(tǒng)中主要能耗設(shè)備為變壓器和UPS。

依據(jù)IT設(shè)備實(shí)際耗電功率6 000kW，變壓器和UPS年消耗電能估算見表7。

變壓器和UPS年耗電估算表 表7

注1：表中變壓器損耗數(shù)據(jù)是來自國內(nèi)某合資品牌SCB11系列產(chǎn)品。
注2：表中UPS效率數(shù)據(jù)來自國內(nèi)某品牌高頻機(jī)產(chǎn)品。

由表7數(shù)據(jù)可知，在相同用電設(shè)備耗電的情況下，不同負(fù)荷率下變壓器和UPS自身的能耗差別越來越小，原因一是節(jié)能變壓器的應(yīng)用，二是采用了30%～100%負(fù)載率下效率都很高、效率隨負(fù)載率變化不明顯的UPS。

對(duì)于本文舉例的年耗電近7 000萬kWh的項(xiàng)目，不同供配電系統(tǒng)自身設(shè)備耗電差19.1萬kWh，占整個(gè)項(xiàng)目年耗電不足0.3%；平均電費(fèi)按1元/kWh繳納時(shí)，年電費(fèi)差19萬元左右。

綜上，隨著節(jié)能供配電設(shè)備的應(yīng)用，負(fù)載率不同導(dǎo)致不同供配電系統(tǒng)自身能耗的差異不斷縮小，一般負(fù)載率大于30%時(shí)，基本可忽略此部分電度電價(jià)的差異。

(2)基本電價(jià)

項(xiàng)目采用兩部制電價(jià)時(shí)，除了電度電價(jià)外，還會(huì)按變壓器裝設(shè)容量收取基本電價(jià)，基本電價(jià)以35元/kVA·月繳納時(shí)，三類系統(tǒng)基本電費(fèi)差異見表8。

2N、DR、RR系統(tǒng)基本電費(fèi)統(tǒng)計(jì)表 表8

2N系統(tǒng)變壓器裝設(shè)容量最多，RR系統(tǒng)變壓器裝設(shè)最少，2N系統(tǒng)基本電費(fèi)是RR系統(tǒng)基本電費(fèi)的1.6倍，2N系統(tǒng)比RR系統(tǒng)每年多繳納315萬元基本電費(fèi)，多繳納的基本電費(fèi)約占項(xiàng)目年用電費(fèi)用(包括電度電費(fèi)和基本電費(fèi)之和)的4.3%左右。

因此，建議數(shù)據(jù)中心規(guī)劃者、建設(shè)者根據(jù)數(shù)據(jù)中心規(guī)模、負(fù)荷增長速度等選擇電費(fèi)繳納形式、選擇供配電系統(tǒng)形式。

4 其他

4.1 運(yùn)維難度

數(shù)據(jù)中心工程可以說是“三分建設(shè)、七分維護(hù)”，基礎(chǔ)設(shè)施的運(yùn)行維護(hù)對(duì)數(shù)據(jù)中心項(xiàng)目安全運(yùn)行至關(guān)重要。系統(tǒng)構(gòu)架簡(jiǎn)單、維護(hù)便捷、運(yùn)維難度小是數(shù)據(jù)中心供配電系統(tǒng)規(guī)劃階段就應(yīng)該關(guān)注的要點(diǎn)，且運(yùn)維難度和供配電系統(tǒng)構(gòu)架的復(fù)雜程度密切相關(guān)，系統(tǒng)中環(huán)節(jié)越少、電源切換關(guān)系越簡(jiǎn)單、閉鎖越少的系統(tǒng)運(yùn)維難度越低。

2N系統(tǒng)構(gòu)架簡(jiǎn)單，是國內(nèi)最常用的供配電系統(tǒng)，小到樓堂會(huì)所、大到百萬平方米級(jí)別的大型工廠的10kV及以下配電系統(tǒng)中都有最廣泛的應(yīng)用。該系統(tǒng)環(huán)節(jié)少，僅市電和發(fā)電電源、10kV母聯(lián)備自投、0.4kV母聯(lián)備自投、末端設(shè)置的ATS存在電源切換，切換環(huán)節(jié)的閉鎖也多為廣大電氣運(yùn)維人員所熟知的備自投或ATS。簡(jiǎn)單的構(gòu)架、廣泛應(yīng)用所積累的運(yùn)行維護(hù)經(jīng)驗(yàn)都降低了2N系統(tǒng)的運(yùn)行維護(hù)難度，使其成為本文討論的三類供配電系統(tǒng)中運(yùn)維難度最低的、運(yùn)維最為便捷的系統(tǒng)。

DR系統(tǒng)較2N系統(tǒng)稍復(fù)雜，系統(tǒng)是3套供配電單元間的切換，增加了每臺(tái)變壓器前兩路10kV電源的切換環(huán)節(jié)和閉鎖要求，減去了變壓器低壓側(cè)母聯(lián)的備自投功能和閉鎖要求。

RR系統(tǒng)最為復(fù)雜，較之2N系統(tǒng)，增加了每臺(tái)變壓器前兩路10kV電源的切換環(huán)節(jié)和閉鎖要求；末端配電處增加了STS環(huán)節(jié)，增加了當(dāng)一組STS切換至備用電源供電時(shí)由此備用源供電的其他STS需關(guān)閉自動(dòng)切換功能的閉鎖要求；增加備用變壓器僅能為一臺(tái)使用變壓器提供備用電源的閉鎖要求；上述閉鎖功能復(fù)雜、接線點(diǎn)分散，需設(shè)置冗余的PLC實(shí)現(xiàn)此功能，但PLC的出現(xiàn)也間接增加了建設(shè)成本和運(yùn)維難度。

如上，運(yùn)維難度由低到高依此為2N系統(tǒng)、DR系統(tǒng)、RR系統(tǒng)。較之2N系統(tǒng)，DR系統(tǒng)運(yùn)維難度稍高，RR系統(tǒng)運(yùn)維難度則有很大的增加。

4.2 一次故障下的供電配電系統(tǒng)

(1)故障影響的范圍

供配電系統(tǒng)內(nèi)部最容易發(fā)生故障的環(huán)節(jié)為電源轉(zhuǎn)換的環(huán)節(jié)，如UPS、變壓器。

2N系統(tǒng)中，10kV以下共設(shè)置4個(gè)供電單元，任何一個(gè)供電單元內(nèi)的UPS、變壓器等環(huán)節(jié)故障時(shí)，僅故障單元受到影響，影響范圍小。就IT設(shè)備而言，一次故障影響1/3的IT設(shè)備的供電系統(tǒng)，且其他未故障系統(tǒng)不受此故障的影響和制約。

DR系統(tǒng)中，10kV以下共設(shè)置3個(gè)供電單元，單元內(nèi)故障不影響、不制約其他兩個(gè)未故障的供電單元。就IT設(shè)備而言，一次故障影響1/2的IT設(shè)備的供電系統(tǒng)。

RR系統(tǒng)中，10kV以下為1個(gè)N+1配置的供電單元，任意一點(diǎn)故障時(shí)，整個(gè)供電系統(tǒng)都會(huì)受到影響。如一臺(tái)變壓器故障時(shí)，備用變壓器投入運(yùn)行、替代故障變壓器繼續(xù)向負(fù)載供電，單其他未故障環(huán)節(jié)均需進(jìn)行閉鎖，以避免二次故障時(shí)事故擴(kuò)大。

(2)故障造成設(shè)備狀態(tài)變化程度

設(shè)備狀態(tài)變化越大，對(duì)設(shè)備造成的沖擊越大，變化帶來的沖擊會(huì)降低設(shè)備的可用度。

以UPS為例，當(dāng)一組UPS故障時(shí)，處于冗余狀態(tài)的UPS負(fù)載率的變化如下：2N系統(tǒng)中，UPS負(fù)載率由37%增加至74%；DR系統(tǒng)中，UPS負(fù)載率由55.6%增加至83.4%；RR系統(tǒng)中，UPS負(fù)載率由0%增加至74%。

(3)故障后系統(tǒng)的可用度

2N系統(tǒng)10kV以下一次故障后，1/4負(fù)載可用度降低為單路供電狀態(tài)，3/4負(fù)載仍具備原有的高可用度。

DR系統(tǒng)10kV以下一次故障后，1/3負(fù)載可用度降低為單路供電狀態(tài)，2/3負(fù)載仍具備原有的高可用度。

RR系統(tǒng)10kV以下一次故障后，所有負(fù)載負(fù)載可用度降低為單路供電狀態(tài)。

(4)應(yīng)對(duì)多重故障的能力

2N系統(tǒng)10kV以下共設(shè)置4個(gè)供電單元，最多能應(yīng)對(duì)4個(gè)分布在不同供電單元的故障。

DR系統(tǒng)10kV以下共設(shè)置3個(gè)供電單元，最多能應(yīng)對(duì)3個(gè)分布在不同供電單元的故障。

RR系統(tǒng)10kV以下為1個(gè)N+1配置的供電單元，僅能應(yīng)對(duì)一次故障。

如上，從故障影響范圍、未故障的冗余設(shè)備替代故障設(shè)備繼續(xù)供電時(shí)的風(fēng)險(xiǎn)、故障后的可用度和應(yīng)對(duì)多重故障的能力角度考慮，2N系統(tǒng)最優(yōu)，RR系統(tǒng)最差。

5 結(jié)束語

數(shù)據(jù)中心常用高可用供配電系統(tǒng)包括2N、DR、RR三種。其中，2N系統(tǒng)具有高可用度、結(jié)構(gòu)簡(jiǎn)單、運(yùn)維便捷等特點(diǎn)，但其建設(shè)和基本電費(fèi)的支出偏高。DR系統(tǒng)可用度、結(jié)構(gòu)復(fù)雜程度、運(yùn)維難度、基本電費(fèi)支出等在三個(gè)系統(tǒng)中均處于中間水平，其還具有建設(shè)成本低、系統(tǒng)運(yùn)行損耗小等優(yōu)點(diǎn)，但其系統(tǒng)在負(fù)載分配、設(shè)備和線路物理位置冗余等方面需要在數(shù)據(jù)中心規(guī)劃和設(shè)計(jì)階段重點(diǎn)考慮。RR系統(tǒng)造價(jià)較低，但其可用度、維護(hù)便捷性、抗災(zāi)能力方面也相對(duì)較低。