傅衛(wèi)東 / 張 淵（蘇州工業(yè)園區(qū)設計研究院, 江蘇 蘇州 215021）

1 項目及建設標準簡介

近日位于蘇州工業(yè)園區(qū)獨墅湖畔的蘇州工業(yè)園區(qū)綜合數(shù)據(jù)中心正式投入運營，成為工業(yè)園區(qū)重要的公共技術(shù)服務平臺，填補了工業(yè)園區(qū)數(shù)據(jù)中心增值業(yè)務的空白。該數(shù)據(jù)中心建筑面積約4.2萬m2，分兩期進行建設。第一期建筑面積1.8萬m2，其中機房區(qū)域1.08萬m2，設施配套區(qū)域7200 m2，最大可配置標準機柜1694個。

難能可貴的是該綜合數(shù)據(jù)中心投運之前已經(jīng)順利通過由國際正常運行時間協(xié)會(The uptime institute,UI)組織的關于數(shù)據(jù)中心的設計等級認證，據(jù)報道該中心是亞洲首個獲得TierIV級別設計等級認證證書的數(shù)據(jù)中心。

Tier標準指的是《ANSI/TIA-942-2005數(shù)據(jù)中心用遠程通信基礎設施標準》，該標準是世界上第一部較為全面地以數(shù)據(jù)中心為對象的技術(shù)標準。標準中以數(shù)據(jù)中心基礎設施的“可用性(Availability)”和“安全性(Security)”為主要指標，將數(shù)據(jù)中心由高到低分為以下4 個等級，分別為TierIV，III，II，I。其中的TierIV標準相當于國內(nèi)的GB50174-2008 《電子信息系統(tǒng)機房設計規(guī)范》內(nèi)的最高標準的A級機房標準，而且在某些方面要求更加嚴格。

數(shù)據(jù)中心等級認證級別越高，標志著數(shù)據(jù)中心成熟度越高，能夠提供的服務也就越安全穩(wěn)定，當然單位面積的造價也就越昂貴。正是由于TierIV級別在基礎設施建造上的高要求和高成本投入，全世界能夠成功通過該級別標準的企業(yè)不足10家。在這一點上蘇州工業(yè)園區(qū)綜合數(shù)據(jù)中心實現(xiàn)了我國數(shù)據(jù)中心的一個新突破。作為建設方聘請的顧問公司和機房區(qū)的承包方，某國際知名IT企業(yè)的全球服務部全程參與了該項目，而作為項目的設計方筆者所在的蘇州工業(yè)園區(qū)設計院完成了除機房以外的所有區(qū)域包括變電所、發(fā)電機房的設計。在此僅將設計中的一些體會寫下來供大家參考。

2 TierIV 標準的電氣供電一般要求

TierⅣ認證的數(shù)據(jù)中心要求具有容錯結(jié)構(gòu)，系統(tǒng)設計需要避免出現(xiàn)單點故障，所有電力系統(tǒng)，包括備用電源都是全冗余的。允許對重要負荷進行有計劃（不會中斷系統(tǒng)）的操作。容錯功能需要至少能經(jīng)受住一次最重要的意外事故（操作失誤、設備故障、外電源中斷、維護和檢修等）而不會中斷電子信息系統(tǒng)的運行，能提供99.995%的可用性。具體來說對于電氣系統(tǒng)的要求一般有以下幾項：

1） 市電接入兩路主供

2）變壓器容量配置 2N，即全冗余

3）備用柴油發(fā)電機配置不低于N +1

4）發(fā)電機燃料儲量 不小于 96h

5）電氣系統(tǒng)允許并行檢修

6）單位面積供電密度不小于 1.5kW/m2

7）UPS系統(tǒng)容量配置 2N，即全冗余

8）獨立雙電源路徑至PDU

9）空調(diào)設備供電2N，即全冗余

10）冷水主機配置不低于N +1

11）精密空調(diào)末端配電不低于 N+1

12）自動化配電集中監(jiān)視系統(tǒng)

以上要求的后6項屬于機房區(qū)域的工作范圍，一般由專業(yè)公司來完成，這里僅重點介紹一般需要由設計院完成的前6項。

3 數(shù)據(jù)中心供電設計方案

3.1 負荷分析及UPS配置情況

按照機房區(qū)設計方IT公司提出的要求，一期工程中安裝的網(wǎng)絡機柜及服務器機柜總用電量為6314kW，考慮到80%的負載率及0.8的功率因數(shù)，IT公司選擇的為機柜服務的UPS的實際需要容量為10000kVA，UPS按照2N的原則配置，即總配置容量為20000kVA。為機房區(qū)服務的冷凍機、冷凍水循環(huán)泵、冷卻塔、冷卻水循環(huán)泵、機房空調(diào)箱、機房精密空調(diào)等設備的總負荷為2385kW，其中冷凍水循環(huán)泵、機房空調(diào)箱、機房精密空調(diào)設備由于與機房溫度密切相關，一旦停止工作將因機房內(nèi)1500多臺服務器機柜的巨大散熱導致機房溫度迅速上升，并很快即會超過服務器的臨界工作溫度從而間接導致系統(tǒng)中斷運行。所以IT公司也要求配置UPS供電，其負荷為643kW。為了降低啟動電流，這部分負荷里所有風機及水泵均采用變頻或軟啟動，同樣考慮到80%的負載率及0.8的功率因數(shù)，按照2N原則需要為該部分負荷配置2×1000kVA UPS。UPS電池供電時間均按照15min考慮。其他負荷包括機房區(qū)域照明及機房以外的辦公區(qū)空調(diào)、照明、風機、防排煙設備及消防水泵等設備，該部分負荷容量約為1600kW。

3.2 變壓器配置

考慮到UPS的性價比，IT公司最終選擇了500kVA/臺的UPS來搭建整個UPS供電系統(tǒng)，為機柜區(qū)服務的20000kVA UPS按照2000kVA一組分成了10組，10組里又按照100%冗余原則分為A、B兩路，每路五組共10000kVA。因為在選擇UPS時已經(jīng)考慮了負載率，因此在選擇變壓器時容量不再放大，每組UPS由1臺2000kVA的變壓器供電，為機柜區(qū)服務的變壓器總共為10×2000kVA。 接下來是為數(shù)據(jù)中心服務的輔助設備供電，經(jīng)過計算2N或2（N+1）配置的冷凍機、冷卻塔、冷卻水泵每組運行負荷為1780kW，每組由1臺2000kVA變壓器供電。2N或2（N+1）配置的冷凍水循環(huán)泵、機房空調(diào)箱、機房精密空調(diào)設備再加上其他負荷每組由1臺2500kVA的變壓器供電。這樣我們得到了總的變壓器安裝功率為10×2000kVA+2×2000k VA+2×2500kVA=29000kVA，14臺變壓器和UPS機組一樣分成100%冗余的A、B兩路，每路7臺，安裝容量為14500kVA。

3.3 發(fā)電機選擇及配置

按照本文第二節(jié)里提到的TierIV標準里對發(fā)電機配置的要求是不低于N+1，事實上經(jīng)數(shù)據(jù)中心建設方的要求，最后是按照2N的標準來進行設計和土建預留的。發(fā)電機和變壓器一一對應，一樣分成了100%

冗余的A、B兩路，每路7臺。由于發(fā)電機需要100%地承擔相對應的變壓器的荷載，因此每臺按照常用功率

2000kVA(備用功率2000kW)來選擇。只不過項目初期考慮到造價的因素，只配了A路的7臺發(fā)電機，B路的7臺發(fā)電機電源配出屏本期才安裝到位，通過聯(lián)絡母線與A路相應發(fā)電機組聯(lián)絡，并從本路的發(fā)電機電源配出屏向B路負荷供電。將來需要時可以在最短的時間內(nèi)迅速安裝B路的7臺發(fā)電機組。因為建筑空間的限制，發(fā)電機房只能布置在地下一層，考慮到發(fā)電機組散熱時需要的巨大風量不可能通過自然進風來解決，故采用發(fā)電機散熱器遠置的方案。散熱器均安裝在四層屋面上，通過閉路的冷卻水管路來進行循環(huán)散熱，而地下室發(fā)電機房內(nèi)進風量僅需要考慮發(fā)電機燃燒時的新風量及少量的機組輻射熱即可。

3.4 發(fā)電機儲油量計算及室外油罐配置

查閱各大柴油機廠家提供的資料，2000kW備用功率的柴油發(fā)電機每小時的耗油量約為500L，A路7臺備用發(fā)電機48h的耗油量總和約16.8萬L，因此需要在室外為A路發(fā)電機建造180m3的地下儲油罐。B路7臺備用發(fā)電機同樣需要180m3的地下儲油罐，并且與A路發(fā)電機的油罐埋地距離保持15m以上的安全距離。因為每路發(fā)電機的室外油罐均能滿足100%的負荷運行48h的要求，故兩個室外油罐的總儲量可以滿足TierIV 標準里的發(fā)電機96h運行的要求。

3.5 20kV市電接入設計

按照TierIV 標準要求應從兩個獨立的電網(wǎng)變電所的專用輸出回路上分別引入一路市電電源，以專線方式沿不同的敷設路由引接至數(shù)據(jù)中心。每一路市電電源的供電容量應能滿足全部負荷的需求，即應為全冗余，并且兩路市電應同時供電運行。 本項目一期安裝了14臺變壓器，兩路市電每路需要連接7臺變壓器，安裝容量14500kVA。當然由于在變壓器的配置上已經(jīng)采用了2N的形式，故高壓側(cè)不再需要聯(lián)絡。

14500kVA的變壓器裝機容量已經(jīng)超過了常規(guī)10kV 系統(tǒng)單路供電的上限，對于這樣的供電容量在國內(nèi)絕大多數(shù)地區(qū)是需要以35kV及以上電壓供電的，大多數(shù)情況下均需要建造一所35kV或110kV降壓站。然而幸運的是本項目建設地點正好位于蘇州工業(yè)園區(qū)的核心區(qū)內(nèi)，而該園區(qū)自1994年開始開發(fā)建設以來一直采用20kV中壓系統(tǒng)進行供電。對于20kV系統(tǒng)而言，單路專線供電的上限為16000kVA，14500kVA正好處于單路供電的上限以下，因此兩路20kV專線即輕松地解決了供電的問題。不過為了滿足從兩個獨立的電網(wǎng)變電所引來專用輸出回路的要求，雖然數(shù)百米之外的一座供電局110kV降壓站內(nèi)兩段不同20kV母線上可以分別提供一路20kV專線，但是經(jīng)過權(quán)衡最終還是只從該降壓站引來了一路20kV專線，另一路20kV專線則是多花了數(shù)百萬投資由數(shù)公里之外的另一座220kV降壓站里引來的。至于數(shù)據(jù)中心的二期供電問題，存在兩種可能，一是極有可能在工業(yè)園區(qū)政府的大力支持下，二期再由供電局的兩個不同的降壓站引來兩路 20kV專線，但前提是每路容量不超過16000kVA。二是一旦二期的專線容量超過單路供電上限，在二期再建設數(shù)據(jù)中心專用的110kV/20kV降壓站，由降壓站的20kV 母線上分別向一期二期的變電所供電。即使是按照最壞的打算最后仍然避免不了110kV 降壓站的建設，但是畢竟是為數(shù)據(jù)中心的建設方贏得了寶貴的經(jīng)營時間和極大地節(jié)約了初期的建設投資,這也從一個側(cè)面體現(xiàn)了蘇州工業(yè)園區(qū)20kV中壓配電系統(tǒng)的優(yōu)越性。

4 供電設計具體分析

數(shù)據(jù)中心整體供電的系統(tǒng)框架圖如圖1所示。

從圖1中可以看到，所有電氣設備按照100%冗余的原則分為互相對稱的A、B兩路，其中T1～T10是為服務器機柜UPS 服務的變壓器，每臺變壓器容量2000kVA，各帶2000kVA 的UPS。T11、T12 是為數(shù)據(jù)中心服務的冷凍水循環(huán)泵、機房空調(diào)箱、機房精密空調(diào)設備及其他輔助用房及建筑物消防負荷服務的變壓器，每臺容量2500kVA 。T13、T14是為數(shù)據(jù)中心服務的冷凍機、冷卻塔、冷卻水泵供電的變壓器，每臺容量2000kVA。發(fā)電機組目前是先裝備了A路的7臺，其中1#、3#、5#、7#、9# 發(fā)電機為服務器機柜UPS 服務，11#、13#發(fā)電機為數(shù)據(jù)中心配套及消防負荷服務，并且需要并列運行。

下面以T1、T2變壓器為例，對系統(tǒng)的設計進行具體分析。

從圖2我們可以看到T1、T2變壓器分屬不同的設備組別A、B，互為備用，各帶一組4×500kVA 的UPS，UPS同時也互為備用。T1、T2一一對應發(fā)電機組1#、2#，（2#發(fā)電機暫不安裝）。變壓器間設低壓聯(lián)絡，發(fā)電機間也設低壓聯(lián)絡，發(fā)電機和對應的變壓器間通過自動切換開關連接。為了消除單點電氣故障，滿足Tier IV標準中電氣系統(tǒng)允許并行檢修的要求，采取了以下的措施： 1）為了在兩臺變壓器同時帶電的情況下檢修和測試聯(lián)絡母線，在變壓器聯(lián)絡母線的兩端均需要安裝斷路器，而不像常規(guī)設計那樣僅在聯(lián)絡母線的一端設斷路器，而發(fā)電機的聯(lián)絡母線因為發(fā)電機平時不帶電故僅在一端設斷路器即可。 2）發(fā)電機和變壓器之間的ATS需要采用帶旁路維修功能的自動切換開關，該類切換開關除了滿足當市電斷電時自動切換至柴油發(fā)電機供電的功能外，還可以做到在自動切換開關處于抽出狀態(tài)維修及維護時,仍然可以通過內(nèi)置的旁路隔離開關的手動選擇來實現(xiàn)正常供電及發(fā)電機供電的功能，從而使ATS維護時不間斷供電成為可能。3）UPS需要設計維修旁路，并且主回路、旁路應由不同母線專用供電。因此設計中選用了兩條母線同時供電至UPS并聯(lián)機組前后的兩段母線上，以滿足旁路開關合上后可以不停電進行檢修及維護UPS機組的要求。

最后結(jié)合變電所的平面布置，簡述對土建設計上的要求。

從圖3可以看到A、B兩路高低壓設備需要嚴格分開，中間必須設防火墻及防火門隔開，變電所設在地面1層，以成品架空地板向上抬高了1m。發(fā)電機設在地下1層，由發(fā)電機引至ATS的母線及A、B兩路變壓器間的聯(lián)絡母線均在1m的架空地板下敷設，而引至UPS機組的母線及旁路母線均從柜頂出線，從而有效地減少了管線的交叉。由于使用了大量的UPS，盡管各大UPS廠家均聲稱可以將波形畸變率THD%控制在5%以內(nèi)，考慮到將來一旦諧波超標會帶來嚴重影響，故仍在變電所里預留了有源動態(tài)濾波裝置的安裝位置，一旦實測波形畸變率不能滿足系統(tǒng)正常運行的要求，可以有補救的余地。 在整個建筑物里設備機房及管井的設置上，也依然按照A、B兩路完全分開的原則設置各自獨立的UPS間、電池間、UPS 配電豎井、強電井、電信接入室、網(wǎng)絡管井，甚至是各自獨立的水管井、氣體消防管井、樓層新風管井…

5 供電母線及電纜的選擇

鑒于本工程里為數(shù)據(jù)機房服務的UPS電池間及制冷機房等均位于地下室，且與位于1層的變電所并不貼鄰布置，故由變電所引至上述機房的大電流母線在地下室敷設時有相當長的一段距離是安裝在機房以外沒有防火防護的空間里的，而3150A的電流是幾乎沒有可能用防火電纜來進行傳輸?shù)?。在以往的設計中往往也只能選用普通的母線來配電，因為市場上沒有這樣大容量的防火母線。為此這里也往往成為整個配電系統(tǒng)設計里最為薄弱的環(huán)節(jié)，一旦地下室發(fā)生火災，就有可能因為母線故障造成整個供電系統(tǒng)的完全崩潰，從而使之前在電力系統(tǒng)里設計的多重冗余統(tǒng)統(tǒng)失效。 那么這個問題究竟有沒有更好地解決方案呢？筆者在設計階段通過多方尋找及實地考察后了解到某知名國際母線公司剛剛由國外引進了一條LR環(huán)氧澆注式母線生產(chǎn)線，該母線采用環(huán)氧樹脂和定量特選的礦石混合材料相混合，制成高效絕緣材料將銅導體直接澆注密封，根據(jù)GA537-2005 “ 母線干線系統(tǒng)（母線槽）阻燃防火耐火性能的試驗方法”測試，在溫度達到1000℃時，可繼續(xù)供電約60min，同時因為絕緣材料里不含鹵素，即使燃燒也不會發(fā)出有毒、有害的氣體。因此本工程的2500m母線全部采用了該型母線。除了解決了防火的問題，在母線安裝完畢以后時值蘇州六月份的黃梅天。還發(fā)現(xiàn)了一個意想不到的好處，因為該型母線是完全密閉的澆注母線，防護等級達到了IP68，因此可以絲毫不擔心黃梅天地下室里正常通風系統(tǒng)尚未運行時的潮氣，哪怕是母線表面上已經(jīng)有密密麻麻的一層結(jié)露，也絕不用擔心母線的絕緣性能受到影響。

數(shù)據(jù)中心里其他重要設備的配電干線電纜大部分采用了礦物絕緣電纜，總的安裝長度超過了3萬m。礦物絕緣電纜的防火能力是目前電纜里最高級別的，大量地在干線系統(tǒng)上的使用給予了整個電力傳輸系統(tǒng)以極高的可靠性。不過這里需要指出的是上述兩種母線和電纜的敷設難度要較常規(guī)的母線和電纜大得多，施工前需要有足夠的思想準備。

6 小結(jié)

該數(shù)據(jù)中心項目于2008年6月完成設計，2010年8月正式投入運營。一期工程僅1.8萬m2的建筑面積造價即達到了4.5億，這還是在一半發(fā)電機組和部分樓層UPS機組及服務器機柜尚未安裝到位的情況下的造價。盡管如此，單位面積的造價也達到了2.5萬元/m2, 單位面積的供電密度是1.61kVA/m2。這確實是一個高投入的產(chǎn)業(yè)，需要有絕對實力的公司來建設。不過考慮到它將產(chǎn)生的巨大社會效應以及在數(shù)據(jù)應用、數(shù)據(jù)備份及災難恢復等多方面產(chǎn)生的作用，這些投入又是值得的。近年來越來越多的地方在興建各種不同規(guī)模和等級的數(shù)據(jù)中心，也印證了數(shù)據(jù)中心需求的旺盛。本文對TierIV數(shù)據(jù)中心的供配電設計的簡單介紹，也是希望能對今后類似的設計有所幫助。

[1] ANSI. ANSI/TIA-942-2005數(shù)據(jù)中心用遠程通信基礎設施標準[S].

[2] 中華人民共和國工業(yè)和信息化部. GB50174-2008電子信息系統(tǒng)機房設計規(guī)范[S].北京: 人民出版社, 2009.