卜 震 王安光 沈 佳 孫海峰
上海市建筑科學(xué)研究院
周俊茂
中國移動通信集團上海有限公司
面向綠色數(shù)據(jù)中心創(chuàng)建的節(jié)能技術(shù)和能源管理集成應(yīng)用
卜 震 王安光 沈 佳 孫海峰
上海市建筑科學(xué)研究院
周俊茂
中國移動通信集團上海有限公司
從提升數(shù)據(jù)中心能效水平的目標出發(fā),介紹了國家綠色數(shù)據(jù)中心試點項目的創(chuàng)建思路和原則,通過上海地區(qū)某電信類IDC機房的創(chuàng)建案例,詳述了在上海地區(qū)綠色數(shù)據(jù)中心建設(shè)和運營的節(jié)能技術(shù)和能源管理措施的集成應(yīng)用情況,分析了幾項節(jié)能創(chuàng)新技術(shù)的應(yīng)用技術(shù)要點,為綠色數(shù)據(jù)中心推廣提供了參考。
互聯(lián)網(wǎng)數(shù)據(jù)中心;高壓直流電源;光纖測溫技術(shù);能源管理措施
Fund Item: Shanghai Municipal Scientific Technology Committee Science Research Plan Topic(16DZ1202401)
統(tǒng)計數(shù)據(jù)顯示全球數(shù)據(jù)中心總量已超過300萬個,耗電量約占全球總耗電量的1.5%,數(shù)據(jù)中心的高能耗問題已經(jīng)引起全球關(guān)注。近年來,我國城市數(shù)據(jù)中心建設(shè)進入了快速發(fā)展期,總量已超過50萬,年耗電量超過全國總耗電量的1.5%[1]。特別是隨著全球信息化飛速發(fā)展,互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)建設(shè)步伐更是明顯加快。根據(jù)上海統(tǒng)計局統(tǒng)計,至2013年末,上海已建成700處宏基站和300處室內(nèi)分布系統(tǒng),覆蓋中心城區(qū)190 m2,各類互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)機架總量達3.4萬個,增加4 000個;至2014年末,IDC機架數(shù)總量達3.8萬個。
國際發(fā)達國家普遍重視數(shù)據(jù)中心節(jié)能,通過采用節(jié)能低碳產(chǎn)品和技術(shù)以及先進的管理方法優(yōu)化數(shù)據(jù)中心運營能效,降低其環(huán)境影響。美國環(huán)保署(EPA)在2010年提出并實施了“數(shù)據(jù)中心能源之星計劃”,節(jié)能效率在行業(yè)內(nèi)排名前25的才有資格獲得能源之星標簽;美國政府還積極推進“聯(lián)邦數(shù)據(jù)中心整合計劃”,關(guān)閉小型數(shù)據(jù)中心,取而代之的是集中式的數(shù)據(jù)中心,目前,美國數(shù)據(jù)中心平均電能使用效率(PUE)已達1.9,先進數(shù)據(jù)中心PUE已達到1.2以下。2008年,歐盟發(fā)布了《數(shù)據(jù)中心能效行為準則》,提供了減少數(shù)據(jù)中心整體能耗和碳排放的解決方案,引導(dǎo)數(shù)據(jù)中心節(jié)能環(huán)保水平的提升。我國大多數(shù)數(shù)據(jù)中心的PUE普遍大于2.2,與國際先進水平相比有較大差距,節(jié)能需求及潛力巨大。近年來,我國從政府層面重視綠色數(shù)據(jù)中心的示范建設(shè),2015年制定了《國家綠色數(shù)據(jù)中心試點工作方案》,提出創(chuàng)建百個綠色數(shù)據(jù)中心試點,能效平均提高8%以上的目標。
綠色數(shù)據(jù)中心的建設(shè)應(yīng)與數(shù)據(jù)中心類型、當(dāng)?shù)貧夂驐l件、節(jié)能技術(shù)利用水平和使用情況等相適應(yīng),我國綠色數(shù)據(jù)中心的設(shè)計、建設(shè)、運營、監(jiān)管、評價、改造等諸多環(huán)節(jié)還存在不少問題有待開展專項技術(shù)研究和技術(shù)集成研究。本文首先簡要介紹綠色數(shù)據(jù)中心的創(chuàng)建思路和原則,然后以上海地區(qū)某電信類IDC為例,重點分析綠色數(shù)據(jù)中心創(chuàng)建中的節(jié)能技術(shù)措施,闡述實施過程中的技術(shù)要點及問題,為該地區(qū)綠色數(shù)據(jù)中心適宜性節(jié)能技術(shù)的應(yīng)用和推廣提供依據(jù)和參考。
根據(jù)工信部的《國家綠色數(shù)據(jù)中心試點工作方案》,在分析我國數(shù)據(jù)中心節(jié)能環(huán)保水平現(xiàn)狀基礎(chǔ)上,提出了綠色數(shù)據(jù)中心試點創(chuàng)建的思路和原則。其中,創(chuàng)建總體思路是以建立數(shù)據(jù)中心的推進機制,引導(dǎo)數(shù)據(jù)中心節(jié)能環(huán)保水平全面提升為目標,圍繞互聯(lián)網(wǎng)、電信、公共機構(gòu)、能源、金融、生產(chǎn)等六大應(yīng)用領(lǐng)域,在數(shù)據(jù)中心建設(shè)規(guī)模大、總能耗高的省市選擇數(shù)據(jù)中心,開展綠色數(shù)據(jù)中心創(chuàng)建,探索和引導(dǎo)數(shù)據(jù)中心綠色低碳發(fā)展途徑。創(chuàng)建原則一是堅持能效提升與低碳環(huán)保并重:在提升能效同時,降低碳排放和資源消耗,控制有毒有害物質(zhì)使用并加強回收;二是分類實施和指導(dǎo):根據(jù)應(yīng)用領(lǐng)域特點和規(guī)模,因地制宜進行創(chuàng)建,分類指導(dǎo)規(guī)劃、建設(shè)和運營;三是技術(shù)和管理并重:在開展綠色數(shù)據(jù)中心節(jié)能新技術(shù)創(chuàng)新和推廣應(yīng)用的同時,提高管理水平,建立運維管理體系。
2.1 工程概況
以上海地區(qū)電信類IDC為例,該IDC位于所在園區(qū)1號樓,共有機房模塊6個,機房制冷采用業(yè)內(nèi)領(lǐng)先的水冷主機結(jié)合板式熱交換技術(shù)。其中,位于1號樓四層的2、3號機房是為客戶量身定制、定向租用的IDC機房,機房面積680 m2,安裝業(yè)務(wù)機柜340個,IT設(shè)備負載近910 kW,機房設(shè)備使用率達90%以上。該IDC自2014年10月后開始穩(wěn)定運行后,在原設(shè)計基礎(chǔ)上綜合利用十余項節(jié)能技術(shù),并不斷完善用能監(jiān)測和運維管理體系。
2.2 節(jié)能技術(shù)
該IDC分別在冷源系統(tǒng)、建筑圍護結(jié)構(gòu)、機房氣流組織、電源設(shè)備、照明系統(tǒng)等幾個方面采取了節(jié)能技術(shù)措施。
1)冷源選擇
項目根據(jù)上海地區(qū)的氣候條件與總制冷量需求,選擇了離心式冷水機組作為主用冷源。同時,考慮到大型數(shù)據(jù)中心往往需要一個較長的時間周期才能逐步裝機達到設(shè)計負荷,為了提高在部分負荷狀態(tài)下的冷機COP值,選擇了變頻式機組。同時,還采用了低溫冷卻水利用和優(yōu)化冷凍水供回水溫度等細節(jié)措施實現(xiàn)運營節(jié)能。
此外,根據(jù)上海年氣候變化特點,項目設(shè)計了冷卻塔“自由冷卻”系統(tǒng)。自由冷卻系統(tǒng)與常規(guī)制冷系統(tǒng)并聯(lián),便于控制、維修、切換,且功能劃分清晰。按照冷卻塔供冷與制冷主機供冷比例關(guān)系,新增3套與主機相同容量的冷卻塔(共計6套冷卻塔)、3套板式換熱器(見圖1)及與其配套的3臺冷卻水泵。在冬季,僅開啟1臺變頻主機使其負荷維持在30%以上,冷卻水溫度維持在15℃以上,其余供冷量由冷卻塔供給,節(jié)能減排效果明顯。過渡季,開啟自然冷卻系統(tǒng)預(yù)冷冷凍水。在不使用該系統(tǒng)的季節(jié),該系統(tǒng)的冷卻塔可與常規(guī)制冷系統(tǒng)的冷卻塔一并使用,以此降低冷卻水溫,提高主機效率。
圖1 自由冷卻系統(tǒng)板換照片
2)建筑圍護結(jié)構(gòu)
該數(shù)據(jù)中心是由老廠房改建而成,因此在建筑熱工性能方面不滿足最新設(shè)計要求,因此在改造過程中對原廠房大多數(shù)外窗進行了封閉處理,最終窗墻比控制在15%以下。同時在內(nèi)部裝修時,充分注意彌補熱工缺陷,在機房內(nèi)墻設(shè)置了保溫墻體,避免冷量散失;在分隔墻體內(nèi)均設(shè)置保溫巖棉,達到節(jié)能隔音的效果。由于機房內(nèi)采用了地板送風(fēng)方式,采用800 mm高防靜電架空地板,地板下鋪設(shè)導(dǎo)熱系數(shù)<0.036 W/(m·K)的橡塑保溫層,形成保溫效果良好的送風(fēng)風(fēng)道,有效防止了不同樓層房間之間的溫差產(chǎn)生的結(jié)露效應(yīng)。
3)機房氣流組織
IDC內(nèi)部合理的氣流組織形式與設(shè)備穩(wěn)定安全運行以及節(jié)能效果息息相關(guān)[2]。近年來,大型IDC機房通常采用冷熱通道隔離方式,這種方式既能有效避免冷熱空氣混合,也利用了熱空氣自然上浮的物理特性,形成了合理的氣流分布,有利于提高冷卻效率。該項目數(shù)據(jù)中心的機架排列采用了冷熱通道隔離方案,即相鄰兩排設(shè)備機架的擺放方向為“面對面、背靠背”,自然形成相互間隔的冷熱通道(見圖2)。冷空氣從開孔地板進入冷通道,設(shè)備采用“正面進背面出”的方式通風(fēng),熱空氣再從熱通道回到空調(diào)回風(fēng)口。在冷熱通道隔離的基礎(chǔ)上,該項目進一步采用了封閉冷通道的節(jié)能方案(見圖3)。有關(guān)研究表明封閉冷通道后室內(nèi)風(fēng)機送風(fēng)量可減少30%,封閉熱通道后室內(nèi)風(fēng)機送風(fēng)量可減少12.5%。
圖2 冷熱通道隔離示意圖
圖3 封閉冷通道示意圖和現(xiàn)場照片
在應(yīng)用冷熱通道隔離或封閉方案時,擋風(fēng)盲板的安裝至關(guān)重要。因為項目機房內(nèi)服務(wù)器一半是逐步安裝的,在架內(nèi)服務(wù)器的間隙上加裝擋風(fēng)盲板,能夠保證空調(diào)送來的冷風(fēng)流經(jīng)服務(wù)器散熱以后才回到空調(diào),避免了局部氣流組織短路的情況(見圖4)。安裝擋風(fēng)盲板是一個動態(tài)的過程,由于客戶經(jīng)常會對服務(wù)器進行裝、拆、移等動作,擋風(fēng)盲板的部署位置也需要相應(yīng)的隨之調(diào)整,這要求機房維護人員與租賃客戶建立有序的溝通協(xié)調(diào)機制和合作管理模式。
圖4 擋風(fēng)盲板作用示意圖和加裝盲板后的現(xiàn)場照片
此外,為進一步優(yōu)化氣流組織形式,提高冷卻效果,項目對冷通道送風(fēng)地板的形式進行了優(yōu)化。如圖5所示,采用了氣流導(dǎo)向地板,提高了地板開孔率,從而使地板送風(fēng)阻力大大降低,送風(fēng)效率明顯提高,單機柜冷卻能力也得到提升,另外有助于解決傳統(tǒng)空調(diào)系統(tǒng)送風(fēng)量有限所引起的冷卻能力不足問題,突破了地板風(fēng)口的送風(fēng)瓶頸,提高了IT設(shè)備的機柜容積率和出租率,使機房空間資源能夠得到充分利用。
圖5 冷通道送風(fēng)口改造前后對比照片
4)電源設(shè)備
通信用高壓直流電源(HVDC)是一種新型的直流不間斷供電系統(tǒng),與傳統(tǒng)的2N UPS系統(tǒng)相比,直流供電減少了電源轉(zhuǎn)換時的電能損耗,提高了電源的使用效率和系統(tǒng)安全性。通常UPS效率隨著負載率的降低而降低,為保障系統(tǒng)安全,UPS供電系統(tǒng)大多采用備份形式,導(dǎo)致單臺UPS通常工作在較低負載率區(qū)間,系統(tǒng)效率較低,通常低于80%,而240 V直流系統(tǒng)效率一般都在95%以上,直流供電技術(shù)應(yīng)用于電信IDC機房的節(jié)能優(yōu)勢明顯[3]。
該項目設(shè)計采用了一路240 V直流和一路市電電源為IT服務(wù)器供電的方案(見圖6),數(shù)據(jù)中心內(nèi)配置的通信電源設(shè)備系統(tǒng),可在滿足IT設(shè)備負荷的前提下,盡量貼近其負荷值,以提高主機的負載率,從而提高主機的效率,降低能源損耗。
圖6 240 V直流和市電供電系統(tǒng)示意圖
由于在規(guī)格一定的情況下,電纜長度越長,電阻越大,電能損耗越大,項目通過優(yōu)化數(shù)據(jù)中心的總體布局,縮短供電路由,節(jié)省了初次投資的同時,降低了線損。采用的具體措施為:油機房與變配電機房左右緊靠相鄰,變配電機房與電力電池室上下緊靠相鄰,電力室與主機房左右緊靠相鄰,同時,電力室內(nèi)輸入、輸出屏分開合理擺放,盡量減少線路的迂回。
5)照明系統(tǒng)
該項目采用了三項綠色照明設(shè)計措施。首先,采用高效照明產(chǎn)品。用T5型(熒光燈+鎮(zhèn)流器)替換T8型(熒光燈+電感鎮(zhèn)流器),節(jié)電率達到30%以上,同時大大降低了頻閃,改善了照明環(huán)境,提高了工作效率。其次,采用合理照明控制方式。照明控制應(yīng)能滿足機房和其他輔助區(qū)域的視覺需要,在此條件下,節(jié)約照明用電。同時還需要兼顧操作性和經(jīng)濟性。機房走廊、樓梯廳和門廳等公共區(qū)域的照明,應(yīng)該采用集中控制方式,并按建筑使用條件和天然采光狀況采取分區(qū)、分組控制。一般,可以按有無天然采光進行分組,按不同使用條件進行分區(qū),以利于節(jié)約電能。另外,充分利用自然采光。在部分室內(nèi)區(qū)域,如大廳、走廊、監(jiān)控室等,可以充分利用自然采光,不僅可以節(jié)能,而且能夠提高工作人員的視覺舒適度。
2.3 能源管理
數(shù)據(jù)中心的節(jié)能管理應(yīng)貫徹數(shù)據(jù)中心整個生命周期。本項目自立項起,在規(guī)劃、設(shè)計、建設(shè)、驗證和運營等各個階段均有針對性的部署了相關(guān)節(jié)能管理工作,自始至終開展節(jié)能優(yōu)化,最能實現(xiàn)了比較理想的節(jié)能運行效果。
1)測試與驗證環(huán)節(jié)
項目參照國外成功工程項目經(jīng)驗,在建設(shè)過程中特別加入了測試與驗證環(huán)節(jié)。不僅是對IDC機房節(jié)能設(shè)計效果進行測試驗證,還對機房容量能力、各個子系統(tǒng)安全性、聯(lián)動性進行系統(tǒng)測試和驗證,具體工作內(nèi)容見圖7。通過測試和調(diào)適驗證,可將符合建設(shè)要求和設(shè)計技術(shù)標準的工程項目無縫交付給運維團隊。
圖7 IDC機房測試與驗證環(huán)節(jié)工作內(nèi)容
2)基于光纖測溫的機柜級溫控系統(tǒng)
IDC機房的傳統(tǒng)空調(diào)設(shè)計通常采用機房級溫控技術(shù),即空調(diào)系統(tǒng)配合一些分布在機房內(nèi)的點式溫度傳感器,來實現(xiàn)整個空間的溫度控制。點式溫控技術(shù)只能反映數(shù)據(jù)中心機房的局部點的空氣溫度,無法再現(xiàn)機柜內(nèi)部IT設(shè)備的實際散熱效果和機柜內(nèi)微環(huán)境溫度場,導(dǎo)致傳統(tǒng)IDC機房普遍存在局部機柜過熱以及整體空調(diào)系統(tǒng)效率不高的問題。
針對上述問題,需要從機房級到機柜級進行溫度監(jiān)測和控制的轉(zhuǎn)變。機柜級微環(huán)境溫度監(jiān)測信息更可用于空調(diào)系統(tǒng)的精細化運行管理。本項目在IDC機房的機柜內(nèi)布置了基于光纖測溫的機柜級溫控系統(tǒng),通過光傳感技術(shù)對機柜級微環(huán)境進行感知,采集分析每個機柜的進出風(fēng)溫度場(見圖8)。光纖測溫系統(tǒng)使運維人員能夠?qū)C房制冷效果進行實時監(jiān)測和管理,及時發(fā)現(xiàn)并更解決局部過熱點的問題[4]。該系統(tǒng)還能夠根據(jù)分析結(jié)果(見圖9)自動反饋數(shù)據(jù)控制空調(diào)系統(tǒng)運行,使其能夠及時根據(jù)負荷變化情況調(diào)整設(shè)置空調(diào)溫度、風(fēng)速以及出風(fēng)口方向,從而使空調(diào)系統(tǒng)的制冷更有針對性,在提高制冷效率的同時,降低了運行能耗。
圖8 基于光纖測溫的溫控布線示意圖和現(xiàn)場照片
圖9 基于光纖測溫的溫控系統(tǒng)測量結(jié)果顯示云圖
3)監(jiān)控和能耗系統(tǒng)
IDC機房一般均設(shè)置有集中監(jiān)控系統(tǒng),一般以提高運行維護質(zhì)量、降低運行成本等為目標,包括視頻監(jiān)控、環(huán)境監(jiān)控、能耗監(jiān)控等功能。集中監(jiān)控系統(tǒng)可根據(jù)機房運行特點和監(jiān)控要求,實現(xiàn)集中管理、統(tǒng)一監(jiān)控并迅速反應(yīng)。
本項目在一般監(jiān)控系統(tǒng)基礎(chǔ)上,進一步布置了可視化機房監(jiān)控系統(tǒng),與傳統(tǒng)監(jiān)控系統(tǒng)不同,該系統(tǒng)在具有數(shù)據(jù)中心級PUE算法的基礎(chǔ)上,集成了基于流量統(tǒng)計的機房模塊級PUE算法,能夠?qū)崟r直觀顯示每一個機房模塊的動態(tài)PUE數(shù)值,為PUE優(yōu)化提供了精確的計量手段。針對機柜的功耗監(jiān)測,該IDC機房率先采用3D建模(見圖10),將機房內(nèi)每個機柜功耗情況用不同顏色進行區(qū)分、展示,并設(shè)有警示值,使機房內(nèi)機柜用電情況一目了然,便于實時監(jiān)控管理,如發(fā)現(xiàn)異常,立即會通知專業(yè)人員進行處理。
圖10 機柜功耗的3D實時顯示效果圖
4)IDC運維能源管理體系
IDC機房的規(guī)劃、設(shè)計、建設(shè)及運營是一個有機的系統(tǒng)過程,特別是運營階段,需要建立有效的管理體系來實現(xiàn)節(jié)能和安全運行的目的。本IDC項目在用能管理方面,按照能源管理體系的要求,建立了較為完善的運維能源管理體系。
首先明確節(jié)能運行目標,通過引入“PUE運營”概念,即在數(shù)據(jù)中心正式啟用、IT設(shè)備完成部署后,在保持現(xiàn)有基礎(chǔ)設(shè)施架構(gòu)不變的基礎(chǔ)上,以降低PUE為技術(shù)和管理導(dǎo)向,不斷對各系統(tǒng)配置進行優(yōu)化,對運行參數(shù)進行調(diào)整。具體通過建立以周為單位的運營日志管理方式,一方面根據(jù)機房運營狀況進行優(yōu)化調(diào)整,另一方面根據(jù)每周數(shù)據(jù)分析差異以及能耗變化原因,實施節(jié)能改進措施,并及時對實施效果進行驗證和總結(jié),確保PUE持續(xù)下降。同時,為落實能源管理體系的實施,項目運營單位建立了節(jié)能減排定期報表制度、年度節(jié)能目標責(zé)任評價考核制度和監(jiān)督實施制度,對節(jié)能指標進行了有效分解。
通過持續(xù)深化節(jié)能管理與PUE運營,運營團隊結(jié)合機房負載分布及變化情況,動態(tài)實施機柜側(cè)盲板拆裝、HVDC系統(tǒng)模塊策略調(diào)整、精密空調(diào)運行參數(shù)調(diào)整等具體措施,部分機房的年平均PUE已由最初投入運行的2.6降低至1.5,冬季采用純自由冷卻時的機房PUE僅約為1.4,效果十分顯著。
1)IDC數(shù)據(jù)中心為實現(xiàn)節(jié)能運營,需要技術(shù)和管理并重,從技術(shù)角度,需要根據(jù)運營特點,采用適宜節(jié)能技術(shù);從管理角度,強調(diào)整體生命周期的節(jié)能管理,建立管理體系對節(jié)能目標的實現(xiàn)至關(guān)重要;
2)IDC空調(diào)能耗占比和節(jié)能潛力均較大,影響空調(diào)能耗的因素也非常多,需要從圍護結(jié)構(gòu)、冷源系統(tǒng)、氣流組織等多方面綜合考慮,系統(tǒng)性開展節(jié)能優(yōu)化;
3)IDC節(jié)能管理應(yīng)注重細節(jié),細節(jié)處理不好可能會影響適宜節(jié)能技術(shù)的效果發(fā)揮。對采用冷熱通道隔離和關(guān)閉方式的情況,需動態(tài)實施機柜側(cè)盲板拆裝,本文案例中的氣流導(dǎo)向地板等節(jié)能優(yōu)化措施有助于提高冷卻效果,但具體節(jié)能量化效果還有待后續(xù)測試驗證;
4)高壓直流供電作為一項新技術(shù),應(yīng)用于IDC機房節(jié)能潛力顯著,但目前仍處于起步應(yīng)用階段,其局限性和適用性尚有待驗證和改善;
5)本文案例采用的基于光纖測溫的機柜級溫控系統(tǒng),能夠?qū)C房制冷效果進行實時監(jiān)測和管理,及時發(fā)現(xiàn)并更解決局部過熱點的問題,實現(xiàn)IDC安全運行和節(jié)能減排,具有廣闊應(yīng)用前景。
[1] 王浩然. 綠色數(shù)據(jù)中心節(jié)能技術(shù)研究[D]. 成都:電子科技大學(xué), 2014: 5–6
[2] 田浩,李震. 數(shù)據(jù)中心分布式冷卻系統(tǒng)研究[J].暖通空調(diào), 2014, 45(9) : 42–48
[3] 張劍銘. 高壓直流系統(tǒng)在中國電信IDC機房的創(chuàng)新應(yīng)用[J].電信技術(shù),2014(8) : 45–47
[4] 黃毅,楊軍志,張文利. 光纖測溫技術(shù)在IDC機房的應(yīng)用研究[J].智能建筑與城市信息,2015(2) : 90–96
Energy Conservation Technologies and Energy Management Integrated Application for Building Green Data Center
Bo Zhen, Wang Anguang, Shen Jia, Sun Haifeng
Shanghai Architecture Science and Research Institute Zhou Junmao
China Mobile Shanghai Branch
In order to improve data center energy efficiency, the author introduces creating ideas and principles of national green data center trial project through collecting telecommunication internet data center construction cases in Shanghai. The author also describes construction and operation energy conservation technologies and integrated application of energy management measures for data center in Shanghai, analyzes several cutting edge energy saving technologies and application key points, which gives reference to green data center promotion.
Internet Data Center, High Voltage Direct Current, Optical Fiber Temperature Measuring Technology, Energy Management Measures
上海市科學(xué)技術(shù)委員會科研計劃課題(16DZ1202401)
10.13770/j.cnki.issn2095-705x.2017.06.005
卜震:男,工學(xué)博士,高級工程師