吳 帥,張 飛,楊 猛,賀 曉,魏文豪(中訊郵電咨詢(xún)?cè)O(shè)計(jì)院有限公司鄭州分公司,河南鄭州 450007)
2020 年12 月23 日,國(guó)家發(fā)改委以深化數(shù)據(jù)要素市場(chǎng)化配置改革為核心,提出全國(guó)一體化大數(shù)據(jù)中心頂層設(shè)計(jì)架構(gòu)[1]。2021 年5 月24 日,發(fā)改委等4 部委明確京津冀、長(zhǎng)三角、大灣區(qū)、成渝、蒙貴甘寧等八大國(guó)家樞紐節(jié)點(diǎn),引導(dǎo)數(shù)據(jù)中心向集約化、規(guī)?;l(fā)展。在樞紐節(jié)點(diǎn)外新建項(xiàng)目,地方政府不給予土地、財(cái)稅、能耗指標(biāo)等方面的優(yōu)惠政策[2]。
為了全國(guó)東數(shù)西算、一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新,推動(dòng)重點(diǎn)項(xiàng)目落地實(shí)施,發(fā)揮示范帶動(dòng)效應(yīng),2022年1 月5 日,國(guó)家發(fā)改委發(fā)文組織申報(bào)了東數(shù)西算協(xié)同創(chuàng)新體系示范工程。申報(bào)方向分為數(shù)據(jù)中心綠色節(jié)能示范、算力高效調(diào)度示范、算力自主可控示范3個(gè)方向,項(xiàng)目要位于已確定的國(guó)家樞紐集群節(jié)點(diǎn)起步區(qū),單項(xiàng)目投資不得低于1億,審核通過(guò)的項(xiàng)目可獲得不超過(guò)15%的補(bǔ)貼,補(bǔ)貼不超過(guò)3億[3]。
通過(guò)對(duì)國(guó)家數(shù)據(jù)中心綠色示范項(xiàng)目方向的指標(biāo)進(jìn)行解讀和關(guān)鍵技術(shù)專(zhuān)題分析,給出滿足七大指標(biāo)的參考方案,對(duì)類(lèi)似項(xiàng)目具有一定的借鑒意義。
指標(biāo)要求1:規(guī)模不低于1 000 架(單機(jī)架功率不低于6 kW),高密度不低于20 kW,機(jī)架設(shè)計(jì)總功率不小于8 000 kW,PUE 不超過(guò)1.15(目標(biāo)值),WUE 不超過(guò)1.1,投產(chǎn)第3年起上架率不低于60%。
指標(biāo)要求2:鼓勵(lì)通過(guò)可再生能源自發(fā)自用、接入可再生能源微網(wǎng)直供、本地儲(chǔ)能等方式,提升可再生能源使用占比。
指標(biāo)要求3:建設(shè)完備、持續(xù)的PUE 度量系統(tǒng),支持基于AI的PUE調(diào)優(yōu)。
指標(biāo)要求4:投產(chǎn)第1 年平均PUE 不大于1.25,第2年平均PUE不大于1.2,第3年不大于1.15。
指標(biāo)要求5:實(shí)現(xiàn)成本、節(jié)能的綜合目標(biāo)最優(yōu),優(yōu)化數(shù)據(jù)中心IT 設(shè)備免空調(diào)部署時(shí)間,服務(wù)器主設(shè)備支持高溫機(jī)房,可在不低于35 ℃的工作環(huán)境中長(zhǎng)期穩(wěn)定運(yùn)行。
指標(biāo)要求6:數(shù)據(jù)中心機(jī)柜采用模塊化設(shè)計(jì),工廠預(yù)制安裝服務(wù)器、交換機(jī)等設(shè)備,整機(jī)柜交付,減少現(xiàn)場(chǎng)交付工作量。
指標(biāo)要求7:對(duì)提升行業(yè)內(nèi)大型、超大型數(shù)據(jù)中心的節(jié)能水平具有可借鑒的示范作用。
指標(biāo)1 提到了建設(shè)規(guī)模、單機(jī)柜功耗、上架率、PUE 和WUE,建設(shè)規(guī)模和單機(jī)柜功耗可通過(guò)項(xiàng)目市場(chǎng)定位和建設(shè)規(guī)模調(diào)整解決,上架率可通過(guò)加強(qiáng)銷(xiāo)售解決,WUE 指標(biāo)要求不算高,因此指標(biāo)1 的主要矛盾是PUE,PUE可作為專(zhuān)題進(jìn)行分析。
指標(biāo)2提到可再生能源綜合利用。數(shù)據(jù)中心對(duì)電能品質(zhì)要求較高,而園區(qū)自建風(fēng)電或光伏規(guī)模小,發(fā)電量受環(huán)境風(fēng)速和光照影響,發(fā)電不穩(wěn)定,供電品質(zhì)較差。綠色電力交易(綠電交易)以用戶(hù)自愿購(gòu)買(mǎi)意愿為驅(qū)動(dòng)力,其活躍程度對(duì)發(fā)電企業(yè)新能源的利用有刺激調(diào)節(jié)作用[4]。因此建議小規(guī)模自建風(fēng)電或光伏發(fā)電用于園區(qū)或機(jī)房建筑照明等,機(jī)房可預(yù)留空間局部按需做儲(chǔ)能,根據(jù)項(xiàng)目周邊情況落實(shí)綠電使用方案。
指標(biāo)3 提到了PUE 度量和AI 調(diào)優(yōu),PUE 度量相對(duì)容易,AI調(diào)優(yōu)相對(duì)復(fù)雜。AI智能運(yùn)維主要用來(lái)減輕運(yùn)維負(fù)擔(dān),讓普通運(yùn)維工程師也能夠比較快地勝任高水平運(yùn)維工程師的工作。AI 智能調(diào)優(yōu)具有如下特點(diǎn):節(jié)能性比較好,節(jié)能效果為5%~10%;基于DNN 神經(jīng)網(wǎng)絡(luò)的AI算法調(diào)節(jié)對(duì)維護(hù)人員的要求低;對(duì)環(huán)境反應(yīng)及時(shí);推理過(guò)程融入運(yùn)維規(guī)范,推理結(jié)果滿足服務(wù)等級(jí)協(xié)議要求(SLA)。目前華為、騰訊、中興、維諦、英灃特以及各大運(yùn)營(yíng)商都在做AI調(diào)優(yōu),可結(jié)合項(xiàng)目情況進(jìn)行合作。
指標(biāo)4 同樣對(duì)PUE 指標(biāo)提出了要求,將PUE 進(jìn)行專(zhuān)題分析。
指標(biāo)5 中機(jī)房溫度過(guò)高時(shí),容易影響IT 設(shè)備高效運(yùn)行,機(jī)房溫度過(guò)低則空調(diào)系統(tǒng)不節(jié)能,因此合理的機(jī)房溫度設(shè)置非常重要,這將作為專(zhuān)題進(jìn)行分析。
指標(biāo)6 主要提到模塊化設(shè)計(jì)和整機(jī)柜交付,模塊化設(shè)計(jì)和整機(jī)柜交付能夠有效縮短建設(shè)工期,提高建設(shè)質(zhì)量,可作為專(zhuān)題進(jìn)行分析。
指標(biāo)7 提到了節(jié)能水平具備可借鑒的示范作用,數(shù)據(jù)中心節(jié)能水平一般用PUE 進(jìn)行衡量,將PUE 進(jìn)行專(zhuān)題分析。
經(jīng)過(guò)以上分析,對(duì)于指標(biāo)1、指標(biāo)4 和指標(biāo)7 需要進(jìn)行PUE 不超過(guò)1.15 的技術(shù)分析,對(duì)于指標(biāo)5 需要進(jìn)行高溫機(jī)房的技術(shù)分析,對(duì)于指標(biāo)6 需要進(jìn)行模塊化設(shè)計(jì)和整機(jī)柜交付的技術(shù)分析。
2.1.1 PUE組成及現(xiàn)狀分析
PUE=1+制冷負(fù)載因子(CLF)+供電負(fù)載因子(PLF)+其他因子。在PUE 的組成中,制冷負(fù)載因子占比較大且受氣候、制冷方案、設(shè)備性能、運(yùn)維精細(xì)度等因素的影響,浮動(dòng)范圍較大;供電負(fù)載因子占比較小,浮動(dòng)范圍也較??;其他因子主要包括通風(fēng)、照明、插座等,占比最小且比較固定。
依據(jù)2020年《中國(guó)數(shù)據(jù)中心冷卻技術(shù)年度發(fā)展研究報(bào)告》,2019 年P(guān)UE<1.5 的約占12.9%,1.5<PUE<1.8的約占39.1%,1.8<PUE<2.0 的約占46%,PUE>2 的約占2%。
PUE 無(wú)論是實(shí)現(xiàn)1.25還是1.2亦或者是1.15,均具有不小的挑戰(zhàn),需要立足數(shù)據(jù)中心全生命周期、全專(zhuān)業(yè)人員,協(xié)同創(chuàng)優(yōu)完成極致PUE目標(biāo)。
2.1.2 空調(diào)解決方案
空調(diào)系統(tǒng)影響制冷負(fù)載因子(CLF),數(shù)據(jù)中心主要空調(diào)系統(tǒng)分類(lèi)如圖1所示。
圖1 數(shù)據(jù)中心空調(diào)系統(tǒng)分類(lèi)
對(duì)于非液冷機(jī)房,國(guó)內(nèi)數(shù)據(jù)中心不斷創(chuàng)新綠色節(jié)能新應(yīng)用,多個(gè)數(shù)據(jù)中心獲得綠色網(wǎng)格(TGC)與開(kāi)放數(shù)據(jù)中心委員會(huì)聯(lián)合認(rèn)證的5A級(jí)綠色數(shù)據(jù)中心,最優(yōu)水平約為1.2。該數(shù)據(jù)中心多為互聯(lián)網(wǎng)企業(yè)或者第三方擁有,該類(lèi)企業(yè)具有如下優(yōu)勢(shì):機(jī)柜負(fù)載率比較高,多數(shù)在70%以上;運(yùn)維水平相對(duì)比較高,反應(yīng)快,敢于嘗試不同的運(yùn)行方案;互聯(lián)網(wǎng)用戶(hù)為了追求極致PUE,敢于嘗試新技術(shù),承擔(dān)機(jī)房環(huán)境和供電可靠性降低的風(fēng)險(xiǎn)等。通過(guò)整理的相關(guān)案例,非液冷數(shù)據(jù)中心PUE參考值如表1所示。
表1 非液冷數(shù)據(jù)中心PUE參考值
對(duì)于液冷機(jī)房,液冷技術(shù)能夠針對(duì)服務(wù)器發(fā)熱精準(zhǔn)冷卻,通過(guò)提高冷卻媒介的溫度,實(shí)現(xiàn)數(shù)據(jù)中心全球全天候自然散熱(與氣候關(guān)系不大)。數(shù)據(jù)中心PUE較低,液冷數(shù)據(jù)中心實(shí)測(cè)PUE參考值如表2所示。
表2 液冷數(shù)據(jù)中心PUE參考值
對(duì)于空調(diào),由于風(fēng)冷服務(wù)器相對(duì)成熟、經(jīng)濟(jì)性好,建議優(yōu)先采用空調(diào)水系統(tǒng)、空調(diào)風(fēng)系統(tǒng)、空調(diào)氟系統(tǒng)等技術(shù)相對(duì)成熟、投資經(jīng)濟(jì)的節(jié)能產(chǎn)品,其次采用液冷等能效更高的創(chuàng)新性產(chǎn)品。液冷等技術(shù)成熟度及投資經(jīng)濟(jì)性欠佳,應(yīng)盡可能降低液冷機(jī)房占比。
2.1.3 電源解決方案
對(duì)于電源,可通過(guò)供電架構(gòu)優(yōu)化節(jié)能:采用一體式電源方案,實(shí)現(xiàn)變配電、通信電源、線纜及能源監(jiān)控系統(tǒng)的有機(jī)統(tǒng)一,實(shí)現(xiàn)全功率鏈管理、自動(dòng)報(bào)表系統(tǒng)、選擇性保護(hù)、關(guān)鍵點(diǎn)溫度測(cè)量、電源故障錄波等多種功能。UPS系統(tǒng)采用2N 架構(gòu),主機(jī)采用高頻模塊化機(jī)型,UPS 工作在ECO 模式下,采取均流措施后,50%負(fù)載率下UPS設(shè)備轉(zhuǎn)換效率約為98.5%。采用一級(jí)能效變壓器,動(dòng)態(tài)功率因數(shù)補(bǔ)償。
因此,建議通過(guò)一體化電源+UPS 休眠模式+一級(jí)能效變壓器等措施,保證電源系統(tǒng)節(jié)能運(yùn)行。
2.1.4 其他影響因素分析
PUE 無(wú)論是實(shí)現(xiàn)1.25 還是1.2 亦或者是1.15 均具有不小的挑戰(zhàn)。尤其是實(shí)現(xiàn)PUE 達(dá)到1.15 的極致目標(biāo),需要立足數(shù)據(jù)中心全生命周期、全專(zhuān)業(yè)人員,從規(guī)劃、設(shè)計(jì)、建設(shè)、運(yùn)維、優(yōu)化等方面做好全流程的綠色節(jié)能工作,通過(guò)“好設(shè)計(jì)+好產(chǎn)品+好運(yùn)維+高負(fù)載”協(xié)同創(chuàng)優(yōu),職能滲透、互助共進(jìn)。當(dāng)設(shè)計(jì)不合理(方案節(jié)能性不足)、產(chǎn)品性能不滿足、負(fù)載率較低或者運(yùn)維比較差(切換不及時(shí),過(guò)于犧牲節(jié)能保障安全等)時(shí),存在無(wú)法實(shí)現(xiàn)PUE目標(biāo)值的風(fēng)險(xiǎn)。
2.2.1 8 kW高溫機(jī)房技術(shù)方案
根據(jù)《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》(GB50174?2017)A 級(jí)標(biāo)準(zhǔn)規(guī)定,機(jī)柜進(jìn)風(fēng)不超過(guò)27 ℃,停機(jī)時(shí)為5 ℃~45 ℃。美國(guó)ASHRAE推薦溫度范圍為:干球溫度18 ℃~27 ℃;允許第1檔的干球溫度是15 ℃~32 ℃;允許第2檔的干球溫度是10 ℃~35 ℃;允許第3 檔的干球溫度是5 ℃~40 ℃;允許第4 檔的干球溫度是5 ℃~45 ℃。查看多數(shù)刀片服務(wù)器說(shuō)明書(shū),多數(shù)工作溫度為5 ℃~40 ℃,即ASHRAE允許第3檔標(biāo)準(zhǔn)。
在推薦的溫度范圍內(nèi)服務(wù)器+機(jī)電整體耗電最優(yōu),在允許的環(huán)境中雖然機(jī)電耗電量降低了,但服務(wù)器的耗電量增加,整體未必最優(yōu)。如果項(xiàng)目是以出租為主,建議按照以國(guó)標(biāo)A 級(jí)機(jī)柜進(jìn)風(fēng)區(qū)域不超過(guò)27 ℃進(jìn)行設(shè)計(jì)。后期可根據(jù)客戶(hù)需求、服務(wù)器接受能力和PUE運(yùn)行情況酌情調(diào)整。
2.2.2 20 kW高溫機(jī)房技術(shù)方案
20 kW 機(jī)房采用液冷空調(diào)系統(tǒng),目前沒(méi)有國(guó)標(biāo)對(duì)其進(jìn)行規(guī)定,行業(yè)標(biāo)準(zhǔn)《液氣雙通道散熱數(shù)據(jù)中心機(jī)房設(shè)計(jì)規(guī)范》(T/CIE 051?2018)建議機(jī)柜進(jìn)風(fēng)溫度為18 ℃~30 ℃。經(jīng)過(guò)跟相關(guān)廠家溝通,機(jī)柜進(jìn)風(fēng)區(qū)域可以支持35 ℃進(jìn)風(fēng)。因此,建議按照行業(yè)標(biāo)準(zhǔn),以機(jī)柜進(jìn)風(fēng)區(qū)域不超過(guò)30 ℃來(lái)設(shè)計(jì),后期可根據(jù)客戶(hù)需求、服務(wù)器和PUE運(yùn)行情況酌情調(diào)整。
2.3.1 模塊化設(shè)計(jì)
模塊化設(shè)計(jì)思路:標(biāo)準(zhǔn)化機(jī)柜→模塊化封閉通道→模塊化機(jī)房→模塊化電力空調(diào)機(jī)房組合→組合成數(shù)據(jù)中心建筑。數(shù)據(jù)中心模塊化設(shè)計(jì)平面如圖2 所示。
圖2 數(shù)據(jù)中心模塊化設(shè)計(jì)平面
模塊A 機(jī)房只有單側(cè)空調(diào)管道間,一般適用于中低功率密度的機(jī)房,因此在2015年以前建設(shè)的數(shù)據(jù)中心使用較多;模塊B機(jī)房有雙側(cè)空調(diào)管道間,且滿足電力用房物理隔離,因此適用于高中功率密度的機(jī)房,在最近國(guó)內(nèi)建設(shè)的數(shù)據(jù)中心使用較多;模塊C 機(jī)房有雙側(cè)空調(diào)管道間,且電力模塊分割更細(xì),因此適用于高中功率密度且對(duì)電力用房有特殊要求或習(xí)慣的數(shù)據(jù)中心,該方案僅在香港見(jiàn)到過(guò),使用較少。因此建議采用模塊B進(jìn)行拼接的方案。
2.3.2 整機(jī)柜交付
機(jī)柜交付一般常見(jiàn)為空機(jī)柜交付+后期服務(wù)器系統(tǒng)部署,存在的問(wèn)題包括交付過(guò)程周期長(zhǎng)、集成復(fù)雜、現(xiàn)場(chǎng)協(xié)調(diào)工作量大。整機(jī)柜交付特點(diǎn)是服務(wù)器機(jī)柜采用一體化、模塊化設(shè)計(jì),提高運(yùn)行效率,預(yù)制安裝,現(xiàn)場(chǎng)快速部署、簡(jiǎn)化運(yùn)維。
為適應(yīng)當(dāng)前數(shù)據(jù)中心集中化和規(guī)?;l(fā)展趨勢(shì),突破機(jī)柜傳統(tǒng)建設(shè)交付模式,針對(duì)常規(guī)自用機(jī)房及高密度機(jī)房采用快速部署、智能運(yùn)維、靈活擴(kuò)展的整機(jī)柜交付,減少現(xiàn)場(chǎng)安裝工作量,使交付過(guò)程更加高效,數(shù)據(jù)中心整機(jī)柜交付平面圖如圖3所示。
圖3 數(shù)據(jù)中心整機(jī)柜交付平面圖
以東數(shù)西算某項(xiàng)目為例,通過(guò)以下解決方案滿足國(guó)家綠色示范指標(biāo)要求。
指標(biāo)1:擬建設(shè)不小于1 000 個(gè)機(jī)柜,初步方案為建設(shè)785 架8 kW 機(jī)柜和315 架平均功率不低于20 kW的高密度機(jī)柜,總機(jī)架數(shù)為1 100 機(jī)柜;IT 功耗約為12 020 kW,2 主2 備,共4 路市電;PUE 和WUE 均按要求設(shè)計(jì);適時(shí)啟動(dòng)預(yù)銷(xiāo)售(部分機(jī)房自用),確保上架率不低于60%。
指標(biāo)2:暫考慮小規(guī)模自建風(fēng)電或光伏發(fā)電用于園區(qū)或機(jī)房建筑照明等,機(jī)房可預(yù)留空間局部按需做儲(chǔ)能。根據(jù)后續(xù)資源落實(shí)情況確定可再生能源微網(wǎng)直供或綠電使用方案。
指標(biāo)3:第一,采用數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng),對(duì)機(jī)房環(huán)境和設(shè)備能耗等進(jìn)行實(shí)時(shí)監(jiān)測(cè)分析和智能化調(diào)控,監(jiān)測(cè)數(shù)據(jù)包括環(huán)境數(shù)據(jù)、電力數(shù)據(jù)、冷卻數(shù)據(jù)等,可實(shí)現(xiàn)PUE 的完備持續(xù)度量。第二,采用AI 節(jié)能控制方案,首先采集室外天氣、負(fù)荷等參數(shù),然后通過(guò)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)等AI模型進(jìn)行預(yù)測(cè)給出運(yùn)行策略,最后全自動(dòng)控制或者根據(jù)AI策略進(jìn)行人工實(shí)施。
指標(biāo)4:通過(guò)好設(shè)計(jì)(液冷+蒸發(fā)冷卻空調(diào))+好產(chǎn)品(高效節(jié)能產(chǎn)品)+好運(yùn)維(AI 輔助運(yùn)維調(diào)優(yōu))+好負(fù)載(提高負(fù)載率),實(shí)現(xiàn)綜合PUE≤1.15。采用分階段建設(shè)與平滑演進(jìn),實(shí)現(xiàn)年度PUE 考核目標(biāo),第1 年、第2年重點(diǎn)建設(shè)常規(guī)機(jī)柜,第3 年按一定比例建設(shè)液冷機(jī)柜。
指標(biāo)5:空調(diào)系統(tǒng)采用常規(guī)空調(diào)+液冷,充分利用自然冷源;常規(guī)機(jī)房暫按國(guó)A 27 ℃設(shè)計(jì),局部1~2個(gè)機(jī)房自用,按35 ℃設(shè)計(jì);液冷暫按行業(yè)標(biāo)準(zhǔn)30 ℃設(shè)計(jì),當(dāng)液冷機(jī)房自建云池時(shí)可按35 ℃設(shè)計(jì)。
指標(biāo)6:按模塊化設(shè)計(jì)。高功率液冷機(jī)柜及常規(guī)自用機(jī)房采取整機(jī)柜交付模式,其余機(jī)柜按照傳統(tǒng)交付方式進(jìn)行建設(shè)。
指標(biāo)7:第一,先進(jìn)的綠色節(jié)能水平,PUE≤1.15,WUE≤1.1。第二,先進(jìn)的理念、技術(shù)及產(chǎn)品,如模塊化設(shè)計(jì),采用液冷技術(shù)及高效節(jié)能產(chǎn)品等前沿先進(jìn)技術(shù);土建采用裝配式,減少現(xiàn)場(chǎng)工作量;局部試點(diǎn)利用可再生能源,為其他項(xiàng)目積累經(jīng)驗(yàn)提供示范。
通過(guò)對(duì)國(guó)家數(shù)據(jù)中心綠色示范項(xiàng)目指標(biāo)解讀和關(guān)鍵技術(shù)專(zhuān)題分析,給出滿足七大指標(biāo)的參考方案。主要結(jié)論總結(jié)如下。
a)參與國(guó)家數(shù)據(jù)中心綠色示范項(xiàng)目申報(bào),不僅能夠擴(kuò)大公司影響力,提高建設(shè)運(yùn)維能力,還能夠獲得政府補(bǔ)貼,有條件滿足要求的建議積極申報(bào)。
b)申報(bào)國(guó)家數(shù)據(jù)中心綠色示范項(xiàng)目一共七大指標(biāo),從PUE(節(jié)能)、WUE(節(jié)水)、建設(shè)規(guī)模、單機(jī)柜功耗、上架率、高溫機(jī)房、PUE 度量、AI 調(diào)優(yōu)、高溫機(jī)房、模塊化設(shè)計(jì)、整機(jī)柜交付、可再生能源利用、AI 智能運(yùn)維、示范價(jià)值等角度對(duì)數(shù)據(jù)中心提出了現(xiàn)階段極高的要求標(biāo)準(zhǔn)。申報(bào)方需從全專(zhuān)業(yè)、全生命周期做好管理,協(xié)同創(chuàng)優(yōu),才可能滿足各項(xiàng)指標(biāo)要求。
c)七大指標(biāo)多次提到PUE,可考慮通過(guò)好設(shè)計(jì)(液冷+蒸發(fā)冷卻空調(diào))+好產(chǎn)品(高效節(jié)能產(chǎn)品)+好運(yùn)維(AI 輔助運(yùn)維調(diào)優(yōu))+好負(fù)載(提高負(fù)載率),實(shí)現(xiàn)綜合PUE≤1.15。
d)七大指標(biāo)部分要求突破現(xiàn)有標(biāo)準(zhǔn)或者常規(guī)做法,如高溫機(jī)房、整機(jī)柜交付等,可考慮在自用部分試用,后期根據(jù)客戶(hù)要求、PUE情況等進(jìn)行調(diào)整。