齊曙光

（工業(yè)和信息化部電信研究院泰爾實驗室 信息產(chǎn)業(yè)郵電工業(yè)產(chǎn)品質(zhì)檢中心）

0 引 言

數(shù)據(jù)中心最佳實踐（Data Center Best Practice）是由國際電信聯(lián)盟ITU（Inter national Teleco mmunication Union）標準化工作組第五研究組SG5（St udy Gr oup 5）第三工作組 WP3（Wor king Party 3）課題17《ICT設備的能效及氣候變化標準的協(xié)調(diào)》討論研究制定。在2011年9月ITU－T SG5標準討論會中通過，建議號為L.1300。

1 總體介紹

隨著通信行業(yè)的不斷發(fā)展，數(shù)據(jù)機房對環(huán)境的影響越來越大。針對新建數(shù)據(jù)中心，應用該建議書的節(jié)能方案會建立綠色節(jié)能的數(shù)據(jù)中心。針對已有的數(shù)據(jù)中心，要采用合理的方式改造也可達到更環(huán)保、更綠色的目的。最終目的為達到減少數(shù)據(jù)機房對環(huán)境的影響。L.1300主要章節(jié)包括以下7個部分。

1.1 數(shù)據(jù)中心的利用、管理和規(guī)劃（Data Center Utilization，Management and Plannin）

為了提高數(shù)據(jù)中心可靠性、經(jīng)濟性、實用性、環(huán)保性和配置靈活性，應制定整體的戰(zhàn)略和管理辦法。首先數(shù)據(jù)中心不同的部門（如通信業(yè)務、制冷、電源、監(jiān)控等）派出代表組成專家團，當需要做出任何重要決定時，必須經(jīng)過專家團的同意。此外，應定期對現(xiàn)有設備進行審核和檢查，以確定是否有未使用的設備，在做重大投資之前應該優(yōu)化、聚集和整合現(xiàn)有的資源。根據(jù)可靠性要求而進行不同配置是資源管理的重要因素之一。

1.2 ICT設備和服務 （ICT Equip ment and Services）

該章節(jié)主要涉及內(nèi)容為給運營商提供新ICT設備的招標選擇方案、新電信設備的招標選擇方案、開展新的ICT服務方案、開展新電信服務方案和數(shù)據(jù)管理方案等。當運營商招標購買新的ICT設備時重點參考因素有五點：一是效率；二是工作溫、濕度范圍；三是相關的法律、法規(guī)符合性；四是功率密度；五是氣流方向。其中較寬的工作溫、濕度會減輕制冷設備的負荷，從而達到節(jié)能的效果。關于ICT服務，運營商應使用網(wǎng)絡和虛擬化技術，減少ICT設備的冗余度、取消傳統(tǒng)的2 N硬件集群技術、使用高效的軟件等。在電信設備的招標與購買環(huán)節(jié)，應重點考慮設備效率。另外，L.1300還介紹了高效管理數(shù)據(jù)的方案，例如減少總數(shù)據(jù)量、降低總存儲量、提高存儲效率、改善存儲性能等。

1.3 制冷（Cooling）

由于數(shù)據(jù)中心制冷設備是耗電最大的部分之一，高效的制冷方案極其重要。該建議書中除了包含傳統(tǒng)的空調(diào)制冷方案以外，還描述了新風技術、熱交換技術、氣流組織方案和高效制冷方案等節(jié)能技術，并寫出了具體的應用方案。本文的2.1章節(jié)對上述技術進行了詳細介紹。

1.4 數(shù)據(jù)中心電源設備（Data Center Power Euipment）

數(shù)據(jù)機房基礎設施除了制冷設備以外還包含供電設備，如不間斷電源、變配電設備、供電用電纜、發(fā)電機和蓄電池組等后備電源系統(tǒng)。L.1300針對上述供電設備和供電技術提出推薦使用直流供電技術、模塊化UPS和高效的供電系統(tǒng)管理方案，以達到節(jié)能的目的。詳細內(nèi)容見本文第2.2章節(jié)。

1.5 數(shù)據(jù)中心樓宇（Data Center Building）

數(shù)據(jù)中心的位置和機房結(jié)構(gòu)對其節(jié)能影響非常大。L.1300重點介紹了節(jié)能數(shù)據(jù)中心的建設方法，如樓層高度、數(shù)據(jù)中心的結(jié)構(gòu)、設備安裝位置、恰當?shù)母魺嵫b置等。重點介紹了較新的數(shù)據(jù)中心建筑層面的節(jié)能技術，如雙層熱交換技術和利用非飲用水技術等。L.1300推薦運營商可選擇排放熱能可再利用地區(qū)、環(huán)境溫度較低的地區(qū)、能夠利用自然冷源的地區(qū)和具有供電電源地區(qū)建立新的數(shù)據(jù)中心，但要避免濕度較大地區(qū)。

1.6 監(jiān)控（Monitoring）

監(jiān)控系統(tǒng)是否完善和健全是分辨判斷數(shù)據(jù)中心綜合實力的條件之一，被監(jiān)控參數(shù)除了實際運行數(shù)據(jù)還應包括告警和保護等信息。若有條件時應對數(shù)據(jù)中心環(huán)境的溫濕度和電能參數(shù)實時監(jiān)控。假設監(jiān)控系統(tǒng)實時監(jiān)測ICT設備負載變化，采取相應的節(jié)能措施，減少峰值功率，提高設備運行效率。詳細監(jiān)控參數(shù)列表請見本文第2.3章節(jié)。

1.7 網(wǎng)絡設計（Design of net wor k）

L.1300網(wǎng)絡設計要求是指本數(shù)據(jù)中心內(nèi)部各個設備的聯(lián)網(wǎng)以及本地數(shù)據(jù)中心與其他數(shù)據(jù)中心之間聯(lián)網(wǎng)要求，包含如何選擇設備、如何設計網(wǎng)絡、如何分析能源消耗、如何建立節(jié)能策略、如何使用網(wǎng)絡作為媒介實現(xiàn)整體節(jié)能等內(nèi)容。

2 節(jié)能技術介紹及與國內(nèi)標準對比分析

2.1 制冷技術介紹及對比

2.1.1 氣流組織管理技術

（1）當設備功率密度大于1 k W／m2時推薦使用封閉通道方式實現(xiàn)氣流組織管理，即熱通道封閉或冷通道封閉方式，也可同時使用冷熱通道方式，是指分別建立冷熱通道并保證冷熱通道相互隔開。

（2）當機架上無設備時，盡量使用擋板保證冷熱通道的相互獨立。比如在機架底部的地板開口，填充設備的底部、頂部、側(cè)面、機架導軌和機架周圍的縫隙等。

（3）機架后背電纜應有序擺放，不得阻塞氣流組織。

（4）使用架空走線架等裝置可避免由于電纜、走線槽等阻塞氣流組織。

（5）架空地板或吊頂盡量有足夠大的空間作為熱通道或冷通道，從而減少使用風扇帶來的損耗。

（6）在壓差的作用下，ICT設備排出的熱風應能夠達到空調(diào)設備的回風口。

（7）依據(jù)送風口與空調(diào)之間距離不同，口徑也應不同。

（8）對環(huán)境溫度有特殊要求或氣流方向與其他設備不同的設備應單獨放置。刀片服務器或大型設備會排出大量的熱量。此類設備不宜與其他設備混合放置。應放在機房溫度較低的地區(qū)。

（9）盡量用穿孔的機柜門取代普通的機柜門，可以從側(cè)面送風，以確保空氣流通。

（10）應使用無窗戶房間或密封窗戶設計、且安裝雙門或自動門，限制不必要人員的來回出入。此外機房內(nèi)宜使用百葉窗、窗簾或者太陽能屏蔽面板等裝置。

2.1.2 制冷管理技術

（1）制冷設備宜采用模塊化結(jié)構(gòu)，用戶可根據(jù)負荷的變化實時調(diào)整制冷設備狀態(tài)。

（2）當制冷設備負荷非常小時應通過網(wǎng)絡控制關閉部分制冷設備。

（3）應周期性的審查ICT設備負荷狀況和制冷設備運行狀況。

（4）應定期檢查空調(diào)是否提供機房所要求的溫濕度，安裝空調(diào)時應避免空調(diào)的對吹。

（5）考慮到負荷變化和通信機房室內(nèi)外溫度的變化應動態(tài)調(diào)整制冷系統(tǒng)，實時優(yōu)化制冷方案。

（6）應定期維護制冷系統(tǒng)，保證數(shù)據(jù)中心的高效運轉(zhuǎn)。

（7）推薦使用精確送風制冷方案。

2.1.3 溫濕度設置

（1）數(shù)據(jù)中心最高效運轉(zhuǎn)的室內(nèi)溫度范圍為18℃～32℃。

（2）根據(jù)目前數(shù)據(jù)中心實際運行的溫度和濕度，降低室內(nèi)低溫濕度點（濕球溫度要在高于5.5℃的范圍之內(nèi)）；提高最高濕度設定點（濕球溫度要在低于20℃，相對濕度80%范圍之內(nèi)）。從而減少機房內(nèi)的加濕除濕過程，達到節(jié)能的目的。

（3）通信設備進風溫度范圍為5℃～40℃，相對濕度范圍為5%～80%RH，在特殊狀況下溫度可達到45℃。通過提升環(huán)境溫度方式減少制冷設備耗能時應確保在制冷設備處節(jié)能量要大于ICT設備風扇因環(huán)境溫度提高而增加的能量消耗。

（4）若能管理好通信設備內(nèi)部氣流組織，可以在不提高ICT設備風扇入口溫度條件下增加ICT設備目標溫度。

（5）審查和冷凍水溫度設定點，盡量使用自由冷卻經(jīng)濟器，以減少壓縮機的能耗。

2.1.4 經(jīng)濟節(jié)能型制冷方式

結(jié)合機房空間功率密度和室外環(huán)境條件的不同，應合理選擇以下幾種制冷方案。

（1）新風方式：直接引入新風達到降低數(shù)據(jù)中心機房溫度的制冷方式。

（2）熱交換方式：通過熱交換器交換室外溫度與室內(nèi)溫度，達到制冷目的的方式。

（3）直接水冷方式：室內(nèi)的熱量通過媒介水到室外，在大自然條件下制冷后返回機房內(nèi)部。

（4）間接水冷方式：室內(nèi)的熱量通過媒介水到其他制冷裝置，如蒸發(fā)式制冷器等，冷卻后返回機房的方式。

2.1.5 高效制冷方案

（1）空調(diào)系統(tǒng)的制冷方案有風冷、水冷和冷凍水冷。選擇哪種制冷方案與初期投入相關。在小型數(shù)據(jù)中心，推薦使用風冷機組。在中型或大型機房，應選用水冷機組或冷凍水冷機組。

（2）推薦使用封閉式冷卻塔。

（3）在新建數(shù)據(jù)中心，冷水機組COP（性能系數(shù)）是最重要的考慮因素之一，推薦使用高COP的冷水機組。

（4）選擇適當?shù)闹评鋭槍Σ煌膽铆h(huán)境，使用不同的制冷劑，如 R－22、R－134a，、R－404a、R－407c、R－410a等。但R－22由于破壞臭氧層，按照國際相關規(guī)定被禁止使用。

（5）盡量在本文2.1節(jié)第3條款規(guī)定的溫濕度允許的最大范圍之內(nèi)工作。

（6）應優(yōu)化負荷，使ICT設備排出的熱量分散到各個冷卻裝置制冷區(qū)域。

（7）在大部分時間負荷運行比例遠低于滿功率。在此狀態(tài)下，應實時調(diào)節(jié)空調(diào)頻率，達到節(jié)能的效果。

（8）在大型數(shù)據(jù)機房，推薦使用經(jīng)濟器。當無足夠空間時，可使用冷凍的液體冷卻系統(tǒng)。

（9）數(shù)據(jù)中心排出的熱量可使用在加熱要求較低的場合或其他工業(yè)用途，如游泳池等地方直接利用，從而提高能量利用率。當數(shù)據(jù)中心排放熱量不可直接利用時，可通過再處理（如再加熱）方式讓溫度達到可利用的溫度范圍實現(xiàn)再次利用。

2.1.6 幾種節(jié)能制冷整體方案的介紹

（1）新風制冷方案

如圖1所示，室外冷風與空調(diào)的回風混風后重新進入機房，從而控制機房溫度。當新風溫度達不到數(shù)據(jù)中心制冷要求時啟動空調(diào)制冷。

圖1 新風制冷方案原理圖

（2）熱交換方案

室外冷風通過熱交換裝置與數(shù)據(jù)中心回風進行熱交換達到降低溫度的目的。圖2所示方案與新風方案區(qū)別在于室外冷風不會直接進入數(shù)據(jù)中心內(nèi)。當室外溫度達不到數(shù)據(jù)中心制冷要求時同樣也啟動空調(diào)制冷。

圖2 熱交換制冷方式

（3）冰雪制冷方案

圖3中的方案為新風、冰雪制冷混合方案。當室外溫度達到新風系統(tǒng)可工作的溫度時，直接啟動新風系統(tǒng)。另外，室內(nèi)熱風與冷卻水熱交換以后冷卻水帶著室內(nèi)熱量與室外的冰雪進行再次熱交換。在循環(huán)過程中，需要水泵保證循環(huán)泵的耗電量遠低于空調(diào)所消耗的電量。

圖3 冰雪制冷方案

（4）點冷空調(diào)制冷方案

當機柜功率密度較大時，一般的恒溫恒濕空調(diào)無法滿足制冷需求。因而提出了點冷空調(diào)制冷的方案（見圖4），不用降低整個數(shù)據(jù)中心環(huán)境溫度，而是直接降低機柜溫度即可，從而達到節(jié)能的目的。

圖4 點冷空調(diào)制冷方案原理圖

2.1.7 與國內(nèi)標準的對比

中國已經(jīng)制定關于機房環(huán)境與制冷方面的標準有YD／T 2319－2011《數(shù)據(jù)設備用網(wǎng)絡機柜技術要求和試驗方法》、YD／T 2318－2011《通信基站用新風空調(diào)一體機》、YDT2166－2010《通信機房精密空調(diào)自適應監(jiān)控系統(tǒng)》、YD／T 1968－2009《通信局（站）用智能熱交換系統(tǒng)》、YD／T 1969－2009《通信局（站）用智能新風節(jié)能系統(tǒng)》、YD／T 1821－2008《通信中心機房環(huán)境條件要求》和YD／T 2061－2009《通信機房用恒溫恒濕空調(diào)系統(tǒng)》等。

其中針對新風系統(tǒng)，L.1300定義為混風形式，而行業(yè)標準YD／T 1969沒有強調(diào)是否一定要混風。此外新風（或熱交換）系統(tǒng)行業(yè)標準只是針對基站用小型局站用，而L.1300提出的應用案例為針對數(shù)據(jù)中心使用的新風（或熱交換）與空調(diào)分立系統(tǒng)方案。YD／T 1821中定義了三類機房環(huán)境條件，比L.1300建議書提出的“第2部分 溫濕度要求”更詳細，但溫度范圍要比L.1300定義的5℃～40℃窄，即要求更嚴格。YD／T 2061－2009中對機房用恒溫恒濕空調(diào)提出能效比等多個參數(shù)要求，本建議書只從節(jié)能角度提出泛泛的要求。

2.2 供電系統(tǒng)介紹及對比

2.2.1 如何選擇供電設備

（1）應使用可擴容的模塊化結(jié)構(gòu)供電設備。

（2）鼓勵使用模塊化UPS。

（3）鼓勵使用高效率UPS和高效工作模式，如機械儲能技術。另外，盡量使UPS工作在高效狀態(tài)下，如互動式方式。

（4）針對UPS系統(tǒng)選用電池時應注意環(huán)保性。電池后備時間根據(jù)通信設備保障要求，盡量小于30分鐘，可靠性要求較低的場合下后備時間維持在15～20分鐘即可。

（5）應考慮使用直流供電系統(tǒng)，從而能夠減少能量轉(zhuǎn)換步驟和設備損耗，提高整個供電系統(tǒng)效率。

（6）不同的數(shù)據(jù)中心應采用不同結(jié)構(gòu)的變配電系統(tǒng)、高效的開關和變壓器，可使用有源濾波器和無源濾波器等裝置減少諧波成分。另外應具有峰值功率控制系統(tǒng)。

（7）應根據(jù)負載量配置機柜的容量。當容量超過4k W時，宜使用三相系統(tǒng)。當容量小于等于4k W時，可使用單相系統(tǒng)。機柜排放位置盡量接近通信設備，從而減少導線的長度。

（8）根據(jù)通信設備容量不同，配置不同容量的PDU。

（9）應盡可能的使用新能源和可再生能源，包括燃料電池，光伏發(fā)電系統(tǒng)，光熱系統(tǒng)，風能發(fā)電，潮汐發(fā)電系統(tǒng)，水利發(fā)電系統(tǒng)和地熱發(fā)電等。

2.2.2 供電系統(tǒng)管理

（1）編寫關于設備能夠高效運行的功率密度參考指南或指導文件。

（2）盡量降低發(fā)動機發(fā)電機加熱器的溫度設定點。

（3）在布置電纜時應放置在較高地板下，不應堵塞制冷系統(tǒng)的氣流，不宜與其他通信線纜混放。

（4）應使用功率因數(shù)補償技術提高系統(tǒng)功率因數(shù)。

（5）應監(jiān)控整個系統(tǒng)的用電量以及每一相相電流數(shù)據(jù)，達到三相交流系統(tǒng)的供電平衡，要避免因三相不平衡而引起局部發(fā)熱等問題。

（6）隨著供電系統(tǒng)的阻值增加，局部發(fā)熱量也會增大，會形成安全隱患。因此供電系統(tǒng)管理中應使用溫度測量設備進行溫度監(jiān)控和管理。

2.2.3 與國內(nèi)標準的對比

國內(nèi)已經(jīng)發(fā)布的跟本章節(jié)內(nèi)容相關的行業(yè)標準有YD／T 2378－2011《240 V直流供電系統(tǒng)》、YD／T 2323－2011《通信用低壓并聯(lián)型有源電力濾波器》、YDT2165－2010《通信用模塊化不間斷電源》、YD／T 1095－2008《通信用不間斷電源－UPS》、GB／T 26263－2011《通信用風能電源系統(tǒng)》和GB／T 26264－2011《通信用太陽能電源系統(tǒng)》。上述標準中已針對L.1300中提出的高壓直流供電、有源濾波器、模塊化UPS、UPS不間斷電源、風能供電系統(tǒng)和太陽能供電系統(tǒng)提出詳細的參數(shù)要求。這說明了中國通信行業(yè)中已有成熟的產(chǎn)品且被廣泛應用。

2.3 監(jiān)控系統(tǒng)介紹及對比

2.3.1 監(jiān)控系統(tǒng)參數(shù)

（1）監(jiān)控數(shù)據(jù)中心輸入能量，包括供電設備、配電系統(tǒng)和制冷系統(tǒng)用電量。

（2）整個數(shù)據(jù)中心ICT設備用電量。（3）機房風量和溫濕度。

（4）機房空調(diào)送風和回風溫濕度。

（5）配電設備處的ICT設備用電量管理。

（6）配單設備處的機械能和電能管理。

（7）機架層面的溫度管理。

（8）設備層面的溫度管理。

具體監(jiān)控參數(shù)的數(shù)據(jù)流方向見表1所示。

表1 監(jiān)控參數(shù)與數(shù)據(jù)流方向

2.3.2 與國內(nèi)標準的對比

國內(nèi)標準已包含YD／T 1363.1－2005《YD T1363.1－2005通信局（站）電源、空調(diào)及環(huán)境集中監(jiān)控管理系統(tǒng) 第1部分：系統(tǒng)技術要求》、YD／T 1363.2－2005《YD T1363.1－2005通信局（站）電源、空調(diào)及環(huán)境集中監(jiān)控管理系統(tǒng) 第2部分：互聯(lián)協(xié)議》、YD／T 1363.3－2005《YD T1363.3－2005通信局（站）電源、空調(diào)及環(huán)境集中監(jiān)控管理系統(tǒng) 第3部分：前端智能設備協(xié)議》和YD／T 1363.4－2005《YD T1363.4－2005通信局（站）電源、空調(diào)及環(huán)境集中監(jiān)控管理系統(tǒng) 第4部分：測試方法》等標準。在上述標準中已經(jīng)詳細規(guī)定了動力環(huán)境監(jiān)控對象、協(xié)議要求和設備協(xié)議等。但上述系列標準中未提出節(jié)能方面監(jiān)控參數(shù)內(nèi)容。

3 ITU－T L.1300將來的研究方向及重大意義

ITU－T L.1300將針對以下內(nèi)容進行深入研究。

（1）網(wǎng)絡級的度量和測試方法。

（2）監(jiān)控部分中的參數(shù)和功能。例如：通信協(xié)議，地址分配，數(shù)據(jù)采集等。

（3）新風熱交換等節(jié)能設備與空調(diào)設備的聯(lián)動方案。

除了上述內(nèi)容外各個國家還可根據(jù)技術發(fā)展的情況提出修訂建議。

L.1300作為通信運營商提高數(shù)據(jù)中心綜合效率的指導書，提供了詳細的實施措施。書中列出的最佳實踐方案，可讓數(shù)據(jù)中心變得更高效更綠色。

4 結(jié) 論

L.1300從數(shù)據(jù)中心各個層面介紹了較全面的節(jié)能方案，包括建筑層面、管理層面、基礎設施層面和監(jiān)控層面。對今后數(shù)據(jù)中心標準化工作提供了豐富的參考資料。同時，也應根據(jù)目前L.1300的內(nèi)容與國內(nèi)標準的差異，對L.1300提出修訂建議，推進國內(nèi)標準國際化工作。

［1］ L.1300《Data Center Best Practices》.

［2］ YD／T 2319－2011《數(shù)據(jù)設備用網(wǎng)絡機柜技術要求和試驗方法》.

［3］ YD／T 2318－2011《通信基站用新風空調(diào)一體機》.

［4］ YDT2166－2010《通信機房精密空調(diào)自適應監(jiān)控系統(tǒng)》.

［5］ YD／T 1968－2009《通信局（站）用智能熱交換系統(tǒng)》.

［6］ YD／T 1969－2009《通信局（站）用智能新風節(jié)能系統(tǒng)》.

［7］ YD／T 1821－2008《通信中心機房環(huán)境條件要求》.

［8］ YD／T 2061－2009《通信機房用恒溫恒濕空調(diào)系統(tǒng)》.

［9］ GB／T 26263－2011《通信用風能電源系統(tǒng)》

［10］GB／T 26264－2011《通信用太陽能電源系統(tǒng)》.

［11］ YD／T 2378－2011《240 V直流供電系統(tǒng)》.

［12］ YD／T 2323－2011《通信用低壓并聯(lián)型有源電力濾波器》.

［13］ YDT2165－2010《通信用模塊化不間斷電源》.

［14］ YD／T 1095－2008《通信用不間斷電源－UPS》.

［15］ YD／T 1363.1～1363.5－2005《通信局（站）電源、空調(diào)及環(huán)境集中監(jiān)控管理系統(tǒng)》.