文/彭和平（凌云綠洲數(shù)據(jù)科技（北京）有限公司）

新一代綠色數(shù)據(jù)中心（機(jī)房）先進(jìn)節(jié)能技術(shù)

文/彭和平（凌云綠洲數(shù)據(jù)科技（北京）有限公司）

綠色環(huán)保數(shù)據(jù)中心建設(shè)的必要性

全球數(shù)據(jù)中心建設(shè)在大數(shù)據(jù)時代增長不斷加快，年增長為50%~140%。除服務(wù)器市場容量不斷擴(kuò)大外，能源成為數(shù)據(jù)中心建設(shè)和運(yùn)維的主要消耗成本，達(dá)到30%以上；而當(dāng)今受到環(huán)境制約和大數(shù)據(jù)業(yè)務(wù)的快速增長，出現(xiàn)了對大數(shù)據(jù)不可持續(xù)支撐的“能源墻”問題，必須優(yōu)化傳統(tǒng)的數(shù)據(jù)中心能源供電、儲電、用電方式，才能適應(yīng)大數(shù)據(jù)時代的長遠(yuǎn)發(fā)展要求。

近年來，國際上數(shù)據(jù)中心機(jī)房的整體綠色能源效能研究成為熱點(diǎn)，并取得了長足進(jìn)步，以Google為例，已近達(dá)到1.12的電力使用效率PUE（PUE為1時代表最理想值，表示數(shù)據(jù)中心所有的電力為信息系統(tǒng)100%使用）。

目前，全世界主流數(shù)據(jù)中心是III級數(shù)據(jù)中心。我國整體上和歐美國家存在差距，比起金磚國家巴西來說也并不領(lǐng)先。具體來說，美國累計獲得Uptime Institute認(rèn)證的有79個：8個達(dá)到綠色認(rèn)證，7個四級，61個三級；巴西累計獲得25個：1個達(dá)到綠色認(rèn)證，2個為四級，22個為三級；中國累計只有15個：0個達(dá)到綠色認(rèn)證，3個為四級，11個為三級。在我國，僅香港就占了三分之一的高等級數(shù)據(jù)中心份額。中國目前獲得認(rèn)證的最高等級數(shù)據(jù)中心有蘇州國科數(shù)據(jù)中心、國泰君安上海數(shù)據(jù)中心等。可以看出，中國發(fā)展高效能綠色可持續(xù)的數(shù)據(jù)中心任重而道遠(yuǎn)！

數(shù)據(jù)中心機(jī)房整體架構(gòu)分析

數(shù)據(jù)中心機(jī)房基礎(chǔ)設(shè)施主要包括3大部分。

（1）電力供配系統(tǒng)。數(shù)據(jù)中心機(jī)房依靠配電房供電才能運(yùn)行，核心部件包括電源分配單元PDU，非易失性電源UPS，以及自動電力切換開關(guān)ATS等。傳統(tǒng)的配電房不論采取1條通路還是冗余通路，都是采用中央式供電方式，各個大型的電力部件牽一發(fā)而動全身，難以擴(kuò)展，而且中央式UPS因為AC/DC雙重轉(zhuǎn)換原因能效很低。

（2）空調(diào)制冷系統(tǒng)。傳統(tǒng)數(shù)據(jù)中心一般是開放式制冷，采取穿孔地磚/通氣式地板，CRAC空調(diào)是關(guān)鍵單元，提供冷風(fēng)。開放式機(jī)房存在的問題主要是冷熱氣流缺乏管理，再循環(huán)空氣導(dǎo)致制冷效率下降，尤其是在機(jī)柜頂端和邊緣會出現(xiàn)不均衡制冷。通過降低送風(fēng)溫度可以使熱通道溫度大幅下降，達(dá)到建議的服務(wù)器溫度值，但這種方法非常浪費(fèi)。另外，升降式地板的運(yùn)維成本也很高，建設(shè)周期長。

（3）網(wǎng)絡(luò)電信設(shè)備。數(shù)據(jù)中心另一個重要部分是電信系統(tǒng)。從電信通信角度來看，其布局至少包括一個主要分布區(qū)（MDA），一個或者多個水平分布區(qū)，以及一個或多個設(shè)備分布區(qū)。主要分布區(qū)是數(shù)據(jù)中心線纜基礎(chǔ)設(shè)施的中心。計算機(jī)機(jī)房中心路由器、中心局域網(wǎng)（LAN）開關(guān)、中心存儲區(qū)域網(wǎng)絡(luò)（SAN）等經(jīng)常位于主要分布區(qū)。主要分布區(qū)的線纜往往會在不同樓層間垂直走線。相對于主要分布區(qū)，水平分布區(qū)的電纜則用來連接某一數(shù)據(jù)中心水平區(qū)域的各個設(shè)備。

整體來說，目前主流的數(shù)據(jù)中心布局體現(xiàn)為電力線纜、網(wǎng)絡(luò)線纜及送風(fēng)通道貫穿機(jī)房，層次化的供電、網(wǎng)絡(luò)、制冷設(shè)備分布于機(jī)柜間，而大型供電設(shè)備和制冷機(jī)組一般都在機(jī)房外配有額外空間。提升能效降低成本是布局的關(guān)鍵。

Google數(shù)據(jù)中心（圖片來源自網(wǎng)絡(luò)）

國際前沿數(shù)據(jù)中心建設(shè)典型案例分析

建設(shè)高效能數(shù)據(jù)中心僅僅有一流設(shè)備是不夠的，國際前沿數(shù)據(jù)中心的建設(shè)大都重視設(shè)計和管理。這也是我國發(fā)展高效能數(shù)據(jù)中心所必需借鑒的。

（1）案例A：雅虎“雞籠”式數(shù)據(jù)中心 YCC（上榜理由——最優(yōu)PUE示范項目）

雅虎YCC數(shù)據(jù)中心是自主設(shè)計的數(shù)據(jù)中心，被美國能源部作為示范性項目，屬于大型數(shù)據(jù)中心，其PUE能效也非常高。該數(shù)據(jù)中心位于紐約州Lockport市，設(shè)計規(guī)模9MW，PUE僅1.08。相比而言Facebook的美國俄勒岡數(shù)據(jù)中心達(dá)到1.07, 蘋果位于北開羅來納的數(shù)據(jù)中心為1.1，谷歌在得克薩斯的數(shù)據(jù)中心（部分風(fēng)能）為1.12，這些都使用或購買可再生能源。而傳統(tǒng)數(shù)據(jù)中心一般在2.5以上。雅虎通過5年的時間逐步摸索，采取了一系列改進(jìn)措施（水冷制冷塔，室外風(fēng)處理，模塊化設(shè)備，通風(fēng)管理等），才得到如今的極佳PUE。雞籠式設(shè)計的最大亮點(diǎn)在于百葉窗能夠管理進(jìn)入機(jī)房的氣流，此外該數(shù)據(jù)中心還利用風(fēng)扇控制由穹頂排放的空氣，并且調(diào)節(jié)再循環(huán)空氣的溫度。

（2）案例B：Equinix商用數(shù)據(jù)中心IBX（上榜理由——規(guī)模最大、技術(shù)最全面）

Equinix（Nasdaq: EQIX）成立于1998年，在數(shù)據(jù)中心規(guī)模和收入等方面均處于世界領(lǐng)先, 目前在美洲、亞太、歐洲及中東14 個國家和地區(qū)的31 個市場運(yùn)營著94個國際業(yè)務(wù)交換數(shù)據(jù)中心（International Business Exchange?）。他們首先提出了以其數(shù)據(jù)中心群為平臺形成的行業(yè)生態(tài)系統(tǒng)的概念，將網(wǎng)絡(luò)運(yùn)營商、互聯(lián)網(wǎng)內(nèi)容、數(shù)字媒體、金融企業(yè)、云計算和IT服務(wù)商等行業(yè)客戶吸引到其數(shù)據(jù)中心內(nèi)。目前，Equinix采取了多種多樣的設(shè)計方式，比如阿姆斯特丹的AM3 IBX數(shù)據(jù)中心使用地下水制冷ATES技術(shù)，多倫多的TR1 IBX數(shù)據(jù)中心使用深層湖水制冷系統(tǒng)，新加坡的SG1 IBX則率先采用細(xì)粒度溫度監(jiān)控，可提升PUE值15%等。

（3）案例C：Google和Facebook的設(shè)計概述（上榜理由——IT行業(yè)領(lǐng)導(dǎo)者）

在IT行業(yè)，Google和Facebook是數(shù)據(jù)中心的領(lǐng)導(dǎo)者。Facebook近年來提出了開源硬件設(shè)計OCP社區(qū)，以及一系列先進(jìn)高效的機(jī)房設(shè)計技術(shù)，比如分布式電池、模塊化高密度機(jī)柜三元組等。他們也采取了比如冷熱通道隔離、LED采光等傳統(tǒng)技術(shù)來進(jìn)一步提升數(shù)據(jù)中心整體能效。

（4）案例D：TelecityGroup和GIB數(shù)據(jù)中心（上榜理由——?dú)W洲最具創(chuàng)意設(shè)計）

歐洲人重視設(shè)計和浪漫。法國TelecityGroup數(shù)據(jù)中心被稱為歐洲技術(shù)最領(lǐng)先和最綠色的數(shù)據(jù)中心之一，它采用自然風(fēng)制冷，使用白色屋頂減少吸熱，其中1個亮點(diǎn)在于使用廢氣熱源來培養(yǎng)熱帶植物（和法國國家農(nóng)業(yè)研究所INRA合作）。瑞士GIB數(shù)據(jù)中心的亮點(diǎn)是回收熱源為泳池加熱，據(jù)統(tǒng)計該設(shè)計每年能節(jié)省150t碳，相當(dāng)于50萬輛轎車行駛1.6km。

（5）案例E：百度，騰迅，阿里數(shù)據(jù)中心（上榜理由——國內(nèi)重要數(shù)據(jù)中心運(yùn)營商）

百度核心業(yè)務(wù)在搜索方面，因此在數(shù)據(jù)中心方面并無特別突破，屬于走設(shè)備一流型建設(shè)方式。百度2013年建成的南京云數(shù)據(jù)中心的亮點(diǎn)在于“自我定制”，但由于缺乏一流的設(shè)計和管理，其PUE并不是最突出的，僅1.37（而谷歌2008年就達(dá)到1.22了）。騰迅第三代數(shù)據(jù)中心TDMC，在建造上走在前列，率先采取模塊化設(shè)計，采用高效能的供電設(shè)備，但是騰迅在制冷和新能源方面邁出的步伐有限。阿里云, 其軟件系統(tǒng)層面的“異地雙活”等容災(zāi)技術(shù)是主要優(yōu)勢，得以支撐每年的雙11購物。雖然阿里對管理峰值負(fù)載有一定經(jīng)驗，但在設(shè)計高效能綠色數(shù)據(jù)中心方面還在摸索。主要宣揚(yáng)的技術(shù)也僅僅是國外于2008年起就出現(xiàn)的設(shè)計，也就是簡單的新能源電力集成，以及普通風(fēng)冷水冷技術(shù)。

凌云綠洲綠色能源集成與混合式供電的數(shù)據(jù)中心節(jié)能建設(shè)方案

凌云綠洲數(shù)據(jù)科技有限公司，是專門針對大數(shù)據(jù)中心進(jìn)行能源智能優(yōu)化與管理的公司，在利用再生能源的高性能計算領(lǐng)域進(jìn)行了世界首創(chuàng)性的工作，技術(shù)處于國際領(lǐng)先行列，成果在HPCA 2011的227篇提交的學(xué)術(shù)論文中排名第1，并獲最佳論文。通過該項技術(shù)，可使數(shù)據(jù)中心能耗降低20%~30%。

（1）技術(shù)優(yōu)勢和亮點(diǎn)

我們的“凌云綠洲”系列新一代數(shù)據(jù)中心設(shè)計經(jīng)過過去5年的發(fā)展，實現(xiàn)了一系列技術(shù)突破。該方案簡單而言可以概括為自頂向下的設(shè)計：首先，在頂層采用一種全局體系架構(gòu)，并在此基礎(chǔ)上發(fā)展出一套綜合管控系統(tǒng)，在該系統(tǒng)中融合3項硬件實施技術(shù)（用電、供電、備電）；最后，采用一個基礎(chǔ)設(shè)計單元來具體實施。

首先，我們設(shè)計的全局體系架構(gòu)，指的是模塊化的混合供電架構(gòu)，這種架構(gòu)使得我們能夠同時采取兩種新能源融合方式：細(xì)粒度的模塊化直連；粗粒度的模塊化并網(wǎng)。這種方式被證明是最經(jīng)濟(jì)有效的，能夠適合于各種不同的設(shè)計目標(biāo)和動態(tài)擴(kuò)張需要。

其次，我們在此架構(gòu)上同時設(shè)計了一套全局管控軟件系統(tǒng)，該系統(tǒng)中包含了監(jiān)控層、應(yīng)用層、內(nèi)核層，以及接口層。這里接口層是系統(tǒng)的基礎(chǔ)，提供必要的通信和控制手段，而我們的技術(shù)創(chuàng)新主要體現(xiàn)在應(yīng)用層和內(nèi)核層。

具體來說，在應(yīng)用層我們完成了3項硬件實施技術(shù)。首先是服務(wù)器計算技術(shù)（用電技術(shù)），該技術(shù)能夠助力大數(shù)據(jù)計算環(huán)境下服務(wù)器設(shè)備的高效運(yùn)行。與之類似的服務(wù)器系統(tǒng)已經(jīng)被諾基亞和施奈德等公司采用，但他們并不具備我們的相關(guān)技術(shù)。此外，我們還同時研發(fā)了異構(gòu)式電力削峰技術(shù)（供電技術(shù)），該技術(shù)支持經(jīng)濟(jì)高效的機(jī)房供電，能夠借助高效的負(fù)載削峰可提升設(shè)備壽命達(dá)5倍，并提升40%的能效。

最后，我們還實現(xiàn)了數(shù)據(jù)中心分布式儲能備份技術(shù)（備電技術(shù)），從而能夠支持高可用性云系統(tǒng)對可用性的需求，分布式電池目前已經(jīng)被微軟、Facebook、惠普等多家IT公司所采用，我們的技術(shù)能夠有效地實現(xiàn)綠色數(shù)據(jù)中心對大規(guī)模分布式電池設(shè)備的備電管理，從而極大提升云數(shù)據(jù)中心的整體可用性。

以上技術(shù)最終的實施方式是一個協(xié)同設(shè)計的基礎(chǔ)單元，稱之為綠洲節(jié)點(diǎn)。該節(jié)點(diǎn)實現(xiàn)了“儲能-配電-用電”的協(xié)同優(yōu)化，便于在綠色數(shù)據(jù)中心中實施。

（2）具體實施內(nèi)容和先進(jìn)性

除去以上針對綠色數(shù)據(jù)中心的創(chuàng)新型技術(shù)，我們的建設(shè)和實施方案還將包含目前各個領(lǐng)域的主流前沿技術(shù)，具體體現(xiàn)在9個方面。

①電信設(shè)備具有前瞻性。服務(wù)器節(jié)點(diǎn)的更新比較容易，而對網(wǎng)絡(luò)設(shè)施的改造就相對困難。電信機(jī)房內(nèi)的主要分布區(qū)和水平分布區(qū)都需要考慮未來數(shù)據(jù)通信量的爆發(fā)和服務(wù)器節(jié)電的拓展，否則極易造成擁堵。雖然目前以10G以太網(wǎng)為主流，但在大數(shù)據(jù)爆發(fā)時代，應(yīng)瞄準(zhǔn)40G和100G網(wǎng)絡(luò)設(shè)備。

②服務(wù)器采取異構(gòu)集群。這使得我們能夠提供多樣化的服務(wù)。為此設(shè)計了5類標(biāo)準(zhǔn)化的服務(wù)器節(jié)點(diǎn)，并建設(shè)了3大類集群：前段集群、服務(wù)器集群、后端集群。不同的集群具有不同的處理器和存儲設(shè)備性能。

③精準(zhǔn)管控設(shè)備利用率。服務(wù)器的利用率嚴(yán)重影響數(shù)據(jù)中心的整體運(yùn)營成本。利用率越高則數(shù)據(jù)中心的利潤率越大。因此，我們針對服務(wù)器電源負(fù)載和電池充放電進(jìn)行了優(yōu)化。

④環(huán)境全局實時監(jiān)控。采用智能配電檢測單元、網(wǎng)絡(luò)通信監(jiān)測單元、電池監(jiān)測模塊、電力切換控制器，智能環(huán)境監(jiān)測單元等，這不僅能提升服務(wù)器和網(wǎng)絡(luò)的安全性，還能極大降低超載和溫度失控等問題的發(fā)生。

⑤選擇模塊化設(shè)備。對于目前國際上一流數(shù)據(jù)中心設(shè)計來說，其供電設(shè)備一個主要特點(diǎn)是分布式和模塊化。模塊化預(yù)定制的供電設(shè)備便于系統(tǒng)擴(kuò)張，安裝調(diào)試方便，能避免單點(diǎn)錯誤。

⑥混合多模式制冷。多模式運(yùn)行即為結(jié)合外部環(huán)境情況來實現(xiàn)經(jīng)濟(jì)高效的制冷運(yùn)行。比如在冬季，直接借助室外冷空氣的交換；在夏季，利用水蒸氣蒸發(fā)散熱；只有在極端請情況下，才利用比較耗電的壓縮機(jī)主動降溫。另外，降低對水資源的要求是中西部地區(qū)設(shè)計數(shù)據(jù)中心的一個關(guān)鍵，多模式運(yùn)行能夠節(jié)省水資源，每兆瓦僅需要1000m3。

⑦新能源熱電聯(lián)產(chǎn)。這使得我們能夠進(jìn)一步優(yōu)化綜合供能。熱電聯(lián)產(chǎn)模式下的制冷機(jī)本身可以不再需要額外電力。據(jù)目前估算，回收的這部分熱能生產(chǎn)的冷卻水剛好能夠滿足所供服務(wù)器的制冷需求。

⑧縝密的冗余設(shè)計。這對于提升數(shù)據(jù)中心可用性非常重要。除了一般的電力設(shè)備冗余外，其他一些關(guān)鍵設(shè)備也不能忽視。比如選擇具有雙風(fēng)扇的服務(wù)器刀片，可避免因內(nèi)部風(fēng)扇故障而產(chǎn)生的致冷失效。借助冗余設(shè)計以及有效的負(fù)載平衡，往往可以避免數(shù)據(jù)中心接入層的單點(diǎn)錯誤，

⑨規(guī)范化布局建設(shè)。關(guān)于布線等細(xì)節(jié)的規(guī)范化建設(shè)對于打造一流數(shù)據(jù)中心非常重要。這包括機(jī)柜內(nèi)部的橫縱走線管理，機(jī)柜頂部的橫縱走線管理，標(biāo)簽命名方式，以及線纜的顏色標(biāo)定等，并提供高精準(zhǔn)度機(jī)房、布局、走線三維建模和物理智能運(yùn)維支持，使得任何故障能實時定位和維護(hù)輔助支持，大大減緩大數(shù)據(jù)中心運(yùn)維難度、排除故障的實時性和故障預(yù)測。

總結(jié)

總而言之，供電設(shè)備、制冷設(shè)備、網(wǎng)絡(luò)設(shè)備是目前機(jī)房建設(shè)的三大部分，一般以結(jié)構(gòu)化和模塊化為特點(diǎn)，注重容量的可擴(kuò)展性和核心設(shè)備的可用性，從多方面提升供電與用電效率。前沿設(shè)計無不善用“光、風(fēng)、水”來為數(shù)據(jù)中心提供環(huán)保及可持續(xù)的供電、散熱、制冷。國內(nèi)機(jī)房建設(shè)還徘徊在國外5年前的狀況，具備一流硬件，但缺乏一流設(shè)計和管理。我公司的“1種架構(gòu)+1套系統(tǒng)+3項實施技術(shù)+1個基礎(chǔ)單元（1131）”設(shè)計方案幫助綠色數(shù)據(jù)中心高效利用本地新能源，在保證性能、能效、可靠性的同時，實現(xiàn)可管理、可優(yōu)化、可擴(kuò)展，從而最終實現(xiàn)可持續(xù)；多項設(shè)計已被業(yè)界（如facebook）采用。實踐表明，我們的大數(shù)據(jù)中心設(shè)計技術(shù)，能夠?qū)δ茈姵貕勖娱L70%，整體節(jié)能達(dá)到20%~30%。該核心技術(shù)的應(yīng)用，將為我國智慧城市大數(shù)據(jù)中心、行業(yè)大數(shù)據(jù)中心的建設(shè)帶來質(zhì)的改變，大幅提升大數(shù)據(jù)中心能源利用效率，顯著降低大數(shù)據(jù)中心建設(shè)和運(yùn)營成本，推動我國“互聯(lián)網(wǎng)+”和物聯(lián)網(wǎng)產(chǎn)業(yè)的綠色和可持續(xù)發(fā)展！