服務(wù)器等IT設(shè)備在處理能力得到提高的同時，其散熱量也越來越大，傳統(tǒng)的冷熱通道分開、風冷等制冷技術(shù)在給機柜內(nèi)部以及整個數(shù)據(jù)中心制冷時遭遇到瓶頸，液體制冷技術(shù)開始走到了臺前。

ILM公司(Industrial Light Magic)最近用目前最熱門的IBM BladeCenter服務(wù)器替換其舊服務(wù)器。通過這一舉措ILM公司將把數(shù)據(jù)中心單個機柜的電能消耗平均減少140千瓦，節(jié)省幅度達到84%。不過，新機柜中的熱密度現(xiàn)在更高了:每個機柜功率達28千瓦，而之前為24千瓦。這些電能最終都要轉(zhuǎn)換成熱能，而這些熱能必然會透過機柜散發(fā)到數(shù)據(jù)中心，最后由數(shù)據(jù)中心的空調(diào)系統(tǒng)帶走。

ILM公司主要進行電腦特技制作，這些機柜組成渲染農(nóng)場用以對圖像進行處理。每個新機柜配有84臺刀片服務(wù)器，每個刀片服務(wù)器有2個四核處理器和32GB的內(nèi)存。這些服務(wù)器功能非常強大，與3年前采購的BladeCenter相比，一臺服務(wù)器的處理能力相當于過去的7臺。然而，一個新的42U機柜產(chǎn)生的熱量相當9個家用烤箱以最高溫度工作。為了制冷，ILM數(shù)據(jù)中心的空調(diào)系統(tǒng)幾乎是滿負荷工作。

惠普副總裁兼關(guān)鍵基礎(chǔ)設(shè)施服務(wù)部門總經(jīng)理Peter Gross介紹說，近年來新建的大多數(shù)數(shù)據(jù)中心其設(shè)計制冷能力大都為每平方英尺100～200瓦，每個機柜的制冷能力為4千瓦。而一個數(shù)據(jù)中心的設(shè)計制冷能力達到200瓦時才能支持平均5千瓦的機柜熱密度。如果對氣流流向進行精心設(shè)計和專門優(yōu)化，機房的空氣調(diào)節(jié)系統(tǒng)最多可以滿足用電量25千瓦的機柜的制冷需求。而現(xiàn)在ILM公司的數(shù)據(jù)中心每個機柜用電達到28千瓦，這已經(jīng)是現(xiàn)有的機房空調(diào)系統(tǒng)所能承擔的最高負荷了，從事數(shù)據(jù)中心能效研究的IBM 研究員兼首席工程師Roger Schmidt說，“ILM是在挑戰(zhàn)30千瓦的極限，這注定是一個相當艱苦的工作?！?/p>

計算密度

不宜繼續(xù)增加

現(xiàn)在的問題是:接下來會發(fā)生什么?“未來用電量如果繼續(xù)增加怎么辦?完全可能因為制冷問題無法解決，讓我們不能再往數(shù)據(jù)中心中添加任何設(shè)備。實際上，這個問題已經(jīng)開始顯現(xiàn)出來了?！盨chmidt說。

Schmidt認為超過30千瓦的高功率密度計算以后將不得不依賴于水冷。不過其他專家表示，數(shù)據(jù)中心的相關(guān)設(shè)備制造商可以通過通力合作降低服務(wù)器的部署成本，使得服務(wù)器不用都擠在機柜中，而是分開擺放，這樣機柜中的熱密度就不至于越來越高。

ILM信息技術(shù)總監(jiān)凱文#8226;克拉克對采用新的刀片服務(wù)器后獲得的計算能力的提升和節(jié)電效果很滿意，他說這符合當今節(jié)能環(huán)保的大趨勢。

根據(jù)IDC的研究，服務(wù)器的平均價格自2004年以來已經(jīng)下降了18%，而CPU成本下降了70%，達到715美元。但克拉克不知道如果計算密度成倍增長持續(xù)下去的話，自己的機房到底還能維持多久?！熬同F(xiàn)有的機房設(shè)備而言，如果計算密度加倍的話，從制冷的需求來考慮，是難以滿足需求的。”他說。

他并不是唯一關(guān)注制冷問題的人。40多年來，計算機行業(yè)按照摩爾定律規(guī)定的進程快速發(fā)展，每兩年計算密度增加一倍?，F(xiàn)在一些工程師和數(shù)據(jù)中心的設(shè)計師們開始懷疑這條道路的可持續(xù)性，因為這條路似乎已走到了盡頭?，F(xiàn)在面臨的困難不只是芯片制造商是否能夠克服制造更精密的晶體管所面臨的技術(shù)挑戰(zhàn)，還在于現(xiàn)代數(shù)據(jù)中心要運行和管理如此多的高計算密度的機柜是否經(jīng)濟。

現(xiàn)代數(shù)據(jù)中心機柜中安裝的IT設(shè)備越來越多，這不僅意味著機柜用電量大大增加，還意味著后面的所有輔助設(shè)施的容量和用電量也相應增加，包括冷卻系統(tǒng)、配電設(shè)備、UPS和發(fā)電機等都會按比例增加。這一點值得數(shù)據(jù)中心經(jīng)理注意。

IDC公司在2009年曾調(diào)查了1000家數(shù)據(jù)中心的負責人，接受調(diào)查者中21%的人將電力和制冷列為數(shù)據(jù)中心當前面臨的最大挑戰(zhàn)。將近一半(43%)的人說這是它們運營成本增加的最主要原因，1/3的人說他們經(jīng)歷過因制冷問題或者電力問題導致的服務(wù)器宕機。

Christian Belady是微軟全球基礎(chǔ)服務(wù)集團經(jīng)驗最豐富的基礎(chǔ)設(shè)施架構(gòu)師，負責設(shè)計和管理著微軟最近在美國華盛頓州昆西市建立的數(shù)據(jù)中心。他說，采用高架地板形式的數(shù)據(jù)中心單位建設(shè)成本太高，微軟在昆西的數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)成本占項目總成本的82%。

“我們必須改變過去的那種計算密度越高越好的錯誤觀點?！盉elady說，“要知道，計算密度加倍意味著所有的輔助設(shè)施、制冷系統(tǒng)容量都要加倍?！?/p>

格羅斯說，隨著數(shù)據(jù)中心內(nèi)單位面積上的計算密度增加，雖然整體機電成本變化不大，但由于功率密度增加而帶來的運營成本卻大大增加了。

IBM的施密特表示，對于新建的數(shù)據(jù)中心而言，最大的資金投入不是建筑本身，而是保證公司電力供應的設(shè)備成本以及相應的制冷成本。計算密度的增加已經(jīng)讓一些大型數(shù)據(jù)中心的建設(shè)項目資金突破了10億美元大關(guān)。

“很多總裁級的人聽說新建數(shù)據(jù)中心要這么高的投入都嚇了一跳。”施密特說。

Gartner公司的分析師拉克什#8226;庫瑪說，從電力使用和成本的角度來說，功率密度不可能無休止地增長下去。幸運的是，大多數(shù)企業(yè)的數(shù)據(jù)中心機柜的電力消耗暫時還沒有達到像ILM這樣的水平。Gartner的客戶中約有40%其數(shù)據(jù)中心每個機柜的功率為8～9千瓦，而有些高達12至15千瓦，無一例外的是，功率呈明顯上升趨勢。

現(xiàn)在，一些企業(yè)數(shù)據(jù)中心和一些對外提供托管服務(wù)的IDC開始對用電情況進行監(jiān)測，并把它作為數(shù)據(jù)中心的依據(jù)之一，而它們在以前只是按照租用空間收費的，根本就沒有考慮到底用多少電。更大膽一些的IDC則針對大客戶采用根據(jù)用電量決定收費多少，由用戶先提出最高要用多少電，IDC再據(jù)此給其分配相應的空間。

按用電量付費

而不是空間

不過，指望客戶不僅知道他們需要租用什么樣的設(shè)備，還要了解安裝了這些設(shè)備的機柜大約需要用多少電，似乎不太現(xiàn)實。

“對于某些客戶來說，這是非?，F(xiàn)實的，”從事服務(wù)器托管服務(wù)的Terremark公司的高級副總裁斯圖爾特反駁說。事實上，Terremark采用這種方法也是響應客戶的需求。“客戶中有不少人找到我們說，他們最多需要多少電，讓我們?yōu)樗麄儼才趴臻g。”他說。如果客戶不知道他的機柜要用多少電，Terremark也會單獨給這個公司配一根總電纜，通過這個電纜為客戶的機柜供電，到時用電情況也就清楚了。

IBM的施密特認為，功率密度還有可能進一步增加，但數(shù)據(jù)中心的制冷方案需要改變。

ILM的數(shù)據(jù)中心完成于2005年，設(shè)計供電能力為每平方英尺200瓦，從機房來說這個電力供應和制冷能力已經(jīng)足夠了，現(xiàn)在的問題是沒有方法能有效地解決高密度機柜內(nèi)部的制冷。

ILM公司采用了冷/熱通道的設(shè)計，同時管理人員對通往冷通道的格柵板的數(shù)量和位置進行了調(diào)整，從而對流經(jīng)機柜內(nèi)的氣流進行了優(yōu)化。即便如此，為了避免機柜內(nèi)的局部熱點，空調(diào)系統(tǒng)必須保證整個13500平方英尺的機房不超過18.5攝氏度。

克拉克知道這有些浪費，今天的IT設(shè)備設(shè)計運行溫度高達27攝氏度以上，所以他正在關(guān)注一種稱為冷通道密封的技術(shù)。

實際上，已經(jīng)有一些數(shù)據(jù)中心在試驗對一些高熱密度地方的冷熱通道進行密封，包括通道兩端設(shè)上大門，為防止熱空氣和冷空氣通過機柜頂端到天花板之間的空隙混合，這些位置也用隔板封上。除了這些辦法之外，有的數(shù)據(jù)中心還讓冷空氣直接進入機柜底部，在機柜內(nèi)與IT設(shè)備進行熱交換，然后逐步上升，最后通過機柜頂部的出口進入回風道，再通過天花板頂部的管道返回，從而創(chuàng)造出一個閉環(huán)的制冷系統(tǒng)，徹底避免冷、熱氣流的混合。

“冷/熱通道的方法其實還是傳統(tǒng)的方法，而不是最優(yōu)的?！卑Ｉ軘?shù)據(jù)中心技術(shù)經(jīng)理和運營經(jīng)理Rocky Bonecutter說:“最新的趨勢是鋪設(shè)圍欄，對冷熱氣流進行分流?！?/p>

據(jù)惠普的Gross估計，如果數(shù)據(jù)中心利用這種技術(shù)，普通的機房空調(diào)系統(tǒng)可以最高滿足每個機柜25千瓦左右的制冷需求?！爱斎唬@需要仔細地對冷熱氣流進行隔離、防止串流，還要對氣流路線進行優(yōu)化。這些工作必須固定下來，成為一種例行工作。”他說。

雖然按照現(xiàn)在的標準來重新設(shè)計數(shù)據(jù)中心，能降低能耗和解決制冷的難題，然而，單個機柜的功率卻是越來越大，最新安裝刀片服務(wù)器的機柜每個功率已經(jīng)超過25千瓦。在過去的5年里，IT一直在不斷對機柜、高架地板等進行重新設(shè)計以及對氣流進行優(yōu)化，最顯而易見的成果是提高了電能的利用率。如果機柜內(nèi)的熱密度繼續(xù)上升，安裝密封的圍欄將是確保機房制冷的最后一招了。

從風冷換成液冷?

為了解決高熱密度機柜中的熱點問題，一些數(shù)據(jù)中心已經(jīng)開始轉(zhuǎn)向到液體制冷。最常用的液體冷卻技術(shù)稱為緊耦合制冷，也就是用管道將冷凍液(通常為水或乙二醇)輸送到高架地板之上或者直接把冷凍液輸送到機柜內(nèi)部，然后通過風和冷凍液之間的熱交換達到給機柜內(nèi)部降溫的目的。庫瑪估計，Gartner 20%的企業(yè)在使用某種類型的液體制冷，至少在一些高密度的機柜里已經(jīng)用到了液體制冷。

IBM的施密特說，那些采用機房整體制冷的數(shù)據(jù)中心，尤其是那些為了應對高熱密度不得不采用更大的柜式空調(diào)的數(shù)據(jù)中心，采用液體制冷可以節(jié)省一筆不小的電費。

但微軟的Belady認為液體制冷僅限于一個相對較窄的領(lǐng)域:高性能計算?！叭绻阆氚阎评溆玫囊后w送到芯片，成本馬上就會上升。”他說，“遲早有人會問這樣一個問題:這種方法成本那么高，為什么我還要用?”

Belady認為遏制計算密度不斷上漲勢頭的最好方法是改變數(shù)據(jù)中心的收費方式。微軟如今已經(jīng)改變了它的成本分攤辦法，不再是僅僅根據(jù)用戶的占地面積和機柜的利用率來收費，而是開始把用戶的用電量考慮進來。而采用這種收費辦法之后，局面馬上得到了改觀，每個機柜的用電量開始下降?！叭绻杀景凑沼秒娏縼砜己说脑?，機柜內(nèi)的熱密度自然會下降?！彼f。

自從微軟開始按照用電量收費以來，其用戶的關(guān)注重點從在盡可能小的空間中獲得最強大的處理能力轉(zhuǎn)變?yōu)橛米钚〉碾娏ο墨@得最大的處理能力?！斑@并不是說收費策略改變后機柜內(nèi)就一定不會出現(xiàn)高熱密度，最終要取決于所提出的解決方案總體能源效率。但是，如果你是按照占用空間的多少收費，100%會導致高熱密的?！?Belady說。

今天，很多IT設(shè)備供應商的產(chǎn)品是按最高熱密度設(shè)計的，用戶往往也愿意為了節(jié)省機房地面空間而購買更貴的適應高熱密度環(huán)境的服務(wù)器等設(shè)備。因為很多機房的收費是按照占用的機房空間來計算的。殊不知，更高的用電量會帶來電力分配設(shè)備和制冷用電量的相應增加，由此導致電能利用率下降。實際上，營運成本中80%會隨著用電量的增加而增加，比如機電基礎(chǔ)設(shè)施必須為機柜輸送所需的電力，同時為這些機柜內(nèi)的設(shè)備制冷。

Belady以前曾是惠普公司的一名非常杰出的工程師，從事服務(wù)器的設(shè)計工作。他說，IT設(shè)備的設(shè)計就應該考慮到讓設(shè)備能在較高的溫度下可靠工作。比如用電設(shè)備要設(shè)計為最高在27攝氏度以上的溫度下工作。目前的設(shè)計溫度是2004年制訂的，這一年ASHRAE(美國社會、制冷及空調(diào)工程師協(xié)會)規(guī)定設(shè)計溫度為72華氏度(22.2攝氏度)。

不過，Belady認為數(shù)據(jù)中心設(shè)備在27度以上的溫度運行，可能帶來更高的用電效率?！耙坏C房允許在較高的溫度下運行，機會之門就被打開了。比如，你可以利用室外的空氣來為機房降溫，這樣你就無需安裝這么多的冷卻設(shè)備，不過，機柜的熱密度不能太高。”他說，有些處于氣溫比較低的地方的數(shù)據(jù)中心已經(jīng)開始嘗試在冬天關(guān)閉冷卻機組，而直接使用室外的冷空氣來免費給機房降溫。

如果IT設(shè)備可以在35攝氏度下正常工作，很多數(shù)據(jù)中心幾乎可以全年不用空氣冷卻器。Belady接著說:“而如果IT設(shè)備在50攝氏度下也可以正常工作，那世界上所有的數(shù)據(jù)中心都不再需要空調(diào)了，這將完全改變數(shù)據(jù)中心的運營方式。不幸的是，至少現(xiàn)在看來是不太可能的?！?/p>

Belady希望IT設(shè)備能更結(jié)實一些，但他也認為，服務(wù)器實際上比大多數(shù)數(shù)據(jù)中心的管理者所設(shè)想的要結(jié)實。他說整個行業(yè)需要重新思考如何運營和管理分布式計算系統(tǒng)。

Belady說，理想的策略是要開發(fā)出一種系統(tǒng)，這個系統(tǒng)中每個機柜是針對某個特定的功率密度和工作負載進行專門優(yōu)化的，這可以確保每個機柜始終性能最佳、最節(jié)能。這樣，不管是供電還是制冷資源都將得到最有效的利用，既沒有過度利用也不浪費?！叭绻愕幕A(chǔ)設(shè)施沒有得到充分使用，從可持續(xù)性的角度而言，與過度利用相比這是一個更大的問題。”他說。

未來會怎么樣?

Belady認為，未來數(shù)據(jù)中心可能向兩個方向演進:高性能計算將采用液體制冷，而其他的企業(yè)數(shù)據(jù)中心和基于互聯(lián)網(wǎng)的數(shù)據(jù)中心(如微軟的數(shù)據(jù)中心)仍然會繼續(xù)沿用風冷的制冷方式。不過，這些數(shù)據(jù)中心可能會遷往地價更便宜、電力成本更低的地方，這樣才能繼續(xù)擴大規(guī)模。

戴爾企業(yè)產(chǎn)品部CTO Paul Prince認為，大多數(shù)數(shù)據(jù)中心不會很快遇到高功率密度的問題。每個機架的平均功率密度仍然在機房空調(diào)系統(tǒng)可以承受的范圍內(nèi)。他說，冷熱通道分離的方法和設(shè)計圍欄進行冷熱氣流隔離等方法人為地在機房中開辟出了一個“冷卻區(qū)”，在一定程度上解決數(shù)據(jù)中心局部熱點問題?！皵?shù)據(jù)中心的功率密度和熱密度肯定將繼續(xù)上升。但是，這種變化一定是漸進的?！?/p>

在ILM公司，克拉克注意到采用液體作為制冷劑的緊耦合制冷方式是一個大趨勢，不過，他和大多數(shù)同行一樣，對在數(shù)據(jù)中心用液體作為冷媒還有些不放心。但他也認為，高性能的基礎(chǔ)設(shè)施必須采用這些新的辦法。

“雖然暫時有些難以接受，但是既然液體制冷是個大趨勢，我們會盡快改變我們的觀念，只要這些技術(shù)能真正幫助我們解決問題。”克拉克說。

鏈 接

數(shù)據(jù)中心節(jié)能八招

1.升級服務(wù)器。新一代服務(wù)器提供更強大的處理能力，而且更節(jié)能。同時，盡量采購那些高能效標準的服務(wù)器設(shè)備，這些設(shè)備采購成本可能高一些，但從長遠看，會帶來運營成本的節(jié)約。

2.按用電量收費。改變傳統(tǒng)的按占用空間大小收費的模式，把用電量作為收費的參數(shù)之一，這可以促使客戶采用更高效率的設(shè)備。

3.考慮對冷熱通道密封。如果數(shù)據(jù)中心已經(jīng)采用了冷/熱通道的設(shè)計，而且機柜的功率超過4千瓦，那么下一步就必須采用冷熱通道密封技術(shù)了，包括關(guān)閉通道兩端的門，用隔板對機柜進行隔離以防止冷熱空氣混合。

4.使用變速風扇。機房空調(diào)系統(tǒng)依靠風扇把冷空氣送到預定位置，同時把熱空氣帶走。如果風扇轉(zhuǎn)速降低12.5%，用電就會節(jié)省一半。

5.打開電源管理功能。大多數(shù)服務(wù)器都帶有節(jié)能技術(shù)，比如控制風扇的速度、在待機時降低CPU的功耗，但默認是沒有打開的，很多數(shù)據(jù)中心管理者后來也沒有啟用它。建議盡量啟用這些功能，除非對系統(tǒng)可用性和響應速度有非常高的要求。

6.對數(shù)據(jù)中心進行分區(qū)。把數(shù)據(jù)中心分為多個相互隔離的區(qū)域，每個區(qū)塊都有自己專用的供電和制冷系統(tǒng)，分區(qū)內(nèi)冷熱空氣也要進行隔離，同時還可以安裝導流板和格柵對氣流流向進行優(yōu)化。

7.將冷風直接送往熱點。高功率密度的機柜最容易出現(xiàn)局部熱點，機房空調(diào)系統(tǒng)調(diào)節(jié)系統(tǒng)對此無能為力，除非空調(diào)系統(tǒng)大幅降低整個機房的溫度，而這樣做是非常不經(jīng)濟的。這時可以考慮采用熱點輔助制冷，比如將液體制冷劑通過管道輸送到熱點。

8.對溫度進行監(jiān)控。僅對機房整體溫度進行監(jiān)控是不夠的，還需要在機柜中安裝溫度傳感器，用來監(jiān)控機柜中是否有熱點。