何其振，劉鈞，王旭，葉菲菲（中國移動(dòng)通信集團(tuán)廣東有限公司，廣州 510640）

?

基于熱傳導(dǎo)技術(shù)的數(shù)據(jù)中心冷卻系統(tǒng)的研究與應(yīng)用

何其振，劉鈞，王旭，葉菲菲
（中國移動(dòng)通信集團(tuán)廣東有限公司，廣州 510640）

隨著近年來國內(nèi)外數(shù)據(jù)中心建設(shè)和運(yùn)營的蓬勃發(fā)展，數(shù)據(jù)中心能耗問題也日益突出，如何有效減少能源浪費(fèi)、增加能源使用效率成為數(shù)據(jù)中心節(jié)能減排工作重點(diǎn)。本文針對(duì)數(shù)據(jù)中心能耗占比較高的空調(diào)系統(tǒng)，提出了“液冷為主、風(fēng)冷為輔”的雙通道冷卻系統(tǒng)架構(gòu)，通過建立基于熱傳導(dǎo)技術(shù)的低熱阻高效率導(dǎo)熱通道，實(shí)現(xiàn)大部分熱量的高效傳導(dǎo)、自然冷卻，同時(shí)大幅減少制冷系統(tǒng)能耗。

數(shù)據(jù)中心；熱傳導(dǎo)；冷卻系統(tǒng)；節(jié)能減排

據(jù)工業(yè)和信息化部于2014年發(fā)布的《關(guān)于2011年以來我國數(shù)據(jù)中心規(guī)劃建設(shè)情況的通報(bào)》：255個(gè)在規(guī)劃建設(shè)的IDC的設(shè)計(jì)PUE平均為1.73，同時(shí)，據(jù)行業(yè)估計(jì)，美國的IDC行業(yè)耗費(fèi)了其國內(nèi)發(fā)電量的2%，中國的IDC行業(yè)耗費(fèi)了本國發(fā)電量的1.5%，是名副其實(shí)的“電老虎”。典型數(shù)據(jù)中心的制冷設(shè)備耗電量僅次于IT主設(shè)備耗電量，能耗占比達(dá)到37%，因此制冷設(shè)備節(jié)能研究是數(shù)據(jù)中心節(jié)能降耗的重要突破點(diǎn)［1］。

目前數(shù)據(jù)機(jī)房主要采用熱阻較大的空氣作為IT設(shè)備散熱的“媒介”，為了維持機(jī)房較低的環(huán)境溫度，例如20℃～25℃，參考《通信中心機(jī)房環(huán)境條件要求（YD/ T1821-2008）》，必須要求中央空調(diào)主機(jī)提供較低的冷凍水出水（7℃左右）和數(shù)據(jù)機(jī)房足夠的風(fēng)量，這導(dǎo)致了中央空調(diào)主機(jī)壓縮比增大，能耗增加；精密空調(diào)風(fēng)機(jī)風(fēng)量增加，能耗增加。另外，由于目前IT設(shè)備功率密度越來越高，尤其是超算中心近年來在國內(nèi)外興起，如何將熱量有效冷卻，避免散熱不均、局部高溫，已不是一味地降低機(jī)房整體溫度或無上限增加機(jī)房風(fēng)量可以有效解決了。與傳統(tǒng)“非接觸式”的風(fēng)冷方式相比，接觸式冷卻方式散熱密度更高、更節(jié)能、防噪音效果更好，已經(jīng)越來越受業(yè)界所關(guān)注，并開展卓有成效的研究和商用［2］。在2014年11月在美國路易斯安娜州舉行的全球超級(jí)計(jì)算大會(huì)（SC14）中，國外的SGI、CRAY、BULL、HP和國內(nèi)的曙光、聯(lián)想、華為等服務(wù)器集成商都在現(xiàn)場(chǎng)展出了各自接觸式供冷產(chǎn)品，其散熱效率、使用安全和維護(hù)方面的研究均取得實(shí)質(zhì)的進(jìn)展。

本研究項(xiàng)目在前期熱管水冷模塊的研究成果［3］基礎(chǔ)上，研究以“液冷為主、風(fēng)冷為輔”的雙通道冷卻系統(tǒng)架構(gòu)，建立低熱阻高效率的導(dǎo)熱通道，實(shí)現(xiàn)大部分熱量的高效傳導(dǎo)，同時(shí)大幅減少制冷系統(tǒng)能耗。

1 系統(tǒng)設(shè)計(jì)

1.1 設(shè)計(jì)思路

針對(duì)上述傳統(tǒng)空調(diào)系統(tǒng)的高能耗弊端，通過建立高效能、低熱阻的導(dǎo)熱通道，減少使用冷水機(jī)組和精密空調(diào)，達(dá)到降低制冷系統(tǒng)能耗的目的。其理論依據(jù)為傳熱學(xué)的傅里葉基礎(chǔ)定律：

Q=（ΔT）/R

其中，Q為熱流密度、ΔT為冷熱源溫差、R為通道熱阻。為了排走某一定量的發(fā)熱量Q，若致冷通道的熱阻越低，則需要的溫差就越小，即放松了對(duì)集熱媒介的溫度要求；當(dāng)溫度要求放松到一定程度時(shí)，即可建立發(fā)熱源與外界大氣的自然換熱通道、無需壓縮機(jī)來制備中溫冷水，實(shí)現(xiàn)致冷系統(tǒng)能耗降低。

圖1　雙通道冷卻系統(tǒng)設(shè)計(jì)思路

在具體實(shí)現(xiàn)上，即為“雙通道冷卻系統(tǒng)”方案（如圖1所示），一是建立“接觸式通道”：由熱管水冷模塊、板式換熱器、冷卻塔與雙循環(huán)水路組成，以自然溫差換熱的方式，高效、集中排走占服務(wù)器發(fā)熱量65%的CPU發(fā)熱量（不同配置的服務(wù)器該比例不同），全程自然換熱、無需壓縮機(jī)制冷；二是建立“非接觸式通道”：由傳統(tǒng)的行間空調(diào)、水冷前門/背板組成，排走服務(wù)器剩余發(fā)熱量，與傳統(tǒng)的致冷模式大體上一致。不過，由于“接觸式通道”帶走了集中發(fā)熱核心部件的發(fā)熱量、服務(wù)器內(nèi)部的熱島已經(jīng)被排除，機(jī)房環(huán)境溫度可以一定程度上提高（例如提高至30℃），故而該子系統(tǒng)可以提高冷凍水溫度（例如提高至15℃，相應(yīng)提高了冷水機(jī)組的能效比（或者采用高能效比的高溫冷水機(jī)組）。

1.2 接觸式冷卻系統(tǒng)架構(gòu)

接觸式冷卻系統(tǒng)原理如圖2所示，前后兩級(jí)水路通過板式換熱器隔離換熱。一次側(cè)水路內(nèi)循環(huán)系統(tǒng)上，水泵驅(qū)動(dòng)水流沿同程管路流動(dòng)、在機(jī)架內(nèi)吸收服務(wù)器（熱管水冷模塊）熱量，最終返回板式換熱器釋放（傳遞）熱量；二次側(cè)水路外循環(huán)系統(tǒng)上，水泵驅(qū)動(dòng)水流流動(dòng)，將板式換熱器吸收一次側(cè)傳遞過來的熱量在冷卻塔自然散發(fā)。在本系統(tǒng)中，板式換熱器與水泵皆為“1+1”冗余設(shè)計(jì)，實(shí)現(xiàn)主備故障切換的功能。

1.3 接觸式冷卻系統(tǒng)控制方案

由于內(nèi)外循環(huán)水的溫度、流速、分配均勻度等直接影響接觸式熱量傳導(dǎo)效能，因此高效可靠的控制方案至關(guān)重要，本研究設(shè)計(jì)控制邏輯如圖3所示。

圖2　接觸式冷卻系統(tǒng)結(jié)構(gòu)

圖3　接觸式冷卻系統(tǒng)控制邏輯

可實(shí)現(xiàn)關(guān)鍵功能如下。

（1）具有精確的內(nèi)循環(huán)水溫控制、流量自動(dòng)調(diào)節(jié)、水系統(tǒng)定壓裝置、自動(dòng)補(bǔ)液、智能監(jiān)控等功能。

（2）通過調(diào)節(jié)外循環(huán)水泵頻率，調(diào)節(jié)外循環(huán)水流量，來實(shí)現(xiàn)內(nèi)循環(huán)供水溫度的精確控制；溫控單元的內(nèi)循環(huán)出水溫度建議控制在30℃～45℃范圍內(nèi)，并保證機(jī)房內(nèi)水管、熱管水冷模塊等處不產(chǎn)生凝露。

（3）根據(jù)內(nèi)循環(huán)供回水壓差（即內(nèi)循環(huán)水泵進(jìn)出口壓差），來調(diào)節(jié)內(nèi)循環(huán)水泵頻率，內(nèi)循環(huán)保持定壓差運(yùn)行，確保每個(gè)服務(wù)器支路供水量。

（4）當(dāng)外循環(huán)水泵頻率達(dá)到最小值，內(nèi)循環(huán)供水溫度仍然偏低，則啟動(dòng)外循環(huán)旁通水閥，通過調(diào)節(jié)水閥開度來調(diào)節(jié)內(nèi)循環(huán)供水溫度。

（5）當(dāng)內(nèi)循環(huán)水泵頻率達(dá)到最小值，供回水壓差仍然偏大，則啟動(dòng)內(nèi)循環(huán)的壓差旁通閥，通過調(diào)節(jié)其開度使供回水壓差保持在正常范圍內(nèi)。

（6）具備內(nèi)外循環(huán)進(jìn)出水溫度檢測(cè)、流量檢測(cè)；內(nèi)循環(huán)每個(gè)液冷分配單元出水溫度/水流量檢測(cè)、水溫過高/過低、部件故障等告警功能和歷史記錄功能。

（7）具備來電自啟動(dòng)功能。

（8）具備漏水檢測(cè)和告警功能（線纜式漏水檢測(cè)系統(tǒng)）。

（9）具備遠(yuǎn)程監(jiān)控功能，標(biāo)準(zhǔn)RS485通信接口。

2 系統(tǒng)應(yīng)用

為了從系統(tǒng)層面驗(yàn)證本研究方案的可行性、節(jié)能性和可靠性，在廣州某數(shù)據(jù)中心搭建了系統(tǒng)應(yīng)用實(shí)驗(yàn)局，并持續(xù)開展了一年的測(cè)試工作。該實(shí)驗(yàn)局的雙通道冷卻系統(tǒng)由服務(wù)器熱管水冷模塊、內(nèi)循環(huán)純水傳導(dǎo)系統(tǒng)、外循環(huán)冷卻水散熱系統(tǒng)和智能監(jiān)控系統(tǒng)組成，具體配置清單如表1所示。

表1　實(shí)驗(yàn)局雙通道冷卻系統(tǒng)配置清單

3 測(cè)試及分析

圖4　室外干濕球溫度關(guān)系圖（2014年11月1日至2015年10月31日）

本部分測(cè)試以處于亞熱帶的廣州地區(qū)的氣候環(huán)境為背景，測(cè)試在一個(gè)年度中新型冷卻系統(tǒng)的整體運(yùn)行情況，重點(diǎn)考察系統(tǒng)可行性、可靠性。

3.1 室外干濕球溫度記錄

如圖4所示，本記錄統(tǒng)計(jì)了廣州地區(qū)2014年11月1日至2015年10月31日間的室外干濕球溫度情況，其中最高濕球溫度為29.93℃、最低為9.10℃。從分布比例來看，濕球溫度在21℃～28℃的天數(shù)占統(tǒng)計(jì)天數(shù)的58%，11℃～20℃的天數(shù)占比為33%，低于10℃或高于29℃的天數(shù)占比分別為3%和6%。

3.2 冷卻系統(tǒng)內(nèi)外循環(huán)水溫記錄

如圖5所示，從測(cè)試記錄可以得到：冷卻塔冷幅方面，冷卻塔出水溫度與室外濕球溫度保持1℃～5℃的差距，并在夏季測(cè)試期間，由于濕球溫度升高和IT設(shè)備擴(kuò)容（接近冷卻塔設(shè)計(jì)散熱量），冷輻最大達(dá)到5℃；板式換熱器溫差方面，內(nèi)循環(huán)入水和冷卻塔出水（外循環(huán)入水）保持0.5℃～3℃的換熱溫差；整體來看，內(nèi)循環(huán)入水和室外濕球溫度保持在2℃～8℃的差距，其中記錄最高內(nèi)循環(huán)入水溫度為34.6℃（對(duì)應(yīng)的濕球溫度為29.93℃，冷卻塔出水溫度31.1℃）。

根據(jù)文獻(xiàn)［3］測(cè)試結(jié)果，低于45℃的水流都可以用來供CPU接觸式致冷；而本部分測(cè)試所得內(nèi)循環(huán)入水最高溫度為34.6℃，滿足CPU接觸式致冷對(duì)水溫的要求。

3.3 系統(tǒng)整體效能

本研究結(jié)合市電主用+高壓直流備用的技術(shù)［4］，系統(tǒng)整體效能如圖6所示。

圖5　室外濕球溫度-冷卻塔出水溫度-內(nèi)循環(huán)入水溫度關(guān)系圖（2014年11月1日至2015年10月31日）

圖6　典型室外濕球溫度-內(nèi)循環(huán)入水溫度-CPU溫度-PUE關(guān)系圖

其中，根據(jù)不同室外濕球溫度（9.42℃～29.93℃），選取典型內(nèi)循環(huán)入水溫度和CPU溫度記錄。在濕球溫度9.42℃情況下，CPU溫度38℃；濕球溫度29.93℃情況下，CPU溫度54℃。CPU溫度和濕球溫度之間保持20℃～28℃的差距，其中當(dāng)濕球溫度較低時(shí)（9℃～12℃），差距較大（27℃～28℃）。正常測(cè)試期間（2014 年11月1日至2015年10月31日），PUE保持在1.1 ～1.2之間。

4 結(jié)論

本研究歷經(jīng)關(guān)鍵技術(shù)研發(fā)、整系統(tǒng)測(cè)試與應(yīng)用驗(yàn)證，得出以下結(jié)論：節(jié)省能耗，規(guī)?；瘧?yīng)用條件下PUE值可保持在1.2以下，相比傳統(tǒng)數(shù)據(jù)中心（據(jù)工信部發(fā)布：2011～2014年我國在建IDC的PUE平均值為1.73）能夠節(jié)省能耗30%以上；節(jié)約投資和運(yùn)維成本，可降低冷水機(jī)組65%以上容量需求（冷水機(jī)組只需用于排走35%以下的服務(wù)器剩余發(fā)熱量），大幅減少空調(diào)投資，降低運(yùn)維成本；提高資源利用率，消除了“熱島效應(yīng)”，單機(jī)架功率可提高至25 kW，比傳統(tǒng)數(shù)據(jù)中心可提高5～8倍服務(wù)器裝機(jī)容量（以傳統(tǒng)單機(jī)架3～5 kW算）；可“隨時(shí)隨地隨需”快速部署實(shí)施，具有全球普適性，其部署選址大幅降低了對(duì)外界環(huán)境溫度的依賴，尤其適用于模塊化、倉儲(chǔ)式機(jī)房的快速部署實(shí)施。

［1］ 申沛. 數(shù)據(jù)中心空調(diào)系統(tǒng)節(jié)能技術(shù)分析［J］. 上海節(jié)能，2015 （10）：555-558.

［2］ 數(shù)據(jù)中心技術(shù)研究組. 數(shù)據(jù)中心基礎(chǔ)設(shè)施規(guī)劃設(shè)計(jì)中的若干問題［M］. 北京：經(jīng)濟(jì)科學(xué)出版社，2015.

［3］ 林湧雙，丘文博. 數(shù)據(jù)中心節(jié)能致冷技術(shù)研究與試驗(yàn)［J］. 電信科學(xué)，2014（8）：106-111.

［4］ 王旭，李志鋒，等. 新型數(shù)據(jù)中心動(dòng)力系統(tǒng)的研究和應(yīng)用［J］.通信電源技術(shù)，2015（32）：55-59.

Research and development of IDC cooling system based on heat conduction technology

HE Qi-zhen， LIU Jun， WANG Xu， YE Fei-fei
（China Mobile Group Guangdong Co.， Ltd.， Guangzhou 510640， China）

With the recent domestic and international data center construction and booming operations， energy issues of data centers are also increasingly prominent. It has been the focus of data center energy conservation about how to effectively reduce energy waste， increase energy efficiency. This paper has proposed a mainly on liquid-cooled， supplemented by air-cooled dual-channel cooling system architecture for air conditioning systems， which consume a higher proportion of data center power. Based on the thermal conduction through the establishment of a low resistance high effi ciency thermal channel technology， we expect to achieve most of the heat effi cient conduction， natural cooling， while signifi cantly reducing the energy consumption of the refrigeration system.

IDC； heat conduction； cooling system； energy-saving emission reduction

TK01

A

1008-5599（2016）06-0021-05

2016-04-20

* 中國移動(dòng)集團(tuán)級(jí)一類科技創(chuàng)新成果，原成果名稱為《基于熱傳導(dǎo)技術(shù)的數(shù)據(jù)中心機(jī)房散熱系統(tǒng)》。