肖新文 鄭偉堅(jiān) 曾春利

（1.世圖茲空調(diào)技術(shù)服務(wù)（上海）有限公司 上海 201108；2.世圖茲空調(diào)技術(shù)服務(wù)（上海）有限公司廣州分公司 廣州 510610）

0 引言

產(chǎn)業(yè)、建筑及交通分別消耗全球三分之一左右的能源，主要溫室氣體碳排放也在這個(gè)比例，具體各國(guó)因發(fā)展差異存在不同[1]。碳中和主要目的是減少大氣圈中“黑碳”含量，實(shí)現(xiàn)綠色地球碳循環(huán)平衡，碳減排是實(shí)現(xiàn)碳中和的主要途徑之一[2]。碳減排主要包括節(jié)約能源和提高能效，作為能耗大戶，數(shù)據(jù)中心節(jié)能減排，提高制冷散熱系統(tǒng)效率對(duì)于實(shí)現(xiàn)碳中和具有積極意義。事實(shí)上，數(shù)據(jù)中心行業(yè)一直在節(jié)能減排上積極探索：氣流組織解決方案由普通上下送風(fēng)及行間水平送風(fēng)[3]、冷熱池通道封閉[4,5]向機(jī)柜級(jí)冷卻[6]發(fā)展；而制冷方式從機(jī)房精密空調(diào)[7]、冷卻背板[8]、空調(diào)箱及風(fēng)墻[9,10]向液冷[11,12]發(fā)展。直接接觸冷板式液冷可靠性及維護(hù)便利性均優(yōu)于其他液冷系統(tǒng)[13]，液冷輔助精密空調(diào)風(fēng)冷散熱系統(tǒng)的部分電能使用效率（partial power usage effectiveness，pPUE）值低且全國(guó)各地都適用[14]，若與動(dòng)態(tài)自然冷卻空調(diào)系統(tǒng)等高效風(fēng)冷散熱系統(tǒng)搭配則該散熱系統(tǒng)的pPUE 值將進(jìn)一步降低[15]，而且易于實(shí)現(xiàn)熱回收，具有良好的熱回收效益[16]，所以直接接觸冷板式液冷得到越來(lái)越多數(shù)據(jù)中心的青睞，液冷服務(wù)器的運(yùn)用越來(lái)越多。為了測(cè)試?yán)浒迨揭豪浞?wù)器的性能，作為液冷服務(wù)器的生產(chǎn)廠商建立相應(yīng)的性能測(cè)試臺(tái)成為一個(gè)亟需解決的課題。筆者曾參與某電腦廠的液冷性能測(cè)試臺(tái)的規(guī)劃設(shè)計(jì)及建設(shè)，目前該測(cè)試臺(tái)已經(jīng)通過(guò)驗(yàn)收，投入運(yùn)行且狀況良好，本文以此項(xiàng)目為例介紹冷板式液冷的系統(tǒng)設(shè)計(jì)。

1 液冷服務(wù)器液冷系統(tǒng)及液冷服務(wù)器性能測(cè)試臺(tái)散熱系統(tǒng)簡(jiǎn)述

1.1 液冷服務(wù)器液冷系統(tǒng)

目前數(shù)據(jù)中心采用的直接接觸冷板式液冷系統(tǒng)為二次側(cè)集中循環(huán)式系統(tǒng)，其架構(gòu)如圖1 所示，由一次側(cè)設(shè)備與二次側(cè)設(shè)備組成。一次側(cè)主要包括散熱設(shè)備（冷水機(jī)組、干冷器或者閉式冷卻塔）、循環(huán)泵及管路系統(tǒng)等輔件，二次側(cè)主要包括機(jī)柜級(jí)分集水器（通常垂直安裝）、服務(wù)器散熱冷板（服務(wù)器廠家配套提供）及管路等輔件。一次側(cè)及二次側(cè)的換熱在換熱模塊中進(jìn)行。

圖1 二次側(cè)集中循環(huán)直接接觸冷板式液冷系統(tǒng)架構(gòu)簡(jiǎn)圖Fig.1 The schematic diagram of the secondary side centralized pumping cold plate direct contact liquid cooling system

1.2 液冷服務(wù)器性能測(cè)試臺(tái)散熱系統(tǒng)

服務(wù)器的性能測(cè)試是通過(guò)模擬按照預(yù)定的規(guī)則對(duì)其訪問并提交服務(wù)請(qǐng)求，通過(guò)監(jiān)測(cè)并分析服務(wù)器實(shí)時(shí)的相關(guān)運(yùn)行數(shù)據(jù)，從而判定服務(wù)器的性能是否達(dá)到設(shè)計(jì)要求或者發(fā)現(xiàn)服務(wù)器的性能瓶頸，通常需要綜合硬件、操作系統(tǒng)及應(yīng)用程序等多方面來(lái)定位。服務(wù)器生產(chǎn)廠家通常關(guān)注諸如CPU 的計(jì)算能力、內(nèi)存的延時(shí)及速率、I/O 的讀寫能力及網(wǎng)絡(luò)的帶寬等硬件的性能指標(biāo)。為了準(zhǔn)確了解服務(wù)器的技術(shù)指標(biāo)，就需要在模擬的工作環(huán)境中進(jìn)行性能測(cè)試。直接接觸冷板式液冷服務(wù)器除了部分元器件風(fēng)冷散熱外，主要通過(guò)液冷冷卻系統(tǒng)散熱，故應(yīng)為測(cè)試臺(tái)設(shè)計(jì)符合實(shí)際運(yùn)行狀態(tài)的散熱系統(tǒng)。

2 系統(tǒng)設(shè)計(jì)

2.1 項(xiàng)目簡(jiǎn)述

該項(xiàng)目位于佛山順德，共14 個(gè)機(jī)柜，布置在液冷服務(wù)器生產(chǎn)車間的測(cè)試區(qū)開放空間。每個(gè)機(jī)柜可測(cè)試6 組服務(wù)器，合計(jì)可同時(shí)測(cè)試84 組服務(wù)器。通常，除冷板散熱外液冷服務(wù)器尚有約20%～35%的風(fēng)冷散熱量[17]，由于測(cè)試區(qū)配置了空調(diào)系統(tǒng)，且該空調(diào)系統(tǒng)涵蓋了液冷服務(wù)器的風(fēng)冷散熱負(fù)荷，故該性能測(cè)試臺(tái)僅需考慮液冷冷卻系統(tǒng)。

2.2 設(shè)計(jì)室外參數(shù)及負(fù)荷的確定

項(xiàng)目地點(diǎn)佛山除與廣州的球面距離相差為27km，海拔高差35m 外[18]，其他室外氣象參數(shù)差異不大，故參考如表1 所示的廣州室外氣象參數(shù)[19]作為系統(tǒng)設(shè)計(jì)及設(shè)備選型依據(jù)。每臺(tái)服務(wù)器芯片液冷散熱量為1091W，每組有4 臺(tái)服務(wù)器節(jié)點(diǎn)，84組服務(wù)器的合計(jì)散熱負(fù)荷為366.6kW。

表1 設(shè)計(jì)用室外氣象參數(shù)Table 1 Outdoor meteorological parameters for design

2.3 冷源選擇

冷板式液冷系統(tǒng)可以選擇冷水機(jī)組、干冷器及冷卻塔作為冷源[20]，表2詳細(xì)列出了風(fēng)冷冷水機(jī)組、干冷器及閉式冷卻塔3種冷源的性能對(duì)比。盡管風(fēng)冷冷水機(jī)組在數(shù)據(jù)中心有著廣泛應(yīng)用，且在低溫啟動(dòng)、全年制冷、自然冷卻及蒸發(fā)冷卻技術(shù)上取得了長(zhǎng)足的發(fā)展[21]，但從表2可以看出，除可提供較低的供液溫度外，風(fēng)冷冷水機(jī)組的其他性能均差，單純液冷系統(tǒng)不宜選取該冷源方式，而水冷冷水機(jī)組系統(tǒng)復(fù)雜，該項(xiàng)目冷量負(fù)載不大，水冷冷水機(jī)組亦無(wú)性能的優(yōu)勢(shì)，也不合適。閉式冷卻塔的綜合性能優(yōu)良，佛山地處華南地區(qū)，水資源十分豐富，故本項(xiàng)目采用閉式冷卻塔作為冷源。

表2 3種冷源性能對(duì)比Table 2 The performance comparison of three cold sources

2.4 循環(huán)冷卻液

佛山順德位于北緯22.4°，在廣州市的南部，歷年極端溫度不低于0℃，故一次側(cè)循環(huán)水中不需要加防凍劑，但是水質(zhì)應(yīng)符合《數(shù)據(jù)通信設(shè)備中心液體冷卻指南》第5.1.1.4節(jié)的要求[23]，本例采用純凈水。若項(xiàng)目地址的極端溫度低于0℃，則應(yīng)在一次側(cè)循環(huán)水中加入對(duì)應(yīng)濃度的防凍劑。液冷服務(wù)器在全球各地運(yùn)輸，為防止運(yùn)輸過(guò)程中殘留在服務(wù)器中的冷卻液結(jié)冰漲管，依據(jù)液冷服務(wù)器產(chǎn)品要求，二次側(cè)采用預(yù)混合有機(jī)酸型冷卻液PG25，該冷卻液既可實(shí)現(xiàn)運(yùn)輸途中的防凍又可確保運(yùn)行期間的防腐，保證系統(tǒng)長(zhǎng)期穩(wěn)定運(yùn)行。

2.5 大溫差散熱

對(duì)于水系統(tǒng)而言，合適的供回水（液）溫差有利于降低設(shè)備初投資及系統(tǒng)運(yùn)行費(fèi)用，大溫差技術(shù)是一項(xiàng)具有明顯經(jīng)濟(jì)效益的技術(shù)措施[24]。對(duì)于散熱冷板而言，大溫差措施的技術(shù)瓶頸在于其允許的最高進(jìn)口溫度及最小流量。本例服務(wù)器冷板的設(shè)計(jì)入口溫度為40℃，確保二次側(cè)14個(gè)機(jī)柜的最小流量為21.9m3/h，根據(jù)二次側(cè)散熱負(fù)載依據(jù)式（1）可計(jì)算出二次側(cè)冷板可以承受的溫差達(dá)15℃。

式中，Qs為散熱量，kW；c為冷卻液的比熱容，kJ/（kg·℃）；m為冷卻液的質(zhì)量流量，kg/s；Δt為冷卻液進(jìn)出冷板的溫差，℃。

實(shí)現(xiàn)一次側(cè)冷卻塔的大溫差可以從提高回水溫度及縮小逼近度兩方面著手，達(dá)到高溫低流、使冷卻塔更熱的目的。提高回水溫度，加大進(jìn)出水溫差，冷卻系統(tǒng)的綜合效率將提高[25]。在一定范圍內(nèi)，溫差越大則冷卻塔的冷卻能力越大，既可降低冷卻塔及管路的初投資，又可以節(jié)省循環(huán)水泵的運(yùn)行費(fèi)用；當(dāng)然溫差也不能無(wú)限加大，過(guò)小的流量也會(huì)影響換熱效率反而降低散熱量。若過(guò)分縮小逼近度，降低出水溫度而加大溫差則會(huì)造成冷卻塔尺寸加大、風(fēng)機(jī)功耗增加，初投資與運(yùn)行費(fèi)用均會(huì)提高[26]，故在出水溫度及散熱量滿足使用的前提下盡可能增大逼近度。而且，隨著逼近度的增大，相同設(shè)計(jì)冷卻能力的冷卻溫差隨之增大，但閉式冷卻塔通常無(wú)統(tǒng)一性能曲線組，需要生產(chǎn)廠商通過(guò)試驗(yàn)得出[27]。故閉式冷卻塔的逼近度及溫差特性因廠家而異。

溫差加大，系統(tǒng)流量降低，設(shè)備及管路系統(tǒng)的壓降都降低，有利于循環(huán)泵的節(jié)能，但一、二次側(cè)實(shí)現(xiàn)大溫差運(yùn)行均與換熱模塊中板式換熱器的性能密切相關(guān)。板式換熱器的傳熱計(jì)算式如式（2）所示：

式中，Qc為傳熱量，kW；K為傳熱系數(shù)，kW/(m2·℃)；F為傳熱面積，m2；Δtm為換熱平均溫差，其計(jì)算式如式（3）所示：

式中，Δtmax為換熱面兩端溫差的大值，℃；Δtmin為換熱面兩端溫差的小值，℃。在工程上，當(dāng)時(shí)，可以直接采用式（4）的算術(shù)平均溫差替代。

由式（3）及式（4）可知，增大換熱流體的溫差，換熱平均溫差Δtm有多種變化可能，且此時(shí)流量變小，傳熱系數(shù)K值變小，由式（2）可知傳熱量也會(huì)發(fā)生變化，故大溫差設(shè)計(jì)需要進(jìn)一步校核板式換熱器的換熱量，確保換熱量滿足設(shè)計(jì)要求。理論上，板式換熱器的傳熱溫差Δtm可以達(dá)到1℃，但是過(guò)小的傳熱溫差會(huì)造成板換配置過(guò)大，尺寸及初投資均會(huì)增加。

依據(jù)板式換熱器及閉式冷卻塔的產(chǎn)品性能，本項(xiàng)目閉式冷卻塔的設(shè)計(jì)逼近度為7℃，出水溫度為35℃，板式換熱器換熱溫差為Δtm為6.2℃，一次側(cè)出水溫度為47.5℃，一次側(cè)進(jìn)出水溫差為12.5℃。本項(xiàng)目的散熱溫差流程圖如圖2所示，通過(guò)擴(kuò)大冷卻塔的逼近度、提高冷卻塔的出水溫度、增大板式換熱器的傳熱溫差等一系列的技術(shù)措施實(shí)現(xiàn)了一、二側(cè)的大溫差設(shè)計(jì)。

圖2 散熱溫差流程圖Fig.2 The flow chart of the heat dissipation temperature differences

2.6 設(shè)備選型

在數(shù)據(jù)中心工程上冷卻塔應(yīng)按照極端溫度進(jìn)行選型[28]，但性能測(cè)試臺(tái)并不需要時(shí)刻保持滿載，且不需要全年8760h 不間斷連續(xù)運(yùn)行，但應(yīng)考慮濕熱空氣回流需在當(dāng)?shù)叵募臼彝庠O(shè)計(jì)濕球溫度基礎(chǔ)上適當(dāng)增加0.2～0.5℃的修正值[29]，本項(xiàng)目按照修正濕球溫度28℃進(jìn)行選型。本項(xiàng)目并未設(shè)置備用機(jī)組，但是一次側(cè)循環(huán)泵及二次循環(huán)泵（內(nèi)置于換熱模塊中）均采用一用一備的設(shè)計(jì)以提高系統(tǒng)可靠性，該測(cè)試臺(tái)的液冷系統(tǒng)主要設(shè)備如表3 所示。液冷散熱系統(tǒng)的年pPUE值可以按照式（5）計(jì)算得出[30,31]：

式中，ELC為液冷系統(tǒng)全年總能耗；EIT為IT設(shè)備全年總能耗；PLC為某一室外工況點(diǎn)液冷系統(tǒng)的總功率，kW；PIT為某一室外工況點(diǎn)IT設(shè)備的總功率，kW；Δt為某一室外工況點(diǎn)的全年小時(shí)數(shù)，h。依據(jù)式（5）可將設(shè)計(jì)工況點(diǎn)的滿負(fù)載pPUEd值簡(jiǎn)化成式（6）進(jìn)行計(jì)算：

表3 液冷系統(tǒng)主要設(shè)備表Table 3 The main equipment list of the liquid cooling system

換熱模塊作為該系統(tǒng)的核心部件，如圖3 所示，其主要由板式換熱器、一次側(cè)電動(dòng)比例三通閥、二次側(cè)循環(huán)泵、膨脹罐、安全閥、進(jìn)出水管專用接頭、控制器及其面板等組成，通過(guò)對(duì)各個(gè)部件的精確控制確保二次側(cè)出液溫度恒定。

圖3 換熱模塊機(jī)組結(jié)構(gòu)示意圖Fig.3 the structural diagram of the heat exchange module

2.7 系統(tǒng)流程

該液冷系統(tǒng)流程示意圖如圖4 所示，閉式冷卻塔與換熱模塊均只有1 臺(tái)設(shè)備，管路系統(tǒng)與設(shè)備對(duì)應(yīng)，無(wú)需配置雙管路或者環(huán)路系統(tǒng)。一次側(cè)只有1臺(tái)換熱末端無(wú)需考慮同異程問題，而二次側(cè)有多個(gè)末端，且分布生產(chǎn)車間的各個(gè)不同區(qū)域，為了確保各個(gè)末端設(shè)計(jì)水阻力基本一致，采用同程系統(tǒng)設(shè)計(jì)。一次側(cè)管路采用不銹鋼管，由于二次側(cè)管路布置在已經(jīng)開展生產(chǎn)的廠區(qū)內(nèi)部，為了方便施工且盡量降低連接漏點(diǎn)風(fēng)險(xiǎn)，采用熱熔PPR 管。

圖4 液冷系統(tǒng)流程示意圖Fig.4 The principle diagram of the liquid cooling system

3 使用要點(diǎn)與設(shè)計(jì)反思

（1）由于系統(tǒng)測(cè)試后部分冷卻液會(huì)殘留在服務(wù)器內(nèi)，二次側(cè)系統(tǒng)的冷卻液會(huì)逐漸變少，應(yīng)通過(guò)換熱模塊自帶的控制系統(tǒng)實(shí)時(shí)監(jiān)測(cè)，及時(shí)補(bǔ)液。

（2）該液冷系統(tǒng)存在經(jīng)常開啟和關(guān)閉的間斷運(yùn)行情況，測(cè)試前必須確保換熱模塊及一次側(cè)散熱系統(tǒng)開啟且已正常運(yùn)行。

（3）長(zhǎng)期停機(jī)不用期間仍應(yīng)對(duì)冷卻液進(jìn)行每年不少于兩次的質(zhì)量監(jiān)測(cè)確保其成分符合要求。

（4）本例中不具備快速接頭插拔次數(shù)的自動(dòng)計(jì)數(shù)功能，須測(cè)試人員手動(dòng)計(jì)數(shù)或者按照每天平均測(cè)試量估算，后續(xù)測(cè)試臺(tái)項(xiàng)目應(yīng)自動(dòng)統(tǒng)計(jì)插拔次數(shù)以監(jiān)控其使用周期及壽命。

（5）本例中的冷卻塔及換熱器均采用已指定的業(yè)內(nèi)知名品牌廠家數(shù)據(jù)作為設(shè)計(jì)依據(jù)，除考慮為應(yīng)對(duì)將來(lái)可能增加的負(fù)載，冷卻塔稍留設(shè)計(jì)余量外，并未另行考慮設(shè)計(jì)余量。事實(shí)上，不同廠家的計(jì)算數(shù)據(jù)存在差異，為降低計(jì)算數(shù)據(jù)差異對(duì)于設(shè)備招標(biāo)選型的影響，宜考慮10%～20%左右的安全余量[32]。

（6）本例以冷板測(cè)試工況的入口溫度與最小流量確定二次側(cè)的溫差，充分利用換熱模塊中板式換熱器的換熱能力確定一次側(cè)的溫差，實(shí)現(xiàn)了液冷系統(tǒng)的大溫差節(jié)能設(shè)計(jì)。對(duì)液冷系統(tǒng)的大溫差技術(shù)進(jìn)行綜合效益評(píng)價(jià)，探尋不同規(guī)模液冷項(xiàng)目的最佳溫差分配方案將是接下來(lái)研究的重要課題。

4 結(jié)語(yǔ)

液冷作為工業(yè)和信息化部、國(guó)家機(jī)關(guān)事務(wù)管理局及國(guó)家能源局三部委倡導(dǎo)推廣的新興綠色技術(shù)產(chǎn)品[33]，將在數(shù)據(jù)中心行業(yè)取得長(zhǎng)足的發(fā)展，但液冷項(xiàng)目的設(shè)計(jì)應(yīng)用仍然有諸多問題需要進(jìn)一步深入研究及實(shí)踐。盡管液冷服務(wù)器性能測(cè)試臺(tái)液冷系統(tǒng)與數(shù)據(jù)中心的具體應(yīng)用略有差異，但系統(tǒng)設(shè)計(jì)原則基本一致。筆者以液冷服務(wù)器性能測(cè)試臺(tái)項(xiàng)目為例分享相關(guān)經(jīng)驗(yàn)，以期取得拋磚引玉的作用。