黃冬梅， 楊 超（北京瑞思博創(chuàng)科技有限公司，北京 100036）

計算流體動力學(xué)在數(shù)據(jù)中心的應(yīng)用

黃冬梅， 楊 超
（北京瑞思博創(chuàng)科技有限公司，北京 100036）

介紹了數(shù)據(jù)中心計算流體動力學(xué)模型，闡述了計算流體動力學(xué)在數(shù)據(jù)中心整個生命周期的各種應(yīng)用。指出計算流體動力學(xué)能準(zhǔn)確預(yù)測數(shù)據(jù)中心的氣流組織及溫度分布情況，應(yīng)用于數(shù)據(jù)中心設(shè)計、節(jié)能改造、運維以及新技術(shù)研究等方面，可有效提升數(shù)據(jù)中心容量使用率，降低能耗和電源使用效率。

數(shù)據(jù)中心；氣流組織；計算流體動力學(xué)；節(jié)能改造

黃冬梅（1968-），女，高級工程師，從事計算流體動力學(xué)方面的工作。

0 引 言

互聯(lián)網(wǎng)、大數(shù)據(jù)和云計算的快速發(fā)展，對IT設(shè)備的計算能力和存儲能力提出了越來越明確的需求，同時卻要求安裝這些IT設(shè)備的數(shù)據(jù)中心具有高可用性、高可靠性和低能耗，造成IT設(shè)備的功率密度越來越高，消耗的電能越來越多。傳統(tǒng)的機房已經(jīng)不能夠應(yīng)對設(shè)備功耗的不斷上升，即使升級了機房，局部熱點仍然可能存在，因為設(shè)備溫度過高而導(dǎo)致宕機甚至燒毀的事故幾率增大。計算流體動力學(xué)（Computational Fluid Dynamics，CFD）作為一種成熟的計算機仿真技術(shù)，可準(zhǔn)確預(yù)測數(shù)據(jù)中心的氣流組織及溫度分布情況，被大量應(yīng)用于數(shù)據(jù)中心設(shè)計、節(jié)能改造、運維以及新技術(shù)研究等方面，可有效提升數(shù)據(jù)中心容量使用率，提高冷卻效率，降低能耗和電源使用效率（Power Usage Effectiveness，PUE）。

1 數(shù)據(jù)中心CFD模型

1.1 數(shù)據(jù)中心CFD軟件

CFD軟件分為研究型通用軟件和行業(yè)專用軟件，前者要求使用人員有很強的計算流體力學(xué)專業(yè)背景，后者則易于操作，便于數(shù)據(jù)中心設(shè)計人員和運維人員使用，對象為數(shù)據(jù)中心構(gòu)架工程師、暖通工程師、應(yīng)用工程師和運維工程師等。在現(xiàn)代數(shù)據(jù)中心行業(yè)中，商業(yè)化數(shù)據(jù)中心專用CFD軟件可解決數(shù)據(jù)中心氣流組織問題。數(shù)據(jù)中心CFD軟件采用有限體積法對數(shù)據(jù)中心氣流組織及傳熱進行模擬分析，獲得數(shù)據(jù)中心內(nèi)部的溫度場、流速場、壓力場和濕度場的分布情況及IT設(shè)備工作時的入口溫度、機柜內(nèi)部氣流狀況、機柜冷卻指數(shù)（RCI）、空調(diào)的送風(fēng)溫度和回風(fēng)溫度、空調(diào)利用率、房間內(nèi)部氣流流線圖、房間能效、機柜效能和PUE值等仿真結(jié)果。利用CFD軟件，能夠?qū)C房內(nèi)氣流組織進行優(yōu)化，預(yù)防氣流短路、熱空氣回流等可能引起能源浪費或局部熱點的情況。典型的氣流短路如圖1所示。典型的機柜出風(fēng)口熱風(fēng)電流如圖2所示。

1.2 定義數(shù)據(jù)中心CFD模型

一般CFD軟件的模擬流程為前處理、求解、后處理。

圖1 典型的氣流短路

圖2 典型的機柜出風(fēng)口熱風(fēng)回流

前處理需要定義所求問題的計算域，建立模型，劃分網(wǎng)格及網(wǎng)格獨立測試，定義流體屬性、材料屬性，設(shè)定邊界條件，選擇湍流模型及參數(shù)，瞬態(tài)問題還需指定初始條件。

求解是用數(shù)值求解方案求解結(jié)果的過程。常用的求解方案包括有限差分、有限元、譜方法和有限體積法，主要差別在于流動變量被近似的方式及相應(yīng)的離散化過程，目前CFD軟件廣泛采用有限體積法。

后處理是為了有效觀察和分析流動傳熱計算結(jié)果，CFD軟件配備后處理器，采用圖形、動態(tài)的方法直觀觀察流動效果及計算結(jié)果。

目前商用化的數(shù)據(jù)中心專用CFD軟件，已經(jīng)將復(fù)雜的CFD過程無縫集成，整個過程在一個操作界面中完成，操作簡單。

前處理建模的整個過程簡單，利用內(nèi)置的數(shù)據(jù)中心基礎(chǔ)設(shè)置模型庫，可快速構(gòu)建一個完整的數(shù)據(jù)中心三維模型，依據(jù)實際情況修改預(yù)設(shè)的三維模型物理空間參數(shù)（如建筑結(jié)構(gòu)、機柜布局、高架地板、地板格柵、吊頂及回風(fēng)口、空調(diào)等）和設(shè)備屬性（如機柜（服務(wù)器）的發(fā)熱功率、空調(diào)的制冷參數(shù)、地板格柵的開孔率等）。

通過模型庫搭建的兩個三維數(shù)據(jù)中心模型如圖3所示。

圖3 數(shù)據(jù)中心三維模型

空調(diào)、機柜屬性參數(shù)設(shè)置如圖4、圖5所示。

圖4 空調(diào)屬性參數(shù)設(shè)置

求解將采用內(nèi)置的數(shù)據(jù)中心專用的求解器，只需在操作界面中點擊求解按鈕。后處理更是采用內(nèi)置的按鈕命令，直接顯示所需的各種處理結(jié)果。因此，現(xiàn)代數(shù)據(jù)中心專用CFD軟件，將復(fù)雜問題用直觀形象的方式描述出來，達(dá)到了優(yōu)化數(shù)據(jù)中心冷卻性能的目的。

圖5 機柜屬性參數(shù)設(shè)置

1.3 確定計算結(jié)果可用

CFD軟件作為計算機仿真工具，對計算結(jié)果是否可用還需要一定的判斷。一般，要確定三維模型是否正確，如物理空間參數(shù)和設(shè)備屬性是否輸入正確，能否切實反映實際的物理模型。數(shù)據(jù)中心人員從模型上基本可以看出物理空間參數(shù)是否正確，通過規(guī)格書或?qū)嶋H運行參數(shù)獲知輸入的設(shè)備屬性是否正確，但要保證仿真結(jié)果的準(zhǔn)確性，更重要的是計算結(jié)果必須收斂。仿真結(jié)果往往需要通過很多次的迭代計算，在軟件計算過程中會設(shè)置計算的監(jiān)控點以及計算的殘差來幫助使用者判斷，只有在系統(tǒng)達(dá)到指定殘差精度或迭代步數(shù)時迭代才結(jié)束。CFD計算殘差如圖6所示，可見計算殘差達(dá)1。

圖6 CFD計算殘差

判斷仿真結(jié)果是否收斂的唯一標(biāo)準(zhǔn)是模型在物理上是否收斂，即穩(wěn)態(tài)仿真時監(jiān)控點迭代次數(shù)的變化波動非常小，近似為直線。空調(diào)送回風(fēng)溫度監(jiān)控如圖7所示，可見溫度監(jiān)控平穩(wěn)。

1.4 計算結(jié)果展示

后處理的計算結(jié)果展示，幫助使用者了解數(shù)據(jù)中心是否存在熱點問題、速度分布大小、氣流組織的分布等，以及用數(shù)據(jù)報表的形式描述機房的狀況。查看計算結(jié)果的方式有切面圖、矢量圖、流線圖、云圖、動畫、視頻漫游以及各種冷卻指數(shù)數(shù)據(jù)。

機柜底部溫度云圖如圖8所示，可以看出冷熱通道的分析是否合理。

圖7 空調(diào)送回風(fēng)溫度監(jiān)控

圖8 機柜底部溫度云圖

地板格柵氣流流線圖如圖9所示，從箭頭的方向能夠看出氣流流動的方向以及是否存在氣流短路。

圖9 地板格柵氣流流線圖

機柜溫度分布如圖10所示，可顯示哪些機柜存在過熱問題，以便快速發(fā)現(xiàn)問題所在位置。

機柜入口溫度截面圖如圖11所示，顯示入口所有位置的溫度值，問題定位更加精準(zhǔn)，有別于傳統(tǒng)點對點的溫度測試。

數(shù)據(jù)中心的溫度云圖如圖12所示，可顯示溫度在三維空間的分布狀況。

圖10 機柜溫度分布

圖11 機柜入口溫度截面圖

圖12 溫度云圖

高架地板流量分布如圖13所示，可用柱坐標(biāo)的方式直觀顯示流量分布。

另外，數(shù)據(jù)報表對整個數(shù)據(jù)中心進行數(shù)據(jù)統(tǒng)計，包括設(shè)備數(shù)量、負(fù)載、冷卻狀況（空調(diào)送回風(fēng)指數(shù)、機柜冷卻指數(shù)RCI等）。

圖13 高架地板流量分布

2 CFD在數(shù)據(jù)中心的應(yīng)用

2.1 數(shù)據(jù)中心設(shè)計中CFD的功效

優(yōu)化數(shù)據(jù)中心冷卻性能是一項非常具有挑戰(zhàn)性的任務(wù)，數(shù)據(jù)中心的設(shè)計一般都會有多個方案，而最后選擇一個最佳方案。有些因素影響數(shù)據(jù)中心氣流分布和冷卻性能，實際測量和現(xiàn)場測試不僅費時、費力、費錢，而且有時風(fēng)險很大，甚至根本不可能。如空調(diào)失效測試，新機房設(shè)計階段根本無機房可測。CFD模擬可在較短的時間內(nèi)進行各種方案和配置的試驗，發(fā)現(xiàn)是否存在氣流短路、熱風(fēng)回流，以便找到可行的方案，并用各種直觀的方式展示整個數(shù)據(jù)中心內(nèi)的溫度分布、空氣速度和壓力分布。

在設(shè)計圖紙階段，預(yù)測數(shù)據(jù)中心的氣流組織分布是否合理，采用CFD軟件模擬是唯一的途徑。CFD軟件能夠幫助數(shù)據(jù)中心設(shè)計師、咨詢顧問和數(shù)據(jù)中心管理者估算出所提方案的性能，優(yōu)化數(shù)據(jù)中心冷卻性能。

空調(diào)在不同送風(fēng)溫度下機柜進口溫度的對比如圖14所示。由圖14可見，送風(fēng)溫度提高后熱點的分布狀況。

不同空調(diào)布局下機柜最高入口溫度分布如圖15所示。由圖15可見，單側(cè)空調(diào)送風(fēng)方案雖然可以多放機柜，但機柜存在過溫的風(fēng)險。

2.2 數(shù)據(jù)中心節(jié)能改造

數(shù)據(jù)中心的使用壽命通常不少于10 a，但在它的生命周期中隨著IT設(shè)備的不斷更新?lián)Q代，設(shè)備部署與設(shè)計預(yù)期就會出現(xiàn)很大差別。由于空間、冷卻和電力等的碎片化，無法向數(shù)據(jù)中心添加新的IT設(shè)備，即損失了數(shù)據(jù)中心的容量。數(shù)據(jù)中心冷卻是限制數(shù)據(jù)中心容量提高的主要因素，盲目增加空調(diào)總制冷量或降低空調(diào)溫度并不能解決所有設(shè)備過熱問題，反而導(dǎo)致空調(diào)低效運行。

圖14 空調(diào)在不同送風(fēng)溫度下機柜進口溫度的對比

圖15 不同空調(diào)布局下機柜最高溫度分布

實踐表明，很多數(shù)據(jù)中心空調(diào)總制冷量遠(yuǎn)遠(yuǎn)大于該機房所需求的制冷量，但仍存在部分設(shè)備的過溫，根本原因是設(shè)備布置引起的氣流組織不合理，如熱風(fēng)回流、氣流短路等，導(dǎo)致了局部熱點。為了消除這種過熱，只好降低機房的設(shè)定溫度，導(dǎo)致了部分空調(diào)的過度工作，制冷能耗居高。國際組織Uptime指出，由于數(shù)據(jù)中心機房內(nèi)氣流不適當(dāng)，用于冷卻的冷空氣60%都浪費了；數(shù)據(jù)中心的過度冷卻是實際需求的2倍，目前多數(shù)機房存在過度冷卻問題，相應(yīng)的機房空調(diào)機組耗能也比設(shè)計功率增加耗電50%以上，造成機房高額的運行費用。在美國，3年的純能源成本消耗已經(jīng)等同于設(shè)備購置成本。在歐洲，3年的純能源成本消耗甚至是設(shè)備購置成本的2倍。

采用CFD模擬分析數(shù)據(jù)中心熱點產(chǎn)生的位置及原因，提出有針對性的解決方案，消除局部熱點，避免了局部過冷，提升了制冷效率。

CFD在數(shù)據(jù)中心節(jié)能改造時具體流程如下：

（1）收集和測量現(xiàn)有數(shù)據(jù)中心運行數(shù)據(jù)，建立數(shù)據(jù)中心基礎(chǔ)設(shè)施三維模型，并進行仿真分析。

（2）通過現(xiàn)場的測試數(shù)據(jù)，如溫度、壓力、流量、速度等，與仿真數(shù)據(jù)進行比對，標(biāo)定仿真模型，修改某些不準(zhǔn)確的輸入?yún)?shù)。

（3）依據(jù)氣流組織狀況提出改造建議和方案，綜合預(yù)算、限制條件等確定方案。

（4）改造后，進行測試比對驗收節(jié)能狀況。

目前機房改造常用的措施有：依據(jù)設(shè)備功率密度分區(qū)部署設(shè)備，如高密區(qū)、低密區(qū)等，采用行間空調(diào)制冷、普通精密空調(diào)送風(fēng)或其他類型送風(fēng)形式；封閉冷或熱通道，隔離冷熱氣流；增加機柜盲板，避免冷卻氣體浪費及熱氣回流；采用毛刷減少導(dǎo)線槽的漏風(fēng)量等。發(fā)熱量大的機柜需要單獨送風(fēng)，如采用主動式通風(fēng)地板，提升空調(diào)送回風(fēng)溫度和制冷效率，增加高架地板高度，減少下部障礙物，減少風(fēng)機的工作功率等。

2.3 數(shù)據(jù)中心運行維護

數(shù)據(jù)中心運行維護過程中，IT服務(wù)人員往往依據(jù)空間和電力來隨意部署設(shè)備，而忽視了制冷是否足夠。因此，強烈建議在設(shè)備變量前采用CFD對氣流組織進行預(yù)測，確認(rèn)可行后再去實際安裝設(shè)備。

部署設(shè)備時CFD軟件會提示當(dāng)前機柜空間、電力、冷卻、流量等參數(shù)是否滿足要求。通過CFD軟件持續(xù)更新數(shù)據(jù)中心的三維模型，如IT設(shè)備的安裝或更換，導(dǎo)入實時的數(shù)據(jù)中心電力等數(shù)據(jù)，準(zhǔn)確反映數(shù)據(jù)中心氣流組織狀況。

通過監(jiān)測的數(shù)據(jù)，分析當(dāng)前數(shù)據(jù)中心可能存在的問題，提前做好計劃，提升數(shù)據(jù)中心容量使用率，避免隨意部署設(shè)備導(dǎo)致的氣流組織問題。IT設(shè)備維護人員可根據(jù)分析人員得出的結(jié)論，及時維修設(shè)備故障，調(diào)整通風(fēng)地板通風(fēng)率、空調(diào)溫度設(shè)置等，提升能源使用效率。

2.4 空調(diào)失效模擬

空調(diào)是數(shù)據(jù)中心制冷系統(tǒng)重要的單元，一旦空調(diào)失效，會導(dǎo)致機房溫度迅速上升，如不能及時恢復(fù)將會導(dǎo)致設(shè)備宕機，使業(yè)務(wù)受到重大影響或中斷。CFD分析各種空調(diào)冗余搭配情況下數(shù)據(jù)中心的氣流組織和溫度情況，也可以分析某些極端情況，如空調(diào)部分失效或全部失效造成的制冷量不足，機房溫度隨時間上升的趨勢。

2.5 新技術(shù)研究

數(shù)據(jù)中心新技術(shù)可以通過CFD軟件進行研發(fā)預(yù)測。免費冷卻（自然冷卻）是一種在室外溫度比較低時，通過相應(yīng)的技術(shù)手段將室外冷源引入建筑內(nèi)將熱量帶走，以達(dá)到降溫目的的方法。目前免費冷卻主要有兩種方式，一類是空氣側(cè)，引入室外冷空氣，經(jīng)過過濾帶入室內(nèi)，對設(shè)備進行散熱；另一類是水側(cè)，制冷劑不經(jīng)過壓縮機直接循環(huán)。

Fackbook免費制冷氣流組織如圖16所示。通過CFD可以考察該種設(shè)計方案是否可行，特別是冷風(fēng)和熱回風(fēng)混合后的氣流溫度是否均勻；熱風(fēng)是否可以流暢地排除。

圖16 Fackbook免費制冷氣流組織

某IT公司用CFD研究創(chuàng)新方案的可行性。將機柜呈圓布局，中間放置煙囪，這樣熱風(fēng)通過該煙囪形成自然對流，從而省掉空調(diào)、風(fēng)扇，實現(xiàn)PUE為1.0的效果。

3 結(jié) 語

CFD軟件是強大的氣流組織仿真工具，通過模擬為數(shù)據(jù)中心氣流組織管理提供了科學(xué)依據(jù)，可以在軟件中模擬各種不同方案，能夠在設(shè)計階段進行合理的氣流組織優(yōu)化，并對先進的技術(shù)進行研究，在運維過程中有效降低能源消耗和運維成本，在數(shù)據(jù)中心的整個生命周期的不同階段發(fā)揮重要的作用，因而是設(shè)計綠色數(shù)據(jù)中心的必備工具。

［1］ 鐘景華.中國數(shù)據(jù)中心技術(shù)指針［M］.北京：機械工業(yè)出版社，2014.

［2］ 王福軍.計算流體動力學(xué)分析-CFD軟件原理與應(yīng)用［M］.北京：清華大學(xué)出版社，2004.

［3］ 楊國榮.數(shù)據(jù)通信設(shè)備中心研究［M］.2版.北京：中國建筑工業(yè)出版社，2010.

［4］ 袁竟乘.IDC機房節(jié)能技術(shù)探討［J］.電子世界，2012（12）：11-12.

App lication of Computational Fluid Dynam ics in Data Center

HUANG Dongmei， YANG Chao
（Beijing Rainspur Technology Co.，Ltd.，Beijing 100036，China）

This paper introduced themodel of computational fluid dynam ics（CFD）in data center，and elaborated the application of CFD during the whole lifecycle of data center.It is pointed out that the CFD is used in the design，energy-saving reconstruction，operation and maintenance，new technology research in the data center.It can accurately predict the airflow and temperature distribution of data center，in order to effectively improve the capacity utilization and reduce the energy consumption and power usage effectiveness.

data center；airflow；computational fluid dynam ics（CFD）；energy-saving upgrading

TU 831

B

1674-8417（2015）09-0006-06

2015 09 23

楊 超（1981-），男，高級工程師，從事數(shù)據(jù)中心暖通及氣流組織計算流體動力學(xué)仿真分析方面的工作。