韓 冰

（吉林吉大通信設(shè)計(jì)院股份有限公司，吉林 長(zhǎng)春 130012）

0 引 言

算力網(wǎng)絡(luò)（Computing Force Network，CFN）是以算為中心、網(wǎng)為根基，通過網(wǎng)、云、數(shù)、智、安、邊、端、鏈等深度融合提供一體化服務(wù)的新型信息基礎(chǔ)設(shè)施[1]。算力網(wǎng)絡(luò)提出后，對(duì)新基建的要求越來越高，其中對(duì)數(shù)據(jù)中心的基礎(chǔ)設(shè)施從單機(jī)柜功率密度、安全可靠性、綠色低碳等方面提出了更高的要求。算力網(wǎng)絡(luò)發(fā)展的業(yè)務(wù)需求對(duì)于已建成并啟用的數(shù)據(jù)中心來講，迫切需要制定不同場(chǎng)景下有效且合理的彈性擴(kuò)容方案，既要滿足超出規(guī)劃的更高單機(jī)柜功率密度的需求，又需要滿足裝機(jī)數(shù)量需求，確保安全可靠運(yùn)行，同時(shí)實(shí)現(xiàn)綠色低碳運(yùn)營(yíng)，為提升算力算效貢獻(xiàn)一份力量[2]。

1 算力網(wǎng)絡(luò)背景下的建設(shè)需求

算力網(wǎng)絡(luò)時(shí)代，隨著新型數(shù)據(jù)中心算力布局優(yōu)化、網(wǎng)絡(luò)提升等，提出了更高的功率密度、網(wǎng)絡(luò)安全、綠色低碳等要求。單機(jī)柜功耗激增，對(duì)于已建設(shè)好的數(shù)據(jù)中心來講，在制冷系統(tǒng)管路容量、新型空調(diào)末端的制冷能力以及裝機(jī)率等方面面臨著極大的挑戰(zhàn)[3]。

隨著云業(yè)務(wù)的持續(xù)發(fā)展，人們建設(shè)了越來越多的高功耗機(jī)柜，實(shí)施適合高功耗機(jī)柜發(fā)展的制冷方案十分必要。以某云在A數(shù)據(jù)中心的高功耗大規(guī)模機(jī)柜建設(shè)為案，闡述不同場(chǎng)景下的彈性擴(kuò)容研究及實(shí)踐方案。具體建設(shè)中，滿足某云7 kW單機(jī)柜的制冷需求，資源池機(jī)柜數(shù)量不少于700個(gè)，同時(shí)新型空調(diào)末端電源使用效率（Power Usage Effectiveness，PUE）滿足0.045～ 0.1。

2 已建數(shù)據(jù)中心機(jī)房現(xiàn)狀

A數(shù)據(jù)中心僅6個(gè)機(jī)房可供工程使用，按5 kW機(jī)柜建成兩個(gè)機(jī)房（機(jī)房1、機(jī)房2）、按7 kW機(jī)柜建成1個(gè)機(jī)房（機(jī)房6）直接使用。其他3個(gè)機(jī)房為未建設(shè)機(jī)房，本次新啟用。由于A數(shù)據(jù)中心傳輸機(jī)房機(jī)柜資源不足，其中1個(gè)未建設(shè)機(jī)房需有一半劃給傳輸專業(yè)使用，作為某云與傳輸共用的綜合機(jī)房（機(jī)房3）。另外兩個(gè)可以作為某云專用機(jī)房（機(jī)房4、機(jī)房5），按7 kW機(jī)柜建設(shè)。實(shí)際情況及彈性需求如表1所示。

表1 已建數(shù)據(jù)中心機(jī)房現(xiàn)狀

3 新型末端可選形式

3.1 熱管背板空調(diào)

熱管背板末端中的液態(tài)制冷劑吸收了熱空氣的熱量后，沸騰并轉(zhuǎn)化成蒸汽狀態(tài)，其在自身壓差的作用下被輸送至機(jī)房外的水冷冷凝器中，并在水冷冷凝器中重新被冷卻成液態(tài)制冷劑，然后回流至熱管背板末端中[4]。借助工質(zhì)相變直接吸收機(jī)架中服務(wù)器設(shè)備發(fā)出的熱量，提高制冷效率。熱管末端工作原理如圖1所示。

圖1 熱管末端工作原理

該方式為機(jī)架級(jí)制冷，根據(jù)機(jī)柜數(shù)量及功耗配置，適合逐步啟用的場(chǎng)景。水不進(jìn)入機(jī)房，安全性高。在機(jī)柜內(nèi)服務(wù)器風(fēng)機(jī)和熱管背板末端風(fēng)機(jī)產(chǎn)生的吸引力作用下，機(jī)房?jī)?nèi)的循環(huán)空氣通過機(jī)柜的開孔前門進(jìn)入機(jī)柜并流經(jīng)服務(wù)器設(shè)備，循環(huán)空氣被正在運(yùn)行的服務(wù)器設(shè)備加熱后溫度升高成為熱空氣排出[5]。熱空氣從服務(wù)器設(shè)備排出后，被吸入熱管背板末端。熱空氣在流經(jīng)熱管背板末端時(shí)，熱量被末端中的液態(tài)制冷劑吸收，成為冷空氣后進(jìn)入機(jī)房環(huán)境，降低機(jī)房溫度。熱管背板現(xiàn)場(chǎng)應(yīng)用案例如圖2所示。

圖2 熱管背板現(xiàn)場(chǎng)應(yīng)用案例

3.2 冷凍水列間空調(diào)+封閉通道

列間空調(diào)和機(jī)柜間隔布置，空調(diào)前部出風(fēng)，水平吹向兩側(cè)機(jī)柜，經(jīng)過機(jī)柜前門并對(duì)設(shè)備制冷后，經(jīng)機(jī)柜后門再回風(fēng)到空調(diào)后部。氣體輸送距離短，風(fēng)機(jī)功率小。采用封閉冷通道措施，優(yōu)化氣流組織，減少混風(fēng)損失。機(jī)柜冷通道封閉，由于冷熱通道的氣流互相分隔，因此冷量得到有效管理，避免了氣流短路，提高機(jī)房系統(tǒng)的制冷效率，溫度場(chǎng)分布均勻。水進(jìn)入列間，通過防水圍堰和泄水槽解決防水、漏水問題。此外，冷凍水列間新型末端空調(diào)PUE為0.04。

3.3 熱管列間空調(diào)+封閉通道

列間空調(diào)和機(jī)柜間隔布置，空調(diào)前部出風(fēng)，水平吹向兩側(cè)機(jī)柜。實(shí)施過程中水不進(jìn)入機(jī)房，機(jī)房空調(diào)末端僅作為冷媒管連接至走廊側(cè)水冷冷凝器，適用于現(xiàn)網(wǎng)改造擴(kuò)容，對(duì)機(jī)房現(xiàn)網(wǎng)的影響最小。

3.4 冷凍水房間級(jí)空調(diào)

采用架空地板下送風(fēng)、上回風(fēng)的氣流組織形式，機(jī)房?jī)?nèi)機(jī)柜按照冷熱通道分隔的方式布置。結(jié)合封閉冷通道，冷凍水型空調(diào)PUE為0.1，適用于單機(jī)柜功耗小于5 kW、特殊氣流組織或非標(biāo)機(jī)柜機(jī)房使用。

4 新型末端彈力擴(kuò)容方案

根據(jù)各機(jī)房的不同現(xiàn)狀，綜合考慮各種新型空調(diào)末端的適用場(chǎng)景及特點(diǎn)，分別選擇適宜的新型空調(diào)末端建設(shè)方式。

4.1 已啟用機(jī)房彈性擴(kuò)容方案

機(jī)房1和機(jī)房2為已啟用機(jī)房，已建冷凍水列間空調(diào)保留，均按照單機(jī)柜5 kW設(shè)計(jì)的制冷管路及空調(diào)末端。如果改為某云使用的機(jī)柜，需要彈性擴(kuò)容為單機(jī)柜7 kW，并補(bǔ)充冷量?？紤]到若按原形式擴(kuò)容冷凍水列間空調(diào)，需要在現(xiàn)有管路上進(jìn)行增開支管、焊接、增設(shè)閥門等操作，且原管路承載冷量有限。綜合考慮對(duì)現(xiàn)網(wǎng)的施工影響最小化，增容的空調(diào)選擇熱管列間，為某云高密度服務(wù)器提供超大散熱量的冷量補(bǔ)充，提高單機(jī)柜運(yùn)行功耗。

4.2 多專業(yè)共用機(jī)房彈性擴(kuò)容方案

機(jī)房3功能定位為某云及傳輸共用機(jī)房，由于傳輸設(shè)備為特殊氣流組織的非標(biāo)機(jī)柜，暫時(shí)無法選用新型末端空調(diào)，因此為該機(jī)房定制了分區(qū)域的制冷方案。受走廊空間等因素的限制無法選用熱管背板，選擇冷凍水列間空調(diào)+封閉通道的形式，傳輸區(qū)域采用房間級(jí)空調(diào)架空地板下送風(fēng)形式。為了避免氣流組織紊亂，設(shè)置光纖配線架（Optical Distribution Frame，ODF）無源設(shè)備作為兩類設(shè)備區(qū)域的分隔。

4.3 新啟用機(jī)房彈性擴(kuò)容方案

本著機(jī)柜數(shù)即裝機(jī)率最大的原則，對(duì)機(jī)房4進(jìn)行冷凍水列間空調(diào)及熱管背板兩種方案詳細(xì)的配置及比選。選擇熱管背板方案時(shí)，需要255個(gè)機(jī)柜和13個(gè)列頭柜，PUE為0.037。選擇冷凍水列間方案時(shí)，需要212個(gè)機(jī)柜和13個(gè)列頭柜，PUE為0.04。綜合考慮各方面因素，結(jié)合機(jī)房4的走廊側(cè)空間及管道資源條件，某云選用7 kW定制冷量熱管背板空調(diào)。

對(duì)于機(jī)房5，由于機(jī)房外側(cè)走廊空間及管道條件受限，無法實(shí)施熱管背板空調(diào)系統(tǒng)，因此選擇冷凍水列間空調(diào)+封閉熱通道方案。

4.4 最佳方案實(shí)踐

3類典型機(jī)房場(chǎng)景均通過方案比選，選擇適宜各自情況的最優(yōu)彈性擴(kuò)容方案。

已啟用機(jī)房彈性擴(kuò)容方案：機(jī)房1、機(jī)房2現(xiàn)網(wǎng)擴(kuò)容空調(diào)采用熱管列間空調(diào)。

多專業(yè)共用機(jī)房彈性擴(kuò)容方案：機(jī)房3選擇列間空調(diào)方案，傳輸區(qū)域采用房間級(jí)空調(diào)架空地板下送風(fēng)形式，要求地板架空凈高700～800 mm。

新啟用機(jī)房彈性擴(kuò)容方案：對(duì)于機(jī)房走廊側(cè)能夠滿足熱管空調(diào)水冷冷凝器安裝空間和條件的機(jī)房4，為提升裝機(jī)率，滿足未來裝機(jī)需求，選擇熱管背板空調(diào)。對(duì)于機(jī)房走廊側(cè)不能滿足熱管空調(diào)水冷冷凝器安裝空間和條件的機(jī)房5，采用冷凍水列間空調(diào)+封閉熱通道。

5 實(shí)施效果

通過方案實(shí)施，滿足某云不少于700個(gè)機(jī)柜的高裝機(jī)率要求和機(jī)柜服務(wù)器散熱原則。選取滿足安裝條件的新建機(jī)房，通過詳細(xì)的方案對(duì)比后選擇熱管背板空調(diào)末端形式，較列間空調(diào)形式多裝機(jī)1/5，共計(jì)節(jié)省機(jī)柜建設(shè)造價(jià)約680萬元。

某云與傳輸共用機(jī)房采用房間級(jí)空調(diào)與列間空調(diào)共存形式，兼顧傳輸裝機(jī)要求，增設(shè)架空地板擋風(fēng)措施，避免氣流組織紊亂。冷凍水列間與熱管列間同機(jī)房改造，將現(xiàn)網(wǎng)已建成的5 kW機(jī)柜彈性擴(kuò)容為7 kW。為降低現(xiàn)網(wǎng)施工影響，增容的空調(diào)選擇熱管列間形式，提高現(xiàn)網(wǎng)管路及空調(diào)的制冷效果，作為某云高密度服務(wù)器超大散熱量的冷量補(bǔ)充，提高機(jī)房使用彈性。此外，新型空調(diào)末端實(shí)現(xiàn)機(jī)架級(jí)、行級(jí)就近制冷，制冷效率高，PUE達(dá)到0.037，真正實(shí)現(xiàn)節(jié)能降碳。

6 結(jié) 論

數(shù)據(jù)中心大型水冷系統(tǒng)中，冷源容量及配置可采用近遠(yuǎn)期相結(jié)合的方式建設(shè)，初期可建設(shè)大容量、少數(shù)量，預(yù)留遠(yuǎn)期擴(kuò)容空間。走廊內(nèi)主干管路需要留出足夠安裝水冷冷凝器的空間，避免成為選用熱管背板空調(diào)提升裝機(jī)率的阻礙。對(duì)于管道井、走廊或機(jī)房?jī)?nèi)的主干管以及空調(diào)末端分支管路，均采用放大規(guī)格設(shè)計(jì)，避免成為擴(kuò)容的瓶頸。由于空調(diào)末端建設(shè)為一步到位，無法像供電系統(tǒng)設(shè)備一樣輕松擴(kuò)容，因此通常不考慮同時(shí)系數(shù)和需要系數(shù)。在不斷完善和深化算力能力布局優(yōu)化的同時(shí)，對(duì)制冷系統(tǒng)提出了高可靠性、高彈性的要求。既有數(shù)據(jù)中心由已建設(shè)的低功率密度布局轉(zhuǎn)向高功率密度布局優(yōu)化，更好地應(yīng)對(duì)算力時(shí)代下單機(jī)柜功耗及裝機(jī)量的變化。