胡 燕

（中國(guó)電信股份有限公司上海分公司 上海 200120）

1 引言

模塊化數(shù)據(jù)中心是一種新興的數(shù)據(jù)中心建設(shè)模式，將整個(gè)數(shù)據(jù)中心分為若干個(gè)獨(dú)立區(qū)域，各區(qū)域的規(guī)模、功率負(fù)載、配置等均按照統(tǒng)一標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì)，隨著業(yè)務(wù)需求的變化，不斷增加獨(dú)立模塊，從而實(shí)現(xiàn)快速建設(shè)。

伴隨全球超大型IT數(shù)據(jù)中心的出現(xiàn)，模塊化數(shù)據(jù)中心的建設(shè)理念在微軟芝加哥數(shù)據(jù)中心、谷歌比利時(shí)數(shù)據(jù)中心、Facebook俄勒岡州數(shù)據(jù)中心得以具體實(shí)踐，有效地降低了數(shù)據(jù)中心的建設(shè)周期及運(yùn)營(yíng)成本。

從技術(shù)發(fā)展看，數(shù)據(jù)中心基礎(chǔ)設(shè)施的關(guān)鍵設(shè)備逐步趨向模塊化與小型化，尤其是精密空調(diào)CRAC（computer room air conditioning）和 UPS（uninterruptible power system，不間斷電源系統(tǒng)）技術(shù)，完全可集成到機(jī)柜中，從而在技術(shù)上為實(shí)現(xiàn)真正完全獨(dú)立的模塊化數(shù)據(jù)中心提供了可能。

2 傳統(tǒng)數(shù)據(jù)中心面臨的主要問(wèn)題

對(duì)于傳統(tǒng)的數(shù)據(jù)中心，模塊化的特征并不明顯，僅在物理基礎(chǔ)架構(gòu)上將空調(diào)、UPS、機(jī)柜進(jìn)行組合配置，而且需要共用架空地板下的空間，共用UPS，因此在兼容性、擴(kuò)展性及建設(shè)周期等方面存在諸多問(wèn)題，主要表現(xiàn)為以下3個(gè)方面。

2.1 空調(diào)系統(tǒng)

傳統(tǒng)數(shù)據(jù)中心的氣流組織設(shè)計(jì)采用地板下送風(fēng)的方案，機(jī)柜采用冷熱通道擺放設(shè)計(jì)，以形成合理的氣流組織路徑，從而可以大大提高整個(gè)機(jī)房的氣流循環(huán)效率，有效減少熱死點(diǎn)出現(xiàn)。該方案工程初期投資較低，噪音較小，整個(gè)機(jī)房的美觀性較好。

但隨著云計(jì)算、高熱密度的發(fā)展，單機(jī)柜發(fā)熱量不斷增大，為了提高出風(fēng)量，必須不斷提高地板下靜壓，因此地板高度需要抬升。而空氣也是一種流體，其本身存在黏度，當(dāng)?shù)匕逑碌臍饬髟龃蟮揭欢恐?，表征其黏度的無(wú)量綱數(shù)——雷諾數(shù)會(huì)超過(guò)某一限值，因此其氣流紊流會(huì)呈幾何性增大，此時(shí)地板下送風(fēng)方案的效率會(huì)大大下降。

在功率密度為10 kW/機(jī)柜的送風(fēng)制冷實(shí)驗(yàn)中，為了有效帶走熱量，每臺(tái)機(jī)柜需要1600～1800 m3/h風(fēng)量（進(jìn)出風(fēng)溫差為15℃），而遠(yuǎn)程的地板下送風(fēng)空調(diào)則需要達(dá)到2900～3000 m3/h風(fēng)量，此時(shí)風(fēng)機(jī)系統(tǒng)能量損失高達(dá)40%。這些能量損失又會(huì)引起自身的冷量消耗，從而使效率進(jìn)一步下降。在數(shù)據(jù)中心機(jī)房中，由于機(jī)組數(shù)量較多，風(fēng)機(jī)系統(tǒng)能耗能達(dá)到上百千瓦，而風(fēng)機(jī)系統(tǒng)是24 h全年不停歇運(yùn)轉(zhuǎn)的，因此一年中無(wú)謂的能量消耗會(huì)達(dá)到幾十萬(wàn)千瓦·時(shí)，在15年的機(jī)組設(shè)計(jì)壽命內(nèi)則會(huì)多耗能上百萬(wàn)千瓦·時(shí)，而且由于其從地板下送風(fēng)供冷，機(jī)柜中下方的服務(wù)器得到的冷量較多，而上部的服務(wù)器容易運(yùn)行在高溫環(huán)境，從而發(fā)生故障。這種設(shè)計(jì)方案只適合單機(jī)柜發(fā)熱量不超過(guò)5 kW的應(yīng)用場(chǎng)景。當(dāng)機(jī)柜發(fā)熱量繼續(xù)增大時(shí)，除了需要加大地板的架空高度和機(jī)柜間的間距外，整個(gè)制冷系統(tǒng)的效率也會(huì)顯著下降。

2.2 UPS

在機(jī)房建成初期，傳統(tǒng)的UPS設(shè)計(jì)往往出現(xiàn)由于系統(tǒng)容量配置過(guò)大而處于低負(fù)載率情況，低載運(yùn)行則導(dǎo)致UPS效率低下。而如果UPS配置容量過(guò)小，又不能滿足業(yè)務(wù)發(fā)展的需求，將導(dǎo)致后期擴(kuò)容困難，尤其當(dāng)前IT需求正處于上升期，數(shù)據(jù)中心業(yè)務(wù)發(fā)展增速飛快，但又具有不確定性，故在UPS方面重復(fù)建設(shè)和投資的浪費(fèi)較大。另外單獨(dú)建設(shè)UPS房、電池房，并設(shè)置相應(yīng)的空調(diào)制冷，也是一筆不小的投資。

因此，UPS建設(shè)需求逐漸向模塊化、可熱插拔的方向發(fā)展，在中小型數(shù)據(jù)中心中，尤其成為首選的解決方案。模塊化的UPS產(chǎn)品，尺寸和標(biāo)準(zhǔn)服務(wù)器機(jī)架一致，可放在機(jī)柜行間，又集成了多路智能配電，可滿足單個(gè)模塊內(nèi)的供電、監(jiān)控電量等需求。目前市場(chǎng)上主流的模塊化UPS，不但可靈活擴(kuò)容，而且效率高達(dá)95%，在低負(fù)載率情況下，節(jié)能更加顯著，真正實(shí)現(xiàn)了UPS的高效性、節(jié)能性和可靠性。

2.3 機(jī)柜系統(tǒng)

傳統(tǒng)機(jī)柜系統(tǒng)的設(shè)計(jì)只關(guān)注其承重、供電性能，而忽略了其他機(jī)柜應(yīng)該具有的性能，如通孔率、接地、美觀、線纜管理、能耗管理等。

為了提高制冷效率，機(jī)柜的通孔率要求盡可能高，以減小氣流阻礙作用，提高散熱能力，從空調(diào)系統(tǒng)利用上來(lái)說(shuō)，機(jī)柜系統(tǒng)有更高的設(shè)計(jì)和工藝要求。

機(jī)柜接地也是非常值得注意卻容易被忽略的問(wèn)題，機(jī)房由于發(fā)熱量很大，靠近服務(wù)器的機(jī)柜區(qū)域溫度較高，其相對(duì)濕度較低，從而可能會(huì)形成較高的靜電電壓，如果不能通過(guò)有效途徑接地，會(huì)造成靜電危險(xiǎn)。因此現(xiàn)在的機(jī)柜必須配置接地線纜或者接地銅排。

在中小型數(shù)據(jù)中心中，往往不會(huì)配置完備的監(jiān)控設(shè)備。要實(shí)現(xiàn)機(jī)柜內(nèi)的供電管理，可通過(guò)在機(jī)柜內(nèi)配備智能的PDU（power distribution unit，電源分配單元）實(shí)現(xiàn)。對(duì)機(jī)柜內(nèi)的各路配電進(jìn)行監(jiān)控，獲知機(jī)柜負(fù)載的分配平衡度，預(yù)知過(guò)熱機(jī)柜、過(guò)載點(diǎn)，并可實(shí)施遠(yuǎn)程關(guān)控設(shè)備。這也是智能機(jī)柜需要具備的功能。

對(duì)于機(jī)柜的兼容性，機(jī)柜不但需要考慮自身的兼容性，還需要考慮諸如并柜、封閉冷通道、行間空調(diào)等的外觀、尺寸匹配問(wèn)題，這對(duì)廠商的要求非常高，只有熟悉數(shù)據(jù)中心基礎(chǔ)設(shè)施全產(chǎn)品的供應(yīng)商，才能從全局出發(fā)，設(shè)計(jì)出對(duì)各個(gè)系統(tǒng)的兼容性都很高的產(chǎn)品。

3 模塊化數(shù)據(jù)中心實(shí)施的關(guān)鍵技術(shù)

模塊化數(shù)據(jù)中心主要包括采用模塊化設(shè)計(jì)的四大部分:不間斷電源系統(tǒng)、制冷系統(tǒng)、機(jī)架和遠(yuǎn)程監(jiān)測(cè)系統(tǒng)，通過(guò)簡(jiǎn)單的接口將相關(guān)模塊進(jìn)行組合，從而形成一個(gè)完整的數(shù)據(jù)中心。無(wú)論是電信運(yùn)營(yíng)商還是互聯(lián)網(wǎng)企業(yè)，都可以按照自己的需求定制模塊化數(shù)據(jù)中心，并可伴隨業(yè)務(wù)發(fā)展需求，逐步擴(kuò)張數(shù)據(jù)中心規(guī)模，以應(yīng)對(duì)更多的IT需求。這意味著企業(yè)可以在未來(lái)?yè)碛袛?shù)倍計(jì)算能力，而不會(huì)對(duì)現(xiàn)有數(shù)據(jù)中心的功能或者設(shè)計(jì)帶來(lái)任何影響。

相對(duì)于傳統(tǒng)的數(shù)據(jù)中心，模塊化數(shù)據(jù)中心使用如下關(guān)鍵技術(shù)。

（1）統(tǒng)一的基礎(chǔ)架構(gòu)設(shè)計(jì)

模塊化數(shù)據(jù)中心的構(gòu)思精巧，但在實(shí)施過(guò)程中會(huì)遇到很多意想不到的問(wèn)題，如各個(gè)部件的尺寸不完全協(xié)調(diào)一致、各部件的供配電需求不能匹配、顏色無(wú)法協(xié)調(diào)一致、走線孔未預(yù)留充足等，因此要避免多種產(chǎn)品拼接的模塊化數(shù)據(jù)中心出現(xiàn)漏風(fēng)、配電不足、顏色參差不齊、無(wú)處走線等尷尬問(wèn)題，需要廠商具有多產(chǎn)品線統(tǒng)一開(kāi)發(fā)、統(tǒng)一銷售、統(tǒng)一安裝、統(tǒng)一調(diào)試、統(tǒng)一服務(wù)的能力，從而為用戶提供模塊化數(shù)據(jù)中心基礎(chǔ)架構(gòu)的完美解決方案。

（2）封閉冷通道

封閉冷通道可有效規(guī)范氣流組織，減少對(duì)整個(gè)房間的無(wú)謂制冷，從而降低對(duì)建筑熱負(fù)荷的制冷壓力；同時(shí)可有效隔絕冷熱風(fēng)交叉混合，提高空調(diào)回風(fēng)溫度，從而提高其蒸發(fā)器溫度，進(jìn)而提高制冷效率。經(jīng)測(cè)試，采用封閉冷通道解決方案可節(jié)約機(jī)房4%的耗電量。在封閉冷通道這件貌似技術(shù)含量不高的產(chǎn)品上，實(shí)際有很多工藝方面的要求，真正實(shí)現(xiàn)細(xì)節(jié)上的大成，無(wú)論是材料的隔熱性、強(qiáng)度、頂板透光率，還是走線孔的設(shè)計(jì)、縫隙的保密性，都需要十分到位。

（3）定制化的電池機(jī)架

定制化的電池機(jī)架主要配合模塊化UPS使用，為模塊化UPS提供更長(zhǎng)時(shí)延、后備時(shí)間的選擇，承重能力強(qiáng)、外觀協(xié)調(diào)、安裝維護(hù)簡(jiǎn)便，可實(shí)現(xiàn)電池的模塊化安裝及電池監(jiān)控。

（4）模塊化 UPS

安裝在標(biāo)準(zhǔn)機(jī)柜中的模塊化UPS，其功率單模塊可隨負(fù)載增減實(shí)現(xiàn)熱插拔，并可大幅度減少UPS的占用空間及共用制冷需求，大大降低傳統(tǒng)UPS需求的占地面積及額外的空調(diào)能耗。

（5）環(huán)境控制系統(tǒng)

通常選用精密空調(diào)對(duì)數(shù)據(jù)中心的每個(gè)模塊進(jìn)行環(huán)境調(diào)節(jié)，確保服務(wù)器等IT設(shè)備的運(yùn)行環(huán)境。對(duì)于發(fā)熱量大的服務(wù)器等IT設(shè)備，通常選用高通孔率（一般大于70%）網(wǎng)孔門的機(jī)柜，以提高機(jī)柜進(jìn)出風(fēng)量；將機(jī)柜面對(duì)面、背對(duì)背布置，在機(jī)房?jī)?nèi)形成冷熱隔離的風(fēng)道，以提高制冷效率。在某些功率密度特別高的場(chǎng)合（發(fā)熱量超過(guò)5 kW/機(jī)柜），往往容易產(chǎn)生局部熱點(diǎn)，形成故障隱患。為消除局部熱點(diǎn)，需要采用相應(yīng)的高熱密度解決方案，如在局部熱點(diǎn)發(fā)生處加裝制冷終端，加強(qiáng)局部制冷能力；也可將特高功率密度設(shè)備放置在封閉機(jī)柜內(nèi)，通過(guò)機(jī)柜內(nèi)制冷循環(huán)，實(shí)現(xiàn)高效率制冷散熱。

（6）智能監(jiān)控系統(tǒng)

監(jiān)控系統(tǒng)是機(jī)房安全運(yùn)行的重要保障，智能監(jiān)控系統(tǒng)可對(duì)數(shù)據(jù)中心模塊內(nèi)的配電、環(huán)境、安防、消防等設(shè)備進(jìn)行全方位監(jiān)控，完成對(duì)設(shè)備數(shù)據(jù)的采集、分析、告警、展示甚至自動(dòng)控制。由于云計(jì)算的高熱密度、虛擬化需求，可變冷量、UPS模塊休眠等功能需要更高效的控制，因此模塊內(nèi)的制冷控制、電能分析成為模塊化運(yùn)營(yíng)的關(guān)鍵點(diǎn)。

另一方面，為了適應(yīng)模塊化數(shù)據(jù)中心快速建設(shè)、快速?gòu)?fù)制的特點(diǎn)，監(jiān)控系統(tǒng)方案也需要能夠快速建設(shè)，并且以模塊為單位獨(dú)立運(yùn)轉(zhuǎn)，互不影響。

4 推廣模塊化數(shù)據(jù)中心的舉措與建議

（1）產(chǎn)品的標(biāo)準(zhǔn)化和系列化

工業(yè)革命成功的最重要因素，就是將生產(chǎn)流水制度、標(biāo)準(zhǔn)化部件制度推廣開(kāi)來(lái)，從而大大提高了生產(chǎn)效率，開(kāi)創(chuàng)了人類新的高峰。在當(dāng)今社會(huì)，不管是企業(yè)管理還是生產(chǎn)、建設(shè)等環(huán)節(jié)，都要求實(shí)現(xiàn)標(biāo)準(zhǔn)化、規(guī)范化，而傳統(tǒng)數(shù)據(jù)中心建設(shè)由于對(duì)現(xiàn)場(chǎng)的設(shè)計(jì)施工依賴度高，建設(shè)周期緩慢、建設(shè)難度大，建設(shè)效果無(wú)法預(yù)期，后期擴(kuò)容無(wú)法適應(yīng)。

因此，需要進(jìn)一步完善模塊化數(shù)據(jù)中心的系列標(biāo)準(zhǔn)，并形成相應(yīng)的系列產(chǎn)品，根據(jù)客戶的IT需求、建筑空間，為客戶提供模塊化的建設(shè)方案，保證數(shù)據(jù)中心的高可靠性、靈活性、可維護(hù)性及高效節(jié)能，并能夠最大化地提高交付速度。

（2）設(shè)計(jì)的前瞻性和可復(fù)制性

模塊化數(shù)據(jù)中心的設(shè)計(jì)必須具有一定的前瞻性，充分考慮企業(yè)數(shù)據(jù)中心長(zhǎng)期發(fā)展的影響因素，并兼顧機(jī)械和電氣系統(tǒng)等，避免造成數(shù)據(jù)中心運(yùn)營(yíng)管理的不可控。

為了實(shí)現(xiàn)真正的分批建設(shè)，模塊化數(shù)據(jù)中心的設(shè)計(jì)方案應(yīng)該是可復(fù)制的，而且不單是方案上的復(fù)制，還可以延展到采購(gòu)流程、安裝流程、維護(hù)流程等，既可以減少用戶的初期投資，也便于后續(xù)數(shù)據(jù)中心的運(yùn)營(yíng)管理。

（3）方案的靈活簡(jiǎn)便性及整體性

模塊化數(shù)據(jù)中心之所以能夠?qū)崿F(xiàn)快速建設(shè)，空調(diào)系統(tǒng)的革命性設(shè)計(jì)起了主導(dǎo)作用。傳統(tǒng)的數(shù)據(jù)中心采用靜壓箱送風(fēng)，需要專業(yè)的設(shè)計(jì)單位根據(jù)建筑結(jié)構(gòu)進(jìn)行相應(yīng)的設(shè)計(jì)，再經(jīng)過(guò)和各個(gè)廠商的研討及分析，設(shè)計(jì)周期往往需要3個(gè)月甚至半年以上，時(shí)間浪費(fèi)嚴(yán)重，超大型的數(shù)據(jù)中心甚至需要1年以上，后期的安裝需要配合土建、裝修等系統(tǒng)，協(xié)調(diào)、互相配合等工作也需要浪費(fèi)大量的時(shí)間，這在IT系統(tǒng)每3年運(yùn)算速度翻新一倍的高速時(shí)代，建設(shè)完成時(shí)數(shù)據(jù)中心的指標(biāo)可能已經(jīng)落伍了，經(jīng)濟(jì)效果嚴(yán)重滯后。

模塊化數(shù)據(jù)中心設(shè)立以機(jī)柜為中心的行間制冷系統(tǒng)，縮短了氣流組織路徑，取消了對(duì)靜壓箱、風(fēng)管的依賴，減少了工程量，從而可直接減少甚至取消設(shè)計(jì)環(huán)節(jié)，由用戶到廠商直接獲取端到端服務(wù)，從而大大縮短建設(shè)周期；同時(shí)由于是同一廠商提供整體解決方案，其工程安裝、后期服務(wù)都可實(shí)現(xiàn)最大化的提速。

（4）運(yùn)行的安全性及高效化

傳統(tǒng)的數(shù)據(jù)中心空調(diào)系統(tǒng)采用靜壓箱設(shè)計(jì)，氣流循環(huán)路徑長(zhǎng)達(dá)幾十米，氣流阻力很大，風(fēng)機(jī)能耗浪費(fèi)嚴(yán)重，需要額外冷卻整個(gè)數(shù)據(jù)中心的空氣，能量浪費(fèi)嚴(yán)重。后期擴(kuò)容時(shí)，由于后期增加的空調(diào)改變了整個(gè)靜壓箱的氣流、冷量等參數(shù)，從而會(huì)直接影響數(shù)據(jù)中心的制冷效果，反而會(huì)起到反作用。

模塊化數(shù)據(jù)中心建設(shè)實(shí)際上是一個(gè)不斷成長(zhǎng)的過(guò)程，其設(shè)計(jì)思路保證了制冷、供電都以區(qū)域機(jī)柜為中心，其氣流組織、供電配置都以區(qū)域?yàn)橹行?，?duì)其余區(qū)域毫無(wú)影響，因此可最大化地解決擴(kuò)容互相影響的問(wèn)題。在逐步擴(kuò)展的模塊化數(shù)據(jù)中心中，各模塊的獨(dú)立安全高效運(yùn)行成為必然。

（5）運(yùn)營(yíng)的簡(jiǎn)便與低成本

標(biāo)準(zhǔn)化的模塊化數(shù)據(jù)中心，由于采用端到端服務(wù)，可為用戶節(jié)省可觀的設(shè)計(jì)費(fèi)，可以縮短資金的占用周期，可提高運(yùn)營(yíng)效率，減少日常運(yùn)行費(fèi)用，縮短投資回報(bào)期，最大化地提高用戶的資金使用率。

在工程環(huán)節(jié)，由于采用模塊化設(shè)計(jì)思路，其發(fā)貨、安裝都由同一廠商實(shí)施，而且由于減少了對(duì)靜壓箱、風(fēng)管的依賴，可直接進(jìn)場(chǎng)，減少了對(duì)裝修、建筑的特殊要求，不但可以節(jié)省費(fèi)用，而且可以減少和土建等部門的配合施工，從而大幅度減少工程成本。

在后期的維護(hù)方面，由同一廠商統(tǒng)一維護(hù)，不管是備件還是服務(wù)，都可以得到原廠最優(yōu)的保障，機(jī)房維護(hù)人員可最大化地精簡(jiǎn)，維護(hù)界面清晰，最大化地減少用戶的負(fù)擔(dān)。

5 結(jié)束語(yǔ)

模塊化數(shù)據(jù)中心是新興的數(shù)據(jù)中心建設(shè)理念，也是數(shù)據(jù)中心的必然發(fā)展方向，具有建設(shè)快速、易復(fù)制、高效等特點(diǎn)，目前在我國(guó)已廣泛應(yīng)用于集裝箱、電信、醫(yī)療、科研機(jī)構(gòu)、廣電等行業(yè)，并呈現(xiàn)出快速增長(zhǎng)的趨勢(shì)。在不久的將來(lái)，將帶來(lái)數(shù)據(jù)中心行業(yè)的巨大變革，不僅將制冷、配電集中到行間級(jí)，同時(shí)也能將電池、配電柜集成到一體，甚至將整個(gè)模塊按照用戶需求做成一個(gè)整體，不再區(qū)分機(jī)柜、空調(diào)、供電系統(tǒng)?？蛻糁恍鑼⒛K運(yùn)抵現(xiàn)場(chǎng)，配電配水，按指導(dǎo)接管即可，無(wú)需做靜電地板、無(wú)需專業(yè)設(shè)計(jì)、無(wú)需專業(yè)規(guī)劃，甚至無(wú)需機(jī)房裝修，從而將機(jī)房模塊化的優(yōu)勢(shì)擴(kuò)大到極致。

從更遠(yuǎn)的發(fā)展方向看，未來(lái)融合服務(wù)器、交換機(jī)、基礎(chǔ)架構(gòu)的整體模塊也是發(fā)展的趨勢(shì)，用戶使用數(shù)據(jù)中心模塊只需要按照說(shuō)明書接入寬帶、電源和水源，即可得到高效的信息服務(wù)，從而更加有利于用戶業(yè)務(wù)的快速發(fā)展。相信在不遠(yuǎn)的未來(lái)，模塊化數(shù)據(jù)中心將在IT、動(dòng)力環(huán)境基礎(chǔ)架構(gòu)上下游廠商的合作推動(dòng)下獲得長(zhǎng)足的發(fā)展，為人類的信息化進(jìn)程提供更加綠色低碳、可靠的支持。