?

高密度存儲(chǔ)服務(wù)器熱設(shè)計(jì)*

通信地址：100193 北京市海淀區(qū)東北旺西路8號(hào)中關(guān)村軟件園36號(hào)曙光信息產(chǎn)業(yè)(北京)有限公司Address:Dawning Information Industry Co.,Ltd.,36 Zhongguancun Software Park,8 Dongbeiwang Rd West,Haidian District,Beijing 100193,P.R.China

沙超群1，尤揚(yáng)2，胡長軍1，鄭臣明1，劉興奎3

(1.北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院，北京 100083；

2.解放軍信息工程大學(xué)國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002；

3.曙光信息產(chǎn)業(yè)(北京)有限公司，北京 100193)

摘要：云計(jì)算和大數(shù)據(jù)時(shí)代對(duì)高密度存儲(chǔ)服務(wù)器的需求越來越大。由于溫度對(duì)電子元器件的性能和壽命有很大的影響，而高密度存儲(chǔ)服務(wù)器的功率密度更大，故必須對(duì)其進(jìn)行合理的熱設(shè)計(jì)，以確保服務(wù)器工作時(shí)的溫度在合理可控范圍內(nèi)。介紹了高密度存儲(chǔ)服務(wù)器的結(jié)構(gòu)，以及散熱風(fēng)道、散熱器、風(fēng)扇等關(guān)鍵散熱部件的熱設(shè)計(jì)方法。熱設(shè)計(jì)整體方案采用吸風(fēng)式的強(qiáng)迫風(fēng)冷散熱方式；基于Flotherm熱仿真軟件對(duì)整機(jī)系統(tǒng)進(jìn)行了仿真優(yōu)化；在35℃實(shí)際應(yīng)用環(huán)境下對(duì)產(chǎn)品樣機(jī)進(jìn)行了熱測試。測試結(jié)果表明，該熱設(shè)計(jì)方案滿足熱設(shè)計(jì)要求。

關(guān)鍵詞：高密度；強(qiáng)迫風(fēng)冷；熱設(shè)計(jì)；熱仿真；熱測試

1引言

人類已經(jīng)步入數(shù)字化的信息時(shí)代。隨著科技的進(jìn)步，越來越多的數(shù)據(jù)采集、移動(dòng)設(shè)備、社交多媒體等使得近幾年數(shù)據(jù)存儲(chǔ)量幾乎呈幾何級(jí)增加，尤其是非結(jié)構(gòu)化數(shù)據(jù)(音頻、視頻、電子郵件等)占了存儲(chǔ)總量的80%，數(shù)據(jù)存儲(chǔ)已經(jīng)滲透到社會(huì)生活中的各個(gè)方面[1]。而云計(jì)算和大數(shù)據(jù)時(shí)代的到來，對(duì)存儲(chǔ)提出了更高的要求：高性能、高吞吐率、大容量、高安全性，這使得市場對(duì)高密度存儲(chǔ)服務(wù)器需求越來越大[2]。

電子元器件工作溫度對(duì)其性能和壽命有很大的影響，隨著溫度的增加，元器件的失效率呈指數(shù)關(guān)系增長[3]。所以，要提高電子設(shè)備的可靠性，必須使電子元器件工作在規(guī)定溫度范圍內(nèi)[4]。高密度存儲(chǔ)服務(wù)器意味著功率密度大，且溫度偏高會(huì)嚴(yán)重影響硬盤的讀寫性能和壽命，所以必須對(duì)其進(jìn)行合理的熱設(shè)計(jì)，保證服務(wù)器在要求的環(huán)境下能正常工作。

2服務(wù)器結(jié)構(gòu)組成

本文中高密度存儲(chǔ)服務(wù)器由4U硬盤倉和1U計(jì)算節(jié)點(diǎn)倉組成，總高度為5U。4U硬盤倉主要組成：80塊3.5寸硬盤，2塊Expander卡[5]，2塊SAS卡，4塊電源。1U計(jì)算節(jié)點(diǎn)倉主要組成：1塊主板，2塊2.5寸硬盤，6塊SSD固態(tài)硬盤，2塊標(biāo)準(zhǔn)PCIE卡，1塊10 G網(wǎng)卡。4U硬盤倉和1U計(jì)算節(jié)點(diǎn)倉結(jié)構(gòu)模型如圖1和圖2所示。

Figure 1　Structure model of the 4U HDD storage圖1　4U硬盤倉結(jié)構(gòu)模型

Figure 2　Structure model of the 1U computing node圖2　1U計(jì)算節(jié)點(diǎn)倉結(jié)構(gòu)模型

3熱設(shè)計(jì)目標(biāo)

該服務(wù)器要求使用環(huán)境溫度為35 ℃。各主要功率元器件的功耗及熱設(shè)計(jì)目標(biāo)見表1。本文通過制定熱設(shè)計(jì)方案、熱仿真優(yōu)化、測試驗(yàn)證來實(shí)現(xiàn)熱設(shè)計(jì)目標(biāo)。為提高設(shè)備的可靠性，各元器件的熱設(shè)計(jì)要求采用降額設(shè)計(jì)，降額系數(shù)為0.9，則本文中熱設(shè)計(jì)溫度目標(biāo)為元器件允許的最高溫度Tmax乘以降額系數(shù)0.9。

系統(tǒng)散熱方式選擇應(yīng)充分考慮系統(tǒng)的功耗、溫度、體積、價(jià)格等要求，最終選擇適合自己產(chǎn)品的有效散熱方式。目前常見的散熱方式主要有自然散熱、強(qiáng)迫風(fēng)冷、液體冷卻等。

自然散熱是利用空氣的對(duì)流將熱量帶到周圍空間，這種散熱方式的優(yōu)點(diǎn)是結(jié)構(gòu)簡單、無噪音、價(jià)格低廉，但散熱效果較差，一般用于發(fā)熱功率不大、溫度要求不高的場合。

強(qiáng)迫風(fēng)冷是利用風(fēng)機(jī)加速空氣流動(dòng)，從而帶走更多熱量。強(qiáng)迫風(fēng)冷方式熱交換效率高，一般是自然散熱方式的數(shù)倍，在需要散熱的電子設(shè)備冷卻系統(tǒng)中被廣泛采用[6]。但是，設(shè)計(jì)確定強(qiáng)迫風(fēng)冷參數(shù)的計(jì)算相對(duì)復(fù)雜，管殼溫度、散熱器和風(fēng)機(jī)之間的相關(guān)關(guān)系較為復(fù)雜。

液體冷卻是利用液體將熱量帶走從而降低溫度的散熱方式。由于液體的比熱容大大超過空氣，其散熱效率也比上述兩種方式高。液體冷卻噪音低，在噪音控制要求高的場合有無可比擬的優(yōu)勢。但是，液體冷卻成本高，且一旦液體漏液，可能造成電子元器件損壞。

綜合考慮各種散熱方式，本系統(tǒng)采用強(qiáng)迫風(fēng)冷方式。

4散熱風(fēng)道設(shè)計(jì)

4U硬盤倉采用分布式電源系統(tǒng)供電：4塊電源分別位于機(jī)箱的兩側(cè)。各個(gè)電源相對(duì)獨(dú)立，局部電源功率較小，減少了大電流傳輸線路，有利于提高可靠性和電磁兼容性。此外，由于單個(gè)電源的功率較小，散熱要求相對(duì)較低，采用分布式電源有利于系統(tǒng)散熱設(shè)計(jì)。

強(qiáng)迫風(fēng)冷系統(tǒng)風(fēng)道的設(shè)計(jì)很關(guān)鍵，風(fēng)道一般分為送風(fēng)和吸風(fēng)兩種方式。送風(fēng)方式風(fēng)扇出口附近局部換熱強(qiáng)烈，宜用于發(fā)熱器件較集中的情況，一般是將風(fēng)扇出風(fēng)口直接對(duì)準(zhǔn)發(fā)熱器件。送風(fēng)時(shí)設(shè)備內(nèi)形成正壓，可有效防止灰塵進(jìn)入設(shè)備；風(fēng)扇工作在較低溫度下，壽命較長。吸風(fēng)方式空氣流動(dòng)均勻，只用于發(fā)熱器件分布較均勻、風(fēng)道較復(fù)雜的情況。吸風(fēng)時(shí)在設(shè)備內(nèi)形成負(fù)壓，灰塵容易進(jìn)入設(shè)備；由于工作在較高溫度下，風(fēng)扇壽命受影響。

4.1　4U硬盤倉散熱風(fēng)道設(shè)計(jì)

由圖1可見，硬盤倉中的發(fā)熱部件是均勻分布在整個(gè)結(jié)構(gòu)內(nèi)的，適合采用吸風(fēng)方式。4U硬盤倉分為硬盤散熱風(fēng)道和電源散熱風(fēng)道2個(gè)獨(dú)立散熱風(fēng)道，如圖3所示。位于右側(cè)中間位置的風(fēng)扇為硬盤提供吸風(fēng)式散熱。硬盤在倉中的分布使得風(fēng)流均勻通過各硬盤，從而保證各個(gè)硬盤的散熱較為均衡。

機(jī)箱兩側(cè)為電源設(shè)計(jì)的散熱風(fēng)道，為電源單獨(dú)送風(fēng)。原因是如果電源風(fēng)道和硬盤風(fēng)道相通，硬盤散熱的系統(tǒng)風(fēng)扇風(fēng)壓較大，而電源的散熱風(fēng)扇風(fēng)壓較小，這樣電源會(huì)倒吸風(fēng)而導(dǎo)致電源過熱，本文中設(shè)計(jì)獨(dú)立風(fēng)道可解決此問題。

4.2　1U計(jì)算節(jié)點(diǎn)倉風(fēng)道設(shè)計(jì)

1U計(jì)算節(jié)點(diǎn)倉也采用吸風(fēng)式散熱風(fēng)道。設(shè)計(jì)了3個(gè)獨(dú)立散熱風(fēng)道區(qū)：PCIE卡散熱風(fēng)道、CPU散熱風(fēng)道、10 G網(wǎng)卡散熱風(fēng)道。每個(gè)風(fēng)道都有風(fēng)扇對(duì)相應(yīng)的功率元器件進(jìn)行有效冷卻，風(fēng)道設(shè)計(jì)如圖4所示。

Figure 3　Diagram of air duct in the 4U HDD storage圖3　4U硬盤倉風(fēng)道設(shè)計(jì)示意圖

Figure 4　Diagram of air duct in the 1U computing node圖4　1U計(jì)算節(jié)點(diǎn)倉風(fēng)道設(shè)計(jì)示意圖

5散熱器設(shè)計(jì)

從上述表1可知，SAS Expander芯片和SAS 3108芯片的功耗都比較大，所以需要設(shè)計(jì)散熱器，使芯片的工作溫度滿足熱設(shè)計(jì)要求。散熱器的設(shè)計(jì)要綜合考慮設(shè)備的結(jié)構(gòu)需求、散熱效率、加工工藝等約束條件[6]。散熱器肋片越薄越好，但越薄加工越困難。在散熱器的外形尺寸確定的情況下，肋片間距越小則熱阻越小，但過小的間距會(huì)增大風(fēng)阻，反而影響散熱。肋片高度越大則散熱面積越大，散熱效果越好，但肋片達(dá)到一定高度后，散熱量就趨于恒定。

綜合考慮以上各因素，本文中這兩個(gè)芯片都采用鋁擠散熱器，通過仿真優(yōu)化，確定散熱器尺寸70*70*20 mm，肋片厚度1 mm，肋片數(shù)量17，可以滿足熱設(shè)計(jì)要求。

由于1U計(jì)算節(jié)點(diǎn)倉主板上的兩顆CPU功耗達(dá)到120 W且是前后布局，冷卻空氣吹過上游CPU后會(huì)被加熱，再次吹過下游CPU會(huì)導(dǎo)致下游CPU的溫度很高。本文通過降低上游CPU散熱器的高度，并通過仿真優(yōu)化使兩顆CPU的溫度值接近一致，仿真結(jié)果為：上游散熱器的尺寸90*90*18 mm，下游散熱器的尺寸90*90*25 mm。肋片厚度為0.3 mm，肋片數(shù)量為47。散熱器基板采用鋁基板中埋熱管的工藝，肋片采用銅材料，可以滿足熱設(shè)計(jì)要求。

6冷卻風(fēng)扇選擇

假設(shè)所選散熱器是合理的，散熱器可以將各發(fā)熱部件發(fā)出的熱量傳遞到散熱空間。由于采用強(qiáng)迫風(fēng)冷散熱方式，系統(tǒng)發(fā)熱量應(yīng)全部由風(fēng)扇輸送的風(fēng)帶走，熱量平衡方程[7]為：

(1)

其中，Q為總發(fā)熱量(W)，Cp為空氣的比熱容(J/(kg·K)),ρ為空氣的密度(kg/m3)，Δt為進(jìn)出風(fēng)口的空氣的溫度差(℃)，V為帶走熱量需要的風(fēng)量(m3/s)。

硬盤總發(fā)熱量為1 060 W，進(jìn)出風(fēng)口溫差取12 ℃，Cp取值為1 005 J/(kg·K)，空氣的密度為1.14 kg/m3，根據(jù)公式(1)計(jì)算得到4U硬盤倉所需要的總風(fēng)量為0.077 m3/s，平均每個(gè)風(fēng)扇工作點(diǎn)風(fēng)量需達(dá)到0.009 96 m3/s。

1U計(jì)算節(jié)點(diǎn)倉的總發(fā)熱量為600 W，進(jìn)出風(fēng)口溫差取12 ℃，則根據(jù)公式(1)計(jì)算得到1U計(jì)算倉所需的總風(fēng)量為0.043 6 m3/s，平均每個(gè)風(fēng)扇工作點(diǎn)的風(fēng)量需達(dá)到0.007 27 m3/s。

上述計(jì)算出的風(fēng)量為帶走發(fā)熱量所需的最小值?？紤]到風(fēng)量的泄漏損失，同時(shí)為了提高散熱的可靠性，選用的風(fēng)扇要留有一定的裕量。

由于整個(gè)系統(tǒng)風(fēng)阻很大，所以要選擇高靜壓的風(fēng)扇才能滿足散熱要求，且要避開風(fēng)扇的不穩(wěn)定工作區(qū)，所選風(fēng)扇的P-Q特性曲線如圖5和圖6所示。圖中縱坐標(biāo)Static Pressure即為風(fēng)阻。

Figure 6　Fan P-Q curves applied in the 1U computing nodes圖6　1U計(jì)算倉所選風(fēng)扇P-Q曲線

7仿真結(jié)果分析

本文利用Flotherm熱仿真軟件對(duì)該服務(wù)器進(jìn)行了仿真模擬。根據(jù)服務(wù)器的架構(gòu)建立了詳細(xì)的散熱仿真模型，設(shè)定環(huán)境溫度為35 ℃，并進(jìn)行仿真計(jì)算。仿真結(jié)果可為風(fēng)扇選型、散熱器優(yōu)化設(shè)計(jì)提供依據(jù)，也可為實(shí)際散熱效果提供較為直觀的分析。

7.1　仿真云圖分析

從如圖7和圖8所示的仿真結(jié)果可以直觀看到機(jī)箱內(nèi)部溫度分布和局部過熱區(qū)域，從而為散熱優(yōu)化提供依據(jù)。從圖7可以看出，第6排的硬盤的溫度最高，這個(gè)結(jié)果符合理論預(yù)期。因?yàn)榭諝鈴淖笙蛴伊鲃?dòng)，從第1排硬盤到第6排硬盤被逐漸加熱，吹到第6排的空氣溫度達(dá)到最高，因此第6排硬盤的溫度也最高。冷風(fēng)經(jīng)機(jī)箱兩側(cè)設(shè)計(jì)的風(fēng)道供給了電源，不受系統(tǒng)風(fēng)扇的影響。從圖8可以看出，1U機(jī)箱內(nèi)不存在局部過熱區(qū)或回流，符合風(fēng)道設(shè)計(jì)要求。

Figure 7　Temperature nephogram of the 4U HDD storage圖7　4U硬盤倉溫度云圖

Figure 8　Temperature nephogram of 1U computing nodes圖8　1U計(jì)算節(jié)點(diǎn)倉溫度云圖

7.2　仿真結(jié)果分析

4U硬盤倉風(fēng)扇工作點(diǎn)風(fēng)量為0.012 m3/s，而根據(jù)理論計(jì)算每個(gè)風(fēng)扇工作點(diǎn)需達(dá)到的風(fēng)量需達(dá)到0.009 96 m3/s,4U硬盤倉所選風(fēng)扇性能滿足散熱設(shè)計(jì)要求，且留有20%以上的裕量。

1U計(jì)算節(jié)點(diǎn)倉風(fēng)扇工作點(diǎn)風(fēng)量為0.008 7 m3/s，而根據(jù)理論計(jì)算每個(gè)風(fēng)扇工作點(diǎn)需達(dá)到的風(fēng)量為0.007 27 m3/s，裕量接近20%，1U計(jì)算節(jié)點(diǎn)倉所選風(fēng)扇性能也滿足散熱設(shè)計(jì)要求。

主要發(fā)熱元器件的溫度仿真結(jié)果如表2所示。從表2可知，兩顆CPU的溫差僅為2.2 ℃，這得益于為兩顆處理器分別設(shè)計(jì)了高度不同的散熱器，仿真結(jié)果符合預(yù)期。各元器件的溫度都滿足熱設(shè)計(jì)要求，且有一定的溫度余量。

Table 2　Simulation resluts of key components’ temperature

8熱測試

按照此設(shè)計(jì)方案加工制作了工程樣機(jī)，在35℃的實(shí)際應(yīng)用環(huán)境下，對(duì)該樣機(jī)進(jìn)行了散熱測試，各元器件的溫度的測試結(jié)果如表3所示。從實(shí)際測試結(jié)果與仿真結(jié)果對(duì)比可知，最大誤差為3.3 ℃，說明散熱仿真可以較準(zhǔn)確地估算熱設(shè)計(jì)方案的結(jié)果。

Table 3　Test and simulation results comparison

9結(jié)束語

本文中高密度存儲(chǔ)服務(wù)器采用強(qiáng)迫風(fēng)冷的散熱方式，通過風(fēng)道設(shè)計(jì)使空氣有效冷卻主要功率元器件，從而提高了冷卻效率。具有散熱器的強(qiáng)迫風(fēng)冷散熱設(shè)計(jì)比較復(fù)雜，需要根據(jù)系統(tǒng)的結(jié)構(gòu)以及發(fā)熱部件的熱功耗計(jì)算發(fā)熱量，從而選擇合適的散熱器和風(fēng)扇。熱設(shè)計(jì)過程是一個(gè)不斷設(shè)計(jì)優(yōu)化的過程，在這過程中熱仿真軟件可比較準(zhǔn)確地模擬散熱方案的效果，可為散熱方案不斷優(yōu)化提供依據(jù)。在實(shí)際環(huán)境下對(duì)樣機(jī)進(jìn)行了散熱測試，結(jié)果表明此高密度存儲(chǔ)服務(wù)器的散熱設(shè)計(jì)方案可行，且工作溫度滿足降額設(shè)計(jì)要求，提高了設(shè)備的工作可靠度。

參考文獻(xiàn):附中文

[1]Large capacity data storage solutions [EB/OL]. [2014- 10-18].http://www.nexsan.com.cn/chinese/DataBase/Up loadFile/20 130401142251669.pdf．

[2]Chen Jie.Cloud storage technology and application in big data [J].ZTE Technology Journal,2012,18(6):47-51.(in Chinese)

[3]Xu Wei-xin.Design guide for electronic equipment reliability thermal[M].Beijing:Publishing House of Electronics Industry,1995.(in Chinese)

[4]GJB/Z 35-93[S].Derating criteria for electrical,electronic and electromechanical parts:National Military Standard of the People’s Repulic of China,1993.(in Chinese)

[5]LSI SAS3X48 expander datasheet[EB/OL].[2014-10-18] http://www.lsi.com/products/sas-expanders/page s/lsi-sas-3x48.aspx#tab/tab3.

[6]Zhang Zhong-hai. Thermal design of forced air cooling of high-power components in electronic equipments [J].Electro-Mechanical Engineering,2005,21(3):18-21.(in Chinese)

[7]Wang Jian-shi,Zhu Bing-lin.Manual for structural design of electronic equipment [M].Beijing:China Zhijian Publishing House,2011.(in Chinese)

[2]陳杰.大數(shù)據(jù)場景下的云存儲(chǔ)技術(shù)與應(yīng)用[J].中興通訊技術(shù),2012,18(6):47-51．

[3]徐維新.電子設(shè)備可靠性熱設(shè)計(jì)指南[M].北京:電子工業(yè)出版社,1995．

[4]GJB/Z 35-93,元器件降額準(zhǔn)則[S].北京：中華人民共和國國家軍用標(biāo)準(zhǔn),1993.

[6]張忠海.電子設(shè)備中高功率器件的強(qiáng)迫風(fēng)冷散熱設(shè)計(jì)[J].電子機(jī)械工程,2005,21(3):18-21．

[7]王健時(shí),朱炳林.電子設(shè)備結(jié)構(gòu)設(shè)計(jì)標(biāo)準(zhǔn)手冊(cè)[M].第三版.北京:中國質(zhì)檢出版社,2011．

沙超群(1977-),男，江蘇邳州人，博士生，高級(jí)工程師，研究方向?yàn)橛?jì)算機(jī)體系結(jié)構(gòu)。E-mail:scq@sugon.com

SHA Chao-qun,born in 1977,PhD candidate,senior engineer,his research interest includes computer architecture.

A thermal design for high density storage servers

SHA Chao-qun1,YOU Yang2,HU Chang-jun1,ZHENG Chen-ming1,LIU Xing-kui3

(1.School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083；

2.National Digital Switching System Engineering & Technological Research Center,

PLA Information Engineering University，Zhengzhou 450002；

3.Dawning Information Industry Co.,Ltd.,Beijing 100193,China)

Abstract:Big data and cloud computing applications have a booming demand for high density storage servers by in recent years. Since temperature has a great influence on the performance and lifecycle of electronic components, and high density storage servers have higher power density, desired cooling solution design is in great need, so the servers can work at a proper temperature. We introduce a thermal design method for high density storage servers, in which the forced air cooling method is adopted. The thermal simulation software Flotherm is used to guarantee the cooling effect. We construct an engineering project and test the proposal under 35℃ ambient temperature. The results show that this solution can meet the thermal design requirements.

Key words:high density;forced air cooling;thermal design;thermal simulation;thermal test

作者簡介:

doi:10.3969/j.issn.1007-130X.2015.12.006

中圖分類號(hào)：TP302

文獻(xiàn)標(biāo)志碼：A

基金項(xiàng)目：國家863高技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目(2013AA01A209)；北京市科委計(jì)劃資助項(xiàng)目(D141100003414001)

收稿日期：修回日期：2015-10-21

文章編號(hào)：1007-130X(2015)12-2228-05