在資源緊缺越來越嚴(yán)重的今天，進(jìn)行集群功耗管理方面的研究并推出相關(guān)產(chǎn)品節(jié)約電力資源具有很高的社會與經(jīng)濟價值。

集群服務(wù)器獲得廣泛應(yīng)用的主要原因在于其較高的性價比，通過數(shù)量上的優(yōu)勢來彌補節(jié)點處理性能的不足。節(jié)點數(shù)量大幅增長的同時不可避免的帶來電力消耗的快速增長，IDC(international datacorporation)研究數(shù)據(jù)表明，在2007年中國用于服務(wù)器的電源和冷卻的總開支達(dá)到了19億美元，僅在北京和廣東兩個地區(qū)，這部分的投入就達(dá)到了3.2和3.6億美元，占到了全國的35.8％。據(jù)統(tǒng)計，中國2007年全年IT產(chǎn)品總耗電量在300億到500億度，相當(dāng)于三峽電站一年的總發(fā)電量。巨大的耗能引來了各方的關(guān)注。

集群節(jié)點數(shù)量在快速增長，但其使用效率卻在低水平徘徊不前，以應(yīng)用最普遍的X86服務(wù)器集群為例，普遍認(rèn)為其利用率低于30％，IBM更是稱Intel服務(wù)器平均利用率只有10％，從而造成大量電力資源的浪費。

現(xiàn)代機房的功耗分布

集群服務(wù)器一般安裝在專用機房中，一般采用高架地板，標(biāo)準(zhǔn)機柜，UPS(uninterruptible Powersupply)，精密空調(diào)等設(shè)備。

可以明顯看出，服務(wù)器與冷卻設(shè)備在機房總功耗中共占到了80％以上的份額，顯而易見，冷卻設(shè)備的功耗是和服務(wù)器運行時產(chǎn)生的熱量密切相關(guān)的，如何更好的進(jìn)行集群功耗管理就成為了關(guān)鍵。

集群功耗管理的要求

功耗管理屬于集群基礎(chǔ)設(shè)施管理的范疇，主要關(guān)心兩個方面的情況，一方面是怎樣把集群的實際負(fù)載與功耗聯(lián)系起來；另一方面是怎樣在不影響應(yīng)用的前提下最小化集群的總功耗，最終目的是實現(xiàn)電力能源的量化與最優(yōu)化調(diào)度。由于是從集群的角度分析功耗，所以不涉及單節(jié)點的絕對功率的大小，例如為節(jié)點更換更節(jié)能的CPU就不在考慮之中。

基于上述思路，可以將集群功耗管理歸納為如下幾點功能：

集群功耗的實時監(jiān)控與分析

對集群功耗的監(jiān)控是實現(xiàn)功耗管理的基礎(chǔ)，可以通過兩種手段來實現(xiàn)：通過在服務(wù)器電源模塊上增加功率感應(yīng)器(功率計)使用主板的帶外管理模塊(BMC)直接讀取。該方式的優(yōu)點是簡單直接，缺點是精度受限，目前只能達(dá)到十一10％，而且必須將功率傳感器布置在電源AC端，由于刀片服務(wù)器采用共享電源無法探測每個刀片的功率，所以不能支持刀片服務(wù)器。另一種手段是服務(wù)器生產(chǎn)廠家在服務(wù)器生產(chǎn)之后標(biāo)定各種負(fù)載條件下的服務(wù)器功率，用戶使用時打開節(jié)點上的監(jiān)控軟件，就能夠估算出節(jié)點的功率，只要廠家標(biāo)定的負(fù)載樣本足夠多就可以實現(xiàn)較高的精度，同時，由于采用軟硬件結(jié)合的方式，無論是機架式還是刀片服務(wù)器均可支持。

在準(zhǔn)確的集群實時功耗監(jiān)控基礎(chǔ)之上可以計算應(yīng)用的功耗與能耗，通過對不同負(fù)載狀況集群功耗的分析可以得到應(yīng)用的有效功耗與無效功耗，如果使用了作業(yè)調(diào)度系統(tǒng)，更可以直接計算作業(yè)的能耗。

集群峰值功耗的控制

主要是基于三方面的考量：第一，集群的UPS與冷卻單元所能支撐IT設(shè)備最大功耗是決對不能超越的，因此用戶往往需要配置較多的冗余設(shè)備，而其利用率很低，如果能夠?qū)汗纳舷捱M(jìn)行控制，可以相應(yīng)的減少冗余設(shè)備數(shù)量，減少無效投資。第二，UPS與冷卻單元還對機柜的功耗密度有相應(yīng)要求，設(shè)計功耗密度太高會使成本大幅提升，設(shè)計密度過低又會造成空間利用率低下，因此需要選擇一個合適的功耗密度。以前，功耗密度只能根據(jù)服務(wù)器的額定功率確定，而這個值幾乎很難在實際應(yīng)用中達(dá)到，據(jù)此進(jìn)行設(shè)計就不可避免的造成空間的浪費以及供電與冷卻設(shè)備的過度投資。準(zhǔn)確地進(jìn)行工作組級別，機柜級別和集群級別的功耗上限調(diào)整可以明顯提升設(shè)備使用率。第三，不同種類的應(yīng)用負(fù)載特點是不同的，例如高性能計算通常CPU利用率較高，對節(jié)點間通訊延遲敏感，而互聯(lián)網(wǎng)應(yīng)用往往更關(guān)心數(shù)據(jù)的快速讀寫，CPU利用率并不很高。即便是同一應(yīng)用，其負(fù)載往往也會有大幅度的波動，下圖左側(cè)是某公司內(nèi)部郵件服務(wù)器的負(fù)載情況，右側(cè)是負(fù)載的自相關(guān)函數(shù)，可以看出負(fù)載有較明顯的周期性，根據(jù)應(yīng)用的負(fù)載特點進(jìn)行功耗上限的調(diào)整會明顯提升服務(wù)器的能效。

歷史負(fù)載分析與功耗分配策略

服務(wù)器運行的應(yīng)用一般不會頻繁改變，可以將負(fù)載與功耗的實時數(shù)據(jù)保存下來形成歷史數(shù)據(jù)，監(jiān)控系統(tǒng)據(jù)此可以自動分析負(fù)載的特點與發(fā)展趨勢并做出相應(yīng)調(diào)整?，F(xiàn)有的自動控制技術(shù)可以給出多種策略，其細(xì)節(jié)超出本文范圍，不再一一贅述，但原則上既要保證功耗分配對負(fù)載波動的快速響應(yīng)，又要避免過于頻繁的調(diào)整造成電力資源的浪費。完善的功耗分配策略可以使管理員將精力集中在對負(fù)載特點的分析上，而不用為其具體數(shù)值以及調(diào)整時間等細(xì)節(jié)耗費大量精力。如果使用了作業(yè)調(diào)度系統(tǒng)，用戶可以引入新的算法，根據(jù)集群的功耗分布對作業(yè)進(jìn)行調(diào)度，提升系統(tǒng)的能效。

熱量分布與冷卻設(shè)備控制

從上文對機房功耗分布的分析中可以看出冷卻系統(tǒng)的功耗僅次于IT設(shè)備，但事實上這部分功耗中的大部分被浪費掉了。圖一是現(xiàn)有機房進(jìn)行的三維溫度分布模擬，從中可以看出，由于負(fù)載在機房中空間上與時間上是分布不均的，造成溫度的分布也是不均勻的，有熱點(圖中紅色部分)與冷點(圖中藍(lán)色部分)，是典型的非穩(wěn)態(tài)熱力學(xué)系統(tǒng)!現(xiàn)有機房的散熱設(shè)計一般是基于熱力學(xué)穩(wěn)態(tài)系統(tǒng)進(jìn)行的，造成了大量的能源浪費，有研究表明，有效制冷量不足50％。因此，通過建立熱力學(xué)散熱模型，基于集群功耗的實時監(jiān)控數(shù)據(jù)與功耗分配策略進(jìn)行精確制冷是必然的發(fā)展方向。

集群功耗管理的發(fā)展趨勢

現(xiàn)有數(shù)據(jù)中心的各種設(shè)備大多是單獨進(jìn)行管理的，例如盤陣，服務(wù)器，UPS，空調(diào)等，筆者認(rèn)為其管理模式將向兩個方向發(fā)展，一方面要根據(jù)外部環(huán)境變化和負(fù)載的波動進(jìn)行統(tǒng)一任務(wù)調(diào)度并調(diào)節(jié)各種設(shè)備，實現(xiàn)更廣泛意義上的最優(yōu)化調(diào)度；另一方面，管理的粒度會更細(xì)，例如對每節(jié)點的任務(wù)進(jìn)行調(diào)整，對每個CPU內(nèi)核的主頻進(jìn)行單獨調(diào)整，進(jìn)行分區(qū)冷卻等。

這兩方面是相輔相成的，統(tǒng)一管理是精細(xì)管理的基礎(chǔ)，精細(xì)管理是統(tǒng)一管理的實現(xiàn)手段。