鄭明玲　蔣句平　袁遠(yuǎn)　李寶峰

摘 要：隨著超級計(jì)算機(jī)系統(tǒng)性能的提升，系統(tǒng)規(guī)模越來越大，如何高效管理這些系統(tǒng)成為高性能計(jì)算機(jī)亟待解決的關(guān)鍵問題之一.本文提出了一種針對大規(guī)模計(jì)算機(jī)的監(jiān)控管理系統(tǒng)——MMS（Monitoring and Management System）.MMS采用分布式系統(tǒng)結(jié)構(gòu)來提高監(jiān)控管理系統(tǒng)的效率；監(jiān)控信息的精細(xì)化處理降低了監(jiān)控系統(tǒng)對計(jì)算網(wǎng)絡(luò)的影響同時(shí)提高了基于web的客戶端的反應(yīng)速度；兩級異步通信機(jī)制提高了MMS系統(tǒng)數(shù)據(jù)采集效率.理論分析與實(shí)驗(yàn)結(jié)果表明MMS運(yùn)行效率高、可靠性好.

關(guān)鍵詞：大規(guī)模計(jì)算機(jī)系統(tǒng)；計(jì)算機(jī)資源管理；帶外管理；分布式系統(tǒng)結(jié)構(gòu)

中圖分類號：TP302 文獻(xiàn)標(biāo)識碼：A

隨著科學(xué)技術(shù)的進(jìn)步與發(fā)展，高性能計(jì)算的應(yīng)用領(lǐng)域越來越廣泛.復(fù)雜科學(xué)計(jì)算、天氣預(yù)報(bào)、核模擬與核應(yīng)用、基因工程、石油勘探等應(yīng)用對計(jì)算能力的需求越來越大.為了滿足這些應(yīng)用需求，高性能計(jì)算機(jī)系統(tǒng)規(guī)模不斷擴(kuò)大，性能不斷提高.隨著系統(tǒng)規(guī)模的擴(kuò)大，系統(tǒng)的可靠性、可用性面臨著越來越大的挑戰(zhàn)＼[1＼].監(jiān)控管理系統(tǒng)可以提高系統(tǒng)的可靠性和可用性，其基本功能是對大規(guī)模系統(tǒng)進(jìn)行管理與監(jiān)控，通過監(jiān)控管理系統(tǒng)可以快速了解系統(tǒng)配置、各結(jié)點(diǎn)運(yùn)行狀態(tài)、系統(tǒng)資源使用情況以及系統(tǒng)各部件的健康狀態(tài)等信息，管理員能夠根據(jù)這些信息預(yù)測、發(fā)現(xiàn)并定位故障，提高系統(tǒng)的可靠性和可用性.

隨著計(jì)算機(jī)系統(tǒng)規(guī)模的擴(kuò)大，監(jiān)控管理系統(tǒng)需要監(jiān)管的結(jié)點(diǎn)數(shù)目達(dá)到幾千甚至上萬，如何實(shí)現(xiàn)監(jiān)控管理系統(tǒng)的高效、穩(wěn)定與可擴(kuò)展是大規(guī)模計(jì)算機(jī)的監(jiān)控管理系統(tǒng)面臨的難題.本文提出了一種基于分布式的監(jiān)控管理系統(tǒng)，通過雙機(jī)熱備的管理結(jié)點(diǎn)實(shí)現(xiàn)了分布式系統(tǒng)中中間代理的管理以及數(shù)據(jù)視圖的一致性維護(hù)，獨(dú)特的數(shù)據(jù)采集以及傳輸機(jī)制實(shí)現(xiàn)了對上層web服務(wù)的支持，進(jìn)一步提高了監(jiān)控管理系統(tǒng)的效率.

湖南大學(xué)學(xué)報(bào)（自然科學(xué)版）2015年

第4期鄭明玲等：一種面向大規(guī)模計(jì)算機(jī)的監(jiān)控管理系統(tǒng)

1 相關(guān)技術(shù)

大規(guī)模計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)不同，其監(jiān)控管理軟件架構(gòu)也不盡相同.目前比較典型的集群管理軟件包括ganglia，nagios，supermon和parmon.

Ganglia＼[2＼]是UC Berkeley發(fā)起的一個(gè)開源監(jiān)控項(xiàng)目.Ganglia是目前應(yīng)用最為廣泛的集群監(jiān)控軟件之一＼[3-5＼].Ganglia能夠得到廣泛的應(yīng)用主要得益于以下三點(diǎn)：1）Ganglia是一個(gè)開源項(xiàng)目.2）Ganglia采用分級的樹狀體系結(jié)構(gòu)，該結(jié)構(gòu)使得Ganglia具有良好的可擴(kuò)展性，可支持不同規(guī)模的集群系統(tǒng).3）Ganglia采用基于XML技術(shù)的數(shù)據(jù)傳輸機(jī)制，因此監(jiān)控信息可以跨越不同的平臺(tái)進(jìn)行交互.Ganglia將結(jié)點(diǎn)劃分成不同的區(qū)域，區(qū)域內(nèi)的結(jié)點(diǎn)通過多播進(jìn)行信息交互，因此每個(gè)結(jié)點(diǎn)都維護(hù)了一張本區(qū)域內(nèi)所有結(jié)點(diǎn)狀態(tài)的列表.這種組織方式使得Ganglia在不進(jìn)行任何配置的情況下進(jìn)行結(jié)點(diǎn)的刪除與添加，但是其帶來的代價(jià)很大.首先多播導(dǎo)致監(jiān)控?cái)?shù)據(jù)占用了系統(tǒng)網(wǎng)絡(luò)帶寬，其次每個(gè)結(jié)點(diǎn)都維護(hù)了一張本區(qū)域內(nèi)的結(jié)點(diǎn)狀態(tài)表，當(dāng)區(qū)域較大時(shí)，這些全局冗余的數(shù)據(jù)的更新效率低下.

Nagios＼[6＼]是由Ethan Galstad開發(fā)的一款基于GPLv2的開源軟件，用于對系統(tǒng)運(yùn)行狀態(tài)和網(wǎng)絡(luò)信息進(jìn)行監(jiān)控，也是當(dāng)前使用廣泛的監(jiān)控軟件之一＼[7＼].其主要功能包括：網(wǎng)絡(luò)服務(wù)監(jiān)控（SMTP， POP3， HTTP， NNTP， ICMP，SNMP等）和主機(jī)資源監(jiān)控（CPU負(fù)載、硬盤利用率和系統(tǒng)日志）.Nagios與Ganglia都可用于高性能計(jì)算環(huán)境中，但是這兩者對監(jiān)控的側(cè)重點(diǎn)不同.Ganglia更多地收集監(jiān)控?cái)?shù)據(jù)并隨時(shí)跟蹤這些數(shù)據(jù)而Nagios則致力于成為一種報(bào)警機(jī)制.

Supermon＼[8＼]是美國洛斯阿拉莫斯國家高級計(jì)算實(shí)驗(yàn)室開發(fā)的一套面向linux集群的監(jiān)控系統(tǒng).集群中的每個(gè)結(jié)點(diǎn)上都運(yùn)行一個(gè)定制的內(nèi)核模塊mon，因此其信息采集效率高.Supermon依次與所有的mon進(jìn)行通信來獲取監(jiān)控信息.Supermon是監(jiān)控系統(tǒng)中的單一失效點(diǎn)，同時(shí)Supermon由于需要串行訪問所有結(jié)點(diǎn)上的mon模塊導(dǎo)致在大規(guī)模系統(tǒng)中監(jiān)控效率下降.

Parmon＼[9＼]是由印度高性能計(jì)算中心為PARMON集群開發(fā)的監(jiān)控軟件.該軟件采用c/s結(jié)構(gòu)，每個(gè)結(jié)點(diǎn)上運(yùn)行一個(gè)server程序負(fù)責(zé)本地信息收集，Client負(fù)責(zé)集中管理與信息顯示.當(dāng)系統(tǒng)規(guī)模較大時(shí)Client收集全系統(tǒng)信息需要的時(shí)間較長從而導(dǎo)致監(jiān)控軟件的實(shí)時(shí)性差.

上述管理軟件在一定規(guī)模的集群系統(tǒng)上可以高效運(yùn)行，但是當(dāng)系統(tǒng)規(guī)摸不斷擴(kuò)大時(shí)，這些管理軟件面臨如下問題，這也是大規(guī)模計(jì)算機(jī)系統(tǒng)的監(jiān)控管理所面臨的問題.

1）實(shí)時(shí)性.當(dāng)計(jì)算機(jī)系統(tǒng)規(guī)模擴(kuò)大時(shí)，監(jiān)控管理系統(tǒng)是否能夠繼續(xù)高效對系統(tǒng)進(jìn)行管理與監(jiān)控.隨著應(yīng)用需求的增長，系統(tǒng)規(guī)模擴(kuò)大、性能提高是計(jì)算機(jī)系統(tǒng)的發(fā)展趨勢.根據(jù)top500統(tǒng)計(jì)結(jié)果＼[10＼]，2012年11月發(fā)布的top500中排名第一的系統(tǒng)理論峰值27112TFlops，包括560 640個(gè)CPU核，一年后排名第一的系統(tǒng)性能提升到54902TFlops，規(guī)模擴(kuò)展到3 120 000個(gè)CPU核.系統(tǒng)性能翻了一翻，系統(tǒng)規(guī)模擴(kuò)大了5倍多.傳統(tǒng)的集中式監(jiān)控已經(jīng)無法適用于如此大規(guī)模的計(jì)算機(jī)系統(tǒng).因此如何提高監(jiān)控管理系統(tǒng)的實(shí)時(shí)性是大規(guī)模計(jì)算機(jī)系統(tǒng)監(jiān)控管理軟件面臨的問題之一.

2）可靠性.監(jiān)控管理軟件是大規(guī)模計(jì)算機(jī)系統(tǒng)可靠性運(yùn)行的保障之一，因此監(jiān)控管理系統(tǒng)自身的可靠性是首先要解決的問題.

3）完備性.目前的監(jiān)控管理軟件基本上側(cè)重于某個(gè)功能.例如Ganglia，Supermon和Permon都側(cè)重于系統(tǒng)資源的監(jiān)控，而Nagios則是側(cè)重于對異常狀態(tài)的管理.監(jiān)控管理軟件是提高大規(guī)模計(jì)算機(jī)系統(tǒng)可靠性和可用性的關(guān)鍵，因此功能完備的監(jiān)控管理軟件才能更好實(shí)現(xiàn)對大規(guī)模計(jì)算機(jī)系統(tǒng)的管理.

2 MMS系統(tǒng)組成

大規(guī)模計(jì)算機(jī)系統(tǒng)規(guī)模龐大，結(jié)點(diǎn)數(shù)目成千上萬個(gè)，系統(tǒng)設(shè)備復(fù)雜，系統(tǒng)中除了計(jì)算結(jié)點(diǎn)外還包括存儲(chǔ)設(shè)備、互連設(shè)備和基礎(chǔ)架構(gòu)（包括供電和制冷）等，因此監(jiān)控管理系統(tǒng)需要在對系統(tǒng)軟件資源管理的同時(shí)，對這些硬件設(shè)備進(jìn)行監(jiān)測與控制，實(shí)現(xiàn)一個(gè)功能完備的監(jiān)控管理系統(tǒng).

2.1 MMS系統(tǒng)功能

MMS提供了基于web的用戶訪問界面，管理員可以在遠(yuǎn)程或本地訪問MMS.MMS實(shí)現(xiàn)了對系統(tǒng)資源管理，告警信息管理和系統(tǒng)配置信息的管理，其主要功能如圖1所示.

圖1 MMS功能示意圖

Fig.1 Function of the MMS

2.1.1 系統(tǒng)配置與物理布局

監(jiān)控管理系統(tǒng)提供了一個(gè)用戶接口，通過該接口用戶可以修改系統(tǒng)配置，調(diào)整物理布局.監(jiān)控管理軟件根據(jù)用戶提供的配置信息進(jìn)行信息的獲取與查詢，同時(shí)根據(jù)用戶提供的物理布局進(jìn)行系統(tǒng)整體狀態(tài)顯示.

2.1.2 資源管理

資源管理是MMS的主要功能之一.資源管理包括軟件資源信息和硬件信息.軟件資源主要包括系統(tǒng)資源、結(jié)點(diǎn)狀態(tài)和全局存儲(chǔ)信息.系統(tǒng)資源主要包括系統(tǒng)所有結(jié)點(diǎn)的狀態(tài)和作業(yè)信息，包括結(jié)點(diǎn)是否空閑和可用、作業(yè)的運(yùn)行狀態(tài)、排隊(duì)狀態(tài)等.結(jié)點(diǎn)狀態(tài)包括單個(gè)結(jié)點(diǎn)上的可用資源例如CPU、內(nèi)存等的利用率等.全局存儲(chǔ)信息主要顯示全局存儲(chǔ)資源的使用和健康狀態(tài).硬件信息主要包括電壓、溫度、風(fēng)扇等信息、運(yùn)行環(huán)境相關(guān)信息和系統(tǒng)功耗管理.系統(tǒng)管理員通過監(jiān)控管理軟件可以了解系統(tǒng)當(dāng)前的健康狀況、使用情況和功耗及運(yùn)行環(huán)境狀態(tài).

2.1.3 告警信息

告警信息收集了全系統(tǒng)的告警信息包括軟件資源和硬件模塊的告警信息.

2.2 MMS系統(tǒng)結(jié)構(gòu)

MMS采用分布式系統(tǒng)結(jié)構(gòu)，如圖2所示.MMS系統(tǒng)分為3個(gè)層次.底層結(jié)點(diǎn)由所有的被管理設(shè)備組成，中間層包括多個(gè)中間代理，最頂層是兩個(gè)管理結(jié)點(diǎn).最底層的每個(gè)結(jié)點(diǎn)上運(yùn)行一個(gè)信息采集模塊daemon，負(fù)責(zé)采集結(jié)點(diǎn)的資源信息，包括結(jié)點(diǎn)配置、結(jié)點(diǎn)資源（CPU、內(nèi)存、網(wǎng)絡(luò)、本地存儲(chǔ)等）使用情況，結(jié)點(diǎn)負(fù)載，結(jié)點(diǎn)的用戶及進(jìn)程等相關(guān)信息.OOBmon是結(jié)點(diǎn)的帶外監(jiān)控程序，負(fù)責(zé)一個(gè)或多個(gè)結(jié)點(diǎn)的硬件狀態(tài)監(jiān)控.OOBmon和daemon采集到的信息發(fā)送到對應(yīng)的client.在圖2中，帶箭頭的實(shí)線表示數(shù)據(jù)通過計(jì)算網(wǎng)絡(luò)進(jìn)行傳輸，帶箭頭的虛線表示數(shù)據(jù)通過監(jiān)控管理網(wǎng)絡(luò)進(jìn)行傳輸.從圖2可以看出daemon與client之間的通信需要經(jīng)過計(jì)算網(wǎng)絡(luò)，對計(jì)算網(wǎng)絡(luò)帶來一定的影響.而OOBmon與client之間通過專用的監(jiān)控管理網(wǎng)絡(luò)進(jìn)行互連，因此帶外管理對系統(tǒng)性能沒有影響.Client是中間代理模塊，負(fù)責(zé)接收來自所管轄范圍內(nèi)結(jié)點(diǎn)信息采集模塊發(fā)送的信息.雙機(jī)熱備的兩個(gè)管理結(jié)點(diǎn)負(fù)責(zé)管理中間代理同時(shí)向用戶提供基于web的人機(jī)交互界面.中間代理和管理結(jié)點(diǎn)上都使用mysql數(shù)據(jù)庫來存儲(chǔ)信息.

2.2.1 結(jié)點(diǎn)信息采集模塊

結(jié)點(diǎn)信息采集模塊包括帶內(nèi)daemon和帶外OOBmon模塊.Daemon運(yùn)行在結(jié)點(diǎn)上，負(fù)責(zé)采集本地信息.Daemon將采集到的信息分成兩類.其中一類是靜態(tài)信息，主要是系統(tǒng)配置信息，例如：CPU的型號、內(nèi)存的型號及容量，網(wǎng)絡(luò)理論帶寬和本地存儲(chǔ)容量等信息.另一類是動(dòng)態(tài)信息，包括CPU、內(nèi)存和網(wǎng)絡(luò)利用率，作業(yè)負(fù)載等動(dòng)態(tài)變化的信息.因?yàn)楦淖兘Y(jié)點(diǎn)配置時(shí)通常情況下需要重新啟動(dòng)結(jié)點(diǎn)才能生效，此時(shí)daemon程序也將被重啟，所以只有在daemon程序每次重啟之后進(jìn)行一次靜態(tài)信息采集.Daemon工作流程如圖3所示.Daemon啟動(dòng)后，等待接收來自中間代理的信息，然后開始查詢.將查詢的靜態(tài)信息和首次查詢（包括daemon啟動(dòng)后的第一次和中間代理發(fā)生變化后的第一次查詢）的動(dòng)態(tài)信息發(fā)送到中間代理，后續(xù)的查詢只針對動(dòng)態(tài)信息.動(dòng)態(tài)信息查詢的結(jié)果與上次的狀態(tài)進(jìn)行比較，標(biāo)記發(fā)生了變化的信息，將信息采集結(jié)果以及比較結(jié)果存放到公共數(shù)據(jù)區(qū).中間代理在查詢過程中只需要訪問公共數(shù)據(jù)區(qū)即可.中間代理和結(jié)點(diǎn)之間只傳輸發(fā)生了變化的數(shù)據(jù).這種策略減少了計(jì)算網(wǎng)絡(luò)上傳輸?shù)谋O(jiān)控管理數(shù)據(jù)量，從而降低對計(jì)算網(wǎng)絡(luò)的影響.

圖2 監(jiān)控系統(tǒng)結(jié)構(gòu)

Fig.2 The architectureof the MMS

圖3 Daemon工作流程

Fig.3 Work flow of the daemon

Daemon首次傳輸?shù)臄?shù)據(jù)結(jié)構(gòu)如圖4所示，數(shù)據(jù)包括了所有的信息以及心跳標(biāo)志位.后續(xù)的數(shù)據(jù)格式與圖4中的相同，只是totalnum<=n，因?yàn)闆]有變化的狀態(tài)數(shù)據(jù)不需要傳輸.Heartbit位是每次傳輸?shù)臄?shù)據(jù)中必須包含的，其取值范圍是0或1.Heartbit位由daemon程序進(jìn)行更新，daemon在比較數(shù)據(jù)時(shí)，將上次的heartbit位取反作為本次查詢的heartbit值.中間代理通過heartbit位來判斷daemon的狀態(tài).

OOBmon是帶外監(jiān)控模塊.硬件監(jiān)控一般由結(jié)點(diǎn)上的嵌入式系統(tǒng)來實(shí)現(xiàn).大規(guī)模計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)不同，硬件監(jiān)控的實(shí)現(xiàn)方式有所不同.在松散耦合的機(jī)群系統(tǒng)中，通常情況下每個(gè)結(jié)點(diǎn)上都會(huì)有一個(gè)監(jiān)控模塊.該監(jiān)控模塊上運(yùn)行嵌入式系統(tǒng)，硬件監(jiān)控信息的采集以及對硬件的控制都是通過監(jiān)控模塊來實(shí)現(xiàn)的.在緊耦合系統(tǒng)中，通常多個(gè)緊耦合的結(jié)點(diǎn)共用一個(gè)監(jiān)控模塊.OOBmon運(yùn)行在監(jiān)控模塊上，實(shí)現(xiàn)了對單個(gè)或多個(gè)結(jié)點(diǎn)的監(jiān)控與管理，通過專用的監(jiān)控管理網(wǎng)絡(luò)將信息傳輸?shù)街虚g代理模塊.OOBmon對結(jié)點(diǎn)和系統(tǒng)網(wǎng)絡(luò)性能沒有任何影響.通過帶內(nèi)和帶外兩種方式都可以采集到的信息例如CPU溫度、結(jié)點(diǎn)溫度等全部由帶外渠道進(jìn)行采集與傳輸.

圖4 Daemon與中間代里之間傳輸?shù)臄?shù)據(jù)結(jié)構(gòu)

Fig.4 Data structure transferred between daemon and client

2.2.2 中間代理

中間代理層由多個(gè)中間代理組成.每個(gè)中間代理負(fù)責(zé)所屬分區(qū)內(nèi)結(jié)點(diǎn)的監(jiān)控.如圖5所示，中間代理包括4個(gè)功能模塊.結(jié)點(diǎn)監(jiān)聽模塊負(fù)責(zé)接收來自結(jié)點(diǎn)的靜態(tài)信息和首次查詢的動(dòng)態(tài)信息.信息組播模塊定時(shí)向所屬分區(qū)內(nèi)的結(jié)點(diǎn)發(fā)送中間代理的相關(guān)信息，保證故障結(jié)點(diǎn)恢復(fù)后知道自己所在分區(qū).查詢模塊定時(shí)對所屬結(jié)點(diǎn)進(jìn)行動(dòng)態(tài)信息查詢，將查詢的信息存儲(chǔ)到本地?cái)?shù)據(jù)庫.在數(shù)據(jù)存儲(chǔ)之前判斷本次讀取的數(shù)據(jù)中的heartbit位是否與數(shù)據(jù)庫中的相同.如果相同表示結(jié)點(diǎn)上的daemon程序沒有更新動(dòng)態(tài)信息，從而判斷daemon故障，需要重啟結(jié)點(diǎn)上的daemon程序.中間代理采用在本地?cái)?shù)據(jù)庫中設(shè)置一個(gè)heartbit位，heartbit位的取值為0或1，查詢模塊在對所管轄范圍內(nèi)的結(jié)點(diǎn)查詢結(jié)束后將heartbit位取反并存儲(chǔ)到數(shù)據(jù)庫中.管理結(jié)點(diǎn)通過該位來判斷中間代理的狀態(tài).管理結(jié)點(diǎn)訪問接口監(jiān)聽來自管理結(jié)點(diǎn)的查詢，接收到查詢請求后從數(shù)據(jù)庫讀取信息并發(fā)送到管理結(jié)點(diǎn).

圖5 中間代理的組織結(jié)構(gòu)

Fig.5 The structure of the client

2.2.3 管理結(jié)點(diǎn)

管理結(jié)點(diǎn)主要功能包括：向用戶提供基于web的監(jiān)控界面，報(bào)警信息的接收、處理和轉(zhuǎn)發(fā)以及中間代理管理.

管理結(jié)點(diǎn)提供了基于web的監(jiān)控服務(wù)，用戶通過瀏覽器可以實(shí)現(xiàn)系統(tǒng)的遠(yuǎn)程和本地監(jiān)控.管理結(jié)點(diǎn)上的報(bào)警信息處理模塊負(fù)責(zé)接收系統(tǒng)內(nèi)所有的報(bào)警消息，對報(bào)警消息進(jìn)行解析并存儲(chǔ)到數(shù)據(jù)庫，同時(shí)將報(bào)警消息發(fā)送到客戶端.

管理結(jié)點(diǎn)上的狀態(tài)查詢服務(wù)定時(shí)從中間代理讀取狀態(tài)信息和中間代理上的heartbit位，并根據(jù)查詢結(jié)果判斷中間代理的健康狀態(tài).查詢失敗或者查詢到數(shù)據(jù)庫中的heartbit位沒有變化，進(jìn)行重試，超過設(shè)定的重試次數(shù)后判定代理故障.管理結(jié)點(diǎn)對系統(tǒng)重新進(jìn)行分區(qū)劃分，并通知所有代理.中間代理向所屬區(qū)域的結(jié)點(diǎn)進(jìn)行組播通知結(jié)點(diǎn)所在區(qū)域的中間代理發(fā)生了變化，從而實(shí)現(xiàn)故障代理的無縫屏蔽.管理結(jié)點(diǎn)通過查詢將所有代理上的本地?cái)?shù)據(jù)讀取到管理結(jié)點(diǎn)進(jìn)行集中式管理，并形成統(tǒng)一的用戶視圖.遠(yuǎn)程用戶只需要訪問管理結(jié)點(diǎn)即可獲取全系統(tǒng)的狀態(tài)，因此中間代理對用戶是透明的.

系統(tǒng)中的兩個(gè)管理結(jié)點(diǎn)利用結(jié)點(diǎn)心跳（heartbeat）機(jī)制來實(shí)現(xiàn)雙機(jī)熱備.兩個(gè)管理結(jié)點(diǎn)采用masterslave模式，運(yùn)行時(shí)master管理結(jié)點(diǎn)負(fù)責(zé)監(jiān)控管理功能，當(dāng)slave管理結(jié)點(diǎn)檢測到master故障后，啟動(dòng)本地的監(jiān)控服務(wù).而兩臺(tái)管理結(jié)點(diǎn)上的數(shù)據(jù)庫的備份利用mysql數(shù)據(jù)庫的replication功能實(shí)現(xiàn)dualmaster模式復(fù)制架構(gòu).Dualmaster模式保證兩個(gè)管理點(diǎn)之間的mysql數(shù)據(jù)庫迅速完成切換，減少停機(jī)時(shí)間.當(dāng)slave檢測到master恢復(fù)正常后，將功能移交給master.

3 監(jiān)控系統(tǒng)性能分析

MMS實(shí)現(xiàn)了針對大規(guī)模計(jì)算機(jī)系統(tǒng)全面的監(jiān)控與管理，包括系統(tǒng)配置、系統(tǒng)軟件資源、系統(tǒng)硬件狀態(tài)和系統(tǒng)異常狀態(tài)的實(shí)時(shí)監(jiān)測，同時(shí)還實(shí)現(xiàn)了進(jìn)一步的能耗控制與指導(dǎo).

3.1 功能完備性

MMS具備了ganglia和nagios二者兼有的功能，實(shí)現(xiàn)了對系統(tǒng)的監(jiān)控與管理和系統(tǒng)異常信息管理.MMS還集成了對運(yùn)行環(huán)境的監(jiān)控包括電源和制冷系統(tǒng)，從而支持系統(tǒng)功耗的深度控制.系統(tǒng)功耗控制可以在計(jì)算結(jié)點(diǎn)級進(jìn)行也可以在資源管理一級進(jìn)行.結(jié)點(diǎn)級的功耗控制主要是在系統(tǒng)空閑時(shí)CPU降頻或者關(guān)閉某些部件.資源管理級的功耗控制可以根據(jù)系統(tǒng)負(fù)載以及作業(yè)的排隊(duì)信息來指導(dǎo)哪些結(jié)點(diǎn)可以運(yùn)行在省電模式甚至休眠模式.這兩級的功耗控制是目前大部分監(jiān)控管理系統(tǒng)都實(shí)現(xiàn)了的.MMS可以根據(jù)當(dāng)前結(jié)點(diǎn)的狀態(tài)進(jìn)行運(yùn)行環(huán)境的控制從而進(jìn)一步達(dá)到節(jié)能目的.資源管理指導(dǎo)部分結(jié)點(diǎn)進(jìn)入省電模式后，MMS根據(jù)區(qū)域內(nèi)的溫度信息逐步調(diào)整該區(qū)域的制冷設(shè)備，從而實(shí)現(xiàn)進(jìn)一步的系統(tǒng)能耗調(diào)控.

3.2 實(shí)時(shí)性

集中式監(jiān)控實(shí)現(xiàn)過程簡單，而其在小規(guī)模系統(tǒng)上運(yùn)行高效＼[11＼]，但是在大規(guī)模系統(tǒng)中，無論是實(shí)時(shí)性還是可靠性上都存在缺陷.在集中式監(jiān)控系統(tǒng)中，管理結(jié)點(diǎn)獲取信息的方式有兩種：輪詢或被管理設(shè)備主動(dòng)上報(bào).隨著系統(tǒng)規(guī)模的擴(kuò)大，采用輪詢獲取結(jié)點(diǎn)信息會(huì)導(dǎo)致查詢時(shí)間過長.如果采用被管理設(shè)備主動(dòng)上報(bào)，則管理結(jié)點(diǎn)同時(shí)接收來自幾千甚至上萬個(gè)設(shè)備的信息，會(huì)導(dǎo)致丟包現(xiàn)象嚴(yán)重.因此集中式監(jiān)控系統(tǒng)不適于大規(guī)模計(jì)算機(jī)系統(tǒng).MMS采用分布式結(jié)構(gòu)將大規(guī)模計(jì)算機(jī)系統(tǒng)分而治之，從而提高了監(jiān)控效率.在分布式系統(tǒng)中，信息的整合和中間代理的管理成為分布式系統(tǒng)的難點(diǎn).易昭華等人＼[12＼]提出了一種冗余的代理機(jī)制，并采用異步通信方式實(shí)現(xiàn)了監(jiān)控管理的高效運(yùn)行，該監(jiān)控系統(tǒng)將中間代理的選擇交給了唯一的控制臺(tái)，因此控制臺(tái)是單一失效點(diǎn).文獻(xiàn)＼[13＼]增加了一個(gè)LDAP目錄服務(wù)器來實(shí)現(xiàn)對分布式數(shù)據(jù)的管理，使得監(jiān)控系統(tǒng)具有良好的可擴(kuò)展性，但是沒有考慮系統(tǒng)的實(shí)時(shí)性.文獻(xiàn)＼[14＼]采用了基于聯(lián)邦的數(shù)據(jù)公告來管理這些分布式數(shù)據(jù)，管理協(xié)議復(fù)雜而其管理的只是臨時(shí)性的數(shù)據(jù).在MMS中，中間代理將收集到的信息存儲(chǔ)在本地，代理之間是獨(dú)立的.管理結(jié)點(diǎn)通過查詢將代理上的本地?cái)?shù)據(jù)集中存儲(chǔ)到管理結(jié)點(diǎn)，同時(shí)在查詢過程中通過heartbit位實(shí)現(xiàn)代理的管理，與文獻(xiàn)＼[12-14＼]相比，其實(shí)現(xiàn)復(fù)雜度低、效率高.

在監(jiān)控系統(tǒng)運(yùn)行過程中，通過減小傳輸?shù)臄?shù)據(jù)量來提高監(jiān)控系統(tǒng)的實(shí)時(shí)性.結(jié)點(diǎn)上的信息采集模塊將數(shù)據(jù)分為靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù).靜態(tài)數(shù)據(jù)的采樣頻率低，動(dòng)態(tài)數(shù)據(jù)采樣頻率高.對采集到的動(dòng)態(tài)數(shù)據(jù)與前一次的進(jìn)行比較，如果數(shù)據(jù)沒有變換則不需要進(jìn)行數(shù)據(jù)傳輸.因此中間代理大部分時(shí)間只需要查詢發(fā)生相對變化的信息.監(jiān)控系統(tǒng)中的這種數(shù)據(jù)傳輸模式不僅減少了系統(tǒng)計(jì)算網(wǎng)絡(luò)上的監(jiān)控報(bào)文量而且還提高了web服務(wù)中客戶端的反應(yīng)速度.在大規(guī)模系統(tǒng)中，系統(tǒng)級的顯示界面上包含的信息大，如果采用傳統(tǒng)的方式，把所有狀態(tài)更新一遍，用戶感知到的延遲很大.如果只是更新發(fā)生了變化的狀態(tài)，其延遲將會(huì)大大降低.因此MMS采用的數(shù)據(jù)采集及傳輸機(jī)制為用戶界面的實(shí)時(shí)刷新提供了支撐.

本文對動(dòng)態(tài)數(shù)據(jù)的處理方式是根據(jù)大規(guī)模計(jì)算機(jī)系統(tǒng)的使用統(tǒng)計(jì)提出的.表1給出了運(yùn)行在天津超算中心的天河系統(tǒng)上的作業(yè)運(yùn)行統(tǒng)計(jì)信息.表1統(tǒng)計(jì)的是3個(gè)月內(nèi)天河系統(tǒng)上的作業(yè)運(yùn)行時(shí)長及所占比例.從表1可以看出作業(yè)的平均運(yùn)行時(shí)間低于5小時(shí)的作業(yè)占所有作業(yè)的8.9%，而且這些作業(yè)中最短運(yùn)行時(shí)間為40分鐘.系統(tǒng)負(fù)載變化頻率較低，所以軟件資源利用率變化頻率較低.因此監(jiān)控系統(tǒng)對動(dòng)態(tài)數(shù)據(jù)采用處理方式可以提高監(jiān)控系統(tǒng)的運(yùn)行效率，降低對計(jì)算網(wǎng)絡(luò)的影響.

在MMS中，監(jiān)控信息的采集是通過兩級異步通信來實(shí)現(xiàn)的.在結(jié)點(diǎn)上daemon負(fù)責(zé)將查詢的信息存放到公共數(shù)據(jù)區(qū)，client直接從公共數(shù)據(jù)區(qū)讀取數(shù)據(jù)，這是第一級異步傳輸.Client將從結(jié)點(diǎn)查詢到的數(shù)據(jù)存放到本地?cái)?shù)據(jù)庫，管理結(jié)點(diǎn)從client本地?cái)?shù)據(jù)庫讀取最新的信息，這是第二級異步傳輸.與同步通信相比，第一級異步傳輸隱藏了daemon的查詢時(shí)間，第二級異步傳輸則是隱藏了client對所有結(jié)點(diǎn)的查詢過程.MMS采用的異步通信機(jī)制的效率要遠(yuǎn)遠(yuǎn)高于同步通信機(jī)制.圖6給出了在天河系統(tǒng)上MMS數(shù)據(jù)采集效率與采用同步通信機(jī)制時(shí)的數(shù)據(jù)采集效率的比較.在實(shí)驗(yàn)驗(yàn)證過程中設(shè)置了6個(gè)中間代理.MMS數(shù)據(jù)采集效率具有明顯的優(yōu)勢.理想情況下MMS的數(shù)據(jù)采集時(shí)間與系統(tǒng)規(guī)模成線性關(guān)系，但是實(shí)驗(yàn)結(jié)果表明，隨著系統(tǒng)規(guī)模的擴(kuò)大，MMS數(shù)據(jù)采集需要的時(shí)間越來越長.這主要是由于隨著規(guī)模的擴(kuò)大，代理數(shù)目不變，client對所有結(jié)點(diǎn)的查詢時(shí)間無法在第二級異步傳輸過程中完全隱藏.

3.3 可靠性

分布式監(jiān)控系統(tǒng)提高了監(jiān)控系統(tǒng)的實(shí)時(shí)性，但是分布式監(jiān)控系統(tǒng)中代理的管理是保證監(jiān)控系統(tǒng)可靠性的關(guān)鍵.在MMS中，中間代理由管理結(jié)點(diǎn)進(jìn)行管理的，避免了傳統(tǒng)分布式系統(tǒng)中通過復(fù)雜協(xié)議來保證各代理上信息的一致性.兩個(gè)管理結(jié)點(diǎn)之間的熱備避免了分布式系統(tǒng)中的單點(diǎn)故障，從而保證MMS自身的可靠性.

4 結(jié)束語

本文提出了一種針對大規(guī)模計(jì)算機(jī)的高效和高可靠的監(jiān)控管理系統(tǒng).監(jiān)控管理系統(tǒng)采用分布式結(jié)構(gòu)，雙機(jī)熱備的管理結(jié)點(diǎn)實(shí)現(xiàn)了多個(gè)中間代理之間的數(shù)據(jù)與視圖的一致性，避免了傳統(tǒng)分布式系統(tǒng)中各種復(fù)雜通信協(xié)議.特殊的動(dòng)態(tài)數(shù)據(jù)處理機(jī)制降低了監(jiān)控管理信息對計(jì)算網(wǎng)絡(luò)帶來的影響同時(shí)提高了遠(yuǎn)程客戶端的反應(yīng)速度.

參考文獻(xiàn)

[1] 黃偉， 詹劍鋒， 樊建平. DCFTKernel：一種基于組服務(wù)的機(jī)群容錯(cuò)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)研究與發(fā)展， 2005， 42（6）：993-999.

HUANG Wei， ZHAN Jianfeng， FAN Jianping. DCFTKernel： afaulttolerant cluster middleware based on group service[J]. Journal of Computer Research and Development， 2005， 42（6）：993-999.（In Chinese）

[2] MATTHEW L M， BRENT N C， DAVID E C. The ganglia distributed monitoring system： design， implementation and experience[J].Parallel Computing，2004，30（7）：817-840.

[3] WEI Wenguo， DONG Shoubin， ZHANG Ling， et al. An improved ganglialike clusters monitoring system[C]//The 2th International Workshop on Grid and Cooperative Computing.2004：89-96.

[4] SACERDOTI F D， KATZ M J， MASSIE M L， et al. Wide area cluster monitoring with ganglia[C]//Proceedings of the IEEE Cluster Conference.2003：289-298.

[5] LIU Qingkun， SUN Aiting. Faulttolerant cluster monitoring system[J]. Computer Engineering and Design， 2010， 32（21）：4599-4602.

[6] NAGIOS. http：//www.nagios.org/

[7] EMIR I， DOBRISA D.Grid infrastructure monitoring system based on nagios[C]//Proceedings of the 2007 Workshop on Grid Monitoring. 2007：23-28.

[8] MATTHEW J S， RONALD G M. Supermon： a highspeed cluster monitoring system[C]//Proceedings of the International Conference on Cluster Computing. 2002：39-46.

[9] BUYYA R. PARMON： a portable and scalable monitoring system for clusters[J]. Software Practice and Experience Journal， 2000， 30（7）：723-739.

[10]TOP500. http：//www.top500.org/

[11]LI Min， ZHANG Yisheng. HPC cluster monitoring system architecture design and implement[C]//The Second International Conference on Intelligent Computation Technology and Automation. 2009：325-327.

[12]易昭華， 金正操， 杜曉黎.大規(guī)模機(jī)群監(jiān)控系統(tǒng)數(shù)據(jù)采集通信模型和通信協(xié)議的研究[J]. 計(jì)算機(jī)工程與應(yīng)用， 2004， 35：116-118

YI Zhaohua， JIN Zhengcao， DU Xiaoli. Research into large scale cluster monitoring system data gathering communication model and communication protocol[J]. Computer Engineering and Applications， 2004， 35：116-118.（In Chinese）

[13]范勇， 馬梅， 楊大鑒.可擴(kuò)展機(jī)群資源監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用， 2003， 26：150-152.

FAN Yong， MA Mei， YANG Dajian. Design and implementation of a scalable cluster monitoring system[J]. Computer Engineering and Applications， 2003， 26：150-152. （In Chinese）

[14]陳熠，孟丹，詹劍鋒，等. 基于聯(lián)邦的數(shù)據(jù)公告的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用， 2004， 25：107-110.

CHEN Yi， MENG Dan， ZHAN Jianfeng， et al. The design and implementation of federated data bulletin service[J]. Computer Engineering and Applications， 2004， 25：107-110. （In Chinese）