嚴代彪

本文針對數(shù)據(jù)中心的特點，以智能化運維管理為目標，提出了數(shù)據(jù)中心智能運維管理方案，設計了運維門戶及展示管理、運維資產(chǎn)配置管理、運維服務管理、運維監(jiān)控監(jiān)測告警管理、運維自動化管理及開放接口管理等主要內(nèi)容，為數(shù)據(jù)中心智能運維管理系統(tǒng)建設提供指導。

云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)及人工智能等新一代信息技術(shù)蓬勃發(fā)展，數(shù)據(jù)中心的規(guī)劃、設計、建設和運維呈現(xiàn)出綠色節(jié)能、向資本效率轉(zhuǎn)型、智能化和智能運維管理等特點。隨著信息化進程的日漸深化，智能化運維在數(shù)據(jù)中心的作用已經(jīng)不僅限于基礎(chǔ)設施的建設、應用及工具的維護，數(shù)據(jù)中心業(yè)務對智能化運維的依賴程度越來越大，這決定了智能化運維已經(jīng)成為數(shù)據(jù)中心價值鏈中不可或缺的重要一環(huán)。本文針對數(shù)據(jù)中心的發(fā)展趨勢和特點，以智能化運維管理為目標，提出了數(shù)據(jù)中心智能運維管理方案，設計了智能運維門戶及展示管理、運維資產(chǎn)配置管理、運維服務管理、運維監(jiān)控監(jiān)測告警管理、運維自動化管理及開放接口管理等主要內(nèi)容，為數(shù)據(jù)中心智能運維管理系統(tǒng)建設提供指導。

數(shù)據(jù)中心面臨的挑戰(zhàn)

管理角度

首先就是經(jīng)濟性，包括網(wǎng)絡資源、空間資源和動環(huán)資源如何有效地利用，以及縮減能源和維護人員的運行費用；其次是靈活性方面，包括如何識別和降低過度部署和冗余、靈活擴展空間、制冷和供電容量，及更快地響應業(yè)務；第三就是可用性方面，如何實現(xiàn)精細化管理、及時排除隱患、處理復雜故障以及實現(xiàn)動態(tài)資源管理；第四就是管理性方面，如何進行有效地數(shù)據(jù)分析支撐決策和規(guī)劃、實現(xiàn)系統(tǒng)一體化、系統(tǒng)統(tǒng)一協(xié)作和快速響應、滿足大客戶服務等級協(xié)議（SLA）和自服務管理等。

技術(shù)角度

首先面臨的挑戰(zhàn)就是運維海量數(shù)據(jù)的存儲、分析和處理問題。運維人員必須隨時掌握服務器的運行狀況，除了常規(guī)的服務器配置、資源占用情況等信息外，業(yè)務在運行時會產(chǎn)生大量的日志、異常、告警和狀態(tài)報告等事件。通常每臺服務器每個時刻都會產(chǎn)生大量這樣的事件，在有數(shù)萬臺服務器的場合下，每天產(chǎn)生的事件數(shù)量是數(shù)億萬計，存儲量在TB級別的。數(shù)據(jù)中心的服務器規(guī)模往往比較大，如何統(tǒng)一、自動化處理這些事件的需求很強烈，畢竟登錄查看日志這種方式效率很低，而當前的監(jiān)控軟件只能收集和處理眾多事件中的一部分，當服務器數(shù)量多了以后，其擴展能力、二次開發(fā)能力非常有限。

其次面臨的挑戰(zhàn)是多維度、多數(shù)據(jù)源的復雜性問題。多維度數(shù)據(jù)不僅包括常用的時間、地點（哪個服務器或組件）、內(nèi)容（錯誤碼或狀態(tài)值），還應當包括地區(qū)、機房、服務池、業(yè)務線、服務和接口等，而數(shù)據(jù)分析人員則需要使用各種維度、組合各種指標來生成報告、告警規(guī)章及Dashboard等。如何從異構(gòu)的數(shù)據(jù)源獲取數(shù)據(jù)，還要考慮當其中某個數(shù)據(jù)源失效、服務延遲時，能否不影響整個系統(tǒng)的穩(wěn)定性。多數(shù)據(jù)源還有一個關(guān)鍵問題就是如何做到數(shù)據(jù)和展現(xiàn)分離，如果展現(xiàn)和數(shù)據(jù)的契合度太高，那么隨便一點變更就會導致前端界面展現(xiàn)部分的更改，帶來的工作量會非常大。

第三個技術(shù)挑戰(zhàn)就是復雜業(yè)務模型下的故障定位。業(yè)務模型（或系統(tǒng)部署結(jié)構(gòu)）復雜帶來的最直接影響就是定位故障很困難，發(fā)現(xiàn)根源問題成本較高，需要多部門合作，開發(fā)、運維人員相互配合分析（現(xiàn)在的大規(guī)模系統(tǒng)很難找到一個能掌控全局的人），即使這樣有時得出的結(jié)論也不見得各方都認可。在復雜、異構(gòu)和各種技術(shù)混雜的業(yè)務系統(tǒng)中，如果想發(fā)現(xiàn)問題并定位故障，在各個系統(tǒng)中就必須有一個可追蹤、有共性的東西。然而，在現(xiàn)實中若想用某個體系來“一統(tǒng)天下”基本不可能，因為各種非技術(shù)因素可能會讓這種努力一直停留在規(guī)劃階段，尤其是大公司，部門之間的鴻溝是技術(shù)人員無法跨越的。

因此，面對以上挑戰(zhàn)，數(shù)據(jù)中心應建設“集中化運維、一體化管理、智能化分析、流程化控制”的智能運維管理系統(tǒng)，才能實現(xiàn)智能化運維的管理目標，減少運維人員和維護成本，優(yōu)化資源管理，從整體上提高智能化運維系統(tǒng)運行協(xié)調(diào)性、安全性和資源共享性，發(fā)揮信息化建設的最大效益。

總體設計

總體原則

智能運維管理方案立足體系建設的角度進行設計，總體原則遵循以下4個方面：

以完善的運維服務制度、流程為基礎(chǔ)

為保障運行維護工作的質(zhì)量和效率，應制定相對完善、切實可行的運行維護管理制度和規(guī)范，確定各項運維活動的標準流程和相關(guān)崗位設置等，使運維人員在制度與流程的規(guī)范和約束下協(xié)同操作。

以先進、成熟的運維管理平臺為手段

通過建立統(tǒng)一、集成、開放并可擴展的運維管理平臺，實現(xiàn)對各類運維事件的全面采集、及時處理與合理分析，實現(xiàn)運行維護工作的智能化和高效化。

以高素質(zhì)的運維服務隊伍為保障

運維服務的順利實施離不開高素質(zhì)的運維服務人員，因此必須不斷提高運維服務隊伍的專業(yè)化水平，才能有效利用技術(shù)手段和工具，做好各項運維工作。

以智能化運維管理為目的

智能化運維管理需要實現(xiàn)智能監(jiān)控、智能檢測配置變更以及智能提示3個主要功能，自動提示報警信息，自動觸發(fā)智能運維變更流程，方便運維管理人員及時采取應對措施。

2.總體架構(gòu)

數(shù)據(jù)中心運行智能運維管理系統(tǒng)由基礎(chǔ)設施運維、支撐服務運維、應用系統(tǒng)運維和安全防護系統(tǒng)運維4部分組成，針對數(shù)據(jù)中心建立的網(wǎng)絡設備、計算設備、存儲設備和安全防護設備等進行設備管控，同時對操作系統(tǒng)、數(shù)據(jù)庫和中間件等基礎(chǔ)軟件，以及一體化探測網(wǎng)絡應用軟件、數(shù)據(jù)傳輸系統(tǒng)應用軟件、信息處理與服務系統(tǒng)應用軟件等提供軟件運行實時監(jiān)測，智能運維管理系統(tǒng)總體架構(gòu)如圖1所示。

資源層

是數(shù)據(jù)中心中所有的IT資源，是運維服務的主要對象，包括基礎(chǔ)動力環(huán)境、網(wǎng)絡通信資源、計算存儲資源、云資源和應用業(yè)務系統(tǒng)資源。

服務層

包括資源接入服務、數(shù)據(jù)資源及數(shù)據(jù)支撐服務和共用的支撐服務。資源接入服務提供各種類型資源的接入功能，負責對資源的運行數(shù)據(jù)進行采集、控制等。數(shù)據(jù)資源及數(shù)據(jù)支撐服務負責對資源的基礎(chǔ)信息、資源狀態(tài)、性能和容量等數(shù)據(jù)進行采集、存儲、管理和分析等。共用服務的基礎(chǔ)支撐軟件是構(gòu)建系統(tǒng)所需基礎(chǔ)軟件運行支撐、規(guī)范信息交換流程、提升系統(tǒng)間數(shù)據(jù)互聯(lián)互通互操作的能力，提供系統(tǒng)運行、集成手段的基礎(chǔ)軟件系統(tǒng)，為運行管理保障系統(tǒng)各業(yè)務應用軟件的研制與綜合集成提供共性基礎(chǔ)支撐。

監(jiān)控監(jiān)測告警

主要通過各種管理協(xié)議和管理接口適配，實現(xiàn)各類管理對象的管理信息采集和運行狀態(tài)感知，收集高質(zhì)量、可信和準確及時的信息，提供對上層運維服務的支撐，保障業(yè)務流程的有效運行，所管理的對象包括：網(wǎng)絡、服務器、存儲、安全、機房動力環(huán)境及應用服務系統(tǒng)等。

運維服務管理

是為使服務達到其質(zhì)量目標而以確定的方式實施的一系列規(guī)范化管理服務。運維服務管理流程從流程的目標和范圍、流程的觸發(fā)、流程的輸入和輸出、流程與其他流程的關(guān)系、流程的活動、流程的參考設計、流程中的角色和職責以及流程的關(guān)鍵度量指標等方面對流程進行定義。

資源配置管理

主要包括資產(chǎn)管理和CMDB配置管理，資產(chǎn)管理服務是提供資源基礎(chǔ)信息、配置信息等管理；

運維自動化管理

為管理人員提供運維自動化能力，提供批量調(diào)度執(zhí)行運維任務，簡化運維工作，應對大量簡單重復運維動作，比如系統(tǒng)批量補丁升級。

統(tǒng)一門戶及展現(xiàn)管理

提供統(tǒng)一的綜合運維平臺入口，使運維人員能夠基于統(tǒng)一的整合管理界面，進行運維管理的信息查詢和相關(guān)操作。

組成功能

通過對運維體系的分析，依托業(yè)界現(xiàn)有運維相關(guān)的小工具小系統(tǒng)，本文提出了一體化數(shù)據(jù)中心智能運維管理系統(tǒng)的方案，主要包括綜合門戶系統(tǒng)、資產(chǎn)配置管理系統(tǒng)、健康監(jiān)測系統(tǒng)、運維自動化系統(tǒng)、運維服務管理系統(tǒng)和運維對外開放接口系統(tǒng)。這些系統(tǒng)可進行單獨部署運行，也可組合形成大系統(tǒng)。系統(tǒng)組成功能如圖2所示。

綜合門戶系統(tǒng)

提供統(tǒng)一的綜合運維平臺入口，使運維人員能夠基于統(tǒng)一的整合管理界面，進行運維管理的信息查看和相關(guān)操作。

資源配置管理系統(tǒng)

提供整合數(shù)據(jù)中心及項目資產(chǎn)基本信息、資產(chǎn)關(guān)聯(lián)信息、資產(chǎn)生命周期的管理功能，同時對系統(tǒng)運行的配置信息進行管理。

健康監(jiān)測告警管理系統(tǒng)

系統(tǒng)通過自動化的健康監(jiān)測手段，對數(shù)據(jù)中心的動力環(huán)境、IT基礎(chǔ)設施、應用系統(tǒng)進行全方位的監(jiān)測，同時從狀態(tài)、性能、容量多個維度判斷系統(tǒng)的運行情況，一旦出現(xiàn)問題則通過聲光電、短信和郵件等多種方式進行告警通知。

運維服務管理系統(tǒng)

服務流程管理產(chǎn)品遵循ITIL/ITSS等IT服務管理標準，建立以客戶為中心的運維模式，將人、技術(shù)與流程進行有效地融合，通過流程管理平臺，制定內(nèi)部運維流程，將運維團隊的服務產(chǎn)品化、標準化，提供了服務過程的設計、過程記錄、監(jiān)督與考核等事務的管理能力，同時提供了對IT的各項服務、能力進行整合的職能。服務流程管理產(chǎn)品以高效的自主框架為流程處理引擎，并自主研發(fā)圖形化的自定義流程、流程狀態(tài)監(jiān)控、流程定制工具，方便用戶按照實際需求進行定制流程與編制對應的工單。

運維自動化管理

通過自動化的方式批量完成運維任務，降低運維工作量，規(guī)范運維操作，同時支持故障與處理腳本關(guān)聯(lián)，實現(xiàn)故障自愈等功能。

部署架構(gòu)

一個典型的數(shù)據(jù)中心網(wǎng)絡架構(gòu)中分為業(yè)務網(wǎng)絡、存儲網(wǎng)絡和管理網(wǎng)絡等子網(wǎng)絡，運維系統(tǒng)需要與各個子網(wǎng)進行對接，以接收各個子網(wǎng)的數(shù)據(jù)。在監(jiān)控過程中采集器部署到與被監(jiān)控網(wǎng)絡互通的網(wǎng)絡域，采集器采集數(shù)據(jù)后，發(fā)送給傳輸消息隊列，這要求采集器與消息隊列的網(wǎng)絡能夠互通。智能運維管理系統(tǒng)部署架構(gòu)，如圖3所示。

當前云計算IaaS平臺的部署，經(jīng)常將網(wǎng)絡劃分成不同的子網(wǎng)，不同的子網(wǎng)傳輸不同的流量，既方便運維管理，也方便租戶使用，既安全又互不干涉。

管理網(wǎng)：適用于進行運維管理，傳輸運行數(shù)據(jù)、管理數(shù)據(jù)。

業(yè)務網(wǎng)：適用于業(yè)務系統(tǒng)的流量，適用于業(yè)務系統(tǒng)使用，比如OA系統(tǒng)等。

存儲網(wǎng)：適用于部署了基于x86架構(gòu)的分布式存儲、虛擬存儲或者大數(shù)據(jù)存儲平臺，需要獨立的存儲網(wǎng)絡支撐存儲流量。

SAN網(wǎng)：用于采取集中存儲的數(shù)據(jù)存儲環(huán)境，此網(wǎng)絡屬于光纖網(wǎng)絡，監(jiān)控系統(tǒng)不會接入到光纖網(wǎng)絡。

工控網(wǎng)：使用于機房環(huán)境監(jiān)控。

如果網(wǎng)絡進行了管理、業(yè)務子網(wǎng)的劃分，那么要求部署監(jiān)控系統(tǒng)采集器的服務器或者虛擬機具備至少3個網(wǎng)卡、3個網(wǎng)址，分別屬于不同的子網(wǎng)。

監(jiān)控系統(tǒng)實現(xiàn)了對機房環(huán)境、網(wǎng)絡設備、安全設備、服務器硬件、操作系統(tǒng)、中間件、數(shù)據(jù)庫、業(yè)務系統(tǒng)以及日志等數(shù)據(jù)的監(jiān)控，不同的監(jiān)控對象，監(jiān)控數(shù)據(jù)需要在不同的網(wǎng)絡中獲取。應用服務器采用雙機冗余，部署資源管理、策略管理、系統(tǒng)管理、告警模塊和報表模塊等管理模塊，部署消息隊列、緩存、數(shù)據(jù)解析分析、外部接口等基礎(chǔ)軟件模塊。

技術(shù)路徑

微服務架構(gòu)設計

隨著微服務等新興架構(gòu)的提出，在框架輕量解耦、需求敏捷響應、結(jié)構(gòu)自動演化、資源彈性伸縮等方面有了長足進步，但也會帶來性能損耗、整體資源要求高以及運維復雜等缺點。在數(shù)據(jù)中心智能運維管理系統(tǒng)建設過程中，需要充分結(jié)合現(xiàn)有信息系統(tǒng)特點和現(xiàn)狀要求，考慮機動環(huán)境快速構(gòu)建、服務運行自動擴容等場景，借鑒并兼容微服務中基于容器技術(shù)的服務持續(xù)集成、動態(tài)遷移、彈性擴展及監(jiān)控治理等技術(shù)，實現(xiàn)服務持續(xù)集成、部署遷移和監(jiān)控治理等能力，提供更精準敏捷的信息服務能力。

基于跨平臺監(jiān)控管理功能的設計及應用

隨著計算機技術(shù)、網(wǎng)絡技術(shù)、通信技術(shù)和安全技術(shù)的飛速發(fā)展以及經(jīng)濟全球化的加速，以網(wǎng)絡、主機、存儲、數(shù)據(jù)庫和中間件作為主要信息化組成部件來說，擁有著交換、傳輸數(shù)據(jù)等各種業(yè)務網(wǎng)絡，其設備數(shù)量也非常龐大。運行管理技術(shù)是業(yè)務系統(tǒng)正常、經(jīng)濟效益和安全運行的重要保證。對于在復雜的多技術(shù)應用的場景下，如何使監(jiān)控管理功能適配多種技術(shù)，并且能夠運行在多種技術(shù)平臺，是必須要考慮的技術(shù)選擇問題?；诳缙脚_的監(jiān)控管理就是通過一個管理平臺對互連的多個不同專業(yè)的IT運行環(huán)境進行全面的集中管理，對所提供的業(yè)務進行端到端的管理，實施跨專業(yè)的故障定位和故障排除。它具有以下要求：管理所有IT資源、將各個系統(tǒng)的告警和性能信息統(tǒng)一到一個平臺、實現(xiàn)故障的跨專業(yè)綜合分析以及使用統(tǒng)一的用戶界面（GUI），使網(wǎng)絡管理和維護人員簡便易學。

基于分布式架構(gòu)監(jiān)控管理功能的設計及應用

分布式架構(gòu)設計，天然就有多個節(jié)點，很容易通過主備、冗余、哈希等手段實現(xiàn)計算和存儲冗余備份，從而實現(xiàn)高可用。當然分布式架構(gòu)多個節(jié)點的設計也帶來了保持一致性和高可靠性上的巨大挑戰(zhàn)，分布式系統(tǒng)的存儲往往會設計成多份冗余，并盡可能在機架、機房甚至城市維度將冗余的數(shù)據(jù)分散在多處，以保障系統(tǒng)的高可用和業(yè)務連續(xù)性。隨著分布式架構(gòu)等新興架構(gòu)的提出，在框架輕量解耦、需求敏捷響應、結(jié)構(gòu)自動演化、資源彈性伸縮等方面有了長足進步?？紤]提高系統(tǒng)高穩(wěn)定性及可連續(xù)性等業(yè)務使用場景，借鑒分布式架構(gòu)等技術(shù)，采集層、分析處理器、應用層、數(shù)據(jù)庫存儲層實現(xiàn)多節(jié)點集群實現(xiàn)，實現(xiàn)服務高效穩(wěn)定運行、可持續(xù)擴展等能力。

基于有代理和無代理相結(jié)合的數(shù)據(jù)采集技術(shù)

有代理Agent監(jiān)控方式是國外一些大廠產(chǎn)品普遍采用的方式，作為整個管理系統(tǒng)的組成部分，Agent的主要功能是用來采集監(jiān)控的基礎(chǔ)數(shù)據(jù)。Agent監(jiān)控方式的最大問題就是需要在每個被監(jiān)控的系統(tǒng)終端安裝一個代理軟件，這樣整個系統(tǒng)的部署及維護難度較大。而且運行在每個被監(jiān)控端的代理一旦出現(xiàn)問題，還需要登錄到系統(tǒng)上去維護。Agentless監(jiān)控方式，是指在被監(jiān)控應用所在的主機上面，不安裝代理軟件采集相應的信息，而是通過一些標準的協(xié)議，包括主機使用的SNMP，Telnet，SSH，WMI等，以及應用使用的JMX，JDBC，ODBC等實現(xiàn)監(jiān)控。對比Agent的監(jiān)控方式，Agentless在易用性、可維護性和性能損耗上的優(yōu)勢明顯。同時，數(shù)據(jù)采集是整個管理平臺的基礎(chǔ)，負責采集平臺運行需要的數(shù)據(jù)，在被監(jiān)測對象上部署Agent的方式，可能對業(yè)務系統(tǒng)產(chǎn)生沖突帶來不安全因素。Agent監(jiān)控方式的優(yōu)勢包括在監(jiān)控資源端采集的數(shù)據(jù)經(jīng)過壓縮處理后傳輸給監(jiān)控服務器、對網(wǎng)絡帶寬占用比較低、支持二次開發(fā)等。鑒于Agentless和Agent的各自優(yōu)缺點，綜合2種方式的特性，支持2種方式的監(jiān)控采集，盡量做到揚長避短。

基于ITIL以服務為中心的運維服務管理

ITIL即信息技術(shù)基礎(chǔ)架構(gòu)庫，主要適用于IT服務管理（ITSM），ITIL為IT服務管理實踐提供了一個客觀、嚴謹和可量化的標準與規(guī)范。結(jié)合業(yè)界運維過程管理標準，本系統(tǒng)以ITIL和ISO20000為信息化服務流程規(guī)范，統(tǒng)一制定信息化服務流程，并由運維流程子系統(tǒng)進行統(tǒng)一管理，對服務流程實行統(tǒng)一集中監(jiān)控，提供直觀、美觀且圖形化的監(jiān)控視圖，動態(tài)實時反映各項服務流程的執(zhí)行情況和效率。通過規(guī)范化的流程梳理，定義完善的服務臺統(tǒng)一接入、服務請求和事件處理流程、以及其他信息化運維必須的流程。系統(tǒng)提供豐富多樣的統(tǒng)計分析工具和圖表展示，以報表形式形成信息化運維管理周報及月報，用于分析和統(tǒng)計各項服務管理流程的執(zhí)行情況及效率，為不斷優(yōu)化服務流程、提高運維服務效率和用戶滿意度提供依據(jù)。

基于自動化技術(shù)的配置管理數(shù)據(jù)庫搜集維護過程管理

配置管理數(shù)據(jù)庫（Configuration Management Database，CMDB）存儲與IT架構(gòu)中設備的各種配置信息，它與所有服務支持和服務交付流程都緊密相聯(lián)，支持這些流程的運轉(zhuǎn)、發(fā)揮配置信息的價值，同時依賴于相關(guān)流程保證數(shù)據(jù)的準確性。過程管理主要是完成資產(chǎn)和配置的數(shù)據(jù)增刪改查操作，微軟的.net架構(gòu)和J2EE架構(gòu)是比較成熟的2類技術(shù)。采用自動化的技術(shù)對CMDB的配置信息進行自動維護，可極大地降低人工維護的工作量、提高數(shù)據(jù)的準確性，充分發(fā)揮CMDB在運維中的基礎(chǔ)作用。本系統(tǒng)模塊的側(cè)重點在配置和管理系統(tǒng)的狀態(tài)上，無需安裝Agent，主機通過SSH協(xié)議與監(jiān)控對象進行通信，從運維成本和維護性上來說，只需關(guān)注主機的運行狀態(tài)，不會增加額外的運維成本。由于在運維服務管理選擇了J2EE技術(shù)，因此本系統(tǒng)的基礎(chǔ)技術(shù)路線也選擇J2EE體系。保證底層技術(shù)的一致性。在CMDB數(shù)據(jù)的維護中，部分數(shù)據(jù)采用人工和基于SSH協(xié)議的自動化結(jié)合的方式進行。

數(shù)據(jù)中心的智能運維管理的實現(xiàn)，不僅減少了傳統(tǒng)人工運維管理下的時間延遲，將運維管理人員從重復性工作中解放出來，提高了工作效率，而且，基于一體化運維管理平臺的智能運維管理系統(tǒng)還可以實現(xiàn)自我狀態(tài)監(jiān)控，對運維管理中的各種風險進行預估，減少因為智能運風險導致的成本支出，在今后，特別是大型數(shù)據(jù)中心的運維管理中，將發(fā)揮越來越重要的作用。但是對于基于數(shù)據(jù)中心運行的業(yè)務系統(tǒng)的運維管理，還需要針對不同業(yè)務系統(tǒng)，開發(fā)定制具體功能模塊，這也是智能運維管理系統(tǒng)的短板。