四川中電啟明星信息技術(shù)有限公司 余 癡 李 立 任蕾凡

1 引言

隨著國家電網(wǎng)公司"十三五”信息化規(guī)劃的開局，要求優(yōu)化運維架構(gòu)和流程，深化風(fēng)險防控和隱患治理，推廣自動化運維工具。建設(shè)運維服務(wù)多渠道統(tǒng)一接入應(yīng)用，建設(shè)和推廣智能化分析應(yīng)用、業(yè)務(wù)監(jiān)控工具、自動化運維工具。

公司2016年信息通信工作要點中，要求統(tǒng)籌推進運行管理集約，完成信息通信運維體系頂層設(shè)計，健全運維支撐體系，探索信息系統(tǒng)維保模式創(chuàng)新，提升維保業(yè)務(wù)標準化、集約化水平。強力推進運維作業(yè)智能化，完成運維自動化頂層設(shè)計，充分利用新技術(shù)，豐富自動化手段，推進基礎(chǔ)環(huán)境、動力環(huán)境等的監(jiān)控全覆蓋，以及虛擬資源動態(tài)分配部署和系統(tǒng)巡檢、作業(yè)、發(fā)布的自動化。

公司2016年信息化建設(shè)實施意見，要求加快推進運維自動化工具研究建設(shè)。

基于"大、云、物、移”等新技術(shù)，開展運檢自動化頂層設(shè)計，統(tǒng)籌自動化運維工具開發(fā)。

2 什么是IT運維自動化

伴著信息時代的慢慢發(fā)展，IT服務(wù)內(nèi)在緊要的重要因素之一便是IT運維。與此同時越來越復(fù)雜的需求，面對越來越多樣化的用戶需要，日益漸增的IT應(yīng)用也要更加合理的處理方式來保障IT服務(wù)能變通穩(wěn)定的持續(xù)保護，這類似模式中的保障成分便是IT運維。從剛出現(xiàn)時的少量服務(wù)器到現(xiàn)在巨大的數(shù)據(jù)中心，僅僅靠人工來完成已然不能滿足在技術(shù)、業(yè)務(wù)、管理等方面的需求，那同時人們對于標準化、自動化、架構(gòu)優(yōu)化、過程優(yōu)化等降低IT業(yè)務(wù)基本成本也變得越來越重視。在其當(dāng)中，自動化最開始成為代替人工操作為起點的訴求被普遍專研和利用。

IT運維從出現(xiàn)到如今，自動化屬于其必不可少的屬性之一，已然不單單僅是取代人工操作，更重要的是深層探知和大體剖析，怎樣在目前這種條件下達成性能和服務(wù)使用最大化，還能確保投資回報效益最大化。這種情況在IT運維自動化造成的，不僅設(shè)備和相關(guān)的利益相關(guān)者，使用它的操作和維修決策的水平，在目前的形勢下成為必然導(dǎo)向的客戶服務(wù)，IT運維團隊的形成,各級技術(shù)人員對服務(wù)人員和廣大用戶占絕大多數(shù)的情況。所以，將一組將靜態(tài)的設(shè)備構(gòu)造轉(zhuǎn)為依據(jù)IT方面所需動態(tài)彈性相應(yīng)的計劃，為了便是實現(xiàn)IT運維的效能，減少成本是IT運維自動化的主要目的。

因此，IT運維的一個重要屬性就是自動化，以及一系列與之配套的軟硬件平臺和系統(tǒng)。

3 為什么IT運維需要自動化

很多事情都是因為每天重復(fù)的IT操作，從以前的手工操作到自動操作，可以減少甚至完全解決操作中的延遲，一個“零延時”的IT操作。

簡單地說，它指的是基于IT事件和相關(guān)過程的自動化框架的運行和維護過程，一旦監(jiān)視系統(tǒng)性能超過標準或停機時間，觸發(fā)事件和預(yù)定義過程等，可自動啟動故障響應(yīng)和恢復(fù)機制。

運維應(yīng)包括如下內(nèi)容：

A、環(huán)境定義：開發(fā)環(huán)境、測試環(huán)境、類生產(chǎn)環(huán)境、生產(chǎn)環(huán)境等。

B、部署：有效地部署部署包到不同的環(huán)境

C、監(jiān)控：部署的系統(tǒng)和應(yīng)用程序監(jiān)視器。

D、警報：問題發(fā)生時的響應(yīng)和處理機制。

E、性能優(yōu)化：如Nginx / java / PHP /數(shù)據(jù)庫/網(wǎng)絡(luò)各種服務(wù)系統(tǒng)的優(yōu)化。

F、其他內(nèi)容：日志包裝、自動化測試、發(fā)布、上線，灰色的分區(qū)配置，自動化標準化操作和維護，分布式架構(gòu)的標準化，指令高速緩存存儲中間件、自動化測試、云搜索、開放的平臺，平臺的市場基礎(chǔ)設(shè)施、服務(wù)管理、任務(wù)調(diào)度、集群協(xié)作，調(diào)用鏈分析，界面質(zhì)量等內(nèi)容。

4 IT運維現(xiàn)狀運維管理

隨著企業(yè)業(yè)務(wù)的不斷擴大。IT設(shè)備和硬件的擴展也造成了更復(fù)雜的操作和維護工作。在IT運維服務(wù)中，一般包括了很多的運維項目，比如系統(tǒng)鏡像服務(wù)，網(wǎng)絡(luò)維護，安全運維等，這些運維只要一旦出現(xiàn)了問題就必然都會影響業(yè)務(wù)人員平常的使用及操作。目前，大多數(shù)企業(yè)的IT運維都面臨著以下問題。首先，固然IT部門已針對性公布了運維制度與流程，但業(yè)務(wù)部門仍然不滿意運維工作，運維管理效率低下，近似的問題一再產(chǎn)生，IT運維人員捉襟見肘。其次隨信息化硬件和應(yīng)用系統(tǒng)建設(shè)的實現(xiàn)，主要問題便是怎樣整和運維人員并且創(chuàng)立一個統(tǒng)一服務(wù)流程。

現(xiàn)狀一：IT運維人員成本偏高，據(jù)專業(yè)考查，大多數(shù)CIO認為最該關(guān)注的是IT運維成本太高。因為在過去的5年中，很多企業(yè)已經(jīng)實施了大量的IT系統(tǒng)，使得它的運作越來越復(fù)雜，管理起來也越來越困難。與此同時，近半的人接受訪問CIO覺得IT運維成本太高的主要因素是IT運維的自動化的現(xiàn)狀還未達到預(yù)期的樣子,通過手工流程來解決管理問題,不僅僅導(dǎo)致運維效率達不到要求,并且人力的成本也超過了能接受的范圍。與此還有一家國際知名調(diào)查機構(gòu)Gartner在調(diào)查后察覺,對于IT運維成本來說,技術(shù)或產(chǎn)物(包含硬件、軟件、網(wǎng)絡(luò)等)成本僅僅只占總成本的20%,而維護和操作和維護人員費用的過程成本則高達40%。

現(xiàn)狀二：處在"救火式”的IT運維控制。IT工作者大多僅僅是處在被動低效率手工救火的形式,當(dāng)事件發(fā)生并對業(yè)務(wù)產(chǎn)生影響時，它知道并著手解決它。這種被動”救火”會導(dǎo)致：①IT運維人員的工作是十分繁多的，IT運維人員總是將大部分的精力和時間來解決不少簡一反復(fù)的問題;②IT運維本身質(zhì)量很難提高;③還有就是故障預(yù)警機制的不完善經(jīng)常會導(dǎo)致故障爆發(fā)了以后或則是預(yù)警之后才會發(fā)現(xiàn)解決,這樣導(dǎo)致不但事倍功半并且故障還會經(jīng)常出現(xiàn)惡性的連鎖效應(yīng);④IT部門和業(yè)務(wù)部門對IT的運行和維護不滿意。

現(xiàn)狀三：自動化程度簡單地引起了”反應(yīng)”，雖然IT運維管理技術(shù)一直在不斷提升，但事實上，許多IT運營商無法擺脫它，主要原因是自動化不高而致使的。IT設(shè)備、服務(wù)器、網(wǎng)絡(luò)流量,乃至數(shù)據(jù)庫的預(yù)警信息，雖然可以通過技術(shù)從而獲得,但是當(dāng)成千上萬的警告信息聚集在一起時，就會導(dǎo)致對問題到底在哪里的錯誤判斷。還有,現(xiàn)在許多企業(yè)對于革新的管理很多都是通過手工操作來完成工作。即使是簡單的系統(tǒng)更新或更改，也總是要求操作人員逐一登陸，每個設(shè)備手動更改，當(dāng)設(shè)備數(shù)量達到大量時，其工作量不可知。而這樣的變更和檢查操作在IT運維中往往每天都在進行,占用了大量的運維資源。因此,達成運維管理工作的自動化對企業(yè)來講已刻不容緩。全部信息（錯亂）都會通過不同地方被集中到了這個圓圈中，信息進去后不能夠自動流出來。可能發(fā)生的情況：循環(huán)信息在裝滿時會爆裂；循環(huán)速度減慢，信息輸入速度減慢。

5 傳統(tǒng)運維管理方式存在的問題

目前，許多IT企業(yè)已從人工操作實現(xiàn)到計算機管理，但許多企業(yè)的IT運維管理還不過是處在”半自動化”的運維狀態(tài)。主要原因是這類IT運維依然還是等到IT故障發(fā)生后再由運維人員選擇相關(guān)的補救措施。這些傳統(tǒng)的被動、孤立、半自動化的運維管理模式往往使IT部門疲于奔命，主要現(xiàn)象可以從以下三個方面來看：

（1）運維人員被動、效率低。只有當(dāng)事件發(fā)生并影響到企業(yè)才能意識到并著手解決的時候，這種被動的"救火”不僅使IT維修人員經(jīng)常忙碌，而且也使IT操作本身的質(zhì)感難以改善，從而導(dǎo)致IT部門與業(yè)務(wù)部門對于IT運維的服務(wù)感到并未到達預(yù)期的滿意程度。現(xiàn)在絕大多數(shù)的企業(yè)IT運維人員平常大部分的時間和精力是解決很多的簡一反復(fù)的問題，導(dǎo)致IT運維人員的工作總是處在解決與補救問題的形勢當(dāng)中，不單是工作達不到預(yù)期的完成而且總是會出現(xiàn)惡性連鎖效應(yīng)。

（2）已有的IT運維機制達不到預(yù)期的高效率，如今大多數(shù)企業(yè)在IT運維管理過程當(dāng)中對于自動化的運維管理模式不能做到，而且沒有精準的角色界定和責(zé)任區(qū)分，造成原因后很難迅速準確地找到根本原因，在發(fā)現(xiàn)問題的過程中，找不到合適的人員進行維護和處理，或者缺乏故障處理機制，并且在處理問題上，不僅解決了標準化的不足，還缺乏全面的跟蹤記錄。

（3）IT運維技術(shù)工具的落后，伴隨著信息技術(shù)的發(fā)展，IT系統(tǒng)對企業(yè)來說越來越復(fù)雜，眾多的網(wǎng)絡(luò)設(shè)備、服務(wù)器、中間件、業(yè)務(wù)系統(tǒng)等IT運維人員需要時間，縱使加班加點地維護、部署、管理也常常會因設(shè)備產(chǎn)生故障而致使業(yè)務(wù)的間斷，嚴重影響企業(yè)的正常運轉(zhuǎn)。其中一些問題是由于缺乏IT操作和維護工具，如事件監(jiān)視和診斷工具。由于缺乏有效的技術(shù)工具，很難迅速有效地處理故障。

6 如何建立高效IT運維自動化管理

A、工具中心是以工具為單元對自動化運維功能集合進行管理。運營層面，借鑒互聯(lián)網(wǎng)應(yīng)用商店模式，實現(xiàn)工具型應(yīng)用從注冊上線、買賣直至下線的整個生命周期管理；執(zhí)行層面，各單位運維人員可以在工具商店直接下載工具到執(zhí)行環(huán)境中快速使用，也可通過作業(yè)編排、作業(yè)執(zhí)行（支持串行執(zhí)行和并行執(zhí)行）來對工具進行集中調(diào)用。工具中心將作為公司未來應(yīng)用商店的一個組成部分。在功能方面，工具中心包括工具準入、工具管理、運行管理、工具評價、工具庫等5個模塊。工具準入需實現(xiàn)工具及附件的上傳，自動和人工審核工具的合規(guī)、合法、安全性，通過審核的工具進行發(fā)布上架操作等功能，并提供標準化工具準入接口規(guī)范；工具管理應(yīng)實現(xiàn)工具發(fā)布后的生命周期管理，包括搜索、下架、發(fā)布消息、刪除等功能；運行管理實現(xiàn)工具運行管理，響應(yīng)外部對工具的調(diào)用，完成工具的部署啟停、工具運行狀態(tài)監(jiān)控、運行環(huán)境管理等功能；工具評價實現(xiàn)用戶對工具匿名文字評論、打分、評級等功能；工具庫實現(xiàn)工具各種形式的展現(xiàn)，包括工具精選、排行榜、分類展現(xiàn)、詳情、工具收藏。工具中心將作為未來公司運維自動化類工具注冊和管理的唯一入口，對外提供工具清單檢索、信息查詢，工具調(diào)用控制、狀態(tài)查詢、更新信息等服務(wù)供其他中心調(diào)用。

B、資源配置中心對資源進行識別、控制、維護、檢查，并為其它中心提供準確的資源配置數(shù)據(jù)支撐。業(yè)務(wù)上包括資源錄入和拓撲展現(xiàn)。功能上，資源錄入包括資源初始化、資源查詢、分類管理、資源維護、發(fā)布。資源初始化需實現(xiàn)資源配置信息的初始錄入，支持人工錄入方式；資源查詢需提供查詢接口，實現(xiàn)資源信息的對外查詢；分類管理實現(xiàn)資源分類的維護、分類屬性的定義；變更實現(xiàn)資源和屬性的變更；發(fā)布管理實現(xiàn)當(dāng)配置發(fā)生變更時，可觸發(fā)相關(guān)場景將變更內(nèi)容作用于資源對象使之生效。資源配置中心對外提供資源查詢和資源變更兩類服務(wù)；資源查詢供相關(guān)業(yè)務(wù)查詢資源的類別、屬性、相互關(guān)系等信息；資源變更供相關(guān)業(yè)務(wù)增加、刪除、修改資源的類別、屬性、相互關(guān)系等信息。

C、監(jiān)控是信息通信運維體系3.0技術(shù)支撐部分的監(jiān)控策略與配置中心，將原始監(jiān)控數(shù)據(jù)轉(zhuǎn)化為告警，支持將業(yè)務(wù)需求轉(zhuǎn)化為落地策略，為各類業(yè)務(wù)展現(xiàn)模塊提供監(jiān)控及告警數(shù)據(jù)服務(wù)。業(yè)務(wù)上包括監(jiān)控展現(xiàn)和告警規(guī)則定義。在功能方面，監(jiān)控展現(xiàn)支持自定義多種方式對監(jiān)控結(jié)果進行統(tǒng)計展現(xiàn)及告警消息展現(xiàn)；告警規(guī)則主要通過監(jiān)控指標和閾值定義告警規(guī)則。監(jiān)控模塊的主要數(shù)據(jù)來源是統(tǒng)一Agent、日志、資源配置中心及第三方數(shù)據(jù)源，經(jīng)過數(shù)據(jù)加工處理和數(shù)據(jù)持久化（入庫）之后，可為分析展示中心等其他模塊提供KPI數(shù)據(jù)服務(wù)及運行事件告警服務(wù)。監(jiān)控資源對象包括運維自動化支撐平臺本身的健康監(jiān)控、工具運行監(jiān)控、用戶異常操作監(jiān)控、資源容量監(jiān)控、資源使用率監(jiān)控等。

D、統(tǒng)一Agent實現(xiàn)對數(shù)據(jù)采集、系統(tǒng)控制的需求，是在信息通信運維體系3.0中采集運維對象的運行信息、控制運維對象運行狀態(tài)的唯一合法代理。統(tǒng)一Agent的主體功能模塊包括：數(shù)據(jù)采集和指令執(zhí)行。數(shù)據(jù)采集實現(xiàn)采集數(shù)據(jù)處理、指標數(shù)據(jù)上傳以及采集數(shù)據(jù)暫存等功能；指令執(zhí)行實現(xiàn)接收指令和對指令進行解析、驗證、執(zhí)行，執(zhí)行包括對宿主機的應(yīng)用推送、安裝、配置變更等。統(tǒng)一Agent中心向外部提供數(shù)據(jù)查詢和命令推送兩類服務(wù)。

7 結(jié)論

以工具中心、資源配置中心、監(jiān)控為基礎(chǔ)，建立運維自動化支撐平臺，通過對運維工具的統(tǒng)一納管、統(tǒng)一調(diào)度，實現(xiàn)運維作業(yè)的流程化、規(guī)范化。