◆顏清華

（云南電網(wǎng)有限責(zé)任公司昭通供電局 云南 657000）

基于數(shù)據(jù)大集中的信息運(yùn)維研究平臺

◆顏清華

（云南電網(wǎng)有限責(zé)任公司昭通供電局 云南 657000）

目前國內(nèi)數(shù)據(jù)運(yùn)維的現(xiàn)狀是，規(guī)模較大的數(shù)據(jù)中心普遍建設(shè)了監(jiān)控、流程和自動(dòng)化運(yùn)維平臺。但其中存在兩方面問題，一是產(chǎn)品基本以國外品牌為主，國外產(chǎn)品一方面價(jià)格昂貴，導(dǎo)致運(yùn)維成本居高不下；另一方面也存在一定的安全隱患，在當(dāng)前國家安全的背景下，采用國外運(yùn)維產(chǎn)品與業(yè)務(wù)，存在相當(dāng)大的風(fēng)險(xiǎn)。二是監(jiān)控、流程和自動(dòng)化產(chǎn)品采用不同廠商、不同型號的產(chǎn)品，產(chǎn)品之間相互割裂，信息無法共享。運(yùn)維平臺無法自動(dòng)進(jìn)行運(yùn)維，都需要人為參與，嚴(yán)重影響了數(shù)據(jù)中心的運(yùn)維效率。

數(shù)據(jù)匯集；數(shù)據(jù)管理；數(shù)據(jù)運(yùn)維

0 引言

數(shù)據(jù)大集中作為互聯(lián)網(wǎng)服務(wù)的物理載體，客戶對服務(wù)實(shí)時(shí)性、安全性、可靠性等的要求最終將內(nèi)化為對數(shù)據(jù)運(yùn)維管理的要求。數(shù)據(jù)中心運(yùn)維對象涉及種類比較多，從供配電設(shè)施到IT設(shè)備、到應(yīng)用系統(tǒng)、到各類人員，這無疑要求數(shù)據(jù)中心的運(yùn)維管理應(yīng)能適應(yīng)所有的管理對象。如果該數(shù)據(jù)中心要通過一些專業(yè)認(rèn)證，或?yàn)橐恍┨厥庑袠I(yè)提供IT服務(wù)，其運(yùn)維管理必須符合相關(guān)標(biāo)準(zhǔn)與行業(yè)規(guī)范。對平臺中各子系統(tǒng)以及各功能模塊提供統(tǒng)一的運(yùn)行監(jiān)控服務(wù)，包括服務(wù)的提供狀態(tài)監(jiān)控、服務(wù)的使用狀態(tài)監(jiān)控、系統(tǒng)的運(yùn)行狀態(tài)監(jiān)控等。

數(shù)據(jù)大集中的信息運(yùn)維研究平臺的設(shè)計(jì)是基于ISO/IEC20000和ITIL v3理論，遵循ITSS、GB/T 28827-2012系列運(yùn)行維護(hù)服務(wù)國家標(biāo)準(zhǔn)，有效支持運(yùn)行維護(hù)能力相關(guān)的人員、流程、技術(shù)和資源四要素管理。

數(shù)據(jù)大集中的信息運(yùn)維研究平臺建立了集成化的資源運(yùn)行狀態(tài)監(jiān)控管理系統(tǒng)，實(shí)現(xiàn)平臺運(yùn)行狀態(tài)和信息化資源的統(tǒng)一化、可視化、可控化管理?；谫Y源的統(tǒng)一化管理，實(shí)現(xiàn)監(jiān)控子系統(tǒng)和故障處理流程子系統(tǒng)的一體化部署，全面支撐信息技術(shù)服務(wù)管理，實(shí)現(xiàn)面向基礎(chǔ)資源和面向業(yè)務(wù)應(yīng)用兩個(gè)層面的監(jiān)控，遵循ITIL實(shí)踐標(biāo)準(zhǔn)對運(yùn)維管理流程進(jìn)行優(yōu)化再造，全面展示所有服務(wù)的運(yùn)行狀況和處理性能。

1 數(shù)據(jù)匯集服務(wù)運(yùn)行監(jiān)控管理

對平臺所涉及的所有服務(wù)和數(shù)據(jù)資源進(jìn)行實(shí)時(shí)不間斷的7x24小時(shí)的監(jiān)控和管理，合理設(shè)定資源狀態(tài)的預(yù)警閾值的設(shè)定，確保任何資源狀態(tài)異常的及時(shí)通報(bào)和展示，通過聲光報(bào)警、短信、郵件的及時(shí)通知，確保管理人員及時(shí)的發(fā)現(xiàn)和處理問題。

同時(shí)借助大數(shù)據(jù)平臺的優(yōu)勢，實(shí)現(xiàn)平臺內(nèi)部服務(wù)運(yùn)行狀態(tài)的趨勢預(yù)測，不同資源告警閾值的智能化管理和自動(dòng)設(shè)定，做到平臺內(nèi)部運(yùn)行狀態(tài)的穩(wěn)定和持續(xù)。

數(shù)據(jù)大集中的信息運(yùn)維研究平臺內(nèi)部的軟件資源復(fù)雜，需要支持統(tǒng)一化的一體監(jiān)控模式，支持對Hadoop架構(gòu)體系內(nèi)所有軟件模塊和系統(tǒng)（HBase、HDFS等）、關(guān)系型數(shù)據(jù)庫（Oracle、Sqlserver、MySQL集群等）、接入共享接口、中間件系統(tǒng)、前端應(yīng)用等軟件資源的監(jiān)控和管理。

數(shù)據(jù)大集中的信息運(yùn)維研究平臺服務(wù)能夠?qū)θ缦路?wù)接口狀態(tài)進(jìn)行監(jiān)控：

（1）支持SNMP、SSH/telnet、JMX、JDBC等監(jiān)控方式和協(xié)議，實(shí)現(xiàn)：支持?jǐn)?shù)據(jù)大集中內(nèi)部的各種傳統(tǒng)關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)庫集群、Hadoop架構(gòu)中HDFS/HBase等的狀態(tài)、數(shù)據(jù)庫狀態(tài)、各類中間件資源狀態(tài)、平臺內(nèi)部和前端應(yīng)用狀態(tài)、各類內(nèi)外部的接口狀態(tài)的實(shí)時(shí)監(jiān)控。

（2）支持對數(shù)據(jù)匯集接入、數(shù)據(jù)推送、和數(shù)據(jù)共享接口的運(yùn)行狀態(tài)監(jiān)控。

（3）支持各類監(jiān)控資源的告警閾值的自定義管理，管理人員可以根據(jù)資源自身和資源使用情況靈活定義預(yù)警閥值。

（4）支持告警信息的短信、郵件通知以及聲光報(bào)警通知。

2 平臺故障處理管理

數(shù)據(jù)大集中的信息運(yùn)維研究平臺涉及的軟硬件信息和數(shù)據(jù)量較大，平臺上線運(yùn)行后會面臨海量的故障信息，故障信息分析是運(yùn)維工程師面臨的難題，而云計(jì)算、虛擬化等新技術(shù)的廣泛采用進(jìn)一步加劇了運(yùn)維管理的復(fù)雜度。需要對運(yùn)維流程進(jìn)行梳理，將技術(shù)人員從繁重的運(yùn)維工作中解脫出來，實(shí)現(xiàn)運(yùn)維作業(yè)的標(biāo)準(zhǔn)化、自動(dòng)化，縮短業(yè)務(wù)響應(yīng)時(shí)間，提高服務(wù)質(zhì)量。平臺的各類故障和告警處理的管理主要針對平臺運(yùn)行期間所有異常事件的統(tǒng)一管理，確保所有異常事件都被處理的管理功能。借助國家標(biāo)準(zhǔn)和ITIL的SLA模型，需要建立一套完備的故障事件、問題、變更和發(fā)布等的標(biāo)準(zhǔn)化故障處理流程，規(guī)范故障處理的過程，做到故障的及時(shí)處理、追蹤、統(tǒng)計(jì)，確保每一個(gè)問題和故障都能被及時(shí)的處理。提供頁面、郵件、短信、聲音、光、消息客戶端、WebService接口、Socket等方式及時(shí)通知責(zé)任人和運(yùn)維管理人員。

日常平臺管理工作中有很多是標(biāo)準(zhǔn)化的工作，如巡檢、值班等工作。這些工作會占用大量的時(shí)間，將人工的操作、管理轉(zhuǎn)變?yōu)橄到y(tǒng)自動(dòng)化的操作和管理，可以節(jié)省時(shí)間，將精力投入到更緊急、更重要的工作中，從而減少數(shù)據(jù)運(yùn)維人力成本。

（1）數(shù)據(jù)大集中的信息運(yùn)維研究平臺自動(dòng)巡檢功能

平臺的監(jiān)控管理系統(tǒng)自動(dòng)將需要巡檢的資源和接口狀態(tài)發(fā)送到系統(tǒng)中，自動(dòng)進(jìn)行設(shè)備運(yùn)行狀態(tài)和重要指標(biāo)性能數(shù)據(jù)的收集匯總形成自動(dòng)巡檢結(jié)果，同時(shí)巡檢過程全程記錄，通過巡檢工單，能夠跟蹤巡檢的執(zhí)行情況。

（2）數(shù)據(jù)大集中的信息運(yùn)維研究平臺人工巡檢功能

針對非監(jiān)控資源的巡檢，仍可通過系統(tǒng)內(nèi)提供的人工巡檢功能完成巡檢結(jié)果的記錄，為巡檢任務(wù)執(zhí)行的計(jì)劃、監(jiān)督和結(jié)果的電子化管理提供了有效的手段。

3 數(shù)據(jù)大集中的信息運(yùn)維研究平臺5優(yōu)勢

（1）實(shí)時(shí)故障預(yù)警，實(shí)現(xiàn)系統(tǒng)風(fēng)險(xiǎn)前移

對IT信息環(huán)境及各項(xiàng)業(yè)務(wù)系統(tǒng)尤其是重要業(yè)務(wù)系統(tǒng)及關(guān)聯(lián)數(shù)據(jù)的運(yùn)行情況進(jìn)行監(jiān)控，根據(jù)資源實(shí)際應(yīng)用情況建立靈活的事件管理機(jī)制，建立集中的告警分析處理和故障預(yù)警機(jī)制；建立事件的流程化管理機(jī)制及分析機(jī)制，使監(jiān)控系統(tǒng)成為強(qiáng)有力的助手，能夠在故障產(chǎn)生時(shí)進(jìn)行快速定位，盡可能的做到事前防范。

（2）動(dòng)態(tài)掌握數(shù)據(jù)集中資源，提高利用效率

需要運(yùn)維管理系統(tǒng)建設(shè)，實(shí)時(shí)了解掌握數(shù)據(jù)集中資源的使用情況，根據(jù)需要從整體角度考慮資源的配置、調(diào)配和使用，提高硬件資源及數(shù)據(jù)的有效利用率。

（3）數(shù)據(jù)集中運(yùn)維管理平臺進(jìn)行統(tǒng)一規(guī)劃建設(shè)，具有功能的全面性、可擴(kuò)展性、可移植性、易用性等特點(diǎn)，從而滿足不同業(yè)務(wù)、硬件、軟件環(huán)境需求。

隨著用戶業(yè)務(wù)的迅速發(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)和規(guī)模必然會不斷邁上新的發(fā)展臺階，各種系統(tǒng)和應(yīng)用服務(wù)也將陸續(xù)增加。因此，數(shù)據(jù)大集中運(yùn)維管理平臺具有強(qiáng)大的功能和可擴(kuò)展性，滿足未來10至20年的業(yè)務(wù)發(fā)展需求，具有對網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用服務(wù)、硬件等資源狀態(tài)的監(jiān)控功能。

（4）服務(wù)管理規(guī)范化，提高工作效率，實(shí)現(xiàn)人員統(tǒng)一調(diào)度

采用運(yùn)維服務(wù)管理規(guī)范的工作流方式管理服務(wù)申請受理、處理、轉(zhuǎn)送、跟蹤、回復(fù)等環(huán)節(jié)，形成閉環(huán)處理流程；實(shí)現(xiàn)投訴工單處理超時(shí)服務(wù)自動(dòng)升級和通告，使企業(yè)基于服務(wù)水平協(xié)議管理其IT基礎(chǔ)設(shè)施；實(shí)現(xiàn)了服務(wù)申請單點(diǎn)受理、統(tǒng)一調(diào)度運(yùn)維服務(wù)人員。

臨床相關(guān)調(diào)查表明[3] ，為異位妊娠大出血患者開展輸血治療，患者的凝血指標(biāo)和血常規(guī)指標(biāo)在接受治療措施前后有較大變化出現(xiàn)?；颊咴诮邮茌斞委煹倪^程中若出現(xiàn)不良反應(yīng)，則可一定程度上影響輸血治療的效果，且患者的凝血指標(biāo)可明顯下降，為此對異位妊娠大出血輸血治療患者在接受治療的過程中是否有不良反應(yīng)存在進(jìn)行判斷，可監(jiān)測患者的凝血指標(biāo)和血常規(guī)指標(biāo)變化情況。

（5）建立全面工作機(jī)制，提升整體服務(wù)水平，確保服務(wù)質(zhì)量建立知識共享機(jī)制，將個(gè)人經(jīng)驗(yàn)轉(zhuǎn)換為企業(yè)知識，整體提升IT服務(wù)水準(zhǔn)，確保服務(wù)質(zhì)量，建全工作監(jiān)控機(jī)制，使各級管理者可以隨時(shí)了解所轄區(qū)域/部門的工作狀態(tài)，以便及時(shí)發(fā)現(xiàn)并解決問題，扭轉(zhuǎn)工作的被動(dòng)局面。

4 報(bào)表管理

（1）統(tǒng)計(jì)分析

利用各個(gè)模塊收集的信息，可以對網(wǎng)絡(luò)設(shè)備、服務(wù)器、環(huán)境監(jiān)控設(shè)備等進(jìn)行專門的分類分析和監(jiān)控狀態(tài)匯總。

（2）自定義報(bào)表

可以按照自身需要對報(bào)表的格式，報(bào)表的內(nèi)容，報(bào)表的時(shí)間進(jìn)行自定義。

5 數(shù)據(jù)備份

按照時(shí)間周期，可以實(shí)時(shí)、按計(jì)劃的對過往的日志信息進(jìn)行備份和恢復(fù)。

平臺支持遠(yuǎn)程異地備份及監(jiān)控。

6 結(jié)語

為更好、更有效地實(shí)現(xiàn)數(shù)據(jù)中心運(yùn)維管理目標(biāo)，建立高度信息化的數(shù)據(jù)大集中的信息運(yùn)維研究平臺應(yīng)始于對其信息系統(tǒng)的總體規(guī)劃，數(shù)據(jù)中心的信息系統(tǒng)規(guī)劃應(yīng)表達(dá)出對戰(zhàn)略、業(yè)務(wù)、信息、應(yīng)用、技術(shù)等方面的綜合考慮。

圖1 面向數(shù)據(jù)中心的企業(yè)架構(gòu)

（1）業(yè)務(wù)架構(gòu)和組織架構(gòu)，用于理解組織使命、愿景、目標(biāo)、業(yè)務(wù)、期望、要求、約束，以及角色、職責(zé)、流程、業(yè)務(wù)實(shí)體、場景、規(guī)則、術(shù)語、需求。

（2）應(yīng)用架構(gòu)，用于描述支持業(yè)務(wù)的系統(tǒng)功能和特征，以及系統(tǒng)間關(guān)系，還應(yīng)包括應(yīng)用系統(tǒng)的功能模塊、功能需求、系統(tǒng)間消息傳遞。

（3）數(shù)據(jù)架構(gòu)，用于定義數(shù)據(jù)如何被使用、處理、保存、交換、所采用的標(biāo)準(zhǔn)，采用主題域、實(shí)體、屬性、關(guān)系、約束、數(shù)據(jù)流等方式來描述。

（4）技術(shù)架構(gòu)，表達(dá)了IT基礎(chǔ)結(jié)構(gòu)、技術(shù)路線、設(shè)計(jì)原則、開發(fā)規(guī)范、非功能要求，常用層次、平臺、組件、類、對象狀態(tài)、屬性、方法等要素來描述。

（5）運(yùn)行架構(gòu)，定義了部署和運(yùn)維的過程，實(shí)現(xiàn)系統(tǒng)建設(shè)與運(yùn)維無縫集成，一般可包括流程與角色定義、工單分類、配置項(xiàng)、服務(wù)影響樹等要素。

首先，對支撐數(shù)據(jù)中心業(yè)務(wù)和處理數(shù)據(jù)的信息系統(tǒng)進(jìn)行能力上的邏輯分組，明確如何滿足業(yè)務(wù)架構(gòu)中提出的業(yè)務(wù)功能和數(shù)據(jù)架構(gòu)中提出的數(shù)據(jù)處理要求，如圖2所示。

圖2 數(shù)據(jù)大集中運(yùn)維管理平臺

基于上面的邏輯分組，對應(yīng)用架構(gòu)進(jìn)行進(jìn)一步的細(xì)化，細(xì)化的顆粒度取決于規(guī)劃項(xiàng)目的范圍和質(zhì)量要求。

在數(shù)據(jù)中心信息系統(tǒng)架構(gòu)設(shè)計(jì)的基礎(chǔ)上，結(jié)合運(yùn)維管理的要求可以自行設(shè)計(jì)或從外部獲取信息系統(tǒng)建設(shè)的路線圖和解決方案，選擇適當(dāng)?shù)臅r(shí)機(jī)以項(xiàng)目群的方式啟動(dòng)信息系統(tǒng)建設(shè)過程，從而實(shí)現(xiàn)數(shù)據(jù)中心的運(yùn)維管理目標(biāo)。

[1]莫太平，蔣艷紅．通信電源設(shè)備智能遠(yuǎn)程監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)[J]．光通信技術(shù)，2007．

[2]唐寶民，張穎編著．電信網(wǎng)監(jiān)控和管理技術(shù)[M]．人民郵電出版社，2006．

[3]王華剛，羅森文，陳少川，藍(lán)郁峰．UPS動(dòng)環(huán)監(jiān)控雷擊案例分析及對策[J]．廣東通信技術(shù)，2016．

[4]劉廷亮．預(yù)約式智能門禁在基站動(dòng)環(huán)監(jiān)控中的應(yīng)用研究[J]．電信技術(shù)，2016．

[5]王小月．動(dòng)環(huán)監(jiān)控系統(tǒng)無線傳輸組網(wǎng)方案的選擇研究[J]．通訊世界，2016．

[6]李曉迎．移動(dòng)通信動(dòng)環(huán)監(jiān)控系統(tǒng)現(xiàn)狀分析[J]．電腦知識與技術(shù)，2008．

[7]曹淳淳．基于動(dòng)環(huán)監(jiān)控技術(shù)的告警標(biāo)準(zhǔn)化解決方案及應(yīng)用[J]．黑龍江生態(tài)工程職業(yè)學(xué)院學(xué)報(bào)，2012．

[8]陳藝高．動(dòng)環(huán)大數(shù)據(jù)，提升運(yùn)維效能[J]．通信電源技術(shù)，2014．

[9]王亞君，孫福明．基于多動(dòng)態(tài)核聚類的間歇過程在線監(jiān)控[J]．化工學(xué)報(bào)．

[10]施建榮，何霞．開展數(shù)據(jù)挖掘，提升動(dòng)力環(huán)境監(jiān)控效能[J]．通信電源技術(shù)，2014．