冷迪，陳瑞，李英，王旭勇

（深圳供電局有限公司，廣東 深圳 518000）

0 引言

5G、AI、大數(shù)據(jù)等新技術的發(fā)展與疊加，讓聯(lián)接變得無處不在，網(wǎng)絡中的新設備數(shù)量雨中淚也不斷增加，大大增加了網(wǎng)絡的復雜性。飛速發(fā)展的科學技術推動投資消費的快速增長，也驅動各行各業(yè)的數(shù)字化轉型升級，隨之而來的是網(wǎng)絡與業(yè)務的高復雜化與高質量的挑戰(zhàn)。擺脫傳統(tǒng)信息中心的運維模式，實現(xiàn)運營智能化備受關注，AIOps不斷趨于成熟為這一實現(xiàn)提供了方便[1]。

1 什么是AIOps

AIOps源自2016年著名IT研究機構Gartner詞庫中的Algorithmic IT Operations，即基于算法的運維方式?，F(xiàn)在國內對AIOps的理解一般遵照清華大學裴丹教授的解釋，AIOps即Artificial Intelligence for IT Operations將人工智能應用于運維領域，基于已有的運維數(shù)據(jù)（日志、監(jiān)控信息、應用信息等），通過機器學習的方式來進一步解決自動化運維沒辦法解決的問題。AIOps 不依賴于人為指定規(guī)則，主張由機器學習算法自動地從海量運維數(shù)據(jù)中不斷地學習，不斷地提煉并總結規(guī)則。再通俗一些來說，AIOps就是AI+OPS，也就是人工智能運維或者智慧運維或者智能運維。AIOps本身實際上也是一種多層技術平臺，它通過數(shù)據(jù)分析和機器學習方法從形式多樣的IT運營工具和設備中收集的大數(shù)據(jù)中進行學習，自動實時確定并反應處理問題，實現(xiàn)IT運營的智能化，解放運維人員的雙手。

AIOps的一切是為了通過模仿人類思維，但超過人類思維速度，去解決大規(guī)模的數(shù)據(jù)分析問題，它的關鍵在于其算法的智慧程度，一個AIOps工具或者部署是否優(yōu)秀取決于其在用的人工智能算法是否先進。當然如果算法不夠好，不能達到真正的人腦智慧程度，由于計算機的運算速度與效率遠遠超過人腦正常的辨識反應速度，AIOps也能夠很好地實現(xiàn)其目的，可以將原本借助人工處理系統(tǒng)運維所要消耗的時長極大地減少。很多早期的AIOps采用監(jiān)督式學習來輔助運維人員節(jié)省時間提高工作效率，把運維人員從紛繁復雜的告警和噪音中解脫出來，這實際上并沒有達到預期的效果。

通常AIOps由數(shù)據(jù)源、大數(shù)據(jù)平臺、計算（運算）和分析、算法、無人監(jiān)督的機器學習、可視化、自動化組成[2]。數(shù)據(jù)源一般來自企業(yè)現(xiàn)場的實時收集或者其他系統(tǒng)的數(shù)據(jù)匯聚。大數(shù)據(jù)平臺用于將各種各樣的數(shù)據(jù)進行標簽化存儲并進行歷史數(shù)據(jù)分析和實時數(shù)據(jù)響應。計算（運算）和分析則是根據(jù)已有數(shù)據(jù)進行數(shù)據(jù)挖掘分析生成新的數(shù)據(jù)，或者根據(jù)特殊需要進行數(shù)據(jù)處理完成特定的生成目標。算法用來提高計算（運算）和分析的效率，充分發(fā)揮機器的運算能力，減少運作時間。無人監(jiān)督的機器學習則是最核心的，通過動態(tài)調整帶有參數(shù)的算法，不斷優(yōu)化系統(tǒng)計算（運算）和分析效能?？梢暬瘎t與常規(guī)的運維相似，為運維管理人員提供可視化信息，幫助其理解信息輔助決策。自動化則是解放運維人員的雙手與大腦，自動生成解決問題的辦法或者改進已有的解決方案。

2 企業(yè)信息系統(tǒng)運維常見問題

在企業(yè)信息系統(tǒng)運維過程中，常常會面對一些低級問題帶來的麻煩，這一方面是由于信息處理過程繁瑣，另一方面是問題發(fā)現(xiàn)能力跟不上需求，通?？梢园哑髽I(yè)信息系統(tǒng)運維常見問題歸納為四類：故障點定位消耗時間長、維護人員壓力大、專業(yè)維護人員招聘困難、信息監(jiān)控工具能力弱。

就目前來講，很多大型生產型企業(yè)又配備了大量的監(jiān)控系統(tǒng)，這些監(jiān)控系統(tǒng)一般都能夠發(fā)現(xiàn)系統(tǒng)出現(xiàn)了故障，然而這些故障具體發(fā)生在什么位置，如何才能快速解決故障，避免對用戶產生使用影響，要求更高一些，讓用戶在無感知的情況下消除故障讓系統(tǒng)恢復正常，是十分嚴峻的問題。通常是需要依賴于專家，憑借專家的豐富經(jīng)驗進行逐點排查，這就會導致故障點定位消耗大量的時間，再加上故障修復時間，整個問題的解決時間會更長。

也正是由于故障發(fā)現(xiàn)解決周期會很長，在一些對即時性要求較高的企業(yè)，維護人員的工作壓力非常大，一是故障發(fā)生隨機性太大，無法知曉何時會發(fā)生故障，另外一方面，為了能夠更快地發(fā)現(xiàn)故障解決問題，一些企業(yè)建設了一些非常復雜的信息監(jiān)測監(jiān)控系統(tǒng)，由于行業(yè)的獨特性與復雜性，這些系統(tǒng)大部分都需要維護人員手動設置閾值，這就使得所有的壓力中心又返回到維護人員身上。這對維護人員的要求一方面要熟悉業(yè)務，能夠對生產線信息很敏感的感知并動態(tài)地調整告警發(fā)現(xiàn)規(guī)則，又要求維護人員具備很強的計算機操作能力、圖形圖像辨知能力，這自然而然地給企業(yè)帶來新型維護人員招聘難的難題[3]。

3 基于Aiops的信息機房數(shù)據(jù)中心的智能化運營

對于現(xiàn)階段的電力企業(yè)來講，信息機房數(shù)據(jù)中心具有很大的作為空間，打破傳統(tǒng)的以人為主的運維模式，升級監(jiān)控方式方法可以從故障探測與智能預警、信息系統(tǒng)健康畫像、智能擴縮容、智能預案推薦幾個方面入手，實現(xiàn)數(shù)據(jù)中心告警故障自愈，從而達到智能化運營的目的。

在故障探測與智能預警方面，通過歷史數(shù)據(jù)的時間序列分析和大規(guī)模數(shù)據(jù)的機器學習進行故障探測，并通過數(shù)據(jù)擬合的方式進行業(yè)務健康狀態(tài)預測。并配合監(jiān)控系統(tǒng)實現(xiàn)智能預警，以郵件、微信、短信等方式實時告知運維人員系統(tǒng)的健康狀態(tài)，防患于未然。

在信息系統(tǒng)健康畫像方面，通過對現(xiàn)實業(yè)務進行標準化整合，建立業(yè)務健康數(shù)據(jù)指標。該信息系統(tǒng)健康指標需要滿足對機房內平臺，主機、服務器、應用的健康狀態(tài)評估的準確性。利用智能化的健康指標KPI，研究能夠描述業(yè)務健康狀況的信息系統(tǒng)健康畫像模型[4]?；诖髷?shù)據(jù)平臺，可以快速創(chuàng)建儀表板實時顯示健康度整體動態(tài)。

在智能擴縮容方面，一是要建立業(yè)務系統(tǒng)的負載走勢算法模型，業(yè)務負載走勢算法模型及智能預測，依托于業(yè)務的負載趨勢數(shù)據(jù)，包含平臺、系統(tǒng)、應用的負載數(shù)據(jù)等，通過對這些數(shù)據(jù)的收集、OLAP、存儲及初步分析處理形成有價值的模型訓練數(shù)據(jù)，通過線性回歸、移動平均算法等趨勢預測算法訓練出智能預測業(yè)務負載走勢算法模型，該模型需要滿足業(yè)務負載及預測的準確性、實時性等需求。二是要實現(xiàn)服務器承載能力智能評估，服務器承載能力智能評估過程除了考慮不同機型對應的表現(xiàn)有區(qū)別外，不同應用相差差異也比較大，而且，不同業(yè)務的各類限制的指標也各不相同，有cpu決定的，有IO決定的等等。服務器承載能力智能評估需要滿足不同業(yè)務類型在不同機型上面的承載能力的準確判斷。三是要基于業(yè)務系統(tǒng)的負載走勢算法模型及智能預測，以及服務器承載能力智能評估，通過AI智能決策，自動調度作業(yè)平臺擴縮容任務，實現(xiàn)自動擴縮容。擴縮容調度任務需要滿足，操作一致性，操作原子性等功能及業(yè)務需求。

在智能預案推薦方面，一是要實現(xiàn)故障處理預案數(shù)據(jù)收集、OLAP，及存儲管理，通過理解業(yè)務，收集告警數(shù)據(jù)、告警處理歷史數(shù)據(jù)告警收斂和防御、系統(tǒng)預定收斂和防御規(guī)則，通過FTA、健康診斷數(shù)據(jù)等，進行OLAP及數(shù)據(jù)存儲。針對常見故障，建議故障處理預案（套餐），并錄入到系統(tǒng)中。（非常見故障，如一年發(fā)生1-2次的，由于數(shù)據(jù)量少無法達到數(shù)據(jù)收集和分析的最低要求，不列入研究目標。）二是要建立故障處理計算模型，基于流式計算框架，根據(jù)故障處理預案數(shù)據(jù)，并通過機器學習相關算法，對故障進行聚類收斂，例如利用LSTM算法主要解決普通回環(huán)神經(jīng)網(wǎng)絡的權重小的問題，輸入不同尋常數(shù)據(jù)并利用LSTM來訓練神經(jīng)網(wǎng)絡收斂算法，最終到大規(guī)模場景下的神經(jīng)網(wǎng)絡，再將模型應用于生產系統(tǒng)，以實現(xiàn)對故障決策的智能判斷。對于故障的AI智能判斷需要滿足非常高的準確性判斷[5]。

綜上所述，基于Aiops的信息機房數(shù)據(jù)中心的智能化運營，最終要實現(xiàn)常見故障的自愈修復。常見故障需滿足兩點要求：出現(xiàn)次數(shù)需符合數(shù)據(jù)分析對故障量的要求，且能夠通過專家人工進行步驟編排實現(xiàn)解決，舉例如：數(shù)據(jù)庫故障（歸檔空間不足、集群服務異常、服務異常等）、操作系統(tǒng)故障（磁盤空間不足，CPU內存性能不足）。

4 結語

工業(yè)化與信息化時代，大數(shù)據(jù)與人工智能技術飛速發(fā)展，在許多行業(yè)已經(jīng)普遍應用且頗為成熟，這也助推著智能運維AIOps技術的不斷發(fā)展。對于一些實時數(shù)據(jù)量大、生產運營框架復雜不利于故障排查、用戶即時性體驗要求高的企業(yè)中，利用AIOps技術平臺紅利實現(xiàn)信息機房數(shù)據(jù)中心的智能化運營，前景廣闊。