亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于人工智能的日志清理方法的研究與應用

        2021-01-21 08:13:34郭磊王承志徐萬新
        家園·電力與科技 2021年14期
        關鍵詞:人工智能

        郭磊 王承志 徐萬新

        摘要:在企業(yè)IT系統(tǒng)的日常運營管理中心,主機磁盤管理是一項繁瑣、頻繁且重要的工作,耗費大量人力,稍有疏忽就會影響主機的正常使用,給IT系統(tǒng)帶來不穩(wěn)定性。隨著人工智能的蓬勃發(fā)展,人工智能在日常工作中的應用也逐漸嶄露頭角。本文研究并使用人工智能的技術如時間序列和回歸算法,綜合歷史同期業(yè)務量,工程師調優(yōu)參數(shù)等多因子進行磁盤使用率變化趨勢預測,按照日志重要程度分優(yōu)先級進行日志自動化清理的方法,并支持分布式系統(tǒng)大批量主機管理。使用本方法解決了IT系統(tǒng)運營管理中心一大難題,提高了運營人員效率,同時提高了系統(tǒng)可用性和穩(wěn)定性。

        關鍵詞:人工智能;自動化運維;主機巡檢;日志清理

        一、引言

        本文主要基于企業(yè)IT系統(tǒng)日常運營管理中的痛點,結合大規(guī)模主機日志清理工作的現(xiàn)狀,分析傳統(tǒng)管理方案的弊端,提出了基于人工智能進行日志清理的方法,并深入研究了人工智能中可應用到本場景的技術如時間序列和回歸算法,運營管理經(jīng)驗可作為因子輸入到算法中,做到技術結合業(yè)務,形成一套可行的方法和技術方案,解決實際生產(chǎn)問題。

        二、日志管理現(xiàn)狀

        電信運營商有很多業(yè)務數(shù)據(jù)規(guī)模較大的IT系統(tǒng),這些系統(tǒng)的日常維護過程中,比較繁瑣的一項工作就是對運行中不斷產(chǎn)生的日志文件進行及時清理,這些日志文件包括系統(tǒng)啟動日志、用戶登錄日志、服務訪問日志、服務報錯日志等,可以幫助查看系統(tǒng)訪問痕跡、安全信息、系統(tǒng)服務異常原因等。在服務器的持續(xù)運行中,隨著日志的不斷產(chǎn)生,系統(tǒng)的可用空間會被逐漸占用,如果不及時清理,會影響系統(tǒng)正常運行,甚至寫滿整個磁盤導致系統(tǒng)宕機,影響業(yè)務的正常使用。

        日志清理是保證系統(tǒng)穩(wěn)定運行的重要工作,常規(guī)的清理方法是人工登陸服務器進行日志文件清理,或是基于程序腳本定時清理。以上清理方式或是基于工程師個人經(jīng)驗,或是基于固定程序/任務,判斷清理頻率、清理條件,清理方式、清理內容。常規(guī)方式難以適應不同重要程度日志的清理要求,例如:不重要日志可直接進行刪除,重要日志需要保留一定時間,或者備份后刪除源文件。難以適應不同機器類型日志的清理要求,例如:磁盤空間大的機器可保留時間稍長,空間小的需要頻繁的清理。難以適應不同業(yè)務壓力機器的清理要求,例如:系統(tǒng)訪問頻率高的會更快的產(chǎn)生日志需要更高的清理頻率,而業(yè)務壓力小的機器則無需經(jīng)常清理。因此,面對多種場景,原有方式或是基于工程師個人豐富經(jīng)驗判斷,難以固化,若相關工程師轉崗會帶來系統(tǒng)運行不穩(wěn)定的風險?;谟邢奕肆?,面對目前越來越多的機器數(shù)量也難以高效應對?;诠潭ǔ绦蚨〞r運行的方式,需要不同場景定制不同程序,也較為繁瑣,效率低下,容易出錯。

        三、研究目的

        面對以上日志清理的運營痛點問題,本發(fā)明提出基于人工智能的日志清理方式,可基于機器磁盤空間大小、業(yè)務壓力、日志類型、日志重要程度等因素綜合考慮進行日志清理,提高運營效率和維護操作的安全性。并且在機器系統(tǒng)信息或業(yè)務產(chǎn)生變化后,可基于機器學習自動調優(yōu)以達到智能清理日志的目的。

        四、基于人工智能技術的日志清理技術方案

        接下來詳細說明下這種基于人工智能日志清理方法的技術方案。方案整體架構如附圖一所示,基于人工智能的日志清理系統(tǒng)支持多臺機器的日志自動清理,無需人工登陸主機清理,也無需在主機上定制腳本定時清理。支持智能預測,智能清理,清理效果統(tǒng)一展示,工程師評分優(yōu)化,模型訓練,不斷優(yōu)化清理效果。具體流程如附圖2所示。

        1、當有機器接入網(wǎng)絡時可自動注冊到日志清理系統(tǒng)中,并將系統(tǒng)信息如磁盤數(shù)量,磁盤空間大小等信息發(fā)送給日志清理系統(tǒng)。

        2、機器系統(tǒng)信息發(fā)生改變時,如擴容了磁盤,可自動反饋更新信息。

        3、日志清理系統(tǒng)可實時自動采集已注冊機器的日志信息,如日志文件名稱,日志文件路徑,日志文件大小,磁盤空間剩余大小等。

        4、日志清理系統(tǒng)進行日志清理分析,使用但不限于以下算法:

        (1)利用采集數(shù)據(jù),使用時間序列算法或回歸算法預測日志增長趨勢。

        (2)結合系統(tǒng)業(yè)務歷史數(shù)據(jù),如往年同期業(yè)務情況進行日志增長預測修正。

        (3)支持外部信息輸入,如預期接下來一段時間會新增業(yè)務,工程師可反饋系統(tǒng)調整優(yōu)化,模型訓練。

        (4)結合磁盤空間大小與日志增長預測磁盤還可使用時間。

        (5)分析往期預測與實際情況數(shù)據(jù)的差異,不斷進行因子調優(yōu),增加預測準確度。

        (6)結合日志類型,日志重要性,日志最近修改時間等做出日志清理的操作,計算需要清理的日志名稱,清理方式;如優(yōu)先刪除重要性低的日志,優(yōu)先刪除老舊日志,壓縮保留重要性高的日志等。

        (7)根據(jù)系統(tǒng)計算結果下發(fā)清理命令給不同機器進行個性化清理操作。

        5、機器清理結果反饋給日志清理系統(tǒng)。

        6、展示清理記錄、清理效果,支持工程師評分,調優(yōu),輸入專家經(jīng)驗優(yōu)化下次清理準確度。

        五、概述應用案例

        這里將針對本申請?zhí)岢龅募夹g方案給出更詳細的示例性應用案例?;谌斯ぶ悄艿娜罩厩謇矸椒跋到y(tǒng)實現(xiàn)實例如下。

        (1)視需要清理機器的數(shù)量,使用單臺機器或者集群部署日志清理系統(tǒng)。機器通過部署代理的方式注冊到日志清理系統(tǒng),并通過接口發(fā)送系統(tǒng)信息到日志清理系統(tǒng)。

        (2)機器系統(tǒng)信息發(fā)生改變時,如擴容了磁盤,可觸發(fā)系統(tǒng)信息通過接口發(fā)送系統(tǒng)更新信息到日志清理系統(tǒng)。

        (3)日志清理系統(tǒng)可實時通過接口采集已注冊機器的日志信息,如日志文件名稱,日志文件路徑,日志文件大小,磁盤空間剩余大小等并將數(shù)據(jù)寫入kafka進行保存。

        (4)使用scala消費Kafka數(shù)據(jù)隊列寫入Redis,供算法程序使用,使用python讀取Redis的數(shù)據(jù),進行數(shù)據(jù)清洗、訓練模型、進行預測、計算結果,預測結果寫入Mysql進行存儲。根據(jù)計算結果進行界面展示。使用以下算法:

        1.利用采集數(shù)據(jù),使用時間序列算法和回歸算法預測日志增長趨勢。

        針對時間序列數(shù)據(jù)的預測問題,可以用時間序列算法實現(xiàn),也可以用回歸算法實現(xiàn)。時間序列算法一般默認數(shù)據(jù)是平穩(wěn)無劇烈波動的,但是非平穩(wěn)數(shù)據(jù)經(jīng)過差分等預處理后,也可以進行預測,只是增加了時間成本。主機性能指標,像磁盤空間使用率,一般是呈線性或非線性增長,且再結合實際運維場景,如磁盤空間達到告警警戒線時,通過分析近2個小時的增長情況,預測達到100%使用率所需的時間,由此可見,使用回歸分析算法更加合適。

        自變量和因變量是回歸預測中重要的概念,在主機性能指標趨勢預測中,時間可以作為自變量,使用率作為因變量,當使用率達到100%時,通過已經(jīng)訓練好的回歸模型,反推時間。下面以簡單線性回歸來舉例。

        上面的公式是多元線性回歸方程式,具有多個自變量,但是主機性能指標的趨勢預測是單指標的預測,所以自變量只有時間,所以下面的回歸公式更加合適:

        只要訓練模型求出回歸系統(tǒng)和截距,當使用率為100%時,求出相應的即可以知道多長時間達到100%使用率。

        2.結合系統(tǒng)業(yè)務歷史數(shù)據(jù),如往年同期業(yè)務情況進行日志增長預測修正。支持專家經(jīng)驗輸入,如系統(tǒng)預期接下來一段時間會新增業(yè)務,工程師可反饋系統(tǒng)調整優(yōu)化,模型訓練。調整磁盤達到100%的時間。

        3.分析往期預測與實際情況數(shù)據(jù),不斷進行因子調優(yōu),增加預測準確度。

        4.結合日志類型,日志重要性,日志最近修改時間等做出日志清理的操作,計算需要清理的日志名稱,清理方式;如優(yōu)先刪除重要性低的日志,優(yōu)先刪除老舊日志,壓縮保留重要性高的日志等。

        如系統(tǒng)訪問日志,系統(tǒng)運行日志,系統(tǒng)報錯日志重要性因子可給一個略低的初始值,可以進行刪除操作。而系統(tǒng)登錄日志,重要操作日志需要給一個高的因子,進行壓縮保留。因子支撐工程師經(jīng)驗輸入進行調整,

        5.根據(jù)系統(tǒng)計算結果下發(fā)清理命令給不同機器進行個性化清理操作。

        (5)機器清理結果反饋給日志清理系統(tǒng)。

        (6)展示清理記錄,清理效果,支持工程師評分,調優(yōu),優(yōu)化下次清理準確度。

        六、應用效果

        采用人工智能的方法進行日志清理。提出一整套基于多因子如使用磁盤空間大小,日志大小增長數(shù)據(jù),磁盤空間剩余大小,歷史業(yè)務量數(shù)據(jù),日志類型如重要性等因子智能預測,智能清理日志。并支持工程師專家經(jīng)驗輸入,如:調整日志重要性程度因子,基于即將開展的業(yè)務預期調整日志增長預測結果,對清理效果進行評分來進行模型訓練,優(yōu)化系統(tǒng)。

        本方案可自動進行日志清理,無需人工登陸主機清理,無需每臺機器定制程序,節(jié)約了人力,基于多種因子智能清理,增加了清理準確性,合理性。解決了以往清理程序分布各個機器清理結果難以掌握,人員變更后難以交維的IT系統(tǒng)日志清理的運營痛點。當有新機器接入時可自動注冊,十分方便。支持清理效果展示,評分不斷訓練模型。

        參考文獻:

        [1]人工智能時代帶來什么?[N]. 張燁.?南通日報. 2021-12-01 (A02)

        [2]人工智能新圖景,比想象更“無限”[N]. 何明.?安徽日報. 2021-09-07 (010)

        作者介紹: 郭磊(1992.8.16),性別:男;籍貫:安徽;民族:漢;學歷:本科、學士;研究方向:自動化運維。

        猜你喜歡
        人工智能
        我校新增“人工智能”本科專業(yè)
        用“小AI”解決人工智能的“大”煩惱
        汽車零部件(2020年3期)2020-03-27 05:30:20
        當人工智能遇見再制造
        2019:人工智能
        商界(2019年12期)2019-01-03 06:59:05
        AI人工智能解疑答問
        人工智能與就業(yè)
        基于人工智能的電力系統(tǒng)自動化控制
        人工智能,來了
        數(shù)讀人工智能
        小康(2017年16期)2017-06-07 09:00:59
        人工智能來了
        學與玩(2017年12期)2017-02-16 06:51:12
        亚洲公开免费在线视频| 国产乱码卡二卡三卡老狼| 女人张开腿让男桶喷水高潮| 国产精品内射后入合集| 久久99亚洲网美利坚合众国| 国内精品毛片av在线播放| 久久精品中文字幕无码绿巨人| av天堂在线免费播放| 加勒比东京热中文字幕| 99亚洲男女激情在线观看| 国产高清无码91| 国产内射视频免费观看| 免费在线国产不卡视频| 中文字幕人妻在线中字| 99热久久精里都是精品6| 久久免费国产精品| 精品免费一区二区三区在| 在线观看视频亚洲一区二区三区| 国语自产精品视频在线看| 精品免费久久久久久久| 国产亚洲精品久久久久久| 中文岛国精品亚洲一区| 亚洲色图在线视频观看| 国产精品黑丝高跟在线粉嫩| 亚洲精品乱码久久久久久日本蜜臀| 麻豆国产人妻欲求不满| 麻豆国产VA免费精品高清在线| 麻豆久久91精品国产| 亚洲精品无码久久久| 岛国成人在线| 一区二区特别黄色大片| 91精品国产综合久久久蜜| 久久综合狠狠综合久久综合88| 乌克兰粉嫩xxx极品hd| 999国产一区在线观看| 国产精品久久中文字幕亚洲| 女同同性av观看免费| 一本一道av无码中文字幕| 西西人体大胆视频无码| 亚洲中文字幕九色日本| 久久99国产精品久久|