袁帥臣

摘? 要：伴隨互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)業(yè)務(wù)和互聯(lián)網(wǎng)流量數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)，進(jìn)而影響互聯(lián)網(wǎng)大數(shù)據(jù)分析平臺(tái)，產(chǎn)生數(shù)據(jù)量和運(yùn)維環(huán)境的變化，沖擊傳統(tǒng)的大數(shù)據(jù)平臺(tái)運(yùn)維模式和數(shù)據(jù)技術(shù)方案。該文在總結(jié)機(jī)器學(xué)習(xí)在大數(shù)據(jù)分析平臺(tái)運(yùn)維觀眾的應(yīng)用的基礎(chǔ)上，分析聚類方法和回歸算法的特征，提出基于機(jī)器學(xué)習(xí)的大數(shù)據(jù)平臺(tái)智能化運(yùn)維系統(tǒng)設(shè)計(jì)和監(jiān)控系統(tǒng)設(shè)計(jì)方法，為平臺(tái)運(yùn)維人員監(jiān)控、排查和修復(fù)等問(wèn)題提供便利。

關(guān)鍵詞：大數(shù)據(jù)平臺(tái)；機(jī)器學(xué)習(xí)；系統(tǒng)設(shè)計(jì)；監(jiān)控系統(tǒng)；時(shí)間序列

中圖分類號(hào)：TP311.13? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? 文章編號(hào)：2095-2945（2024）08-0110-04

Abstract： With the rapid development of Internet technology， the growth of network business and Internet traffic data is explosive， which affects the Internet big data analysis platform， resulting in changes in data volume and operation and maintenance environment and having impact on the traditional big data platform operation and maintenance mode and data technology scheme. On the basis of summarizing the application of machine learning in the operation and maintenance audience of big data analysis platform， this paper analyzes the characteristics of clustering method and regression algorithm， and puts forward the design method of intelligent operation and maintenance system and monitoring system of big data platform based on machine learning， so as to provide convenience for platform operation and maintenance personnel monitoring， troubleshooting and repair.

Keywords： big data platform; machine learning; system design; monitoring system; time series

在大數(shù)據(jù)背景時(shí)代，計(jì)算機(jī)技術(shù)及人們的學(xué)習(xí)方式發(fā)生了巨大變化，網(wǎng)絡(luò)系統(tǒng)及信息共享的擴(kuò)展性和共享性不斷改進(jìn)，也對(duì)網(wǎng)絡(luò)安全和傳統(tǒng)大數(shù)據(jù)平臺(tái)帶來(lái)挑戰(zhàn)。我國(guó)互聯(lián)網(wǎng)網(wǎng)民超過(guò)8億，其中網(wǎng)絡(luò)普及率也超過(guò)60%，網(wǎng)絡(luò)成為人們生活、工作及學(xué)習(xí)不可或缺的一部分。伴隨不斷升級(jí)和改造的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施，使得人工智能、醫(yī)療健康及投資風(fēng)控等應(yīng)用場(chǎng)景出現(xiàn)在數(shù)據(jù)平臺(tái)中，網(wǎng)絡(luò)環(huán)境的安全問(wèn)題越來(lái)越影響人們生活，網(wǎng)絡(luò)環(huán)境復(fù)雜多變，網(wǎng)絡(luò)犯罪也更加嚴(yán)重，可見，互聯(lián)網(wǎng)的發(fā)展也促進(jìn)各國(guó)積極管理和應(yīng)對(duì)網(wǎng)絡(luò)風(fēng)險(xiǎn)及安全策略，對(duì)傳統(tǒng)的大數(shù)據(jù)平臺(tái)及監(jiān)控體系提出了巨大挑戰(zhàn)。

劉雷等[1]以云南省政協(xié)大數(shù)據(jù)平臺(tái)建設(shè)為例，介紹平臺(tái)的建設(shè)內(nèi)容和實(shí)施方案，重點(diǎn)對(duì)大數(shù)據(jù)平臺(tái)在政協(xié)背景下的關(guān)鍵內(nèi)容進(jìn)行較為詳細(xì)的梳理。付鵬[2]闡述了大數(shù)據(jù)背景下計(jì)算機(jī)網(wǎng)絡(luò)安全防范的重要性，分析了大數(shù)據(jù)背景下計(jì)算機(jī)網(wǎng)絡(luò)安全存在的問(wèn)題，并進(jìn)一步針對(duì)加強(qiáng)計(jì)算機(jī)網(wǎng)絡(luò)安全防范提出了有效措施。文聰敏等[3]針對(duì)當(dāng)前軟件需求變更日漸增多但管理效率低下的現(xiàn)狀，總結(jié)了大數(shù)據(jù)平臺(tái)的特點(diǎn)，針對(duì)大數(shù)據(jù)平臺(tái)的計(jì)算能力和成本，提出了基于需求自動(dòng)同步更新的管理系統(tǒng)，并從總體設(shè)計(jì)、需求數(shù)據(jù)庫(kù)以及數(shù)據(jù)處理流程三個(gè)方面對(duì)其進(jìn)行了闡述。白益洋等[4]通過(guò)二維碼及信息化大數(shù)據(jù)平臺(tái)精準(zhǔn)錄入人員身份，進(jìn)而實(shí)現(xiàn)住院醫(yī)師規(guī)范化培訓(xùn)教學(xué)的體系化管理，同時(shí)依據(jù)實(shí)時(shí)生成的考核數(shù)據(jù)對(duì)教學(xué)質(zhì)量進(jìn)行監(jiān)控和反饋，達(dá)到對(duì)住培教學(xué)活動(dòng)的良性互動(dòng)和閉環(huán)管理。蘇健淵等[5]通過(guò)使用人工智能、大數(shù)據(jù)等前沿信息技術(shù)，搭建實(shí)訓(xùn)基地智能化管理系統(tǒng)，將實(shí)訓(xùn)基地管理、維護(hù)、建設(shè)等多元信息集于一體，滿足實(shí)訓(xùn)基地復(fù)雜化、多元化的管理要求，真正實(shí)現(xiàn)實(shí)訓(xùn)基地的智能化管理，優(yōu)化實(shí)訓(xùn)基地運(yùn)行機(jī)制，提升實(shí)訓(xùn)基地的管理效率和水平。張燕[6]以消防防控為研究對(duì)象，提出了一種多網(wǎng)融合的消防大數(shù)據(jù)平臺(tái)。大數(shù)據(jù)平臺(tái)的建設(shè)促進(jìn)人們的學(xué)習(xí)方式改變，以機(jī)器學(xué)習(xí)為代表的人工智能技術(shù)為電力系統(tǒng)安全穩(wěn)定的發(fā)展提供新的思路[7]。徐楚原[8]分析了大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀，提出了環(huán)保智慧時(shí)代背景下機(jī)器學(xué)習(xí)的未來(lái)發(fā)展方向，旨在推動(dòng)數(shù)據(jù)處理算法在生態(tài)環(huán)境領(lǐng)域的研究和應(yīng)用，提高各類環(huán)境數(shù)據(jù)的處理效率。黃穎祺[9]針對(duì)最為關(guān)鍵的電能數(shù)據(jù)異常診斷難題，提出負(fù)荷回歸分析預(yù)測(cè)、基于神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)、聚類分析和基于投影方法4種異常檢測(cè)方法，并對(duì)4種方法的準(zhǔn)確性和有效性進(jìn)行計(jì)算。王照翻等[10]以萬(wàn)寧海域?yàn)槔?，研究了多光譜遙感數(shù)據(jù)與多類型機(jī)器學(xué)習(xí)算法的淺海水深反演方法，把機(jī)器學(xué)習(xí)算法應(yīng)用海浪效應(yīng)的評(píng)價(jià)。

綜上所述，大數(shù)據(jù)技術(shù)平臺(tái)、機(jī)器學(xué)習(xí)及信息技術(shù)在網(wǎng)絡(luò)安全、人員身份識(shí)別及生態(tài)環(huán)境領(lǐng)域應(yīng)用較多，大數(shù)據(jù)的發(fā)展促進(jìn)了人工智能技術(shù)的發(fā)展，基于機(jī)器學(xué)習(xí)及互聯(lián)網(wǎng)技術(shù)應(yīng)用大數(shù)據(jù)平臺(tái)建設(shè)，為運(yùn)維人員提供便利。

1? 時(shí)間序列聚集理論

時(shí)間序列是基于數(shù)理統(tǒng)計(jì)學(xué)和隨機(jī)過(guò)程理論，進(jìn)一步研究隨機(jī)數(shù)據(jù)序列所遵循的統(tǒng)計(jì)規(guī)律，因此，時(shí)間序列分析被認(rèn)為是一種動(dòng)態(tài)數(shù)據(jù)處理的統(tǒng)計(jì)分析方法。基于動(dòng)態(tài)數(shù)據(jù)處理可以解決實(shí)際問(wèn)題，目前時(shí)間序列分析的方法一般包括自相關(guān)分析和譜分析方法，模式識(shí)別是時(shí)間序列聚集應(yīng)用的主要模式之一，常被用于發(fā)現(xiàn)數(shù)據(jù)集頻繁出現(xiàn)的規(guī)律，比如在金融領(lǐng)域進(jìn)行時(shí)間序列聚集分析，可以提供分析股票走勢(shì)，通過(guò)股票走勢(shì)可以得出相似金融企業(yè)的股票趨勢(shì)，不同股票趨勢(shì)的對(duì)比進(jìn)而發(fā)掘企業(yè)之間的相互聯(lián)系。時(shí)間序列聚集最為常用的是相似性度量，基于特定的時(shí)間序列和原始數(shù)據(jù)表示特征計(jì)算。

2條時(shí)間序列之間的距離為

dist（Fi，F(xiàn)j）=∑dist（fit，fjt），

式中：T為時(shí)間，f為各時(shí)間點(diǎn)之間的距離，F(xiàn)表示長(zhǎng)度為T的時(shí)間序列。時(shí)間序列聚集包括基于時(shí)間相似性的聚類、基于形狀相似性的聚類、基于結(jié)構(gòu)相似性的聚類和基于時(shí)間序列長(zhǎng)度的聚類4種類型。其中，時(shí)間序列的表示特征、長(zhǎng)度特征影響著時(shí)間序列的距離計(jì)算，另外噪聲、振幅平移、振幅伸縮、時(shí)間軸伸縮、線性漂移及不連續(xù)也影響時(shí)間序列距離，距離具體的計(jì)算方法，如圖1所示。

由圖1可知 ，時(shí)間序列距離的計(jì)算與目標(biāo)、長(zhǎng)度層面和類型有關(guān)。其中類型從3個(gè)方面展開，即基于時(shí)間類型、形狀類型和模型，基于模型的方法計(jì)算，把相似的時(shí)間序列定義為產(chǎn)生相似的模型，因此在大數(shù)據(jù)平臺(tái)構(gòu)建過(guò)程中，通過(guò)比較模型之間的相似性可以達(dá)到時(shí)間序列聚類的目的。目標(biāo)方面基于時(shí)間相似性、形狀相似性和結(jié)構(gòu)相似性，時(shí)間相似性是強(qiáng)調(diào)每一個(gè)時(shí)刻點(diǎn)開始計(jì)算的，在具體的應(yīng)用中歐式距離更加適合大數(shù)據(jù)平臺(tái)中的時(shí)間序列聚類，但缺點(diǎn)是計(jì)算非常耗時(shí)，采用的原始序列，一般采取小波變換或傅里葉變換，最后對(duì)變換后的序列聚類；而形狀相似性的聚類在序列時(shí)間點(diǎn)上模式對(duì)于形狀相似性不重要，往往運(yùn)用彈性方法中的動(dòng)態(tài)時(shí)間規(guī)整進(jìn)行相似計(jì)算，其中形狀特征包括全局特征和局部特征。

長(zhǎng)度層面從形狀層面和結(jié)構(gòu)層面進(jìn)行計(jì)算。經(jīng)典的統(tǒng)計(jì)分析是基于假定數(shù)據(jù)序列具有獨(dú)立性開展的，但是時(shí)間序列分析更加側(cè)重研究對(duì)象和研究數(shù)據(jù)序列的互相依賴關(guān)系。其中，形狀層面計(jì)算采用相似性計(jì)算，通常是基于短時(shí)間序列聚類，另一方面結(jié)構(gòu)層面是基于高級(jí)結(jié)構(gòu)和全局的相似性為出發(fā)點(diǎn)，主要采用長(zhǎng)時(shí)間序列數(shù)據(jù)計(jì)算，時(shí)間序列聚類算法如圖2所示。

2? 大數(shù)據(jù)平臺(tái)原始數(shù)據(jù)采集分析系統(tǒng)設(shè)計(jì)

基于統(tǒng)計(jì)學(xué)原理方法，對(duì)大數(shù)據(jù)平臺(tái)原始數(shù)據(jù)采集分析系統(tǒng)進(jìn)行研究，深入分析網(wǎng)絡(luò)設(shè)備，進(jìn)一步找出異常設(shè)備，及時(shí)反饋設(shè)備運(yùn)維人員。大數(shù)據(jù)平臺(tái)原始數(shù)據(jù)采集分析系統(tǒng)基于時(shí)間序列聚類算法，充分利用相似性流量的網(wǎng)絡(luò)設(shè)備進(jìn)行聚類，采取時(shí)間序列聚集理論，在進(jìn)行決策依據(jù)時(shí)，通過(guò)增加的負(fù)載均衡器及數(shù)據(jù)之間的傳遞，降低數(shù)據(jù)負(fù)荷。從而為大數(shù)據(jù)采集服務(wù)器入口增加與之對(duì)應(yīng)的負(fù)載均衡器。

目前現(xiàn)有的平臺(tái)網(wǎng)絡(luò)流量采集系統(tǒng)的架構(gòu)如圖3所示。主要由3個(gè)模塊組成，即不同用戶采集模塊、網(wǎng)絡(luò)中間采集模塊和存儲(chǔ)分析數(shù)據(jù)模塊。

由圖3可知，不同用戶單元模塊為大數(shù)據(jù)平臺(tái)的原始數(shù)據(jù)輸入模塊，主要作用是采集各企業(yè)用戶的日常真實(shí)網(wǎng)絡(luò)流量，每日只要有流量訪問(wèn)，設(shè)備就會(huì)產(chǎn)生日志信息；而中間的采集設(shè)備相當(dāng)于大數(shù)據(jù)信息中轉(zhuǎn)站，負(fù)責(zé)不同單元用戶信息的處理，然后將處理后的信息轉(zhuǎn)發(fā)平臺(tái)，在不同城市區(qū)域都分布采集服務(wù)器，現(xiàn)有的網(wǎng)絡(luò)流量采集系統(tǒng)缺乏對(duì)用戶網(wǎng)絡(luò)設(shè)備的監(jiān)控和進(jìn)一步的分析，另一方面網(wǎng)絡(luò)設(shè)備模式相同的情況下使得用戶在同一時(shí)刻處于波峰狀態(tài)或波谷狀態(tài)，產(chǎn)生較大的流量，導(dǎo)致采集服務(wù)器出現(xiàn)性能瓶頸問(wèn)題，產(chǎn)生資源浪費(fèi)現(xiàn)象，降低了采集服務(wù)器的使用狀態(tài)。針對(duì)以上出現(xiàn)的問(wèn)題，在傳統(tǒng)的架構(gòu)中增加設(shè)備流量分析模塊和設(shè)備負(fù)載均衡模塊，進(jìn)而提升設(shè)備的運(yùn)行狀態(tài)，提升網(wǎng)絡(luò)設(shè)備的效率，如圖4所示。

由圖4可知，通過(guò)一定的聚類，也可以發(fā)現(xiàn)異常數(shù)據(jù)網(wǎng)絡(luò)流量，一旦個(gè)別用戶設(shè)備的流量曲線與其他用戶有較大的差異，大數(shù)據(jù)平臺(tái)則認(rèn)為設(shè)備有異常情況，后臺(tái)立刻將異常的信息反饋給運(yùn)維人員，運(yùn)維人員通過(guò)采集服務(wù)及相關(guān)幫助即可查明異常原因，從而進(jìn)行有針對(duì)性的維修，運(yùn)維人員可以針對(duì)設(shè)備的歷史流量數(shù)據(jù)進(jìn)行深入分析，進(jìn)一步挖掘其網(wǎng)絡(luò)流量的模式。

3? 大數(shù)據(jù)平臺(tái)智能化運(yùn)維系統(tǒng)的設(shè)計(jì)

3.1? 大數(shù)據(jù)分析平臺(tái)監(jiān)控指標(biāo)

大數(shù)據(jù)網(wǎng)絡(luò)流量監(jiān)控指標(biāo)主要包含大數(shù)據(jù)平臺(tái)指標(biāo)和業(yè)務(wù)指標(biāo)兩大塊。大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器監(jiān)控指標(biāo)和集群指標(biāo)構(gòu)成了大數(shù)據(jù)平臺(tái)指標(biāo)；大數(shù)據(jù)業(yè)務(wù)指標(biāo)類型較多，主要按設(shè)備數(shù)量、設(shè)備類型劃分的網(wǎng)絡(luò)流量大小及城市區(qū)域劃分的總網(wǎng)絡(luò)流量等，其檢測(cè)的時(shí)間間隔為10 min。大數(shù)據(jù)服務(wù)器的監(jiān)控指標(biāo)見表1。

由表1可知，集群檢測(cè)監(jiān)測(cè)指標(biāo)包括CPU、內(nèi)存、磁盤讀寫等基本指標(biāo)，還有HDFS、HBASE等大數(shù)據(jù)相關(guān)的監(jiān)測(cè)指標(biāo)。不同的監(jiān)測(cè)指標(biāo)，其檢測(cè)時(shí)間間隔不同，對(duì)于監(jiān)控指標(biāo)變化較快的，采取間隔時(shí)間較短的辦法，監(jiān)測(cè)時(shí)間間隔對(duì)整個(gè)大數(shù)據(jù)集群有不同程度影響，因此要及時(shí)發(fā)現(xiàn)和處理不同的監(jiān)測(cè)指標(biāo)。

3.2? 監(jiān)控系統(tǒng)設(shè)計(jì)

周期性監(jiān)控指標(biāo)和非周期性監(jiān)控指標(biāo)構(gòu)成了大數(shù)據(jù)平臺(tái)網(wǎng)絡(luò)的監(jiān)控指標(biāo)。對(duì)于含有趨勢(shì)性的指標(biāo)或周期性監(jiān)控指標(biāo)要預(yù)測(cè)指標(biāo)走勢(shì)，對(duì)于指標(biāo)的走勢(shì)要實(shí)時(shí)觀測(cè)，探尋規(guī)律，發(fā)現(xiàn)持續(xù)升高的現(xiàn)象要預(yù)測(cè)指標(biāo)的設(shè)定閾值，及時(shí)通知網(wǎng)絡(luò)流量運(yùn)維人員，盡早調(diào)查原因，并采取解決措施。

對(duì)于特別重要的監(jiān)控指標(biāo)，監(jiān)控人員要收集或查看相關(guān)知識(shí)，可以采取監(jiān)督學(xué)習(xí)的方式進(jìn)行，依托LIGHTGBM模型，實(shí)施實(shí)時(shí)異常檢測(cè)，提升監(jiān)控的效率，同樣，可以通過(guò)時(shí)間序列聚類算法進(jìn)行聚類，對(duì)周期性監(jiān)控指標(biāo)進(jìn)行檢測(cè)，對(duì)于相同類簇的周期性監(jiān)控指標(biāo)，訓(xùn)練一個(gè)模型進(jìn)行檢測(cè)，不斷滾動(dòng)更新每一條監(jiān)控?cái)?shù)據(jù)，進(jìn)而保存歷史監(jiān)控?cái)?shù)據(jù)，發(fā)現(xiàn)異常數(shù)據(jù)，及時(shí)通知運(yùn)維人員；而針對(duì)非周期性監(jiān)控指標(biāo)僅通過(guò)設(shè)置網(wǎng)絡(luò)流量上下限閾值就可以完成本次監(jiān)控的任務(wù)，如圖5所示。

4? 結(jié)束語(yǔ)

企業(yè)大數(shù)據(jù)平臺(tái)的快速發(fā)展離不開互聯(lián)網(wǎng)技術(shù)，搭建有利于公司運(yùn)營(yíng)的大數(shù)據(jù)辦公平臺(tái)對(duì)大數(shù)據(jù)智能化運(yùn)維至關(guān)重要，因此，有效的管理系統(tǒng)對(duì)大數(shù)據(jù)平臺(tái)的智能化運(yùn)維至關(guān)重要，從根源上進(jìn)行數(shù)據(jù)分析，及時(shí)發(fā)現(xiàn)大數(shù)據(jù)平臺(tái)設(shè)備的異常情況，保證平臺(tái)數(shù)據(jù)采集模塊的平穩(wěn)運(yùn)行是關(guān)鍵。

通過(guò)時(shí)間序列模型聚類算法，提取相關(guān)模型參數(shù)及有用信息，進(jìn)一步發(fā)現(xiàn)不同網(wǎng)絡(luò)流量采集設(shè)備的行為模式，在網(wǎng)絡(luò)流量設(shè)備監(jiān)控中采取波峰波谷錯(cuò)峰的措施實(shí)施采集平臺(tái)的負(fù)載均衡，提出了基于大數(shù)據(jù)平臺(tái)監(jiān)控系統(tǒng)設(shè)計(jì)和大數(shù)據(jù)平臺(tái)原始數(shù)據(jù)采集分析系統(tǒng)，利用機(jī)器學(xué)習(xí)回歸和分析算法，采取自動(dòng)分析的模式，能夠快速識(shí)別網(wǎng)絡(luò)流量中絕大多數(shù)相關(guān)指標(biāo)或異常數(shù)據(jù)，及時(shí)告知運(yùn)維人員，減少網(wǎng)絡(luò)流量設(shè)備的差錯(cuò)，進(jìn)一步滿足大數(shù)據(jù)管理平臺(tái)的指標(biāo)監(jiān)控需求，以提高數(shù)據(jù)處理效率。

參考文獻(xiàn)：

[1] 劉雷，孫賢，朱靖.云南省“數(shù)字政協(xié)”及大數(shù)據(jù)平臺(tái)探索與實(shí)踐[J].科技創(chuàng)新與應(yīng)用，2022，12（26）：32-36.

[2] 付鵬.大數(shù)據(jù)背景下計(jì)算機(jī)網(wǎng)絡(luò)安全及防范措施分析[J].科技創(chuàng)新與應(yīng)用，2022，12（2）：124-126.

[3] 文聰敏，劉乃新.基于大數(shù)據(jù)平臺(tái)的需求自動(dòng)同步更新管理系統(tǒng)設(shè)計(jì)與研究[J].現(xiàn)代信息科技，2023，7（14）：7-11.

[4] 白益洋，董晉.基于信息大數(shù)據(jù)平臺(tái)的住培管理系統(tǒng)應(yīng)用研究[J].現(xiàn)代信息科技，2023，7（11）：156-159.

[5] 蘇健淵，梁曉昀，黃民聰.基于大數(shù)據(jù)平臺(tái)的實(shí)訓(xùn)基地智能化管理系統(tǒng)建設(shè)[J].石河子科技，2023（2）：75-76.

[6] 張燕.基于多網(wǎng)融合的消防大數(shù)據(jù)平臺(tái)系統(tǒng)設(shè)計(jì)[J].數(shù)字技術(shù)與應(yīng)用，2022，40（8）：200-202.

[7] 田芳，王曉茹.基于機(jī)器學(xué)習(xí)的電力系統(tǒng)安全評(píng)估及控制技術(shù)[J].供用電，2023，40（7）：3.

[8] 徐楚原.機(jī)器學(xué)習(xí)在生態(tài)環(huán)境大數(shù)據(jù)中的應(yīng)用[J].化工設(shè)計(jì)通訊，2023，49（8）：177-179.

[9] 黃穎祺.基于機(jī)器學(xué)習(xí)的用戶側(cè)異常數(shù)據(jù)診斷研究[J].制造業(yè)自動(dòng)化，2023，45（8）：49-55.

[10] 王照翻，馬梓程，熊忠招，等.多光譜遙感數(shù)據(jù)與多類型機(jī)器學(xué)習(xí)算法的淺海水深反演方法評(píng)價(jià)[J].熱帶地理2023，43（9）：1689-1700.