李星

摘 ?要： 為了提高大數(shù)據(jù)負(fù)載監(jiān)測的有效性和準(zhǔn)確性，采用神經(jīng)網(wǎng)絡(luò)算法對大數(shù)據(jù)負(fù)載進行監(jiān)測。根據(jù)相鄰時間段的負(fù)載數(shù)量變化建立負(fù)載預(yù)測模型，結(jié)合負(fù)載變化情況判定當(dāng)前負(fù)載狀態(tài)。對負(fù)載變化明顯的時間段，采用神經(jīng)網(wǎng)絡(luò)算法對負(fù)載情況進行正向和反向運算。根據(jù)得到的結(jié)果與閾值相比較，超出閾值的負(fù)載判定為異常負(fù)載，將其從大數(shù)據(jù)平臺剔除，確保大數(shù)據(jù)平臺在線負(fù)載連接的真實性和有效性。仿真結(jié)果顯示，基于神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)負(fù)載方法在準(zhǔn)確性和運行效率上均表現(xiàn)良好。

關(guān)鍵詞： 大數(shù)據(jù); 負(fù)載監(jiān)測; 神經(jīng)網(wǎng)絡(luò); 負(fù)載預(yù)測; 網(wǎng)絡(luò)帶寬; 流量消耗

中圖分類號： TN915.02?34; TP393 ? ? ? ? ? ? ? ? ? 文獻標(biāo)識碼： A ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）11?0095?03

Abstract： In order to improve the effectiveness and accuracy of big data load monitoring， the neural network algorithm is used to monitor the big data load. The load prediction model is established according to the change of load quantity in adjacent time period， and the current load status is determined according to the change of load. The neural network algorithm is used to perform the forward and reverse operations according load condition in the time period when the load is changed significantly. The obtained operation results are compared with threshold， if the value is besides the threshold， which is determined as an abnormal load and removed from the big data platform to ensure the authenticity and effectiveness of the online load connection of the big data platform. The simulation results show that the big data load method based on neural network has high performance on both accuracy and operational efficiency.

Keywords： big data; load monitoring; neural network; load forecasting; network bandwidth; flow consumption

0 ?引 ?言

隨著互聯(lián)網(wǎng)的高速發(fā)展，接入網(wǎng)絡(luò)的負(fù)載量逐漸增加，這些負(fù)載產(chǎn)生的數(shù)據(jù)信息成為網(wǎng)絡(luò)中各項分析的數(shù)據(jù)來源。雖然這些數(shù)據(jù)成為決策分析重要的價值數(shù)據(jù)源，理論上負(fù)載越多，獲得數(shù)據(jù)樣本越有分析價值，但是大量的負(fù)載接入網(wǎng)絡(luò)，給整個網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定性和功能性帶來了新的挑戰(zhàn)[1]。

大數(shù)據(jù)平臺下，接入網(wǎng)絡(luò)的在線負(fù)載量受平臺可接入網(wǎng)絡(luò)的負(fù)載總量、數(shù)據(jù)帶寬、計算能力、響應(yīng)時間、數(shù)據(jù)承載量等限制，在線負(fù)載需要和平臺進行數(shù)據(jù)交換，就必須和平臺建立有效連接。為了防止出現(xiàn)占據(jù)數(shù)據(jù)通道而沒有進行有效通信的負(fù)載浪費資源，必須采用有效的方法對在線負(fù)載進行有效監(jiān)測，及時有效地提高資源利用率[2?3]。

傳統(tǒng)的在線負(fù)載監(jiān)測方法主要靠服務(wù)器與負(fù)載的通信作為檢驗負(fù)載是否在線的標(biāo)準(zhǔn)[4]，這種方法也是網(wǎng)絡(luò)點對點之間檢測對方是否在線的主要方法，但是這種方法有一定的局限性，需要占據(jù)較多的網(wǎng)絡(luò)資源，不利于數(shù)據(jù)帶寬的合理應(yīng)用。本文將小波理論和神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，用來監(jiān)測大數(shù)據(jù)平臺的在線負(fù)載連接情況，取得了較好的效果。

1 ?基于小波神經(jīng)網(wǎng)絡(luò)的負(fù)載監(jiān)測模型建立

1.1 ?負(fù)載監(jiān)測問題表述

設(shè)負(fù)載數(shù)量為[n]，在[t]時間段內(nèi)建立負(fù)載監(jiān)測模型，負(fù)載的變化在時間軸上是無規(guī)律的，因此分析接入大數(shù)據(jù)平臺的負(fù)載可以用時間序列對負(fù)載數(shù)量進行預(yù)判。結(jié)合小波理論，根據(jù)上一時間段負(fù)載的實際數(shù)量和預(yù)測數(shù)量建立當(dāng)前時間段的預(yù)測模型，通過不斷修正逼近實際數(shù)量。

設(shè)[M（t）]為[t]時間段內(nèi)負(fù)載數(shù)量預(yù)測值，[m（t）]為[t]時間段內(nèi)實際負(fù)載數(shù)量，[λ]為權(quán)重因子。則可根據(jù)式（1）計算出下一時間段負(fù)載數(shù)量預(yù)測值[5]：

根據(jù)[ε]和[M]的差值判斷負(fù)載量的變化情況。若[ε≥M]，則表示當(dāng)前時間段內(nèi)負(fù)載變化明顯，需要采取措施對當(dāng)前接入的負(fù)載進行重新監(jiān)測，監(jiān)測其在線情況及負(fù)載類別;若[ε

1.2 ?提出的神經(jīng)網(wǎng)絡(luò)算法

為了更好地驗證負(fù)載是否在線，解決偽在線負(fù)載對資源的浪費，采用神經(jīng)網(wǎng)絡(luò)算法對在線負(fù)載在線狀態(tài)進行判別，判別在線用戶的真實狀態(tài)。根據(jù)預(yù)測模型得到的負(fù)載數(shù)量作為神經(jīng)網(wǎng)絡(luò)的輸入，而負(fù)載在當(dāng)前監(jiān)測時間段內(nèi)的通信情況作為神經(jīng)網(wǎng)絡(luò)的輸出。

將式（1）預(yù)測得到的負(fù)載作為神經(jīng)網(wǎng)絡(luò)算法的研究對象，以負(fù)載的實際個數(shù)作為輸入，[n]個負(fù)載通信時間為[xi（i=1，2，…，n）]，根據(jù)輸出判別當(dāng)前負(fù)載的連接情況和通信情況。設(shè)[ωij]和[Tαj]分別為權(quán)重和閾值，[l]和[f]分別為神經(jīng)元數(shù)量及傳遞關(guān)系[6?7]，則經(jīng)過神經(jīng)網(wǎng)絡(luò)的正向運算得到：

式中[η]為更新速率，可以根據(jù)實際情況進行修改。為了考慮算法速率及算法的穩(wěn)定性，[η]值的設(shè)置應(yīng)合理。

通過正向和反向運算，不斷減小誤差[ek]，根據(jù)算法輸出判斷在線負(fù)載數(shù)量的真實在線情況。若[outputk]在設(shè)定的數(shù)據(jù)量閾值范圍內(nèi)，表示該負(fù)載處于正常連接及通信狀態(tài);否則判定該負(fù)載連接為無效連接，表示負(fù)載處于非正常下載狀態(tài)。

2 ?實例仿真

為了驗證本文算法在負(fù)載監(jiān)測中的性能，采用CloudSim仿真平臺對算法性能進行仿真[9]，數(shù)據(jù)樣本為10 000個負(fù)載。首先建立10 000個樣本集合，全部接入數(shù)據(jù)平臺，然后在60 min內(nèi)不斷調(diào)整負(fù)載情況，人工強制讓部分負(fù)載失去連接，檢驗本文算法在異常負(fù)載監(jiān)測中所表現(xiàn)出的性能。

在60 min內(nèi)，不斷調(diào)整掉線負(fù)載的數(shù)量，掉線負(fù)載上限為100，占總負(fù)載數(shù)量的1%，檢驗本文算法的適應(yīng)性，仿真結(jié)果如圖1所示。

圖1 ?本文算法負(fù)載監(jiān)測情況

從圖1可以看出，本文算法能較好地檢測出平臺的異常負(fù)載。在前20 min內(nèi)，兩條線較好地重合，擬合性好;而在20～30 min時間段內(nèi)，出現(xiàn)了部分掉線負(fù)載未檢測出的情況;后30 min內(nèi)，本文算法較好地檢測出了掉線的負(fù)載。

為了驗證本文算法在數(shù)據(jù)流量方面的優(yōu)勢，將傳統(tǒng)按照時間標(biāo)簽定時發(fā)送信號來檢測掉線負(fù)載的方法與本文算法相比較。傳統(tǒng)時間標(biāo)簽方法是服務(wù)器定時給每個負(fù)載發(fā)送信號，然后記錄發(fā)送信號時間和接收負(fù)載反饋回答的時間，根據(jù)時間差判斷在線負(fù)載的連接情況，這種方法準(zhǔn)確度高，但是極度耗費網(wǎng)絡(luò)資源，對于大數(shù)據(jù)平臺、負(fù)載量極大的平臺適用性差。

分別對負(fù)載數(shù)量為5 000，10 000，15 000，20 000，25 000時兩種監(jiān)測算法所耗費的監(jiān)測流量進行仿真，結(jié)果如圖2所示。

圖2 ?兩種算法耗費流量對比

從圖2可以看出，隨著被監(jiān)測負(fù)載數(shù)量的增加，監(jiān)測流量均隨之增加，當(dāng)負(fù)載數(shù)量為5 000時，時間標(biāo)簽算法監(jiān)測流量大約為370 Mb，本文算法為180 Mb，時間標(biāo)簽算法所耗費流量大約是本文算法流量的2倍。由此可知，本文算法在網(wǎng)絡(luò)流量資源使用方面具有絕對優(yōu)勢，即運行效率更優(yōu)秀。

3 ?結(jié) ?語

本文采用基于神經(jīng)網(wǎng)絡(luò)的負(fù)載監(jiān)測方法可以較好地完成掉線負(fù)載的檢測，監(jiān)測接入大數(shù)據(jù)平臺的負(fù)載真實連接情況，有效減少掉線負(fù)載占據(jù)網(wǎng)絡(luò)帶寬，提高大數(shù)據(jù)平臺的資源使用效率。而在網(wǎng)絡(luò)資源使用方面，相比于傳統(tǒng)的時間標(biāo)簽算法，消耗流量更少。因此，神經(jīng)網(wǎng)絡(luò)算法在大數(shù)據(jù)負(fù)載監(jiān)測方面具有較強的適用性。

參考文獻

[1] HILBERT M. Big data for development： a review of promises and challenges [J]. Development policy review， 2016， 34（1）： 135?174.

[2] BORGMAN C. Big data， little data， no data： scholarship in the networked world [J]. Journal of the association for information science & technology， 2016， 67（3）： 751–753.

[3] WANG D， SUN Z. Big data analysis and parallel load forecas?ting of electric power user side [J]. Proceedings of the CSEE， 2015， 35（3）： 527?537.

[4] ZHANG P， WU X， WANG X， et al. Short?term load forecas?ting based on big data technologies [J]. Journal of power & energy systems， 2015（3）： 1186?1192.

[5] GANIN Y， USTINOVA E， AJAKAN H， et al. Domain?adversarial training of neural networks [J]. Journal of machine lear?ning research， 2017， 17（1）： 2096?2100.

[6] 汪亞明.基于神經(jīng)網(wǎng)絡(luò)的圖象序列特征點匹配[J].中國圖象圖形學(xué)報，2002，7（4）：313?318.

WANG Yaming. Feature point matching of image sequences based on neural network [J]. Journal of image and graphics， 2002， 7（4）： 313?318.

[7] PANDA S K， MOHANTY S N， JAGADEV A K. Long term electrical load forecasting： an empirical study across techniques and domains [J]. Indian journal of science and technology， 2017， 10（26）： 1?16.

[8] CHEN L G， CHIANG H D， DONG N， et al. Group?based chaos genetic algorithm and non?linear ensemble of neural networks for short?term load forecasting [J]. IET generation transmission & distribution， 2016， 10（6）： 1440?1447.

[9] 李榮榮，牛立棟，孫紀(jì)敏.基于CloudSim的分類負(fù)載均衡調(diào)度模型[J].計算機測量與控制，2018，26（3）：195?199.

LI Rongrong， NIU Lidong， SUN Jimin. Classification load ba?lancing scheduling model based on CloudSim [J]. Journal of computer measurement and control， 2018， 26（3）： 195?199.