亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Spark的大規(guī)模網(wǎng)絡流量分類研究

        2016-04-22 09:20:47劉澤燊潘志松
        計算機時代 2016年4期
        關鍵詞:網(wǎng)絡安全

        劉澤燊+潘志松

        摘 要: 機器學習算法處理流量分類問題已經(jīng)成為網(wǎng)絡安全領域一個研究熱點。為了提高大規(guī)模網(wǎng)絡流的分類效率,引入并行SVM算法來識別網(wǎng)絡流量,提出了一種基于Spark平臺的大規(guī)模網(wǎng)絡流在線分類方案。該方案利用置信域牛頓法(TRON)并行優(yōu)化線性SVM算法構建流量分類模型,然后融合最新的實時計算框架,實現(xiàn)對大規(guī)模網(wǎng)絡流的在線識別。實驗結果表明,利用并行SVM算法在損失較小精度的前提下可以加快網(wǎng)絡流的模型訓練和分類速度,符合大規(guī)模網(wǎng)絡流在線分類的需要。

        關鍵詞: 流量分類; 網(wǎng)絡安全; Spark; 并行SVM; 大規(guī)模數(shù)據(jù)

        中圖分類號:TP391 文獻標志碼:A 文章編號:1006-8228(2016)04-01-05

        Study on large scale network traffic classification on Spark platform

        Liu Zeshen, Pan Zhisong

        (College of Command Information System, PLA University of Science and Technology, Nanjing, Jiangsu 210007, China)

        Abstract: Internet traffic classification using machine learning has become a hot research topic in the field of network security. In order to improve the classification efficiency of large scale network flow, this paper introduces a parallel SVM algorithm to identify the network traffic, and proposes a real-time classification scheme for large scale network flow based on Spark. This method builds a classification model using parallel SVM algorithm, and then it is integrated with the latest flow processing framework for real-time classification of large-scale networks. Experimental results show that parallel SVM algorithm can greatly improve the training and classification speed of the network flow model, on the premise of little loss of precision.

        Key words: traffic classification; network security; Spark; parallel SVM; large scale data

        0 引言

        隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡安全和網(wǎng)絡擁塞等問題也日益嚴重。為了更好的識別異常流量及優(yōu)化配置網(wǎng)絡資源,必須準確分類網(wǎng)絡流中各種應用類型。因此對大規(guī)模網(wǎng)絡流量進行快速、準確的分類具有十分重要的意義。

        近年來網(wǎng)絡應用多元化的發(fā)展趨勢給網(wǎng)絡流分類帶來一系列的挑戰(zhàn),動態(tài)端口以及隨機端口技術的出現(xiàn),使得最初分析端口號的分類手段已經(jīng)不能準確的對P2P等新型應用進行分類[1],同時基于有效負載的方法很難處理加密流量[2]。針對上述網(wǎng)絡流分類技術日益凸顯的缺點,將流量分類問題轉化為機器學習問題成為當前研究趨勢。在聚類算法中,Erman等人[3]分析了K-Means、DBSCAN和AutoClass三種聚類算法的網(wǎng)絡流分類性能,因為此類無監(jiān)督算法無需使用訓練樣本的類標,所以能夠識別新型網(wǎng)絡應用,但是聚類完成后必須進行人工標記,同時整體分類精度偏低。對于分類算法,Moore等人[4]將樸素貝葉斯和改進的貝葉斯方法應用到網(wǎng)絡流分類,能將準確率提高到95%,但是貝葉斯算法要求樣本特征遵循高斯分布,然而實際的網(wǎng)絡流數(shù)據(jù)很難滿足,所以具有不穩(wěn)定等缺點。徐鵬等人[5-6]針對貝葉斯分類過分依賴樣本空間分布的問題,提出了利用訓練數(shù)據(jù)信息熵的決策樹分類方法和基于結構風險最小化的SVM分類方法,這兩種方法都取得了較高的準確率和穩(wěn)定性,但是決策樹學習高維樣本時具有很高的復雜度,而SVM算法訓練大規(guī)模樣本時存在時間長和內(nèi)存占用大等問題。Yang等人[7]則將lasso特征選擇算法應用到網(wǎng)絡流異常檢測,通過降低訓練樣本維度加快了模型訓練以及流量識別速度。Groleat等人[8]則基于FPGA設計了一個用于在線檢測的實時SVM分類器,通過硬件加速,極大的提高了檢測的效率。通過上述研究,基于機器學習的網(wǎng)絡流分類取得了一定的進展,然而對大規(guī)模流量分類缺乏實時響應,同時很少有人關注網(wǎng)絡流在線識別。Spark[9]作為一種新的計算框架,通過擴展集群能夠對大規(guī)模數(shù)據(jù)進行快速處理,同時具有自動處理失效節(jié)點和負載均衡的功能。

        本文深入分析了單機SVM算法分類網(wǎng)絡流的不足之處,以分布式計算為基礎,給出了一種基于Spark平臺的大規(guī)模網(wǎng)絡流在線分類方案 。主要工作有:①應用置信域牛頓法快速優(yōu)化分布式的SVM分類算法;②對比分析了大規(guī)模網(wǎng)絡流在線分類方案跟單機SVM算法的性能。實驗結果表明,該方案不但能夠快速訓練分類模型和識別流量數(shù)據(jù),而且具有較高的準確率和穩(wěn)定性。

        1 Apache Spark技術

        猜你喜歡
        網(wǎng)絡安全
        網(wǎng)絡安全(上)
        網(wǎng)絡安全知多少?
        工會博覽(2023年27期)2023-10-24 11:51:28
        新量子通信線路保障網(wǎng)絡安全
        網(wǎng)絡安全
        網(wǎng)絡安全人才培養(yǎng)應“實戰(zhàn)化”
        上網(wǎng)時如何注意網(wǎng)絡安全?
        網(wǎng)絡安全與執(zhí)法專業(yè)人才培養(yǎng)探索與思考
        設立網(wǎng)絡安全專項基金 促進人才培養(yǎng)
        網(wǎng)絡安全監(jiān)測數(shù)據(jù)分析——2015年12月
        網(wǎng)絡安全監(jiān)測數(shù)據(jù)分析——2015年11月
        视频精品熟女一区二区三区| 又粗又硬又黄又爽的免费视频 | 这里有精品可以观看| yy111111少妇影院| 国产色av一区二区三区| 国语自产偷拍在线观看| 精品无码专区久久久水蜜桃| 99亚洲乱人伦精品| 国产精品伦理久久一区| 亚洲成av人在线观看网址| 少妇厨房愉情理伦片免费 | 四虎成人精品国产永久免费| 亚洲国产精品久久久婷婷| а√中文在线资源库| 亚洲中文字幕无码永久在线 | 四虎永久在线精品免费网址| 黑人巨茎大战欧美白妇| 久久久久久久一线毛片| 久久影院最新国产精品| 日韩av午夜在线观看| 国产第19页精品| 亚洲一区二区高清在线| 男人的天堂手机版av| 国内精品卡一卡二卡三| 精品少妇大屁股白浆无码| 亚洲熟女一区二区三区不卡 | 亚洲综合成人婷婷五月网址| 青青青国产精品一区二区| 亚洲av综合日韩精品久久久| 我要看免费久久99片黄色| 天干天干天啪啪夜爽爽av| 久久国产热精品波多野结衣av| 91亚洲精品久久久中文字幕| 国产精品乱码人妻一区二区三区| 日韩欧美在线综合网| 亚洲一级无码AV毛片久久 | 国产乱人伦偷精品视频| 激情文学人妻中文字幕| 二区三区三区视频在线观看| 免费a级毛片无码a∨男男| 91精品国产综合久久青草|