亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        Spark Streaming中參數(shù)與資源協(xié)同調(diào)整策略

        2019-06-07 15:08:13梁毅劉飛常仕祿
        軟件導(dǎo)刊 2019年1期

        梁毅 劉飛 常仕祿

        摘 要:Spark Streaming是一種典型的批量流式計算平臺,可用于處理持續(xù)到達的數(shù)據(jù)流。流式數(shù)據(jù)最重要的兩個特征是波動性和時效性。利用動態(tài)調(diào)整系統(tǒng)參數(shù)和動態(tài)調(diào)整資源滿足不同數(shù)據(jù)到達速率的響應(yīng)延遲,但調(diào)整參數(shù)的方式具有局限性,其用戶成本較大。因此提出一種參數(shù)和資源協(xié)同調(diào)整策略,采用動態(tài)鄰域粒子群算法找到一種滿足SLO目標且使用資源最少的系統(tǒng)方案。實驗表明,AdaStreaming與DyBBS相比,延遲性降低了70.1%,在資源使用量上比DRA降低了42.1%。

        關(guān)鍵詞:Spark Streaming; 動態(tài)鄰域粒子群;參數(shù)配置;資源分配

        DOI:10. 11907/rjdk. 181652

        中圖分類號:TP301文獻標識碼:A文章編號:1672-7800(2019)001-0045-03

        Abstract:Spark Streaming is a typical batched streaming processing system that can be used to process continuously arriving data streams. The two most important characteristics of streaming data are its volatility and timeliness. The method of dynamical parameter configuration and dynamical resource allocation are proposed to guarantee the end to end latency with different data arrival rates. However, the method of dynamical parameter configuration has limitation on scope of application, and the method of dynamical resource allocation will bring greater cost to users. Therefore, this paper proposes a parameter and resource coordination adjustment strategy, using dynamic neighborhood particle swarm algorithm to find a solution that can achieve resource minimization on the premise of meeting the SLO goal. Experiments show that AdaStreaming reduced latency by 59% against DyBBS, and reduced the amount of resources by 34% against DRA.

        0 引言

        隨著大數(shù)據(jù)應(yīng)用場景的多樣化,各種行業(yè)產(chǎn)生了海量流式數(shù)據(jù)[1-3]。流式數(shù)據(jù)最重要的兩個特征是波動性和時效性,不同時刻流式數(shù)據(jù)到達的速率是波動的,且需在一定時間內(nèi)完成處理[4]。Spark Streaming[5]是一種典型的批量流式計算平臺,被工業(yè)界和學(xué)術(shù)界廣泛采用。

        隨著云計算的發(fā)展,許多流式計算平臺被部署到云上,為用戶提供靈活的服務(wù)[6]。對于這類部署在云上的Spark Streaming平臺,滿足用戶SLO和最小化資源使用以降低用戶成本成為最重要的兩個目標[7-8]?,F(xiàn)有研究主要從3方面進行優(yōu)化:①數(shù)據(jù)丟棄[9-11]。但該方法不適用具有“至少執(zhí)行一次”語義保證的應(yīng)用;②動態(tài)調(diào)整參數(shù)配置[12-13]。然而,當(dāng)數(shù)據(jù)速率激增時,當(dāng)前資源分配情況下可能出現(xiàn)調(diào)整參數(shù)無法使延遲滿足需求的情況;③動態(tài)調(diào)整資源。當(dāng)數(shù)據(jù)處理落后于數(shù)據(jù)流入時,會增加分配的資源數(shù)量以提升數(shù)據(jù)處理速率[14]??紤]到云環(huán)境按需付費的服務(wù)模式,該方法會給用戶帶來巨大的成本開銷。

        本文通過分析影響Spark Streaming平臺性能的一些因素,提出一種參數(shù)和資源協(xié)同調(diào)整策略AdaStreaming。該策略采用一種動態(tài)鄰域粒子群算法,在滿足SLO的前提下,選擇一種資源使用量最少的參數(shù)和資源調(diào)整方案,并以此為依據(jù)進行系統(tǒng)調(diào)整。實驗表明,與動態(tài)調(diào)整參數(shù)的DyBBS方法相比,本文提出的AdaStreaming在延遲上降低了59%,與動態(tài)調(diào)整資源的DRA方法相比,AdaStreaming在資源使用量上降低了34%。

        1 Spark Streaming

        Spark Streaming構(gòu)建于Spark[15]之上,其處理流程如圖1所示。流入系統(tǒng)的數(shù)據(jù)以一定的劃分間隔分割成分開的數(shù)據(jù)塊,然后以一定批次的劃分間隔劃分為獨立的批次任務(wù),并按順序提交到Spark引擎中執(zhí)行。根據(jù)上述處理過程,可以看出數(shù)據(jù)塊劃分間隔和批次劃分間隔是影響系統(tǒng)性能的兩個重要參數(shù)。

        2 SparkStreaming中參數(shù)與資源協(xié)同調(diào)整策略

        2.1 動態(tài)鄰域粒子群算法

        粒子群優(yōu)化算法(Particle Swarm Optimization,PSO)是一種基于迭代的優(yōu)化算法,易于實現(xiàn)且無較多參數(shù)需要調(diào)整[16-18]。動態(tài)鄰域粒子群(DNPSO)算法可在不同階段考慮不同目標,用于多目標約束優(yōu)化問題的求解[19-20]。對于兩個目標的問題,第一個目標[f1]可確定粒子鄰域,第二個目標[f2]作為度量粒子質(zhì)量的適應(yīng)度函數(shù)。因此鄰域函數(shù)[f1]找到粒子i的鄰域[Ni]后,粒子i在t+1時刻的個體最優(yōu)位置可由式(1)計算。

        国产欧美日韩精品专区| 97中文乱码字幕在线| 久久丝袜熟女av一区二区| 狼狼综合久久久久综合网| 精品无码专区久久久水蜜桃| 午夜免费福利一区二区无码AV| 亚洲av推荐网站在线观看| 中文字幕无线精品亚洲乱码一区| 亚洲av日韩av天堂久久不卡| 不卡视频在线观看网站| 人妻久久一区二区三区蜜桃| 天天躁夜夜躁av天天爽| 男人扒开女人下面狂躁小视频| 产国语一级特黄aa大片| 永久免费看黄在线观看| 新婚少妇无套内谢国语播放| 久久婷婷人人澡人人喊人人爽| 狠狠色狠狠色综合久久第一次| 国产99精品精品久久免费| 亚洲色图专区在线视频| 色婷婷亚洲精品综合影院| 久久伊人影院| 在线亚洲免费精品视频| 久久精品国产亚洲av精东| 中国人妻与老外黑人| 无码熟熟妇丰满人妻啪啪| 亚洲老熟妇愉情magnet| 国产一区二区三区在线男友| 三年中文在线观看免费大全| www.狠狠艹| 在线视频亚洲一区二区三区| 亚洲深深色噜噜狠狠网站| 日出水了特别黄的视频| 在线免费黄网| 亚洲中文字幕熟女五十| 精品亚洲一区中文字幕精品| 色视频线观看在线网站| 国产一区二区三区在线观看精品| 魔鬼身材极品女神在线| 国产亚洲成人av一区| 青青草原综合久久大伊人|