翁利國(guó) 陳杰 汪宇杰 吳亦靈

摘要：近年來(lái)，隨著物聯(lián)網(wǎng)和社交網(wǎng)絡(luò)等網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，全球總數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)，大數(shù)據(jù)平臺(tái)興起，例如 Hadoop， Spark， Storm等優(yōu)異的大數(shù)據(jù)處理平臺(tái)，其中 Spark是基于內(nèi)存處理的分布式計(jì)算平臺(tái)，較為受歡迎。但是資源管理仍是大數(shù)據(jù)平臺(tái)性能優(yōu)化的核心研究，有效的資源管理對(duì)于調(diào)度的優(yōu)化是非常重要。他們總結(jié)分析了目前國(guó)內(nèi)外Spark平臺(tái)資源調(diào)度策略的研究現(xiàn)狀。

關(guān)鍵詞：大數(shù)據(jù);Spark;資源調(diào)度;性能優(yōu)化;分布式

中圖分類號(hào)：TP302? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2019）01-0014-03

Research Status of Resource Scheduling Strategy Based on Spark Platform

WENG Li-guo， CHEN Jie， WANG Yu-jie， WU Yi-ling

（State Grid Zhejiang Hangzhou Xiaoshan District Power Supply Co.， Ltd.， Hangzhou 311200，China）

Abstract：In recent years， with the rapid development of network technologies such as the Internet of Things and social networks， the total amount of data in the world has exploded， and big data platforms have emerged， such as Hadoop， Spark， Storm and other excellent big data processing platforms， of which Spark is based on memory processing. The distributed computing platform is more popular. However， resource management is still the core research of big data platform performance optimization. Effective resource management is very important for scheduling optimization. They summarizes and analyzes the current research status of Spark platform resource scheduling strategies at home and abroad.

Key words：big data; Spark; resource scheduling; performance optimization; distributed

1 引言

由于大數(shù)據(jù)計(jì)算方面的需求較大，通常集群會(huì)訪問(wèn)數(shù)百甚至上千臺(tái)的機(jī)器，節(jié)約成本和有效的管理各種計(jì)算框架，并且提高集群資源利用率等等這些問(wèn)題迫在眉睫。資源管理器Mesos[1]，YARN因而被提出來(lái)，但是它們主要管理集群的計(jì)算和存儲(chǔ)兩個(gè)方面資源，而在大數(shù)據(jù)平臺(tái)往往還有其他的資源例如網(wǎng)絡(luò)資源，節(jié)點(diǎn)等需要權(quán)衡，這些都可能會(huì)成為調(diào)度的瓶頸。 當(dāng)前，隨著云計(jì)算和物聯(lián)網(wǎng)的不斷發(fā)展，基于地理分布的數(shù)據(jù)中心的大數(shù)據(jù)分析平臺(tái)已逐漸普及。特別是大數(shù)據(jù)的爆炸性增長(zhǎng)超過(guò)了單個(gè)數(shù)據(jù)中心內(nèi)的處理能力。不同網(wǎng)絡(luò)中心在傳輸數(shù)據(jù)時(shí)會(huì)有很大的網(wǎng)絡(luò)延遲，以及大數(shù)據(jù)可能出現(xiàn)帶寬不足等網(wǎng)絡(luò)資源瓶頸。另外，不同的物理節(jié)點(diǎn)處理數(shù)據(jù)的性能是不一樣的，因此節(jié)點(diǎn)自身的特點(diǎn)也會(huì)成為影響調(diào)度性能的瓶頸。

當(dāng)前很多國(guó)內(nèi)外學(xué)者從很多方面進(jìn)行大數(shù)據(jù)平臺(tái)的調(diào)度優(yōu)化，例如基于數(shù)據(jù)本地 性研究與改進(jìn)、基于集群異構(gòu)性以及負(fù)載均衡、基于作業(yè)優(yōu)先級(jí)等等。文獻(xiàn)[2]所提出的算法通過(guò)比較任務(wù)傳輸所花時(shí)間與其等待執(zhí)行的時(shí)間進(jìn)行比較選擇來(lái)決定是否進(jìn)行本地執(zhí)行。此外，一個(gè)好的負(fù)載平衡算法通過(guò)權(quán)衡任務(wù)來(lái)為負(fù)載重新分配，以此來(lái)優(yōu)化系統(tǒng)資源利用率和任務(wù)響應(yīng)時(shí)間。[3]提出了一種基于負(fù)載均衡的動(dòng)態(tài)延遲調(diào)度機(jī)制，該機(jī)制能夠防止節(jié)點(diǎn)過(guò)載而導(dǎo)致任務(wù)緩慢執(zhí)行或者執(zhí)行失敗，這樣就減少了作業(yè)的運(yùn)行時(shí)間。在文獻(xiàn)[4]中，考慮公平調(diào)度算法的不足，該文獻(xiàn)提出了對(duì)其改進(jìn)，即基于優(yōu)先級(jí)的延遲公平調(diào)度算法。 對(duì)于資源調(diào)度優(yōu)化也進(jìn)行了很研究，當(dāng)前SDN（Software Defined Network）架構(gòu)被提出，很多文獻(xiàn)針對(duì)網(wǎng)絡(luò)資源使用SDN控制器來(lái)優(yōu)化調(diào)度。 另外，近來(lái)強(qiáng)化學(xué)習(xí)越來(lái)越受到廣大業(yè)界學(xué)者的喜歡，已經(jīng)有學(xué)者使用強(qiáng)化學(xué)習(xí)在調(diào)度上進(jìn)行了優(yōu)化。

資源調(diào)度優(yōu)化對(duì)大數(shù)據(jù)平臺(tái)系統(tǒng)性能具有重要意義。 盡管Mesos、YARN等集群資源管理框架被提出，但是資源分配不合理，負(fù)載不均衡，網(wǎng)絡(luò)擁塞等都會(huì)成為調(diào)度的瓶頸。 因此優(yōu)化資源調(diào)度能夠緩解資源分配，減緩網(wǎng)絡(luò)擁塞等等，使得大數(shù)據(jù)平臺(tái)作業(yè)運(yùn)行時(shí)間減少，處理速率變得更高，資源利用率增加，整體系統(tǒng)性能提高。 因此研究資源調(diào)度優(yōu)化對(duì)大數(shù)據(jù)平臺(tái)非常重要。

2 研究現(xiàn)狀

Spark大數(shù)據(jù)平臺(tái)的普及應(yīng)用，例如騰訊、 Yahoo、淘寶等電子供應(yīng)商使用Spark大數(shù)據(jù)分析平臺(tái)進(jìn)行大數(shù)據(jù)分析和大數(shù)據(jù)量計(jì)算， 主要在市場(chǎng)推薦、機(jī)器學(xué)習(xí)、圖像處理、日志存儲(chǔ)等領(lǐng)域都得到了深入而廣泛的研究和成功的應(yīng)用。當(dāng)前的各個(gè)數(shù)據(jù)中心通常部署多個(gè)集群計(jì)算框架，并且由統(tǒng)一的集群資源管理器進(jìn)行管理。 本章主要從網(wǎng)絡(luò)資源和節(jié)點(diǎn)資源進(jìn)行研究。

2.1 基于網(wǎng)絡(luò)資源調(diào)度策略研究現(xiàn)狀

當(dāng)前資源管理大多只集中在計(jì)算資源和存儲(chǔ)資源，例如Mesos等資源管理都集中在管理計(jì)算和存儲(chǔ)資源。但研究表明，網(wǎng)絡(luò)資源管理更加合理化對(duì)于優(yōu)化作業(yè)非常重要。 基于已有的研究表明，在作業(yè)運(yùn)行中，網(wǎng)絡(luò)運(yùn)輸需要的時(shí)間占完成總時(shí)間的33%，甚至超過(guò)50%。 所以基于網(wǎng)絡(luò)資源調(diào)度的研究也逐漸增加。

在國(guó)內(nèi)，文獻(xiàn)[5]提出了一種基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)資源調(diào)度機(jī)制，它是一種基于管理員預(yù)設(shè)的網(wǎng)絡(luò)資源分配策略，為了優(yōu)化性能，文中使用加權(quán)網(wǎng)絡(luò)資源調(diào)度，將更多網(wǎng)絡(luò)資源分配給優(yōu)先級(jí)高的這類作業(yè)。文獻(xiàn)[6]提出了一種基于能量評(píng)估的均衡大數(shù)據(jù)網(wǎng)絡(luò)的調(diào)度平臺(tái)。它綜合分析了大數(shù)據(jù)平臺(tái)中資源調(diào)度的能量評(píng)估問(wèn)題，使用調(diào)度平臺(tái)來(lái)收集數(shù)據(jù)。

國(guó)外，F(xiàn)ireBird [7]，本文改進(jìn)了基于傳統(tǒng)調(diào)度的調(diào)度算法，使用SDN來(lái)獲取全局網(wǎng)絡(luò)情況，綜合考慮了網(wǎng)絡(luò)資源的情況來(lái)進(jìn)一步資源綜合調(diào)度。 FlowComb [8]： 掃描數(shù)據(jù)日志并獲得應(yīng)用程序需求進(jìn)行預(yù)測(cè)，其使用SDN控制器檢測(cè)網(wǎng)絡(luò)擁塞并對(duì)產(chǎn)生擁塞的數(shù)據(jù)流重新選擇合適的路徑。

國(guó)內(nèi)外從網(wǎng)絡(luò)資源的角度，針對(duì)帶寬分配、網(wǎng)絡(luò)擁塞等做出相應(yīng)的調(diào)度策略研究來(lái)達(dá)到調(diào)度優(yōu)化目的，進(jìn)而提高整個(gè)系統(tǒng)的性能。

2.2 基于節(jié)點(diǎn)資源調(diào)度策略研究現(xiàn)狀

正文內(nèi)容?；赟park平臺(tái)，節(jié)點(diǎn)資源性能的研究是調(diào)度中需要考慮的核心因素之一。 很多針對(duì)借點(diǎn)資源與任務(wù)進(jìn)行匹配，以運(yùn)行時(shí)間最小為目標(biāo)函數(shù)，通過(guò)最小化運(yùn)行時(shí)間，以提高了節(jié)點(diǎn)利用率，增大了系統(tǒng)整體性能。

在國(guó)內(nèi)，文獻(xiàn)[9]基于異構(gòu)集群結(jié)點(diǎn)固有性能，給出了一種基于任務(wù)特征和機(jī)架之間節(jié)點(diǎn)計(jì)算能力的資源分配策略。文獻(xiàn)[10]考慮了節(jié)點(diǎn)之間的異質(zhì)性問(wèn)題，并提出了量化異構(gòu)集群數(shù)據(jù)負(fù)載平衡的數(shù)學(xué)模型。由于原有的算法沒有考慮到系統(tǒng)的負(fù)載水平，這樣不能充分的利用集群中節(jié)點(diǎn)的處理能力，文獻(xiàn)[11]提出了一種改進(jìn)的基于優(yōu)先級(jí)的多尺度算法。該算法根據(jù)計(jì)算能力進(jìn)行排序，另外充分考慮了系統(tǒng)的負(fù)載水平，能夠分配具有良好計(jì)算能力的節(jié)點(diǎn)給更高優(yōu)先級(jí)作業(yè)中的任務(wù)。文獻(xiàn)[12]提出了一種負(fù)載均衡算法，它充分地利用了節(jié)點(diǎn)性能和當(dāng)前計(jì)算資源，并且根據(jù)集群負(fù)載均衡指標(biāo)來(lái)分配任務(wù)。將任務(wù)分配給適當(dāng)?shù)墓?jié)點(diǎn)以逐步平衡群集負(fù)載以提高群集節(jié)點(diǎn)利用率。在文獻(xiàn)[13]中，研究了基于Hadoop平臺(tái)的任務(wù)調(diào)度機(jī)制，設(shè)計(jì)一種了基于節(jié)點(diǎn)負(fù)載容量和動(dòng)態(tài)優(yōu)先級(jí)的計(jì)算方法。

國(guó)外， Xie J[14]等人提出的算法將節(jié)點(diǎn)的計(jì)算能力與其存儲(chǔ)的數(shù)據(jù)量進(jìn)行關(guān)聯(lián)，將更多的數(shù)據(jù)存儲(chǔ)在處理速度更快的節(jié)點(diǎn)上， 在提高數(shù)據(jù)的處理速度的同時(shí)，也達(dá)到了負(fù)載平衡的效果。 Polo[15]創(chuàng)新性的將每個(gè)節(jié)點(diǎn)的任務(wù)槽進(jìn)行動(dòng)態(tài)調(diào)整，使得硬件環(huán)境不同的節(jié)點(diǎn)能有不同的計(jì)算負(fù)載，并根據(jù)實(shí)時(shí)情況調(diào)整自身任務(wù)槽數(shù)量。

國(guó)內(nèi)外針對(duì)節(jié)點(diǎn)性能例如計(jì)算能力、節(jié)點(diǎn)大小等調(diào)度策略研究來(lái)達(dá)到負(fù)載均衡的目的，提高節(jié)點(diǎn)利用率，進(jìn)而提高整個(gè)系統(tǒng)的運(yùn)行效率。

3 Spark資源調(diào)度原理

Spark調(diào)度主要兩種：任務(wù)調(diào)度和資源調(diào)度。任務(wù)調(diào)度主要是通過(guò)一系列的調(diào)度器進(jìn)行的作業(yè)調(diào)度，資源調(diào)度指的是實(shí)際的應(yīng)用程序是如何來(lái)獲取資源的。因此任務(wù)調(diào)度是在資源調(diào)度的基礎(chǔ)上執(zhí)行的。

在Spark平臺(tái)上進(jìn)行資源調(diào)度和任務(wù)調(diào)度時(shí)，SparkContext是調(diào)度的入口，在調(diào)度中起著重要作用，它負(fù)責(zé)與主節(jié)點(diǎn)通信，然后完成申請(qǐng)資源的任務(wù)，進(jìn)入應(yīng)用程序后，它還創(chuàng)建高級(jí)調(diào)度對(duì)象和底層調(diào)度對(duì)象。之后，對(duì)所有任務(wù)進(jìn)行分片，并且將任務(wù)集并行化，并發(fā)送給已經(jīng)獲取了資源的任務(wù)執(zhí)行，循環(huán)執(zhí)行結(jié)果。

而其中DAG調(diào)度器和任務(wù)調(diào)度器的工作即Spark核心工作分片Stage的劃分。對(duì)于工作分片劃分最基本的思想：

（1）每個(gè)任務(wù)是由多個(gè)分片構(gòu)成，并且它可以有一個(gè)或多個(gè)分片。

（2）根據(jù)依賴性，從標(biāo)題開始按順序執(zhí)行多個(gè)階段。

Spark應(yīng)用程序中可由不同的動(dòng)作觸發(fā)多個(gè)任務(wù)，即說(shuō)一個(gè)應(yīng)用程序中可以有多個(gè)的作業(yè)，每個(gè)作業(yè)可以由一個(gè)或者很多分片構(gòu)成，當(dāng)位置靠前的分片完成計(jì)算，接著才會(huì)后面的分片才會(huì)執(zhí)行。

（3）Stage有惰性特性。由作業(yè)生成的分片會(huì)形成一個(gè)有向無(wú)環(huán)圖，分片有懶惰的特性，當(dāng)動(dòng)作函數(shù)發(fā)生時(shí)，才會(huì)觸發(fā)實(shí)際發(fā)生作業(yè)的執(zhí)行，在采取動(dòng)作之前，所要做的是將進(jìn)行中的計(jì)算標(biāo)記下來(lái)，事實(shí)上沒有真的執(zhí)行。兩個(gè)動(dòng)作導(dǎo)致作業(yè)執(zhí)行，一個(gè)是觸發(fā)作業(yè)，一個(gè)是發(fā)送消息。Spark平臺(tái)中使用遞歸創(chuàng)建有向無(wú)環(huán)圖，若創(chuàng)建位置靠后的一個(gè)分片時(shí)，一定要保證跟它之間是直系父親分片已經(jīng)被創(chuàng)建（如果直系的父分片未創(chuàng)建，就會(huì)遞調(diào)用getParent（）函數(shù)來(lái)創(chuàng)建該直系父親的分片），直到遇到了有向無(wú)環(huán)圖中的第一個(gè)RDD片段（Resilient Distributed Datasets），這個(gè)時(shí)候Spark會(huì)為當(dāng)前的依賴創(chuàng)建分片，然后作業(yè)生成的分片就會(huì)跳出函數(shù)底層遞歸，然后一步一步創(chuàng)建每一個(gè)分片，直到最后到達(dá)頂層，創(chuàng)建最終的結(jié)果分片，完成有向無(wú)環(huán)圖的創(chuàng)建，此時(shí)分片也就完成了。

以上就是Spark資源調(diào)度原理的總結(jié)，資源調(diào)度的核心就是對(duì)任務(wù)進(jìn)行分片，經(jīng)過(guò)的尋找窄依賴來(lái)形成又向無(wú)環(huán)圖。Spark的處理速度快其中一個(gè)原因就是又向無(wú)環(huán)圖的存在。

4 總結(jié)

本文針對(duì)國(guó)內(nèi)外學(xué)者從網(wǎng)絡(luò)資源和節(jié)點(diǎn)資源詳細(xì)進(jìn)行了研究，當(dāng)前網(wǎng)絡(luò)資源方向的主要研究是基于SDN集中控制，收集網(wǎng)絡(luò)資源，進(jìn)而全局考慮網(wǎng)絡(luò)資源進(jìn)行調(diào)度優(yōu)化。針對(duì)結(jié)點(diǎn)資源分配是否合理，當(dāng)前的主要研究方向是只用強(qiáng)化學(xué)習(xí)自適應(yīng)地對(duì)任務(wù)和節(jié)點(diǎn)進(jìn)行匹配，減少運(yùn)行時(shí)間。資源調(diào)度優(yōu)化將會(huì)一直是大數(shù)據(jù)平臺(tái)性能優(yōu)化的熱點(diǎn)問(wèn)題，對(duì)于Spark整個(gè)系統(tǒng)性能有很大的影響。

參考文獻(xiàn)：

[1] 劉文斌. 基于Mesos的數(shù)據(jù)中心資源調(diào)度和存儲(chǔ)性能優(yōu)化技術(shù)研究[D].廣西大學(xué)，2018.

[2] Zhang X， Feng Y， Feng S， et al. An effective data locality aware task scheduling method for MapReduce framework in heterogeneous environments[C]l/Cloud and Service Computing （CSC}，2011 International Conference on. IEEE， 2011：235-242.

[3] 陶永才，李文潔，石磊，劉磊，衛(wèi)琳，曹仰杰.基于負(fù)載均衡的Hadoop動(dòng)態(tài)延遲調(diào)度機(jī)制[J].小型微型計(jì)算機(jī)系統(tǒng)，2015，36（03）：445-449.

[4] 吳濤. 基于Hadoop平臺(tái)的作業(yè)調(diào)度算法優(yōu)化研究[D].華北電力大學(xué)，2016.

[5] Sandeep Chinchali， Pan Hu， Tianshu Chu， Manu Sharma， Manu Bansal， Rakesh Misra， Marco Pavone， Sachin Katti. Cellular Network Traffic Scheduling With Deep Reinforcement Learning[M]// Proceedings of the Thirty-Second {AAAI} Conference on Artificial Intelligence， New Orleans， Louisiana， USA， February 2-7， 2018.

[6]汪正康，周鵬，肖俊超，武延軍.基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)資源調(diào)度機(jī)制[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015，24（08）：212-218.

[7] Xin He and Prashant Shenoy. Firebird： Network-aware task scheduling for spark using sdns. In International Conference on Computer Communication and Networks， pages 1–10， 2016.

[8] Rajat Chaudhary， Gagangeet Singh Aujla， Neeraj Kumar， and Joel J. P. C. Rodrigues. Optimized big data management across multicloud data centers： Software-defined-network-based analysis. IEEE Communications Magazine， 56（2）：118–126， 2018.

[9] 林常航，郭文忠，陳煌寧.針對(duì)Hadoop異構(gòu)集群節(jié)點(diǎn)性能的數(shù)據(jù)分配策略[J].小型微型計(jì)算機(jī)系統(tǒng)，2015，36（01）：83-88.

[10] 張松，杜慶偉，孫靜，孫振.Hadoop異構(gòu)集群中數(shù)據(jù)負(fù)載均衡的研究[J].計(jì)算機(jī)應(yīng)用與軟件，2016，33（05）：31-34.

[11] 谷連軍. 云計(jì)算環(huán)境下基于優(yōu)先級(jí)與可靠度的Hadoop作業(yè)調(diào)度研究[D].湖南大學(xué)，2013.

[12] 秦軍，馮亮亮，孫蒙.基于異構(gòu)Hadoop集群的負(fù)載均衡策略研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017，27（06）：110-113.

[13] 唐瑋峰，趙振戟.Hadoop的負(fù)載均衡調(diào)度算法研究[J].軟件導(dǎo)刊，2016，15（05）：47-49.

[14] Xie J， Yin S， Ruan X， et al. Improving mapreduce performance through data placement in heterogeneous hadoop clusters[C]//Parallel&Distributed Processing， Workshops and Phd Forum.

[15] Polo J， Castillo C， Camera D， et al.? Resource-aw-are adaptive scheduling for mapreduce clusters[M]//M序號(hào)dleware 201].Springer Berlin He序號(hào)elberg， 2011.