陳伯雄，艾中良

(華北計(jì)算技術(shù)研究所，北京 100083)

差異化作業(yè)調(diào)度在Storm上的實(shí)現(xiàn)

陳伯雄，艾中良

(華北計(jì)算技術(shù)研究所，北京 100083)

作業(yè)調(diào)度一直是大數(shù)據(jù)技術(shù)研究的熱點(diǎn)，關(guān)于分布式集群上的調(diào)度優(yōu)化的探討一直沒(méi)有停過(guò)。本文對(duì)比分析對(duì)比靜態(tài)分配調(diào)度、均勻分配調(diào)度、資源感知調(diào)度和就近調(diào)度算法，提出差異化作業(yè)調(diào)度管理技術(shù)，并把它應(yīng)用到分布式實(shí)時(shí)處理系統(tǒng)Storm當(dāng)中。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，該調(diào)度算法能對(duì)Storm集群中不同作業(yè)任務(wù)，進(jìn)行差異化管理。

作業(yè)調(diào)度；Storm；分布式計(jì)算；大數(shù)據(jù)

本文著錄格式：陳伯雄，艾中良. 差異化作業(yè)調(diào)度在Storm上的實(shí)現(xiàn)[J]. 軟件，2017，38（1）：77-80

0 引言

作業(yè)調(diào)度一直是大數(shù)據(jù)技術(shù)研究的重點(diǎn)，通常分布式平臺(tái)會(huì)有自己的一套默認(rèn)調(diào)度邏輯算法，一個(gè)好的調(diào)度算法能夠平衡考量系統(tǒng)的穩(wěn)定性、性能和負(fù)載均衡[1]。作業(yè)調(diào)度問(wèn)題始于計(jì)算資源有限，不可能同時(shí)滿足所有作業(yè)任務(wù)。在單機(jī)計(jì)算時(shí)代，多個(gè)任務(wù)同時(shí)競(jìng)爭(zhēng)CPU、內(nèi)存、磁盤(pán)IO等資源，所以出現(xiàn)了CPU輪轉(zhuǎn)調(diào)度、內(nèi)存LRU算法這些算法，而在大數(shù)據(jù)時(shí)代，單臺(tái)機(jī)器已經(jīng)無(wú)法支撐作業(yè)，作業(yè)運(yùn)行在計(jì)算集群中，這時(shí)候需要競(jìng)爭(zhēng)的還有網(wǎng)絡(luò)帶寬等資源[2]。作業(yè)調(diào)度是通過(guò)調(diào)度算法，合理地有限的計(jì)算資源分配給不同的計(jì)算任務(wù)，一個(gè)好的調(diào)度算法需要同時(shí)考量系統(tǒng)的穩(wěn)定性、性能和負(fù)載均衡。現(xiàn)有的流計(jì)算框架都有一套自己的通用作業(yè)調(diào)度算法[3-4]，一般情況下是能夠滿足應(yīng)用需求的，而差異化作業(yè)調(diào)度問(wèn)題則在于，現(xiàn)實(shí)生產(chǎn)環(huán)境中作業(yè)需求復(fù)雜多樣，而現(xiàn)有調(diào)度算法調(diào)度策略單一；流計(jì)算應(yīng)用開(kāi)發(fā)者對(duì)底層組件開(kāi)發(fā)比較熟悉，能夠針對(duì)具體應(yīng)用場(chǎng)景從網(wǎng)路、存儲(chǔ)等方面進(jìn)行優(yōu)化，現(xiàn)有調(diào)度算法調(diào)度并不能滿足這種差異化作業(yè)的需求[5]。所以差異化作業(yè)調(diào)度問(wèn)題其實(shí)是一般作業(yè)調(diào)度策略上更加高級(jí)的需求。

本文將研究靜態(tài)分配調(diào)度、均勻分配調(diào)度、資源感知調(diào)度和就近調(diào)度算法，提出差異化作業(yè)調(diào)度管理技術(shù)，并把它應(yīng)用到分布式實(shí)時(shí)處理系統(tǒng)Storm當(dāng)中，最后通過(guò)實(shí)驗(yàn)驗(yàn)證，該調(diào)度算法能對(duì)Storm集群中不同作業(yè)任務(wù)，進(jìn)行差異化管理。

1 當(dāng)前流式處理框架對(duì)作業(yè)管理方法

1.1 靜態(tài)分配調(diào)度策略

靜態(tài)分配是指應(yīng)用在啟動(dòng)之前和運(yùn)行期間，占用的資源保持不變。或者對(duì)某種類型的任務(wù)分配固定資源占用。例如，給單個(gè)計(jì)算任務(wù)1 CPU邏輯內(nèi)核，2G內(nèi)存空間，20G磁盤(pán)空間或者將服務(wù)器資源的60%用于在線服務(wù)，40%用于離線服務(wù)，使得資源總和不超過(guò)各自的比例上限。這些應(yīng)用在執(zhí)行過(guò)程中幾乎不悔進(jìn)行規(guī)格調(diào)整，是一種靜態(tài)的調(diào)度策略。

1.2 動(dòng)態(tài)均勻分配調(diào)度策略

把集群可用的資源抽象出來(lái)，將計(jì)算資源盡可能均勻的分配到各個(gè)計(jì)算任務(wù)上。Storm的默認(rèn)調(diào)度算法就是基于這種思想實(shí)現(xiàn)的。均勻的將每個(gè)組件(spout/bolt)的線程(組件并行度)分配到集群中的各個(gè)節(jié)點(diǎn)。舉個(gè)例子，一個(gè)集群有三個(gè)節(jié)點(diǎn)，node1有三個(gè)worker，node2有兩個(gè)worker，node3有一個(gè)worker。當(dāng)用戶提交一個(gè)計(jì)算拓?fù)洌ㄔ撏負(fù)湫枰?個(gè)worker，1個(gè)spout，一個(gè)bolt，spout/bolt各占2個(gè)線程，共有4個(gè)task，每個(gè)占用一個(gè)worker計(jì)算資源)。則Storm會(huì)把spout1、bolt1調(diào)度到node1，spout2調(diào)度到node2，bolt1調(diào)度到node3。通過(guò)這種策略，可以使得任務(wù)比較均勻的與計(jì)算資源進(jìn)行綁定，其缺點(diǎn)是，如果node3掛掉，它會(huì)按照當(dāng)前調(diào)度策略重新把bolt1調(diào)度給node1，這種簡(jiǎn)單均勻分配策略可能會(huì)造成局部不均衡。

1.3 資源感知調(diào)度策略

其核心算法是分析每個(gè)工作節(jié)點(diǎn)中各類資源的使用情況，然后根據(jù)這些資源的使用情況將工作任務(wù)調(diào)度到到合適的節(jié)點(diǎn)上。對(duì)于系統(tǒng)資源一般可以用CPU使用率、內(nèi)存占用、磁盤(pán)、網(wǎng)絡(luò)等進(jìn)行細(xì)粒度劃分。簡(jiǎn)單的資源感知調(diào)度策略只求局部?jī)?yōu)化，比如，針對(duì)CPU密集型的任務(wù)組件，會(huì)將它的處理單元優(yōu)先分配到CPU空閑資源多的節(jié)點(diǎn)上；針對(duì)內(nèi)存密集型的任務(wù)組件，會(huì)將它的處理單元優(yōu)先分配到內(nèi)存空閑資源多的節(jié)點(diǎn)上；針對(duì)磁盤(pán)需求密集型的任務(wù)組件，可能會(huì)將它的處理單元優(yōu)先分配到磁盤(pán)資源多的節(jié)點(diǎn)上。復(fù)雜的資源感知調(diào)度策略需要對(duì)各項(xiàng)資源進(jìn)行綜合評(píng)估，給每一項(xiàng)任務(wù)每個(gè)資源計(jì)算權(quán)重，然后按照綜合資源評(píng)分給搶占資源和任務(wù)排序，最后將按照順序把資源分配給計(jì)算任務(wù)。再進(jìn)一步則需要負(fù)載預(yù)測(cè)，根據(jù)CPU利用率、Memory消耗、Disk消耗，磁盤(pán)、網(wǎng)絡(luò)IO，甚至DB IO這些歷史數(shù)據(jù)中，多維度對(duì)應(yīng)用、應(yīng)用實(shí)例層面分別給出面向不同時(shí)間片大小的預(yù)測(cè)值，其實(shí)是非常具有挑戰(zhàn)的事情[6]。數(shù)據(jù)規(guī)模、采集的并發(fā)實(shí)時(shí)性，噪聲和突發(fā)流量甚至限流等，都對(duì)模型的響應(yīng)時(shí)間、模型的準(zhǔn)確率提出了很高的要求。因?yàn)殄e(cuò)誤的預(yù)測(cè)可能導(dǎo)致意想不到的調(diào)度影響，負(fù)載預(yù)測(cè)和業(yè)務(wù)關(guān)聯(lián)起來(lái)，甚至和能源消耗、成本關(guān)聯(lián)起來(lái)，除了趨勢(shì)評(píng)估，還可以幫助決策。由此對(duì)數(shù)據(jù)的協(xié)同分析，也需要專業(yè)的團(tuán)隊(duì)進(jìn)行跟進(jìn)?？偟膩?lái)說(shuō)，資源感知調(diào)度策略是一種業(yè)務(wù)依賴程度高、實(shí)現(xiàn)復(fù)雜、效果難以預(yù)測(cè)的高級(jí)調(diào)度策略。

1.4 就近調(diào)度策略

就近調(diào)度策略，而是一種流計(jì)算圖優(yōu)化策略[7]，其核心思想是減少中間狀態(tài)，減少數(shù)據(jù)遷移等帶來(lái)的開(kāi)銷以提高性能。它的調(diào)度思路是將有直接數(shù)據(jù)傳輸關(guān)系的任務(wù)盡可能分配到一起，分配到同一個(gè)節(jié)點(diǎn)上減少網(wǎng)絡(luò)傳輸造成的延時(shí)，甚至可能分配到同一個(gè)工作進(jìn)程，減少網(wǎng)絡(luò)通信、減少任務(wù)數(shù)據(jù)傳輸中序列化和反序列化帶來(lái)的額外開(kāi)銷，從而提高流計(jì)算引擎的吞吐量并有效降低整體延遲。就近調(diào)度策略，也是目前業(yè)界性能優(yōu)化很大的一個(gè)方向，比如國(guó)內(nèi)阿里巴巴開(kāi)源的JStorm，會(huì)試圖將兩個(gè)需要通訊的線程盡量放在一個(gè)worker中來(lái)減少網(wǎng)絡(luò)的傳輸。

1.5 現(xiàn)有的調(diào)度策略存在的問(wèn)題

靜態(tài)分配調(diào)度策略是一種靜態(tài)的悲觀的調(diào)度策略，有點(diǎn)在于能夠有效限制系統(tǒng)資源的占用，缺點(diǎn)是需要提前規(guī)劃，缺乏靈活性，不適用于復(fù)雜的應(yīng)用場(chǎng)景；動(dòng)態(tài)均勻分配調(diào)度策略彌補(bǔ)了靜態(tài)分配調(diào)度策略的缺點(diǎn)，能夠根據(jù)機(jī)器集群當(dāng)前狀態(tài)動(dòng)態(tài)調(diào)整調(diào)度方案，使得計(jì)算任務(wù)盡可能均勻的利用空閑的集群資源，缺點(diǎn)是沒(méi)有考慮不同作業(yè)之間存在差異[8]，例如資源占用類型比例不同，只是簡(jiǎn)單的把作業(yè)調(diào)度“平均”分配到集群；資源感知調(diào)度策略考略到了作業(yè)之間的差異，但是其實(shí)現(xiàn)復(fù)雜，效果與業(yè)務(wù)類型，負(fù)載感知，甚至和能源消耗、成本關(guān)聯(lián)起來(lái)，在實(shí)際操作上一般只求局部?jī)?yōu)化，對(duì)某種類型的資源占用進(jìn)行優(yōu)化；就近調(diào)度策略，能有效降低延遲，但是對(duì)集群負(fù)載均衡缺乏關(guān)注，可能會(huì)造成某些機(jī)器滿負(fù)荷而其它機(jī)器空載。

2 本文采用的差異化作業(yè)調(diào)度管理技術(shù)

本文分析已有調(diào)度技術(shù)的優(yōu)缺點(diǎn)，在已有技術(shù)的基礎(chǔ)上形成差異化作業(yè)調(diào)度策略，希望在系統(tǒng)穩(wěn)定性、性能、負(fù)債均衡之間取得一個(gè)平衡。該策略主要受動(dòng)態(tài)均勻分配調(diào)度策略和就近調(diào)度策略影響，在整體上實(shí)現(xiàn)負(fù)載均衡，在局部利用就近調(diào)度，需要實(shí)現(xiàn)用戶自定義分配方式從而差異化管理了作業(yè)。依據(jù)如下：現(xiàn)實(shí)生產(chǎn)環(huán)境中作業(yè)需求復(fù)雜多樣，而現(xiàn)有流計(jì)算引擎調(diào)度算法調(diào)度策略單一，單一調(diào)度策略不能適應(yīng)不同的需求；流計(jì)算應(yīng)用開(kāi)發(fā)者對(duì)底層組件開(kāi)發(fā)比較熟悉，能夠針對(duì)具體應(yīng)用場(chǎng)景從網(wǎng)路、存儲(chǔ)等方面實(shí)現(xiàn)就近調(diào)度優(yōu)化，解決業(yè)務(wù)瓶頸，現(xiàn)有調(diào)度算法調(diào)度并不能滿足這種差異化作業(yè)的需求。該策略的應(yīng)用場(chǎng)景包含：將不同組件放在同一工作節(jié)點(diǎn)中來(lái)達(dá)到替代DRPC的目的，比如task1->task2-task3->task4，把我們可以把task1與task4放到一個(gè)工作節(jié)點(diǎn)中，這樣task4的結(jié)果就能直接返回給task1；將上下游的組件放在一起，避免網(wǎng)絡(luò)傳輸；強(qiáng)制將一個(gè)組件運(yùn)行分配到一個(gè)特定的機(jī)器上，減少數(shù)據(jù)在網(wǎng)絡(luò)中遷移，減低帶寬負(fù)載，例如，我們可以將一個(gè)操作數(shù)據(jù)庫(kù)的組件強(qiáng)制分配到數(shù)據(jù)庫(kù)所在的機(jī)器上；強(qiáng)制一個(gè)組件的不同線程運(yùn)行在不同的機(jī)器中，實(shí)現(xiàn)業(yè)務(wù)隔離；允許用戶也可以選擇只對(duì)部分任務(wù)進(jìn)行自定義分配，剩下其他還是使用默認(rèn)的分配方式。使用差異化作業(yè)調(diào)度管理技術(shù)就能靈活處理不同業(yè)務(wù)場(chǎng)景，提高實(shí)時(shí)計(jì)算系統(tǒng)的通用性。本文擬基于開(kāi)源流式計(jì)算引擎Storm進(jìn)行研究開(kāi)發(fā)，差異化作業(yè)調(diào)度管理技術(shù)。

3 差異化作業(yè)調(diào)度管理技術(shù)在Storm平臺(tái)上的實(shí)現(xiàn)

3.1 具體實(shí)現(xiàn)過(guò)程

在Storm中，Nimbus根據(jù)默認(rèn)調(diào)度程序?qū)⑷蝿?wù)分配給Supervisor，默認(rèn)調(diào)度器期望能把計(jì)算資源均勻地分配給拓?fù)淙蝿?wù)[9]，因此就公平性而言，Storm默認(rèn)的調(diào)度策略運(yùn)轉(zhuǎn)良好，但是對(duì)于流處理應(yīng)用開(kāi)發(fā)者而言，用戶不可能預(yù)測(cè)出Storm集群中拓?fù)浣M件運(yùn)行的位置。又因?yàn)椴煌負(fù)淙蝿?wù)之間天然就存在差異性，簡(jiǎn)單的把計(jì)算資源均勻地分配給拓?fù)淙蝿?wù)實(shí)際上并不能有效地利用集群資源，特別在多節(jié)點(diǎn)部署過(guò)程中，不個(gè)節(jié)點(diǎn)的計(jì)算能力、計(jì)算資源、計(jì)算場(chǎng)景很可能也并不相同，在這些角度上分析，允許用戶將特定拓?fù)浣M件分配給位于特定的計(jì)算節(jié)點(diǎn)是非常重要的。因此，在Storm上開(kāi)發(fā)者需要一種更加靈活的調(diào)度機(jī)制，增強(qiáng)用戶對(duì)集群中運(yùn)行的拓?fù)淙蝿?wù)的掌控能力，以利于優(yōu)化某些業(yè)務(wù)處理性能。

實(shí)現(xiàn)作業(yè)差異化調(diào)度最核心的問(wèn)題是了解調(diào)度器是如何工作的以及如何獲取集群信息，其中涉及理解Storm平臺(tái)的調(diào)度流程和與它相關(guān)的數(shù)據(jù)結(jié)構(gòu)。首先從第一個(gè)問(wèn)題出發(fā)，調(diào)度器是如何工作的，Nimbus服務(wù)器啟動(dòng)實(shí)例化了scheduler，在用戶提交了拓?fù)渲螅琻imbus服務(wù)執(zhí)行了mk-assignments方法，其中調(diào)用了scheduler的schedule方法，完成資源分配，schedule是其核心實(shí)現(xiàn)；schedule方法的默認(rèn)傳參類型是Topologies和Cluster類型，從中我們可以獲取所有拓?fù)湫畔ⅲ═opologyDetails）以及所有工作節(jié)點(diǎn)信息（SupervisorDetails），由于Storm中元數(shù)據(jù)是由thrift定義的，我們可以從storm.thrift文件中找到SupervisorDetails中與調(diào)度相關(guān)的數(shù)據(jù)元祖map scheduler_meta，是一個(gè)KV鍵值對(duì)，因此我們可以指定自己的元數(shù)據(jù)以操作不同的工作節(jié)點(diǎn)。在0.8.0版本發(fā)布后，Storm提供了可插拔調(diào)度器（Pluggable scheduler），以便用戶自定義自己的調(diào)度策略。自定義調(diào)度器需要實(shí)現(xiàn)IScheduler接口中prepare方法和schedule方法，prepare方法用于在服務(wù)器啟動(dòng)時(shí)初始化scheduler實(shí)例，隨后在每次執(zhí)行調(diào)度任務(wù)時(shí)執(zhí)行schedule方法，因此我們可以更加方便的實(shí)現(xiàn)自己的調(diào)度邏輯了，具體實(shí)現(xiàn)如下：

（1）在Supervisor端config/storm.yaml實(shí)現(xiàn)自己的元數(shù)據(jù)，比如：

（2）實(shí)現(xiàn)IScheduler接口，給出核心代碼：配置信息，如果組件配置信息與工作節(jié)點(diǎn)元數(shù)據(jù)相匹配，則把計(jì)算資源分配給組件

完成調(diào)度程序后，我們需要將其打包到一個(gè)jar文件，放在Storm服務(wù)器$STORM_HOME/lib/路徑下

（3）在Nimbus端config/storm.yaml加入配置:

3.2 結(jié)果檢驗(yàn)

建立拓?fù)?/p>

拓?fù)淦谕麑?shí)現(xiàn)spout1運(yùn)行在host1 Supervisor上，bolt2運(yùn)行在運(yùn)行在host2 Supervisor上，bolt3運(yùn)行在host1 Supervisor上，拓?fù)浣Y(jié)構(gòu)如圖1：

圖1 實(shí)驗(yàn)拓?fù)淙蝿?wù)

訪問(wèn)Storm UI，executor id[4-4] [2-2] [3-3]分別代表spout1、bolt2、bolt3組件，實(shí)驗(yàn)結(jié)果如圖2。

可以看到調(diào)度器拓?fù)涑晒⑻囟ńM件分配到特定節(jié)點(diǎn)host1、host2、host上。

圖2 實(shí)驗(yàn)結(jié)果展示

4 總結(jié)

本章首先描述了差異化作業(yè)調(diào)度管理問(wèn)題，接著分析了現(xiàn)有分布式作業(yè)調(diào)度策略的優(yōu)點(diǎn)和不足，接著提出本文的差異化作業(yè)調(diào)度管理技術(shù)，并解釋了它相對(duì)現(xiàn)有調(diào)度策略的優(yōu)點(diǎn)及其應(yīng)用場(chǎng)景。最后在Storm上實(shí)現(xiàn)差異化作業(yè)調(diào)度，并用檢驗(yàn)結(jié)果。

[1] 趙春燕. 云環(huán)境下作業(yè)調(diào)度算法研究與實(shí)現(xiàn)[D][J]. 北京:北京交通大學(xué), 2009.

[2] Shieh C K, Huang S W, Sun L D, et al. A topology-based scaling mechanism for Apache Storm[J]. International Journal of Network Management, 2016.

[3] 陳若飛, 姜文紅. Hadoop 作業(yè)調(diào)度本地性的研究與優(yōu)化[J]. 軟件, 2015, 36(2): 64-68

[4] 詹文濤, 艾中良, 劉忠麟, 等. 一種基于YARN 的高優(yōu)先級(jí)作業(yè)調(diào)度實(shí)現(xiàn)方案[J]. 軟件, 2016, 37(3): 84-88

[5] 龍少杭. 基于Storm的實(shí)時(shí)大數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D]. 上海交通大學(xué), 2015.

[6] Peng B, Hosseini M, Hong Z, et al. R-Storm: Resource-Aware Scheduling in Storm[C]// ACM MIDDLEWARE '15 Proceedings of the, ACM MIDDLEWARE Conference. ACM, 2015: 149-161.

[7] 陳廷偉, 張斌, 郝憲文. 基于任務(wù)-資源分配圖優(yōu)化選取的網(wǎng)格依賴任務(wù)調(diào)度[J]. 計(jì)算機(jī)研究與發(fā)展, 2007, 44(10): 1741-1750.

[8] Long S, Rao R, Miao W, et al. An improved topology schedule algorithm for storm system[C]//Computer Science and Applications: Proceedings of the 2014 Asia-Pacific Conference on Computer Science and Applications (CSAC 2014), Shanghai, China, 27-28 December 2014. CRC Press, 2015: 187.

[9] 李川, 鄂海紅, 宋美娜. 基于Storm的實(shí)時(shí)計(jì)算框架的研究與應(yīng)用[J]. 軟件, 2014, 35(10): 16-20

Implementation of Differentiated Job Scheduling on Storm

CHEN Bo-xiong, AI Zhong-liang

(North China Institute of Computing Technology, Beijing 100083, China)

Job scheduling has always been a hot topic in the research of large data technology. The research on scheduling optimization on distributed clusters has not stopped. This paper compares and contrasts the static scheduling, the uniform allocation scheduling, the resource aware scheduling and the nearest scheduling algorithm, puts forward the differentiated job scheduling management technology and applies it to the distributed real-time processing system Storm. Experiments show that the proposed algorithm can perform differentiated management of different tasks in the Storm cluster.

Scheduling; Storm; Distributed Computing; Big Data

TP311

A

10.3969/j.issn.1003-6970.2017.01.016

國(guó)家基金項(xiàng)目

陳伯雄(1992-)，男，研究生，主要研究方向：大數(shù)據(jù)、軟件技術(shù)；艾中良(1971-），男，研究員級(jí)高級(jí)工程師，主要研究方向：網(wǎng)格計(jì)算、信息共享及信息安全。