喻朝新，張靜嫻（中國(guó)移動(dòng)通信集團(tuán)廣東有限公司，廣州 510623）

?

基于分布式云計(jì)算環(huán)境下的多租戶管理技術(shù)方案研究*

喻朝新，張靜嫻
（中國(guó)移動(dòng)通信集團(tuán)廣東有限公司，廣州 510623）

本文首先介紹了大數(shù)據(jù)環(huán)境下對(duì)多租戶Hadoop平臺(tái)的需求，闡述了電信運(yùn)營(yíng)商省公司的業(yè)務(wù)現(xiàn)狀及建設(shè)多租戶Hadoop平臺(tái)的驅(qū)動(dòng)力，然后提出在分布式云計(jì)算環(huán)境下的多租戶系統(tǒng)資源控制算法和Hadoop儲(chǔ)存技術(shù)，并對(duì)多租戶集群負(fù)荷限制、內(nèi)存計(jì)算、網(wǎng)絡(luò)技術(shù)和虛擬化技術(shù)進(jìn)行了驗(yàn)證，最后展現(xiàn)了多租戶Hadoop平臺(tái)的實(shí)施成果。

多租戶；Hadoop；資源調(diào)度；HBase；Yarn

隨著移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展和大數(shù)據(jù)時(shí)代的來臨，各省電信運(yùn)營(yíng)商的數(shù)據(jù)量迅速增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)在大數(shù)據(jù)處理方面存在瓶頸。大數(shù)據(jù)最核心的價(jià)值就是在于對(duì)于海量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，相比起現(xiàn)有的其它技術(shù)而言，大數(shù)據(jù)的“廉價(jià)、迅速、優(yōu)化”這3個(gè)方面的綜合成本是最優(yōu)的，因此電信運(yùn)營(yíng)商嘗試使用當(dāng)前最流行的大數(shù)據(jù)解決方案Hadoop來搭建其數(shù)據(jù)平臺(tái)，希望能更快更好地處理TB、PB級(jí)別數(shù)據(jù)，實(shí)現(xiàn)企業(yè)運(yùn)營(yíng)效率的提升和收入的增長(zhǎng)。

1 業(yè)務(wù)現(xiàn)狀及驅(qū)動(dòng)力

當(dāng)前省級(jí)電信運(yùn)營(yíng)商的大數(shù)據(jù)系統(tǒng)是把不同類型的應(yīng)用分別部署在物理獨(dú)立的Hadoop集群上，形成了系統(tǒng)煙囪化嚴(yán)重的情況，導(dǎo)致出現(xiàn)以下問題。

（1）數(shù)據(jù)冗余嚴(yán)重。電信運(yùn)營(yíng)商經(jīng)分分析和賬單實(shí)時(shí)查詢的數(shù)據(jù)都是來自于清單，當(dāng)前兩種應(yīng)用分別部署在物理獨(dú)立的Hadoop平臺(tái)，需要重復(fù)導(dǎo)入清單數(shù)據(jù)，數(shù)據(jù)孤島式的結(jié)構(gòu)導(dǎo)致了較大的數(shù)據(jù)冗余。

（2）硬件資源利用率不高。實(shí)時(shí)查詢作業(yè)對(duì)存儲(chǔ)容量要求較大，但對(duì)計(jì)算資源消耗不高，導(dǎo)致計(jì)算資源大量閑置。而經(jīng)分的清單分析作業(yè)對(duì)計(jì)算資源消耗較大，但是任務(wù)集中在月末、月初或晚上，有比較明顯的忙時(shí)和閑時(shí)的時(shí)段之分。兩種業(yè)務(wù)部署在不同的平臺(tái)，因此導(dǎo)致硬件資源沒有得到很好的利用。

（3）系統(tǒng)維護(hù)管理復(fù)雜。隨著業(yè)務(wù)的增長(zhǎng)，集群越建越多，需要的維護(hù)人員和資源相應(yīng)地膨脹。數(shù)據(jù)需要導(dǎo)入到不同的集群進(jìn)行處理，界面不統(tǒng)一，數(shù)據(jù)處理工作越來越繁重，集群的管理和維護(hù)變得越來越復(fù)雜。

（4）硬件資源的配置缺乏統(tǒng)一標(biāo)準(zhǔn)，系統(tǒng)維護(hù)管理復(fù)雜。缺乏主流的分布式計(jì)算軟件產(chǎn)品對(duì)移動(dòng)業(yè)務(wù)適用性的評(píng)測(cè)標(biāo)準(zhǔn)，導(dǎo)致分布式云平臺(tái)的選型缺少科學(xué)依據(jù)，因此在硬件資源的配置上，存在較大的隨意性。

由于目前煙囪式和數(shù)據(jù)孤島式的平臺(tái)模式導(dǎo)致了數(shù)據(jù)和模型不共享、數(shù)據(jù)使用效率低下。因此，迫切需要運(yùn)用基于分布式云計(jì)算環(huán)境下的多租戶管理技術(shù)，在統(tǒng)一的大數(shù)據(jù)平臺(tái)把所有查詢和分析應(yīng)用整合在同一集群中，解決數(shù)據(jù)分散問題，有效實(shí)現(xiàn)數(shù)據(jù)融合，匯聚自有和外部大數(shù)據(jù)，實(shí)現(xiàn)大數(shù)據(jù)“自用”和“他用”，共同提升企業(yè)的業(yè)務(wù)能力，提升數(shù)據(jù)從采集到使用各環(huán)節(jié)的效率，并且通過全量數(shù)據(jù)的分析挖掘提升企業(yè)活動(dòng)的精確度。

2 多租戶管理技術(shù)方案研究

由于分布式軟件產(chǎn)品在多租戶管理方面的應(yīng)用尚屬空白，本文研究在移動(dòng)大數(shù)據(jù)和典型業(yè)務(wù)場(chǎng)景下，基于分布式云計(jì)算環(huán)境下的多租戶并發(fā)查詢和分析型兩大類應(yīng)用的資源管控能力、多租戶管理、安全管控能力、可擴(kuò)展性、易用性等功能，為后續(xù)多個(gè)分布式系統(tǒng)的方案設(shè)計(jì)、硬件資源配置和產(chǎn)品選型，提供科學(xué)依據(jù)。

基于分布式云計(jì)算環(huán)境下的多租戶Hadoop平臺(tái)需要具備多租戶資源管理能力，同時(shí)支持PB級(jí)的數(shù)據(jù)處理和應(yīng)用分析、高并發(fā)的數(shù)據(jù)查詢等。

2.1 多租戶系統(tǒng)資源控制算法

當(dāng)前批量分析則以Yarn計(jì)算框架為基礎(chǔ)，雖然Yarn的資源控制算法已經(jīng)比較豐富，但是仍無法滿足基于多租戶的多隊(duì)列、多任務(wù)的SLA要求，因此需研究一種帶SLA保障的Yarn作業(yè)調(diào)度方法設(shè)計(jì)。

而實(shí)時(shí)查詢應(yīng)用是基于HBase API的技術(shù)框架開發(fā)的，該框架采用了基于機(jī)會(huì)均等策略的調(diào)度算法，無法保證VIP用戶的實(shí)時(shí)查詢的時(shí)延滿足要求，應(yīng)引入一種基于租戶的HBase優(yōu)先級(jí)調(diào)度算法。

同時(shí)，HBaseAPI和Yarn屬于兩種不同的技術(shù)框架，只有實(shí)現(xiàn)了這兩種異構(gòu)技術(shù)框架之間的系統(tǒng)資源控制算法，才有可能真正地建立一套應(yīng)用統(tǒng)一管理的大數(shù)據(jù)平臺(tái)。

2.1.1 帶SLA保障的Yarn作業(yè)調(diào)度方法設(shè)計(jì)

本文提出了一種新的作業(yè)調(diào)度方案，采用帶作業(yè)SLA的多作業(yè)隊(duì)列加多資源隊(duì)列的設(shè)計(jì)，并且多個(gè)資源隊(duì)列之間可以進(jìn)行動(dòng)態(tài)的資源借入和借出，以實(shí)現(xiàn)并發(fā)多作業(yè)帶 SLA 保障的作業(yè)資源調(diào)度。

本方案的基本實(shí)現(xiàn)由以下4個(gè)基本要素組成。

（1）作業(yè)實(shí)體：Job_i。

（2）待執(zhí)行作業(yè)隊(duì)列：JobQueue_j。

（3）可用資源隊(duì)列：ResourceQueue。

（4）資源調(diào)度和分配的最小邏輯單元實(shí)體：slot。

考慮到作業(yè)的SLA要求，作業(yè)提交和作業(yè)隊(duì)列初始化過程如圖1所示。

圖1　作業(yè)提交和隊(duì)列初始化過程

作業(yè)初始化后，在傳統(tǒng)資源分配的兩級(jí)調(diào)度法（隊(duì)列級(jí)、作業(yè)級(jí)）的基礎(chǔ)上增加了多個(gè)隊(duì)列之間的資源池配額的動(dòng)態(tài)可調(diào)功能，這樣使得多個(gè)隊(duì)列資源池之間利用率不均衡時(shí)，可以互相進(jìn)行資源的借入借出，以保證總體資源的充分利用，實(shí)現(xiàn)每個(gè)作業(yè)資源的智能調(diào)度，對(duì)每個(gè)作業(yè)SLA都可以有效保障。

2.1.2 HBase優(yōu)先級(jí)控制

借鑒Yarn的容量資源調(diào)度器算法，本文研究開發(fā)了HBase優(yōu)先級(jí)控制算法，在HBase內(nèi)部實(shí)現(xiàn)基于用戶ID標(biāo)簽的多隊(duì)列調(diào)度機(jī)制，實(shí)現(xiàn)了即時(shí)查詢?nèi)蝿?wù)的優(yōu)先級(jí)控制，讓重要查詢?nèi)蝿?wù)響應(yīng)更及時(shí)。算法流程如圖2所示。

圖2　HBase優(yōu)先級(jí)控制算法

2.1.3 HBase API與Yarn兩種框架間的資源調(diào)度算法

當(dāng)查詢優(yōu)先級(jí)比分析高時(shí)，本方案使用外部的管理程序會(huì)監(jiān)控HBase的查詢時(shí)延，根據(jù)這個(gè)信息來判斷是否需要搶占Yarn上的Container資源，并通過新構(gòu)API，實(shí)現(xiàn)對(duì)Container的搶占以及Yarn Application資源申請(qǐng)的暫停，從而保證Yarn上面的應(yīng)用資源受到限制。當(dāng)分析優(yōu)先級(jí)比查詢高時(shí)使用Python程序來判斷哪些線程是HBase占用，當(dāng)資源不足時(shí)，通過Python內(nèi)部PSUtil庫(kù)限制HBase的使用率。主要的流程思路如圖3所示。

多租戶Hadoop集群應(yīng)用以上3種改進(jìn)的調(diào)度算法后，高優(yōu)先級(jí)查詢?nèi)蝿?wù)平均響應(yīng)時(shí)間縮短為原來的58%左右，而VIP批量分析任務(wù)平均時(shí)長(zhǎng)減少20%，滿足其SLA需求。

2.2 基于多租戶的Hadoop儲(chǔ)存技術(shù)

當(dāng)前Hadoop存儲(chǔ)數(shù)據(jù)方式一般是采用查詢和分析分別使用多套數(shù)據(jù)存儲(chǔ)的方式在海量數(shù)據(jù)處理時(shí)會(huì)造成數(shù)據(jù)存儲(chǔ)的大量冗余。

為此，本文設(shè)計(jì)了一種多租戶Hadoop的新存儲(chǔ)技術(shù)，基于Hadoop現(xiàn)有副本機(jī)制，對(duì)不同的數(shù)據(jù)分片進(jìn)行標(biāo)簽標(biāo)識(shí)，保障查詢交易和分析使用不同的數(shù)據(jù)分片，既減少了數(shù)據(jù)的冗余度又滿足了查詢和分析不同的時(shí)延需求。

該技術(shù)借鑒Hfile的文件格式，向HDFS Txt文件增加部分Hfile字段，并使用 Hfile Transfer模塊替代了Hfile on HDFS模塊。查詢時(shí)直接解析新型HDFS Txt 文件，通過對(duì)作基礎(chǔ)分析的新型HDFS Txt文件實(shí)時(shí)序列化處理和文件重新組織封裝，解析成為HBase可辨識(shí)的Hfile文件。同時(shí)，儲(chǔ)于 HDFS 中的新型Txt文件由于其保持了Txt文本特性，仍能有效地支持分析任務(wù)，不會(huì)降低分析任務(wù)的性能。因此，技術(shù)能有效地減少一半的數(shù)據(jù)存儲(chǔ)需求，同時(shí)有效保證查詢和分析的性能。基本架構(gòu)如圖4所示。

審計(jì)委員會(huì)特征與審計(jì)費(fèi)用相關(guān)性的實(shí)證研究 ……………………………………………………………………… 陳 丹（3/32）

圖3　實(shí)時(shí)查詢與批量分析應(yīng)用優(yōu)先級(jí)控制思路

圖4　查詢分析統(tǒng)一數(shù)據(jù)處理系統(tǒng)架構(gòu)

同時(shí)，針對(duì)話單空字段少、重復(fù)內(nèi)容多的特點(diǎn)，本文還提供了一種壓縮技術(shù)，基于詳單查詢的應(yīng)用特點(diǎn)對(duì)采用的分布式文件系統(tǒng)存儲(chǔ)進(jìn)行了優(yōu)化，大大地縮減了詳單的數(shù)據(jù)存儲(chǔ)，可用于全量話單的備份存儲(chǔ)。該技術(shù)實(shí)用話單全字段技術(shù)把存儲(chǔ)話單所需的列數(shù)減少為原來的10%，并通過索引重復(fù)內(nèi)容進(jìn)一步減少了話單的存儲(chǔ)需求。測(cè)試結(jié)果如表1所示。

表1　基于話單查詢的壓縮技術(shù)結(jié)果對(duì)比

2.3 其它基于多租戶的Hadoop技術(shù)驗(yàn)證

本文針對(duì)多租戶Hadoop的多個(gè)方面進(jìn)行了技術(shù)驗(yàn)證，為后續(xù)的大數(shù)據(jù)平臺(tái)落地提供技術(shù)數(shù)據(jù)支撐。

2.3.1 集群資源高負(fù)荷限制技術(shù)

集群在CPU高負(fù)荷情況長(zhǎng)期運(yùn)行的情況下，有幾率會(huì)出現(xiàn)Regoin遷移失敗導(dǎo)致的元數(shù)據(jù)丟失問題，因此，應(yīng)該限制集群的CPU負(fù)荷，從而減少數(shù)據(jù)丟失的可能性，減少系統(tǒng)維護(hù)成本。本文通過Cgroup技術(shù)限制集群的CPU負(fù)荷，CPU資源控制效果如圖5所示。

因此，建議多租戶Hadoop集群應(yīng)該采用集群資源高負(fù)荷限制技術(shù)，并將CPU限制在80%以下。

2.3.2 基于內(nèi)存的Spark算法驗(yàn)證

基于測(cè)試結(jié)果，本文建議當(dāng)需處理的數(shù)據(jù)量小于集群內(nèi)存總?cè)萘康?0%時(shí)，可采用Spark內(nèi)存計(jì)算方法，否則，數(shù)據(jù)量較大時(shí)采用MapReduce等傳統(tǒng)方式。

當(dāng)前社區(qū)針對(duì)內(nèi)存溢出問題新推出了新版本的Spark，減少了內(nèi)存溢出的幾率，需要進(jìn)行下一階段研究驗(yàn)證。

2.3.3 InfiniBand與10吉比特網(wǎng)技術(shù)對(duì)比

InfiniBand與10吉比特網(wǎng)技術(shù)是當(dāng)前Hadoop常用的兩種高速網(wǎng)絡(luò)技術(shù)，本文通過測(cè)試驗(yàn)證發(fā)現(xiàn)InfiniBand技術(shù)由于其高帶寬和低時(shí)延，能較大地提高數(shù)據(jù)裝載速度，并對(duì)分析性能有10%左右的提升，但是兼容性和性價(jià)比是其比較明顯的劣勢(shì)，在Hadoop部署網(wǎng)絡(luò)技術(shù)選型中要注意。由于10吉比特網(wǎng)技術(shù)能滿足當(dāng)前大數(shù)據(jù)集群的需求，所以一般建議Hadoop網(wǎng)絡(luò)采用成熟的10吉比特網(wǎng)技術(shù)。

表2　超大規(guī)模數(shù)據(jù)量下Spark與MapReduce性能對(duì)比

圖5　CPU資源控制效果

2.3.4 引入虛擬化技術(shù)

本文引入虛擬化技術(shù)，把Hadoop集群建立在虛擬機(jī)上，查看虛擬化對(duì)Hadoop性能的影響。

測(cè)試驗(yàn)證結(jié)果表明虛擬化系統(tǒng)部署多租戶Hadoop平臺(tái)時(shí)，整個(gè)平臺(tái)性能平均下降到1/3，平均業(yè)務(wù)耗時(shí)為物理機(jī)部署時(shí)的3倍左右。因此，本文不推薦虛擬化集群，多租戶Hadoop大數(shù)據(jù)集群盡可能直接搭建在物理機(jī)上。

3 研究成果實(shí)施推廣

本項(xiàng)目首先選擇了某省電信運(yùn)營(yíng)商的經(jīng)分系統(tǒng)和清賬單系統(tǒng)作為研究成果的應(yīng)用點(diǎn)，搭建統(tǒng)一大數(shù)據(jù)試驗(yàn)平臺(tái)，承載兩個(gè)系統(tǒng)的大部分業(yè)務(wù)，進(jìn)一步驗(yàn)證本次的研究成果與實(shí)際業(yè)務(wù)的吻合度。后續(xù)將按照統(tǒng)一大數(shù)據(jù)平臺(tái)的目標(biāo)，把其它系統(tǒng)整合到該大數(shù)據(jù)平臺(tái)中，既對(duì)內(nèi)實(shí)現(xiàn)完善的數(shù)據(jù)存儲(chǔ)、經(jīng)營(yíng)分析、清單查詢、日志分析等常用服務(wù)，節(jié)省大數(shù)據(jù)平臺(tái)的投資成本和維護(hù)成本，又能以DaaS、PaaS、SaaS等方式向外部用戶提供安全、高性能的數(shù)據(jù)服務(wù)。

該平臺(tái)試運(yùn)行一段時(shí)間，取得了較好的成果。

計(jì)算資源利用率從30%提升為70%～80%，同時(shí)滿足清賬單等實(shí)時(shí)查詢的響應(yīng)時(shí)限要求，經(jīng)分的批處理任務(wù)計(jì)算時(shí)間縮小1/5～1/6。

計(jì)費(fèi)清單的存儲(chǔ)容量需求減少50%。

統(tǒng)一管理，減少了多個(gè)部門的管理與維護(hù)開銷。

4 結(jié)束語

本項(xiàng)目為解決某省電信運(yùn)營(yíng)商當(dāng)前系統(tǒng)煙囪化嚴(yán)重問題，開展基于分布式云計(jì)算環(huán)境下的多租戶關(guān)鍵技術(shù)研究，實(shí)現(xiàn)了同異構(gòu)技術(shù)框架間的系統(tǒng)資源控制算法和基于多租戶的Hadoop儲(chǔ)存技術(shù)，驗(yàn)證了集群資源高負(fù)荷限制技術(shù)、Spark內(nèi)存算法、InfiniBand與10吉比特網(wǎng)技術(shù)對(duì)比、虛擬化與Hadoop融合等，并把研究成果應(yīng)用于經(jīng)分清賬單統(tǒng)一大數(shù)據(jù)試驗(yàn)平臺(tái)。實(shí)踐結(jié)果表明，本項(xiàng)目研究成果有效提升集群計(jì)算能力，統(tǒng)一平臺(tái)用戶使用界面，節(jié)省維護(hù)成本與管理開支。

Research on the scheme of multi-tenant management technology under the environment of cloud based on distributed computing

YU Chao-xin， ZHANG Jing-xian （China Mobile Group Guangdong Co.， Ltd.， Guangzhou 510623， China）

This article first introduces the requirement of the multi-tenant Hadoop platform in the large data environment，this article introduces the present status of the telecom operators and the driving force of building multi-tenant Hadoop platform， then， the paper introduces improvedmulti-tenant resource control and store technologys based on the distributed cloud computing environment， verify some technology on CPU payload control/Spark/network/virtualization，and expounds the implementation retechnologyssults of multi-tenant Hadoop platform.

multi-tenant； Hadoop； resource control； Hbase； Yarn

TN915

A

1008-5599（2016）06-0007-05

2016-04-20

* 中國(guó)移動(dòng)集團(tuán)級(jí)一類科技創(chuàng)新成果，原成果名稱為《基于分布式云計(jì)算環(huán)境下的多租戶管理技術(shù)方案研究》。