亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于HBase的大數(shù)據(jù)平臺負載均衡算法分析與優(yōu)化

        2019-06-07 15:08:13邵芳王勇
        軟件導刊 2019年1期
        關鍵詞:大數(shù)據(jù)

        邵芳 王勇

        摘 要:HBase原有負載均衡算法策略是保證每個Region Server的Region數(shù)目相同。但每個Region的訪問并不均等,可能造成負載不均衡情況,產(chǎn)生熱點數(shù)據(jù),影響請求響應效率。部分Region會成為熱點,導致一些Region Server負載過重。為提高HBase數(shù)據(jù)庫整體性能,將數(shù)據(jù)熱度因素考慮在內,使用預測方法設計HBase負載均衡算法,把預測數(shù)據(jù)的熱度作為Region Server負載。實驗表明,優(yōu)化后的負載均衡算法可在一定程度上提高HBase數(shù)據(jù)庫性能。

        關鍵詞:HBase;大數(shù)據(jù);負載均衡;熱點數(shù)據(jù);預測

        DOI:10. 11907/rjdk. 181331

        中圖分類號:TP312文獻標識碼:A文章編號:1672-7800(2019)001-0104-04

        Abstract: In order to improve the performance of HBase database, the original load balancing algorithm of HBase is analyzed. The original algorithm strategy ensures that the number of Region per Region Server is the same, but because the access of each Region is not equal, it may cause the load imbalance, generate hot data, and affect the response efficiency of the request. Part of the Region will become a hot spot, which some Region Server overload. It is very important to consider the impact of the heat of the data on the load balancing of a distributed database. Therefore, the prediction method is used to design the HBase load balancing algorithm and predict the heat of the data as the load of the Region Server. The experiment shows that the optimized load balancing algorithm can improve the performance of HBase database.

        0 引言

        隨著互聯(lián)網(wǎng)的迅猛發(fā)展,利用傳統(tǒng)關系型數(shù)據(jù)庫解決大規(guī)模數(shù)據(jù)集存在的問題引起廣泛關注,NoSQL(Not Only SQL,NoSQL ,非關系型數(shù)據(jù)庫)研究成為熱點[1]。互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量增長迅速,對于海量數(shù)據(jù)的不斷增長,要求系統(tǒng)具有良好的橫向擴展性,集群技術能夠解決此類問題[2]。集群之間能資源共享,控制任務分發(fā)調度性能,并且隨著數(shù)據(jù)的增加進行擴展。

        Apache HBase是開源分布式NoSQL數(shù)據(jù)庫,HBase技術源于《Bigtable:一個結構化數(shù)據(jù)的分布式存儲系統(tǒng)》這篇Google論文[3]。HBase作為一個分布式列存儲數(shù)據(jù)庫,因其高可用性、可擴展性等特征而被廣泛應用。HBase和Hadoop無縫集成,利用HDFS實現(xiàn)數(shù)據(jù)的底層分布式存儲[4]。HBase數(shù)據(jù)庫是列式存儲的數(shù)據(jù)庫,表的列數(shù)可在建表后動態(tài)增加,對于無實際值的列不進行存儲,節(jié)省空間。健康大數(shù)據(jù)平臺使用HBase數(shù)據(jù)庫,負載不均問題直接影響到整個集群的性能。隨著大量數(shù)據(jù)的注入,HBase Region數(shù)目的增加或不均等地對Region Server訪問[5],HBase通過負載均衡算法保證盡量均等地分配每個Region Server。國內外很多知名企業(yè)都使用NoSQL 數(shù)據(jù)庫存儲數(shù)據(jù),如百度、新浪、Google、騰訊、阿里巴巴、Facebook等[6]。NoSQL數(shù)據(jù)庫相關技術還在不斷發(fā)展,互聯(lián)網(wǎng)時代海量數(shù)據(jù)的應用需求為NoSQL的發(fā)展提供了源源不斷的動力。因此,對非關系型數(shù)據(jù)庫HBase負載均衡的研究具有重要意義。

        1 HBase負載均衡算法分析

        如果Region Server存在負載不均衡,那么部分節(jié)點的堵塞情況就很容易發(fā)生,進而影響整體性能[7]。通過多種措施可以對HBase進行性能調優(yōu)[8],在0.92版本以后,HBase的負載均衡算法可通過實現(xiàn)了LoadBalancer接口的hbase.master.loadbalancer.class來自定義,實現(xiàn)定制的均衡策略,負載均衡策略是可插拔的。

        1.1 SimpleLoadBalancer負載均衡策略分析

        在HBase0.94版本中,默認使用SimpleLoadBalancer負載均衡算法,算法步驟是:計算每個Region Server中Region的總數(shù)目,用Region總數(shù)除以Region Server的數(shù)目得到每個Region Server的Region平均數(shù)目averageNum,最小值min的值為floor(averageNum),最大值max的值為ceiling(averageNum)[9]。如果所有Region Server都在此范圍內,說明不需要進行負載均衡操作。否則,從負載Region數(shù)目最大的Region Server開始遍歷到負載數(shù)目小于等于max為止,把這些需要轉移的Region存儲起來,設置原地址和目的地址(暫時為空)。從負載Region數(shù)目最小的Region Server開始遍歷到負載數(shù)目大于等于min為止,設置為目的地址。如果仍有負載小于min的Region Server,則從Region數(shù)目最多的Region Server中取出一個Region轉移到此Region Server中,直到?jīng)]有負載小于min的Region Server為止。如果仍然存在目的地址為空,則從負載最低的Region Server開始遍歷,如果此Region Server負載小于max則將其地址設置為目的地址,直到?jīng)]有為空的目的地址。若所有目的地址都不為空,則返回。否則,沒有目的地址的Region仍放在原Region Server中。

        猜你喜歡
        大數(shù)據(jù)
        基于在線教育的大數(shù)據(jù)研究
        中國市場(2016年36期)2016-10-19 04:41:16
        “互聯(lián)網(wǎng)+”農(nóng)產(chǎn)品物流業(yè)的大數(shù)據(jù)策略研究
        中國市場(2016年36期)2016-10-19 03:31:48
        基于大數(shù)據(jù)的小微電商授信評估研究
        中國市場(2016年35期)2016-10-19 01:30:59
        大數(shù)據(jù)時代新聞的新變化探究
        商(2016年27期)2016-10-17 06:26:00
        淺談大數(shù)據(jù)在出版業(yè)的應用
        今傳媒(2016年9期)2016-10-15 23:35:12
        “互聯(lián)網(wǎng)+”對傳統(tǒng)圖書出版的影響和推動作用
        今傳媒(2016年9期)2016-10-15 22:09:11
        大數(shù)據(jù)環(huán)境下基于移動客戶端的傳統(tǒng)媒體轉型思路
        新聞世界(2016年10期)2016-10-11 20:13:53
        基于大數(shù)據(jù)背景下的智慧城市建設研究
        科技視界(2016年20期)2016-09-29 10:53:22
        數(shù)據(jù)+輿情:南方報業(yè)創(chuàng)新轉型提高服務能力的探索
        中國記者(2016年6期)2016-08-26 12:36:20
        无码熟妇人妻av在线影片| 国产精品亚洲一区二区三区在线 | 亚洲色成人网一二三区| 日本最新一区二区三区免费看| 美女免费观看一区二区三区| 亚洲国产美女精品久久久久∴| 亚洲av无码片在线观看| 日韩在线观看网址| 亚洲av网站在线免费观看| 久久亚洲中文字幕精品一区| 国产美女自慰在线观看| 奇米影视7777久久精品| 亚洲乱码日产精品bd| 亚洲人成网站久久久综合| 久久精品天堂一区二区| 久久婷婷国产综合精品| 国产精品久久久久久无码| 亚洲高清视频在线播放| 深夜日韩在线观看视频| 日本va欧美va精品发布| 日韩精品无码久久久久久| 国产精品原创永久在线观看| 美女被黑人巨大入侵的的视频| 亚洲av日韩综合一区久热| 国产suv精品一区二区69| 曰本亚洲欧洲色a在线| 久草手机视频在线观看| 免费a级毛片18禁网站| 久热综合在线亚洲精品| 2020亚洲国产| 在线人妻va中文字幕| 久久久av波多野一区二区| 亚洲人成综合网站在线| 日韩中文字幕乱码在线| 久久人妻av无码中文专区| 亚洲成a人片在线观看无码3d| 亚洲日韩欧美一区二区三区| 国产三级伦理视频在线| 中文字幕在线亚洲三区| 国产精品白丝喷水在线观看| 国产三级精品美女三级|