亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Hadoop的渠道費用結(jié)算系統(tǒng)設(shè)計與實現(xiàn)

        2018-11-03 06:04:06梁偉晟
        現(xiàn)代計算機 2018年28期
        關(guān)鍵詞:計酬酬金引擎

        梁偉晟

        (中國移動通信集團廣東有限公司,廣州 510623)

        0 引言

        為了促進市場競爭和業(yè)務(wù)發(fā)展,運營商針對不同的業(yè)務(wù)制定相應(yīng)的費用結(jié)算政策,渠道費用結(jié)算系統(tǒng)統(tǒng)計渠道代理商的業(yè)務(wù)辦理情況,根據(jù)其不同業(yè)務(wù)辦理量,匹配相應(yīng)的政策規(guī)則計算出結(jié)算給渠道代理商的費用(酬金)。為了平衡業(yè)務(wù)發(fā)展和降低管理風(fēng)險,運營商通常設(shè)計比較復(fù)雜的費用結(jié)算規(guī)則,針對不同的業(yè)務(wù)類別,設(shè)計不同的發(fā)放周期。渠道費用結(jié)算系統(tǒng)承擔(dān)著酬金計算和支付的功能。酬金結(jié)算是渠道管理中的重要環(huán)節(jié),需要一個靈活高效的系統(tǒng)提供支持。如何建立更高效的渠道費用結(jié)算支撐體系,加快渠道代理商的資金周轉(zhuǎn),提高渠道代理商的粘性,是亟需尋求突破的問題。在系統(tǒng)體系架構(gòu)方面目前通常采用主機加中間件、Java程序、主流數(shù)據(jù)庫Oracle的方式。由于系統(tǒng)需要采集超過十億的原始業(yè)務(wù)數(shù)據(jù)并進行預(yù)處理,這些數(shù)據(jù)有的保存兩、三年,有的則需要長期保留,在預(yù)處理過程中數(shù)據(jù)庫主機的內(nèi)存與CPU使用率和負荷較高,受限于傳統(tǒng)數(shù)據(jù)庫瓶頸,程序并發(fā)進程數(shù)目無法進一步提高。需要采用新的系統(tǒng)架構(gòu),提高結(jié)算數(shù)據(jù)預(yù)處理的性能,降低數(shù)據(jù)庫的負荷,提高費用結(jié)算的效率。

        1 系統(tǒng)設(shè)計

        渠道費用結(jié)算系統(tǒng)實現(xiàn)對社會渠道酬金的計算。系統(tǒng)定期從周邊系統(tǒng)采集業(yè)務(wù)辦理及狀態(tài)數(shù)據(jù),對外圍采集的數(shù)據(jù)進行預(yù)處理,包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換等操作,然后根據(jù)酬金規(guī)則對預(yù)處理完數(shù)據(jù)進行費用結(jié)算,類似計費的批價流程,最后從酬金計算結(jié)果生成酬金報表。

        圖1 傳統(tǒng)系統(tǒng)架構(gòu)

        Hadoop是Apache軟件基金會開發(fā)和推出的用于海量數(shù)據(jù)存儲和計算的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop框架最核心的是:HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲,MapReduce為海量的數(shù)據(jù)提供了計算。用戶需要將所處理的問題轉(zhuǎn)化為MapReduce的模型,提供相應(yīng)的Map函數(shù)以及Reduce函數(shù)即可并行處理海量數(shù)據(jù)。

        為提高渠道費用結(jié)算的效率,對系統(tǒng)的數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理和規(guī)則引擎進行架構(gòu)改造。引入Hadoop框架,充分利用Hadoop的分布式存儲和計算能力,實現(xiàn)彈性伸縮,提高酬金預(yù)處理的性能。同時利用內(nèi)存數(shù)據(jù)庫降低計酬規(guī)則引擎對傳統(tǒng)數(shù)據(jù)庫的負荷,提高出酬效率。

        (1)數(shù)據(jù)采集

        使用Sqoop方式替代Dblink采集數(shù)據(jù),數(shù)據(jù)采集后直接入庫到HDFS,業(yè)務(wù)辦理及狀態(tài)數(shù)據(jù)不再入庫到傳統(tǒng)數(shù)據(jù)庫中。

        (2)數(shù)據(jù)預(yù)處理

        將周邊系統(tǒng)采集的數(shù)據(jù)通過文本格式入庫到HDFS,然后利用Hive對采集數(shù)據(jù)進行數(shù)據(jù)清洗及數(shù)據(jù)轉(zhuǎn)換操作。完成預(yù)處理的數(shù)據(jù)直接入庫到內(nèi)存數(shù)據(jù)庫中?;贛apReduce框架的分布式計算平臺,完成酬金預(yù)處理數(shù)據(jù)抽取、轉(zhuǎn)換、裝載。

        (3)計酬規(guī)則引擎改造

        計酬規(guī)則引擎的數(shù)據(jù)源由傳統(tǒng)數(shù)據(jù)庫改為從內(nèi)存數(shù)據(jù)庫獲取,引擎所應(yīng)用的SQL語句針對內(nèi)存數(shù)據(jù)庫進行適配性改造。酬金規(guī)則從傳統(tǒng)數(shù)據(jù)庫同步到內(nèi)存數(shù)據(jù)庫。計酬規(guī)則引擎完成酬金計算后,將計酬結(jié)果入庫到傳統(tǒng)數(shù)據(jù)庫中,供查詢和報表展現(xiàn)。

        圖2 基于Hadoop系統(tǒng)架構(gòu)

        渠道費用結(jié)算系統(tǒng)采用“Hadoop+內(nèi)存數(shù)據(jù)庫+x86服務(wù)器+Oracle數(shù)據(jù)庫+小型機”的架構(gòu)模式,其技術(shù)架構(gòu)由基礎(chǔ)設(shè)施層、數(shù)據(jù)存儲層、應(yīng)用層和展示層組成?;A(chǔ)設(shè)施層提供基礎(chǔ)的硬件資源,如CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)傳輸。數(shù)據(jù)存儲層的大數(shù)據(jù)平臺從BOSS、BI等采集基礎(chǔ)業(yè)務(wù)明細數(shù)據(jù),存儲到Hadoop分布式文件系統(tǒng)HDFS,酬金預(yù)處理后的數(shù)據(jù)放入內(nèi)存數(shù)據(jù)庫,酬金計算結(jié)果最后入庫到Oracle數(shù)據(jù)庫中。在應(yīng)用層,基于MapReduce框架完成數(shù)據(jù)抽取、轉(zhuǎn)換、裝載等酬金預(yù)處理過程,然后采用現(xiàn)有酬金引擎對酬金預(yù)處理后的數(shù)據(jù)進行酬金計算,生成酬金計算結(jié)果。系統(tǒng)的技術(shù)架構(gòu)如圖3所示。

        圖3 系統(tǒng)技術(shù)架構(gòu)

        2 系統(tǒng)實現(xiàn)及效果

        系統(tǒng)實現(xiàn)的關(guān)鍵部分包括數(shù)據(jù)采集Sqoop實現(xiàn)、源數(shù)據(jù)和酬金因子數(shù)據(jù)預(yù)處理改造和計酬引擎適配性改造。

        (1)數(shù)據(jù)采集

        系統(tǒng)從周邊系統(tǒng)采集的業(yè)務(wù)辦理明細數(shù)據(jù)要轉(zhuǎn)換Hadoop存儲的數(shù)據(jù)。從周邊系統(tǒng)采集的數(shù)據(jù)是關(guān)系型數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)或者文件,這就涉及數(shù)據(jù)遷移和轉(zhuǎn)換問題。Sqoop是一個用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具,可以將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到Hadoop存儲系統(tǒng)中,也可以將Hadoop的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫中。使用Sqoop工具完成數(shù)據(jù)從Oracle/文件采集到Hive,同時也可以完成將計酬結(jié)果數(shù)據(jù)從Hive導(dǎo)出到Oracle。

        (2)源數(shù)據(jù)和酬金因子數(shù)據(jù)預(yù)處理改造

        采集到Hive中的數(shù)據(jù)表,按照分用戶建表并按采集周期分區(qū),存儲按ORC格式保存,原來處理關(guān)系型數(shù)據(jù)庫的采集預(yù)處理程序改為處理Hive存儲數(shù)據(jù)的程序。參數(shù)配置表設(shè)計、中間表邏輯和采集快照表需按照Hive模型建立,采集預(yù)處理接口進行HiveSQL適配優(yōu)化改造。Hive并不是傳統(tǒng)的數(shù)據(jù)庫,部分傳統(tǒng)SQL語句需要依據(jù)MapReduce工作原理和設(shè)計思想進行開發(fā)。Insert、Update、Delete、Row_number函數(shù)等要按指定分區(qū)操作的方式修改。使用Join的時候小表排列在前面,放到MapJoin里面。設(shè)置block為128M來控制文件大小,通過合并方式減少import的小文件數(shù)。

        (3)計酬引擎適配性改造

        經(jīng)過預(yù)處理的采集數(shù)據(jù)直接保存到內(nèi)存數(shù)據(jù)庫中,酬金規(guī)則數(shù)據(jù)也保存在內(nèi)存數(shù)據(jù)庫中,計酬規(guī)則引擎直接從內(nèi)存數(shù)據(jù)庫獲取數(shù)據(jù)進行酬金結(jié)算,引擎所使用的SQL語句需針對內(nèi)存數(shù)據(jù)庫進行適配性改造。最終計酬結(jié)果是入庫到傳統(tǒng)數(shù)據(jù)庫中,可以供前臺查詢和出具統(tǒng)計報表。

        通過對渠道費用結(jié)算系統(tǒng)進行基于Hadoop的架構(gòu)改造,酬金預(yù)處理清洗和轉(zhuǎn)換時間由7天減少為3天,減少了60%。酬金預(yù)處理與酬金計算不再共用傳統(tǒng)數(shù)據(jù)庫,酬金預(yù)處理采用HDFS,酬金計算采用內(nèi)存數(shù)據(jù)庫。預(yù)處理過程中數(shù)據(jù)庫主機的內(nèi)存與CPU使用率和負荷降低到合理水平。當(dāng)部分數(shù)據(jù)預(yù)處理完成時,規(guī)則引擎即可以提前對相應(yīng)的規(guī)則啟動多個酬金計算并發(fā)進程。數(shù)據(jù)預(yù)處理和計算過程可以并行執(zhí)行,整體計算過程可以縮短到半天。

        表1

        酬金預(yù)處理采用Hadoop框架改造后,傳統(tǒng)數(shù)據(jù)庫原來所使用的高端存儲可以大部分釋放出來,改為使用低端存儲,在降低成本的同時提高擴展性。

        3 結(jié)語

        本文給出了基于Hadoop的渠道費用結(jié)算系統(tǒng)的設(shè)計和實現(xiàn),以此解決大量業(yè)務(wù)數(shù)據(jù)預(yù)處理和計算在傳統(tǒng)主機數(shù)據(jù)庫下的處理瓶頸和性能依賴。實際系統(tǒng)建設(shè)表明,架構(gòu)改造后出酬時間縮短,出酬效率得到提高,在降低出酬過程中主機負荷的同時,減少了對小型機的依賴,擴展性和系統(tǒng)成本均優(yōu)于原有的架構(gòu)。

        猜你喜歡
        計酬酬金引擎
        物業(yè)行業(yè)住宅類酬金制項目會計處理探討——對比境外物業(yè)住宅酬金制處理
        中國市場(2021年34期)2021-08-29 03:27:06
        藍谷: “涉藍”新引擎
        商周刊(2017年22期)2017-11-09 05:08:31
        古稀抒抒懷
        老友(2017年9期)2017-02-07 22:57:38
        欲多則歡少
        欲多則歡少
        無形的引擎
        河南電力(2015年5期)2015-06-08 06:01:46
        基于Cocos2d引擎的PuzzleGame開發(fā)
        “團隊計酬”式傳銷的前世今生
        犯罪研究(2014年2期)2015-01-31 18:57:34
        淺析成本加酬金合同模式下發(fā)包方的成本管理問題
        高職院校教學(xué)工作計酬模式初探
        少妇无套裸按摩呻吟无呜| 国产精品一区二区蜜臀av| 精品人体无码一区二区三区| 99re在线视频播放| 成年女人A级毛片免| 91中文人妻丝袜乱一区三区| 中文乱码字幕在线中文乱码 | 视频一区中文字幕日韩| 熟妇人妻精品一区二区视频| 亚洲精品国产精品乱码视色| 日本真人边吃奶边做爽电影| 夜夜揉揉日日人人青青| 99久久精品费精品国产一区二区| 久久久久国色av∨免费看| 免费 无码 国产在线观看不卡| 国产裸体AV久无码无遮挡| 一区二区三区视频免费观看在线 | 成人激情视频在线手机观看| 亚洲在线视频免费视频| 久久精品中文闷骚内射| 日本无码人妻波多野结衣| 曰本女人与公拘交酡免费视频| 精品视频999| 无码专区亚洲avl| 男女后入式在线观看视频| 美女国产毛片a区内射| 国产熟妇另类久久久久| 亚洲国产av导航第一福利网| 狠狠狠色丁香婷婷综合激情| 亚洲无码毛片免费视频在线观看 | 国产精品国产三级国av在线观看 | 久久精品人妻嫩草av蜜桃| 国产丝袜美腿在线视频| 婷婷精品国产亚洲av麻豆不片| 99久久精品费精品国产一区二| 日本又黄又爽gif动态图| 青草青草伊人精品视频| 亚洲图文一区二区三区四区| 精品国产亚洲第一区二区三区| 无码人妻久久一区二区三区蜜桃| 好看的欧美熟妇www在线|