亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        Hadoop技術(shù)在聯(lián)機(jī)采集系統(tǒng)改造中的應(yīng)用研究

        2015-05-30 18:13:47葉進(jìn)
        中國新通信 2015年7期
        關(guān)鍵詞:系統(tǒng)

        【摘要】 本文論述主要是圍繞湖北電信聯(lián)機(jī)采集系統(tǒng)直采改造項目的應(yīng)用展開,其中Hadoop系統(tǒng)技術(shù)作為關(guān)鍵技術(shù)提出并進(jìn)行重點分析,不僅僅是本文的一個特色,也在改造后的聯(lián)機(jī)采集系統(tǒng)運行中發(fā)揮了重大的作用。

        【關(guān)鍵詞】 聯(lián)機(jī)采集 Hadoop

        一、聯(lián)機(jī)計費采集系統(tǒng)發(fā)展趨勢介紹

        隨著湖北電信業(yè)務(wù)的不斷發(fā)展和管理水平的提高,聯(lián)機(jī)采集系統(tǒng)呈現(xiàn)了從本地網(wǎng)聯(lián)機(jī)計費采集模式,向全省集中聯(lián)機(jī)采集模式的發(fā)展趨勢。聯(lián)機(jī)采集系統(tǒng)正逐漸從交換機(jī)前置采集,本地網(wǎng)匯聚,省中心上傳三級模式,發(fā)展到全省集中采集的一級半模式?!耙患壈肽J健本褪菍τ诰邆淇梢灾苯硬杉慕粨Q機(jī),實施省中心直接一級采集,對于不具備條件的交換機(jī),可以保留前置采集機(jī),實現(xiàn)省中心的二次采集,兩種模式的混合可以成為“一級半模式”。

        二、關(guān)于湖北電信聯(lián)機(jī)采集系統(tǒng)直采改造的需求分析

        目前以湖北電信聯(lián)機(jī)采集系統(tǒng)建設(shè)為例,聯(lián)采系統(tǒng)完全根據(jù)中國電信集團(tuán)公司《本地網(wǎng)聯(lián)集計費采集技術(shù)規(guī)范》[1]的要求,采用各本地網(wǎng)集中、全省分散的混合組網(wǎng)模式,也就是計費數(shù)據(jù)先匯聚到本地網(wǎng),再上傳至省中心。隨著網(wǎng)絡(luò)條件的飛躍以及技術(shù)能力的發(fā)展,上述架構(gòu)中計費數(shù)據(jù)需要采集經(jīng)過的環(huán)節(jié)較多。計費數(shù)據(jù)從交換機(jī)到帳務(wù)主機(jī)的采集過程時間較長,無法滿足計費的實時性要求,系統(tǒng)提速的需求比較迫切。根據(jù)上述分析,聯(lián)采系統(tǒng)云平臺建設(shè)的目標(biāo)如下:全省集中采集,將原來的二級架構(gòu)[2]改造為全省一級架構(gòu),節(jié)省維護(hù)成本;提高采集實時性,將采集頻率由原來的15分鐘提高到5分鐘;增強(qiáng)管理能力,包括業(yè)務(wù)性能實時監(jiān)控、Flex告警面板、WebReport網(wǎng)頁報表等重要管理功能。

        三、集中模式和云計算系統(tǒng)對于解決聯(lián)采系統(tǒng)改造問題的幫助

        目前以湖北電信為例,其全省的網(wǎng)關(guān)、NGN交換機(jī)采用二級架構(gòu):網(wǎng)關(guān)交換機(jī)采用各本地網(wǎng)集中采集,再上傳至省計費集中處理;NGN交換機(jī)采用各本地網(wǎng)集中,再上傳至省計費集中處理。全省集中后的一級架構(gòu)中,聯(lián)采系統(tǒng)通過3個環(huán)節(jié)完成計費采集,大大提高業(yè)務(wù)效率。具體流程如下:云采集平臺采集文件;云采集平臺校驗&存儲;生成數(shù)據(jù)分發(fā)索引&目錄。由于系統(tǒng)改造中采集加速的目標(biāo)要求,系統(tǒng)處理能力面臨三重挑戰(zhàn),云平臺是超強(qiáng)性能的最佳選擇,有效提升系統(tǒng)處理能力。

        四、云平臺—Hadoop系統(tǒng)技術(shù)介紹

        1、Hadoop系統(tǒng)是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。其中,HDFS是一個分布式文件系統(tǒng)(Hadoop Distributed File System),有著高容錯性的特點,并且設(shè)計用來部署在低廉的硬件上。MapReduce是一個分布式計算模型。與分布式文件系統(tǒng)相結(jié)合,它可以為程序員提供一個定義良好的用于描述計算任務(wù)的 API,從而幫助他們簡化并行化問題的任務(wù)。MapReduce將應(yīng)用程序的工作分解成很多小的工作小塊。HDFS為了做到可靠性創(chuàng)建了多份數(shù)據(jù)塊的復(fù)制,并將它們放置在服務(wù)器群的計算節(jié)點中,MapReduce就可以在它們所在的節(jié)點上處理這些數(shù)據(jù)了。

        2、Hadoop系統(tǒng)主要特點:能可靠地(reliably)存儲和處理千兆字節(jié)(PB)數(shù)據(jù)??梢酝ㄟ^普通機(jī)器組成的服務(wù)器群來分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計可達(dá)數(shù)千個節(jié)點。通過分發(fā)數(shù)據(jù),hadoop可以在數(shù)據(jù)所在的節(jié)點上并行地(parallel)處理它們,這使得處理非常的快速。hadoop能自動地維護(hù)數(shù)據(jù)的多份復(fù)制,并且在任務(wù)失敗后能自動地重新部署(redeploy)計算任務(wù)。

        五、集中式云平臺聯(lián)機(jī)計費采集系統(tǒng)特點介紹

        1、分發(fā)存儲并行。云采集平臺采用多主機(jī)的模式,可以在數(shù)十臺數(shù)據(jù)節(jié)點上,配置高達(dá)數(shù)百G的ramdisk用于緩存數(shù)據(jù);同時云計算采用作業(yè)均衡調(diào)度機(jī)制,可以動態(tài)檢查ramdisk的使用情況,然后再進(jìn)行作業(yè)分配;系統(tǒng)采用完整的稽查機(jī)制,可以保證計費文件100%準(zhǔn)確地采集以及分發(fā)。

        2、有效解決磁盤I/O瓶頸。全省集中采集模式,所有近百個節(jié)點的數(shù)據(jù)需要集中存儲,而且并發(fā)訪問,將導(dǎo)致磁盤訪問瓶頸。云平臺利用HDFS技術(shù),實現(xiàn)多節(jié)點分散存儲模式,每塊磁盤保證獨立訪問,從而避免了磁盤I/O瓶頸,同時整個系統(tǒng)的I/O帶寬擴(kuò)展到數(shù)十G。

        六、聯(lián)采系統(tǒng)改造順應(yīng)發(fā)展需求

        1、 符合業(yè)務(wù)發(fā)展的需求。聯(lián)機(jī)采集云計算平臺采用業(yè)務(wù)動態(tài)加載模式,同時提供強(qiáng)大的并行計算能力,可以滿足電信業(yè)務(wù)不斷發(fā)展的需求。2、 符合技術(shù)發(fā)展的需求。聯(lián)機(jī)采集云計算平臺符合云技術(shù)的發(fā)展趨勢和層次定義。3、 符合節(jié)能減排的需求。以湖北省為例,采用聯(lián)機(jī)采集云計算平臺可以節(jié)省77臺設(shè)備,節(jié)省能耗高達(dá)80%,完全符合國家倡導(dǎo)節(jié)能減排目標(biāo)。4、 符合電信投資策略的需求。采用聯(lián)機(jī)采集云計算平臺可以獲得低價格/高性能的性價比。

        結(jié)束語:湖北電信通過對聯(lián)機(jī)計費采集系統(tǒng)的升級改造,特別是采用集中模式和云計算平臺等技術(shù),能夠充分提升系統(tǒng)性能,加快電信業(yè)務(wù)處理能力,滿足用戶及時了解自身費用情況的服務(wù)需求,從而有針對性的提高服務(wù)質(zhì)量,提高企業(yè)核心競爭力。

        簡介:葉進(jìn),男,1976年9月出生,1998年6月畢業(yè)于中南民族學(xué)院,工程碩士,現(xiàn)就職于湖北電信公司業(yè)務(wù)支撐中心,工程師

        通信地址:武漢市江漢區(qū)常青路158號湖北省電信公司業(yè)務(wù)支撐中心,主要研究方向是電信企業(yè)計費系統(tǒng)的解決方案、應(yīng)用等。 聯(lián)系電話:18907181367

        參 考 文 獻(xiàn)

        [1]中國電信運維[2000]5號文件

        [2]中國電信網(wǎng)絡(luò)[2001]164號文參考文獻(xiàn)

        猜你喜歡
        系統(tǒng)
        Smartflower POP 一體式光伏系統(tǒng)
        WJ-700無人機(jī)系統(tǒng)
        ZC系列無人機(jī)遙感系統(tǒng)
        北京測繪(2020年12期)2020-12-29 01:33:58
        基于PowerPC+FPGA顯示系統(tǒng)
        基于UG的發(fā)射箱自動化虛擬裝配系統(tǒng)開發(fā)
        半沸制皂系統(tǒng)(下)
        FAO系統(tǒng)特有功能分析及互聯(lián)互通探討
        連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
        一德系統(tǒng) 德行天下
        PLC在多段調(diào)速系統(tǒng)中的應(yīng)用
        亚洲va欧美va人人爽夜夜嗨| 欧美人妻aⅴ中文字幕| 全免费a级毛片免费看网站| 亚洲欧洲日产国码无码AV一| 青青草手机成人自拍视频| 视频在线观看免费一区二区| 狠狠色狠狠色综合| 国产精品搭讪系列在线观看| 亚洲日本一区二区在线观看 | 免费观看性欧美大片无片| 国产精品久久久久尤物| 亚洲一区二区三区视频免费| 级毛片内射视频| 欧美精品中文字幕亚洲专区| 日本韩国一区二区三区| 亚洲国产综合精品中文 | 成年女人色毛片| 精品十八禁免费观看| 亚洲视频在线中文字幕乱码| 人妻少妇中文字幕在线| 天天做天天爱天天爽综合网| 成 人 网 站 在线 看 免费| 有码视频一区二区三区| 午夜精品射精入后重之免费观看| 中文在线а√天堂官网| 国产精品视频免费一区二区三区| 人妻中文字幕在线中文字幕| 精品无码日韩一区二区三区不卡| 思思99热| 久久伊人精品中文字幕有| 色欲aⅴ亚洲情无码av| 亚洲综合性色一区| 午夜精品一区二区三区视频免费看| 国产无套内射又大又猛又粗又爽| 中文字幕无码不卡一区二区三区| 精品国产午夜久久久久九九| 国产精品自产拍在线18禁| 我爱我色成人网| 亚洲不卡无码高清视频| 丝袜美腿一区在线观看| 国产超碰人人做人人爽av大片 |