亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于大數(shù)據(jù)的統(tǒng)計分析模型設(shè)計

        2016-05-14 15:49:00劉棟王黎峰張懷鋒
        軟件導(dǎo)刊 2016年7期
        關(guān)鍵詞:統(tǒng)計數(shù)據(jù)挖掘大數(shù)據(jù)

        劉棟 王黎峰 張懷鋒

        摘要:統(tǒng)計是利用盡可能少的局部樣本數(shù)據(jù)來發(fā)現(xiàn)總體規(guī)律,處理對象往往數(shù)據(jù)規(guī)模小且數(shù)據(jù)結(jié)構(gòu)單一。在大數(shù)據(jù)環(huán)境下,面臨海量數(shù)據(jù)的采集與統(tǒng)計,傳統(tǒng)方法已無法滿足大規(guī)模數(shù)據(jù)集處理。基于Hadoop系統(tǒng),利用其分布式存儲和并行處理機制,設(shè)計了大數(shù)據(jù)環(huán)境下的統(tǒng)計分析模型,從海量數(shù)據(jù)中提取出有用的信息特征,實現(xiàn)數(shù)據(jù)資源共享,為相關(guān)部門決策提供信息服務(wù)。

        關(guān)鍵詞關(guān)鍵詞:統(tǒng)計;大數(shù)據(jù);數(shù)據(jù)挖掘;Hadoop

        DOIDOI:10.11907/rjdk.161843

        中圖分類號:TP302文獻標識碼:A文章編號文章編號:16727800(2016)007002802

        基金項目基金項目:山東省統(tǒng)計科研重點項目(KT15217);2015年山東省高??萍加媱澷Y助項目(J15LN15)

        0引言

        隨著統(tǒng)計數(shù)據(jù)規(guī)模的快速增長,數(shù)據(jù)特征日趨復(fù)雜,數(shù)據(jù)收集渠道多樣,統(tǒng)計學(xué)相關(guān)領(lǐng)域研究已進入大數(shù)據(jù)時代。如何高效收集樣本數(shù)據(jù)、挖掘信息,從海量數(shù)據(jù)中提取有用的信息特征,將信息及時提供給相關(guān)部門決策,成為當前統(tǒng)計學(xué)研究熱點之一。與國外相比,我國在統(tǒng)計分析工作中存在信息資源整合程度不高、數(shù)據(jù)共享匱乏、信息不完整等問題。隨著大數(shù)據(jù)時代的到來,對大數(shù)據(jù)分析與挖掘的研究和應(yīng)用越來越重視,大數(shù)據(jù)的挖掘與分析將幫助統(tǒng)計部門在有效合理的時間內(nèi)采集、處理、管理與分析海量數(shù)據(jù)。

        目前政府部門間借助政務(wù)平臺可以實現(xiàn)數(shù)據(jù)資源共享,但是企業(yè)與政府間缺乏數(shù)據(jù)的分享平臺,造成了信息隔離,對此,統(tǒng)計部門要構(gòu)建起全方位的海量數(shù)據(jù)共享和分布式存儲的安全統(tǒng)計分析平臺,實現(xiàn)跨地區(qū)的統(tǒng)計信息交流,滿足海量信息數(shù)據(jù)的實時分享和處理。

        1大數(shù)據(jù)

        大數(shù)據(jù)是一種大規(guī)模的數(shù)據(jù)集合,數(shù)據(jù)分析人員無法在一定時間內(nèi)用一般軟件對其進行提取、處理、分析和管理。處理大數(shù)據(jù)的關(guān)鍵技術(shù)包括大規(guī)模數(shù)據(jù)集的并行處理技術(shù)、分布式數(shù)據(jù)庫、分布式文件存儲與處理系統(tǒng)、數(shù)據(jù)挖掘、云計算等。大數(shù)據(jù)具有5V特點:Volume(體量浩大)、Variety(類型多樣)、Velocity(生成快速)、Veracity(真實性高)、Value(價值巨大)。

        1.1云計算

        云計算(Cloud Computing)是傳統(tǒng)信息技術(shù)發(fā)展融合的產(chǎn)物,基于效用計算(Utility Computing)、并行計算(Parallel Computing)、分布式計算(Distributed Computing),它提供便捷的、可用的、按需付費的網(wǎng)絡(luò)訪問。云計算平臺可以提供IaaS(基礎(chǔ)設(shè)施即服務(wù))、PaaS(平臺即服務(wù))、SaaS(軟件即服務(wù)),同時負責數(shù)據(jù)安全、分布式網(wǎng)絡(luò)存儲、虛擬化、負載均衡、熱備份冗余等,用戶在使用資源時不需考慮底層基礎(chǔ)架構(gòu)。

        大數(shù)據(jù)應(yīng)用不在于掌握龐大的數(shù)據(jù)信息,而在于對獲取的數(shù)據(jù)進行專業(yè)化處理,以挖掘出數(shù)據(jù)的價值。大數(shù)據(jù)處理任務(wù)無法用單機串行計算方式處理,必須采用分布式架構(gòu)進行計算。其特點在于依托云計算的分布式處理、云存儲、分布式數(shù)據(jù)庫和虛擬化技術(shù)對海量數(shù)據(jù)進行挖掘。

        1.2大數(shù)據(jù)處理技術(shù)

        1.2.1大數(shù)據(jù)研究現(xiàn)狀

        Science、Nature等國際頂級學(xué)術(shù)期刊出??接懥舜髷?shù)據(jù)處理與分析研究,介紹海量數(shù)據(jù)給社會生產(chǎn)和人們生活帶來的挑戰(zhàn)和機遇,學(xué)者們斷言:“數(shù)據(jù)將是未來舉足輕重的資源。在應(yīng)用方面,目前已有很多企業(yè)開始做大數(shù)據(jù)處理的相關(guān)研究,IBM、谷歌、雅虎、亞馬遜等公司紛紛提出自己的大數(shù)據(jù)處理架構(gòu)和計算模式。谷歌首先提出了分布式存儲系統(tǒng)GFS文件系統(tǒng)、大型分布式數(shù)據(jù)庫BigTable。2012年美國政府斥資2億美元啟動了大數(shù)據(jù)研究和發(fā)展計劃,大力發(fā)展數(shù)據(jù)信息化基礎(chǔ)設(shè)施建設(shè)。

        1.2.2大數(shù)據(jù)處理關(guān)鍵技術(shù)

        處理和分析大數(shù)據(jù)的關(guān)鍵在于具備分布式存儲功能和強大的計算能力,數(shù)據(jù)處理的基礎(chǔ)在于數(shù)據(jù)存儲,數(shù)據(jù)分析的關(guān)鍵在于強勁的處理能力。Hadoop是一個可擴展、可靠、開源的分布式計算系統(tǒng),該框架能夠?qū)崿F(xiàn)在計算機集群中用簡單的計算模式處理海量數(shù)據(jù),同依賴高性能服務(wù)器相比,Hadoop擴展性較好,同時集群中的節(jié)點都可以提供本地存儲和計算。

        1.3基于大數(shù)據(jù)的統(tǒng)計分析研究

        統(tǒng)計是一項數(shù)據(jù)處理工程,面對大數(shù)據(jù)集的處理,統(tǒng)計樣本變大、數(shù)據(jù)特征復(fù)雜等使得統(tǒng)計工作也變得繁瑣,而數(shù)據(jù)挖掘是從大量數(shù)據(jù)中取得有用信息的過程,利用現(xiàn)代信息技術(shù)及挖掘算法,可以高效地對有用數(shù)據(jù)獲取與處理。不妨將數(shù)據(jù)挖掘理解為一個大數(shù)據(jù)狀態(tài)下精確處理數(shù)據(jù)的統(tǒng)計模型,對挖掘后的數(shù)據(jù)再引入統(tǒng)計學(xué)的思想進行相關(guān)數(shù)據(jù)處理與分析,將兩種方法有機結(jié)合起來。

        圖1大數(shù)據(jù)環(huán)境下的統(tǒng)計工作基礎(chǔ)架構(gòu) Hadoop為統(tǒng)計分析工作提供了一個穩(wěn)定可靠的分析系統(tǒng)和共享存儲,它包含兩個核心技術(shù):MapReduce和HDFS。MapReduce實現(xiàn)數(shù)據(jù)的處理和分析,HDFS負責數(shù)據(jù)的共享存儲。如圖1所示,大數(shù)據(jù)環(huán)境下,統(tǒng)計工作的基本架構(gòu)包含數(shù)據(jù)采集中心和統(tǒng)計分析處理中心。數(shù)據(jù)采集中心主要是通過部署在云計算環(huán)境下的服務(wù)器集群去完成數(shù)據(jù)采集工作,數(shù)據(jù)主要存放在HDFS分布式數(shù)據(jù)庫中;統(tǒng)計管理部門設(shè)立總的服務(wù)器集群,為保證系統(tǒng)的可擴展性,還可以將基層的服務(wù)器隨時納入該集群中,利用MapReduce機制分配和處理計算任務(wù);統(tǒng)計分析處理中心主要是智能算法池,通過算法的應(yīng)用對采集到的數(shù)據(jù)進行分析。

        2基于Hadoop的大數(shù)據(jù)統(tǒng)計分析模型構(gòu)建

        大數(shù)據(jù)環(huán)境下的統(tǒng)計分析系統(tǒng)以海量數(shù)據(jù)挖掘為基礎(chǔ),傳統(tǒng)的統(tǒng)計分析系統(tǒng)采用定期對數(shù)據(jù)進行處理和分析的方式來更新模型。由于是定期被動更新,模型無法保持實時性,容易造成統(tǒng)計結(jié)果不連續(xù)。

        系統(tǒng)的設(shè)計關(guān)鍵在于海量數(shù)據(jù)的實時采集獲取、統(tǒng)計分析處理和存儲,目的在于實現(xiàn)統(tǒng)計信息資源的共享?;贖adoop的層次化統(tǒng)計分析模型如圖2所示,自上而下包括云平臺應(yīng)用層、邏輯與接口層、計算層、文件系統(tǒng)管理層、物理資源層。

        圖2基于Hadoop的層次化統(tǒng)計分析模型 物理資源層:負責管理平臺的基礎(chǔ)設(shè)施,為平臺提供物理設(shè)施,除包含分布式集群、數(shù)據(jù)采集終端、基礎(chǔ)網(wǎng)絡(luò)外,還包括圍繞應(yīng)用相關(guān)的基礎(chǔ)組件。

        文件系統(tǒng)管理層:主要用于存儲數(shù)據(jù)文件和日志文件,同時具備高可用數(shù)據(jù)備份功能。該層主要采用HDFS分布式存儲,提供很強的數(shù)據(jù)吞吐能力。針對不同的數(shù)據(jù)統(tǒng)計終端,該層設(shè)計使用不同的操作系統(tǒng),以便于數(shù)據(jù)的統(tǒng)一性。

        計算層是該統(tǒng)計模型的核心層,所有的運算機制和數(shù)據(jù)處理任務(wù)都在該層完成。其基礎(chǔ)框架是基于Hadoop MapReduce并行計算框架,采用對數(shù)據(jù) “分而治之”的方法來完成并行化的大數(shù)據(jù)統(tǒng)計分析工作,用Map和Reduce函數(shù)提供兩個高層的并行編程抽象模型和接口,工作人員只需要實現(xiàn)這兩個基本接口即可快速完成并行化數(shù)據(jù)處理程序設(shè)計。此外該層還包含了Hadoop平臺的流數(shù)據(jù)處理storm和實時處理spark,用于對數(shù)據(jù)源的實時分析處理和更新,以滿足統(tǒng)計部門的高效快速響應(yīng)要求。

        邏輯與接口層:該層主要功能是實現(xiàn)上層應(yīng)用層的基礎(chǔ)管理功能,主要包含用戶管理、安全身份認證、統(tǒng)計任務(wù)的分配以及連接各地統(tǒng)計部門的接口等,該層還負責整體功能的性能監(jiān)控。

        猜你喜歡
        統(tǒng)計數(shù)據(jù)挖掘大數(shù)據(jù)
        探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢
        基于并行計算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
        電力與能源(2017年6期)2017-05-14 06:19:37
        2008—2015我國健美操科研論文的統(tǒng)計與分析
        人間(2016年27期)2016-11-11 17:33:19
        山東省交通運輸投資計劃管理信息系統(tǒng)的設(shè)計
        我國居民收入與消費關(guān)系的統(tǒng)計分析
        市場經(jīng)濟背景下的會計統(tǒng)計發(fā)展探究
        商(2016年27期)2016-10-17 05:50:19
        基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
        科技視界(2016年20期)2016-09-29 10:53:22
        一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
        基于GPGPU的離散數(shù)據(jù)挖掘研究
        欧美一级视频在线| 中文字幕一区在线观看视频| 久久久久久久无码高潮| 国产91在线精品福利| 宅男天堂亚洲一区二区三区| 欧美激情乱人伦| 在线精品一区二区三区 | 亚洲国产精品无码专区在线观看| 亚洲一区av无码少妇电影| 国产v精品成人免费视频400条| 成人自拍三级在线观看| 奇米影视色777四色在线首页 | 国产精品女同一区二区免费站| 亚洲av永久精品爱情岛论坛| 国产亚洲欧美日韩综合综合二区| 人妻风韵犹存av中文字幕| 亚洲人成综合第一网站| 国产精品国产亚洲精品看不卡| 中文成人无码精品久久久不卡 | 最近亚洲精品中文字幕| 国产影片一区二区三区| 国产成人无码av一区二区| 伊人22综合| 国内激情一区二区视频| 亚洲av日韩专区在线观看| av免费网址在线观看| 人人妻人人澡人人爽久久av| 中字亚洲国产精品一区二区| 美女被内射很爽的视频网站| 成人一区二区免费中文字幕视频| 久久婷婷综合色丁香五月| 日韩精品首页在线观看| 麻豆视频在线播放观看| 国产性生大片免费观看性 | 久久精品国产www456c0m | 中文字幕人妻少妇精品| 免费a级毛片又大又粗又黑| 亚洲男人的天堂在线播放| 国产视频不卡在线| 久久这里都是精品99| 久久香蕉国产线熟妇人妻|