張德陽，王晶

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，北京 100876； 2 東信北郵信息技術(shù)有限公司，北京 100191)

一種安全性的海量數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)*

張德陽1，2，王晶1，2

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，北京 100876； 2 東信北郵信息技術(shù)有限公司，北京 100191)

提出了一種開放分布式海量數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)方案。該平臺(tái)以HDFS、Hive和HBase等作為底層數(shù)據(jù)存儲(chǔ)方式，以MapReduce、Spark和Storm等作為底層數(shù)據(jù)處理方式，向用戶提供了統(tǒng)一的接口，同時(shí)使用Kerberous進(jìn)行權(quán)限控制，保證了數(shù)據(jù)安全性。這種開放式的服務(wù)可使用戶可在不同平臺(tái)不同環(huán)境下簡單方便地完成海量數(shù)據(jù)處理任務(wù)。

Hadoop；分布式系統(tǒng)；海量數(shù)據(jù)；Kerberous；數(shù)據(jù)處理平臺(tái)

1 引言

目前，解決海量數(shù)據(jù)處理主要有兩種方法：一種是傳統(tǒng)的超級(jí)計(jì)算機(jī)處理方式，例如中國著名的天河貳號(hào)，美國的泰坦等超級(jí)計(jì)算機(jī)；另一種是構(gòu)建于相對(duì)低廉的計(jì)算機(jī)集群之上的云計(jì)算平臺(tái)，例如Google的GFS，中國阿里的阿里云以及Apache基金會(huì)所開發(fā)的Hadoop等。對(duì)于大多數(shù)公司和政府機(jī)構(gòu)來說，更愿意付出一定的資金以獲得海量數(shù)據(jù)資源的安全性和保密性，即采用Hadoop開源云計(jì)算框架開發(fā)私有云平臺(tái)。Hadoop可在廉價(jià)的集群之上實(shí)現(xiàn)具有高可靠性、高擴(kuò)展性和高容錯(cuò)性等特點(diǎn)的云計(jì)算平臺(tái)。此外，由于Hadoop是依賴于開源社區(qū)的，研發(fā)和升級(jí)等的成本非常低。但Hadoop在實(shí)際的使用中也存在著很多缺點(diǎn)。首先，Hadoop的開源給我們帶來便利的同時(shí)，也因?yàn)镠adoop commons貢獻(xiàn)者各不相同而帶來難以管理的困擾。另一方面，Hadoop的權(quán)限管理也存在著極大的缺陷，對(duì)局域網(wǎng)內(nèi)部的人員來說，數(shù)據(jù)的權(quán)限劃分很不清晰。

本文介紹了一種基于Hadoop的分布式海量數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)方案。首先闡述了數(shù)據(jù)處理平臺(tái)基本功能的構(gòu)建方案，包括分布式存儲(chǔ)與分布式計(jì)算的實(shí)現(xiàn)；然后介紹了系統(tǒng)的安全性保證措施，使用Kerberous和代理用戶訪問的方式解決鑒權(quán)問題；最后對(duì)該系統(tǒng)進(jìn)行了相關(guān)測(cè)試。

2 平臺(tái)總體設(shè)計(jì)

數(shù)據(jù)處理平臺(tái)系統(tǒng)架構(gòu)如圖1所示。分布式海量數(shù)據(jù)處理平臺(tái)基于Hadoop構(gòu)建，可以充分利用Hadoop系統(tǒng)低成本高效率的優(yōu)點(diǎn)，同時(shí)針對(duì)Hadoop權(quán)限控制方面的不足，在用戶與數(shù)據(jù)層之間添加了一層數(shù)據(jù)處理平臺(tái)。平臺(tái)對(duì)底層可做到數(shù)據(jù)的統(tǒng)一管理，計(jì)算資源的統(tǒng)一分配，對(duì)上可以實(shí)現(xiàn)統(tǒng)一的用戶操作接口，方便操作的同時(shí)保證了數(shù)據(jù)的安全性。

圖1 總體系統(tǒng)架構(gòu)圖

2.1 基本功能

數(shù)據(jù)處理平臺(tái)的基本功能包括分布式存儲(chǔ)和分布式計(jì)算。在該系統(tǒng)中，用戶的一切操作都基于項(xiàng)目空間，一個(gè)項(xiàng)目空間中包括與該項(xiàng)目有關(guān)的各種資源，包括數(shù)據(jù)，用戶代碼，用戶自定義算法，任務(wù)信息，項(xiàng)目空間信息以及其他用戶想存儲(chǔ)的一切信息等。對(duì)這些資源的操作就屬于分布式存儲(chǔ)功能。

2．1．1 分布式存儲(chǔ)

數(shù)據(jù)處理平臺(tái)的存儲(chǔ)使用了Hadoop底層存儲(chǔ)提供的3種方式：HDFS、HBase和Hive。3種存儲(chǔ)方式各有其特點(diǎn)，系統(tǒng)會(huì)根據(jù)用戶提交的數(shù)據(jù)為其推薦存儲(chǔ)方式，用戶也可以自己指定存儲(chǔ)方式。我們的選取規(guī)則為：對(duì)于一般文件，例如圖片、視頻、音樂或其他數(shù)據(jù)結(jié)構(gòu)不明顯的數(shù)據(jù)，將其存儲(chǔ)為HDFS文件方式；對(duì)于數(shù)據(jù)表結(jié)構(gòu)清晰，例如從MySql中導(dǎo)入的數(shù)據(jù)，且用戶對(duì)數(shù)據(jù)的隨機(jī)訪問需求不大時(shí)，將選擇Hive存儲(chǔ)方式；對(duì)于數(shù)據(jù)結(jié)構(gòu)清晰且用戶有頻繁的隨機(jī)訪問需求時(shí)，選擇HBase存儲(chǔ)方式。

海量數(shù)據(jù)處理平臺(tái)長，一切操作都是面向項(xiàng)目空間的，所以如何將Hadoop的存儲(chǔ)方式映射到項(xiàng)目空間中，是一個(gè)重點(diǎn)問題。本文設(shè)計(jì)的映射規(guī)則如表1所示。

表1 文件系統(tǒng)映射規(guī)則

映射規(guī)則對(duì)用戶完全透明，用戶對(duì)不同方式存儲(chǔ)的數(shù)據(jù)進(jìn)行訪問時(shí)將使用相同的命令，數(shù)據(jù)處理平臺(tái)會(huì)根據(jù)操作對(duì)象的不同自動(dòng)轉(zhuǎn)化為Hadoop識(shí)別的操作命令。例如，用戶1 000擁有一個(gè)ID為001的項(xiàng)目空間，該空間中有一個(gè)名為f1的文件和一個(gè)名為f2的文件，在用戶看來兩個(gè)文件完全相同，而實(shí)際上文件h1存儲(chǔ)方式為Hive表而f2存儲(chǔ)方式為HDFS，則在我們的底層存儲(chǔ)中，f1數(shù)據(jù)存儲(chǔ)在名為H001U1000這個(gè)Hive數(shù)據(jù)庫中名為f1的數(shù)據(jù)表中，f2文件存儲(chǔ)在名為F001U1000這個(gè)HDFS路徑下的名為f2的HDFS文件中。

2．1．2 分布式計(jì)算

分布式計(jì)算主要提供任務(wù)管理和算法管理兩個(gè)功能模塊。任務(wù)管理模塊主要負(fù)責(zé)用戶計(jì)算任務(wù)的管理，既包括用戶計(jì)算任務(wù)的定時(shí)執(zhí)行，循環(huán)執(zhí)行，立即開始，立即關(guān)閉等基本操作，也包括任務(wù)信息查詢，歷史查詢，匯總統(tǒng)計(jì)等信息查詢。

算法管理模塊主要用于集成基于Hadoop Yarn之上的計(jì)算框架，向用戶提供統(tǒng)一的接口。數(shù)據(jù)處理平臺(tái)原生支持Hadoop的計(jì)算框架，包括MapReduce、Spark和Storm等，同時(shí)我們也提供我們自己的編程接口。但是與直接在Hadoop上執(zhí)行任務(wù)略有不同。一方面，平臺(tái)的一切操作都是面向用戶空間的，所以用戶計(jì)算任務(wù)的輸入路徑輸出路徑都是相對(duì)于項(xiàng)目空間來說的，另一方面，因?yàn)镠adoop平臺(tái)上的不同計(jì)算框架運(yùn)行時(shí)需要大量的配置信息，這對(duì)用戶來說也是一種困擾，所以需要我們提供統(tǒng)一的任務(wù)執(zhí)行接口。這就是算法管理模塊的主要工作。

2.2 安全性保證

Hadoop自身的權(quán)限管理存在一定的安全隱患。Hadoop分布式文件系統(tǒng)實(shí)現(xiàn)了一個(gè)和POSIX系統(tǒng)類似的文件和目錄的權(quán)限模型。每個(gè)文件和目錄有一個(gè)所有者（owner）和一個(gè)組（group）。文件或目錄對(duì)其所有者、同組的其他用戶以及所有其他用戶分別有著不同的權(quán)限。在當(dāng)前版本的Hadoop中，客戶端用戶身份是通過宿主操作系統(tǒng)給出。對(duì)類Unix系統(tǒng)來說，用戶名等于`whoami`；對(duì)于Windos用戶來說，用戶名就是Windos當(dāng)前用戶名，HDFS并不提供創(chuàng)建用戶身份、創(chuàng)建組或處理用戶憑證等功能。

由此可見，Hadoop文件系統(tǒng)目前至少存在兩個(gè)問題：一是每個(gè)文件只有兩類權(quán)限，owner和group，其中owner還是單用戶，無法滿足開發(fā)需求。例如，對(duì)于某個(gè)文件，我們有2個(gè)用戶只需要寫權(quán)限，另外2個(gè)用戶只需要讀權(quán)限，則HDFS就無法滿足這個(gè)需求了。二是缺少用戶認(rèn)證機(jī)制，這意味著我們只要將自己個(gè)人電腦的用戶名設(shè)置為他人的，你就可以獲得他人的一切HDFS訪問權(quán)限。

針對(duì)這兩個(gè)問題，我們提出了Kerberos認(rèn)證和代理用戶訪問相配合的安全性保證措施。Kerberos 是一種網(wǎng)絡(luò)認(rèn)證協(xié)議，其設(shè)計(jì)目標(biāo)是通過密鑰系統(tǒng)為客戶機(jī)，服務(wù)器應(yīng)用程序提供強(qiáng)大的認(rèn)證服務(wù)。代理用戶訪問則很好的分離了用戶操作系統(tǒng)和HDFS。具體措施是，對(duì)于每一個(gè)分布式處理平臺(tái)上的文件，創(chuàng)建兩個(gè)跟用戶無關(guān)的代理用戶，這兩個(gè)代理用戶分別充當(dāng)owner和group的角色。在用戶提出HDFS訪問需求時(shí)，為其賦予其中一個(gè)代理用戶的身份，用戶持有代理用戶的Kerberos憑證來進(jìn)行數(shù)據(jù)訪問。該過程對(duì)用戶來說是完全透明的，用戶無法知道任何文件的訪問權(quán)限，也無法得到Kerberos憑證，實(shí)現(xiàn)了分布式處理平臺(tái)的安全性保證。

3 系統(tǒng)測(cè)試

我們從運(yùn)行效率和簡便性兩方面對(duì)本文的海量數(shù)據(jù)處理平臺(tái)進(jìn)行測(cè)試。準(zhǔn)確性是為了驗(yàn)證該平臺(tái)能實(shí)現(xiàn)基本的功能，且不會(huì)因?yàn)樵谟脩艉偷讓又g增加了一層而影響到系統(tǒng)的效率。簡便性則是對(duì)系統(tǒng)的使用進(jìn)行測(cè)試，以保證該系統(tǒng)確實(shí)能達(dá)到簡化用戶操作的目的。

實(shí)驗(yàn)環(huán)境為14臺(tái)Linux機(jī)器搭建的Hadoop2.3.0版本的集群。機(jī)器配置均為4G內(nèi)存，CPU主頻3.0 MHz，硬盤空間3TB。

3.1 運(yùn)行效率

我們選取了幾組數(shù)據(jù)測(cè)試集，做了兩組測(cè)試。一組測(cè)試為直接在Hadoop集群上進(jìn)行數(shù)據(jù)操作，另一組為在分布式數(shù)據(jù)處理平臺(tái)上進(jìn)行數(shù)據(jù)操作，進(jìn)行多組并計(jì)算平均值，得到的結(jié)果如圖2所示。

圖2 運(yùn)行時(shí)間測(cè)試

由圖2中數(shù)據(jù)可知，在數(shù)據(jù)量較低時(shí)，數(shù)據(jù)處理平臺(tái)的效率確實(shí)不如純Hadoop集群，但是差別很?。?0 s以內(nèi)），這個(gè)時(shí)間主要消耗在數(shù)據(jù)尋址和代理用戶權(quán)限分配上，且這個(gè)時(shí)間不會(huì)隨著數(shù)據(jù)量的增大而變化，因此在數(shù)據(jù)量較大時(shí)，兩者的運(yùn)行效率幾乎一樣。

由于我們的實(shí)驗(yàn)條件所限，并沒有對(duì)更大規(guī)模的數(shù)據(jù)進(jìn)行測(cè)試，但由理論分析可知，影響效率的因素與數(shù)據(jù)量大小是無關(guān)的。由此可以證明，我們的數(shù)據(jù)處理平臺(tái)的效率是滿足需求的。

3.2 易操作性

數(shù)據(jù)處理平臺(tái)為用戶提供了統(tǒng)一的Hadoop操作接口，這意味著用戶可以用相同的操作命令操作HBase、Hive和HDFS上的數(shù)據(jù)，大大降低了用戶的學(xué)習(xí)成本，提高了工作效率。下面我們對(duì)相關(guān)的操作進(jìn)行統(tǒng)計(jì)對(duì)比，得到的結(jié)果如表2所示。

表2 命令行操作測(cè)試

在分布式數(shù)據(jù)處理平臺(tái)中，由于將HDFS、Hadoop和Hive進(jìn)行了統(tǒng)一的封裝，方便了用戶的使用，在很大程度上解決了Hadoop組件繁多且命令操作方式不統(tǒng)一的缺陷。

4 結(jié)束語

目前，海量數(shù)據(jù)處理成為越來越普遍的需求，但目前的大數(shù)據(jù)解決方案均存在一定的缺陷。實(shí)現(xiàn)了安全性保證。最后的測(cè)試證明，本文提出的基于Hadoop的海量數(shù)據(jù)處理平臺(tái)既保證了數(shù)據(jù)處理的高效率，又極大的簡化了操作方式，同時(shí)提供了完善的安全性保證措施。但由于我們的測(cè)試條件有限，無法對(duì)P級(jí)的數(shù)據(jù)進(jìn)行測(cè)試，在此僅從理論上證明了其可行性。

[1] T Herawan， N Khan， A． Noraziah， E I． Ismail， M M Deris． Cloud Computing： Analysis of Various Platforms[J]． International Journal of E-Entrepreneurship and Innovation (IJEEI)． 2012(2)．

[2] V Ravi． Cloud Computing Paradigm for Indian Education Sector[J]．International Journal of Cloud Applications and Computing (IJCAC)．2012(2)．

[3] XU Zhiwei， YAN Bo， ZOU Yongqiang． Beyond Hadoop： Recent Directions in Data Computing for Internet Services[J]． International Journal of Cloud Applications and Computing (IJCAC)． 2011(1)．

[4] 鄒復(fù)民， 蔣新華， 胡惠淳， 朱銓， 莊孝昆． 云計(jì)算研究與應(yīng)用現(xiàn)狀綜述[J]． 福建工程學(xué)院學(xué)報(bào)， 2013(03)．

[5] 李冰． 云計(jì)算環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)研究[D]． 北京郵電大學(xué)， 2012．

[6] 欒亞建， 黃民， 龔高晟， 趙鐵柱． Hadoop平臺(tái)的性能優(yōu)化研究[J]． 計(jì)算機(jī)工程， 2010(14)．

[7] 孟小峰， 慈祥． 大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J]． 計(jì)算機(jī)研究與發(fā)展， 2013(01)．

[8] 陳康， 鄭緯民． 云計(jì)算：系統(tǒng)實(shí)例與研究現(xiàn)狀[J]． 軟件學(xué)報(bào)，2009(05)．

[9] 楊帆， 沈奇威． 分布式系統(tǒng)Hadoop平臺(tái)的視頻轉(zhuǎn)碼[J]． 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2011(11)．

[10] 朱珠． 基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D]． 北京郵電大學(xué)，2008．

我國重點(diǎn)參與的云計(jì)算國際標(biāo)準(zhǔn)正式發(fā)布

近日，由中國等國家成員體推動(dòng)立項(xiàng)并重點(diǎn)參與的兩項(xiàng)云計(jì)算國際標(biāo)準(zhǔn)正式發(fā)布，這標(biāo)志著云計(jì)算國際標(biāo)準(zhǔn)化工作進(jìn)入了一個(gè)新階段。

這是國際標(biāo)準(zhǔn)化組織（ISO）、國際電工委員會(huì)（IEC）與國際電信聯(lián)盟（ITU）三大國際標(biāo)準(zhǔn)化組織首次在云計(jì)算領(lǐng)域聯(lián)合制定標(biāo)準(zhǔn)，由ISO/IEC JTC1與ITU-T組成的聯(lián)合項(xiàng)目組共同研究制定。

這兩項(xiàng)云計(jì)算國際標(biāo)準(zhǔn)，規(guī)范了云計(jì)算的基本概念和常用詞匯，從使用者角度和功能角度闡述了云計(jì)算參考架構(gòu)，不僅為云服務(wù)提供者和開發(fā)者搭建了基本的功能參考模型，也為云服務(wù)的評(píng)估和審計(jì)人員提供了相關(guān)指南，有助于實(shí)現(xiàn)對(duì)云計(jì)算的統(tǒng)一認(rèn)識(shí)。

聯(lián)通電信發(fā)力：LTE混合組網(wǎng)實(shí)驗(yàn)將新增237個(gè)城市

之前，電信、聯(lián)通均宣布第二批TDLTE/LTE FDD混合組網(wǎng)4G實(shí)驗(yàn)城市名單，增至24個(gè)。如今，電信、聯(lián)通還要繼續(xù)發(fā)力，即將把實(shí)驗(yàn)城市增加237個(gè)，加上第一批的16個(gè)城市，第二批的24個(gè)城市，總計(jì)達(dá)到277個(gè)城市。

科技部高度重視5G發(fā)展：863計(jì)劃相關(guān)投入已超3億元

在日前召開的“2014未來5G信息通信技術(shù)國際研討會(huì)”上，科技部副部長曹建林表示，我國政府十分重視5G的發(fā)展?？萍疾恳呀?jīng)投入了約三億元人民幣，先期啟動(dòng)了國家863計(jì)劃第五代移動(dòng)通信系統(tǒng)重大研發(fā)項(xiàng)目，吸引了50多家研發(fā)企業(yè)、研究所、大學(xué)共同參與，也包括愛立信、三星等國際性廠商。

2014新一代寬帶無線移動(dòng)通信發(fā)展論壇在京召開

由工業(yè)和信息化部電信研究院主辦的“2014新一代寬帶無線移動(dòng)通信發(fā)展論壇”日前在北京萬壽賓館舉辦。本次論壇以“4G網(wǎng)絡(luò)融合與創(chuàng)新發(fā)展”為主題，圍繞加快實(shí)施寬帶中國戰(zhàn)略、促進(jìn)TD-LTE和FDD LTE融合發(fā)展、推動(dòng)4G創(chuàng)新和5G的研發(fā)等內(nèi)容，從技術(shù)創(chuàng)新、產(chǎn)業(yè)政策、網(wǎng)絡(luò)部署、行業(yè)應(yīng)用和運(yùn)營管理等角度展開了深入探討和交流。

工信部通信發(fā)展司司長聞庫在發(fā)言時(shí)介紹，LTE融合組網(wǎng)趨勢(shì)逐漸顯現(xiàn)，TD-LTE和FDD的差距大幅度縮小。2014年9月，全球TD-LTE用戶達(dá)到5700萬，中國以外大概有1 400萬。除了亞非拉以外，TD-LTE也已進(jìn)入美國、日本、澳大利亞等發(fā)達(dá)國家市場(chǎng)。到2014年9月底，全球發(fā)布LTE終端2218款，其中TD-LTE終端占比增長非常高，達(dá)到了30%。聞庫還表示，移動(dòng)通信產(chǎn)業(yè)研發(fā)重心正向4G轉(zhuǎn)移。從技術(shù)演進(jìn)及網(wǎng)絡(luò)投資而言，LTE成為以數(shù)據(jù)流量為主業(yè)務(wù)的性價(jià)比最高的技術(shù)路線，行業(yè)中心也正逐漸向4G轉(zhuǎn)移，進(jìn)而催熟產(chǎn)業(yè)鏈。

工信部總工張峰表示，近年來，我國寬帶無線移動(dòng)通信保持快速的發(fā)展態(tài)勢(shì)，核心業(yè)務(wù)從話音加速向數(shù)據(jù)更迭，發(fā)展模式由用戶規(guī)模驅(qū)動(dòng)加速向業(yè)務(wù)創(chuàng)新引領(lǐng)轉(zhuǎn)型，呈現(xiàn)出競(jìng)相創(chuàng)新，共同發(fā)展的良好局面。目前，LTE用戶和網(wǎng)絡(luò)規(guī)模持續(xù)擴(kuò)大，截止到2014年9月，全球LTE商用網(wǎng)絡(luò)達(dá)到324張，用戶總數(shù)達(dá)到3.7億，亞太地區(qū)超過北美成為全球4G用戶最多的地區(qū)。移動(dòng)互聯(lián)網(wǎng)的發(fā)展也帶來了業(yè)務(wù)結(jié)構(gòu)不斷優(yōu)化。今年1～9月，三家基礎(chǔ)電信企業(yè)，話音業(yè)務(wù)收入同比下降6.7%，而移動(dòng)數(shù)據(jù)及互聯(lián)網(wǎng)業(yè)務(wù)收入達(dá)到1960億元，同比增長了41.5%，占電信業(yè)務(wù)收入比重超過22%。它依然是當(dāng)前電信市場(chǎng)增長最快的業(yè)務(wù)領(lǐng)域。

中國移動(dòng)通信研究院副院長黃宇紅在論壇上透露，中國移動(dòng)已經(jīng)開展了基于2.6 GHz的D頻段，F(xiàn)+D頻段的載波聚合，以及室內(nèi)的E頻段兩個(gè)載波的聚合，試驗(yàn)效果均符合預(yù)期，速率上已經(jīng)達(dá)到220兆峰值的平均速率。她還表示，載波聚合能有效改善網(wǎng)絡(luò)質(zhì)量，提升吞吐量，這使將來網(wǎng)絡(luò)負(fù)載均衡時(shí)候會(huì)更加平滑。除了網(wǎng)絡(luò)設(shè)備已經(jīng)開始支持載波聚合外，終端也正逐步支持載波聚合，預(yù)計(jì)明年市場(chǎng)將有更多的支持載波聚合的終端推出。 (來源移動(dòng)Labs， 作者：明海)

Google宣布參加第二條海纜系統(tǒng)建設(shè) 總長10556 km

Google公司日前宣布同巴西Algar電信、安哥拉Angola Cables和烏拉圭Antel三家運(yùn)營商合作建設(shè)新的連接巴西Santos和Fortaleza到美國佛羅里達(dá)Boca Raton的海纜系統(tǒng)。該條海纜的承建商是TE Connectivity。

該海纜總長10556 km，擁有六對(duì)光纖，初始系統(tǒng)容量設(shè)計(jì)64 Tbit/s，預(yù)計(jì)2016年年底前完成建設(shè)。該海纜將為拉美地區(qū)帶來新的傳輸流量。

Google此前在今年8月曾經(jīng)宣布參加FASTER跨太平洋海纜建設(shè)。這條海纜是Google加入的第二條海纜系統(tǒng)。

貴州移動(dòng)推廣“大數(shù)據(jù)旅游云應(yīng)用”

為加快貴州省旅游信息化建設(shè)步伐、促進(jìn)旅游產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，貴州省旅游局與中國移動(dòng)貴州公司于10月28日共同舉行“多彩貴州·云上旅游”大數(shù)據(jù)旅游云應(yīng)用成果簽約會(huì)。

根據(jù)協(xié)議內(nèi)容，雙方將在貴州省旅游官方App、旅游云大數(shù)據(jù)游客分析系統(tǒng)、景區(qū)二維碼導(dǎo)覽、景區(qū)直播、旅游車務(wù)通和旅游號(hào)簿等旅游信息化方面展開全面深入的合作。各大系統(tǒng)建成后，游客到貴州旅游，吃飯、住宿、出行、游玩、購物、娛樂都不用發(fā)愁，這一切在到景區(qū)之前就能輕松搞定，游客坐在家里可以通過網(wǎng)絡(luò)了解到哪家餐館的飯菜最合口味，如何坐車最方便，哪里購物娛樂最劃算，什么時(shí)候有旅游節(jié)慶活動(dòng)，提前視頻欣賞大美貴州的秀麗風(fēng)景等等，一切相關(guān)旅游資訊都可以通過手機(jī)了解。到了景區(qū)，游客可以通過手機(jī)、掌上電腦等移動(dòng)終端，輕松實(shí)現(xiàn)自助導(dǎo)覽定位、自助導(dǎo)游講解、二維碼景區(qū)介紹、實(shí)時(shí)活動(dòng)查詢等等，徹底甩開傳統(tǒng)地圖，不用導(dǎo)游，暢快地自主游覽。通過貴州移動(dòng)無線網(wǎng)絡(luò)系統(tǒng)，在景區(qū)實(shí)現(xiàn)免費(fèi)離線資源下載，體驗(yàn)到在景區(qū)就像在家里WiFi環(huán)境下一樣方便。游玩過程中，還可以通過手機(jī)實(shí)現(xiàn)隨手拍照互動(dòng)、網(wǎng)友分享等功能，舒適地享受旅游的快樂。

作為全省通信行業(yè)的排頭兵，中國移動(dòng)貴州公司始終致力于以覆蓋廣、質(zhì)量高的精品網(wǎng)絡(luò)促進(jìn)旅游經(jīng)濟(jì)發(fā)展。目前，中國移動(dòng)通信網(wǎng)絡(luò)已覆蓋了全省100%的行政村和96%以上的自然村，并實(shí)現(xiàn)了全省4G網(wǎng)絡(luò)鄉(xiāng)鄉(xiāng)通，各級(jí)別、各類型風(fēng)景名勝區(qū)實(shí)現(xiàn)良好覆蓋。在精品網(wǎng)絡(luò)的基礎(chǔ)上，貴州移動(dòng)還積極探索行業(yè)信息化、云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)等新技術(shù)在旅游行業(yè)的應(yīng)用推廣。

該系列協(xié)議的簽署，標(biāo)志著中國移動(dòng)貴州公司成為貴州省旅游局在推進(jìn)旅游信息化建設(shè)中最重要的合作伙伴。今后，雙方將以打造“多彩貴州·云上旅游”為目標(biāo)，創(chuàng)新服務(wù)手段，發(fā)揮貴州移動(dòng)技術(shù)資源的優(yōu)勢(shì)，充分利用信息化、互聯(lián)網(wǎng)技術(shù)手段，推動(dòng)現(xiàn)代信息技術(shù)在旅游產(chǎn)業(yè)中的應(yīng)用，不斷提高旅游公共服務(wù)的水平和效率。

我國M2M連接數(shù)超過5000萬 位居全球首位

日前，在2014新一代寬帶無線移動(dòng)通信發(fā)展論壇上，工信部電信研究院通信標(biāo)準(zhǔn)所所長王志勤表示，目前，從M2M主要運(yùn)營者來看，主要是電信運(yùn)營商。同時(shí)，全球40%的運(yùn)營商都是在積極部署M2M的業(yè)務(wù)和應(yīng)用。

近期，物聯(lián)網(wǎng)在重點(diǎn)行業(yè)越來越聚焦，已經(jīng)呈現(xiàn)出比較成型的業(yè)務(wù)發(fā)展模式。M2M市場(chǎng)在2010～2014年間，年復(fù)合增長率可達(dá)35%，亞太地區(qū)將是發(fā)展最活躍的區(qū)域。

截至2013年底，中國已經(jīng)有接近5 000萬的M2M的連接，居全球第一。

中興中標(biāo)東南亞集團(tuán) 將承建柬埔寨4G網(wǎng)

日前，中興通訊宣布，公司中標(biāo)東南亞電信集團(tuán)4G LTE項(xiàng)目。同時(shí)，中興通訊高級(jí)副總裁張任軍與東南亞電信集團(tuán)董事長左華政分別代表雙方簽署了項(xiàng)目備忘錄與戰(zhàn)略合作協(xié)議。

東南亞電信集團(tuán)是一家綜合性通信運(yùn)營商，業(yè)務(wù)涵蓋移動(dòng)通信與互聯(lián)網(wǎng)服務(wù)。東南亞電信（柬埔寨）有限公司已獲得柬埔寨王國政府頒發(fā)的運(yùn)營牌照，其中包括：移動(dòng)通信（含4G LTE)、ISP、無線固話、VoIP等，并已啟動(dòng)了4G FDD LTE的全國移動(dòng)通信網(wǎng)絡(luò)建設(shè)，計(jì)劃于2015年上半年投入運(yùn)營。

中國鐵塔山東分公司揭牌 三大運(yùn)營商明年不新建鐵塔

10月30日，中國鐵塔山東省分公司在濟(jì)南正式揭牌成立。業(yè)內(nèi)分析認(rèn)為，鐵塔公司的運(yùn)營將可避免電信基礎(chǔ)設(shè)施方面的重復(fù)建設(shè)，為三大運(yùn)營商節(jié)省建設(shè)成本進(jìn)而推動(dòng)通訊資費(fèi)降低。此外，明年年底前鐵塔公司有望引入民間資本，為民資介入電信行業(yè)打開新通道。

中國移動(dòng)電商交易額突破1 600億元

截至目前，中國移動(dòng)已經(jīng)提前完成2014年電子渠道業(yè)務(wù)的目標(biāo)，提前實(shí)現(xiàn)了電子渠道在線交易額1 500億元、終端銷售量1 500萬臺(tái)。

據(jù)悉，中國移動(dòng)總部及各省公司重點(diǎn)開展了自有移動(dòng)商城建設(shè)、運(yùn)營及外部電商加快拓展，天貓旗艦店上線入駐、支付及物流等基礎(chǔ)能力提升、互聯(lián)網(wǎng)充值直連合作、“5.17 4G手機(jī)狂歡節(jié)”統(tǒng)一營銷活動(dòng)組織等工作。截至10月31日，在線交易額已突破1 620億元，同比增長182 %；終端銷售量已達(dá)1 161萬部，同比增長88%。(移動(dòng)通信網(wǎng)訊)

中國電信等8企業(yè)發(fā)起成立中國企業(yè)大數(shù)據(jù)聯(lián)盟

11月4日，由中國電信、中國東方航空、中航信、工信部電信研究院、互聯(lián)網(wǎng)協(xié)會(huì)互聯(lián)網(wǎng)金融工作委員會(huì)、易車、亞信科技、晶贊科技等8單位發(fā)起，45家企業(yè)聯(lián)合組成的中國企業(yè)大數(shù)據(jù)聯(lián)盟在北京舉行成立大會(huì)。

中國電信集團(tuán)公司總經(jīng)理?xiàng)罱茉跁?huì)中表示，大數(shù)據(jù)在優(yōu)化商業(yè)服務(wù)、拉動(dòng)信息消費(fèi)、改善社會(huì)治理、促進(jìn)經(jīng)濟(jì)轉(zhuǎn)型等方面發(fā)揮著越來越積極的作用。中國企業(yè)大數(shù)據(jù)聯(lián)盟的成立，對(duì)推動(dòng)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)和數(shù)據(jù)安全標(biāo)準(zhǔn)的建立、跨界合作和商業(yè)模式創(chuàng)新有著積極的意義。中國電信作為聯(lián)盟的發(fā)起方和倡導(dǎo)者，將堅(jiān)持“全面聚合、深入挖掘、高效應(yīng)用”的大數(shù)據(jù)發(fā)展戰(zhàn)略，開展全面深層次合作，全力打造數(shù)據(jù)生態(tài)鏈，推動(dòng)大數(shù)據(jù)創(chuàng)新發(fā)展。

據(jù)了解，中國企業(yè)大數(shù)據(jù)聯(lián)盟致力于推動(dòng)跨界大數(shù)據(jù)標(biāo)準(zhǔn)制定與合作，積極促進(jìn)大數(shù)據(jù)技術(shù)成果在各行業(yè)應(yīng)用推廣，全面提升成員單位大數(shù)據(jù)應(yīng)用的整體水平；匯聚各方力量，借鑒世界先進(jìn)經(jīng)驗(yàn)，使聯(lián)盟成為推動(dòng)大數(shù)據(jù)技術(shù)進(jìn)步、應(yīng)用創(chuàng)新的中堅(jiān)力量，為我國大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展做出貢獻(xiàn)。

中國企業(yè)大數(shù)據(jù)聯(lián)盟將給企業(yè)提供了一個(gè)多維度數(shù)據(jù)共享的平臺(tái)，促進(jìn)聯(lián)盟成員加強(qiáng)交流，充分利用已有的數(shù)據(jù)能力，實(shí)現(xiàn)跨行業(yè)、多維度的數(shù)據(jù)互補(bǔ)，在產(chǎn)業(yè)規(guī)?；?、行業(yè)陽光化、使用規(guī)范化方面，建立起統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)安全機(jī)制，更大程度的挖掘企業(yè)大數(shù)據(jù)使用的能力，促進(jìn)創(chuàng)新應(yīng)用推廣。

聯(lián)想完成收購摩托羅拉移動(dòng)

10月30日，聯(lián)想集團(tuán)與谷歌宣布，聯(lián)想正式完成從谷歌收購摩托羅拉移動(dòng)。

通過此次收購摩托羅拉品牌、創(chuàng)新的智能手機(jī)產(chǎn)品組合如 Moto X、Moto G、Moto E及DROIDTM系列等，以及摩托羅拉的未來產(chǎn)品規(guī)劃，聯(lián)想成為全球第三大智能手機(jī)廠商。

聯(lián)想將以全資子公司的形式運(yùn)營摩托羅拉，其總部將繼續(xù)設(shè)在美國芝加哥。收購?fù)瓿珊?，將有? 500名來自全球的員工加入聯(lián)想，其中包括在美國的約2800名員工，他們主要負(fù)責(zé)設(shè)計(jì)、策劃、銷售和支持摩托羅拉的優(yōu)秀產(chǎn)品。聯(lián)想執(zhí)行副總裁兼移動(dòng)業(yè)務(wù)集團(tuán)總裁劉軍將出任摩托羅拉移動(dòng)管理委員會(huì)主席。摩托羅拉資深高管 Rick Osterloh 將繼續(xù)擔(dān)任摩托羅拉總裁及首席運(yùn)營官。

摩托羅拉憑借成功推出新產(chǎn)品及突破性創(chuàng)新，已在市場(chǎng)上呈現(xiàn)出強(qiáng)勁的發(fā)展勢(shì)頭。除了智能手機(jī)，Moto 360智能手表也備受消費(fèi)者關(guān)注，確立了摩托羅拉進(jìn)軍新興移動(dòng)設(shè)備領(lǐng)域的地位。聯(lián)想預(yù)期在4～6個(gè)季度內(nèi)促使摩托羅拉業(yè)務(wù)取得盈利。谷歌將保留大部分摩托羅拉移動(dòng)專利組合的所有權(quán)，摩托羅拉將獲得使用這些豐富專利組合和其他知識(shí)產(chǎn)權(quán)的許可權(quán)。摩托羅拉將持有逾2 000項(xiàng)專利資產(chǎn)、大量專利交叉授權(quán)協(xié)議以及摩托羅拉移動(dòng)品牌和商標(biāo)組合。此次交易的收購總額約為29.1億美元。

浙江移動(dòng)全力保障首屆世界互聯(lián)網(wǎng)大會(huì)

10月30日下午，“首屆世界互聯(lián)網(wǎng)大會(huì)”在國務(wù)院新聞辦公室新聞發(fā)布廳召開了第一次新聞發(fā)布會(huì)，中央宣傳部副部長、國信辦主任魯煒，浙江省省長李強(qiáng)等領(lǐng)導(dǎo)出席會(huì)議并就前期會(huì)議籌備情況進(jìn)行介紹。浙江移動(dòng)利用先進(jìn)的4G技術(shù)為浙江媒體第一時(shí)間傳回了發(fā)布會(huì)的現(xiàn)場(chǎng)視頻、通稿等信息。

10月30日本次新聞發(fā)布會(huì)由浙江移動(dòng)提供實(shí)時(shí)信息傳輸保障，在會(huì)場(chǎng)有線寬帶接入存在一定困難的情況下，浙江移動(dòng)第一時(shí)間為浙江省委宣傳部提供了基于4G(TD-LTE)網(wǎng)絡(luò)的無線回傳解決方案和基于中國移動(dòng)“和彩云”的云存儲(chǔ)和云分享解決方案，確保大會(huì)視頻、新聞通稿等信息能第一時(shí)間傳回浙江本地，省內(nèi)近百家媒體可安全、快速地訪問“和彩云”平臺(tái)并下載相關(guān)資料。

由國家互聯(lián)網(wǎng)信息辦公室、浙江省人民政府主辦的“首屆世界互聯(lián)網(wǎng)大會(huì)”，是目前中國舉辦的規(guī)模最大、層次最高的互聯(lián)網(wǎng)大會(huì)。大會(huì)將于2014年11月19～21日在桐鄉(xiāng)烏鎮(zhèn)舉行，浙江移動(dòng)作為本次大會(huì)基礎(chǔ)通信合作方、信息化應(yīng)用提供方，將全程支撐保障本次大會(huì)順利運(yùn)行。為做好該項(xiàng)工作，浙江移動(dòng)很早就開始了部署，通過增加專項(xiàng)投資、集中優(yōu)勢(shì)資源等措施，全力加快網(wǎng)絡(luò)建設(shè)與測(cè)試應(yīng)用準(zhǔn)備，力爭向世界展示一流的移動(dòng)通信、無線寬帶、有線寬帶以及各類信息化服務(wù)。

Design and implementation of security mass data processing platform

ZHANG De-yang1,2, WANG Jing1,2
(1 Beijing University of Posts and Telecommunications Networking and Switching Technology, State Key Laboratory, Beijing 100876, China; 2 EBUPT Information Technology Co., Ltd., Beijing 100191, China)

This article put forward an open design scheme of distributed mass data processing platform. The platform uses HDFS, Hive and HBase to realize data storage, uses MapReduce, spark and storm to realize data processing, uses kerberous to realize authority management. It also provides a unif ed operation interface to the user, so that users can handle the mass data simple and eff cient.

Hadoop; distributed system; mass data; kerberous; data processing platform

TN929.5

A

1008-5599（2014）11-0086-04

2014-10-08

國家973計(jì)劃項(xiàng)目（編號(hào)：2013CB329102）；國家自然科學(xué)基金資助項(xiàng)目（No． 61471063， 61372120， 61271019， 61101119， 61121001)；長江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃資助（編號(hào)：IRT1049）；教育部科學(xué)技術(shù)研究重點(diǎn)(重大)項(xiàng)目資助（編號(hào)：MCM20130310）；北京高等學(xué)校青年英才計(jì)劃項(xiàng)目（編號(hào)：YETP0473）。