彭 昭，董 斌，楊 迪，馬怡安/Peng Zhao,Dong Bin,Yang Di,Ma Yi’an

（中國(guó)電信股份有限公司上海研究院 上海 200122）

（Shanghai Research Institute of China Telecom Co.,Ltd.,Shanghai 200122,China）

1 引言

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)和智能終端的發(fā)展，創(chuàng)新應(yīng)用層出不窮，用戶的數(shù)據(jù)和行為所蘊(yùn)含的價(jià)值也越發(fā)凸顯，這些數(shù)據(jù)通過(guò)合理的挖掘和分析可以為轉(zhuǎn)變運(yùn)營(yíng)模式帶來(lái)驚人的新視角和新機(jī)遇。如何挖掘這些數(shù)據(jù)，在數(shù)據(jù)大爆炸的場(chǎng)景下面臨著技術(shù)與商業(yè)的雙重挑戰(zhàn)。大數(shù)據(jù)的目標(biāo)是追求數(shù)據(jù)價(jià)值的最大化，必須從海量的數(shù)據(jù)資源中抽取信息并進(jìn)行分析挖掘，為構(gòu)建上述能力，企業(yè)需要搭建數(shù)據(jù)的采集、抽取、清洗、挖掘、分析、統(tǒng)計(jì)等環(huán)節(jié)的大數(shù)據(jù)平臺(tái)。

大數(shù)據(jù)PaaS借鑒云計(jì)算PaaS的理念，旨在將大數(shù)據(jù)服務(wù)能力和工具平臺(tái)化、服務(wù)化，結(jié)合云基礎(chǔ)資源租用和大數(shù)據(jù)能力開(kāi)放，為企業(yè)提供一站式的大數(shù)據(jù)端到端解決方案，企業(yè)可直接使用或二次開(kāi)發(fā)大數(shù)據(jù)PaaS平臺(tái)提供的服務(wù)，便捷地搭建高性能、高可靠的大數(shù)據(jù)應(yīng)用平臺(tái)，并可將數(shù)據(jù)共享給第三方，無(wú)需考慮底層硬件與運(yùn)行環(huán)境的搭建和調(diào)試。大數(shù)據(jù)PaaS平臺(tái)可以為電信運(yùn)營(yíng)商匯聚高質(zhì)量的合作伙伴和大數(shù)據(jù)的運(yùn)營(yíng)經(jīng)驗(yàn)，為打造全新的大數(shù)據(jù)生態(tài)價(jià)值鏈提供有益的嘗試。

2 大數(shù)據(jù)PaaS平臺(tái)體系架構(gòu)

大數(shù)據(jù)PaaS平臺(tái)面向的服務(wù)對(duì)象是政企行業(yè)用戶，提供大數(shù)據(jù)資源和服務(wù)組件兩種服務(wù)，為用戶的數(shù)據(jù)抽取、存儲(chǔ)、分析、呈現(xiàn)提供一站式解決方案。通過(guò)云資源構(gòu)建大數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境，利用Hadoop搭建大數(shù)據(jù)資源池，通過(guò)工具服務(wù)組件化提供大數(shù)據(jù)PaaS服務(wù)。

2.1 服務(wù)內(nèi)容

大數(shù)據(jù)PaaS服務(wù)按服務(wù)深度大致可以分成兩種。

（1）提供基礎(chǔ)資源的租用服務(wù)

大數(shù)據(jù)PaaS平臺(tái)為用戶提供大數(shù)據(jù)集群和云資源，用戶可以自行部署大數(shù)據(jù)應(yīng)用和相關(guān)ETL工具、分析工具等。根據(jù)大數(shù)據(jù)集群安全性要求，提供的大數(shù)據(jù)集群可以是物理機(jī)、虛擬機(jī)等不同緯度。此種場(chǎng)景適用于具備一定大數(shù)據(jù)開(kāi)發(fā)技術(shù)，或者已經(jīng)完成有大數(shù)據(jù)相關(guān)應(yīng)用和服務(wù)的用戶。

（2）在基礎(chǔ)資源租用服務(wù)的基礎(chǔ)上提供大數(shù)據(jù)工具組件服務(wù)

大數(shù)據(jù)PaaS平臺(tái)為用戶提供基礎(chǔ)的大數(shù)據(jù)集群和云資源，在該資源上部署定制化的運(yùn)行環(huán)境和服務(wù)組件，用戶只需關(guān)注數(shù)據(jù)導(dǎo)入、清洗、分析的類(lèi)型，無(wú)需考慮環(huán)境與工具的部署與安裝。此種場(chǎng)景適用于使用大數(shù)據(jù)服務(wù)和工具分析自己數(shù)據(jù)的用戶。

2.2 系統(tǒng)框架

大數(shù)據(jù)PaaS平臺(tái)結(jié)合大數(shù)據(jù)技術(shù)與PaaS理念，充分發(fā)揮資源和大數(shù)據(jù)的服務(wù)價(jià)值，將面向大數(shù)據(jù)的采集、存儲(chǔ)、分析等工具服務(wù)化，為用戶提供大數(shù)據(jù)的平臺(tái)服務(wù)。平臺(tái)通過(guò)大數(shù)據(jù)組件構(gòu)建面向用戶個(gè)性化的大數(shù)據(jù)分析平臺(tái)，降低企業(yè)部署大數(shù)據(jù)的門(mén)檻和成本。

大數(shù)據(jù)PaaS平臺(tái)的系統(tǒng)框架如圖1所示，主要分為門(mén)戶層、服務(wù)層、組件層、資源層和管理層。

①門(mén)戶層：平臺(tái)服務(wù)與用戶的交互界面，面向用戶提供大數(shù)據(jù)資源申請(qǐng)、維護(hù)功能；面向平臺(tái)管理員提供平臺(tái)用戶、服務(wù)、資源等管理功能；面向開(kāi)發(fā)者提供平臺(tái)使用和大數(shù)據(jù)技術(shù)交流功能。

②服務(wù)層：將大數(shù)據(jù)平臺(tái)提供的存儲(chǔ)資源、運(yùn)行環(huán)境、大數(shù)據(jù)組件打包成面向多租戶的服務(wù)，用戶通過(guò)門(mén)戶直接調(diào)用這些資源和服務(wù)即可搭建簡(jiǎn)單的大數(shù)據(jù)分析平臺(tái)，也可基于此層進(jìn)行二次開(kāi)發(fā)實(shí)現(xiàn)更加負(fù)載的功能服務(wù)。

③組件層：將大數(shù)據(jù)3個(gè)重要環(huán)節(jié)涉及的工具服務(wù)組件化，可靈活地配置到各大數(shù)據(jù)服務(wù)集群，也可以作為大數(shù)據(jù)能力對(duì)外開(kāi)放。

④資源層：提供大數(shù)據(jù)應(yīng)用或者調(diào)用大數(shù)據(jù)應(yīng)用的存儲(chǔ)和運(yùn)行基礎(chǔ)資源。

⑤管理層：實(shí)現(xiàn)大數(shù)據(jù)PaaS平臺(tái)的用戶管理、服務(wù)管理、組件管理、資源管理和運(yùn)維管理。

2.3 平臺(tái)核心服務(wù)

大數(shù)據(jù)PaaS平臺(tái)不僅提供大數(shù)據(jù)服務(wù)能力，還通過(guò)服務(wù)的集成實(shí)現(xiàn)大數(shù)據(jù)服務(wù)的端到端一站式服務(wù)，其涉及的關(guān)鍵技術(shù)包括以下4種。

（1）大數(shù)據(jù)平臺(tái)與組件的自動(dòng)部署服務(wù)

平臺(tái)對(duì)基礎(chǔ)資源進(jìn)行統(tǒng)一管控，根據(jù)用戶的網(wǎng)絡(luò)環(huán)境、資源配置、工具版本等要求分配資源和運(yùn)行環(huán)境，保證大數(shù)據(jù)資源和平臺(tái)能夠自動(dòng)化部署并服從平臺(tái)集中管理。針對(duì)主流大數(shù)據(jù)服務(wù)組件，如HDFS、Hive、HBase、YARN、內(nèi)存迭代、流式處理等的自動(dòng)安裝、部署和注冊(cè)，確保組件動(dòng)態(tài)增加。

（2）多租戶隔離服務(wù)

平臺(tái)支持多租戶模式下的資源和組件調(diào)度，為用戶提供數(shù)據(jù)采集、存儲(chǔ)、分析等大數(shù)據(jù)服務(wù)，因此，不同用戶之間的數(shù)據(jù)相互隔離值得考慮。平臺(tái)采用安全組機(jī)制為不同的用戶配置相應(yīng)的安全組，對(duì)應(yīng)用或組件進(jìn)行網(wǎng)絡(luò)訪問(wèn)的權(quán)限限制，保障各租戶數(shù)據(jù)的隔離和安全以及處理任務(wù)的相對(duì)獨(dú)立、互不影響。

（3）數(shù)據(jù)挖掘與分析服務(wù)

數(shù)據(jù)分析是大數(shù)據(jù)價(jià)值鏈的最后也是最重要的階段，是大數(shù)據(jù)的價(jià)值體現(xiàn)，提供論斷建議或支持決策。通過(guò)模型算法管理和調(diào)度引擎，從大量的、不完全的、有噪聲的、隨機(jī)的數(shù)據(jù)中挖掘出有潛在價(jià)值的數(shù)據(jù)。平臺(tái)集成開(kāi)源或第三方挖掘工具，支持回歸分析法、決策樹(shù)算法、聚類(lèi)分析、關(guān)聯(lián)分析等方法，面向用戶提供大數(shù)據(jù)建模分析服務(wù)。

（4）組件發(fā)布服務(wù)

大數(shù)據(jù)PaaS平臺(tái)支持服務(wù)提供商或大數(shù)據(jù)應(yīng)用開(kāi)發(fā)者在平臺(tái)上發(fā)布自有服務(wù)。服務(wù)發(fā)布后，服務(wù)提供商或開(kāi)發(fā)者能夠查詢發(fā)布的服務(wù)信息、使用統(tǒng)計(jì)等。大數(shù)據(jù)應(yīng)用開(kāi)發(fā)者能夠查詢可用的服務(wù)列表并進(jìn)行訂購(gòu)，可直接使用該服務(wù)或者基于該組件服務(wù)開(kāi)放的API進(jìn)行二次開(kāi)發(fā)。通過(guò)持續(xù)不斷的大數(shù)據(jù)組件服務(wù)迭代開(kāi)發(fā)與發(fā)布，豐富大數(shù)據(jù)PaaS平臺(tái)的服務(wù)類(lèi)型和范圍。

3 大數(shù)據(jù)PaaS平臺(tái)的思考

電信運(yùn)營(yíng)商在大數(shù)據(jù)時(shí)代需要實(shí)現(xiàn)商業(yè)模式轉(zhuǎn)型，在資源與業(yè)務(wù)運(yùn)營(yíng)的過(guò)程中感知用戶特征數(shù)據(jù)，通過(guò)數(shù)據(jù)采集、挖掘、分析服務(wù)整合形成大數(shù)據(jù)能力和資產(chǎn)，并在此基礎(chǔ)上構(gòu)建面向大數(shù)據(jù)服務(wù)的開(kāi)放平臺(tái)，向第三方開(kāi)放共享資源和大數(shù)據(jù)服務(wù)，打造大數(shù)據(jù)價(jià)值鏈仍面臨挑戰(zhàn)。

3.1 大數(shù)據(jù)PaaS平臺(tái)的擴(kuò)展性

大數(shù)據(jù)PaaS平臺(tái)是基于PaaS云平臺(tái)服務(wù)理念構(gòu)建的大數(shù)據(jù)服務(wù)平臺(tái)，隨著大數(shù)據(jù)服務(wù)的深入研究，平臺(tái)提供的大數(shù)據(jù)組件化服務(wù)會(huì)更加豐富，這對(duì)大數(shù)據(jù)PaaS平臺(tái)的架構(gòu)提出了可擴(kuò)展性要求。PaaS平臺(tái)與大數(shù)據(jù)服務(wù)組件采用松耦合的方式集成，通過(guò)采用中間件服務(wù)的方式，為大數(shù)據(jù)應(yīng)用開(kāi)發(fā)或大數(shù)據(jù)平臺(tái)搭建企業(yè)，提供快速構(gòu)建平臺(tái)應(yīng)用的各種基礎(chǔ)中間件服務(wù)。同時(shí)引入服務(wù)發(fā)布渠道，將服務(wù)提供商或開(kāi)發(fā)者開(kāi)發(fā)的大數(shù)據(jù)應(yīng)用以開(kāi)放或服務(wù)的方式接入平臺(tái)，快速擴(kuò)展大數(shù)據(jù)PaaS平臺(tái)的服務(wù)倉(cāng)庫(kù)。

3.2 大數(shù)據(jù)資源的共享

大數(shù)據(jù)PaaS平臺(tái)降低了大數(shù)據(jù)平臺(tái)搭建和組件服務(wù)使用的門(mén)檻，但平臺(tái)最終輸出有潛在價(jià)值的數(shù)據(jù)才是大數(shù)據(jù)的目標(biāo)。有價(jià)值的數(shù)據(jù)資產(chǎn)如何用于指導(dǎo)業(yè)務(wù)創(chuàng)新，或者通過(guò)不同用戶的數(shù)據(jù)資產(chǎn)組合衍生更多創(chuàng)新需求是值得研究的課題。不同用戶的大數(shù)據(jù)資源共享是前提。面向不同大數(shù)據(jù)集群的數(shù)據(jù)，平臺(tái)可考慮增加數(shù)據(jù)導(dǎo)出接口，想要共享數(shù)據(jù)的用戶可以有限制地將部分或全部數(shù)據(jù)分享給第三方簽約用戶。面向同一大數(shù)據(jù)集群的數(shù)據(jù)，通過(guò)用戶組的權(quán)限訪問(wèn)，并考慮采用一些授權(quán)機(jī)制確保數(shù)據(jù)之間的交互。

3.3 大數(shù)據(jù)開(kāi)發(fā)社區(qū)的構(gòu)建

雖然大數(shù)據(jù)應(yīng)用面臨許多挑戰(zhàn)，目前很多研究、技術(shù)甚至應(yīng)用仍處于初期階段。通過(guò)構(gòu)建大數(shù)據(jù)開(kāi)發(fā)社區(qū)，匯聚大數(shù)據(jù)開(kāi)發(fā)者和服務(wù)提供商，并引入“眾包”理念將需要部署大數(shù)據(jù)平臺(tái)或應(yīng)用的企業(yè)和開(kāi)發(fā)者匯聚在平臺(tái)上，在大數(shù)據(jù)PaaS平臺(tái)服務(wù)介紹的基礎(chǔ)上為其提供更多的社區(qū)活動(dòng)和服務(wù)，打造整個(gè)大數(shù)據(jù)價(jià)值鏈。讓企業(yè)能夠在社區(qū)找到大數(shù)據(jù)平臺(tái)建設(shè)方案，讓開(kāi)發(fā)者能夠在社區(qū)找到大數(shù)據(jù)應(yīng)用開(kāi)發(fā)需求，讓大數(shù)據(jù)服務(wù)提供商能夠推介服務(wù)，實(shí)現(xiàn)大數(shù)據(jù)價(jià)值鏈的多方共贏。

3.4 大數(shù)據(jù)安全性的考慮

數(shù)據(jù)安全是大數(shù)據(jù)的基礎(chǔ)。大數(shù)據(jù)的數(shù)據(jù)隔離分為靜態(tài)和動(dòng)態(tài)。靜態(tài)數(shù)據(jù)即用戶導(dǎo)入平臺(tái)存儲(chǔ)的基本數(shù)據(jù)；動(dòng)態(tài)數(shù)據(jù)即在數(shù)據(jù)清洗、挖掘、分析等過(guò)程中產(chǎn)生的動(dòng)態(tài)數(shù)據(jù)。為了保證這兩種數(shù)據(jù)的隔離，大數(shù)據(jù)PaaS平臺(tái)可為每個(gè)用戶建立獨(dú)立的數(shù)據(jù)庫(kù)來(lái)存放數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的物理隔離，同時(shí)為每個(gè)用戶單獨(dú)分配基礎(chǔ)設(shè)施資源和平臺(tái)服務(wù)，確保用戶之間的數(shù)據(jù)在物理上進(jìn)行隔離。此外，大數(shù)據(jù)PaaS平臺(tái)對(duì)于數(shù)據(jù)庫(kù)共享方式下的用戶數(shù)據(jù)進(jìn)行隔離，應(yīng)考慮為每個(gè)用戶設(shè)定數(shù)據(jù)訪問(wèn)權(quán)限和操作權(quán)限，實(shí)現(xiàn)多層級(jí)角色管理，確保用戶的資源和數(shù)據(jù)不會(huì)被非法訪問(wèn)。

4 結(jié)束語(yǔ)

挖掘用戶的行為習(xí)慣和喜好，在凌亂紛繁的數(shù)據(jù)背后找到更符合用戶興趣和習(xí)慣的產(chǎn)品和服務(wù)，并對(duì)產(chǎn)品和服務(wù)進(jìn)行有針對(duì)性的調(diào)整和優(yōu)化，這就是大數(shù)據(jù)的價(jià)值。大數(shù)據(jù)時(shí)代的到來(lái)，給電信運(yùn)營(yíng)商帶來(lái)了巨大的機(jī)遇和挑戰(zhàn)?；谶\(yùn)營(yíng)商的服務(wù)資源，打造大數(shù)據(jù)的生態(tài)價(jià)值體系，聚合大數(shù)據(jù)服務(wù)提供商、大數(shù)據(jù)應(yīng)用企業(yè)和大數(shù)據(jù)應(yīng)用開(kāi)發(fā)者，以高質(zhì)量、高可靠的大數(shù)據(jù)能力與組件服務(wù)，實(shí)現(xiàn)大數(shù)據(jù)服務(wù)的推廣與拓展，最終實(shí)現(xiàn)運(yùn)營(yíng)商與合作伙伴的多方共贏。

[1] 童曉渝,張?jiān)朴?房秉毅等.大數(shù)據(jù)時(shí)代電信運(yùn)營(yíng)商的機(jī)遇[J].信息通信技術(shù),2013.5-9.

[2] 張引,陳敏,廖小飛.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J].計(jì)算機(jī)研究與發(fā)展,2013,50(z2):216-233.

[3] 彭昭,陸玉蘭,魏民等.電信運(yùn)營(yíng)商PaaS云技術(shù)發(fā)展研究[A]. 2012全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)[C].2012.