（廣西機電職業(yè)技術(shù)學(xué)院，廣西 南寧 530007）

【摘 要】隨著移動互聯(lián)、物聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和移動終端的普及，預(yù)計到2020年，全球數(shù)據(jù)量將達到35.2 ZB。那么，從海量數(shù)據(jù)中處理和提純有價值的數(shù)據(jù)的效率將成為一種核心競爭力。文章采用基于Lambda架構(gòu)的大數(shù)據(jù)解決方案，該方案在硬件架構(gòu)層集成了刀片服務(wù)器、存儲、網(wǎng)絡(luò)等設(shè)備；軟件架構(gòu)層整合當(dāng)今主流的各類大數(shù)據(jù)組件，系統(tǒng)平臺實現(xiàn)移動互聯(lián)海量數(shù)據(jù)采集、挖掘、數(shù)據(jù)倉庫和數(shù)據(jù)分析等功能，為構(gòu)建移動互聯(lián)大數(shù)據(jù)平臺提供解決方案。

【關(guān)鍵詞】移動互聯(lián)；海量數(shù)據(jù)；Lambda；Map-Reduce；Storm

【中圖分類號】TP393.06 【文獻標(biāo)識碼】A 【文章編號】1674-0688（2016）06-0066-03

0 引言

伴隨著互聯(lián)網(wǎng)從PC端向移動端的迅速延伸，使移動端成為互聯(lián)網(wǎng)最重要的入口，而這些移動端的設(shè)備每天產(chǎn)生以十億計的海量信息，這些海量信息已經(jīng)滲透當(dāng)今每一個行業(yè)和業(yè)務(wù)智能領(lǐng)域，成為重要的生產(chǎn)因素。傳統(tǒng)的處理數(shù)據(jù)方法是把靜止數(shù)據(jù)庫中的數(shù)據(jù)帶進程序進行分析。而移動互聯(lián)平臺時刻產(chǎn)生數(shù)據(jù)沒有辦法停止，最佳處理方法是把程序帶進活動的數(shù)據(jù)進行分析，因此基于移動互聯(lián)平臺下如何采集、存儲、整理分析和挖掘海量信息，成為亟待解決的問題。本文采用Lambda架構(gòu)作為系統(tǒng)的通用大數(shù)據(jù)處理框架，整個系統(tǒng)劃分為Batch Layer、Speed Layer和Serving Layer 3層，在這3層中集成Hadoop、Kafka、Storm、Spark、Hbase等各類大數(shù)據(jù)組件，解決移動互聯(lián)平臺讀寫分離和復(fù)雜性隔離等問題，為構(gòu)建移動互聯(lián)平臺解決方案提供寶貴經(jīng)驗。

1 Lambda簡介

數(shù)據(jù)是與時間有關(guān)的，數(shù)據(jù)一定是在某個時間點上產(chǎn)生的，因此數(shù)據(jù)的本身是不可變的。移動互聯(lián)平臺分布式系統(tǒng)中的數(shù)據(jù)產(chǎn)生于不同的系統(tǒng)中，時間決定了數(shù)據(jù)發(fā)生的全局先后順序，移動互聯(lián)平臺必須實時存儲和處理數(shù)據(jù)。

Lambda架構(gòu)是由Nathan Marz提出的一個實時大數(shù)據(jù)處理框架，其核心思想是既能兼顧低延遲的計算需求，同時也具有處理全量數(shù)據(jù)的能力，最后通過將2個部分的視圖聚合起來提供外部服務(wù)。

Lambda架構(gòu)（如圖1所示）是集成Hadoop、Kafka、Storm、Spark、Hbase等各類大數(shù)據(jù)組件，設(shè)計出一個能滿足實時大數(shù)據(jù)系統(tǒng)關(guān)鍵特性的架構(gòu)，包括高容錯、低延時和可擴展等。Lambda架構(gòu)整合離線計算和實時計算，融合不可變性、讀寫分離和復(fù)雜性隔離等一系列架構(gòu)原則。

2 移動互聯(lián)大數(shù)據(jù)平臺架構(gòu)的設(shè)計

移動互聯(lián)大數(shù)據(jù)平臺（如圖2所示）是基于Lambda架構(gòu)，由數(shù)據(jù)采集層、數(shù)據(jù)接入層、數(shù)據(jù)計算層、數(shù)據(jù)服務(wù)層和數(shù)據(jù)存儲層構(gòu)成。

數(shù)據(jù)采集層面臨高并發(fā)、數(shù)據(jù)量大和擴展性等亟待解決的問題。本文在數(shù)據(jù)采集層引用Finagle Server開源異步服務(wù)器框架，該服務(wù)器框架契合移動互聯(lián)網(wǎng)訪問特點：高并發(fā)，小數(shù)據(jù)量，單臺服務(wù)器的處理能力得到了極大地提升，同時支持橫向擴展收集日志服務(wù)。對于移動終端如手機、平板和盒子等設(shè)備，數(shù)據(jù)采集層提供通過APP集成SDK，移動互聯(lián)平臺通過SDK將移動終端設(shè)備的日志返回到移動互聯(lián)平臺，移動互聯(lián)平臺在nginx負載均衡下，通過唯一標(biāo)識、數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)格式對數(shù)據(jù)進行清洗，最后把數(shù)據(jù)送入基于Finagle框架的日志接收器，最后傳入數(shù)據(jù)接入層。

數(shù)據(jù)接入層使用2個Kafka集群來承擔(dān)數(shù)據(jù)接入功能，最上面Kafka集群被實時計算消費，下面kafka用于離線數(shù)據(jù)消費，2個集群之間通過Kafka的Mirror功能進行同步。

數(shù)據(jù)計算層為了實現(xiàn)IO負載分離，通過業(yè)務(wù)解耦，把計算分為實時計算、離線計算、準(zhǔn)實時計算3個部分。時效性是實時計算首先要面對的問題，從實時方面考慮，就不能放一些太復(fù)雜的計算，計算結(jié)果會存儲到MongoDB。離線計算數(shù)據(jù)傾斜是貫穿離線計算始終的問題，通過改造Hadoop的公平調(diào)度算法來保證大任務(wù)能得到充分的計算資源在可接受的范圍內(nèi)計算完畢，同時使用Hive建立數(shù)據(jù)倉庫，使用pig進行數(shù)據(jù)挖掘，離線分析的結(jié)果存儲在HBase。準(zhǔn)實時計算主要處理如下載服務(wù)、消息推送中的圈人服務(wù)等。最后通過統(tǒng)一的REST Service來對外提供數(shù)據(jù)服務(wù)。

3 移動平臺數(shù)據(jù)存儲和增值

本文利用云存儲技術(shù)構(gòu)建移動互聯(lián)系統(tǒng)平臺的存儲系統(tǒng)，該存儲系統(tǒng)不僅是一個并行的硬件，而且是由網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、軟件、接入網(wǎng)絡(luò)、用戶訪問接口及客戶端程序等多個部分構(gòu)成的。為了方便維護，把該存儲系統(tǒng)分為存儲層、基礎(chǔ)管理層、應(yīng)用接口層及訪問層。存儲層是云存儲系統(tǒng)的基礎(chǔ)，由存儲設(shè)備（滿足FC協(xié)議、iSCSI協(xié)議、NAS協(xié)議等）構(gòu)成?；A(chǔ)管理層是云存儲系統(tǒng)的核心，其擔(dān)負著存儲設(shè)備間協(xié)同工作、數(shù)據(jù)加密、分發(fā)及容災(zāi)備份等工作。應(yīng)用接口層是系統(tǒng)中根據(jù)用戶需求來開發(fā)的部分，根據(jù)不同的業(yè)務(wù)類型，可以開發(fā)出不同的應(yīng)用服務(wù)接口。訪問層指授權(quán)用戶通過應(yīng)用接口登錄和享受云服務(wù)，其主要優(yōu)勢在于硬件冗余、節(jié)能環(huán)保、系統(tǒng)升級不會影響存儲服務(wù)、海量并行擴容、強大的負載均衡功能、統(tǒng)一管理、統(tǒng)一向外提供服務(wù)及管理效率高。云存儲系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu)、高速緩存等方面入手，針對監(jiān)控應(yīng)用進行了優(yōu)化設(shè)計。數(shù)據(jù)傳輸可采用流方式，底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu)，大幅提高了系統(tǒng)的性能。

移動互聯(lián)大數(shù)據(jù)平臺存儲系統(tǒng)的數(shù)據(jù)如何實現(xiàn)增值？數(shù)據(jù)是從統(tǒng)計到挖掘到大數(shù)據(jù)的階段，只有通過這種數(shù)據(jù)的相互分享，才能夠得到數(shù)據(jù)的紅利和反饋。

第一，它們從顧客需要的數(shù)據(jù)（能夠創(chuàng)造商業(yè)價值）開始，而不是聚焦在它們已有的數(shù)據(jù)及這些已有數(shù)據(jù)能告訴他們什么。主要工作是在幕后找出什么是顧客需要的（通過數(shù)據(jù)、工具、信息），然后得到答案。

第二，不是把你的見解分享給一小撮商業(yè)領(lǐng)袖，而是直接把它融入、應(yīng)用到商業(yè)應(yīng)用或者工作流程中，讓盡量多的人來利用這些大數(shù)據(jù)的結(jié)論。

第三，擁有絕對的數(shù)據(jù)使用權(quán)。在這個基于云的大數(shù)據(jù)世界，第三方數(shù)據(jù)的獲取、管理、使用都必須是合法的。

本文認為主要通過數(shù)據(jù)統(tǒng)計及APP的推送，為移動開發(fā)者提供支持?！坝衙恕钡摹耙徽臼健苯鉀Q方案整合了應(yīng)用統(tǒng)計分析、游戲統(tǒng)計分析、社會化組件、微社區(qū)、消息推送、友盟指數(shù)等產(chǎn)品和服務(wù)，并基于數(shù)據(jù)將產(chǎn)品之間橫向打通，以求充分發(fā)揮和運用數(shù)據(jù)的價值：其一，內(nèi)部數(shù)據(jù)打通，“友盟”不光是做統(tǒng)計分析，還有即時通信、社會化分享、工具推薦等業(yè)務(wù)。把這些業(yè)務(wù)的數(shù)據(jù)盡可能地進行橫向打通，這樣一來，就可以利用用戶自身的自定義事件，進行一些有針對性的推送。其二，用戶畫像?！坝衙恕边€與其他的數(shù)據(jù)方合作，給用戶進行畫像，這樣就可以進行更加精準(zhǔn)的推送。用戶畫像可以根據(jù)現(xiàn)有的數(shù)據(jù)更精準(zhǔn)地確定自己用戶的屬性和興趣、行為等。其三，設(shè)備評級。對于APP開發(fā)者來說，了解渠道的推廣效果，如哪些渠道的推廣價值用戶大，哪些渠道推廣的用戶價值小，哪些渠道有作弊行為，推廣的全是一些虛假的用戶。其四，APP健康度評估。通過APP健康度估價能使開發(fā)者了解自己這一款A(yù)PP當(dāng)前是處于生命周期的哪個階段，是屬于快速增長階段、平穩(wěn)發(fā)展階段，還是屬于衰減階段。這樣就能更好地了解自己的產(chǎn)品目前的健康狀況，同時也能了解自身產(chǎn)品，如用戶群體中有多少是垃圾設(shè)備，有多少是有價值的設(shè)備。

4 總結(jié)

本文介紹了Lambda架構(gòu)的基本概念。Lambda架構(gòu)通過對數(shù)據(jù)和查詢的本質(zhì)認識，融合了不可變性、讀寫分離和復(fù)雜性隔離等一系列架構(gòu)原則，將大數(shù)據(jù)處理系統(tǒng)劃分為Batch Layer、Speed Layer和Serving Layer 3層，從而設(shè)計出一個能滿足實時大數(shù)據(jù)系統(tǒng)關(guān)鍵特性（如高容錯、低延時和可擴展等）的架構(gòu)。Lambda架構(gòu)作為一個通用的大數(shù)據(jù)處理框架，可以很方便地集成Hadoop、Kafka、Storm、Spark、Hbase等各類大數(shù)據(jù)組件。

參 考 文 獻

[1] 孫廣中，肖鋒，熊曦.MapReduce模型的調(diào)度及容錯機制研究[J].微電子學(xué)與計算機，2007，24（9）.

[2] 劉鵬.實戰(zhàn)Hadoop——開啟通向云計算的捷徑[M].北京：電子工業(yè)出版社，2013.

[3] （美）CHUCK LAM.Hadoop in Action[M].北京：人民郵電出版社，2011.

[責(zé)任編輯：陳澤琦]

【基金項目】廣西機電職業(yè)技術(shù)學(xué)院2015年度院級科研立項項目“基于移動互聯(lián)網(wǎng)的校園服務(wù)平臺構(gòu)建與應(yīng)用”（編號：2015KYLX016）；2014年度廣西高等學(xué)校立項科研項目“數(shù)字化校園中大數(shù)據(jù)的存儲管理研究與應(yīng)用”（編號LX2014559）。

【作者簡介】蘇樹鵬，男，廣西南寧人，碩士，廣西機電職業(yè)技術(shù)學(xué)院講師、工程師，研究方向：軟件設(shè)計、云計算、計算機教育。