作者簡介：謝尉靈（1984.04-），男，漢，湖南長沙人，中國人民大學(xué)研究生在讀，IGT科技開發(fā)（北京）有限公司高級(jí)軟件工程師，研究方向：數(shù)據(jù)挖掘。

摘要：隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。由于游戲平臺(tái)的數(shù)據(jù)快速處理需求，構(gòu)建基于分布式+關(guān)系數(shù)據(jù)混合多元的大數(shù)據(jù)處理架構(gòu)。針對(duì)高價(jià)值密度的結(jié)構(gòu)化數(shù)據(jù)采用關(guān)系數(shù)據(jù)處理；大量無序的非結(jié)構(gòu)化數(shù)據(jù)采用分布式機(jī)制處理。兩種類型數(shù)據(jù)實(shí)現(xiàn)有序化后，統(tǒng)一交予傳統(tǒng)關(guān)系數(shù)據(jù)庫構(gòu)建關(guān)系化模型并展示，既能實(shí)現(xiàn)關(guān)鍵經(jīng)營分析數(shù)據(jù)的高效處理，又能滿足無序的日志數(shù)據(jù)規(guī)模化處理需求。通過剖析其總體架構(gòu)、主要功能和關(guān)鍵技術(shù)，從而為其他業(yè)務(wù)平臺(tái)大數(shù)據(jù)分析建設(shè)和改造提供借鑒和參考。

關(guān)鍵詞：大數(shù)據(jù)；游戲平臺(tái)；數(shù)據(jù)挖掘

一、引言

為了實(shí)現(xiàn)游戲平臺(tái)的海量數(shù)據(jù)從碎片化轉(zhuǎn)化為規(guī)律化，從無序發(fā)展至有序，需要對(duì)分布式+關(guān)系數(shù)據(jù)混合多元的大數(shù)據(jù)處理機(jī)制進(jìn)行架構(gòu)?；谟螒蚱脚_(tái)基礎(chǔ)采集數(shù)據(jù)源的海量與無序特征，構(gòu)建分布式機(jī)制進(jìn)行數(shù)據(jù)處理，轉(zhuǎn)化無序數(shù)據(jù)為有序數(shù)據(jù)；同時(shí)規(guī)范數(shù)據(jù)化處理，進(jìn)一步促使處理速度及展現(xiàn)可靠性的提升，采用關(guān)系數(shù)據(jù)庫構(gòu)建關(guān)系化模型并展示，有利于其它業(yè)務(wù)平臺(tái)大數(shù)據(jù)的建設(shè)和改造進(jìn)行參考和借鑒。

二、大數(shù)據(jù)分析平臺(tái)架構(gòu)的設(shè)計(jì)

淘寶、Google等互聯(lián)網(wǎng)常見大數(shù)據(jù)分析平臺(tái)支撐電子商務(wù)與網(wǎng)絡(luò)搜索等業(yè)務(wù)，其架構(gòu)為分布式存儲(chǔ)與并行計(jì)算相結(jié)合，匯聚海量服務(wù)器以提升計(jì)算能力，從而實(shí)現(xiàn)響應(yīng)規(guī)模及處理時(shí)效的顯著提高[1]。此類平臺(tái)對(duì)海量網(wǎng)站圖片與信息等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，具有分布式分片及存儲(chǔ)處理等特點(diǎn)。與大數(shù)據(jù)分析平臺(tái)相比，游戲平臺(tái)的海量化程度相對(duì)較低，且投入數(shù)據(jù)分析的服務(wù)器數(shù)量比較有限。所以，處理和分析大數(shù)據(jù)時(shí)，需要同時(shí)兼顧結(jié)構(gòu)化數(shù)據(jù)處理的時(shí)效性與非結(jié)構(gòu)化數(shù)據(jù)分布式處理能力。

游戲大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理技術(shù)具有多元化特征，兼容分布式計(jì)算有利于數(shù)據(jù)處理能力及處理規(guī)模的明顯提升[2]。游戲大數(shù)據(jù)平臺(tái)的總體架構(gòu)主要包括數(shù)據(jù)源采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理及數(shù)據(jù)可視化與數(shù)據(jù)服務(wù)四層內(nèi)容。

（一）數(shù)據(jù)源采集。數(shù)據(jù)源采集獲取原始數(shù)據(jù)的方式有三3種，即游戲平臺(tái)側(cè)、銷售渠道側(cè)及終端側(cè)。 系統(tǒng)內(nèi)置有數(shù)據(jù)采集模塊，便于原始數(shù)據(jù)的采集。1.客戶端統(tǒng)計(jì)SDK：對(duì)用戶行為進(jìn)行采集，用戶數(shù)據(jù)日志通過用戶終端側(cè)上傳至游戲服務(wù)端，由服務(wù)端完成對(duì)日志的接收。2.渠道數(shù)據(jù)采集：設(shè)計(jì)包括新聞、鏈接等內(nèi)容在內(nèi)的內(nèi)置代碼，完成對(duì)用戶點(diǎn)擊、下載等相關(guān)數(shù)據(jù)的收集。3.平臺(tái)數(shù)據(jù)收集：用戶下載等行為觸發(fā)游戲平臺(tái)對(duì)應(yīng)的業(yè)務(wù)接口，接口生成日志文件并儲(chǔ)存在指定目錄當(dāng)中。

（二）數(shù)據(jù)存儲(chǔ)。通過三種渠道對(duì)相關(guān)數(shù)據(jù)進(jìn)行收集，同時(shí)依據(jù)數(shù)據(jù)的不同形態(tài)，完成對(duì)數(shù)據(jù)非結(jié)構(gòu)化和結(jié)構(gòu)化的分類，并在游戲平臺(tái)數(shù)據(jù)資源池中對(duì)相關(guān)數(shù)據(jù)進(jìn)行存儲(chǔ)。1.結(jié)構(gòu)化數(shù)據(jù)：用戶和渠道具有二維表結(jié)構(gòu)邏輯表達(dá)特性和基本屬性的有關(guān)數(shù)據(jù)。2.非機(jī)構(gòu)化數(shù)據(jù)：用戶登錄、下載等分時(shí)代的碎片化數(shù)據(jù)。3.文本數(shù)據(jù)：如游戲內(nèi)容運(yùn)行日志等采用文本方式進(jìn)行存儲(chǔ)的數(shù)據(jù)。

（三）數(shù)據(jù)處理。結(jié)構(gòu)化匯總、結(jié)構(gòu)化轉(zhuǎn)化、分布式分片處理是數(shù)據(jù)處理的三個(gè)重要部分。其中，分布式分片處理是將無序和混亂的數(shù)據(jù)按照時(shí)間邏輯進(jìn)行分片處理，由不同的服務(wù)器完成對(duì)相關(guān)數(shù)據(jù)的分布式處理；結(jié)構(gòu)化轉(zhuǎn)化是將上述方式處理后的數(shù)據(jù)按照區(qū)域、時(shí)間等維度轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)；結(jié)構(gòu)化匯總是指結(jié)構(gòu)化數(shù)據(jù)的匯總及延伸數(shù)據(jù)的計(jì)算。

（四）數(shù)據(jù)可視化與服務(wù)。采用圖表形式實(shí)現(xiàn)大數(shù)據(jù)的可視化展示，便于向渠道商、內(nèi)容商提供數(shù)據(jù)服務(wù)。大數(shù)據(jù)平臺(tái)的關(guān)鍵點(diǎn)為：構(gòu)建創(chuàng)新處理機(jī)制，使其具有海量數(shù)據(jù)分析能力的同時(shí)滿足數(shù)據(jù)處理的精確要求；基于游戲平臺(tái)實(shí)現(xiàn)海量數(shù)據(jù)分布式計(jì)算的存儲(chǔ)及處理；實(shí)現(xiàn)數(shù)據(jù)的可視化展示，以滿足對(duì)數(shù)據(jù)分析的需求。

三、游戲數(shù)據(jù)處理機(jī)制的產(chǎn)生

（一）數(shù)據(jù)源。游戲業(yè)務(wù)中，手游業(yè)務(wù)產(chǎn)生的數(shù)據(jù)與其它游戲業(yè)務(wù)存在不同差異，其時(shí)效性與碎片化比較突出，數(shù)據(jù)處理對(duì)時(shí)效的要求較高。1.時(shí)效性：手游用戶游玩的生命周期一般較短，且游戲內(nèi)容的更新速度快，所以需要對(duì)游戲內(nèi)容的生命周期進(jìn)行分析，同時(shí)對(duì)有關(guān)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。2.碎片化：手游在用戶游玩時(shí)間及持續(xù)時(shí)長上具有隨機(jī)性，突出表現(xiàn)為碎片化特性，實(shí)現(xiàn)相關(guān)數(shù)據(jù)的實(shí)時(shí)采集和處理，是提升海量數(shù)據(jù)處理效率的關(guān)鍵。

游戲大數(shù)據(jù)平臺(tái)的數(shù)據(jù)源通過客戶端及相關(guān)渠道獲取原始數(shù)據(jù)，包括變量和常量兩大類數(shù)據(jù)[3]。常量數(shù)據(jù)在一段時(shí)間內(nèi)保持不變，如渠道編號(hào)等，以數(shù)據(jù)形式對(duì)廠商、內(nèi)容等進(jìn)行展示，是數(shù)據(jù)分析及邏輯處理的重要基礎(chǔ)；變量數(shù)據(jù)則包括渠道、內(nèi)容、用戶在內(nèi)的相關(guān)數(shù)據(jù)。

（二）大數(shù)據(jù)處理的多元化。游戲內(nèi)容下載、用戶日常登錄等碎片化數(shù)據(jù)一般以零散的日志形式存在，F(xiàn)lume技術(shù)用以采集海量數(shù)據(jù)，Hadoop分布式模式用以處理數(shù)據(jù)，Oracle技術(shù)則用以處理與經(jīng)營分析相關(guān)的關(guān)鍵數(shù)據(jù)，以滿足數(shù)據(jù)查詢和統(tǒng)計(jì)的實(shí)時(shí)與精確化要求。對(duì)此，只有采用多元化混搭模式的據(jù)處理機(jī)制，才能滿足大數(shù)據(jù)平臺(tái)的上述相關(guān)要求。1.數(shù)據(jù)分類處理：Hadoop分布式處理非機(jī)構(gòu)化數(shù)據(jù)；Oracle處理結(jié)構(gòu)化數(shù)據(jù)中高價(jià)值密度數(shù)據(jù)；Hadoop處理結(jié)構(gòu)化數(shù)據(jù)中低價(jià)值密度數(shù)據(jù)，可促使數(shù)據(jù)處理效率的有效提升。2.數(shù)據(jù)交互模式：Hadoop分布式處理低價(jià)值密度海量數(shù)據(jù)及無序數(shù)據(jù)，之后將有關(guān)數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，借助Hive技術(shù)進(jìn)行SQL查詢數(shù)據(jù)表的映射，最后由Oracle完成邏輯運(yùn)算[4]。通過多元化混合制數(shù)據(jù)的分析與處理，有利于相關(guān)數(shù)據(jù)的全面分析，同時(shí)滿足了經(jīng)營分析數(shù)據(jù)的高效處理及平臺(tái)精細(xì)化運(yùn)營處理的需求。

四、分布式計(jì)算體系及實(shí)踐

（一）分布式計(jì)算體系。分布式計(jì)算體系以HDFS為基礎(chǔ)，借助HBase和Hadoop架構(gòu)實(shí)現(xiàn)，其具體模塊及其作用如下：1.HDFS：實(shí)現(xiàn)對(duì)分布式文件系統(tǒng)的構(gòu)建。以時(shí)間作為準(zhǔn)線形成數(shù)據(jù)模型，完成對(duì)文件的分解和分塊，并提交給不同服務(wù)器進(jìn)行處理。2.HBase：分布式存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)。基于PC服務(wù)器，借助HBase技術(shù)構(gòu)建大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。3.Hadoop：分布式處理架構(gòu)的構(gòu)建?；诓煌?wù)器實(shí)現(xiàn)各分塊數(shù)據(jù)的并行計(jì)算，提高數(shù)據(jù)處理速度和效率。4.Storm：降低數(shù)據(jù)處理的復(fù)雜性。支持Java、Ruby等語言，提升數(shù)據(jù)處理效率。5.Flume：采集海量日志數(shù)據(jù)。以分布式模式對(duì)海量日志進(jìn)行處理。6.ZooKeeper：一致性服務(wù)。ZooKeeper與Flume結(jié)合可實(shí)現(xiàn)日志數(shù)據(jù)節(jié)點(diǎn)的協(xié)同工作。7.API編程：采用HBase API和MapReduce編程架構(gòu)對(duì)分布式數(shù)據(jù)進(jìn)行編程處理。8.Hive：結(jié)構(gòu)化處理。借助Hadoop的數(shù)據(jù)倉庫，映射結(jié)構(gòu)化處理后的數(shù)據(jù)為數(shù)據(jù)庫表，同時(shí)提供SQL查詢功能。9.Oracle：處理經(jīng)營分析及分布式處理完成結(jié)構(gòu)化數(shù)據(jù)。

（二）分布式計(jì)算體系的實(shí)踐。分布式文件體系運(yùn)用主從結(jié)構(gòu)模型，服務(wù)器HDFS的名稱節(jié)點(diǎn)[5]（NameNode）為192.168.80.31，4個(gè)數(shù)據(jù)節(jié)點(diǎn)（DataNode）分別為192.168.80.35、192.168.80.33、192.168.80.32及192.168.80.34，實(shí)現(xiàn)對(duì)分布式文件系統(tǒng)集群的構(gòu)建。節(jié)點(diǎn)192.168.80.31對(duì)元數(shù)據(jù)信息進(jìn)行管理，統(tǒng)一文件名，依據(jù)對(duì)應(yīng)的時(shí)間將整體文件戳進(jìn)數(shù)據(jù)分塊之中，由DataNode進(jìn)行讀寫；其余服務(wù)器對(duì)客戶端的文件進(jìn)行處理和讀寫，同時(shí)借助NameNode的調(diào)度，完成數(shù)據(jù)庫相關(guān)工作。存儲(chǔ)系統(tǒng)方面以HDFS為基礎(chǔ)，在HDFS的主節(jié)點(diǎn)上進(jìn)行Hmaster服務(wù)器的構(gòu)建，實(shí)現(xiàn)對(duì)HRegion服務(wù)器的管理。HBase邏輯上的表包括多個(gè)區(qū)域，并在HRegion服務(wù)器群中得以存儲(chǔ)?；谒膫€(gè)從節(jié)點(diǎn)對(duì)HRegion服務(wù)器進(jìn)行構(gòu)建，其主要對(duì)數(shù)據(jù)處理的I/O請(qǐng)求進(jìn)行響應(yīng)，由HDFS完成數(shù)據(jù)讀寫工作。服務(wù)器內(nèi)部包括一系列的HRegion對(duì)象，每個(gè)對(duì)象與表中的region相對(duì)應(yīng)，多個(gè)HStore共同組成HRegion，且每個(gè)HStore與表中的集中存儲(chǔ)單元相對(duì)應(yīng)。

五、大數(shù)據(jù)的可視化展示

大數(shù)據(jù)分析平臺(tái)處理后，為了便于對(duì)運(yùn)營的精細(xì)化指導(dǎo)，需要以圖表化方式進(jìn)行直觀展示。依據(jù)處理數(shù)據(jù)類型的不同，一般分為實(shí)時(shí)和非實(shí)時(shí)運(yùn)營數(shù)據(jù)兩種方式。1.實(shí)時(shí)運(yùn)營數(shù)據(jù)：即當(dāng)前一段時(shí)間內(nèi)的客戶端下載、實(shí)時(shí)付費(fèi)及運(yùn)營數(shù)據(jù)監(jiān)控等；通過數(shù)據(jù)可視化系的運(yùn)用，借助手持終可直接完成刷新、開關(guān)等操作。2.非實(shí)時(shí)運(yùn)營數(shù)據(jù)：即一段時(shí)間內(nèi)數(shù)據(jù)的規(guī)律或趨勢(shì)；其數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)具有拖拽行列、配置動(dòng)態(tài)報(bào)表等優(yōu)勢(shì)。實(shí)時(shí)數(shù)據(jù)根據(jù)運(yùn)營的實(shí)時(shí)要求，實(shí)現(xiàn)對(duì)平臺(tái)運(yùn)營情況的展示。借助Flume技術(shù)對(duì)生產(chǎn)日志進(jìn)行采集，由Storm完成實(shí)時(shí)統(tǒng)計(jì)工作，可獲取實(shí)時(shí)收入或下載量等相關(guān)數(shù)據(jù)。非實(shí)時(shí)運(yùn)營數(shù)據(jù)借助Oracle查詢功能對(duì)數(shù)據(jù)表進(jìn)行分析，由Excel插件技術(shù)完成相應(yīng)圖表的展示工作。在轉(zhuǎn)化過程中，對(duì)數(shù)據(jù)需求屬性進(jìn)行分析，通過圖標(biāo)格式的選擇可完成對(duì)分析和處理效果的展示。

基于對(duì)游戲大數(shù)據(jù)平臺(tái)的研究與實(shí)踐，針對(duì)游戲難度的設(shè)置和推進(jìn)，實(shí)現(xiàn)游戲平衡，以增強(qiáng)玩家對(duì)游戲的體驗(yàn)。在游戲關(guān)卡的設(shè)定中，玩家對(duì)困難度的感知應(yīng)該是不斷上升的。如果玩家具備的能力較低，好的游戲體驗(yàn)就會(huì)在短暫的休息當(dāng)中丟失。因此，游戲關(guān)卡“挑戰(zhàn)—技能”高度平衡的合理設(shè)計(jì)至關(guān)重要。一個(gè)平衡的游戲，對(duì)玩家是公平的；困難度與難度級(jí)別的設(shè)定應(yīng)當(dāng)一致，而根據(jù)對(duì)玩家游戲時(shí)間、過關(guān)程度等有關(guān)數(shù)據(jù)的采集和分析處理，可以在一定的范圍內(nèi)對(duì)游戲平衡及難度進(jìn)行可高可低的設(shè)置，但變化不能過于突出。與此同時(shí)，為迎合玩家的進(jìn)步水平，挑戰(zhàn)難度的逐步推進(jìn)及挑戰(zhàn)難度的逐級(jí)設(shè)置也是十分重要的。

結(jié)語

游戲大數(shù)據(jù)平臺(tái)的構(gòu)建利用無序數(shù)據(jù)的分布式處理及結(jié)構(gòu)化數(shù)據(jù)處理效能的雙重優(yōu)勢(shì)獲得平臺(tái)的應(yīng)用及實(shí)踐，其中實(shí)時(shí)數(shù)據(jù)采集及數(shù)據(jù)存儲(chǔ)均有效支撐了業(yè)務(wù)精細(xì)化運(yùn)營需求，通過數(shù)據(jù)基礎(chǔ)模型的構(gòu)建，為其它業(yè)務(wù)平臺(tái)的數(shù)據(jù)分析提供了重要的參考依據(jù)。（作者單位：中國人民大學(xué)）

參考文獻(xiàn)：

[1]鄭耀東.基于Hadoop的百度游戲數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京交通大學(xué)，2014.

[2]尤海浪，錢鋒，黃祥為，等.基于大數(shù)據(jù)挖掘構(gòu)建游戲平臺(tái)個(gè)性化推薦系統(tǒng)的研究與實(shí)踐[J].電信科學(xué)，2014，30（10）：27-32.

[3]劉思遠(yuǎn).19wan網(wǎng)絡(luò)在線游戲平臺(tái)安全系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué)，2014.

[4]陳東偉，翁省輝，林潔文，等.基于移動(dòng)平臺(tái)的腦電波游戲設(shè)計(jì)與實(shí)現(xiàn)[J].信息技術(shù)，2014，10（2）：160-162.

[5]王寧.大型在線游戲平臺(tái)的安全系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].華中科技大學(xué)，2010.