劉晶晶

近日，由經(jīng)管之家（原人大經(jīng)濟(jì)論壇）主辦的2016大數(shù)據(jù)生態(tài)縱覽峰會(huì)如期在京舉行。會(huì)上，業(yè)界同仁通過大數(shù)據(jù)的技術(shù)手段發(fā)現(xiàn)業(yè)務(wù)問題，推敲問題原因進(jìn)而演變成可落地的解決方法，把大數(shù)據(jù)在實(shí)踐中的經(jīng)驗(yàn)毫無保留地進(jìn)行互動(dòng)探討。其中永洪科技副總監(jiān)謝玲，為我們帶來了如何打造一站式大數(shù)據(jù)分析平臺(tái)的相關(guān)思考，表達(dá)了通過大數(shù)據(jù)平臺(tái)對(duì)企業(yè)分析和企業(yè)戰(zhàn)略幫助的殷切期望。

何為“一站式”

一站式大數(shù)據(jù)平臺(tái)包括三個(gè)階段，數(shù)據(jù)準(zhǔn)備、探索式的數(shù)據(jù)分析以及深度分析。為什么將這三個(gè)方面歸總一起構(gòu)建大數(shù)據(jù)分析平臺(tái)呢？因?yàn)檫@與數(shù)據(jù)分析的三個(gè)階段相匹配?！拔覀?cè)诜治鲞^程中會(huì)對(duì)接到很多數(shù)據(jù)，這些數(shù)據(jù)來自企業(yè)各自的系統(tǒng)，包括外部的互聯(lián)網(wǎng)的數(shù)據(jù)或表格文本日志數(shù)據(jù)。這些數(shù)據(jù)可能相對(duì)原始，粗粒程度較高，距離最終的分析與處理還有一定過程。怎么把數(shù)據(jù)進(jìn)行清理和整合，并完成一個(gè)輕度建模，這就需要自服的數(shù)據(jù)準(zhǔn)備?！敝x玲表示。

接下來的數(shù)據(jù)清洗可以使用中間數(shù)據(jù)模型，隨后就可以進(jìn)行探索式的分析。這個(gè)階段由業(yè)務(wù)人員或IT人員進(jìn)行操作。拿到數(shù)據(jù)后，想做怎樣的組合進(jìn)行指標(biāo)和維度的匹配，然后選擇合適的計(jì)算方式和展現(xiàn)形式，最后通過符合個(gè)性的探索模式進(jìn)行深度分析，這就需要可以靈活操作的分析階段。

下一個(gè)階段可能就會(huì)涉及針對(duì)一些組合分析不能滿足的場景做一些挖掘類的分析，其中包括對(duì)一些數(shù)據(jù)本身所涉及的一些未知、特征不明顯或維度不確定來進(jìn)行分析，這就可能需要利用挖掘算法來支撐。

眾所周知，數(shù)據(jù)清洗的過程非常艱辛，需要將數(shù)據(jù)建成一個(gè)不策略的清洗架構(gòu)，建立后進(jìn)行探索式分析。為什么提到這是一個(gè)探索式的過程？數(shù)據(jù)本身要進(jìn)行什么樣的分析，才能達(dá)成一個(gè)靈活多變的過程。例如，針對(duì)銷售業(yè)績進(jìn)行評(píng)估，如果看到一個(gè)銷售業(yè)績發(fā)生下降，常規(guī)來說可能會(huì)進(jìn)行多維度的切換，分析到底哪個(gè)區(qū)域下降或者哪個(gè)時(shí)間范圍內(nèi)下降，呈現(xiàn)連續(xù)下降還是階段性的下降抑或是在人員方面可能會(huì)出現(xiàn)一些其它的特征……這些考量都不是一個(gè)固定的過程，需要隨時(shí)切入與切出的探索式過程才能夠發(fā)現(xiàn)其中的價(jià)值。

一站式大數(shù)據(jù)平臺(tái)包括幾個(gè)部分，分別是連接數(shù)據(jù)、編輯報(bào)表、查看報(bào)表等不同階段，如果從連接數(shù)據(jù)開始分析，一個(gè)企業(yè)數(shù)據(jù)可能會(huì)連接各種異構(gòu)的數(shù)據(jù)，其中可能會(huì)包括一些關(guān)系型數(shù)據(jù)庫或者表格數(shù)據(jù)以及第三方接口數(shù)據(jù)，把數(shù)據(jù)連接好后，通過平臺(tái)做可視化的組合。例如用戶畫像會(huì)涉及到一些數(shù)據(jù)群，包括從會(huì)員系統(tǒng)輸入的會(huì)員數(shù)據(jù)，其中包含名字、性別、年齡、收入水平等與會(huì)員相關(guān)的一些維度信息和指標(biāo)信息等;從教育系統(tǒng)來的銷售數(shù)據(jù)，甚至還有某個(gè)家電的銷售數(shù)據(jù)，用來衡量產(chǎn)品的購買人群、購買地域以及產(chǎn)品類型，通過平臺(tái)把不同的系統(tǒng)數(shù)據(jù)進(jìn)行整合，進(jìn)一步可以把會(huì)員數(shù)據(jù)和家電數(shù)據(jù)進(jìn)行并項(xiàng)拼接。謝玲認(rèn)為：“如果數(shù)據(jù)是補(bǔ)充更多的維度，橫向的數(shù)據(jù)與維度有機(jī)融合，可以通過左右關(guān)聯(lián)著手去做;如果數(shù)據(jù)本身是一致的，就可以采用上下拼接的方式運(yùn)行系統(tǒng)。”

談及將會(huì)員數(shù)據(jù)與家電數(shù)據(jù)進(jìn)行關(guān)聯(lián)，整個(gè)關(guān)聯(lián)的過程可以通過選擇左關(guān)聯(lián)還是右關(guān)聯(lián)完成，其中關(guān)聯(lián)會(huì)有一個(gè)匹配的自斷。通過會(huì)員ID和銷售的記錄進(jìn)行關(guān)聯(lián)，這樣就獲取了關(guān)聯(lián)好的表結(jié)構(gòu)，關(guān)聯(lián)的過程中并沒有進(jìn)行任何維度的組合或指標(biāo)的加工，但其中都是一些鑲嵌在系統(tǒng)中的細(xì)節(jié)數(shù)據(jù)，這樣保存起來就形成了可利用的模型。

升級(jí)改良傳統(tǒng)

眾所周知，探索式分析會(huì)有怎樣的最佳實(shí)踐，這需要在過程中建立模層與業(yè)務(wù)層進(jìn)行隔離，才能得到一個(gè)探索式的效果。相比于傳統(tǒng)的做法，我們看到大體結(jié)構(gòu)確實(shí)有相似之處，但實(shí)際上卻有本質(zhì)的區(qū)別。作為傳統(tǒng)的BI工具，在連接數(shù)據(jù)源做處理時(shí)采用的是結(jié)構(gòu)化的關(guān)系型數(shù)據(jù)庫。例如，如果處理一億級(jí)別數(shù)據(jù)，可能運(yùn)作起來會(huì)比較慢，在一定程度上甚至?xí)适?shù)據(jù)的靈活性。“當(dāng)我看到銷售組合發(fā)生變化時(shí)，就會(huì)想知道銷售的中位數(shù)是不是也在發(fā)生變化？它的趨勢(shì)是什么樣的情況？這時(shí)候如果需要IT人員回到系統(tǒng)中處理或者做各種調(diào)整，傳統(tǒng)情況可能會(huì)隔天或者隔周才能提交結(jié)果，這樣就大大喪失了靈活性?！敝x玲強(qiáng)調(diào)。

面對(duì)在業(yè)務(wù)過程中越來越多的企業(yè)選擇敏捷性的工具使用的趨勢(shì)，兩種本質(zhì)上也會(huì)存在些許區(qū)別。傳統(tǒng)方式對(duì)企業(yè)洞察是有限的，探索式分析可以完全釋放價(jià)值。我們對(duì)于傳統(tǒng)工具只能做固定報(bào)表呈現(xiàn)，給領(lǐng)導(dǎo)者使用;當(dāng)業(yè)務(wù)人員不能很好去使用的時(shí)候，它的價(jià)值是很難得到體現(xiàn)，只有少數(shù)人或者說只有IT人員才可以操作這個(gè)系統(tǒng)，其實(shí)大量的業(yè)務(wù)人員的很多需求是無法得到解答。

運(yùn)用傳統(tǒng)方式處理數(shù)據(jù)量龐大的場景下，會(huì)做很多提前的預(yù)熱和處理，但如果運(yùn)用新技術(shù)做海量數(shù)據(jù)的實(shí)施處理就不需要這樣的流程。從企業(yè)的長遠(yuǎn)價(jià)值來看，通常只是局限看固定報(bào)表，固定報(bào)表呈現(xiàn)出怎樣的結(jié)果就是怎樣的結(jié)果，進(jìn)而僵化了整個(gè)的思維模式。大家通過看固定結(jié)果逐漸忽視了大數(shù)據(jù)的價(jià)值。通常講求提高性能，傳統(tǒng)系統(tǒng)在同樣的機(jī)器環(huán)境下，只能處理大概三個(gè)月或者五個(gè)月的數(shù)據(jù)，用新型的系統(tǒng)可以著手處理五年以上的數(shù)據(jù)，提高整體視野，這個(gè)價(jià)值是有所區(qū)別的。

在一個(gè)業(yè)務(wù)型的企業(yè)中，IT技術(shù)人員本身偏少，只占整體企業(yè)人員的10%以下，在這種情況下對(duì)于具有深度挖掘能力的數(shù)據(jù)科學(xué)家自然又是少之又少。但企業(yè)在業(yè)務(wù)分析過程中可能會(huì)涉及到一些挖掘的算法來幫助解答問題。例如對(duì)于如此龐大數(shù)量的銷售數(shù)據(jù)以及用戶數(shù)據(jù)，哪些用戶屬于高價(jià)值的用戶還是低價(jià)值用戶，怎樣分類出高價(jià)值用戶然后提供一個(gè)高黏性的銷售策略，以及對(duì)于低價(jià)值用戶怎樣通過其它策略去觸動(dòng)，促使其向中價(jià)值和高價(jià)值發(fā)展……不同的數(shù)據(jù)對(duì)應(yīng)的銷售策略是不一樣的，這個(gè)目標(biāo)非常明確，但如何通過業(yè)務(wù)員發(fā)現(xiàn)這樣的結(jié)果，這就需要一站式大數(shù)據(jù)分析平臺(tái)通過輸入一些少量的參數(shù)才能達(dá)到滿意的效果。

打造包括數(shù)據(jù)建模、數(shù)據(jù)制作與分析以及深度分析一站式大數(shù)據(jù)平臺(tái)，通過機(jī)器應(yīng)用的前端挖掘價(jià)值是目前開發(fā)大數(shù)據(jù)價(jià)值的有效工作之一。我們認(rèn)為大數(shù)據(jù)的價(jià)值開發(fā)是起點(diǎn)而不是終點(diǎn)，通過不斷地細(xì)分與比較得到大數(shù)據(jù)背后隱藏的利益點(diǎn)才最重要。

在大數(shù)據(jù)時(shí)代，個(gè)人、企業(yè)和機(jī)構(gòu)都會(huì)面臨大數(shù)據(jù)的問題，建設(shè)面向服務(wù)的大數(shù)據(jù)平臺(tái)，為眾多的中小企業(yè)和個(gè)人用戶提供大數(shù)據(jù)處理和分析的能力，將成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的重要方向之一。

相關(guān)鏈接

面向服務(wù)的大數(shù)據(jù)分析平臺(tái)以區(qū)域性智能數(shù)據(jù)中心及高速互聯(lián)網(wǎng)為基礎(chǔ)設(shè)施，以互聯(lián)網(wǎng)服務(wù)體系為架構(gòu)，以大數(shù)據(jù)存儲(chǔ)、處理、挖掘和交互式可視化分析等關(guān)鍵技術(shù)為支撐，通過多樣化移動(dòng)智能終端及移動(dòng)互聯(lián)網(wǎng)為用戶提供數(shù)據(jù)存儲(chǔ)、管理以及各種分析服務(wù)。

商業(yè)應(yīng)用是大數(shù)據(jù)分析平臺(tái)的發(fā)展目標(biāo)之一。隨著我國企業(yè)信息化程度和水平不斷提高，越來越多的企業(yè)需要用大數(shù)據(jù)分析能力來提高競爭力。

在互聯(lián)網(wǎng)、電子商務(wù)、金融、電信、物流等數(shù)據(jù)驅(qū)動(dòng)型行業(yè)中，客戶分群、行為分析、關(guān)系管理、市場營銷、廣告投放、業(yè)務(wù)優(yōu)化、風(fēng)險(xiǎn)管理等企業(yè)核心業(yè)務(wù)越來越依賴于對(duì)數(shù)據(jù)的有效分析與挖掘。