車品覺

信息及數(shù)據(jù)的收集及處理自古有之，幾千年來變化不大，直到個人電腦的普及才開始出現(xiàn)了極其微妙的改變。首先是帶動著數(shù)據(jù)化的領(lǐng)先企業(yè)包括Google、Amazon、Facebook及中國的BAT， 然后是移動應(yīng)用和人工智能所引起的智能熱潮。再加上物聯(lián)網(wǎng)的加入，讓我們在不知不覺之間每天都在生產(chǎn)著數(shù)據(jù)，甚至消費著數(shù)據(jù)?？梢哉f，幾乎全民都參與在大數(shù)據(jù)的生命周期之中。大數(shù)據(jù)的組成和幾年前很不一樣，因為需求的細分及終端的發(fā)達變得越來越零散。同時數(shù)據(jù)安全的規(guī)管也改變了大家分享數(shù)據(jù)的形式及難度，匯聚數(shù)據(jù)的成本正在不斷提高。但是我們都知道大數(shù)據(jù)的核心價值來自分享，經(jīng)過數(shù)據(jù)的分享增加了預(yù)判及還原現(xiàn)實的可能性。所以成本效應(yīng)成為了企業(yè)及政府機構(gòu)數(shù)據(jù)化的絆腳石。

如今企業(yè)都意識到數(shù)據(jù)是重要的資產(chǎn)，也意識到有效數(shù)據(jù)治理是數(shù)據(jù)資產(chǎn)化的前提，近年本人在國內(nèi)做市政府和一些互聯(lián)網(wǎng)企業(yè)的咨詢專家及顧問，都涉及到如何建立橫向的數(shù)據(jù)治理系統(tǒng)。這個經(jīng)驗最早來自阿里巴巴，當時在企業(yè)飛速的發(fā)展過程中，我們發(fā)現(xiàn)數(shù)據(jù)使用面臨著如下挑戰(zhàn)：

—各部門低水平重復(fù)開發(fā)數(shù)據(jù)集，浪費大量的存儲和計算資源；

—數(shù)據(jù)資源缺乏沉淀機制，導(dǎo)致計算能力的提升和進化非常低效；

—數(shù)據(jù)割據(jù)，算法分離，帶來混亂和質(zhì)量的不確定性；

—業(yè)務(wù)變更時，數(shù)據(jù)及數(shù)據(jù)產(chǎn)品反應(yīng)不及時；

—組織架構(gòu)制約了數(shù)據(jù)的共建和共享，缺乏標準及激勵機制。

經(jīng)過內(nèi)部總結(jié)發(fā)現(xiàn)，數(shù)據(jù)的“匯管用”過程中伴隨著三個現(xiàn)象特點：數(shù)字業(yè)務(wù)變化速度非?？?、數(shù)據(jù)處理技術(shù)及方法都很類似、數(shù)據(jù)及算法中間層能產(chǎn)生巨大效能。因此，做好數(shù)據(jù)治理工作成為當時筆者在阿里巴巴的主要任務(wù)，也隨之誕生了阿里數(shù)據(jù)中臺。

無獨有偶，企業(yè)內(nèi)的一些數(shù)據(jù)治理問題，在各地的政府機構(gòu)內(nèi)部也在重復(fù)發(fā)生。在缺乏頂層設(shè)計之下，數(shù)字化步伐都在追隨各個職能部門的發(fā)展，數(shù)據(jù)體系也是基于業(yè)務(wù)單元垂直積累，從而形成了煙囪式體系。垂直式數(shù)據(jù)體系的優(yōu)點是緊貼場景反應(yīng)敏捷，缺點是數(shù)據(jù)分散、不標淮，難以共用關(guān)聯(lián)成為合力，大數(shù)據(jù)價值優(yōu)勢被削弱。此外，煙囪式數(shù)據(jù)體系還會造成混亂的數(shù)據(jù)調(diào)用和拷貝，以及系統(tǒng)功能建設(shè)和維護帶來的重復(fù)投資，不僅造成人力、財力、資源的浪費，更重要的是時間浪費以及數(shù)據(jù)質(zhì)量的參差不齊！在目前高速發(fā)展的互聯(lián)網(wǎng)市場大環(huán)境下，商機是稍縱即逝的。

在認同大數(shù)據(jù)是未來創(chuàng)新核心的前提下，需要把數(shù)據(jù)戰(zhàn)略的先進性、前瞻性放到優(yōu)先考慮位置。否則大數(shù)據(jù)的能力會隨著粗放式運營而變得停滯不前，淪為有名無實；數(shù)據(jù)愈亂，建立大數(shù)據(jù)的能力門檻愈高，從信息化到數(shù)據(jù)化的時間節(jié)點都會影響治理難度。管理層必須理解，從信息化到數(shù)據(jù)化再到應(yīng)用，必須有強大的技術(shù)支持、靈活的政策保障以及開放的生態(tài)支撐，方可馬到功成。

數(shù)據(jù)共享是數(shù)據(jù)生態(tài)的核心

為了促進企業(yè)內(nèi)部對于數(shù)據(jù)挖掘、更新、使用的效率，本人在阿里內(nèi)部嘗試建立了數(shù)據(jù)公共層，首先是對于線上及離線的數(shù)據(jù)按交叉使用量、緊缺風(fēng)險等進行盤點，基于現(xiàn)況及未來需要作中長期戰(zhàn)略預(yù)估。這里匯聚了阿里內(nèi)部共用得最頻繁或者最關(guān)鍵的數(shù)據(jù)，這些資源有如生產(chǎn)中所需要的必備部件，可以加快生產(chǎn)速度及降低重復(fù)性。公共層作為數(shù)據(jù)中臺的核心部分，積累了最關(guān)鍵的數(shù)據(jù)資源，同時也是最具備品質(zhì)保障的主數(shù)據(jù)。

簡單地看，數(shù)據(jù)中臺有點像一條生產(chǎn)流水線，從原始數(shù)據(jù)收集，到提煉成穩(wěn)定的生產(chǎn)流程。在這個制作過程中，需要有一套生產(chǎn)管理流程體系，用以保證數(shù)據(jù)品質(zhì)、時效性、一致性等關(guān)鍵點。但與生產(chǎn)流水線的差別在于，數(shù)據(jù)中臺不僅需要關(guān)注數(shù)據(jù)生產(chǎn)過程中的效率問題，中臺實際上還具備以下能力：1.如何收集數(shù)據(jù)被消費之后的反饋閉環(huán)；2.解決多源異構(gòu)的數(shù)據(jù)組合的效率；3.具備業(yè)務(wù)發(fā)生變化時的快速自適應(yīng)力；4.保障數(shù)據(jù)服務(wù)的穩(wěn)定性。

數(shù)據(jù)中臺圍繞數(shù)據(jù)生命周期的各個階段（產(chǎn)生、存儲、增強、使用、傳輸、共用共創(chuàng)、更新、銷毀等）而建立，服務(wù)的對象可以是IT研發(fā)者、數(shù)據(jù)科學(xué)專家、產(chǎn)品經(jīng)理、分析師、決策管理者等。使用者會因需要而加工數(shù)據(jù)，情況有點像石油提煉一樣。而數(shù)據(jù)生產(chǎn)過程中還有一種極其重要的數(shù)據(jù)，被稱為元數(shù)據(jù)，又叫數(shù)據(jù)中的數(shù)據(jù)。對元數(shù)據(jù)管理得當，就可以讓數(shù)據(jù)在生產(chǎn)過程變得更精淮、穩(wěn)定及可被追溯。元數(shù)據(jù)管理須記錄生產(chǎn)過程中各項數(shù)據(jù)因素，包括生命周期、調(diào)度情況、品質(zhì)保障、安全監(jiān)控、數(shù)據(jù)字典、數(shù)據(jù)血緣關(guān)系等。元數(shù)據(jù)是數(shù)據(jù)中臺的精髓，有利于數(shù)據(jù)在生命周期中的監(jiān)督、成本管理或分攤、追蹤數(shù)據(jù)價值。因此，一般數(shù)據(jù)中臺的價值體現(xiàn)可以根據(jù)數(shù)據(jù)開發(fā)能否化繁為簡作為考核，進一步理解就是開發(fā)成本的節(jié)?。ǖ谖宸N能力）。

數(shù)據(jù)服務(wù)賦能快速創(chuàng)新

一切數(shù)據(jù)都是因業(yè)務(wù)目標驅(qū)動而形成，產(chǎn)生于業(yè)務(wù)且又服務(wù)于業(yè)務(wù)。通過松耦合的數(shù)據(jù)服務(wù)帶來業(yè)務(wù)的復(fù)用，例如淘寶和天貓有著各自的買家評價服務(wù)，但在防止刷屏的時候會使用相同的數(shù)據(jù)模型鑒別虛假評價。所以即便業(yè)務(wù)場景不一樣，但很多的基礎(chǔ)數(shù)據(jù)模型及算法可以被重復(fù)使用服務(wù)。

經(jīng)過清晰的沉淀，算法可以通過重新編排、組合，成為服務(wù)接口響應(yīng)業(yè)務(wù)的基本需求。由于具備快速編排、組合數(shù)據(jù)服務(wù)的能力，企業(yè)可以以較小的成本投入來構(gòu)建出一個創(chuàng)新的前端業(yè)務(wù)。這是傳統(tǒng)模式構(gòu)建的系統(tǒng)中前所未有的，容許快速試錯，更適合今天具有互聯(lián)網(wǎng)精神的輕公司模式。

需要相應(yīng)的組織架構(gòu)與激勵機制

任何完善的體系建設(shè)依靠的不僅是技術(shù)工具，缺乏完善的組織結(jié)構(gòu)及激勵機制便不可能令中臺順暢運行。多年來的經(jīng)驗證明了技術(shù)架構(gòu)和治理組織的建立同樣重要，而近年很多企業(yè)及政府也紛紛設(shè)立獨立數(shù)據(jù)治理委員會。前面提到數(shù)據(jù)中臺的核心理念是“以通促用，以用帶存”，這里的“通”不僅是數(shù)據(jù)的聯(lián)通，也關(guān)乎人為組織結(jié)構(gòu)的聯(lián)通，而且是橫（功能部門之間）、縱（數(shù)據(jù)生命周期）都要通。

與此同時，數(shù)據(jù)中臺管理需要制定并形成有效的規(guī)范，由治理小組從實例中由下而上地提煉出大綱，并由固定團隊負責(zé)推進、制定工作機制（互惠互利及激勵方式）、優(yōu)先資源配置等。

構(gòu)建符合互聯(lián)網(wǎng)大數(shù)據(jù)時代的大數(shù)據(jù)中臺

數(shù)據(jù)技術(shù)“中臺”之所以成為攻堅大數(shù)據(jù)能力的重要途徑，一來因為數(shù)據(jù)中臺確實解決了數(shù)據(jù)豎井（之前各自為政）問題，其次是更有利于推動輕盈的前臺業(yè)務(wù)創(chuàng)新，同時能把應(yīng)用中的數(shù)據(jù)回流，形成更豐富的中臺資源。數(shù)據(jù)中臺作為推動數(shù)據(jù)化營運的利器，同時也能成為營運數(shù)據(jù)的中心（兩者結(jié)合為閉環(huán)）。多年的經(jīng)驗筆者可以大膽地說，數(shù)據(jù)中臺的建立刻不容緩，因為在大數(shù)據(jù)時代，業(yè)務(wù)與數(shù)據(jù)之間是強聯(lián)系，但數(shù)據(jù)的內(nèi)容及結(jié)構(gòu)更新速度非?？?；數(shù)據(jù)算法上的技術(shù)很類同，但各師各法；數(shù)據(jù)質(zhì)量人人都說重要，但應(yīng)該由誰負責(zé)任？

數(shù)據(jù)及其服務(wù)能力的匯聚與集中管控，很大程度會促進企業(yè)一體化運維的能力，歸納起來講，互聯(lián)網(wǎng)大數(shù)據(jù)時代的中臺特點是：一方面具備海量多源異構(gòu)數(shù)據(jù)的整合能力；另一方面促進創(chuàng)新且變化多端的業(yè)務(wù)前端服務(wù)能力。大數(shù)據(jù)中臺的建設(shè)及行業(yè)普及到如今還是摸著石頭過河的狀態(tài)，任何中臺都是在不斷互動回饋的過程中成長出來的，而非統(tǒng)一搭建而成功。但是可以肯定，這是個“一把手”工程，必須秉持打破傳統(tǒng)管理的決心，做好長期斗爭的準備。