程夢瑤

“融匯全景數(shù)據(jù)，賦能核心業(yè)務”，這是小米大數(shù)據(jù)團隊成立5年來，對自身定位的一種詮釋。通過業(yè)務與技術(shù)的雙輪驅(qū)動，依托小米多維度的產(chǎn)品矩陣，小米不僅打造了基于核心業(yè)務的大數(shù)據(jù)體系架構(gòu)，更不斷賦能小米生態(tài)鏈企業(yè)。

國際化、新零售、生態(tài)鏈三駕馬車助力小米業(yè)務蓬勃發(fā)展。如今的小米不僅僅是國內(nèi)聲名在外的移動互聯(lián)網(wǎng)公司，同時也是一家智能設備公司，更是一家大數(shù)據(jù)公司。小米“鐵人三項”（硬件、新零售、互聯(lián)網(wǎng)）戰(zhàn)略，都離不開大數(shù)據(jù)的支持。

2014年底，司馬云瑞加入小米公司，并從事大數(shù)據(jù)相關(guān)的研發(fā)工作，此前他曾在微軟工作了十年時間。“最觸動我的，是小米在大數(shù)據(jù)領(lǐng)域的機會?！痹谛∶状髷?shù)據(jù)負責人司馬云瑞看來，小米擁有超過5億臺生態(tài)鏈聯(lián)網(wǎng)設備，這些設備為小米提供了源源不斷的數(shù)據(jù)，加上各種互聯(lián)網(wǎng)服務中匯聚的海量數(shù)據(jù)，構(gòu)成了小米進行數(shù)據(jù)應用和數(shù)據(jù)驅(qū)動的基石。

從用戶畫像到虛擬大腦

自2010年推出MIUI以來，小米生態(tài)圈逐步趨于完善。“我們有很多自研應用，而要想進一步提升用戶體驗，我們就需要更深入地認識和理解用戶。因此，我們需要用戶畫像，這就是小米大數(shù)據(jù)的雛形?！彼抉R云瑞談到。

用戶畫像是通過對用戶的社會屬性、興趣屬性、生活習慣和消費行為等信息進行分析挖掘，從而抽象出的一種標簽化的用戶模型，它可以完美地展現(xiàn)一個用戶的信息全貌。因此，可以看做是企業(yè)應用大數(shù)據(jù)的根基。構(gòu)建用戶畫像，多維度地描繪用戶，并實現(xiàn)精細化、精準運營是小米大數(shù)據(jù)團隊的主要職能之一。

“用戶畫像是我們整個數(shù)據(jù)體系中的核心，把用戶畫像做好實際上是向公司證明，數(shù)據(jù)可以發(fā)揮價值。最直觀的一個方式就是，各個業(yè)務線都可以通過用戶畫像提升用戶體驗。”司馬云瑞介紹道，小米的用戶畫像經(jīng)歷了三個階段的發(fā)展—從最初以預測和統(tǒng)計規(guī)則為基礎(chǔ)的用戶畫像1.0階段，到基于行為的事實標簽、更加精細化的2.0階段，再到提供即時、個性化的標簽、行為、場景和意圖預測的3.0階段。基于小米全生態(tài)、多維度的數(shù)據(jù)資產(chǎn)，小米大數(shù)據(jù)團隊構(gòu)建了豐富的用戶畫像體系，在業(yè)務運營、廣告、互聯(lián)網(wǎng)金融、新零售等各個領(lǐng)域都發(fā)揮了重要作用。

用戶畫像幫助小米實現(xiàn)了對用戶的深入洞察。隨著業(yè)務規(guī)模的擴張，截至上市前小米MIUI全球聯(lián)網(wǎng)激活用戶已超過3億，MIUI月活用戶已超過1.9億，客戶群體不斷在普羅大眾中延展。

通過對用戶群體的深入洞察，小米將公司使命定位為堅持做“感動人心、價格厚道”的產(chǎn)品，讓全球每個人都能享受科技帶來的美好生活。這種定位非常契合目標人群內(nèi)心深處的核心需求。

“對我來說，做用戶畫像就要把用戶的標簽做準，還要把實時場景做好，從而實現(xiàn)智能化。我希望我們的畫像能夠為用戶、為產(chǎn)品提供建議，而不只是冷冰冰的數(shù)據(jù)。”在司馬云瑞看來，小米用戶畫像最終的目標是開發(fā)虛擬大腦，讓小米為用戶提供的每一次服務都變成智能化和個性化的。

業(yè)務與技術(shù)雙輪驅(qū)動，打造大數(shù)據(jù)架構(gòu)

“小米擁有非常豐富的數(shù)據(jù)來源，這些數(shù)據(jù)催生了我們的大數(shù)據(jù)平臺。我們用一種很好的方法把這些數(shù)據(jù)治理好，讓其他業(yè)務團隊可以訪問這些數(shù)據(jù)，這也是小米做大數(shù)據(jù)的驅(qū)動力之一。”司馬云瑞如是說道。

在公司大量業(yè)務的驅(qū)動下，小米大數(shù)據(jù)打造了屬于自己的大數(shù)據(jù)平臺體系架構(gòu)。和很多公司類似，小米的大數(shù)據(jù)框架也包括數(shù)據(jù)采集、存儲、管理、分析、算法和可視化等，但不同之處在于，面對小米“全生態(tài)、多樣性”的海量數(shù)據(jù)，小米大數(shù)據(jù)架構(gòu)旨在從一致性、效率、可控和創(chuàng)新四個方面著力。

當數(shù)據(jù)混亂且隨意時，需要分層治理，降低使用門檻，避免數(shù)據(jù)孤島，解決數(shù)據(jù)一致性的問題?！皵?shù)據(jù)有時候會出現(xiàn)不一致，各自搭建的服務接口都有自己的服務邏輯，很可能造成數(shù)據(jù)服務質(zhì)量的差異性。幾十個服務接口，該如何保證服務的可用性，確實是一個很嚴重的問題。”司馬云瑞談到。

另外，小米大數(shù)據(jù)架構(gòu)體系也從提升業(yè)務接入效率、數(shù)據(jù)服務開發(fā)效率、數(shù)據(jù)查詢性能、數(shù)據(jù)分析效率等方面入手，解決了數(shù)據(jù)處理效率的問題。同時，在質(zhì)量、可控性和合規(guī)性方面，小米也十分謹慎?！半[私是企業(yè)的生命線，小米嚴格遵從歐盟GDPR法規(guī)（歐盟《通用數(shù)據(jù)保護條例》）等相關(guān)隱私保護法規(guī)，保證100%合規(guī)?！彼抉R云瑞補充道。

在創(chuàng)新性方面，小米通過打通全景數(shù)據(jù)，開發(fā)橫向工具，推出了一系列創(chuàng)新性的數(shù)據(jù)產(chǎn)品。對此，司馬云瑞也介紹了小米大數(shù)據(jù)在新零售方面的創(chuàng)新實踐。“我們對新零售的關(guān)注點是要打通線上、線下的數(shù)據(jù)，提升效率。針對新零售我們做了兩件事：

第一，我們基于小米的大數(shù)據(jù)和人工智能技術(shù)，為小米的線下零售體系建立了一套風險控制模型。

第二，我們?yōu)槊恳粋€線下商戶和加盟合作伙伴開發(fā)了信用體系，有了這套信用體系我們就可以數(shù)字化每家商鋪的經(jīng)營和合規(guī)情況，并可以基于信用等級進行個性化、自動化的運營。”司馬云瑞談到。

“數(shù)據(jù)一致了，數(shù)據(jù)質(zhì)量提高了，數(shù)據(jù)服務的能力也提高了，同時，我們還會在這些數(shù)據(jù)服務上做大量的優(yōu)化，比如我們自研了一套代號為UnionSQL的解決方案，其目的是匯總公司所有類SQL的查詢，進行自主優(yōu)化。”司馬云瑞補充道，業(yè)務對數(shù)據(jù)的查詢需求有很多種，UnionSQL將不同的查詢方式封裝起來，業(yè)務人員只需要通過SQL語句就可以直接調(diào)用，極大地提升了開發(fā)效率，并降低了學習成本?！案P(guān)鍵的是，由于有了這個數(shù)據(jù)服務的唯一接口，我們就可以通過自動緩存（比如Kylin等）和機器學習來優(yōu)化慢查詢，所以我們的整個查詢速度會越查越快。”

數(shù)據(jù)驅(qū)動，效率優(yōu)先

小米豐富的數(shù)據(jù)可分為“被動數(shù)據(jù)”和“主動數(shù)據(jù)”?！氨粍訑?shù)據(jù)”是指用戶身邊所處的環(huán)境信息，比如天氣、濕度、交通等數(shù)據(jù)。而“主動數(shù)據(jù)”是指用戶主動獲取信息時所產(chǎn)生的數(shù)據(jù)。小米擁有20多款手機內(nèi)置應用以及近300款智能硬件，通過這些終端設備，小米抓取了龐大的“被動數(shù)據(jù)”+“主動數(shù)據(jù)”，形成了在大數(shù)據(jù)上的獨特優(yōu)勢。

“我們猜測在未來，得益于機器學習、深度學習以及統(tǒng)計分析技術(shù)的發(fā)展，大量的重復性工作將會被替代。所以我們大數(shù)據(jù)團隊的思考重點，就是如何將重復性勞動通過大數(shù)據(jù)的方法來解決?！闭缢抉R云瑞所言，以機器學習、深度學習為基礎(chǔ)的人工智能技術(shù)，將成為數(shù)據(jù)驅(qū)動的重要組成部分。

“我們將數(shù)據(jù)驅(qū)動分為四個層次，輔助層、智能層、創(chuàng)新層、顛覆層。我們在最靠下的輔助層上嘗試運用了眾多人工智能技術(shù)，我們將商業(yè)化數(shù)據(jù)分析過程通過算法進行了自動化智能歸因。輔助層之上是智能層，目前越來越多的業(yè)務，包含推薦和商業(yè)產(chǎn)品等業(yè)務都在使用我們的機器學習算法來提升運營效率。接下來是創(chuàng)新層，一方面要創(chuàng)造一些新的業(yè)務形態(tài)，另一方面我們希望把小米的大量業(yè)務，依靠大數(shù)據(jù)的方法進行整合，重構(gòu)業(yè)務流程，提升業(yè)務效率，因為從本質(zhì)上講，商業(yè)競爭就是效率競爭。最上面的是顛覆層，小米正在嘗試借助人工智能技術(shù)來顛覆某些行業(yè)?！彼抉R云瑞談到。

對小米而言，發(fā)展大數(shù)據(jù)不僅僅是把數(shù)據(jù)收集起來，而是要想盡一切辦法使數(shù)據(jù)發(fā)揮出自身的價值，這也是小米大數(shù)據(jù)團隊的職責所在。

訪談實錄：

Q：中國大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟、《軟件和集成電路》雜志社

A：小米大數(shù)據(jù)負責人司馬云瑞

Q：小米大數(shù)據(jù)團隊主要在做哪些事情？

A：小米大數(shù)據(jù)團隊主要在做三件事：第一件事情是數(shù)據(jù)治理。數(shù)據(jù)治理包含了數(shù)據(jù)收集、存儲、管理等工作，它主要承擔的是平臺化、工具化和管理職責。我們希望把數(shù)據(jù)分層管理起來，這個有點類似于數(shù)據(jù)倉庫的分層結(jié)構(gòu)。第二件事情是用戶畫像。用戶畫像其實要把關(guān)鍵數(shù)據(jù)做好，小米是一家2C公司，對我們來講用戶是最重要的。所以用戶畫像是我們整個數(shù)據(jù)體系的核心。

用戶畫像怎么做呢？我們從一開始的標簽化、行為化到智能化，有一個三步走的體系。第三件事情是數(shù)據(jù)驅(qū)動，也就是如何發(fā)揮我們的數(shù)據(jù)價值。我們把數(shù)據(jù)驅(qū)動分成了四個層面，包括輔助層、智能層、創(chuàng)新層和顛覆層。每個層面實際上都有一系列的產(chǎn)品以及工具來進行輔助開發(fā)，這是我們整個研發(fā)工作的思路和節(jié)奏。

Q：如何理解AI賦能？

A：關(guān)于AI賦能，我會從兩個方面來看，第一個方面是C端，第二個方面是B端。兩者的關(guān)注點和目標是不同的，對于C端來講，AI賦能更多的是在體驗上，我希望用戶體驗更好。

比如，小愛同學很明顯就是一個AI賦能的例子。現(xiàn)在可能看到的小愛同學是一個語音交互系統(tǒng)，實際上它的背后是一個虛擬助手。這其實都是在感知層的賦能，而在認知層上，我們的知識圖譜幫助用戶回答問題，也在逐漸開始發(fā)力，這是可以看到的明顯趨勢。關(guān)于B端的AI賦能，我的理解是這樣一句話，叫做商業(yè)競爭的本質(zhì)其實是效率的競爭，所以在B端我更看中的是效率問題。

Q：小米大數(shù)據(jù)如何賦能生態(tài)鏈？

A：小米大數(shù)據(jù)的部分技術(shù)能力目前已經(jīng)在賦能小米生態(tài)鏈企業(yè)了。小米公司對小米生態(tài)鏈企業(yè)提供了大量支持，比如設計、供應鏈、渠道、品牌，以及各種基礎(chǔ)設施資源。其實小米從最初生態(tài)鏈模式剛起步時，就一直在把公司內(nèi)部的各種能力輸出給他們。現(xiàn)在我們的用戶畫像其實也是對小米生態(tài)鏈企業(yè)提供服務的，而且我們也有計劃把數(shù)據(jù)工場、數(shù)據(jù)智能決策平臺、異常監(jiān)測平臺等解決方案，逐漸對小米生態(tài)鏈企業(yè)開放。

行業(yè)應用案例

案例名稱：借助UnionSQL解決方案全面提升數(shù)據(jù)查詢效率

核心特點：

小米大數(shù)據(jù)承擔著整個公司的數(shù)據(jù)治理工作，倡導利用數(shù)據(jù)金字塔的理念梳理各業(yè)務線數(shù)據(jù)，并通過一站式的數(shù)據(jù)平臺更便捷地實現(xiàn)數(shù)據(jù)的收集、存儲、訪問。

此外，借助用戶畫像平臺、智能分析系統(tǒng)以及UnionSQL解決方案等一系列的數(shù)據(jù)產(chǎn)品與服務，小米大數(shù)據(jù)得以大幅改善公司在數(shù)據(jù)處理、查詢、挖掘等方面的速度與效果，在手機、金融、新零售、品質(zhì)等領(lǐng)域的核心業(yè)務上實現(xiàn)了全面賦能。

應用解讀：

數(shù)據(jù)分析師在為業(yè)務管理者提供決策支持時，需要從多個維度分析業(yè)務數(shù)據(jù)，從不同角度衡量業(yè)務指標，而這就必須進行多維聯(lián)機分析處理OLAP。以往的OLAP面臨著四個痛點：

1.查詢模式多。不同業(yè)務團隊，和同一個業(yè)務團隊在不同時期，對于數(shù)據(jù)分析的需求都不盡相同。查詢數(shù)據(jù)的實時性要求，時間跨度，聚合粒度，涉及的維度和指標都在不斷變化;

2.門檻高。不同的查詢模式，需要采用不同的技術(shù)架構(gòu)，因此這就需要數(shù)據(jù)分析師將多種引擎的查詢方法，并將結(jié)果手動合并;

3.速度慢，更新慢。復雜查詢耗費的時間、資源都很多，查詢速度會被拖慢，但業(yè)務現(xiàn)狀卻要求立刻得到數(shù)據(jù)，從而出現(xiàn)矛盾。此外還有數(shù)據(jù)新鮮度低的問題，很多數(shù)據(jù)并不是實時數(shù)據(jù)，無法實現(xiàn)分鐘級延遲的數(shù)據(jù)查詢。這些因素都會降低業(yè)務運營效率;

4.數(shù)據(jù)質(zhì)量問題。由于數(shù)據(jù)流的復雜性，很難保證所有數(shù)據(jù)統(tǒng)計口徑的一致性，也無法及時發(fā)現(xiàn)并修復數(shù)據(jù)量、數(shù)據(jù)分布的異常變化。

而UnionSQL解決方案，則能很好地解決上述四方面的挑戰(zhàn)，大幅改善數(shù)據(jù)查詢效率，滿足苛刻的業(yè)務需求，更好地通過數(shù)據(jù)驅(qū)動業(yè)務發(fā)展。

應用價值：

UnionSQL解決方案，通過技術(shù)手段有效提升了公司業(yè)務團隊在進行數(shù)據(jù)查詢時的體驗，有針對性地幫助多項工作流程變得“更快、更好”。具體來說，UnionSQL的優(yōu)勢主要體現(xiàn)在以下五個方面：

1.上手快。數(shù)據(jù)分析師不再需要熟悉底層查詢引擎，直接使用SQL語法就能自動完成SQL解析、重排、分發(fā)以及結(jié)果合并。此外還內(nèi)置支持Lambda架構(gòu)，及多機房查詢;

2.更新快?；谛∶讛?shù)據(jù)流服務、ES/Kudu等多種引擎以及Lambda架構(gòu)，可以實現(xiàn)分鐘級數(shù)據(jù)延遲;

3.查詢速度快。基于Kylin等OLAP引擎，通過與計算等手段加速常見查詢模式;

4.越用越快。隨著使用量的增加，系統(tǒng)會識別查詢是否需要切換計算，以及在現(xiàn)有引擎中需要如何進行優(yōu)化。

例如：通過語法解析，發(fā)現(xiàn)多個部門都在使用同一份公共數(shù)據(jù)來統(tǒng)計運營效率。于是在系統(tǒng)的建議下，工程師為該數(shù)據(jù)構(gòu)建Kylin Cube，從而使得業(yè)務方從查詢Spark SQL切換為查詢Kylin，查詢速度得到大幅優(yōu)化。

在整個切換過程中，系統(tǒng)將基于用戶歷史的Spark SQL查詢/Hive SQL查詢，提供Cube構(gòu)建推薦設置，讓用戶可以自動化、無感知地完成遷移;

5.數(shù)據(jù)血緣與數(shù)據(jù)質(zhì)量監(jiān)控。系統(tǒng)基于對數(shù)據(jù)全生命周期的數(shù)據(jù)分布、總量的監(jiān)控，能極大地提高MTTD/MTTR。當某個階段發(fā)現(xiàn)數(shù)據(jù)錯誤時，會及時報警，避免浪費資源進行下游作業(yè)計算。