MineData位置大數(shù)據(jù)平臺的三大本領(lǐng):聚?看?算
一年前,四維圖新總裁程鵬曾表示“我們已經(jīng)從傳統(tǒng)的導(dǎo)航數(shù)據(jù)地圖成長為以位置為核心的大數(shù)據(jù)公司,四維圖新的大數(shù)據(jù)能力將開放給所有行業(yè)”。一年后,隨著MineData位置大數(shù)據(jù)平臺的正式發(fā)布,四維圖新構(gòu)建的大數(shù)據(jù)計劃終于成為現(xiàn)實。
MineData是依托于四維圖新十余年導(dǎo)航電子地圖的生產(chǎn)及服務(wù)經(jīng)驗,孵化于集團內(nèi)部,首次將旗下所有子公司、所有產(chǎn)品線數(shù)據(jù)和合作伙伴數(shù)據(jù)進行充分整合,利用自身數(shù)據(jù)、算法和技術(shù)優(yōu)勢推出的位置信息SaaS平臺,構(gòu)建數(shù)據(jù)共享平臺,主要由子公司世紀(jì)高通負(fù)責(zé)運營。
海納百川,聚沙成塔。四維圖新目前有包括地圖、OEM、后裝車機、移動端、芯片以及合作伙伴等六大數(shù)據(jù)來源,可以獲得多個維度的海量數(shù)據(jù)。其中,四維圖新自有數(shù)據(jù)源就包括了全國及港澳地區(qū)的導(dǎo)航數(shù)據(jù)、現(xiàn)場資料、深度數(shù)據(jù)和340余座城市的道路實況。目前,四維圖新的數(shù)據(jù)總量已經(jīng)超過4000TB,而且還在以每天2.8TB的速度增長。隨著車聯(lián)網(wǎng)、自動駕駛等業(yè)務(wù)的發(fā)展,數(shù)據(jù)規(guī)模的增長速度勢必會更加迅速。
四維圖新副總裁梁永杰強調(diào),這些都是規(guī)格化之后的有序數(shù)據(jù),而不是原始雜亂的無序數(shù)據(jù),這兩種數(shù)據(jù)有非常大的區(qū)別,100份的原始雜亂數(shù)據(jù)都不一定能抽出1份規(guī)格化有序數(shù)據(jù)。由此可見,四維圖新在大數(shù)據(jù)處理方面的造詣之深,很好地解決了大數(shù)據(jù)之源的問題,構(gòu)建了全國絕無僅有的權(quán)威位置數(shù)據(jù)倉庫。
四維圖新獲取、處理數(shù)據(jù)的能力毋庸置疑,但是這些數(shù)據(jù)會分散存儲在公司不同事業(yè)部乃至子公司的服務(wù)器,后續(xù)如何聚集、整合,打破潛在的信息孤島,讓數(shù)據(jù)發(fā)揮更大價值,就是緊接著要解決的又一個問題。世紀(jì)高通副總經(jīng)理兼四維圖新首席架構(gòu)師石清華介紹,公司以往也是按照先拉各部門數(shù)據(jù)清單,再建數(shù)據(jù)共享平臺,最后坐等上交數(shù)據(jù)的套路,然而效果并不是很好。因此,他們另辟蹊徑,不再被動等待上交數(shù)據(jù),而是主動出擊 “抽取”數(shù)據(jù)。
因為數(shù)據(jù)存儲在服務(wù)器,服務(wù)器又組成集群,因此四維圖新在每個業(yè)務(wù)口的數(shù)據(jù)集群又放置了一臺機器,專門用于業(yè)務(wù)數(shù)據(jù)集群里的數(shù)據(jù)導(dǎo)流,像探針?biāo)频闹苯釉脒M行數(shù)據(jù)導(dǎo)流,讓數(shù)據(jù)源源不斷地流入被稱為“蜂巢”的數(shù)據(jù)倉庫,并進行數(shù)據(jù)清洗,然后再重新分門別類地根據(jù)屬性存儲在數(shù)據(jù)沙盒里對外供給。石清華介紹,他們將“探針-蜂巢-數(shù)據(jù)沙盒”的三層結(jié)構(gòu)稱為“數(shù)據(jù)蜂巢系統(tǒng)”,是一種非干擾式的全自動數(shù)據(jù)萃取系統(tǒng),可以節(jié)約存儲成本,降低數(shù)據(jù)使用門檻。他表示,數(shù)據(jù)蜂巢系統(tǒng)是MineData的基石,正是因為它的存在,才使得上層平臺的數(shù)據(jù)一直是鮮活和多維度的。
既然有了這么好的數(shù)據(jù),如何表達加以利用,指導(dǎo)具體業(yè)務(wù)?這就是MineData其他兩個重要的組成部分:MineMap和MineLab。前者解決了位置大數(shù)據(jù)的可視化,后者則解決了位置大數(shù)據(jù)的分析。
MineMap是一站式地圖可視化產(chǎn)品,提供所見即所得的地圖定制服務(wù)。簡單些理解,就是將以前非常專業(yè)的地圖配置問題,按照互聯(lián)網(wǎng)的交互體驗,進行了重構(gòu),數(shù)據(jù)不只有靜態(tài)的,而且也可以是動態(tài)的,甚至更加炫酷,只要有足夠的創(chuàng)意,就能獲得用戶想要的效果。為了適應(yīng)不同的終端設(shè)備,MineMap還提供了表現(xiàn)一致的引擎,為Web、Android和iOS多平臺準(zhǔn)備了第三方開發(fā)接口,實現(xiàn)了一處配置、多屏運行。除此之外,MineMap還考慮到具體業(yè)務(wù)需要與地圖進行疊加顯示,因此又推出了可視化模板,有各種地圖特效,包括軌跡點亮圖、城市柱形圖、跟蹤流線圖、動態(tài)火線圖和熱力圖等。
如果說MineMap的操作流程大致是選擇數(shù)據(jù)、配置數(shù)據(jù)、出定制地圖,那么MineLba則是選擇數(shù)據(jù)、配置算法、出分析結(jié)果。
大家可能對每年春節(jié)時的人口遷徙圖都不陌生了,這個就是基于一種叫做OD(交通出行量)算法得出的結(jié)果。類似的例子還有很多,例如道路流量分析、潮汐車道分析、紅綠燈優(yōu)化分析等。但就本質(zhì)而言,這些都是一系列基礎(chǔ)算法,構(gòu)建了不同的業(yè)務(wù)解釋。
石清華介紹,MineLab應(yīng)該是MineData最有魅力的一部分。四維圖新提供了完整的數(shù)據(jù),可以模擬不同場景里的真實數(shù)據(jù),對于研究和學(xué)術(shù)而言這是一個非常好的工具。在石清華看來,因為現(xiàn)在的開源配套技術(shù)已經(jīng)非常成熟,大數(shù)據(jù)分析最難的不是技術(shù),也不是算法,當(dāng)然也不是可視化。因為算法可以不斷調(diào)整,可視化有很多借鑒,最難的是數(shù)據(jù)和完備的數(shù)據(jù)場景。
MineLab可以提供近似真實環(huán)境的實驗室,里面有近似真實的場景數(shù)據(jù),有已經(jīng)搭建好的大數(shù)據(jù)框架,也有示例性的工程算法,剩下的就是需要用戶專業(yè)領(lǐng)域的創(chuàng)造能力,用大數(shù)據(jù)的手段解決企業(yè)與位置相關(guān)的痛點。
簡單總結(jié),MineData提供了三樣最基本的東西:一個數(shù)據(jù)連接器,稱作數(shù)據(jù)蜂巢,用來聚數(shù)據(jù);一套稱作MineMap的可視化工具用來看數(shù)據(jù);一間稱作MineLab位置大數(shù)據(jù)實驗室用來算數(shù)據(jù)。在此基礎(chǔ)上,四維圖新希望能夠給合作伙伴及用戶,提供一個完整的位置大數(shù)據(jù)解決方案。目前,MineData有兩個版本,一個是基于PC端的嘗鮮版,主要是為了讓大家了解平臺的基本能力;另一個則是企業(yè)版,也是未來四維圖新致力推動的版本,可以本地部署在用戶的私有云,協(xié)助用戶快速具備位置大數(shù)據(jù)的私有化能力,降低企業(yè)內(nèi)部的大數(shù)據(jù)管理和建設(shè)成本。
MindData位置大數(shù)據(jù)平臺的發(fā)布促進了四維圖新全業(yè)務(wù)能力的提升,是新增的重要業(yè)務(wù)模塊,正如四維圖新總裁程鵬所言:四維圖新經(jīng)過十余年發(fā)展,至今積累了以地圖數(shù)據(jù)為入口的海量大數(shù)據(jù)信息,并且具備優(yōu)秀的數(shù)據(jù)匯總、計算能力與深度學(xué)習(xí)能力。位置大數(shù)據(jù)時代的來臨,相關(guān)的產(chǎn)業(yè)及服務(wù)也將從初步的構(gòu)建落地到真實的應(yīng)用。未來的發(fā)展將掀起新一輪浪潮,對生產(chǎn)實踐起到革命性的影響。
(本刊記者/游建 )