利用大數(shù)據(jù)幫助企業(yè)創(chuàng)造價值是一件非常重要的事情。企業(yè)應(yīng)用大數(shù)據(jù)時是怎樣的生態(tài)？如何將企業(yè)內(nèi)部的數(shù)據(jù)和互聯(lián)網(wǎng)的數(shù)據(jù)進(jìn)行融合？

核心基礎(chǔ)—數(shù)據(jù)的采集和處理能力

智慧星光從2012年成立到現(xiàn)在，重點是做文本大數(shù)據(jù)的挖掘。我們的定位是精準(zhǔn)信息服務(wù)的公司。

智慧星光有兩個核心基礎(chǔ)—數(shù)據(jù)的采集和處理能力。數(shù)據(jù)方面我們獲得了互聯(lián)網(wǎng)公開的數(shù)據(jù)，每天采集6000萬互聯(lián)網(wǎng)原創(chuàng)文檔，包括新聞、博客、微博、微信、論壇、平媒等境內(nèi)外網(wǎng)站，另有電商，手機(jī)app等數(shù)據(jù)。目前，我們監(jiān)測12億個賬號微博，每天用新賬號掃描器掃描新賬號，監(jiān)測其中的數(shù)據(jù)；對超過2000萬的貼吧進(jìn)行分鐘級的監(jiān)測，分鐘級采集所有新發(fā)的數(shù)據(jù)并推薦給客戶，這為企業(yè)提供服務(wù)打下了數(shù)據(jù)的基礎(chǔ)。

并且我們有一個高速的處理平臺，可以對所有采集到的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理和標(biāo)簽化處理，在平臺上做語義分析和正負(fù)面情感的分析，在此基礎(chǔ)上結(jié)合多種模型，進(jìn)行文本數(shù)據(jù)挖掘。

基于這兩個核心基礎(chǔ)，我們?yōu)橛脩舻母鞣N應(yīng)用提供數(shù)據(jù)服務(wù)和應(yīng)用服務(wù)，包括源數(shù)據(jù)服務(wù)、輿情監(jiān)測、企業(yè)征信、網(wǎng)絡(luò)調(diào)研（消費者滿意度調(diào)查、品牌美譽度監(jiān)測）、精準(zhǔn)營銷、人物畫像、競爭分析、新聞素材等。

幫助企業(yè)利用好大數(shù)據(jù)

企業(yè)要想應(yīng)用大數(shù)據(jù)，特別是用好大數(shù)據(jù)，很重要的過程就是做數(shù)據(jù)的融合，再利用數(shù)據(jù)的應(yīng)用幫助企業(yè)做決策。在獲得這些數(shù)據(jù)后，我們基于應(yīng)用幫助企業(yè)做決策，而應(yīng)用的核心就是分析，應(yīng)用各種模型做精準(zhǔn)營銷，其關(guān)鍵環(huán)節(jié)是客戶畫像，即利用標(biāo)簽化的技術(shù)將客戶標(biāo)簽化再分類，為企業(yè)或行業(yè)最終的決策和精準(zhǔn)營銷提供支撐。

在執(zhí)行環(huán)節(jié)，我們可以通過直接觸達(dá)客戶的方式，這是因為一些數(shù)據(jù)會涉及到隱私，我們不能提供給客戶，但我們可以通過不同的渠道觸達(dá)客戶。舉個例子，我想買奔馳E系列的某個車型，會先在互聯(lián)網(wǎng)上瀏覽相關(guān)信息，這些信息對于獲客非常重要，4S店可能愿意支付1500元獲得我的號碼。這些號碼對于企業(yè)的精準(zhǔn)營銷非常關(guān)鍵，獲客不能隨便泄露，但可以通過觸達(dá)平臺把呼叫中心和電腦連接上，在后端投放廣告。

我們的主要產(chǎn)品包括星光數(shù)據(jù)、智慧商情輿情秘書、智慧研判、智慧網(wǎng)評KOL監(jiān)測。在數(shù)據(jù)融合環(huán)節(jié)，星光數(shù)據(jù)將企業(yè)的內(nèi)部數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、第三方行業(yè)數(shù)據(jù)進(jìn)行統(tǒng)一地融合；在數(shù)據(jù)應(yīng)用環(huán)節(jié)，輿情秘書做互聯(lián)網(wǎng)的信息監(jiān)測，智慧商情為企業(yè)做智慧商情；在決策支持環(huán)節(jié)，智慧研判讓企業(yè)基于互聯(lián)網(wǎng)數(shù)據(jù)融合后的態(tài)勢感知做判斷，進(jìn)行精準(zhǔn)營銷、行業(yè)決策、產(chǎn)品創(chuàng)新和客戶關(guān)懷；在執(zhí)行環(huán)節(jié)，智慧網(wǎng)評是社交媒體信息發(fā)布的平臺，KOL監(jiān)測是意見領(lǐng)袖監(jiān)測的平臺。

如何進(jìn)行數(shù)據(jù)融合

在星光數(shù)據(jù)平臺中，數(shù)據(jù)集成非常關(guān)鍵，要將不同形式和格式的數(shù)據(jù)接入到平臺中才能做融合；接入的環(huán)節(jié)非常重要，對企業(yè)來講，接入物聯(lián)網(wǎng)后數(shù)據(jù)量非常龐大，因此需要擁有分布式的存儲系統(tǒng)；另外，提供信息檢索、基于模型的挖掘能力、可視化的展示方式、算法的引擎對于平臺也非常關(guān)鍵。在知識管理和安全審計兩個環(huán)節(jié)：人工智能和深度學(xué)習(xí)對知識管理非常關(guān)鍵，要通過知識管理構(gòu)造整個系統(tǒng)；安全對于數(shù)據(jù)廠商和平臺也是非常重要的環(huán)節(jié)。

在數(shù)據(jù)融合平臺的采集環(huán)節(jié)，第一步是數(shù)據(jù)抽取工作。我們通過創(chuàng)新的、獨有的數(shù)據(jù)采集技術(shù)—協(xié)作式爬蟲，不斷刷新列表頁再獲得詳情頁，整合在一起實現(xiàn)高效的采集，對于采集頻率、信息員和數(shù)據(jù)進(jìn)行非常細(xì)致的控制，直接把有用的數(shù)據(jù)從中抽取出來，從而得到想要的數(shù)據(jù)。

和協(xié)作式爬蟲相關(guān)聯(lián)的是文本的關(guān)鍵詞匹配，我們有超過10億種組合的關(guān)鍵詞，平臺能夠在一分鐘的時間內(nèi)處理超過200萬篇的文章，在一分鐘內(nèi)通過文本的處理生產(chǎn)線，進(jìn)行實體的抽取和正負(fù)面的判斷。平臺非常強調(diào)時間觀念，一旦出現(xiàn)信息，應(yīng)迅速地提供給客戶。

星光數(shù)據(jù)作為數(shù)據(jù)融合的平臺，重點要解決的問題首先是分布式存儲。我們通過開源技術(shù)做了分布式處理系統(tǒng)，可以有效地進(jìn)行信息檢索，并通過算法引擎的插件預(yù)制了一些模型和算法。另外，第三方可以將開發(fā)的算法放在平臺上。（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）