利用大數(shù)據(jù)幫助企業(yè)創(chuàng)造價(jià)值是一件非常重要的事情。企業(yè)應(yīng)用大數(shù)據(jù)時(shí)是怎樣的生態(tài)？如何將企業(yè)內(nèi)部的數(shù)據(jù)和互聯(lián)網(wǎng)的數(shù)據(jù)進(jìn)行融合？

核心基礎(chǔ)—數(shù)據(jù)的采集和處理能力

智慧星光從2012年成立到現(xiàn)在，重點(diǎn)是做文本大數(shù)據(jù)的挖掘。我們的定位是精準(zhǔn)信息服務(wù)的公司。

智慧星光有兩個(gè)核心基礎(chǔ)—數(shù)據(jù)的采集和處理能力。數(shù)據(jù)方面我們獲得了互聯(lián)網(wǎng)公開的數(shù)據(jù)，每天采集6000萬(wàn)互聯(lián)網(wǎng)原創(chuàng)文檔，包括新聞、博客、微博、微信、論壇、平媒等境內(nèi)外網(wǎng)站，另有電商，手機(jī)app等數(shù)據(jù)。目前，我們監(jiān)測(cè)12億個(gè)賬號(hào)微博，每天用新賬號(hào)掃描器掃描新賬號(hào)，監(jiān)測(cè)其中的數(shù)據(jù)；對(duì)超過2000萬(wàn)的貼吧進(jìn)行分鐘級(jí)的監(jiān)測(cè)，分鐘級(jí)采集所有新發(fā)的數(shù)據(jù)并推薦給客戶，這為企業(yè)提供服務(wù)打下了數(shù)據(jù)的基礎(chǔ)。

并且我們有一個(gè)高速的處理平臺(tái)，可以對(duì)所有采集到的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理和標(biāo)簽化處理，在平臺(tái)上做語(yǔ)義分析和正負(fù)面情感的分析，在此基礎(chǔ)上結(jié)合多種模型，進(jìn)行文本數(shù)據(jù)挖掘。

基于這兩個(gè)核心基礎(chǔ)，我們?yōu)橛脩舻母鞣N應(yīng)用提供數(shù)據(jù)服務(wù)和應(yīng)用服務(wù)，包括源數(shù)據(jù)服務(wù)、輿情監(jiān)測(cè)、企業(yè)征信、網(wǎng)絡(luò)調(diào)研（消費(fèi)者滿意度調(diào)查、品牌美譽(yù)度監(jiān)測(cè)）、精準(zhǔn)營(yíng)銷、人物畫像、競(jìng)爭(zhēng)分析、新聞素材等。

幫助企業(yè)利用好大數(shù)據(jù)

企業(yè)要想應(yīng)用大數(shù)據(jù)，特別是用好大數(shù)據(jù)，很重要的過程就是做數(shù)據(jù)的融合，再利用數(shù)據(jù)的應(yīng)用幫助企業(yè)做決策。在獲得這些數(shù)據(jù)后，我們基于應(yīng)用幫助企業(yè)做決策，而應(yīng)用的核心就是分析，應(yīng)用各種模型做精準(zhǔn)營(yíng)銷，其關(guān)鍵環(huán)節(jié)是客戶畫像，即利用標(biāo)簽化的技術(shù)將客戶標(biāo)簽化再分類，為企業(yè)或行業(yè)最終的決策和精準(zhǔn)營(yíng)銷提供支撐。

在執(zhí)行環(huán)節(jié)，我們可以通過直接觸達(dá)客戶的方式，這是因?yàn)橐恍?shù)據(jù)會(huì)涉及到隱私，我們不能提供給客戶，但我們可以通過不同的渠道觸達(dá)客戶。舉個(gè)例子，我想買奔馳E系列的某個(gè)車型，會(huì)先在互聯(lián)網(wǎng)上瀏覽相關(guān)信息，這些信息對(duì)于獲客非常重要，4S店可能愿意支付1500元獲得我的號(hào)碼。這些號(hào)碼對(duì)于企業(yè)的精準(zhǔn)營(yíng)銷非常關(guān)鍵，獲客不能隨便泄露，但可以通過觸達(dá)平臺(tái)把呼叫中心和電腦連接上，在后端投放廣告。

我們的主要產(chǎn)品包括星光數(shù)據(jù)、智慧商情輿情秘書、智慧研判、智慧網(wǎng)評(píng)KOL監(jiān)測(cè)。在數(shù)據(jù)融合環(huán)節(jié)，星光數(shù)據(jù)將企業(yè)的內(nèi)部數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、第三方行業(yè)數(shù)據(jù)進(jìn)行統(tǒng)一地融合；在數(shù)據(jù)應(yīng)用環(huán)節(jié)，輿情秘書做互聯(lián)網(wǎng)的信息監(jiān)測(cè)，智慧商情為企業(yè)做智慧商情；在決策支持環(huán)節(jié)，智慧研判讓企業(yè)基于互聯(lián)網(wǎng)數(shù)據(jù)融合后的態(tài)勢(shì)感知做判斷，進(jìn)行精準(zhǔn)營(yíng)銷、行業(yè)決策、產(chǎn)品創(chuàng)新和客戶關(guān)懷；在執(zhí)行環(huán)節(jié)，智慧網(wǎng)評(píng)是社交媒體信息發(fā)布的平臺(tái)，KOL監(jiān)測(cè)是意見領(lǐng)袖監(jiān)測(cè)的平臺(tái)。

如何進(jìn)行數(shù)據(jù)融合

在星光數(shù)據(jù)平臺(tái)中，數(shù)據(jù)集成非常關(guān)鍵，要將不同形式和格式的數(shù)據(jù)接入到平臺(tái)中才能做融合；接入的環(huán)節(jié)非常重要，對(duì)企業(yè)來講，接入物聯(lián)網(wǎng)后數(shù)據(jù)量非常龐大，因此需要擁有分布式的存儲(chǔ)系統(tǒng)；另外，提供信息檢索、基于模型的挖掘能力、可視化的展示方式、算法的引擎對(duì)于平臺(tái)也非常關(guān)鍵。在知識(shí)管理和安全審計(jì)兩個(gè)環(huán)節(jié)：人工智能和深度學(xué)習(xí)對(duì)知識(shí)管理非常關(guān)鍵，要通過知識(shí)管理構(gòu)造整個(gè)系統(tǒng)；安全對(duì)于數(shù)據(jù)廠商和平臺(tái)也是非常重要的環(huán)節(jié)。

在數(shù)據(jù)融合平臺(tái)的采集環(huán)節(jié)，第一步是數(shù)據(jù)抽取工作。我們通過創(chuàng)新的、獨(dú)有的數(shù)據(jù)采集技術(shù)—協(xié)作式爬蟲，不斷刷新列表頁(yè)再獲得詳情頁(yè)，整合在一起實(shí)現(xiàn)高效的采集，對(duì)于采集頻率、信息員和數(shù)據(jù)進(jìn)行非常細(xì)致的控制，直接把有用的數(shù)據(jù)從中抽取出來，從而得到想要的數(shù)據(jù)。

和協(xié)作式爬蟲相關(guān)聯(lián)的是文本的關(guān)鍵詞匹配，我們有超過10億種組合的關(guān)鍵詞，平臺(tái)能夠在一分鐘的時(shí)間內(nèi)處理超過200萬(wàn)篇的文章，在一分鐘內(nèi)通過文本的處理生產(chǎn)線，進(jìn)行實(shí)體的抽取和正負(fù)面的判斷。平臺(tái)非常強(qiáng)調(diào)時(shí)間觀念，一旦出現(xiàn)信息，應(yīng)迅速地提供給客戶。

星光數(shù)據(jù)作為數(shù)據(jù)融合的平臺(tái)，重點(diǎn)要解決的問題首先是分布式存儲(chǔ)。我們通過開源技術(shù)做了分布式處理系統(tǒng)，可以有效地進(jìn)行信息檢索，并通過算法引擎的插件預(yù)制了一些模型和算法。另外，第三方可以將開發(fā)的算法放在平臺(tái)上。（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）