白劍波

我今天分享的題目是從數(shù)據(jù)到知識(shí)的“智”變，這個(gè)智是人工智能的智。我們的客戶(hù)分為三大類(lèi)：政府、企業(yè)和媒體。這些客戶(hù)在自己業(yè)務(wù)領(lǐng)域里都有獨(dú)特的需求，我們?yōu)樗麄兲峁┙鉀Q方案。如何打通數(shù)據(jù)孤島？如何提升政府辦事效率？這是政府客戶(hù)的一些需求。如何能夠從海量數(shù)據(jù)里挖掘出有價(jià)值的信息？什么叫有價(jià)值的信息？如何能夠洞察這個(gè)市場(chǎng)里面的用戶(hù)？如何根據(jù)行業(yè)政策分析和解讀進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)？這是企業(yè)客戶(hù)的一些需求。如何能夠得到自己所關(guān)心的領(lǐng)域里的熱點(diǎn)資訊？對(duì)于原創(chuàng)文章，如何進(jìn)行版權(quán)保護(hù)？這是我們媒體客戶(hù)所面臨的一些需求。

針對(duì)客戶(hù)需求，我們的策略是什么呢？從數(shù)據(jù)到知識(shí)的“智”變。在過(guò)去的發(fā)展過(guò)程中，智慧星光在數(shù)據(jù)采集、數(shù)據(jù)處理（特別是非結(jié)構(gòu)化數(shù)據(jù)處理，包括文本數(shù)據(jù)、圖片數(shù)據(jù)、視頻數(shù)據(jù)）等方面做了大量工作。

基于此，我們現(xiàn)在要把這些數(shù)據(jù)融合起來(lái)，這些數(shù)據(jù)不僅包括我們從公開(kāi)渠道采集到的互聯(lián)網(wǎng)數(shù)據(jù)，同時(shí)也包括我們獲得的第三方數(shù)據(jù)，或者是客戶(hù)通過(guò)他們的渠道獲得的第三方數(shù)據(jù)以及客戶(hù)內(nèi)部的數(shù)據(jù)。我們對(duì)這些匯聚融合之后的異構(gòu)數(shù)據(jù)進(jìn)行挖掘，結(jié)合我們構(gòu)造的知識(shí)體系建立知識(shí)圖譜，為客戶(hù)提供知識(shí)層面的價(jià)值觀，幫助客戶(hù)做更好的決策。

在智慧星光的數(shù)據(jù)系統(tǒng)里可以看到，我們對(duì)幾乎所有的互聯(lián)網(wǎng)公開(kāi)數(shù)據(jù)做了采集工作，我們自己配置高效的爬蟲(chóng)系統(tǒng)，覆蓋了超過(guò)10萬(wàn)家網(wǎng)站。對(duì)于社交媒體，包括百度貼吧數(shù)據(jù)、微信公眾號(hào)數(shù)據(jù)，這些都做了采集。同樣，我們對(duì)于App數(shù)據(jù)也做了采集，包括新聞App以及其他生活?yuàn)蕵?lè)類(lèi)的App。對(duì)于電視臺(tái)節(jié)目，我們也做了一些監(jiān)測(cè)，針對(duì)這些內(nèi)容里面的語(yǔ)音我們會(huì)轉(zhuǎn)成文本，對(duì)里面的關(guān)鍵詞進(jìn)行匹配。同時(shí)，我們對(duì)多語(yǔ)種的境外數(shù)據(jù)媒體也做了監(jiān)測(cè)，這些數(shù)據(jù)構(gòu)成了星光數(shù)據(jù)平臺(tái)的基礎(chǔ)。據(jù)統(tǒng)計(jì)，每天采集到大約1.5億條數(shù)據(jù)，實(shí)時(shí)進(jìn)入星光數(shù)據(jù)平臺(tái)。

采集到數(shù)據(jù)之后，如何做處理呢？在星光數(shù)據(jù)平臺(tái)架構(gòu)上，最底層是我們的采集系統(tǒng)，除了對(duì)互聯(lián)網(wǎng)公開(kāi)數(shù)據(jù)進(jìn)行采集之外，還支持客戶(hù)內(nèi)部的數(shù)據(jù)采集、原生的數(shù)據(jù)庫(kù)系統(tǒng)的采集以及類(lèi)似于靜態(tài)文件的數(shù)據(jù)采集。數(shù)據(jù)采集之后，對(duì)數(shù)據(jù)做加工清洗，進(jìn)入后續(xù)的處理流程。我們主要對(duì)其中的文本數(shù)據(jù)做多樣化的處理，再進(jìn)入我們的數(shù)據(jù)管理系統(tǒng)。數(shù)據(jù)管理系統(tǒng)構(gòu)成了我們多元數(shù)據(jù)融合系統(tǒng)的關(guān)鍵部分，這里面我們對(duì)元數(shù)據(jù)進(jìn)行管理。如何把不同來(lái)源的數(shù)據(jù)融合到一起，進(jìn)行有效管理，對(duì)于異構(gòu)數(shù)據(jù)能夠進(jìn)行統(tǒng)一查詢(xún)，并按照客戶(hù)給出的條件，在一個(gè)統(tǒng)一的查詢(xún)界面里對(duì)所有數(shù)據(jù)進(jìn)行查詢(xún)，給出最后的結(jié)果，這是我們構(gòu)造的多元異構(gòu)數(shù)據(jù)融合系統(tǒng)能夠?qū)崿F(xiàn)的功能。這個(gè)系統(tǒng)通過(guò)API的方式，對(duì)上層的應(yīng)用提供數(shù)據(jù)管理的接口、數(shù)據(jù)查詢(xún)的接口等，這些接口同樣可以提供給我們的合作伙伴和客戶(hù)去使用。

數(shù)據(jù)融合處理中非常關(guān)鍵的就是文本處理，我給大家?guī)?lái)一個(gè)概念，叫星光文本大腦。簡(jiǎn)單的理解就是包括了星光數(shù)據(jù)平臺(tái)里面所有的數(shù)據(jù)，我們的模型團(tuán)隊(duì)將過(guò)去所積累的模型、通過(guò)半監(jiān)督訓(xùn)練方式所得到的知識(shí)體系，以及通過(guò)超過(guò)500億條數(shù)據(jù)進(jìn)行深度學(xué)習(xí)訓(xùn)練出的知識(shí)體系，結(jié)合到一起，構(gòu)造一個(gè)知識(shí)體系。任何數(shù)據(jù)經(jīng)過(guò)星光文本大腦都可以進(jìn)行全面的文本分析，幫助我們將數(shù)據(jù)變成知識(shí)。

從數(shù)據(jù)到知識(shí)的變化過(guò)程中還有一個(gè)非常重要的環(huán)節(jié)，就是實(shí)時(shí)圖計(jì)算。星光的實(shí)時(shí)圖計(jì)算引擎可以支持超過(guò)十億個(gè)節(jié)點(diǎn)、百億條以上的計(jì)算，同時(shí)還是一個(gè)實(shí)時(shí)計(jì)算，可以完成秒級(jí)的計(jì)算，并且在這里可以非常方便、靈活地創(chuàng)建各種各樣的關(guān)系。比如，我們?cè)陔娚汤锩娼灰椎臄?shù)據(jù)、用戶(hù)行為的屬性數(shù)據(jù)、社交媒體里人和人之間的關(guān)系數(shù)據(jù)等，都可以通過(guò)星光圖計(jì)算引擎進(jìn)行有效的計(jì)算，并且在這里還提供了一個(gè)分析平臺(tái)。

我們還給大家?guī)?lái)了一個(gè)IGraph平臺(tái)，這是可視化的知識(shí)管理平臺(tái)，結(jié)合了數(shù)據(jù)、文本挖掘和圖計(jì)算引擎。目前來(lái)講，IGraph平臺(tái)已經(jīng)實(shí)現(xiàn)了幾個(gè)行業(yè)的應(yīng)用，包括旅游行業(yè)，電商平臺(tái)數(shù)據(jù)里面的家電行業(yè)、手機(jī)行業(yè)的應(yīng)用。我們首先構(gòu)造行業(yè)知識(shí)圖譜，這依賴(lài)于我們采集到的數(shù)據(jù)，經(jīng)過(guò)星光文本大腦進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)處理，經(jīng)過(guò)星光圖計(jì)算引擎計(jì)算和分析，最后得到我們客戶(hù)想要的結(jié)果。從數(shù)據(jù)到知識(shí)，星光給客戶(hù)提供了大量的、及時(shí)而全面的精準(zhǔn)信息服務(wù)。這些信息服務(wù)都是點(diǎn)狀的服務(wù)，客戶(hù)在進(jìn)行決策的時(shí)候需要的是知識(shí)，需要上升到一個(gè)更高層面的知識(shí)來(lái)幫助他去做決策。

從傳統(tǒng)上來(lái)講，智慧星光提供輿情監(jiān)測(cè)服務(wù)，這也是我們目前客戶(hù)基數(shù)最大的一條業(yè)務(wù)線(xiàn)。我們所提供的核心產(chǎn)品就是輿情秘書(shū)，為客戶(hù)提供全面的互聯(lián)網(wǎng)輿情信息監(jiān)測(cè)產(chǎn)品，這個(gè)產(chǎn)品目前有超過(guò)2.5萬(wàn)家用戶(hù)在使用，正式簽約付費(fèi)用戶(hù)在4000家左右。圍繞輿情秘書(shū)這個(gè)監(jiān)測(cè)產(chǎn)品，我們同時(shí)還提供另外一個(gè)產(chǎn)品，就是輿情專(zhuān)家。輿情專(zhuān)家可以幫助客戶(hù)去解決這些問(wèn)題。它包括輿情信息的發(fā)現(xiàn)、預(yù)警、研判、態(tài)勢(shì)感知等，可以提供決策支持。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）