大數(shù)據(jù)時(shí)代不僅數(shù)據(jù)量巨大，更新迅速，使用更具隨機(jī)性，而且數(shù)據(jù)結(jié)構(gòu)異常復(fù)雜，80% 以上都是諸如文本、視頻、音頻、郵件、圖片等非結(jié)構(gòu)化數(shù)據(jù)。并且數(shù)據(jù)格式之間互不兼容，這給數(shù)據(jù)的提取、分析、應(yīng)用帶來(lái)了很大困難。多音字、多義詞，中文的博大精深更是給文本數(shù)據(jù)分析帶來(lái)了難點(diǎn)。

而深圳市穎源科技有限公司開發(fā)的股市情緒分析系統(tǒng)正是利用這些難以分析的文本數(shù)據(jù)，分析出投資者的情緒變化，從而洞察股市行情。

情緒分析洞悉股市變化

實(shí)時(shí)抓取互聯(lián)網(wǎng)中的財(cái)經(jīng)數(shù)據(jù)，找出每篇博客、微博、新聞中關(guān)于每支股票的觀點(diǎn)和情緒，匯總數(shù)據(jù)并告訴用戶此時(shí)的看漲看跌比例，這就是股市情緒分析系統(tǒng)。

早在2010年10月，國(guó)際知名學(xué)術(shù)網(wǎng)站arXiv. org刊登的一篇研究報(bào)告稱，Twitter中的“鎮(zhèn)定度”水平能夠提前2至6天預(yù)測(cè)道瓊斯工業(yè)平均指數(shù)的走向，并且準(zhǔn)確度可達(dá)到87.6%。

投資者行為不像傳統(tǒng)金融學(xué)認(rèn)為的那樣具有理性化，由于投資者的情緒和偏見經(jīng)常劇烈影響著價(jià)格波動(dòng)，金融行為學(xué)對(duì)這些現(xiàn)象提供了一些很好的詮釋。股市情緒分析系統(tǒng)是基于金融行為學(xué)理論和客觀的機(jī)器學(xué)習(xí)算法，對(duì)股市漲跌數(shù)據(jù)、社會(huì)化媒體言論數(shù)據(jù)進(jìn)行采集和挖掘。該系統(tǒng)計(jì)算出來(lái)的結(jié)果能夠幫助投資者洞察股市的情緒，從而進(jìn)行市場(chǎng)預(yù)測(cè)。

當(dāng)憂慮指數(shù)達(dá)到最高點(diǎn)的時(shí)候，往往股市是比較低迷的時(shí)候，憂慮指數(shù)處于低點(diǎn)的時(shí)候往往預(yù)示著股市處于高漲期。

股市情緒分析在國(guó)外已有人嘗試，MarketPsych是股市情緒分析的先驅(qū)，由心理學(xué)家創(chuàng)立的這家公司從事股市形勢(shì)分析已有七八年的時(shí)間。MarketPsych投資公司每天會(huì)對(duì)全球200萬(wàn)篇文章進(jìn)行抽取和采集，然后進(jìn)行分析，分析6000多家公司投資者的情緒，為投資者提供參考。

而成立于1995年的穎源科技是伴隨著互聯(lián)網(wǎng)的發(fā)展而迅速發(fā)展起來(lái)的一家公司。如今，穎源科技將注意力集中到大數(shù)據(jù)上，計(jì)劃未來(lái)致力于大數(shù)據(jù)的投資和發(fā)展。

深圳市穎源科技CEO時(shí)俊杰介紹說(shuō)，股市情緒分析系統(tǒng)是在IBM BigInsights平臺(tái)上開發(fā)的系統(tǒng)架構(gòu)，目前主要和新浪與騰訊微博進(jìn)行合作，通過開放接口采集投資者對(duì)于股市的評(píng)價(jià)或?qū)κ袌?chǎng)漲跌情緒的表達(dá)，通過情緒分析引擎進(jìn)行分析。

采集到的微博要先經(jīng)過預(yù)處理，去掉重復(fù)話語(yǔ)和廣告成分，再進(jìn)行分類。經(jīng)過預(yù)處理后還要進(jìn)行斷句才能進(jìn)入半監(jiān)督的機(jī)器訓(xùn)練（半監(jiān)督機(jī)器訓(xùn)練是最近幾年提出來(lái)的機(jī)器學(xué)習(xí)算法）。

時(shí)俊杰說(shuō)，半監(jiān)督機(jī)器訓(xùn)練先要設(shè)定算法，需要將微博樣本通過人工進(jìn)行標(biāo)注，建立規(guī)則庫(kù)后交給計(jì)算機(jī)自動(dòng)進(jìn)行訓(xùn)練，分析出來(lái)該條微博所表達(dá)的情緒值，然后將它放到模式匹配庫(kù)里存放。新采集到的微博先跟模式匹配庫(kù)進(jìn)行比對(duì)，如果在模式匹配庫(kù)里已經(jīng)存在了這樣的句子，就可以計(jì)算出它的情緒值。如果在模式匹配庫(kù)里沒有，則需要再根據(jù)規(guī)則庫(kù)進(jìn)行計(jì)算。這是一個(gè)不斷迭代和優(yōu)化的過程。

增加多情緒維度

時(shí)俊杰表示，在股市情緒分析系統(tǒng)的研發(fā)過程中IBM BigInsights提供了非?？煽?、高效的大數(shù)據(jù)處理平臺(tái)，不僅加強(qiáng)了開源的Hadoop系統(tǒng)，搭建了能夠支持企業(yè)級(jí)大數(shù)據(jù)的分析平臺(tái)，且平臺(tái)易用性和可視化管理等工具使得穎源科技在情緒分析系統(tǒng)研發(fā)過程中不是把精力花在平臺(tái)適應(yīng)上，而是花在應(yīng)用研發(fā)上。

同時(shí)，由于IBM BigInsights設(shè)計(jì)了企業(yè)級(jí)節(jié)點(diǎn)冗余，減少了宕機(jī)概率，通過PC Server經(jīng)過節(jié)點(diǎn)擴(kuò)展的分布式并行計(jì)算架構(gòu)降低了成本，提高了運(yùn)行速度。

“Hadoop本身是一個(gè)并行架構(gòu)，可以充分發(fā)揮并行架構(gòu)的優(yōu)勢(shì)。舉例來(lái)說(shuō)，之前開放網(wǎng)站流量分析軟件時(shí)我們采用的是傳統(tǒng)架構(gòu)數(shù)據(jù)庫(kù)，多個(gè)進(jìn)程需要用幾臺(tái)服務(wù)器計(jì)算一晚上才可以得出計(jì)算結(jié)果。而現(xiàn)在使用大數(shù)據(jù)解決方案后一個(gè)小時(shí)就可以得出計(jì)算結(jié)果?！睍r(shí)俊杰說(shuō)。

由于金融監(jiān)管機(jī)構(gòu)更為關(guān)注整個(gè)證券市場(chǎng)的輿情分析與監(jiān)測(cè)，股市情緒分析系統(tǒng)分為B2B與B2C兩種，未來(lái)可以和金融機(jī)構(gòu)等合作伙伴一起運(yùn)營(yíng)。對(duì)于基金公司和證券公司等可以利用該系統(tǒng)為自己的客戶提供增值服務(wù)，為短線投資者提供投資參考。而對(duì)于金融監(jiān)管機(jī)構(gòu)來(lái)說(shuō)，穎源科技未來(lái)研發(fā)的輿情分析系統(tǒng)可以對(duì)異動(dòng)股票進(jìn)行監(jiān)測(cè)，為監(jiān)管機(jī)構(gòu)提供參考。

經(jīng)過一段時(shí)間的測(cè)試，穎源科技股市情緒分析軟件的預(yù)測(cè)結(jié)果與實(shí)際走勢(shì)基本一致，近期將正式推出。未來(lái)，穎源科技會(huì)對(duì)數(shù)據(jù)源進(jìn)行進(jìn)一步擴(kuò)展，將股票論壇、門戶文章等納入分析數(shù)據(jù)源中。并在功能方面為現(xiàn)在簡(jiǎn)單的行情分析增加更多情緒維度。

“我們的股市情緒分析系統(tǒng)之所以能夠成功，有兩方面的原因。一是我們通過IBM的產(chǎn)品培訓(xùn)很快就掌握了BigInsights的使用，它是非常容易學(xué)習(xí)、非常容易掌握的企業(yè)級(jí)產(chǎn)品。二是我們自己也很堅(jiān)定地看好大數(shù)據(jù)的市場(chǎng)前景，所以我們?cè)诖髷?shù)據(jù)領(lǐng)域不吝投入，深圳市政府也專門撥?？钪С治覀冞M(jìn)行大數(shù)據(jù)創(chuàng)新。未來(lái)我們對(duì)大數(shù)據(jù)還會(huì)有長(zhǎng)期的投資策略?！睍r(shí)俊杰說(shuō)。