蘭秋軍，馬超群

(湖南大學(xué) 工商管理學(xué)院，湖南 長沙 410082)

現(xiàn)代金融研究也許是經(jīng)濟(jì)學(xué)研究各個(gè)分支中最具有實(shí)證性的，在該領(lǐng)域，基于不確定性理論的金融計(jì)量經(jīng)濟(jì)方法被普遍采用，通過采集各種相關(guān)金融數(shù)據(jù)，依賴統(tǒng)計(jì)推斷，對(duì)復(fù)雜抽象的金融理論進(jìn)行總結(jié)、闡釋或驗(yàn)證。在此過程中，“數(shù)據(jù)”是研究的關(guān)鍵和基礎(chǔ)。為此，各種支持金融研究的數(shù)據(jù)庫相繼被各大公司開發(fā)并推出，成為金融研究、教學(xué)以及實(shí)際投資分析與決策的重要“數(shù)據(jù)平臺(tái)”。這些數(shù)據(jù)大致可分為兩類：數(shù)值型(如金融資產(chǎn)的價(jià)格、交易量、收益率、資本規(guī)模等)和文本型(如名稱、簡(jiǎn)介、公告、報(bào)告等)。長期以來，實(shí)質(zhì)性用于金融研究的絕大部分?jǐn)?shù)據(jù)是數(shù)值型的。文本型數(shù)據(jù)大多數(shù)只是提供標(biāo)簽、描述和注釋等信息供研究者閱讀參考以及定性研究，極少參與實(shí)際模型的計(jì)算與推斷，最多也只是作為類別變量參與分類統(tǒng)計(jì)或作為啞元變量進(jìn)入模型，并不涉及文本內(nèi)容的理解和應(yīng)用。近年，隨著電子文本的大量涌現(xiàn)，計(jì)算語言學(xué)、自然語言理解和文本挖掘技術(shù)相應(yīng)迅速發(fā)展，這種狀況正在改變。越來越多的金融界學(xué)者開始嘗試?yán)眠@些近期發(fā)展起來的文本理解與挖掘技術(shù)來深層次地獲取信息，揭示金融市場(chǎng)中的規(guī)律，并支持金融理論與實(shí)證研究工作的開展。本文擬就這一領(lǐng)域的最新進(jìn)展及趨勢(shì)做一概要性的介紹。

一、文本數(shù)據(jù)的優(yōu)點(diǎn)

數(shù)值型數(shù)據(jù)具有意義簡(jiǎn)單明確、結(jié)構(gòu)化存儲(chǔ)、規(guī)范通用等優(yōu)點(diǎn)。幾乎所有的金融計(jì)量模型都是針對(duì)數(shù)值型數(shù)據(jù)的。文本數(shù)據(jù)則直接對(duì)應(yīng)人類的自然語言，其本身存在字詞邊界模糊、字詞歧義、句法復(fù)雜、修辭以及輸入瑕疵等多種問題，且都以高度非結(jié)構(gòu)化或半結(jié)構(gòu)化形式存在，計(jì)算機(jī)不能直接理解其真實(shí)含義，也無法應(yīng)用于推理演算。因而在傳統(tǒng)的金融研究中，這些信息只能作為定性分析研究的依據(jù)。而事實(shí)上，文本數(shù)據(jù)存在一些數(shù)值型數(shù)據(jù)無法比擬的優(yōu)勢(shì)：

1.文本數(shù)據(jù)的來源更廣泛，容易獲得。文本數(shù)據(jù)是人們?nèi)粘贤ń涣鞯闹饕畔⑤d體和產(chǎn)物。書籍、報(bào)紙、雜志、報(bào)告、網(wǎng)絡(luò)新聞等等都主要以文本形式存在。無論金融還是非金融領(lǐng)域，文本型數(shù)據(jù)相比于數(shù)值型數(shù)據(jù)，在數(shù)據(jù)量上要大得多。

2.信息完整，失真較少。數(shù)值型數(shù)據(jù)的生成往往需要經(jīng)過人們的分析、加工、整理才能完成。例如，全國GDP數(shù)據(jù)，它需要通過對(duì)各個(gè)月度、各個(gè)地區(qū)以及各種經(jīng)濟(jì)指標(biāo)數(shù)據(jù)的累積、加權(quán)、歸并與計(jì)算統(tǒng)計(jì)等復(fù)雜的過程才能產(chǎn)生，任何一個(gè)環(huán)節(jié)都可能造成信息的失真。而文本數(shù)據(jù)多數(shù)以本來面貌存在，信息更完整。

3.內(nèi)涵豐富，表達(dá)充分。雖然數(shù)值型數(shù)據(jù)可簡(jiǎn)明扼要地凸顯一些問題的本質(zhì)和特征，然而文本數(shù)據(jù)通過語言描述，可充分表達(dá)數(shù)值無法表現(xiàn)的信息內(nèi)容，其內(nèi)涵更為豐富。例如，財(cái)務(wù)報(bào)表中的某些數(shù)值數(shù)據(jù)，往往需要文本形式的描述對(duì)其產(chǎn)生背景、計(jì)算方法、應(yīng)用領(lǐng)域等的說明。

4.蘊(yùn)含情感，具有特殊價(jià)值。數(shù)值型數(shù)據(jù)本身幾乎不含任何情感信息，然而文本數(shù)據(jù)則可通過其用詞、語法、語氣、修辭等來表達(dá)作者的態(tài)度、觀點(diǎn)等情感信息。這些信息隱藏于文字中甚至可能連作者本人亦未必意識(shí)和察覺到，因而具有某些特殊價(jià)值。

二、文本感知與挖掘技術(shù)

文本情感特性是語言主觀性的一種體現(xiàn)，即話語中含有說話人“自我”的表現(xiàn)成分——說話時(shí)表明了自己對(duì)這段話的立場(chǎng)、態(tài)度、評(píng)價(jià)和感情，從而在話語中留下自我印記。近年來，網(wǎng)絡(luò)信息資源中所蘊(yùn)含的豐富的文本情感知識(shí)引發(fā)政府、企業(yè)以及消費(fèi)者等多主體的重視，成為體察社會(huì)輿情、探測(cè)用戶需求心理的重要依據(jù)。面對(duì)海量的文本信息資源，如何克服人工理解方式的低效性，準(zhǔn)確、快速、自動(dòng)獲取其中的情感知識(shí)以滿足多應(yīng)用需求，針對(duì)這一問題的研究形成一個(gè)新穎的領(lǐng)域——文本感知挖掘分析。它應(yīng)用自然語言處理、計(jì)算語言學(xué)和文本分析技術(shù)等來識(shí)別和抽取文本源中的主題信息，確定作者對(duì)某個(gè)主題的總體上的態(tài)度、評(píng)價(jià)和感覺。

文本感知挖掘分析的研究大致可以分成詞語、句子、篇章、文檔集四個(gè)層次。詞語分析包括對(duì)詞語極性、強(qiáng)度和上下文模式的分析。例如Turney(2002)根據(jù)詞語在語料庫中的同現(xiàn)情況反映詞語間聯(lián)系的緊密程度，將詞語A和B的PMI(Pointwise Mutual Information，點(diǎn)態(tài)互信息量)定義為它們?cè)谡Z料庫中的共現(xiàn)概率與A、B概率之積的比值，其值越高，就意味著相關(guān)性越大。任意其它詞語的語義傾向SO定義為與各褒義種子詞PMI之和，減去與各貶義種子詞PMI之和。SO的正負(fù)號(hào)就可以表示詞語的極性，而絕對(duì)值就代表了強(qiáng)度。句子級(jí)分析的處理對(duì)象是在特定上下文中出現(xiàn)的語句。其任務(wù)就是對(duì)句子中的各種主觀性信息進(jìn)行分析和提取。篇章級(jí)分析，就是要從整體上判斷某個(gè)文檔的情感傾向性，即褒貶態(tài)度。而文檔集分析的主要任務(wù)是：對(duì)從不同信息源抽取出的、針對(duì)某個(gè)話題的文檔集合進(jìn)行集成和分析，進(jìn)而挖掘出態(tài)度的特點(diǎn)和走勢(shì)。

文本感知挖掘分析的技術(shù)實(shí)現(xiàn)主要建立在文本分類基礎(chǔ)上。主要就是通過分析文本的感情色彩，從褒貶傾向角度對(duì)文本進(jìn)行分類。如對(duì)描述的內(nèi)容持肯定語氣，帶有明顯的稱贊、頌揚(yáng)、贊賞等意味，則視作正面褒揚(yáng)類；對(duì)事件的描述持客觀公正的態(tài)度，無明顯的個(gè)人感情色彩則為中立類；而帶有明顯的否定語氣，含有質(zhì)疑、鄙視、批評(píng)、痛斥等色彩則屬負(fù)面批評(píng)類。其技術(shù)實(shí)現(xiàn)思想是：當(dāng)給定一個(gè)主題后，先由用戶標(biāo)注一些文章的傾向性，將這些文檔作為學(xué)習(xí)樣本，然后通過詞匯的情感度量和文檔的特征抽取，獲取整個(gè)文檔的特征表達(dá)，再使用不同的機(jī)器學(xué)習(xí)方法，如KNN 和SVM 方法，構(gòu)造分類器。其中詞匯情感度量值可通過事先給定一組褒貶基準(zhǔn)詞，再利用提供的語義相似度和語義相關(guān)度計(jì)算測(cè)試詞與這組基準(zhǔn)詞的語義關(guān)系緊密程度而獲得。

隨著文本感知與挖掘分析技術(shù)的迅速發(fā)展，一系列的應(yīng)用相繼出現(xiàn)。例如，上海交通大學(xué)開發(fā)了一個(gè)用于漢語汽車論壇的意見挖掘系統(tǒng)。其目的是在電子公告板、門戶網(wǎng)站的各大論壇上挖掘并且概括顧客們對(duì)各種汽車品牌的不同性能指標(biāo)的評(píng)論和意見，并且判斷這些意見的褒貶性以及強(qiáng)度(姚天昉,2006)。香港城市大學(xué)語言資訊科學(xué)中心T’sou(2005)在LIVAC共時(shí)語料庫上，進(jìn)行名人信譽(yù)分析研究。他們選擇泛華語地區(qū)有代表性的中文媒體，對(duì)相應(yīng)的新聞報(bào)道進(jìn)行深層次的人工標(biāo)注，并在該語料庫上開展中文文章正負(fù)兩極性自動(dòng)分類研究，通過人物褒貶指數(shù)的計(jì)算，發(fā)布京港臺(tái)雙周名人榜，反映其在三地報(bào)章的信譽(yù)度。而Kim 等人(2007)通過對(duì)美國大選時(shí)涌現(xiàn)出來的大量評(píng)論文章進(jìn)行分類匯總,以此推斷大部分選民是支持“共和黨”還是“民主黨”。此外，一些專業(yè)應(yīng)用的軟件系統(tǒng)也相繼問世，例如Attensity是一個(gè)針對(duì)客戶體驗(yàn)管理(CEM)的軟件系統(tǒng)，它通過從來自社會(huì)媒體(如Facebook,Twitter)、論壇、客戶調(diào)查意見、電子郵件等的非結(jié)構(gòu)化的文本數(shù)據(jù)中抽取事實(shí)、關(guān)系和情感信息，支持對(duì)顧客數(shù)據(jù)的多渠道分析。其產(chǎn)品已被空中客車、花旗銀行、惠普、蓋克等知名企業(yè)和美國聯(lián)邦調(diào)查局、國家安全局等政府機(jī)構(gòu)采用。類似的軟件還有Clarabridge和Lexalytics等。

三、金融文本的感知與挖掘

相對(duì)于信息檢索和情報(bào)領(lǐng)域而言，以文本挖掘分析作為工具的金融研究還是一個(gè)極其新穎的事情，不過正引起越來越多學(xué)者的興趣。他們利用網(wǎng)上新聞、財(cái)務(wù)報(bào)告和論壇博客等作為文本數(shù)據(jù)來源，通過感知與挖掘技術(shù)，應(yīng)用計(jì)算機(jī)大規(guī)模地自動(dòng)對(duì)這些文本進(jìn)行分析處理，從而獲取市場(chǎng)、企業(yè)和投資者的有關(guān)信息。

1.市場(chǎng)狀況的感知

金融市場(chǎng)本質(zhì)上是信息驅(qū)動(dòng)的，各個(gè)投資者根據(jù)自己的信息收集、加工和理解并獨(dú)立決策，最終形成金融資產(chǎn)的市場(chǎng)價(jià)格。而新聞是投資者最為關(guān)注的信息來源，其對(duì)市場(chǎng)的影響也是傳統(tǒng)金融實(shí)證研究中比較關(guān)注的問題?；谖谋厩楦蟹治黾夹g(shù)則可對(duì)金融新聞進(jìn)行大批量的分析處理，實(shí)時(shí)把握主流的觀點(diǎn)傾向、評(píng)估新聞事件的影響度，進(jìn)而推測(cè)金融市場(chǎng)走勢(shì)，分析獲取超額收益的可能性。例如，2001年，Desh根據(jù)領(lǐng)域?qū)＜姨峁┑?00個(gè)帶有情感極性的關(guān)鍵字，采集蘇黎世Olsen & Associates的HFDF93數(shù)據(jù)，以其中的全球金融、政治和經(jīng)濟(jì)狀況的新聞標(biāo)題作為對(duì)象，通過關(guān)鍵詞的統(tǒng)計(jì)來感知匯率市場(chǎng)狀況，以此預(yù)測(cè)盤中貨幣的匯率變動(dòng)。

2.投資者情緒的感知

投資者情緒的研究是行為金融研究中的一個(gè)重要領(lǐng)域，而主要的投資者情緒度量方法是調(diào)查法和代理變量法。即通過問卷調(diào)查的方式來直接了解投資者情緒或者通過相關(guān)代理金融變量作為投資者情緒的間接表示。它們具有成本高、周期長、時(shí)間滯后、誤差大等缺陷。2004年，Werner和Murray基于消息板塊中的投資者討論信息，基于文本情感分析技術(shù)感知投資者對(duì)未來市場(chǎng)的情緒，證實(shí)股票市場(chǎng)的收益率同留言情緒的好壞存在顯著相關(guān)。2007年，Das等也將收集的投資者網(wǎng)上留言信息通過文本感知技術(shù)將其分為看牛、看熊和中性三類，并進(jìn)而將一段時(shí)期內(nèi)的這些分類留言進(jìn)行統(tǒng)計(jì)綜合，編制出投資者情緒指數(shù)，從而為及時(shí)、準(zhǔn)確、自動(dòng)地感知投資者情緒提供了新的思路和工具。

3.上市企業(yè)經(jīng)營情況的感知

上市企業(yè)的經(jīng)營狀況是投資者決策的重要依據(jù)，然而一些研究表明，企業(yè)管理者出于各種壓力和利益的緣故，在不違背相關(guān)法律制度的前提下，傾向于對(duì)其工作業(yè)績(jī)的進(jìn)行夸大或粉飾。由于信息不對(duì)稱，投資者很難了解企業(yè)的真實(shí)經(jīng)營情況以及管理層的真實(shí)經(jīng)營能力和意圖。文本情感分析技術(shù)則為我們提供了新的工具，可一定程度地降低這種信息不對(duì)稱。例如，財(cái)務(wù)報(bào)告是反映企業(yè)財(cái)務(wù)狀況和經(jīng)營成果的書面文件，國際或區(qū)域會(huì)計(jì)準(zhǔn)則都對(duì)財(cái)務(wù)報(bào)告有專門的獨(dú)立準(zhǔn)則。一般包括資產(chǎn)負(fù)債表、利潤表、現(xiàn)金流量表、所有者權(quán)益變動(dòng)表、附表及會(huì)計(jì)報(bào)表附注和財(cái)務(wù)情況說明書。美國還要求提供MD&A(Management’s Discussion and Analysis，管理當(dāng)局討論與分析)，英國也要求提供OFR(Operating and Financial Review，經(jīng)營與財(cái)務(wù)評(píng)述)，以披露高層管理人員對(duì)公司的經(jīng)營目標(biāo)和實(shí)現(xiàn)這些目標(biāo)的戰(zhàn)略，以及成功應(yīng)用這些戰(zhàn)略的可能性，并對(duì)經(jīng)營管理中用來衡量業(yè)績(jī)的關(guān)鍵指標(biāo)進(jìn)行討論和分析。Mark等(2010)通過創(chuàng)建預(yù)測(cè)公司破產(chǎn)和財(cái)務(wù)欺詐兩類事件的詞條目錄，以美國上市企業(yè)的10-k報(bào)表(即年度報(bào)表)中的MD&A(管理者評(píng)論)為文本數(shù)據(jù)來源，分析文本隱含的情感語氣，以此推測(cè)管理層的真實(shí)心理，進(jìn)而構(gòu)建上市企業(yè)的破產(chǎn)與欺詐事件的預(yù)測(cè)模型。其結(jié)果表明其對(duì)兩類事件的辨別精度最高分別可達(dá)到80%和75.4%。Angela等(2008)對(duì)1998至2003年間的企業(yè)盈余公告進(jìn)行分析，通過文本分析軟件感知經(jīng)理人員的樂觀和悲觀語調(diào)，證實(shí)經(jīng)理人員的語調(diào)透露了其后續(xù)經(jīng)營業(yè)績(jī)好壞的信息。國內(nèi)學(xué)者韓春(2008)也使用文本挖掘技術(shù)對(duì)上市公司年報(bào)進(jìn)行分析，并結(jié)合上市公司財(cái)務(wù)評(píng)價(jià)指標(biāo)體系和聚類的方法，給出了一種綜合分析與評(píng)價(jià)上市公司財(cái)務(wù)狀況和經(jīng)營狀況的方法。

4.企業(yè)關(guān)系的感知

各種各樣的新聞報(bào)道往往涉及到企業(yè)的方方面面，而對(duì)一家企業(yè)的新聞報(bào)道往往又會(huì)提到其它企業(yè)，這些企業(yè)之間極有可能存在某種關(guān)系，比如伙伴關(guān)系、競(jìng)爭(zhēng)關(guān)系或從屬關(guān)系等。例如，Bernstein等(2002)使用一個(gè)叫ClearForest的商業(yè)文本挖掘分析系統(tǒng)，從Yahoo!Business News板塊新聞中獲取企業(yè)實(shí)體，構(gòu)建網(wǎng)絡(luò)關(guān)系，計(jì)算其聯(lián)系緊密程度。而Ma,Sheng和Pant(2009)也注意到這個(gè)事實(shí)，通過文本感知挖掘技術(shù)，構(gòu)建了公司之間的關(guān)聯(lián)網(wǎng)絡(luò)圖，并應(yīng)用社會(huì)網(wǎng)絡(luò)分析技術(shù)描述各個(gè)企業(yè)之間的聯(lián)系強(qiáng)度，以此來推測(cè)公司間的盈利關(guān)系。通過對(duì)87340對(duì)樣本公司的實(shí)證，其精度可達(dá)80%。

四、前景與挑戰(zhàn)

隨著IT技術(shù)，特別是網(wǎng)絡(luò)技術(shù)的發(fā)展，文本數(shù)據(jù)正以爆炸式速度在增長、傳播和積累。金融文本數(shù)據(jù)自然不例外，純粹依賴人工閱讀以支持定性分析研究的方式，在洶涌而來、堆積如山的文本數(shù)據(jù)面前相形見絀，效率低下。依賴于文本感知與挖掘分析技術(shù)來充分利用這些數(shù)據(jù)必然受到金融業(yè)者和學(xué)者的高度重視。然而其困難也同樣存在，目前面臨的主要挑戰(zhàn)包括：(1)大規(guī)模金融文本的實(shí)時(shí)采集、存儲(chǔ)與搜索；(2)大規(guī)模金融文本的特征提取、量化與計(jì)算；(3)針對(duì)特定應(yīng)用目的的金融主題詞典以及語料庫的構(gòu)建；(4)基于文本量化的金融模型的開發(fā)與應(yīng)用。

盡管目前很多技術(shù)還只是萌芽，效果還不是很理想，但隨著文本感知與挖掘技術(shù)的進(jìn)一步發(fā)展，其準(zhǔn)確度和精度亦將不斷改善，各種應(yīng)用也將層出不窮，其研究與應(yīng)用前景是相當(dāng)廣闊的。

[參考文獻(xiàn)]

[1]Bernstein, A., Clearwater, S., Hill, S., and Provost, F.Discovering Knowledge from Relational Data Extracted from Business News.Proc.of the KDD 2002 Workshop on Multi-Relational Data Mining,Edmonton, Alberta, Canada, 2002.

[2]Davis, Angela K., Piger, Jeremy M.and Sedor, Lisa M., Beyond the Numbers: Managers’ Use of Optimistic and Pessimistic Tone in Earnings Press Releases (December 3, 2007).AAA 2008 Financial Accounting and Reporting Section (FARS)Paper.Available at SSRN: http://ssrn.com/abstract=875399.

[3]Desh Peramunetilleke, Raymond K.Wong.Currency exchange rate forecasting from news headlines.In:Proc.of the 13th Australasian database conference,2002, (5):131-139.

[4]Kim S.M, Hovy E.Crystal: Analyzing predictive opinions on the Web.In:Proc.of the Joint Conf.on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL).Morristown: ACL,2007.1056-1064.

[5]Ma, Z., Sheng, O., and Pant, G.(2009)Discovering company Revenue Relations from News: A Network Approach, Decision Support Systems, Vol.47, pp: 408-414.

[6]Sanjiv R.Das, Mike Y.Chen.Yahoo! for Amazon: Sentiment Extraction from Small Talk on the Web.Management science,2007,53(9):1375-1388.

[7]Turney Peter, Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews.In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics.2002,417-424.

[8]T’sou Benjamin, Kwong Olivia, Wong Wei-Lung, Lai Tom.2005, Sentiment and Content Analysis of Chinese News Coverage, International Journal of Computer Processing of Oriental Languages, 18: 171-183.

[9]Werner Antweiler,Murray A.Frank.Is all that talk just noise? The information content of internet stock message boards.The journal of finance,2004,3,1259-1294.

[10]姚天昉，聶青陽，李建超，李林琳，婁德成，陳珂，付宇.一個(gè)用于漢語汽車評(píng)論的意見挖掘系統(tǒng)[A].曹右琦，孫茂松.中文信息處理前沿進(jìn)展-中國中文信息學(xué)會(huì)二十五周年學(xué)術(shù)會(huì)議論文集[C].北京：清華大學(xué)出版社，2006:260-281.

[11]韓春,田大鋼.對(duì)股票市場(chǎng)信息的文本挖掘[J].中國高新技術(shù)企業(yè),2008(23):6-8.