李超+周瑛+周煥+潘瑋

[摘要]大數(shù)據(jù)時代的到來，給情報分析帶來了新的機遇和挑戰(zhàn)。文章概述了大數(shù)據(jù)的時代背景及情報分析的發(fā)展趨勢，在現(xiàn)有研究的基礎(chǔ)上，對情報分析方法相關(guān)研究進行系統(tǒng)梳理，從中歸納出基于知識、文獻、組織、專家、認知心理學(xué)等10類傳統(tǒng)情報分析方法并指出其局限性，對7類大數(shù)據(jù)背景下的情報分析方法及常用情報分析軟件進行了分類探討。

[關(guān)鍵詞]大數(shù)據(jù)；情報分析；分析方法；分析軟件

情報分析是利用技術(shù)手段和軟科學(xué)研究方法，對信息資源進行收集、整理、綜合并形成有價值情報的方法。大數(shù)據(jù)環(huán)境下情報分析面臨著前所未有的機遇和挑戰(zhàn)。首先，大數(shù)據(jù)能夠為情報分析提供有力的數(shù)據(jù)處理分析方法和工具，并能提升情報分析的應(yīng)用價值，更好地為政府、企業(yè)、圖書情報機構(gòu)提供決策支持。其次，大數(shù)據(jù)環(huán)境下，情報分析過程面臨數(shù)據(jù)量越來越大、數(shù)據(jù)類型更加復(fù)雜、處理和分析難度增大、精準化的用戶需求及有針對性的結(jié)果呈現(xiàn)等問題。傳統(tǒng)的情報分析方法已到了一個突破瓶頸的時期。而大數(shù)據(jù)分析和情報分析都是以數(shù)據(jù)為基礎(chǔ)進行研究，通過分析數(shù)據(jù)和信息，為用戶提供相關(guān)服務(wù)。并且都以多源數(shù)據(jù)融合、信息的定量分析、相關(guān)關(guān)系的探討為研究重點。因此，優(yōu)化和改進傳統(tǒng)的情報研究方法，引進和創(chuàng)新適用于情報分析的大數(shù)據(jù)分析方法、思路、新工具和新手段，解決大數(shù)據(jù)為情報分析帶來的新問題，充分挖掘大數(shù)據(jù)中蘊含的情報價值，使研究結(jié)果更加科學(xué)，就很有必要性。本文在對國內(nèi)外情報分析方法進行研究的基礎(chǔ)上，結(jié)合大數(shù)據(jù)的背景對傳統(tǒng)的情報分析方法進行了歸類并分析其局限性，對大數(shù)據(jù)背景下的情報分析方法和情報分析軟件進行了探討。

1大數(shù)據(jù)的時代背景及情報分析的趨勢

隨著科技的迅猛發(fā)展，在科學(xué)研究、互聯(lián)網(wǎng)應(yīng)用、電子商務(wù)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動互聯(lián)、生物醫(yī)藥、醫(yī)療衛(wèi)生、地理信息、影視娛樂等領(lǐng)域不斷產(chǎn)生海量的數(shù)據(jù)信息，這就是所謂的大數(shù)據(jù)。大數(shù)據(jù)的基礎(chǔ)在于數(shù)據(jù)，其特點主要是：數(shù)據(jù)類型復(fù)雜，數(shù)據(jù)體量巨大，數(shù)據(jù)價值密度較低，處理速度較快。百度公司每天處理的數(shù)據(jù)量約幾十PB，共響應(yīng)60億次請求；據(jù)互聯(lián)網(wǎng)中心和麥肯錫全球研究院預(yù)計，到2020年全球和中國的數(shù)據(jù)總量將達到35ZB和8.5ZB；關(guān)于大數(shù)據(jù)，維基百科給出的定義是：所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理，并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。而隨著情報領(lǐng)域的知識劃分逐漸細化、內(nèi)容更加專深、數(shù)據(jù)量也日趨增大。我國每年新增的科技文獻和專利數(shù)量分別達到了150萬篇和200萬條。海量的技術(shù)標準、科研文獻、會議論文增長的速度已經(jīng)超過了人工處理所能承受的極限，情報分析已經(jīng)更多地依靠智能化、標準化、高效率的信息技術(shù)來輔助完成數(shù)據(jù)處理的工作。目前，情報分析的趨勢主要是：研究領(lǐng)域從單一領(lǐng)域逐漸擴大轉(zhuǎn)到全領(lǐng)域分析、對各種采集方式獲取的不同結(jié)構(gòu)數(shù)據(jù)進行綜合利用、注重新媒體形式異構(gòu)信息的分析、對情報分析智能化的要求不斷提高。

2大數(shù)據(jù)環(huán)境下的情報分析方法

2.1傳統(tǒng)的情報分析方法

傳統(tǒng)的情報分析方法宏觀上，根據(jù)研究手段分為：定性分析方法、半定量分析方法及定量分析方法；微觀上，根據(jù)對象類型分為：基于知識的情報分析方法（知識地圖法、知識基因法、空白點分析法、循證決策法等）、基于文獻的情報分析方法（文獻計量法、內(nèi)容分析等）、基于組織的情報分析方法（SWOT分析法、產(chǎn)品生命周期分析法、PEST分析、定標比超法等）、基于專家的情報分析方法（訪談法、頭腦風暴法、Delphi法、交叉概率法等）、基于認識的情報分析方法（哲學(xué)方法、理性思維方法、形象思維方法等）、基于認知心理學(xué)的情報分析方法（境況邏輯法、理論應(yīng)用方法等）、面向軍事情報的分析方法（基于物理、事理、人理的分析方法等）、面向公安情報的分析方法（哲學(xué)方法、中介方法等）、面向犯罪情報的分析方法（文件檢驗法、地圖分析法等）、面向?qū)＠那閳蠓治龇椒ǎǘㄐ苑治觥⒍糠治?、擬定量分析法等）。如表1。

傳統(tǒng)情報分析方法的數(shù)據(jù)基本都是結(jié)構(gòu)化、標準化、樣本化的，而大數(shù)據(jù)格式明顯具有異構(gòu)性、多源性的特點，使傳統(tǒng)分析方法在數(shù)據(jù)數(shù)量、類型上受到很大局限。同時，傳統(tǒng)情報分析方法，更多地關(guān)注于文獻分析，通過趨勢外推進行預(yù)測；而文獻數(shù)據(jù)本身存在信息不完全、表現(xiàn)形式單一、分類和編碼困難、代表性可能不足等固有缺陷，加之大數(shù)據(jù)環(huán)境下海量數(shù)據(jù)易造成認識偏差，導(dǎo)致分析結(jié)果的科學(xué)性會受到很大影響。對于大數(shù)據(jù)環(huán)境下社會網(wǎng)絡(luò)結(jié)構(gòu)分析、批量與流式分析、可視化分析、空間信息分析等需求，傳統(tǒng)分析方法也難以滿足。因此，在應(yīng)用中須對傳統(tǒng)情報方法進行優(yōu)化、改進、繼承和創(chuàng)新，同時引進新思路、新工具和新手段，使研究結(jié)果更科學(xué)、高效、準確。

2.2大數(shù)據(jù)背景下的情報分析方法

海量的異源異構(gòu)數(shù)據(jù)，對情報分析造成了巨大的沖擊，而大數(shù)據(jù)分析方法與情報分析方法在本質(zhì)上有很多共同之處，并且在數(shù)據(jù)處理方面更加優(yōu)越。首先，大數(shù)據(jù)分析方法能夠?qū)?shù)據(jù)進行深度分析，充分挖掘數(shù)據(jù)問的關(guān)聯(lián)性，提升數(shù)據(jù)價值；其次，大數(shù)據(jù)分析能夠有效進行多源數(shù)據(jù)融合，兼容多種結(jié)構(gòu)和媒體形態(tài)的數(shù)據(jù)；最后，大數(shù)據(jù)分析基于更先進的平臺和開發(fā)技術(shù)，具有更高的處理效率。因此，引進情報分析領(lǐng)域適用的大數(shù)據(jù)分析方法并進行創(chuàng)新，充分挖掘大數(shù)據(jù)中蘊含的情報價值是當前情報分析領(lǐng)域的研究熱點。綜合考慮方法本身的可操作性、可移植性、完整性等因素，本文從微觀層面對18種大數(shù)據(jù)背景下的情報分析方法進行歸類和分析。如表2。

2.2.1面向挖掘的分析方法

圖模型分析與挖掘：圖模型挖掘是文本數(shù)據(jù)挖掘方法的一種重要應(yīng)用。趙斌等，通過一種基于“詞項一消息一用戶”的TWU圖模型，來對微博中群體觀點進行挖掘，把時戳作為邊的屬性來處理，提出了時間敏感性隨機游走算法TSRW，通過對詞項的相關(guān)性進行度量來挖掘群體觀點。姜春濤等，提出用圖示法定義專利文本單元語法及相似性關(guān)系，利用語義技術(shù)提高專利智能分析的準確性和性能。

信息提?。菏前盐谋纠锇男畔⑦M行結(jié)構(gòu)化處理，然后以統(tǒng)一的形式集成在一起，以便進行比較分析的一種方法。張敏，劉建華等，通過開源工具PDFBox和Tika對不同類型的富文檔元數(shù)據(jù)及正文內(nèi)容進行提取。首先，通過解析Content-Type來獲取MIME類型名稱，識別文檔的類型；再通過對富文檔進行分析，提取文檔的創(chuàng)建時間、修改時間、文檔標題、文本內(nèi)容等重要信息，拓展了文本知識內(nèi)容的識別方法。

時空數(shù)據(jù)挖掘：隨著移動終端定位信息服務(wù)的發(fā)展和網(wǎng)絡(luò)中描述時空范圍的信息不斷增加，挖掘時空信息并提升其價值，成為了數(shù)據(jù)挖掘領(lǐng)域的前沿課題。時間信息通?？蓮木W(wǎng)頁內(nèi)容、用戶數(shù)據(jù)或超鏈接中提取，Allen首次提出用代數(shù)的區(qū)間來表示時間。概率模型法、粗糙集、自動注解等方法都適用于時間的識別?？臻g信息分為源位置和目標位置，分析主機位置就可以定位到源位置，通過地理文本分析和地理信息標識可以找到目標位置。Lauw、Pham、Crandall等人提出了基于時空事件模型的社交網(wǎng)絡(luò)發(fā)現(xiàn)方法，通過分析用戶的地點信息、用戶在時間和空間上的共現(xiàn)，預(yù)測用戶之間的社交聯(lián)系和強度。時空挖掘方法針對輿情研究、社交網(wǎng)絡(luò)分析、研究主題周期等情報分析問題有很好的幫助。

聯(lián)機分析：是對大量數(shù)據(jù)進行快速、靈活地分析和處理，為決策人員提供信息支持的一種快速軟件技術(shù)，能夠支持復(fù)雜查詢處理。隨著大數(shù)據(jù)時代信息化程度的提高，數(shù)據(jù)量不斷增大、數(shù)據(jù)維度不斷增多，聯(lián)機分析技術(shù)正向著高效查詢的方向發(fā)展。高雅卓，倪志偉等提出了基于關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)立方體物化方法及立方體增量更新算法。并進行了基于變量選擇的OLAP查詢流程模擬實驗，證明算法提高了查詢推薦的效率。于非，張嵐，張柏秋，對美國ProQuest公司的ProQuest Dialog國際聯(lián)機檢索平臺的指令算符、索引字段做了詳細比對與分析，指導(dǎo)用戶合理組配構(gòu)建邏輯關(guān)系緊密的檢索策略，提高查全率和查準率。

關(guān)聯(lián)分析：是一種從海量數(shù)據(jù)或其他信息載體中發(fā)現(xiàn)項目或?qū)ο蠹现g相關(guān)性、相關(guān)關(guān)系或因果結(jié)構(gòu)的分析方法，常用的算法是Apriori算法和FP-growth算法。何超，張玉峰設(shè)計了商務(wù)情報語義關(guān)聯(lián)分析算法，自頂而下進行多層知識挖掘，對用網(wǎng)絡(luò)圖結(jié)構(gòu)表示的文本中的關(guān)聯(lián)模式進行探索。楊建林對同一作者在其發(fā)表的所有期刊論文中列出的所有關(guān)鍵詞進行關(guān)聯(lián)分析挖掘，挖掘過程包括：業(yè)務(wù)理解、數(shù)據(jù)準備、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和結(jié)果分析5個步驟。以發(fā)現(xiàn)學(xué)術(shù)個體在研究方向選擇方面的行為特點，揭示不同研究方向兩兩之間的關(guān)聯(lián)強度。

數(shù)據(jù)挖掘和文本挖掘：通過對結(jié)構(gòu)化的數(shù)據(jù)進行挖掘，發(fā)現(xiàn)潛在的關(guān)聯(lián)規(guī)律和模式的方法。數(shù)據(jù)挖掘偏重于圖書館信息檢索服務(wù)方面，而文本挖掘?qū)儆谟嬎銠C領(lǐng)域的研究內(nèi)容，主要用來揭示文本中的詞與句法特征。李信，李旭暉等采用數(shù)據(jù)挖掘方法，以Web of Science為數(shù)據(jù)源，借助SATI和SPSS軟件分析了大數(shù)據(jù)驅(qū)動下圖書情報學(xué)科研究的現(xiàn)狀和進展。

2.2.2面向發(fā)現(xiàn)的分析方法

深度學(xué)習(xí)：是利用層次化的架構(gòu)，對大數(shù)據(jù)進行有效學(xué)習(xí)、解釋和表達的方法，相對傳統(tǒng)的模型和方法，更為復(fù)雜和深入。該方法通常和人工神經(jīng)網(wǎng)絡(luò)方法相結(jié)合使用。隨著科技發(fā)展大規(guī)模神經(jīng)網(wǎng)絡(luò)分析技術(shù)提升了深層感知的效果，與大數(shù)據(jù)形成相互促進的關(guān)系。體量浩大的大數(shù)據(jù)解決了人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本不足的問題，而神經(jīng)網(wǎng)絡(luò)能夠?qū)Ξ悩?gòu)數(shù)據(jù)、多源數(shù)據(jù)進行整合、提取特征和抽象，捕捉變化動態(tài)，實現(xiàn)大數(shù)據(jù)價值轉(zhuǎn)化。Bengio等利用自動編碼器，實現(xiàn)了非概率無監(jiān)督深度學(xué)習(xí)；斯坦福大學(xué)Socher等，在解決情感分析問題時采用了遞歸神經(jīng)網(wǎng)絡(luò)，將識別率提高了5個百分點。國內(nèi)，科大訊飛和百度的IDL對深度學(xué)習(xí)技術(shù)進行了深入研究，獲得了良好效果。

知識計算：大數(shù)據(jù)知識計算是學(xué)術(shù)界的研究熱點之一，是通過對數(shù)據(jù)進行抽取并構(gòu)建成知識庫（支持查詢、分析、計算），從而進行高端分析，提升知識的價值。世界各國都發(fā)布了知識搜索平臺，如wolframalpha知識計算平臺、TrueKnowledge知識搜索平臺、knowledge graph搜索服務(wù)、維基百科知識庫等；國內(nèi)有多所高校和研究所也參與了知識庫建設(shè)工作，如上海交通大學(xué)建立的zhishi.me平臺，復(fù)旦大學(xué)GDM推出的知識圖譜平臺，中科院數(shù)學(xué)研究院發(fā)布的知件等。知識庫的構(gòu)建工作包括：手動或自動構(gòu)建知識庫、對多源知識進行融合并更新知識庫。手動構(gòu)建知識庫，需要專業(yè)人員并花費大量人力物力，如：知網(wǎng)（Hownet）、同義詞詞林、概念層次網(wǎng)絡(luò)（HNC）和中文概念詞典（CCD），OpenCyc；自動構(gòu)建方法分為有監(jiān)督的構(gòu)建方法和半監(jiān)督的構(gòu)建方法，如Probase 和YAGO知識庫。

社會計算：隨著大數(shù)據(jù)時代社交網(wǎng)絡(luò)的興起微博、Twitter等在線應(yīng)用使人與人之間的關(guān)系網(wǎng)絡(luò)更加緊密，人的互聯(lián)逐漸成為信息互聯(lián)的載體和信息傳播的媒介。因此，社會計算成為了學(xué)術(shù)界較為重視的研究內(nèi)容。目前，社會計算的熱點主要集中在社會網(wǎng)絡(luò)結(jié)構(gòu)分析、信息傳播模型分析、信息內(nèi)容分析、社會媒體中信息檢索與數(shù)據(jù)挖掘等方面。社區(qū)結(jié)構(gòu)是在線社會網(wǎng)絡(luò)結(jié)構(gòu)分析領(lǐng)域的研究方向之一，主要針對社區(qū)的定義、度量、結(jié)構(gòu)演化等問題進行分析。在線社會網(wǎng)絡(luò)信息傳播模型研究方面，影響力較大的是傳染病模型和隨機游走模型；隨后，不同領(lǐng)域?qū)＜覐木W(wǎng)絡(luò)動力學(xué)、消息可信度、消息新穎度、消息的流行度等不同角度對進行了建模和實證分析。社會網(wǎng)絡(luò)信息檢索和挖掘，在大數(shù)據(jù)環(huán)境下需要處理：信息碎片化、自媒體現(xiàn)象、人的互聯(lián)取代信息互聯(lián)等一系列問題。國外專家Yang提出了時間序列聚類算法，Bollen通過情感分析提出情緒時間序列的方法。國內(nèi)包括：清華大學(xué)、北京大學(xué)、上海交通大學(xué)、中國科學(xué)院等機構(gòu)已經(jīng)對社會媒體檢索和挖掘進行了深入研究。

粗糙集理論是一種能夠定量分析處理不精確、不一致、不完整信息與知識的數(shù)學(xué)工具，在情報學(xué)領(lǐng)域多用于專利分析、知識庫構(gòu)建、多指標綜合評價、影響力評估等問題。大數(shù)據(jù)環(huán)境下粗糙集理論通過增量式學(xué)習(xí)和海量數(shù)據(jù)集進行合理分割的方法來解決數(shù)據(jù)量過大的問題。通過基于對等價關(guān)系的泛化，比如限制容差關(guān)系、相似關(guān)系、容差關(guān)系、模糊聚類等方法來處理不完備信息。周磊分析了粗糙集與模糊集、證據(jù)理論、神經(jīng)網(wǎng)絡(luò)進行融合形成的三種方法在競爭情報分析中的應(yīng)用及基本工作流程。袁潤，錢過利用粗糙集理論分析專利數(shù)據(jù)，并按照核心專利綜合指數(shù)將特定領(lǐng)域?qū)＠M行分類。

語義分析：是指將人類的自然語言轉(zhuǎn)化為反映其意義的某種形式化表示，使計算機能夠理解。當前在概念、關(guān)系層次上的語義分析主要包括：基于統(tǒng)計的特征向量抽取和基于語義詞典的相似度計算方法。ICTCLAS（Institute ofComputing Technology，Chinese Lexical Analysis System），是中國科學(xué)院技術(shù)研究所開發(fā)出的漢語詞法分析系統(tǒng)，主要功能包括中文分詞；詞性標注；命名實體識別；新詞識別；同時支持用戶詞典。ICTCLAS3.0具有分詞精度高、查詢速度快、內(nèi)存占用小等多種優(yōu)點。北京理工大學(xué)張華平博士開發(fā)的NLPIR漢語分詞系統(tǒng)也是國內(nèi)用戶較多的基于大數(shù)據(jù)語義挖掘平臺，能夠?qū)崿F(xiàn)分詞、關(guān)鍵詞、聚類、分類、摘要、去重、情感分析、特定人物情感分析、精準搜索等功能。美國State Street金融服務(wù)公司，在公司首席科學(xué)家David Saul的領(lǐng)導(dǎo)下，采用語義技術(shù)來整合公司各種數(shù)據(jù)庫，使得大數(shù)據(jù)真正變成了“智慧數(shù)據(jù)”。語義分析技術(shù)目前在圖情領(lǐng)域多用于學(xué)科知識服務(wù)、個性化推薦、查詢擴展、智能檢索、數(shù)字資源網(wǎng)絡(luò)聚合、微博主題挖掘、元數(shù)據(jù)描述、網(wǎng)絡(luò)輿情分析等。

統(tǒng)計模式識別：統(tǒng)計模式識別是結(jié)合統(tǒng)計概率論的貝葉斯決策系統(tǒng)進行模式識別的技術(shù)，又稱為決策理論識別方法。該方法在圖書情報領(lǐng)域主要應(yīng)用于文檔分類、文檔圖像分析、多媒體數(shù)據(jù)庫檢索等方面。

2.2.3面向可視化的分析方法

隨著大量信息的產(chǎn)生，圖書情報學(xué)領(lǐng)域研究人員需要對海量數(shù)據(jù)進行處理和利用，探索數(shù)據(jù)之間的關(guān)系、隱藏的規(guī)律，從而對事物發(fā)展的趨勢進行預(yù)測，為決策者提供實時、準確的信息支持。可視化分析融合了多個領(lǐng)域的方法包括：地理空間分析、信息分析、科學(xué)分析、統(tǒng)計分析、知識表示、知識發(fā)現(xiàn)等?？梢暬治隽鞒讨饕?個步驟：根據(jù)研究主題，選取數(shù)據(jù)源并抽取數(shù)據(jù)；確定需要分析的元素，如期刊、學(xué)科、作者、學(xué)位論文等；再確定數(shù)據(jù)元素的關(guān)系，獲取關(guān)系矩陣；最后繪圖并通過分析獲得相應(yīng)關(guān)系信息。如何應(yīng)對高維度、大規(guī)模、多類型、來源復(fù)雜、動態(tài)演化的大數(shù)據(jù)信息，提高信息的可用性，更好地提供決策支持，是情報可視化領(lǐng)域需解決的問題。目前主流的方法是數(shù)據(jù)轉(zhuǎn)換和視覺轉(zhuǎn)換。通過刪除節(jié)點的方式簡化網(wǎng)格，解決了曲面可視化的問題；Hoppe提出了漸進網(wǎng)格表達方法；Cignoni提出提高信息解析度、多尺度、多層次展示的方法，利用四叉樹紋理層次和三角片面二叉樹對幾何和紋理進行展示；此外，還有將數(shù)據(jù)放置在外存的核外算法；采用細節(jié)強調(diào)的方式，簡化非重要數(shù)據(jù)的方法，如魚眼視圖、空間樹等。

2.2.4面向預(yù)測的分析方法

時間序列分析與多元統(tǒng)計分析：兩種方法共同點是能夠基于歷史數(shù)據(jù)的變化，評價事物現(xiàn)狀或預(yù)測事物未來的發(fā)展。前者主要通過調(diào)查或統(tǒng)計抽樣獲得系統(tǒng)的時間序列動態(tài)數(shù)據(jù)，然后進行相關(guān)分析和模型曲線擬合，預(yù)測發(fā)展趨勢；后者是對多個觀察對象和指標之間關(guān)聯(lián)規(guī)律進行研究的方法，是從統(tǒng)計學(xué)中發(fā)展的一種綜合分析方法，包含了：多元方差分析、多元線性回歸與相關(guān)分析、主成分分析、因子分析、聚類分析等。

話題演化分析：話題演化分析方法是近年來文本挖掘領(lǐng)域的研究熱點，主要采用LDA模型、LSI模型等，將對文本中詞語表示為話題集合，模擬話題隨時間推移表現(xiàn)出的變化。陳福集，馬梅蘭以成都女司機為研究對象，進行話題識別和演化過程分析，并研究了特征詞分布特點，建立了關(guān)聯(lián)度判別函數(shù)，改進了single-pass聚類算法，證明全生命周期模型分析話題演化方法能夠?qū)σ话爿浨榘l(fā)展進行分析。廖君華，孫克迎，鐘麗霞采用LDA模型提取熱點話題，利用時間標簽發(fā)現(xiàn)熱點話題，以“釣魚島事件”實驗證明模型能預(yù)測話題演化趨勢。

2.2.5面向統(tǒng)計的分析方法

多維尺度分析統(tǒng)計，是在保留原數(shù)據(jù)幾何關(guān)系的前提下，應(yīng)用降維技術(shù)，通過非線性變換，把高維度空間的數(shù)據(jù)轉(zhuǎn)換成低維度空間的數(shù)據(jù)，并進行統(tǒng)計分析的技術(shù)。目前較為流行的算法有：隨機尋徑網(wǎng)絡(luò)算法，對時變性和隨機性海量數(shù)據(jù)進行分析，目標是生成一個節(jié)點數(shù)目不變、只保留有效鏈接的精簡網(wǎng)絡(luò)即最小值網(wǎng)絡(luò)；最小生成樹算法，該方法曾被用來計算文獻的共被引距離進行可視化分析和構(gòu)造演化網(wǎng)絡(luò)；潛在語義索引，通過海量文獻進行詞匯之間關(guān)系的分析，通過自然語言理解，能在一定程度上提高檢索結(jié)果的相關(guān)性，多用于圖書館文獻分析；突發(fā)檢測算法，主要通過對學(xué)科領(lǐng)域內(nèi)焦點詞的發(fā)展，增長勢頭進行比較，研究學(xué)科領(lǐng)域內(nèi)研究熱點的變化、發(fā)展情況。

圖論方法，是通過圖形的角度對網(wǎng)絡(luò)進行研究，反映網(wǎng)絡(luò)數(shù)據(jù)之間的關(guān)聯(lián)，能夠進一步提高對數(shù)據(jù)的理解和分析能力。Andrei Broder等人通過搜索引擎收集了大量網(wǎng)頁和鏈接，通過繪制網(wǎng)絡(luò)拓撲，利用圖論方法對本地及全球互聯(lián)網(wǎng)的圖形特征進行了研究。Google通過分析網(wǎng)頁之間的鏈接圖，來分析網(wǎng)頁之間的關(guān)系，提高搜索的質(zhì)量。PageRank算法基于對網(wǎng)頁權(quán)威性的判斷，使Google能比競爭對手更快地獲取相關(guān)信息。

移動應(yīng)用統(tǒng)計方法。隨著移動互聯(lián)網(wǎng)的發(fā)展，各種移動圖書館、微信圖書館等應(yīng)用不斷出現(xiàn)。在為科研工作者及時、便捷地提供信息推送、在線文獻閱讀、電子圖書預(yù)覽等功能的同時，每天產(chǎn)生大量的用戶行為和服務(wù)日志。通過對大量的用戶數(shù)據(jù)進行收集和統(tǒng)計分析，能夠有效對服務(wù)進行完善和改進，在用戶行為分析、輿情信息移動推送、競爭情報移動推送、書目信息推送、文獻移動推送、信息定制、信息關(guān)聯(lián)標引等方面都有很好的應(yīng)用。

2.2.6面向集成的分析方法

多源數(shù)據(jù)（知識）融合方法：多源數(shù)據(jù)融合方法，是針對大數(shù)據(jù)環(huán)境下多源異構(gòu)數(shù)據(jù)分析處理而提出的方法，通過對多源數(shù)據(jù)進行挖掘和融合，有利于提升信息分析的作用、減少信息錯誤與疏漏、防止決策失誤。R.R.Yager提出一種多源數(shù)據(jù)融合的框架，并通過投票方式有效解決數(shù)據(jù)之間沖突。K.Chopra建立了一個多源信息融合的軟件工具模型，并對情報分析的不確定性評價進行了探討；陳科文等人則從系統(tǒng)設(shè)計、數(shù)據(jù)處理、融合模型與方法等方面對當前多源信息融合的關(guān)鍵問題與應(yīng)用進展進行了綜述。多源知識融合方法，是以提高知識的復(fù)用和共享為目的，對多來源的知識進行融合的方法。需要對不同來源的知識進行清理、消除冗余、解決實例、概念、屬性和關(guān)系的沖突。通常利用人工智能、本體、機器學(xué)習(xí)技術(shù)的自動融合方式可擴展性較好。

2.2.7事實性數(shù)據(jù)+工具+專家智慧分析法

中國科學(xué)技術(shù)研究所，針對大數(shù)據(jù)環(huán)境提出了基于“事實型數(shù)據(jù)+工具方法+專家智慧”的情報分析方法。通過定性定量的系統(tǒng)結(jié)合方法，對信息資源數(shù)據(jù)進行深入分析，借助專家智庫，提煉出相關(guān)政策建議。美國著名的戰(zhàn)略情報研究所一蘭德公司，利用自主研發(fā)的自動數(shù)據(jù)分析框架、理性程序并借助社會知名人士、政府離職官員作為顧問，對戰(zhàn)略情報進行綜合分析，取得了良好的效果。山東省科技情報研究所和廣東省科技圖書館，分別將該方法應(yīng)用于海水淡化和情報服務(wù)工作中。

3大數(shù)據(jù)環(huán)境下情報分析常用軟件

情報研究人員在對海量異構(gòu)數(shù)據(jù)的分析處理過程中，通常需要借助專業(yè)的情報分析軟件，以縮短分析周期、提高分析的效率和準確性。以下對大數(shù)據(jù)環(huán)境下常用的情報分析軟件進行概括分析，見表3。

3.1可視化分析軟件

可視化技術(shù)旨在利用圖形圖像領(lǐng)域的技術(shù)和方法，研究大規(guī)模信息資源的視覺呈現(xiàn)，幫助情報工作人員理解和分析數(shù)據(jù)。該技術(shù)是知識計量學(xué)、科學(xué)計量學(xué)等領(lǐng)域重要的研究方法和手段。信息可視化工具包括：CiteSpace、RefViz、HistCite、Vosviewer、Leydesdorff等。Citespace由陳超美教授開發(fā)，能夠通過對某學(xué)科領(lǐng)域的文獻數(shù)據(jù)進行挖掘、繪制可視化圖譜，展示學(xué)科發(fā)展趨勢和動向。目前CiteSpace5.0為軟件最新版本.新版本具有四大核心功能：快速定位本領(lǐng)域核心文獻、快捷梳理領(lǐng)域的文獻關(guān)聯(lián)、探究研究前沿和知識基礎(chǔ)和探測學(xué)科主題分布與主題趨勢。Refviz是一款對參考文獻進行管理并發(fā)現(xiàn)文獻之間關(guān)聯(lián)性的軟件，由OmniViz和Thomson ISI Research公司共同推出。該軟件能夠?qū)⑽墨I按照內(nèi)容和關(guān)聯(lián)度進行分組，以詞語加權(quán)方式對詞語的重要性進行分類，對熱點詞語權(quán)值的干預(yù)。HistCite是用來分析領(lǐng)域內(nèi)文獻關(guān)系，并繪制引文圖譜的軟件，能夠通過可視化方式對最新、重要的文獻進行展示的軟件。Vosviewer是荷蘭萊頓大學(xué)CWTS科學(xué)技術(shù)研究中心開發(fā)的集成文本挖掘、分散視圖、標簽視圖、聚類密度視圖的文獻計量和可視化分析的工具。最新開發(fā)的1.6.5版本，對可視化效果進行了提升，提供了新的命令。允許用戶對網(wǎng)絡(luò)和數(shù)據(jù)密度可視化疊加效果進行自定義，并能夠以自動化的方式創(chuàng)建VOSViewer地圖。Leydesdofff是針對多種數(shù)據(jù)源分析的系列軟件，由荷蘭阿姆斯特丹大學(xué)研發(fā)，能夠?qū)崿F(xiàn)共詞、合作、耦合、共引等分析。

3.2專利分析軟件

目前國內(nèi)外專利分析工具分為：專利采集和加工工具、專利檢索分析工具及計算機輔助創(chuàng)新工具。專利采集加工工具通過爬蟲對專利進行采集、清洗為專利分析提供數(shù)據(jù)，主要有臺灣連穎科技公司開發(fā)的PatentGuider、北京彼速軟件公司開發(fā)的BizSolution、保定大為軟件公司開發(fā)的PatentEx專利分析系統(tǒng)、漢之光華專利情報分析系統(tǒng)等；專利檢索分析工具具有先進的數(shù)據(jù)檢索、文本挖掘功能，主要有美國Lexis Nexis公司的Total Patent、Aureka、Delphion、Innovaton等。計算機輔助創(chuàng)新工具包括：美國Invention Machine公司開發(fā)的Goldfire Innovator9.0，以TRIZ/ARIZ為工具，與全球超過70個專利庫進行連接，包含了超過9000條來自各個領(lǐng)域的科學(xué)原理。主要作用是通過對典型技術(shù)問題專利進行技工，提出解決問題的方法。Pro/Innovator由億維訊公司開發(fā)，支持隱性知識挖掘利用，對知識的產(chǎn)生、表達、組織、更新、檢索、共享等過程進行全程管理。

3.3統(tǒng)計分析軟件

大數(shù)據(jù)環(huán)境下數(shù)據(jù)可分為：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)。在進行情報分析時：對于半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析，宜采用傳統(tǒng)分析工具Excel、SAS、SPSS、Stata、Matlab等進行處理。而半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)處理相對較復(fù)雜，R語言、Python和Flurry則具有絕對優(yōu)勢。

R語言是由Nuckland大學(xué)Robert Gentleman和Rosslhaka編制，用于處理大數(shù)據(jù)環(huán)境下海量數(shù)據(jù)的統(tǒng)計軟件包。R的優(yōu)勢在于有包羅萬象的統(tǒng)計函數(shù)可以調(diào)用，提供了包括廣義回歸分析、風險分析、矩陣計算、抽樣檢驗等功能，并且能讀取由SAS、SPSS、Stata、Matlab等軟件處理的數(shù)據(jù)。

Python語言具有非常清晰易讀的語法特點，支持目前主流的操作系統(tǒng)，能夠支持移動應(yīng)用，擁有良好的學(xué)習(xí)支持資源并不斷對庫進行改良。Python的網(wǎng)絡(luò)爬蟲及R的RCurl包、Rweibo包等都可以進行網(wǎng)絡(luò)數(shù)據(jù)和文本挖掘，對非結(jié)構(gòu)性數(shù)據(jù)亦能進行分析處理。常用作文本挖掘、日志統(tǒng)計分析、社交網(wǎng)絡(luò)分析等。

Flurry是專門為統(tǒng)計移動應(yīng)用用戶數(shù)據(jù)而開發(fā)的統(tǒng)計工具，能夠支持包括iPhone、iPad、Android、WindowsPhone、Java ME和BlackBerry終端平臺的數(shù)據(jù)分析，支持超過36萬個移動應(yīng)用。Flurry能夠支持移動應(yīng)用的構(gòu)建、用戶偏好的分析和數(shù)據(jù)智能分析推送等功能，在移動應(yīng)用數(shù)據(jù)統(tǒng)計方面處于領(lǐng)先地位。此外國內(nèi)外的移動應(yīng)用統(tǒng)計分析工具/平臺還有：Talking Data、Cobub Razo、FLURRY等。

3.4犯罪情報分析軟件

面對大數(shù)據(jù)產(chǎn)生海量的犯罪情報信息，犯罪情報分析軟件在公安情報分析中起到很大作用。Analysts Notebook是海灣戰(zhàn)爭中為美國開發(fā)的情報軟件，為情報分析工作提供了強有力的支持。軟件能夠通過關(guān)聯(lián)對比，將事先錄入的雜亂數(shù)據(jù)形成關(guān)系網(wǎng)和分析圖，為行動決策提供犯罪情報支持。為了提供數(shù)據(jù)存儲功能，IBase和Ibridge軟件應(yīng)運而生。ATAC是BSRC公司開發(fā)的綜合犯罪情報分析工具，具有學(xué)習(xí)分析的功能，能夠進行統(tǒng)計分析、復(fù)雜查詢、時間序列分析等功能。ESRI公司研發(fā)的地理犯罪情報分析軟件ArcGIS，能夠支持戶外移動平臺使用。

3.5競爭情報分析軟件

瑞典Comintelli公司研發(fā)的企業(yè)競爭情報平臺軟件Knowledge XChanger，獲得了美國和歐盟組織的認可，使用范圍相當廣泛，能夠?qū)崿F(xiàn)部分競爭情報流程自動化。此外還有Coemergence公司的ACIS、Traction Software公司的TeamPage、Comintell公司的Knowledge Xchanger、Cipher公司的Knowledge Works、Strategy Software Inc.公司的STRATEGY！，ClearForest公司的ClearResearch Suite等。

3.6威脅情報分析軟件

威脅情報分析，是迅速出現(xiàn)在信息安全領(lǐng)域的方法，Solutionary公司的白皮書對“威脅情報”分析的定義是：通過對安全相關(guān)的信息進行搜集、分析、快速和清晰的評估、仔細判斷后形成產(chǎn)品，作為決策和行動的先導(dǎo)。Open Threat Exchange系統(tǒng)能夠訪問威脅研究專家的全球社區(qū)，通過威脅指標分析多個來源的威脅數(shù)據(jù)，為研究人員提供安全設(shè)施更新的建議。Threatcrowd是一個威脅搜索系統(tǒng)，能自動從malwr.com獲取信息，能夠協(xié)助情報人員對關(guān)聯(lián)數(shù)據(jù)進行分析。IBM X-Force是世界上最知名的商業(yè)安全研究軟件之一，軟件能幫助客戶、研究人員和公眾更深入地了解最新的安全風險，提前預(yù)知新興威脅。公共安全威脅信息的分析和度量可以通過一系列軟件的組合來實現(xiàn)，美國情報機構(gòu)利用包括：Visible，Socializing the Enterprise，Geofeedia（社交媒體分析）、Open Source Indicators（利用公開信息預(yù)測政治動亂、經(jīng)濟危機，傳染病爆發(fā)等）、Information Volume and Velocity（互聯(lián)網(wǎng)信息收集系統(tǒng)由美國國防部支持），對公共安全信息進行分析。用于商業(yè)公開情報分析的軟件主要包括：Recorded Future，Palantir，Aggregative Contingent Estimation（ACE）（通過篩選各種博客、推特、衛(wèi)星圖像等提供社會動亂的預(yù)警）等。

4結(jié)語

大數(shù)據(jù)時代情報分析和處理是獲取知識的重要手段，也是情報研究的熱點內(nèi)容。隨著數(shù)字化技術(shù)和網(wǎng)絡(luò)的飛速發(fā)展，海量、非結(jié)構(gòu)化、快速增長的數(shù)據(jù)不斷涌現(xiàn)，對情報研究造成了很大沖擊，情報學(xué)將不可避免的面對一場技術(shù)革命。本文在對國內(nèi)外情報分析和大數(shù)據(jù)分析方法進行研究的基礎(chǔ)上，總結(jié)了10類傳統(tǒng)情報分析方法和7類基于大數(shù)據(jù)背景的情報分析方法，對傳統(tǒng)分析方法的不足和大數(shù)據(jù)分析方法的優(yōu)勢進行了研究，并對常用情報分析軟件進行了探討，以期為情報研究人員和情報分析工作提供有價值的參考。