張計龍

(復旦大學圖書館 上海 200433)

1 大數(shù)據(jù)環(huán)境下圖書館面臨的挑戰(zhàn)與機遇

隨著信息技術的發(fā)展，泛在知識環(huán)境下數(shù)據(jù)呈現(xiàn)爆發(fā)式的增長并體現(xiàn)出社會化趨勢。根據(jù)國際數(shù)據(jù)公司(IDC)的研究結(jié)果，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB(1ZB等于 10億個 TB)，2009年的數(shù)據(jù)量為0.8ZB，2010年增長為1.4ZB，2011年的數(shù)據(jù)更是高達1.8ZB，相當于全球每人產(chǎn)生200GB以上的數(shù)據(jù)［1］。到2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達到今天的44倍［2］。一般認為數(shù)據(jù)量達到PB級(1000個TB)的數(shù)據(jù)可稱為大數(shù)據(jù)(Big Data)。今天大數(shù)據(jù)已經(jīng)成為一種自然資源，業(yè)界普遍認為大數(shù)據(jù)不被利用就是資源浪費。面對大數(shù)據(jù)的規(guī)模和復雜性，現(xiàn)有技術在大數(shù)據(jù)的獲取、存儲、搜索、分享、分析和可視化方面顯得無能為力，需要對不同業(yè)務領域的大數(shù)據(jù)研究有效處理技術加以應對。

大數(shù)據(jù)時代的圖書館面臨更加巨大的環(huán)境壓力。從內(nèi)部資源和服務角度看，圖書館館藏資源紙本增量不斷減少，更多的數(shù)字資源可在網(wǎng)上直接獲取，例如Google Scholar的海量數(shù)字資源。與此同時，商業(yè)搜索引擎提供的服務正迅速吞噬圖書館提供的OPAC服務，而無處不在的社會化網(wǎng)絡交流服務平臺也使得傳統(tǒng)的參考咨詢服務優(yōu)勢不斷減少。從外部需求來看，互聯(lián)網(wǎng)信息環(huán)境發(fā)生了巨大變化，如Google與圖書館合作數(shù)字化館藏、原生數(shù)字資源開放獲取、新技術的滲透影響等，加上經(jīng)濟環(huán)境的衰退造成的采訪經(jīng)費壓力加大以及大數(shù)據(jù)環(huán)境下教學、科研活動對圖書館資源和服務提出了更高的新要求。

大數(shù)據(jù)環(huán)境下圖書館受到挑戰(zhàn)的同時，也面臨了新的發(fā)展機遇，例如，圖書館各類系統(tǒng)中存在大量的用戶訪問圖書館資源時留存下來的日志和信息行為數(shù)據(jù)，包括以下幾類:

(1)用戶查詢書目產(chǎn)生的OPAC日志，存在于圖書館OPAC系統(tǒng)中。

(2)用戶借還書產(chǎn)生的流通日志，存在于圖書館集成管理系統(tǒng)中，如Aleph500、匯文等。

(3)用戶檢索、瀏覽、下載電子資源產(chǎn)生的日志，廣泛存在于不同數(shù)據(jù)庫商的系統(tǒng)中。

(4)用戶訪問產(chǎn)生的流量數(shù)據(jù)(包括交換機、服務器、存儲陣列)，包括:

(a)交換機的出入口流量、上下行組包數(shù)、CPU、內(nèi)存占用率等等，緩存在不同交換機中。

(b)服務器的占用內(nèi)存、進程數(shù)、CPU負載、當前用戶數(shù)、硬盤卷占用情況，緩存在不同服務器設備中。

對于這些海量的、轉(zhuǎn)眼即逝的數(shù)據(jù)，圖書館應從中進行有效的數(shù)據(jù)價值挖掘，以應對解決圖書館面臨的各種困難和問題，如:

(1)圖書館各類管理系統(tǒng)、電子資源數(shù)據(jù)庫數(shù)量眾多，如何保障這些軟件系統(tǒng)、網(wǎng)絡設備正常運行，提升服務質(zhì)量?

(2)圖書館購買了大量電子資源數(shù)據(jù)庫，如何實現(xiàn)對這些由不同廠商提供的電子資源使用情況進行統(tǒng)一統(tǒng)計、分析和評估?如何解決應用異構(gòu)和數(shù)據(jù)異構(gòu)?如何應對日益頻繁的惡意下載行為?

(3)圖書館采訪工作是非常具有挑戰(zhàn)性、技術性的核心工作，能否利用不同系統(tǒng)提供的用戶訪問信息行為數(shù)據(jù)為采訪工作提供輔助決策支持?

(4)對于學術圖書館來講，如何有效挖掘用戶信息行為數(shù)據(jù)，擺脫目前學科服務重要而又走不出的困境?

2 我國圖書館界大數(shù)據(jù)研究進展

大數(shù)據(jù)最近兩年來成為IT界、金融投資界的熱門關鍵詞，圍繞如何解決大數(shù)據(jù)環(huán)境下數(shù)據(jù)的獲取、存儲、傳輸、分析以及可視化應用等關鍵技術進行了大量研究。2013年3月29日，美國政府推出的“大數(shù)據(jù)的研究和發(fā)展計劃”［3］，承諾通過提升大數(shù)據(jù)利用能力，加快科學與工程研究步伐，加強國家安全，改變教學研究工作，從政府層面全面推進大數(shù)據(jù)研究應用。

我國圖書館界圍繞著大數(shù)據(jù)也開展了一些研究探索，主要成果包括:楊海燕等［4］分析了大數(shù)據(jù)時代的圖書館數(shù)據(jù)處理與服務，認為從大量的數(shù)據(jù)中去分析、挖掘潛在的價值，以便圖書館決策層及時做出決定將成為圖書館的一大主要業(yè)務，同時圖書館服務策略也將隨之改變;韓翠峰［5，6］從大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)角度，認為大數(shù)據(jù)將使圖書館在數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)分析等方面面臨巨大挑戰(zhàn)與考驗，通過挖掘隱藏在大數(shù)據(jù)背后的隱性知識可為圖書館分析與預測未來發(fā)展趨勢提供支持。同時分析了大數(shù)據(jù)時代圖書館的服務創(chuàng)新與發(fā)展，指出大數(shù)據(jù)，如用戶信息行為數(shù)據(jù)，將成為圖書館的核心資產(chǎn);王天泥［7，8］分析了大數(shù)據(jù)視角下圖書館的定位，提出拓展數(shù)據(jù)分析與處理業(yè)務、重視用戶隱私保護等圖書館的發(fā)展策略，并闡述知識咨詢是圖書館未來咨詢服務的新模式，重點討論了大數(shù)據(jù)時代的數(shù)據(jù)資源與人才建設兩大知識咨詢服務發(fā)展驅(qū)動因素;張文彥等［9］指出大數(shù)據(jù)在圖書館事業(yè)中的應用由于技術的成熟與完善尚需時日，可能產(chǎn)生一些問題，包括大數(shù)據(jù)技術可能加深信息鴻溝、個人隱私泄露、大數(shù)據(jù)人才瓶頸等;朱靜薇等［10］分析了圖書館在大數(shù)據(jù)環(huán)境下的挑戰(zhàn)，探討了大數(shù)據(jù)驅(qū)動下的圖書館服務新模式，如基于數(shù)據(jù)整合的一站式資源服務、基于數(shù)據(jù)處理的學科知識服務、信息可視化服務以及基于數(shù)據(jù)挖掘的個性化智慧服務等。

總體說來，我國圖書館界對大數(shù)據(jù)時代圖書館面臨的挑戰(zhàn)和機遇進行了比較充分的研究，并從理論上提出了解決思路和新服務模式，但尚沒有發(fā)現(xiàn)有相關的應用實踐案例。

3 大數(shù)據(jù)驅(qū)動的關鍵技術

為應對大數(shù)據(jù)環(huán)境下圖書館面臨的挑戰(zhàn)和機遇，需重點研究大數(shù)據(jù)如何驅(qū)動圖書館業(yè)務應用和服務創(chuàng)新，并通過實際案例進行實證研究。研究內(nèi)容包括圖書采訪輔助決策支持、學科服務支持、電子資源使用的統(tǒng)一統(tǒng)計分析及惡意下載監(jiān)控、圖書館網(wǎng)絡與應用系統(tǒng)運行服務監(jiān)控四個方面，大數(shù)據(jù)驅(qū)動的關鍵技術包括數(shù)據(jù)獲取、數(shù)據(jù)建模、數(shù)據(jù)分析與展示三個步驟。

圖書采訪輔助決策支持的數(shù)據(jù)獲取思路包括兩部分:首先從圖書館的流通日志和OPAC日志采集用戶信息行為數(shù)據(jù)，然后整合利用從圖書館網(wǎng)絡底層獲取的統(tǒng)一的用戶訪問行為數(shù)據(jù)。其數(shù)據(jù)處理步驟如圖1所示:

圖1 圖書采訪輔助決策支持系統(tǒng)數(shù)據(jù)獲取流程

為了解決不同數(shù)據(jù)庫廠商系統(tǒng)提供的訪問日志數(shù)據(jù)異構(gòu)和查詢統(tǒng)計程序的應用異構(gòu)問題，學科服務支持系統(tǒng)、電子資源使用統(tǒng)一統(tǒng)計分析及惡意下載監(jiān)控的數(shù)據(jù)獲取采取從網(wǎng)絡底層獲取統(tǒng)一訪問數(shù)據(jù)的關鍵技術，其關鍵技術包括四個流程:數(shù)據(jù)采集流程、數(shù)據(jù)發(fā)送流程、數(shù)據(jù)接收流程、數(shù)據(jù)解析入庫流程。具體見圖2。

圖2 網(wǎng)絡層數(shù)據(jù)獲取關鍵技術流程框架圖

圖書館網(wǎng)絡與應用系統(tǒng)運行服務監(jiān)控在數(shù)據(jù)獲取上主要從系統(tǒng)層面實時獲取用戶訪問數(shù)據(jù)，技術上采取對有管理權限的應用系統(tǒng)和網(wǎng)絡設備安裝管理程序代理，可管理到進程級別;對沒有管理權限的遠程數(shù)據(jù)庫等，采用模擬訪問方法獲取系統(tǒng)服務狀態(tài)并進行判斷是否有效。在此基礎上，采用隱馬爾科夫模型(HMM)對訪問異常數(shù)據(jù)進行異常行為報警、預警監(jiān)控，并通過電子郵件、短信方式通知到相應的系統(tǒng)管理員。這些數(shù)據(jù)主要為各類系統(tǒng)日志文件，包括服務器操作系統(tǒng)日志、交換機數(shù)據(jù)交換數(shù)據(jù)以及所有硬件設備的狀態(tài)信息等，如CPU使用率、內(nèi)存使用率等數(shù)據(jù)。

4 復旦大學圖書館的探索與實踐

從2010年起，復旦大學圖書館逐步開始研究如何有效整合利用圖書館采購的大量數(shù)字資源、用戶訪問信息行為數(shù)據(jù)、各類系統(tǒng)日志數(shù)據(jù)等來有效應對大數(shù)據(jù)環(huán)境下圖書館面臨的日益加大的各種環(huán)境壓力，挖掘有用的價值信息，提升服務水平和能力。

4.1 圖書采訪輔助決策支持系統(tǒng)

為了使圖書采訪決策具備科學的數(shù)據(jù)支持，系統(tǒng)通過從網(wǎng)絡底層、圖書館集成管理系統(tǒng)、數(shù)據(jù)庫廠商等多途徑獲取圖書館的現(xiàn)有館藏數(shù)據(jù)、流通數(shù)據(jù)和OPAC檢索日志數(shù)據(jù)，構(gòu)建基于圖書館流通日志的圖書借閱數(shù)據(jù)倉庫維度模型和基于OPAC日志的點擊流數(shù)據(jù)倉庫，實現(xiàn)對不同類型的數(shù)據(jù)進行多維度統(tǒng)計分析，目前實現(xiàn)的功能包括:

⑴館藏分析。目前系統(tǒng)可對學科大類以及大類之下每個二級學科的各種圖書數(shù)量和比率進行統(tǒng)計分析，并使用表格、餅圖和直方圖等方式加以可視化顯示。能夠按照年份、分館、學科、語種、出版社、作者等多維度組合，對圖書館館藏書目和館藏單冊進行統(tǒng)計分析。在這些數(shù)據(jù)分析的基礎上，結(jié)合圖書館館藏發(fā)展策略和業(yè)務需求，可制定進一步優(yōu)化館藏的方案。

⑵流通數(shù)據(jù)分析。系統(tǒng)可對流通數(shù)據(jù)從讀者借閱、讀者續(xù)借、讀者預約和零借閱圖書等不同細化層面進行分析。對讀者借閱圖書情況還可根據(jù)需求從學科、出版社、分館、作者、讀者院系等多維度進行組合統(tǒng)計分析;讀者續(xù)借分析，可根據(jù)年月、分館、院系、學科等維度進行組合統(tǒng)計分析;讀者預約的數(shù)量和比率可根據(jù)年月、分館、院系、學科等維度進行組合統(tǒng)計分析;零借閱分析是指對當年入庫的新書，且在當年借閱量為零的圖書按照學科、借閱日期、入庫時間、分館進行分析。以上多維度組合可幫助采訪人員更清楚地了解館藏利用狀況，有助于圖書館制定更為合理的館藏建設政策。

⑶OPAC檢索日志分析。這類數(shù)據(jù)能夠反映讀者的資源利用趨勢和館藏資源之間的匹配度。目前系統(tǒng)包括兩大功能模塊，即無結(jié)果查詢和關鍵字頻次查詢，可做關鍵詞、出版年、題名、中圖分類號、出版者和著者等角度的頻次統(tǒng)計分析。比如，系統(tǒng)可對統(tǒng)計檢索返回結(jié)果為零而檢索頻率較高的情況進行分析，一方面可反映館藏文獻未能滿足讀者需求的情況，另一方面也有可能是讀者不了解編目數(shù)據(jù)而誤檢，這些可為館藏建設及用戶培訓目標提供精準的線索和依據(jù)。

另外系統(tǒng)還提供了電子圖書使用統(tǒng)計分析、中西文印本和電子圖書比照分析以及各類輸出報表個性化定制和綜合檢索功能。

4.2 學科服務支持

利用大數(shù)據(jù)能更好驅(qū)動圖書館學科服務支持，可利用網(wǎng)絡底層數(shù)據(jù)獲取關鍵技術取得以學科為基礎的用戶檢索、瀏覽、下載電子資源所產(chǎn)生的日志數(shù)據(jù)。然后分析用戶檢索、瀏覽、下載的文獻的特征(全文、摘要、關鍵詞)，加入時間緯度，歸納出某個學科某一時期用戶感興趣的主題;再利用關聯(lián)分析、聚類分析、社會網(wǎng)絡分析等方法進行學科熱點預測和交叉學科分析研究。

以復旦大學圖書館對法學學科的支持為例，對搜集到的2011年4月15日至2011年5月15日期間復旦大學法學專業(yè)師生訪問中國期刊網(wǎng)的日志數(shù)據(jù)，運用關聯(lián)分析、聚類分析和社會網(wǎng)絡分析等方法，得出復旦法學師生關注的法學學科排名前三的學科熱點包括:

種姓制度、《摩奴法典》、殖民法

當代價值、歷史考察、永佃制、永佃權、一田兩主

日本能源政策、日本能源法律制度、中國能源立法

通過學科分析并將結(jié)論提供給用戶，可以為用戶的學習和研究提供重要參考，幫助其厘清當前的學科熱點。

4.3 電子資源使用統(tǒng)一統(tǒng)計分析及惡意下載監(jiān)控平臺

復旦大學圖書館每年花費大量經(jīng)費采購電子資源，如2012年電子資源采購經(jīng)費為1565.17萬元［11］，每年圖書館都要就續(xù)訂和新增數(shù)據(jù)庫與數(shù)據(jù)庫商進行艱苦的談判，而數(shù)據(jù)庫使用統(tǒng)計報告是圖書館談判的一個重要依據(jù)。但目前使用報告均由數(shù)據(jù)庫商提供，數(shù)據(jù)真實性和統(tǒng)計口徑無法判定。同時，復旦大學圖書館訂購了230多種數(shù)據(jù)庫，近兩年來的年度全文下載量都超過了一千萬篇。在電子資源的使用過程中，極少數(shù)用戶惡意批量下載的行為也時有發(fā)生，一旦數(shù)據(jù)庫商的系統(tǒng)監(jiān)測到類似行為，即自動封禁復旦大學全部用戶的訪問權，造成復旦大學其他合法用戶一段時間內(nèi)都無法使用該數(shù)據(jù)庫。

復旦大學圖書館通過開發(fā)電子資源使用統(tǒng)一統(tǒng)計分析及惡意下載監(jiān)控平臺，解決了圖書館界資源使用統(tǒng)計存在的數(shù)據(jù)異構(gòu)和應用異構(gòu)難題，實現(xiàn)了電子資源統(tǒng)一統(tǒng)計標準，并實現(xiàn)基于內(nèi)容級進行惡意下載控制。其功能包括:

(1)資源管理 首先對資源本身進行了配置，將資源分成平臺、網(wǎng)站、數(shù)據(jù)庫、電子期刊、電子圖書等類別，并根據(jù)學科分類列表對數(shù)據(jù)庫、期刊進行了分類，具體分為:電子期刊和圖書管理(有批量導入和導出功能)，平臺、網(wǎng)站和數(shù)據(jù)庫管理，學科分類管理，讀者分組管理。

(2)讀者使用統(tǒng)計分析 本模塊以讀者視角產(chǎn)生統(tǒng)計報表，包括:讀者使用行為查詢、讀者訪問文獻信息查詢、讀者分組管理、讀者分組使用資源統(tǒng)計、讀者分組使用數(shù)據(jù)庫統(tǒng)計、讀者使用行為統(tǒng)計、讀者原始訪問統(tǒng)計、讀者原始訪問查詢。

(3)資源使用統(tǒng)計 資源使用統(tǒng)計以數(shù)據(jù)庫被訪問視角生成報表，包括數(shù)據(jù)庫使用報告、期刊使用報告、圖書使用報告等報表?？砂凑杖掌诰S度對數(shù)據(jù)庫和期刊的訪問量、下載量進行統(tǒng)計;實現(xiàn)對數(shù)據(jù)庫、電子期刊、電子圖書、文摘的使用統(tǒng)計，還可進行讀者分組使用數(shù)據(jù)庫和電子資源的統(tǒng)計。

(4)Counter統(tǒng)計報告 提供基于Counter Release 4版本的統(tǒng)計報告，包括期刊使用報告、圖書使用報告、數(shù)據(jù)庫使用報告和平臺使用報告。

(5)流量監(jiān)控和用戶行為監(jiān)控 可監(jiān)測一個或多個IP的實際網(wǎng)絡流量信息和用戶訪問行為數(shù)據(jù)(包括檢索、瀏覽、下載)并以列表形式顯示;若流量或單位時間內(nèi)某種類型訪問次數(shù)超過配置的閥值，界面提供報警顯示，對指定電子資源進行過量下載判別、預警通知和控制。

復旦大學圖書館自2012年9月開始應用該平臺。2013年3月初，某公司通過爬蟲軟件對復旦圖書館的館藏書目數(shù)據(jù)進行非法下載，系統(tǒng)部的工作人員通過該平臺及時封禁非法IP，保證了館藏書目系統(tǒng)的正常使用。

4.4 圖書館網(wǎng)絡與應用系統(tǒng)運行服務監(jiān)控

復旦大學圖書館網(wǎng)絡與應用系統(tǒng)服務監(jiān)控平臺包括6個功能模塊:交換機管理、服務器管理、模擬訪問管理、數(shù)據(jù)庫管理、特定進程管理和檢測項管理;4個管理模塊:用戶登錄、用戶管理、組管理、在線用戶列表;5個顯示模塊:查看服務狀態(tài)、拓撲圖顯示、MAC地址、算法分析和幫助。其功能模塊結(jié)構(gòu)圖見圖3。

目前該系統(tǒng)已于2011年9月份在復旦大學圖書館部署運行，已對18臺網(wǎng)絡交換機、5臺具有管理權限的服務器及運行的特定進程、100TB容量存儲陣列、200多個遠程數(shù)據(jù)庫資源進行模擬訪問監(jiān)測，基本達到預期效果，例如復旦圖書館的Aleph 500自動化系統(tǒng)，其服務器硬盤有一卷曾因系統(tǒng)數(shù)據(jù)不斷增大，空間被用完，導致系統(tǒng)服務停止，影響到讀者的使用，此問題出現(xiàn)后，花費了大量時間緊急進行數(shù)據(jù)和索引恢復，重新清理出空間后方解決問題。監(jiān)測平臺部署后，對該服務器的硬盤卷的剩余空間實施實時監(jiān)測，設定剩余空間小于20%時自動發(fā)送預警通知，有效避免了問題再次發(fā)生。

5 總結(jié)

信息技術的發(fā)展給圖書館帶來的不僅僅是挑戰(zhàn)，有效利用大數(shù)據(jù)技術可驅(qū)動圖書館業(yè)務更好地發(fā)展，通過大數(shù)據(jù)技術實現(xiàn)對圖書館海量非結(jié)構(gòu)化數(shù)據(jù)的獲取、數(shù)據(jù)建模和數(shù)據(jù)可視化分析利用，如各種類型的數(shù)字資源、用戶信息行為數(shù)據(jù)、系統(tǒng)日志記錄等，能對圖書館館藏建設和用戶服務實現(xiàn)數(shù)據(jù)支持級別的精準科學決策，建立圖書采訪輔助決策支持、學科服務支持、電子資源使用統(tǒng)一統(tǒng)計分析、惡意下載監(jiān)控、圖書館網(wǎng)絡與應用系統(tǒng)運行服務實時監(jiān)控等，由此逐步達到科學管理、深化服務，提升用戶體驗的目的。進一步的研究將探索整合來自圖書館外部的用戶信息行為數(shù)據(jù)，如科學數(shù)據(jù)，并嘗試通過聯(lián)合多個學校共享用戶信息行為數(shù)據(jù)等，實現(xiàn)更大范圍、更深層次的大數(shù)據(jù)價值挖掘和服務。

1 IDC.The Digital Universe.［2013－06－16］.http://www.emc.com/collateral/analyst－reports/idc－extracting－value－from－chaos－ar.pdf.

2 IDC.The Digital Universe Decade－Are You Ready?［2013－06－16］.http://www.emc.com/collateral/analyst－reports/idc－digital－universe－are－you－ready.pdf.

3 The White house.Big Data is a Big Deal.［2013－06－16］.http://www.whitehouse.gov/blog/2012/03/29/big－data－big－deal.

4 楊海燕.大數(shù)據(jù)時代的圖書館服務淺析［J］.圖書與情報，2012(4):120－122.

5 韓翠峰.大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)［J］.圖書與情報，2012(5):37－40.

6 韓翠峰.大數(shù)據(jù)時代圖書館的服務創(chuàng)新與發(fā)展［J］.圖書館，2013(1):121－122.

7 王天泥.大數(shù)據(jù)視角下圖書館的發(fā)展對策［J］.圖書館學刊，2013(3):42－44.

8 王天泥.知識咨詢:大數(shù)據(jù)時代圖書館的知識服務增長點［J］.圖書與情報，2013(2):74－77.

9 張文彥，武瑞原，于潔.大數(shù)據(jù)時代的圖書館初探［J］.圖書與情報，2012(6):15－21.

10 朱靜薇，李紅艷.大數(shù)據(jù)時代下圖書館的挑戰(zhàn)及其應對策略［J］.現(xiàn)代情報，2013(5):9－13.

11 復旦大學圖書館.2012年度圖書館經(jīng)費使用情況表.［2013－05－18］.http://www.library.fudan.edu.cn/main/info/3291.htm