摘 要：大數據與云計算是近兩年IT界最為流行的兩個關鍵詞，各大IT廠商也都看到了大數據所蘊含的商業(yè)價值并展開了一定的產品研發(fā)與商業(yè)應用。在大數據時代，圖書館的數據處理及服務將會發(fā)生顯著的變化，從大量的數據集中去分析和挖掘潛在的價值，以便圖書館決策層及時做出相應的建設方案調整將成為圖書館的一大主要業(yè)務，圖書館服務也將隨著圖書館服務策略的調整而做出服務方式、途徑等方面的改變。

關鍵詞：大數據 云計算 數據處理 數據分析 信息服務 圖書館服務 數據挖掘

中圖分類號：G253文獻標識碼： Ａ 文章編號： 1003-69３８（２０12）０4－0120-03“大數據”（Big data）是IT界繼“Web2.0”、“數據挖掘”和“云計算”之后近兩年最流行的詞，大數據革命也正以Apache Hadoop為中心如火如荼的進行著，IBM、EMC、Oracle、VMware和Microsoft等商業(yè)機構已看到了在這場革命中蘊含的商業(yè)價值，并基于云計算等平臺開發(fā)了諸如BigInsights產品［1］的數據計算、數據收集等服務。實際應用方面，EMC和VMware已經做出了表率，EMC中國區(qū)總裁蔡漢輝介紹說，中信銀行在實施了EMC提供的大數據解決方案以后，取得了不錯的效益，如中信銀行在2011年大概有1200多個營銷活動，以前他們舉辦一個營銷活動大概需要兩周左右的時間做配置。但是通過運用EMC提供的大數據解決方案后，只需要2～3天就可以配置成功［2］。美國政府也預測到了這場革命中的戰(zhàn)略價值，奧巴馬政府于2012年3月29日宣布推出“大數據的研究和發(fā)展計劃”，意在推進和改善聯邦政府部門的數據收集、組織和分析工具及技術，以提高從大量的、復雜的數據集合中獲取知識和洞見的能力［3］，把大數據上升到了國家戰(zhàn)略的高度。但對于社會中以知識存貯、利用與開發(fā)為己任的圖書館來說，在這個“大數據”時代如何提高海量增長的文獻數據處理能力，搜尋新的數據計算、知識發(fā)現及信息服務的新途徑，是圖書館界學術研究的一大思考所在，而要真正解決這個問題，就要理性的認識“大數據”及其帶給我們的環(huán)境與改變，逐層分析這些圖書館可以利用的理念、技術與工具，實現圖書館讀者信息服務能力的提升，進而推動我國圖書館事業(yè)的發(fā)展。

1 大數據概述

大數據目前尚沒有統(tǒng)一的定義，部分業(yè)界專家如《著云臺》的分析師團隊認為，大數據通常用來形容一個公司創(chuàng)造的大量非結構化和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多的時間和金錢［4］。因此，大數據通常被認為是一種數據量很大、數據形式多樣化的非結構化數據［5］。

1.1 大數據的特點

隨著對大數據研究的進一步深化，IT界對大數據的特點有了較為全面和統(tǒng)一的認識，即：（1）大數據的種類繁多，并在編碼方式、數據格式、應用特征等多個方面存在差異性，多信息源并發(fā)形成了大量的異構數據；（2）通過各種設備產生的海量數據，其數據規(guī)模極為龐大，遠大于目前互聯網上的信息流量，PB級別將是常態(tài)；（3）涉及到感知、傳輸、決策、控制開放式循環(huán)的大數據，對數據實時處理有著極高的要求，通過傳統(tǒng)數據庫查詢方式得到的“當前結果”很可能已經沒有價值；（4）數據持續(xù)到達，且只有在特定時間和空間中才有意義；（5）通過數據庫處理持久存儲的數據不再適用于大數據處理，需要有新的方法來滿足異構數據統(tǒng)一接入和實時數據處理的需求［5］。

1.2 大數據的應用領域與范圍

盡管大數據的概念形成較早，但對其技術的研發(fā)還是近幾年才發(fā)展起來的，從目前來看，大數據技術主要涵蓋的領域有可視化分析、數據挖掘算法、預測性分析能力、語義引擎、數據質量和數據管理等，具體來說，目前主要有包括分布式緩存、基于MPP的分布式數據庫、分布式文件系統(tǒng)、各種NoSQL分布式存儲方案等。技術及應用的不普及與不成形使得大數據的技術門檻較高，因此目前在該領域展開競爭的大都是在數據存儲、分析等領域有著傳統(tǒng)優(yōu)勢的IT廠商。如Oracle發(fā)布了Oracle大數據機、VMware推出了虛擬化架構+云平臺的開源項目Serenget、EMC推出了EMC Hadoop等。IBM在大數據領域的優(yōu)勢則較為全面，而機器人“沃森”在人機大戰(zhàn)中獲勝，更成為IBM為其大數據分析解決方案加分的例證，此外，IBM還研發(fā)出了一系列大數據分析計算軟件，如基于云端Hadoop的分析軟件InfoSphere BigInsights、針對iPad用戶推出的全新移動分析應用軟件Cognos Mobile、擁有映射功能的全新預測分析軟件SPSS Statistics 20.0、全新的后臺數據篩選及維護軟件InfoSphere Information Server8.7等［6］。對其核心技術如Hadoop的應用也主要是在一些企業(yè)的數據分析等領域，如百度的搜索日志分析，騰訊、淘寶和支付寶的數據倉庫等。

大數據最典型的另一應用案例是大數據技術在沃爾瑪的應用。沃爾瑪是最早通過利用大數據而受益的企業(yè)之一，早在2007年，沃爾瑪就建立了一個超大的數據中心，其存儲能力高達4PB以上。通過對數據中心中消費者的購物行為等非結構化數據進行分析，沃爾瑪成為最了解顧客購物習慣的零售商，并創(chuàng)造了“啤酒與尿布”的經典商業(yè)案例。大數據的另一應用案例就是3月11日日本大地震發(fā)生后僅9分鐘，美國國家海洋和大氣管理局（NOAA)就發(fā)布了詳細的海嘯預警。通過對海洋傳感器獲得的實時數據進行計算機模擬， NOAA隨即便制作出了海嘯影響模型并出現在YouTube等網站［7］。我國應用大數據技術的企業(yè)當前只是鳳毛麟角，目前僅有為數不多的企業(yè)正在開展相關的項目建設。如中國聯通正在通過采用基于云平臺及英特爾發(fā)行版Hadoop的大數據解決方案來構建移動通信用戶上網記錄集中查詢與分析支撐系統(tǒng)。這一系統(tǒng)可為企業(yè)的客戶服務人員提供客戶上網記錄的快速查詢服務，也可為客戶本人提供高效的異常大流量上網記錄自助查詢服務，這將有助于解決流量投訴問題。該項目將在2012年10月結束，屆時除了為客戶服務人員提供服務外，系統(tǒng)還可以為企業(yè)的業(yè)務部門提供分析與決策服務，并有望在未來幫助企業(yè)更為準確地把握用戶偏好，從而讓中國聯通能更有效地制定市場策略和開發(fā)新業(yè)務［8］。

1.3 大數據與云計算

大數據常和云計算聯系到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作，因此對于云計算與大數據的關系，我們可以理解為云計算解決了目前大數據存儲及運行的最大問題即提供了基礎架構平臺，而大數據則以分布式處理等手段應用在這個平臺上，云計算的重點在于計算能力，大數據的重點是計算的對象，兩者之間是既相輔又互補的。 如果一定要找出云計算與大數據的顯著不同之處，那就是兩者的應用不同。首先，從概念上來說，盡管大數據須以云作為基礎機構才能運營，但云計算改變了IT，而大數據則改變了業(yè)務；其次，大數據和云計算的目標受眾不同，云計算是賣給信息主管高層的技術產品或解決方案，而大數據是賣給業(yè)務層的產品［9］。

2 大數據時代的圖書館數據處理與服務

2.1 圖書館具有了“大數據”特征

隨著圖書館信息資源的建設步伐加快及讀者服務要求的提高，圖書館在大數據時代已具有了一定的大數據特征。首先，圖書館的數據種類繁多，圖書館的數據資源有所藏文獻資源中的紙質純印本、光盤資源、網絡資源、數據庫資源等結構化信息，也有日常讀者信息、服務信息等非結構化信息，更有圖書館自身建設的相關數據，這些數據的編碼方式、數據格式、應用特征即使是一所圖書館內都無法統(tǒng)一，圖書館間更是存在較大差異，并形成了大量的異構數據；其次，圖書館的信息資源總量日益龐大且每天在迅速增長。如至2008年底，CALIS文獻數據總量達到180TB［10］，至2010年底，國家圖書館數字資源總量已達480TB［11］、全國文化共享工程的數字資源總量達108TB［12］，可以說每一所圖書館的資源總量并未達到PB級，但全國總的圖書館數字資源總量卻是一個龐大的數據集；再次，隨著個性化、學科化等越來越專業(yè)、編輯服務的實施與出現，用戶的服務要求也日益提高，圖書館必須根據用戶的服務信息等數據做出相應的服務策略轉變，對大量數據的分析與潛在價值挖掘顯得不可避免；第四，圖書館24小時服務、網絡服務等新型服務方式的出現，使得用戶的服務信息每時每刻都在遞增，但對這些數據的分析和挖掘需進行相應環(huán)境、條件的限定，如地域、時段、服務群體等；第五，盡管圖書館目前的自動化建設水平較高且進入到了一個新的發(fā)展階段，書目信息、用戶信息等都有大量的數據庫進行記載與統(tǒng)計，但對這些數據及未進入數據庫的數據還需進行異構處理，以得出新的服務發(fā)現。

2.2 大數據時代的圖書館數據處理

當前數字時代，圖書館的數據處理主要是將文獻資源等進行數字化、網絡化、語義化處理，并在此基礎上盡力實現用戶的最大滿意和最大程度利用，數據庫建設、語義化建設、服務手段創(chuàng)新無一例外，但在大數據時代，圖書館的數據處理范圍、方式、對象、目的等將發(fā)生巨大的變化，如根據讀者服務數據對讀者借閱習慣、愛好等的數據分析，找出新的服務方案、策略。同時，在大數據時代，圖書館的傳統(tǒng)業(yè)務將向數據分析、數據挖掘方向轉移，對大量數據的分析與處理將成為圖書館的主要業(yè)務，圖書館資源數據量的擴展、服務質量的提升、服務策略的轉變不僅僅是依靠簡單如當前的數據共享、豐富資源、創(chuàng)新方式、增加時間等，從大量數據中發(fā)現的規(guī)律越多、找出的潛在價值越大，圖書館的服務水平等也將提升的越快。

2.3 大數據時代的圖書館服務

技術的改變及用戶服務要求的變化推動著圖書館服務的變遷，大數據時代的圖書館服務不管是服務的方式、途徑、模式等也都將發(fā)生改變，由于圖書館的服務策略是經過大量數據捕獲、組織、分析和決策［13］而得來的，因此大數據時代的圖書館服務可能更具有針對性和鮮明性，服務手段、方式等也會隨著圖書館服務策略的調整而調整?？梢灶A見的是，在調整文獻服務、信息咨詢、學科服務等這些圖書館必備的服務策略同時，以信息的處理與服務為優(yōu)勢的圖書館的服務范圍及領域將會得到更大的擴展，為社會機構如政府、企業(yè)做一定的數據分析服務、數據挖掘服務將會成為大數據時代圖書館的常態(tài)服務內容。

3 結語

每一種技術的出現及時代的誕生，都將影響或革新圖書館的服務，用戶也會隨著社會的變遷而產生更新、更高的服務要求，大數據時代也是如此。目前圖書館現有數據來源多樣且龐大、結構復雜等大數據特征會讓圖書館的大數據時代更快到來，從大量的數據中去分析潛在的價值將成為大數據時代圖書館的一大主要業(yè)務，并且這些業(yè)務開展的水平也將決定著大數據時代的圖書館發(fā)展水平及方向。本文僅在探討大數據相關內涵、概念、特點等基礎上，簡單的對大數據時代的圖書館數據處理業(yè)務及服務進行了淺析，但在大數據真正來臨之際，圖書館的服務及數據處理還需更多的研究者去做深入細致和可行有效的學術研究與實踐探討。

參考文獻：

［1］InfoSphere BigInsights［EB/OL］.［2012-05-20］. http://www-01.ibm.com/software/data/infosphere/biginsights/.

［2］亞文輝.借云計算之力 大數據助企業(yè)創(chuàng)造價值［EB/OL］.［2012-05-20］.http://news.ccidnet.com/art/1032/20120827/4202457_3.html.

［3］賽迪智庫軟件與信息服務研究所.美國將發(fā)展大數據提升到戰(zhàn)略層面［J］.中國電子報，2012-07-17（003）.

［4］Big data［EB/OL］.［2012-05-20］. http://www.searchcloudcomputing.com.cn/word_5826.htm.

［5］大數據時代的特點［EB/OL］.［2012-05-20］.http://www.5lian.cn/html/2012/xueshu_0417/32237.html.

［6］IBM：積極推進“大數據”時代革新［J］.中國電子報，2011，（22）：116.

［7］案例解析:大數據應用和方向［EB/OL］.［2012-07-28］. http://www.enet.com.cn/article/2012/0720/A20120720139

303.shtml.

［8］沈建苗.大數據應用：理想照進現實［EB/OL］.［2012-08-10］.http://www.ccw.com.cn/weekly/cio/ciomethod/htm

2012/20120807_979394.shtml.

［9］CIO：云計算VS大數據 應用各不相同［EB/OL］.［2012

-07-28］.http://www.enet.com.cn/article/2012/0820/A201

20820152536.shtml.

［10］2008年中國教育信息化十大事件［EB/OL］.［2012-06-20］.http://www.e-gov.org.cn/xinxihua/news004/2009

01/98561.html.

［11］國家圖書館“十二五”規(guī)劃綱要［EB/OL］.［2012-06-20］.http://www.nlc.gov.cn/dsb_footer/gygt/ghgy/

［12］全國文化信息資源共享工程介紹［EB/OL］.［2012-06-20］.http://www.ndcnc.gov.cn/libpage/gxgc/index.htm/.

［13］對于大數據應用 你準備好了嗎［EB/OL］.［2012-06-12］.http://www.d1net.com/cloud/news/96754.html.

作者簡介：楊海燕（1968-），女，棗莊學院圖書館副研究館員。