趙強

關鍵詞：大數(shù)據;數(shù)字圖書館;系統(tǒng);優(yōu)化

摘 要：文章從資源價值密度、數(shù)據檢索難度兩個方面介紹了大數(shù)據驅動時代數(shù)字圖書館面臨的挑戰(zhàn)，分析了數(shù)字圖書館系統(tǒng)涉及的數(shù)據獲取、數(shù)據建模、數(shù)據分析等關鍵環(huán)節(jié)以及相應的系統(tǒng)優(yōu)化技術，分析了基于靜態(tài)優(yōu)化、緩存優(yōu)化、引擎優(yōu)化技術的數(shù)字圖書館系統(tǒng)優(yōu)化技術，并提出了新一代數(shù)字圖書館系統(tǒng)的優(yōu)化策略，以期提升大數(shù)據時代背景下新一代數(shù)字圖書館系統(tǒng)的服務質量。

中圖分類號：G250.76文獻標識碼：A文章編號：1003-1588（2019）09-0065-03

1 大數(shù)據驅動時代數(shù)字圖書館服務面臨的挑戰(zhàn)

1.1 提高數(shù)據資源價值密度的要求

大數(shù)據驅動時代數(shù)據的作用日益凸顯，全球數(shù)據容量持續(xù)增加。大數(shù)據本身是異構分布的，海量數(shù)據資源的傳播加大了用戶獲取有價值信息的難度，多樣化的數(shù)據標準也容易產生“數(shù)據孤島”，影響數(shù)字圖書館對可用信息的篩選和挖掘。同時，很多數(shù)字圖書館僅關注對靜態(tài)資源的使用，缺乏開發(fā)動態(tài)數(shù)據流的有效方法，難以適應大數(shù)據驅動的智慧服務需求[1]。此外，大數(shù)據環(huán)境下用戶需求激增，使數(shù)字圖書館的數(shù)據存儲成本增大，面臨能耗控制、質量保障等挑戰(zhàn)。因此，數(shù)字圖書館要想滿足用戶需求，就必須對碎片化數(shù)據進行處理，從中挖掘更多可用的信息，提升數(shù)據的價值密度和可用性。

1.2 海量數(shù)據增加檢索難度

大數(shù)據驅動時代數(shù)字化資源呈幾何級增長，數(shù)字圖書館所采集的數(shù)據資源主要包括用戶個人信息、閱讀行為數(shù)據、物聯(lián)網應用數(shù)據等，尤其是智能設備和社交媒體的應用更是產生了大量碎片化信息，對這些資源進行整合需借助可靠的技術工具。大數(shù)據紛繁復雜，大多存儲在信息服務商的數(shù)據庫中，數(shù)字圖書館未與這些機構建立數(shù)據共享機制，因此不能對這些數(shù)據進行價值挖掘、編目及維護。同時，由于數(shù)字圖書館缺乏對網絡資源進行智能化處理的能力，也增加了大數(shù)據檢索的時間與復雜程度。因此，海量數(shù)據處理要求數(shù)字圖書館改進存儲設備和方式，在降低存儲成本的基礎上逐步提高數(shù)據存儲和管理的有效性[2]。

1.3 數(shù)字圖書館系統(tǒng)優(yōu)化升級的要求

數(shù)字圖書館是存儲和傳播信息的場所，也是開展社會教育、提升公眾素養(yǎng)的平臺。隨著移動信息技術的發(fā)展，各種新型數(shù)據傳播載體大量涌現(xiàn)，數(shù)字化資源逐漸占據主導地位，虛擬化空間成為社交的主要場所。人們獲取知識的渠道日益增多，信息服務的智能化也成為大勢所趨。作為存儲和傳播文獻資源的數(shù)字圖書館，全新的信息服務環(huán)境對其服務的專業(yè)化要求越來越高。因此，數(shù)字圖書館優(yōu)化服務系統(tǒng)、深化數(shù)據應用服務、促進信息共享成為必然[3]。數(shù)字圖書館要強化數(shù)據存儲和處理意識，提高大數(shù)據處理能力，從整體上提高自身的服務水平和質量，為更多的用戶提供優(yōu)質的服務。

2 大數(shù)據驅動時代數(shù)字圖書館系統(tǒng)涉及的關鍵環(huán)節(jié)

2.1 數(shù)據獲取

數(shù)字圖書館系統(tǒng)對數(shù)據資源進行處理，先要采集用戶行為信息和館內流通日志，然后從各大社交論壇或網頁抓取用戶訪問數(shù)據，也可與企業(yè)、網絡公司合作獲取其內部數(shù)據，以保障數(shù)據的完整性。由于不同的數(shù)據庫服務商和網絡運營機構所提供的數(shù)據應用與訪問程序存在差異，因此，為了避免系統(tǒng)不兼容的問題，數(shù)字圖書館應使用網絡爬蟲技術針對不同的網頁與資源特點，自動從互聯(lián)網進行數(shù)據搜索與攫取，并傳輸至本地服務器進行分析。對于涉密文件或重要資源，數(shù)字圖書館可以使用專用的系統(tǒng)接口，將其直接傳輸至本地服務器進行存儲，避免多向傳輸引發(fā)數(shù)據丟失的風險。

2.2 數(shù)據建模

數(shù)字圖書館在獲取大規(guī)模數(shù)據資源后，需對這些數(shù)據進行預處理，并根據數(shù)據特點建立合適的模型進行計算、分析與深入挖掘。由于采集的數(shù)據多是異構及碎片化的，因此數(shù)字圖書館只有通過預處理清洗不必要的數(shù)據，留下符合要求的數(shù)據，并將這些數(shù)據轉化為系統(tǒng)可以理解的格式，才能進行分析。經過預處理后，數(shù)字圖書館需將非結構化數(shù)據轉化為結構化數(shù)據，將其存儲在關系型數(shù)據庫中，并做好數(shù)據分類整理工作[4]。由于數(shù)據類型的差異，預處理方式也有所不同，部分數(shù)據需要進行解析與格式轉化，而對于規(guī)模較大的非結構化數(shù)據資源，數(shù)字圖書館則需要采用非關系型數(shù)據庫進行存儲，避免出現(xiàn)數(shù)據的無序化。

2.3 數(shù)據分析

數(shù)字圖書館系統(tǒng)獲取數(shù)據的方式主要是利用設備安裝管理程序，針對不同數(shù)據庫的管理權限實現(xiàn)對數(shù)據的自動采集分析。對于沒有管理權限的數(shù)據庫或網絡系統(tǒng)，數(shù)字圖書館可采用模擬訪問的方式掌握遠程系統(tǒng)的訪問狀態(tài);對于大規(guī)模異常數(shù)據的處理，如系統(tǒng)日志、硬件狀態(tài)信息等，數(shù)字圖書館可借助預警監(jiān)控、內部監(jiān)控程序等對獲取的數(shù)據資源進行實時跟蹤，若發(fā)現(xiàn)不良情況就及時通過內部郵件和系統(tǒng)提示等方式告知圖書館管理者。根據不同類型數(shù)據的特點，數(shù)字圖書館系統(tǒng)可以通過批量處理、流處理和交叉分析等方式進行處理，并將處理結果以折線圖、分析報告等形式發(fā)送至客戶端，方便用戶瀏覽與理解。

3 大數(shù)據驅動時代數(shù)字圖書館系統(tǒng)優(yōu)化技術研究

3.1 靜態(tài)優(yōu)化技術

數(shù)字圖書館系統(tǒng)在大數(shù)據處理過程中通常需要讀取大量的動態(tài)頁面，并將其轉化為靜態(tài)數(shù)據加以處理。這樣的操作方式有利于數(shù)字圖書館實現(xiàn)對靜態(tài)數(shù)據的分類與索引，減少訪問數(shù)據庫的步驟，縮短采集時間，提高系統(tǒng)的數(shù)據處理效率[5]。為了更好地發(fā)揮系統(tǒng)的靜態(tài)數(shù)據處理性能，數(shù)字圖書館需做好首頁靜態(tài)化處理，對不同的靜態(tài)模塊進行整合，并在后臺進行分類配置。其中，Velocity技術具有較強的靜態(tài)處理能力，數(shù)字圖書館可以利用該技術自動生成與數(shù)據對象相關的靜態(tài)化頁面，并以對應的ID進行命名，省去后臺數(shù)據存儲的步驟，實現(xiàn)對查詢信息的實時定位。

3.2 緩存優(yōu)化技術

數(shù)字圖書館系統(tǒng)中存在大量緩存數(shù)據，包括內存數(shù)據、文件類數(shù)據等，引入緩存優(yōu)化技術可以實現(xiàn)對這些系統(tǒng)數(shù)據的直接讀取，減少對數(shù)據庫的訪問頻率，提高數(shù)據訪問速度。數(shù)字圖書館系統(tǒng)訪問動態(tài)網頁時數(shù)據資源繁雜多變，涉及多種查詢參數(shù)。這就需要數(shù)字圖書館依托文件緩存優(yōu)化技術對原始數(shù)據進行復制，并賦予連續(xù)的內部文件存儲空間，方便在數(shù)據查詢時直接指向緩存數(shù)據，以減少中間處理環(huán)節(jié)，當緩存資源較多時可以先將其存儲于硬盤，然后導入內部存儲器，這樣可以縮短應用程序訪問內存的時間。

3.3 引擎優(yōu)化技術

大數(shù)據驅動時代，數(shù)字圖書館本身擁有結構復雜、規(guī)模大、檢索要求高的數(shù)據服務環(huán)境。為了更好地滿足用戶需求，數(shù)字圖書館可以引入引擎優(yōu)化技術，提高服務系統(tǒng)檢索模塊的響應速度和分析能力，強化系統(tǒng)的兼容性和拓展性，支持不同的數(shù)據平臺結構，更好地為大數(shù)據處理與服務奠定基礎。數(shù)字圖書館可將搜索管理平臺、網頁爬蟲技術與查詢索引器等相結合，設計出能夠滿足讀者個性化需求的大數(shù)據檢索引擎。在該檢索引擎中，網頁爬蟲技術對動態(tài)網頁內容進行周期性自動獲取，建立不同數(shù)據的導航索引，自動存儲、調取和推送各類數(shù)據信息;搜索管理平臺負責收集用戶信息，分析他們的實際需求;查詢索引器則用于檢索用戶查詢關鍵詞，自動調取用戶所需資源。

4 大數(shù)據驅動時代新一代數(shù)字圖書館系統(tǒng)優(yōu)化策略

4.1 建立大數(shù)據資源整合平臺

大數(shù)據資源整合是將來自于不同網頁、不同系統(tǒng)和不同機構的數(shù)據集成在統(tǒng)一的數(shù)據平臺，創(chuàng)建具有多種服務功能的應用系統(tǒng)的過程。數(shù)字圖書館建立大數(shù)據資源整合平臺，需采用多層次的系統(tǒng)架構，結合大數(shù)據服務需求設置對應的功能模塊，使平臺具有較強的耦合度和拓展能力，有助于為用戶提供多元化服務。其中，數(shù)據管理層對大數(shù)據資源進行管理、維護與控制，并為用戶提供數(shù)據獲取接口[6];數(shù)據處理層依據數(shù)據清洗和過濾規(guī)則，保障大數(shù)據資源的完整可用性，進一步提升數(shù)據的價值密度;數(shù)據整合層對經過處理的數(shù)據進行規(guī)則解析、讀取和整合，并將經過轉換的數(shù)據存入數(shù)據庫;數(shù)據資源層由多種數(shù)據存儲設備、數(shù)據應用系統(tǒng)和數(shù)據庫構成，是數(shù)字圖書館大數(shù)據的主要來源。

4.2 實現(xiàn)對數(shù)據資源的統(tǒng)一語義管理

數(shù)字圖書館存儲的海量數(shù)據并非孤立存儲于各個數(shù)據庫，而是要實現(xiàn)語義融合，促進跨學科、跨系統(tǒng)的交流合作，提高數(shù)據的使用價值。數(shù)字圖書館可利用語義網技術對數(shù)據資源進行語義標注，通過語義鏈接和語義分析將其轉化為系統(tǒng)可以理解的語義對象，揭示不同數(shù)據之間的關系，形成龐大的語義知識網絡，這不僅可以消除“數(shù)據孤島”，還可使大數(shù)據的價值倍增。例如，數(shù)字圖書館可將文獻資源與讀者、出版社、會議、研究項目等結合起來，利用語義技術發(fā)現(xiàn)不同數(shù)據間的關聯(lián)，通過語義識別、描述、標注和分析，形成多種類型知識交叉融合的知識圖譜，為數(shù)字圖書館的細粒度智能信息檢索提供支持。

4.3 重視收集處理用戶反饋信息

數(shù)字圖書館對系統(tǒng)進行優(yōu)化升級，目的在于更好地滿足用戶需求。因此，數(shù)字圖書館只有重視用戶對系統(tǒng)的反饋建議，及時與用戶交流互動，掌握用戶在系統(tǒng)應用過程中的體驗，分析他們提出的問題，才能有針對性地進行改進。數(shù)字圖書館可在系統(tǒng)服務界面設置用戶反饋專區(qū)，方便用戶提出評價和建議，也可根據用戶數(shù)據發(fā)現(xiàn)其不滿意的地方，有針對性地對系統(tǒng)進行改進或再造。例如，華盛頓大學圖書館在服務系統(tǒng)運行過程中，對本校師生利用系統(tǒng)獲取信息的情況進行綜合評估，并根據用戶反饋信息對發(fā)現(xiàn)的問題進行技術討論，最終有效完成了系統(tǒng)的優(yōu)化升級工作。

5 結語

綜上所述，數(shù)字圖書館應分析現(xiàn)有不足，全方位整合用戶行為數(shù)據，積極聯(lián)合網絡運營商等引入適宜的系統(tǒng)優(yōu)化技術，逐步深化大數(shù)據挖掘工作，進一步拓展服務內容和服務范圍，更好地滿足廣大用戶的需求。大數(shù)據驅動時代數(shù)字圖書館面臨機遇和挑戰(zhàn)，應充分利用各類新技術優(yōu)化服務系統(tǒng)，制定合理的系統(tǒng)優(yōu)化策略，形成符合大數(shù)據環(huán)境的新一代數(shù)字圖書館服務體系，促使數(shù)字圖書館得到更好的發(fā)展。

參考文獻：

[1] 夏立新，白陽，張心怡.融合與重構：智慧圖書館發(fā)展新形態(tài)[J].中國圖書館學報，2018（1）：35-49.

[2] 柳益君，何勝，熊太純，等.大數(shù)據挖掘視角下的圖書館智慧服務：模型、技術和服務[J].現(xiàn)代情報，2017（11）：81-86.

[3] 馬捷，趙天緣，王思.高校智慧圖書館功能結構模型構建[J].情報科學，2017（8）：56-61.

[4] 馬曉亭.基于大數(shù)據決策分析需求的圖書館大數(shù)據清洗系統(tǒng)設計[J].現(xiàn)代情報，2016（9）：107-111.

[5] 劉桂鋒，盧章平，化慧.圖書館大數(shù)據知識服務生態(tài)體系及其動力機制研究[J].國家圖書館學刊，2016（3）：52-60.

[6] 劉成山，李玉，王潔良.大數(shù)據在圖書情報領域的研究現(xiàn)狀及趨勢分析[J].情報理論與實踐，2016（4）：20-26.

（編校：徐黎娟）