摘 要：本文針對檔案館非結構化數(shù)據(jù)存在數(shù)據(jù)來源及特點，研究如何將其與結構化數(shù)據(jù)融合，為非結構化數(shù)據(jù)分類管理尋找理論依據(jù)和技術手段，探討高校檔案館非結構化大數(shù)據(jù)管理的解決方法。

關鍵詞：大數(shù)據(jù);檔案;非結構化;檔案管理系統(tǒng)

一、引言

美國信息與技術相關的公司，包括麥肯錫，國際數(shù)據(jù)公司（IDC）與IBM，在2011年提出大數(shù)據(jù)相關概念后已經(jīng)有越來越多的學術機構、企業(yè)包括政府機構開始關注大數(shù)據(jù)。經(jīng)過不到7年的發(fā)展，目前以“大數(shù)據(jù)”作為關鍵詞檢索國內(nèi)外前沿數(shù)據(jù)庫，可得到數(shù)不清的相關報告、論文和新聞。根據(jù)2015年國務院印發(fā)的《促進大數(shù)據(jù)發(fā)展行動綱要》，系統(tǒng)部署大數(shù)據(jù)發(fā)展的相關工作，特別提出要加強檔案館等公益設施建設，構建文化傳播大數(shù)據(jù)服務平臺。上述文件對大數(shù)據(jù)的定義是“以容量大、類型多、存取速度快、應用價值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進行采集、存儲和關聯(lián)分析，從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力的新一代信息技術和服務業(yè)態(tài)”。檔案數(shù)據(jù)正符合以上大數(shù)據(jù)定義，因此是大數(shù)據(jù)的重要組成部分。

與此同時，國家電子文件管理“十三五”規(guī)劃對電子文件的管理提升到國家治理層面。在移動互聯(lián)、云計算、大數(shù)據(jù)等新技術的迅猛發(fā)展時代，各種海量電子文件的歸檔與電子檔案的管理已成為各級檔案館（室）所必須面對的難題，其中最難把握的是對非結構化數(shù)據(jù)的管理。

二、高校檔案館非結構化數(shù)據(jù)的含義及特點

1.高校檔案館非結構化數(shù)據(jù)的來源與定義

高校是一個多學科相融合的集聚地，學校里的教學活動和科研活動均圍繞著各種層次的學科和專業(yè)開展。而高校檔案館作為收集、存儲、傳播和利用學校各種數(shù)據(jù)的機構，需要處理的數(shù)據(jù)種類和數(shù)量都在飛速增長。尤其伴隨著高校信息化校園的建設，校園內(nèi)無線網(wǎng)絡等技術的普及，檔案館接收的檔案除了原有的紙質檔案和聲像實體檔案，越來越多的WORD文件、EXCEL表格、電子郵件、HTML文檔、音視頻文件等結構化和非結構化的數(shù)據(jù)也在呈指數(shù)增長。高校檔案館因此進入到了“大數(shù)據(jù)”時代。

檔案館結構化數(shù)據(jù)，是指存儲在數(shù)據(jù)庫里，可以用二維結構表來邏輯表達的數(shù)據(jù)，由若干個層次結構明確的關聯(lián)組成部分，按照一定的操作規(guī)范使用和維護數(shù)據(jù)庫，主要是檔案目錄及原文數(shù)據(jù)，檔案館業(yè)務流程、服務、系統(tǒng)日志、用戶信息、庫房管理等方面的記錄。非結構化數(shù)據(jù)是指不方便使用二維邏輯表來表現(xiàn)的數(shù)據(jù)，每個字段的記錄又可以由可重復或不可重復的子字段構成數(shù)據(jù)庫。其中，非結構化數(shù)據(jù)占檔案館大數(shù)據(jù)總量的85%以上，是圖書館大數(shù)據(jù)的主要形式。

本文針對高校各業(yè)務系統(tǒng)產(chǎn)生的非結構化多來源數(shù)據(jù)，進行融合管理研究。針對非結構化的數(shù)據(jù)，需要在充分收集多種來源信息的基礎上，綜合運用多種方法進行分析與判斷，找出具有存檔價值的信息，予以整理和保管，以備將來為教職工和其他社會人士提供利用。

2.檔案館非結構化大數(shù)據(jù)的特點

高校檔案館面臨的非結構化數(shù)據(jù)存在著數(shù)據(jù)來源眾多，數(shù)據(jù)格式不同，數(shù)據(jù)信息內(nèi)容不重復等多種特點。這些特點可以成為非結構化數(shù)據(jù)分類管理的依據(jù)。

（1）數(shù)據(jù)來源多樣性

非結構化的數(shù)據(jù)來源于校內(nèi)和校外的多種活動，其中大部分都是校內(nèi)產(chǎn)生。高校的教學、科研和管理活動產(chǎn)生了核心的檔案信息，如教學課件、教學視頻、圖像、論文、專利、產(chǎn)品、電子郵件、網(wǎng)頁、及時通訊信息等數(shù)據(jù)。校外產(chǎn)生的非結構化數(shù)據(jù)有重大活動報道網(wǎng)頁、音頻視頻文件、照片、往來電子郵件、電子發(fā)票、申報信息等數(shù)據(jù)。信息來源不同的非結構化數(shù)據(jù)在檔案的四性（即真實性、完整性、可用性和安全性）方面存在著巨大的差異，檔案工作針對不同來源的數(shù)據(jù)應改進行分類收集、整理、存儲、管理和提供利用。

（2）多數(shù)據(jù)格式的并存

由于目前多數(shù)高校已經(jīng)開展數(shù)字化校園建設，各項工作的開展都離不開業(yè)務系統(tǒng)的輔助，而每種業(yè)務系統(tǒng)可能是針對不同的工作內(nèi)容開發(fā)，因此這些業(yè)務系統(tǒng)往往生成對應格式的非結構化數(shù)據(jù)，包括版式文件、圖片、二維矢量文件、三維矢量文件、XML、HTML、音頻、視頻、報表等。每種格式的數(shù)據(jù)類型、數(shù)據(jù)大小、通用性等均不盡相同，而且還會出現(xiàn)因業(yè)務系統(tǒng)的更替，數(shù)據(jù)格式前后不一致的可能。在當前的環(huán)境下，仍沒有出現(xiàn)一種技術可以處理所有格式的數(shù)據(jù)。因此，高校檔案館必須根據(jù)學校的發(fā)展、用戶的需求及提供服務利用的多重角度考慮，制定各種檔案數(shù)據(jù)格式的存檔標準，對應地進行設計標準化存儲或者兼容式存儲的分層級存儲系統(tǒng)，以實現(xiàn)不同數(shù)據(jù)格式的自由轉換，最終才能充分利用這些非結構化數(shù)據(jù)檔案。

（3）數(shù)據(jù)主體特指性強

在高校檔案館中，產(chǎn)生非結構化數(shù)據(jù)的主體主要是檔案館專兼職檔案員，在校師生及校友。還有極少量的學校外部參與者，校外參與者利用檔案資源的頻率遠遠低于前者。因而，從用戶的角度有效分析檔案館專兼職檔案員，在校師生及校友的數(shù)據(jù)需求，將已經(jīng)產(chǎn)生的非結構化數(shù)據(jù)的大數(shù)據(jù)進行分類，就能夠把握非結構化數(shù)據(jù)發(fā)展的規(guī)模和質量，再經(jīng)過分析便可得出當前用戶的需求。

（4） 數(shù)據(jù)內(nèi)容不重復

與傳統(tǒng)的檔案的收集有一點不同的是，非結構化的數(shù)據(jù)內(nèi)容不應重復，傳統(tǒng)紙質檔案和實物檔案允許保存多份實體作為副本，但非結構化數(shù)據(jù)因為其計算機復制技術十分便捷，占用的存儲空間又十分龐大，因此為了給檔案系統(tǒng)的運行減輕冗余，原則上不應該重復。對整個檔案館的電子數(shù)據(jù)在保管過程中可以做雙份異地備份。

三、高校檔案館非結構化大數(shù)據(jù)的融合機制

由于非結構化數(shù)據(jù)的以上特性，需要對數(shù)據(jù)進行融合管理?？扇诤系臄?shù)據(jù)必須具有以下共性，一般是同一個主題的數(shù)據(jù)。數(shù)據(jù)往往會具有互補性，不同信息源的數(shù)據(jù)從著錄字段上或者記錄上具有互補性，以保證數(shù)據(jù)的完整性與覆蓋面。將收集的非結構化數(shù)據(jù)分為3個方面：數(shù)據(jù)濾重、數(shù)據(jù)拆分、數(shù)據(jù)統(tǒng)計，每個方面都涉及到具體的技術細節(jié)與不同的處理方法。

1.部分非結構化數(shù)據(jù)可轉化為結構化的數(shù)據(jù)

在搜集的非結構化數(shù)據(jù)中，許多都可以轉化為結構化數(shù)據(jù)進行管理。如圖片、XML、HTML、報表、電子郵件等靜態(tài)數(shù)據(jù)，可通過截圖的形式轉換為JPG或PDF格式，用原文的形式存儲于檔案管理系統(tǒng)內(nèi)，這樣就可以實現(xiàn)此部分的非結構化數(shù)據(jù)與已有的結構化數(shù)據(jù)融合。

2.無法轉換的非結構化數(shù)據(jù)采用特殊數(shù)據(jù)庫單獨管理

非結構化中的大量組成部分是音頻、視頻等數(shù)據(jù)，它們盡管無法保存在已有的檔案系統(tǒng)統(tǒng)一管理，但與結構化的數(shù)據(jù)是息息相關的，因此需要采用特殊的數(shù)據(jù)庫單獨管理，并與結構化的檔案信息系統(tǒng)對應的字段建立聯(lián)系。在提取的非結構化數(shù)據(jù)時，有可能出現(xiàn)一個文件包括多個主題的情況，這時需要對其進行著錄字段的拆分，將主題進行歸類。數(shù)據(jù)查重過濾，指數(shù)據(jù)融合過程中的許多字段表達含義相同，但卻說法不一，可以選用其中一個字段來代替，或者為字段另外選一個名字，例如“70年校慶”與“七十年校慶”，我們可以都確定為“七十周年校慶”，也都定位到“校慶”。經(jīng)過數(shù)據(jù)的拆分、查重過濾后，我們可以利用統(tǒng)計軟件，分析出某一時間段內(nèi)高校檔案利用的熱點，提高服務水平。

3.需針對動態(tài)的非結構化數(shù)據(jù)開發(fā)相應的管理程序

除以上非結構化數(shù)據(jù)，還有一部分通過視頻、微博、微信公眾號、QQ咨詢等各網(wǎng)絡媒體產(chǎn)生的信息日益增加，數(shù)據(jù)的類型更加復雜，數(shù)據(jù)的融合更加重要。因為這些數(shù)據(jù)具有及時性、動態(tài)性和不確定性，目前流行的可視化軟件和工具很難套用管理。針對這類非結構化數(shù)據(jù)，需要研究開發(fā)出相應的程序來管理，能夠自動調整以滿足動態(tài)的、不確定的特點。

參考文獻：

[1]What is Big Data [EB/OL] [20141007] .Http：//www.amchamchina.org/article/102

[2]郭春霞.大數(shù)據(jù)環(huán)境下高校圖書館非結構化數(shù)據(jù)融合分析[J].圖書館學研究，2015（05）

[3]沈紅雨.高校非結構化檔案數(shù)據(jù)的數(shù)據(jù)庫管理技術應用與比較研究[J].浙江檔案，2016（01）

[4]陳 臣.基于Hadoop的圖書館非結構化大數(shù)據(jù)分析與決策系統(tǒng)研究[J].情報科學，2017（01）

[5]李翠萍，常 娥.大數(shù)據(jù)時代數(shù)字圖書館發(fā)展淺析[J].江蘇技術師范學院學報，2013年05期

[6]李小剛，謝詩藝，程 舒.大數(shù)據(jù)時代檔案館服務創(chuàng)新研究[J];北京檔案，2013年11期

[7]黃少芳，劉曉鴻，張俊芳.論高校檔案信息化與數(shù)字檔案館建設[J];中國地質教育，2013年02期

[8]郭振橋，王新玲.淺論大數(shù)據(jù)在未來圖書館服務中的應用[J];內(nèi)蒙古科技與經(jīng)濟，2013年16期

作者簡介：彭柳，館員，中南民族大學檔案館（校史館）信息與技術室負責人，主要從事檔案數(shù)字化建設技術研究。

基金項目：本文由中南民族大學中央高校科研業(yè)務費社科專項資金項目資助（CSQ19039）