席暢

（黑龍江大學信息管理學院 哈爾濱 150080）

智慧城市建設中的檔案大數(shù)據(jù)系統(tǒng)研究

席暢

（黑龍江大學信息管理學院 哈爾濱 150080）

本文從信息時代轉變檔案傳統(tǒng)觀念入手，對智慧城市構建中的檔案大數(shù)據(jù)系統(tǒng)探究式地加以分析和設計，提出了依照檔案實際內容流程搭建高智能基礎設施框架理念，實現(xiàn)從海量信息和數(shù)據(jù)中抽取和挖掘有用的信息和資源，有效擴展檔案庫藏，并通過檔案大數(shù)據(jù)系統(tǒng)平臺的構建，有效提升現(xiàn)代檔案管理及檔案服務功能。

智慧城市 觀念 檔案大數(shù)據(jù) 檔案信息資源

智慧城市作為國家現(xiàn)代化水平的重要標志之一，已被列入重要議事日程。就“智慧城市’而言，核心體現(xiàn)為“智能”。未來城市猶如一座龐大的智能機器，像人的大腦一樣，具備有效支配、協(xié)調和組織各部分相互配合、完成指定任務的功能，同時具備危機預測、預警、自動生成應急預案、采取必要措施的能力，還具備發(fā)現(xiàn)和預測各行業(yè)未來走勢、提出初步方案的能力，并具備預測行業(yè)走勢、生成指導意見、開展創(chuàng)新和創(chuàng)造的能力等等，體現(xiàn)高度的智能。檔案大數(shù)據(jù)系統(tǒng)作為智慧城市建設的一個重要組成部分，承擔著歷史傳承及推動人類社會發(fā)展的重要任務和使命，通過大數(shù)據(jù)技術，使我們能夠做到深入挖掘檔案資源、擴展檔案庫藏，實現(xiàn)有效管理、組織和利用，發(fā)揮檔案社會服務功能和作用的時代效能。檔案大數(shù)據(jù)系統(tǒng)的建立，必將成為智慧城市建設的重要標志和重要支撐之一。

一、做好建立檔案大數(shù)據(jù)系統(tǒng)觀念上的準備

1.建立大數(shù)據(jù)檔案系統(tǒng)需要思維觀念的轉變。目前的檔案管理，依然以傳統(tǒng)方式為主，而數(shù)字檔案資源建設基本上處于探索和嘗試階段。大數(shù)據(jù)的產生，是數(shù)字化時代的必然，有效處理和利用日益增大的數(shù)據(jù)資源，需要新的模式和技術，并通過新模式、新技術產生巨量的檔案資源，為國家、社會和民眾服務。這一切必將對檔案從業(yè)人員思維觀念造成極大沖擊。面向未來，無論業(yè)內決策者或領導者，還是檔案館從業(yè)人員，乃至檔案研究或教學人員，都必須摒棄觀望或保守的消極態(tài)度和思維觀念，要強化學習，更新觀念，開放思維，踏實工作，為加快檔案信息化建設進程做好思想和行動上的準備。

2.建立大數(shù)據(jù)檔案系統(tǒng)需要樹立正確的開發(fā)觀念。目前對于檔案信息資源開發(fā)觀念的認識存在三個誤區(qū)。一是片面強調檔案的機要性、保密性，人為抵制檔案的開發(fā)與利用；二是開發(fā)檔案資源無用論，認為檔案工作不存在技術含量和學問，無需檔案資源開發(fā)；三是由于資金有限，難于達到檔案大數(shù)據(jù)系統(tǒng)建設要求。檔案大數(shù)據(jù)系統(tǒng)的開發(fā)，是強國利民、邁向全面現(xiàn)代化的重要組成部分，時不我待、刻不容緩。我們在轉變觀念、樹立信念的同時，要立足長遠、著眼現(xiàn)實，有計劃、有步驟地開展工作，扎實有效地推進檔案大數(shù)據(jù)系統(tǒng)開發(fā)進程。

3.建立大數(shù)據(jù)檔案系統(tǒng)需要樹立完備的安全觀念。目前檔案工作者缺乏網(wǎng)絡安全專業(yè)教育，對檔案信息安全管理缺乏針對性和執(zhí)行力。相關政策法規(guī)和制度建設及標準化管理、計算機輔助管理等相對檔案信息化發(fā)展步伐明顯滯后。檔案作為國家戰(zhàn)略決策的重要資源之一，具有豐富內涵和利用價值，同時在檔案安全上有其特殊的要求。我們在檔案大數(shù)據(jù)系統(tǒng)建設中，在充分重視增強檔案從業(yè)人員安全防范意識的同時，要切實加強網(wǎng)絡安全設施、安全技術手段及政策法規(guī)建設，創(chuàng)造安全的系統(tǒng)環(huán)境，為有效開發(fā)和利用檔案大數(shù)據(jù)系統(tǒng)創(chuàng)造有利條件。

二、智慧城市建設中的檔案大數(shù)據(jù)系統(tǒng)探究

大數(shù)據(jù)技術支持巨量的存儲與存儲處理，使檔案資源的統(tǒng)一管理成為可能。檔案大數(shù)據(jù)服務平臺的構建應具有異構、開放、移動、協(xié)同和融合性等特征。注重用戶實際需求，通過構建和整合不同信息資源、網(wǎng)絡平臺,為用戶提供安全的使用環(huán)境,實現(xiàn)用戶的無障礙利用。檔案大數(shù)據(jù)系統(tǒng)的設計不僅需要解決超大數(shù)據(jù)造成服務器容量不足問題，同時要把有效降低投資和維護成本融入系統(tǒng)設計理念之中。構建檔案大數(shù)據(jù)系統(tǒng)平臺，應按著檔案實際內容流程進行設計，應包括檔案的數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)轉換層、數(shù)據(jù)互聯(lián)層和數(shù)據(jù)管理層等五個層面的內容。如圖1智慧城市建設中的檔案大數(shù)據(jù)系統(tǒng)結構圖。

圖1 智慧城市建設中的檔案大數(shù)據(jù)系統(tǒng)結構圖

1.檔案數(shù)據(jù)采集層。大數(shù)據(jù)環(huán)境中，檔案作為數(shù)據(jù)的一部分，與傳統(tǒng)意義上的檔案有著明顯的區(qū)別。形式表象呈現(xiàn)多樣化。而高質量的檔案數(shù)據(jù)和信息獲取渠道，不僅來源于已有局域網(wǎng)中的結構化數(shù)據(jù)，同時能夠通過網(wǎng)絡交互、傳感器、RFID射頻、及B/S移動輸入等多種渠道獲取非結構化數(shù)據(jù)，實現(xiàn)采集、變更與處理。由影像識別技術獲得的動態(tài)數(shù)據(jù)，由掃描、攝影而輸入計算機獲得的紙質文檔，都是由半結構和非結構化數(shù)據(jù)變更為結構化數(shù)據(jù)的實際例證，這種做法既便于工作人員查找原始數(shù)據(jù)，同時也避免重復錄入，產生堆積。

采用方法：一是建設基于文檔一體化的電子檔案管理平臺，加強電子檔案的接收與管理；二是建設業(yè)務數(shù)據(jù)庫采集管理平臺，集中管理各單位有長久保存價值的業(yè)務檔案數(shù)據(jù)庫；三是建設媒體信息采集平臺，實現(xiàn)檔案館對網(wǎng)站、廣播、電視等媒體信息的智能采集和自動歸檔；四是建設基于城市記憶理念的數(shù)字文獻資源收集和管理平臺，有計劃地大規(guī)模積累城市歷史文化資源，并通過專用網(wǎng)站提供權威的城市歷史文化資源，搭建城市記憶體系。

2.檔案數(shù)據(jù)的存儲層。數(shù)據(jù)存儲層是各類異構數(shù)據(jù)源存儲形式的抽象。智慧城市中數(shù)據(jù)源有多種存儲形式，例如關系數(shù)據(jù)庫、半結構和非結構化文檔、多媒體數(shù)據(jù)等，因而數(shù)據(jù)存儲層具有巨量、異構、分散的特征。作為數(shù)據(jù)存儲層，主要有兩種數(shù)據(jù)存儲形式：一是存儲在各類數(shù)據(jù)庫中的結構化數(shù)據(jù)；二是以文件形式存儲的半結構或非結構化數(shù)據(jù)。

建立大數(shù)據(jù)數(shù)據(jù)源的重要基礎是檔案的數(shù)字化。在做好該項工作的同時，要完善電子文件和檔案數(shù)字化成果管理服務體系，為服務器集群的數(shù)據(jù)整合和處理、即大數(shù)據(jù)處理做好準備工作。

圖2 檔案數(shù)據(jù)的存儲

3.檔案數(shù)據(jù)的轉換層。根據(jù)數(shù)據(jù)過濾和清洗規(guī)則，對已經采集到的大數(shù)據(jù)源實施可用性檢查和質量分析，對數(shù)據(jù)實施過濾與清洗，使數(shù)據(jù)整合時具有較高的可操作性和價值密度。避免出現(xiàn)巨量數(shù)據(jù)傳輸中的擁擠、塞堵及產生冗余空間等現(xiàn)象。

利用云計算的分布式系統(tǒng)制作檔案大數(shù)據(jù)源的轉換層，能夠具備足夠的數(shù)據(jù)傳輸和存儲能力，達到檔案大數(shù)據(jù)的智能交互，進而構成由方法庫、知識庫及模型庫共同組成的多維數(shù)據(jù)模型。針對不同的數(shù)據(jù)類型，數(shù)據(jù)轉換層主要利用兩種技術手段：對于結構化數(shù)據(jù)(主要是指關系型數(shù)據(jù))利用RDB至RDF映射技術(RDB2RDF)；對非結構化數(shù)據(jù)(主要是指多媒體數(shù)據(jù))利用數(shù)據(jù)語義標注標簽對數(shù)據(jù)實施RDF標注。

4.檔案數(shù)據(jù)的互聯(lián)層。檔案數(shù)據(jù)的互聯(lián)、整合主要體現(xiàn)為采用數(shù)據(jù)接入技術（包括廣域網(wǎng)、局域網(wǎng)、個人網(wǎng)等），將數(shù)據(jù)采集層已處理過的數(shù)據(jù)安全、穩(wěn)定、快速地輸送到上層，并通過數(shù)據(jù)交互功能模塊形成檔案大數(shù)據(jù)源共享系統(tǒng)、并具備“智能交互”功能。

檔案數(shù)據(jù)互聯(lián)包括控制系統(tǒng)、運行引擎，基礎平臺管理等?？刂葡到y(tǒng)指通過調度、轉換、功能等方面對檔案數(shù)據(jù)進行索引和協(xié)同搜索，運行引擎指的是對數(shù)據(jù)對象、數(shù)據(jù)訪問、工作流的引擎和任務引擎的整合，一個分布式文件系統(tǒng)的實現(xiàn)，能夠做到經濟高效地分析PB級的結構與非結構化數(shù)據(jù)或信息；基礎平臺管理包含日志管理、數(shù)據(jù)訪問及訪問策略、信息通知、異常處理、緩存管理，是對檔案數(shù)據(jù)按照預定規(guī)則存儲，并進行庫內的科學分析。

5.檔案數(shù)據(jù)的管理層。檔案數(shù)據(jù)管理層面指的是使用和維護系統(tǒng)的接口,包括數(shù)據(jù)共享、數(shù)據(jù)維護和數(shù)據(jù)分析，是數(shù)據(jù)服務的指揮中心。通過多維分析、數(shù)據(jù)挖掘和各種查詢三個工具實現(xiàn)人機交互界面。通過對人機交互、操作邏輯、界面美觀的整體設計，實現(xiàn)登陸與認證、數(shù)據(jù)存儲、數(shù)據(jù)操作、數(shù)據(jù)查詢、基本參數(shù)設計等功能。不管采用何種技術，關鍵是應用。應用需要的數(shù)據(jù)才是有價值的數(shù)據(jù)，只有生成多模式、多樣性的應用數(shù)據(jù)，檔案大數(shù)據(jù)源的價值才能得以充分體現(xiàn)。

智慧城市構建中的檔案大數(shù)據(jù)系統(tǒng)建設是一項長期、復雜的系統(tǒng)工程，還面臨著諸多技術與非技術的困難和問題。如何科學、合理地設計和搭建高智能的系統(tǒng)框架，是檔案業(yè)內人士應該認真思考、認真對待、認真研究的重要課題。未來智慧城市的檔案大數(shù)據(jù)系統(tǒng)，將使檔案部門走出象牙塔，成為公眾與政府之間的橋梁，這座高智能的橋梁，必將為用戶帶來全新的體驗和收獲，為國家全面實現(xiàn)現(xiàn)代化，為人類的發(fā)展和進步做出突出的貢獻。

[1]席暢.大數(shù)據(jù)環(huán)境下未來檔案館建設的新構想[J].云南檔案,2017（1）:55-57.

[2]席暢.淺談互聯(lián)網(wǎng)+檔案信息化[J].黑龍江檔案,2016（1）:52-53. [3]楊智勇,周楓.面向智慧城市的檔案信息服務模式探究[J].檔案學通訊，2016（4）:44-49.

[4]郝偉斌.面向智慧城市的檔案信息化[J].檔案管理，2013(4):21-23.

Research on Big Data System of Archives in Smart City Construction

Xi Chang
(Information Management Department of Heilongjiang University,Harbin 150080,China)

Starting from the change of traditional archives concept,this article analyzes and designs the big data system in the construction of smart city,puts forward the idea of building the framework of the high intelligence infrastructure according to the actual content flow of the archives,tries to extract and excavate useful information and resources from the massive information and data,and then effectively expand the archives storage.Besides,through the building of big data system platform,the modern archives management and service function can be effectively enhanced.

mart city;concept;archives big data;archives information resource

G270.7

A

2017-04-07

本文為黑龍江省高校本科科研業(yè)務費黑龍江大學專項資金“智慧城市背景下檔案信息資源規(guī)劃研究”（項目編號：HDJDZ201613）階段性研究成果；教育部人文社科規(guī)劃基金項目“信息文明視閾下檔案文化范式轉型研究”（項目編號：12YJA870015）；國家社科基金項目“信息文化視閾下檔案價值認知轉型研究”（項目編號：13BTQ066）?！镒髡吆喗椋合瘯?，黑龍江大學信息管理學院2015級檔案學研究生。

10.16565/j.cnki.1006-7744.2017.15.05