高樂(lè) 季文云/浙江省檔案館

走向依法治理、走向開(kāi)放、走向現(xiàn)代化是時(shí)任浙江省委書(shū)記習(xí)近平同志于2003年5月視察浙江省檔案館時(shí)對(duì)檔案工作作出的重要指示，“三個(gè)走向”為做好新時(shí)代檔案工作提供了根本遵循。然而長(zhǎng)期以來(lái)，由于信息技術(shù)條件的限制，檔案作為一種寶貴資源卻一直深藏在各館的庫(kù)房或局域網(wǎng)內(nèi)，其利用模式相對(duì)簡(jiǎn)單并有較多局限，檔案的治理水平、開(kāi)放水平、現(xiàn)代化水平已難以滿足群眾日益增長(zhǎng)的用檔需求。檔案數(shù)據(jù)資源歸集是檔案工作“三個(gè)走向”的基礎(chǔ)性、關(guān)鍵性環(huán)節(jié)，推動(dòng)檔案數(shù)據(jù)資源的全量歸集，能夠更好地為社會(huì)主體提供檔案資源共享和檔案利用服務(wù)。

本文通過(guò)闡述浙江省檔案數(shù)據(jù)資源歸集利用現(xiàn)狀，分析其中存在的問(wèn)題、短板，進(jìn)而提出解決路徑，為省域?qū)用娴臄?shù)據(jù)歸集提供參考。

1 檔案數(shù)據(jù)資源的歸集現(xiàn)狀

1.1 數(shù)字檔案館建設(shè)領(lǐng)跑全國(guó)

2012年7月，浙江省檔案局制定發(fā)布《浙江省數(shù)字檔案館建設(shè)管理暫行辦法》，此后全省梯次推進(jìn)數(shù)字檔案館建設(shè)，截至目前，全省各級(jí)數(shù)字檔案館（室）實(shí)現(xiàn)全覆蓋，其中全國(guó)示范數(shù)字檔案館11個(gè)，國(guó)家級(jí)數(shù)字檔案館54個(gè)，數(shù)量位居全國(guó)前列。隨著數(shù)字檔案館（室）建設(shè)的深入，全省大多數(shù)檔案館的館藏?cái)?shù)字化率已達(dá)70%以上，部分檔案館甚至已經(jīng)達(dá)到100%。

1.2 數(shù)字檔案公共服務(wù)便民惠民

2017年11月，浙江省檔案館啟用“浙江檔案服務(wù)網(wǎng)”，全省100家綜合檔案館共同組成網(wǎng)上聯(lián)合查檔大廳，提供查檔指引、網(wǎng)上查檔等服務(wù)，此后迭代升級(jí)“掌上”“網(wǎng)上”查檔出證服務(wù)，將“一網(wǎng)查檔、百館聯(lián)動(dòng)”服務(wù)延伸至“浙里辦”，再貫通至長(zhǎng)三角查檔一體化平臺(tái)、全國(guó)檔案查詢利用服務(wù)平臺(tái)，逐步打通查檔服務(wù)“最后一公里”，實(shí)現(xiàn)民生檔案利用跨省“一網(wǎng)通辦”。

1.3 檔案數(shù)據(jù)歸集先試先行

2021年8月，浙江省檔案館印發(fā)《浙江省檔案工作數(shù)字化改革方案》，提出加快檔案資源向數(shù)字化、數(shù)據(jù)化轉(zhuǎn)型，此后分階段下發(fā)《關(guān)于開(kāi)展檔案數(shù)據(jù)資源歸集共享試點(diǎn)工作的通知》《關(guān)于開(kāi)展檔案數(shù)據(jù)資源歸集共享提質(zhì)擴(kuò)面工作的通知》，制定試點(diǎn)工作方案、匯集標(biāo)準(zhǔn)、數(shù)據(jù)安全保密要求、平臺(tái)運(yùn)行管理辦法、工作應(yīng)急預(yù)案等系列制度規(guī)范，穩(wěn)步推進(jìn)檔案數(shù)據(jù)歸集共享工作。截至2023年7月底，已完成全省檔案館數(shù)據(jù)歸集6000余萬(wàn)條。

2 檔案數(shù)據(jù)資源的歸集困境

2021年之前，浙江省檔案數(shù)據(jù)的歸集大部分局限于各館（室）層面，各類檔案資源也只是粗放的統(tǒng)一收集，沒(méi)有省級(jí)層面的數(shù)據(jù)庫(kù)，檔案信息資源多而散，檔案數(shù)據(jù)各自為陣，沒(méi)有形成集聚效應(yīng)。究其原因，主要有三個(gè)方面：

2.1 檔案種類繁多導(dǎo)致歸集難

檔案數(shù)據(jù)資源歸集的前提是模板統(tǒng)一，但是目前尚沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)的歸集模板可供使用，每類檔案都必須設(shè)計(jì)一個(gè)涵蓋大部分檔案信息的模板，才能在檢索利用時(shí)快速定位，工作量大且雜。

2.2 檔案執(zhí)行標(biāo)準(zhǔn)不一導(dǎo)致歸集難

雖然國(guó)家層面陸續(xù)出臺(tái)了檔案數(shù)字化工作標(biāo)準(zhǔn)文件，但這些標(biāo)準(zhǔn)都是行業(yè)標(biāo)準(zhǔn)，不具備強(qiáng)制性且用詞上多以建議性質(zhì)為主，這就導(dǎo)致各個(gè)檔案館在執(zhí)行過(guò)程中對(duì)標(biāo)準(zhǔn)尺度的把握不一，例如在掃描分辨率、存儲(chǔ)格式、OCR處理選擇等不盡相同。

2.3 檔案數(shù)字化質(zhì)量不高導(dǎo)致歸集難

就目前而言，受限于經(jīng)費(fèi)、工作人員業(yè)務(wù)水平等原因，紙質(zhì)檔案的數(shù)字化過(guò)程中數(shù)據(jù)質(zhì)量參差不齊，經(jīng)常出現(xiàn)目錄錯(cuò)誤，原文缺頁(yè)、重頁(yè)等問(wèn)題。

3 檔案數(shù)據(jù)資源的歸集對(duì)策

3.1做好頂層設(shè)計(jì)，明確歸集原則

第一，共享性原則。檔案數(shù)據(jù)資源歸集的最終目的就是為了“走向開(kāi)放”，各檔案館歸集的檔案數(shù)據(jù)資源原則上應(yīng)予以共享。共享類型分為無(wú)條件共享（即可提供給所有部門(mén)及社會(huì)群體使用的檔案）、限制條件共享（即可提供給相關(guān)部門(mén)或僅能夠部分提供給相關(guān)部門(mén)使用的檔案）和不予共享（即不宜提供給其他部門(mén)或社會(huì)群體使用的檔案）。第二，安全性原則。2021年9月，我國(guó)頒布實(shí)施《中華人民共和國(guó)數(shù)據(jù)安全法》，對(duì)數(shù)據(jù)的使用安全提出了明確要求。檔案的數(shù)據(jù)安全是檔案開(kāi)發(fā)利用的前提，其安全涉及硬件、軟件、網(wǎng)絡(luò)、人員等要素，應(yīng)盡可能規(guī)避數(shù)據(jù)在拷貝過(guò)程、傳輸過(guò)程中的安全問(wèn)題，保障各檔案館內(nèi)網(wǎng)數(shù)據(jù)的安全和上傳數(shù)據(jù)的安全。第三，準(zhǔn)確性原則。檔案數(shù)據(jù)的準(zhǔn)確性是檔案開(kāi)發(fā)利用的前提和基礎(chǔ)。檔案數(shù)據(jù)來(lái)自各個(gè)檔案館、各個(gè)部門(mén)，其數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)不一，數(shù)據(jù)質(zhì)量參差不齊，歸集前必須逐一復(fù)核，嚴(yán)格按照統(tǒng)一模板梳理清洗，確保數(shù)據(jù)格式統(tǒng)一準(zhǔn)確。

3.2 聚焦實(shí)際需要，理清歸集思路

檔案數(shù)據(jù)資源歸集是一項(xiàng)復(fù)雜的系統(tǒng)性工程，必須經(jīng)過(guò)充分調(diào)研、總體設(shè)計(jì)、反復(fù)論證，確保歸集工作安全有序推進(jìn)（見(jiàn)圖1）。

圖1 檔案數(shù)據(jù)資源歸集工作思路

3.2.1 建立健全體制機(jī)制。省級(jí)層面制定《浙江省檔案數(shù)據(jù)共享中心檔案目錄數(shù)據(jù)庫(kù)結(jié)構(gòu)標(biāo)準(zhǔn)》《浙江省檔案數(shù)據(jù)共享中心平臺(tái)運(yùn)行管理辦法》等系列制度規(guī)范，為全省歸集工作提供遵循。各檔案館在接到歸集通知后，組建專班、厘清家底，建立健全館長(zhǎng)負(fù)責(zé)制、市縣聯(lián)動(dòng)制、進(jìn)度督查制、解難會(huì)商制等工作推進(jìn)機(jī)制，在數(shù)據(jù)歸集上共同發(fā)力，加快數(shù)據(jù)資源歸集“一盤(pán)棋”合力推進(jìn)、“一體化”互助聯(lián)動(dòng)。

3.2.2 明晰歸集利用思路。檔案數(shù)據(jù)資源的歸集利用，歸集是前提，利用才是目的，待全省數(shù)據(jù)歸集任務(wù)完成后，要及時(shí)根據(jù)不同的檔案內(nèi)容、用戶和場(chǎng)景，劃定不同的共享方式和利用范圍，以期實(shí)現(xiàn)更加高效的檔案資源共享和更加便捷的檔案利用服務(wù)。

3.2.3 設(shè)計(jì)開(kāi)發(fā)數(shù)據(jù)歸集系統(tǒng)。歸集系統(tǒng)是數(shù)據(jù)歸集共享的關(guān)鍵，其設(shè)計(jì)的合理性關(guān)乎歸集的速度、質(zhì)量以及后續(xù)開(kāi)發(fā)利用的可行性和便捷度。浙江省檔案數(shù)據(jù)歸集系統(tǒng)采用的是前后端分離可獨(dú)立部署維護(hù)的spring cloud微服務(wù)框架，實(shí)現(xiàn)檔案資源歸集服務(wù)的可伸縮、可靈活擴(kuò)展。系統(tǒng)架構(gòu)見(jiàn)圖2。

圖2 歸集系統(tǒng)架構(gòu)圖

基礎(chǔ)設(shè)施層方面，歸集充分利用政務(wù)云平臺(tái)資源，依托云服務(wù)器、政務(wù)網(wǎng)絡(luò)、政務(wù)云存儲(chǔ)、云安全等政務(wù)云基礎(chǔ)設(shè)施，系統(tǒng)網(wǎng)絡(luò)與互聯(lián)網(wǎng)邏輯隔離，確保數(shù)據(jù)安全。

數(shù)據(jù)層方面，利用多種類型的數(shù)據(jù)存儲(chǔ)模式，關(guān)系數(shù)據(jù)庫(kù)用來(lái)存儲(chǔ)檔案目錄數(shù)據(jù)，對(duì)象存儲(chǔ)服務(wù)（oss存儲(chǔ)）用來(lái)存儲(chǔ)檔案全文數(shù)據(jù)，鍵值數(shù)據(jù)庫(kù)用來(lái)存儲(chǔ)緩存數(shù)據(jù)，提高數(shù)據(jù)訪問(wèn)性能，確保各個(gè)微服務(wù)之間參數(shù)利用高效暢通。

業(yè)務(wù)支撐層主要是為業(yè)務(wù)服務(wù)層提供支撐的基礎(chǔ)能力，包括服務(wù)發(fā)現(xiàn)配置中心、服務(wù)流控防護(hù)、消息隊(duì)列和統(tǒng)一安全管理。服務(wù)發(fā)現(xiàn)配置中心主要是服務(wù)發(fā)現(xiàn)和服務(wù)健康監(jiān)測(cè)、動(dòng)態(tài)配置服務(wù)及其源數(shù)據(jù)管理等。服務(wù)流控防護(hù)主要是監(jiān)控微服務(wù)流量并相應(yīng)控制，在極端情況下熔斷相應(yīng)微服務(wù)以起到保護(hù)服務(wù)器的作用。消息隊(duì)列主要解決應(yīng)用耦合、異步處理、流量削鋒等問(wèn)題。統(tǒng)一安全管理平臺(tái)4A(認(rèn)證Authentication、授權(quán)Authorization、賬號(hào)Account、審計(jì)Audit)是以身份為中心，實(shí)現(xiàn)賬號(hào)、認(rèn)證、授權(quán)和審計(jì)統(tǒng)一管控的安全訪問(wèn)平臺(tái)。

業(yè)務(wù)服務(wù)層方面，按功能縱向劃分業(yè)務(wù)服務(wù)，將歸集按照功能拆分為目錄歸集、全文歸集、檔案資源管理和歸集過(guò)程監(jiān)控等粒度更細(xì)的服務(wù)，每一個(gè)服務(wù)都作為一個(gè)獨(dú)立的應(yīng)用，可獨(dú)立進(jìn)行開(kāi)發(fā)、管理和部署，也可根據(jù)系統(tǒng)的壓力靈活地增加相應(yīng)的服務(wù)器，有效解決大批數(shù)據(jù)集中上傳導(dǎo)致的系列問(wèn)題。目錄歸集主要是對(duì)全省共享檔案資源目錄的歸集，采用消息隊(duì)列進(jìn)行流量削峰方式應(yīng)對(duì)大量的數(shù)據(jù)庫(kù)并發(fā)操作。全文歸集主要是將全文上傳至oss存儲(chǔ)，歸集過(guò)程支持高并發(fā)多線程分片傳輸，對(duì)傳輸失敗的任務(wù)支持?jǐn)帱c(diǎn)續(xù)傳。檔案資源管理主要是將上傳的目錄和全文按一定規(guī)則匹配關(guān)聯(lián)，掛接規(guī)則可自定義，從而更好地滿足不同掛接情況，且掛接規(guī)則可保存，避免相同類型的檔案多次掛接重復(fù)配置規(guī)則。歸集過(guò)程監(jiān)控可查看目錄歸集、目錄全文掛接的排隊(duì)情況，以及全文的上傳情況。

接入層方面，通過(guò)網(wǎng)關(guān)將并發(fā)的用戶請(qǐng)求通過(guò)規(guī)則后平衡、分?jǐn)偟蕉嗯_(tái)服務(wù)器上進(jìn)行執(zhí)行，以此達(dá)到壓力分?jǐn)偂?shù)據(jù)并行的效果，有效地提高歸集服務(wù)的效率和穩(wěn)定性。

應(yīng)用層方面，設(shè)置業(yè)務(wù)部門(mén)入口和市縣檔案館入口，從源頭區(qū)分用戶的使用權(quán)限，從而更好地為用戶服務(wù)。

4 檔案數(shù)據(jù)資源歸集的思考

4.1 做好對(duì)比篩選，分批分類推進(jìn)

當(dāng)前，在各個(gè)檔案館的數(shù)據(jù)資源中，既有數(shù)字化的紙質(zhì)檔案、接收進(jìn)館的電子文件、音視頻檔案等，也有用戶利用信息、服務(wù)數(shù)據(jù)等數(shù)據(jù)資源。數(shù)據(jù)歸集工作開(kāi)始前，必須結(jié)合實(shí)際發(fā)展需要和現(xiàn)實(shí)條件明確歸集的種類和范圍，選取利用率較高的檔案、數(shù)字化質(zhì)量較高的檔案，成熟一批歸集一批，然后開(kāi)放共享一批。浙江省檔案數(shù)據(jù)資源歸集設(shè)置了7類檔案數(shù)據(jù)，分別是民生檔案、開(kāi)放檔案、聲像檔案、編研成果、檔案展覽、鎮(zhèn)館之寶，其中民生檔案以館藏婚姻、土地承包、山林定權(quán)、房產(chǎn)、移民、知青、國(guó)有轉(zhuǎn)制企業(yè)職工、戶籍、學(xué)籍、公證、獨(dú)生子女、出生醫(yī)學(xué)證明檔案等12類老百姓最為關(guān)心的檔案為主；開(kāi)放檔案以明清檔案、民國(guó)檔案、革命歷史檔案和新中國(guó)成立后檔案為主；聲像檔案以照片、音頻、視頻檔案為主。

4.2 歸集前必須統(tǒng)一模板，方便后續(xù)開(kāi)發(fā)利用

當(dāng)前，各個(gè)檔案館的數(shù)據(jù)資源來(lái)自不同的單位、不同的時(shí)期，且大多數(shù)單位囿于時(shí)間、技術(shù)、人員條件限制，選擇將檔案數(shù)字化工作外包給檔案數(shù)字化服務(wù)機(jī)構(gòu)承擔(dān)，然而不同外包服務(wù)公司對(duì)于檔案數(shù)據(jù)質(zhì)量的把控不一，往往出現(xiàn)數(shù)據(jù)格式、信息代碼和元數(shù)據(jù)項(xiàng)不統(tǒng)一等現(xiàn)象。因此，數(shù)據(jù)歸集前必須統(tǒng)一歸集模板，以免在后續(xù)的數(shù)據(jù)清洗過(guò)程被清除，確保每一個(gè)數(shù)據(jù)在同一適配規(guī)則下都能被檢索、被利用。浙江省檔案數(shù)據(jù)資源歸集在充分調(diào)研各館數(shù)據(jù)現(xiàn)狀的前提下，提供了統(tǒng)一的數(shù)據(jù)規(guī)范和數(shù)據(jù)模板，并組織召開(kāi)業(yè)務(wù)培訓(xùn)會(huì)，對(duì)檔案數(shù)字化外包服務(wù)進(jìn)行規(guī)范，確保省內(nèi)擁有外包資質(zhì)單位都能嚴(yán)格執(zhí)行《檔案服務(wù)外包工作規(guī)范》，確保今后檔案數(shù)據(jù)數(shù)字化格式相對(duì)統(tǒng)一。

4.3 保持系統(tǒng)穩(wěn)定，確保數(shù)據(jù)安全快速上傳

無(wú)論什么傳輸系統(tǒng)，穩(wěn)定性都是評(píng)判系統(tǒng)好壞的關(guān)鍵因素之一。一個(gè)好的系統(tǒng)不僅可以提高工作效率，還可以激發(fā)工作人員的積極性。由于各個(gè)檔案的數(shù)據(jù)資源容量都達(dá)幾TB，這就非?？简?yàn)系統(tǒng)的承壓能力和穩(wěn)定性，如果系統(tǒng)不好，用戶體驗(yàn)不佳，歸集工作推進(jìn)的難度將成倍增加。浙江省檔案歸集系統(tǒng)通過(guò)采取多線程上傳模式，讓單個(gè)大文件分片上傳，提升文件上傳性能。通過(guò)部署多個(gè)數(shù)據(jù)歸集微服務(wù)實(shí)現(xiàn)負(fù)載均衡，提升服務(wù)性能。通過(guò)消息隊(duì)列服務(wù)，實(shí)現(xiàn)目錄導(dǎo)入和批量掛接的排隊(duì)執(zhí)行，避免短時(shí)間大量工作導(dǎo)致系統(tǒng)崩潰。

5 結(jié)語(yǔ)

檔案數(shù)據(jù)資源是檔案工作“三個(gè)走向”的基礎(chǔ)，浙江省檔案館從檔案數(shù)據(jù)資源的歸集類目、歸集模式、歸集路徑進(jìn)行了探索實(shí)踐，走出了新時(shí)代、新技術(shù)背景下檔案工作革新的出路，為全國(guó)省域?qū)用娴臋n案數(shù)據(jù)資源歸集提供了有益探索。檔案數(shù)據(jù)歸集是一項(xiàng)持續(xù)性工作，需要持續(xù)發(fā)力、久久為功，只有全量匯集一個(gè)省的數(shù)據(jù)，才能真正彰顯大數(shù)據(jù)的優(yōu)勢(shì)和效率。