文/喬麗 苑華偉
談檔案館數字檔案的存儲備份介質及利用
文/喬麗 苑華偉
數字檔案館與傳統(tǒng)檔案館相比,有著豐富的檔案數字化資源、便捷的檢索、快速的傳輸、高度的開放、信息共享等優(yōu)點。為適應信息社會日益增長的對檔案信息資源的利用需求,各級各類檔案館運用現代科技手段對數字檔案信息進行采集、加工、存儲、管理,并通過各種網絡平臺提供檔案信息服務。
以某檔案館為例,自2010年6月國家檔案局印發(fā)《數字檔案館建設指南》以來,該館在原館藏檔案數字化的基礎上,加快了數字檔案館的建設工作。至今已完成館藏案卷級、文件級檔案四百余萬條,掛接電子檔案1450萬頁,數據量達到了24TB。目前,館藏檔案數字化工作仍在繼續(xù)進行,增量電子檔案接收工作同時也在穩(wěn)步開展。
隨著館藏檔案數字化進程的不斷加快,數據量的迅速增長,給檔案館數字檔案的存儲、備份及管理利用等方面帶來了很大的工作壓力。
目前,沒有任何一種存儲介質可永久地保存數字檔案和數字信息資料。該館現保存有縮微膠片、光盤、磁帶、硬盤四種介質的數字檔案。
1.四種介質的比較。一是從容量上比較。磁盤陣列單盤可達8TB,目前最大;磁帶單盤可達2.5TB,壓縮后可達6.2TB;藍光光盤單盤可達100GB;縮微膠片最小。二是從速度上比較。硬盤速度最快,光盤次之,磁帶和縮微膠片需要依靠特殊的設備讀取,速度都較慢。三是從價格上比較。硬盤和光盤最經濟,縮微膠片和磁帶次之。四是從作用方面上比較??s微膠片與光盤的存儲占用空間小、保存時間長,易于交換與復制,有利于異地異質備份。磁帶存儲發(fā)展雖然已有60余年,但對于海量數據來說,占用空間大,保存環(huán)境要求高。硬盤從價格及兼容性方面來說都不是最好的選擇。
2.數字檔案存儲難題。在數字檔案館建設中,存儲系統(tǒng)通常以磁盤陣列作為核心存儲設備,利用磁帶進行數據備份。這種存儲架構,能夠滿足很多行業(yè)的需求,但對檔案館這種特殊行業(yè),存在諸多問題。磁盤陣列與磁帶均屬于磁性介質存儲,它們對設備的依賴性強,必須依賴于指定的設備才能讀出。如設備發(fā)生故障、系統(tǒng)癱瘓、病毒干擾等,數字檔案就無法讀取。一是磁盤陣列雖然存儲量大,讀取速度、數據信息的備份與恢復性能快,但它的壽命有限。它采用驅動器與存儲介質一體化的形式,其機械故障易造成硬盤的整體更換,磁盤陣列的硬盤通常不能離線或移至其他磁盤陣列讀取。到一定時間后需花費巨大的人力、財力進行數據遷移。二是磁帶存儲的優(yōu)點是體積小、成本低、壽命較長,但可靠性差,需不定時進行倒帶,存放磁帶的環(huán)境要求高,維護磁帶機的成本較高。它沒有統(tǒng)一國際標準,必須使用指定品牌或型號的帶庫,且它的兼容性不好。在國際上,磁帶的大小沒有統(tǒng)一標準,不同品牌的磁帶機互不兼容,同品牌的磁帶機隔代也不兼容。要保證數字檔案數據的安全可靠,數據必須遷移,帶來很大的成本,也存在很大風險。三是光盤存儲伴隨科技的發(fā)展,它的容量已大大增加。它體積小、重量輕、價格低,穩(wěn)定性好,壽命較長,可達70-200年,且光盤中的數據一旦寫入將無法更改。四是縮微膠片優(yōu)點是性能穩(wěn)定,成本較低,密度大,攜帶方便,數據無法更改,壽命長,但檢索速度慢,查閱率低,用一件需要調一盒,保存條件要求高,需定期檢查防止粘連,易損壞,設備投資大。
3.安全問題。利用磁性介質存儲數字檔案信息,在數據安全性方面存在隱患。一是數據可修改、可刪除。二是計算機病毒、黑客,非法網絡入侵,造成的數據丟失或篡改。三是有意破壞存儲裝置,造成數據丟失或無法讀取,例如磁脈沖破壞、短期高溫等。四是人為或偶然事故造成的威脅。如工作人員操作失誤而產生的不可預知的事件、網絡系統(tǒng)軟件硬件的故障、電子系統(tǒng)故障引發(fā)的系統(tǒng)問題等等。
4.存儲介質規(guī)范化管理需要具備的條件。一是基于檔案的重要性,數字檔案信息存儲介質需具備長期的安全保存年限,應有幾十年、百年甚至以上的壽命。二是長期的兼容能力和持續(xù)發(fā)展能力,當介質升級時存儲系統(tǒng)能夠依然支持該存儲介質。三是數據具有物理不可篡改的寫入方式,較低的環(huán)境保存風險,較低的系統(tǒng)性、偶發(fā)性數據丟失風險。四是介質可離線保存。五是數字檔案信息存儲格式需要符合國家標準的格式,選擇開放格式或主流格式,滿足數據長期存儲和讀取的兼容性要求。六是要求數字檔案信息存儲設備與存儲介質需要較低的依賴性。
該館是根據上述原因綜合考慮取舍,將原有IT架構即磁盤陣列+磁帶備份的老舊存儲架構模式,變更為全新的基于磁盤陣列及光盤庫的分級存儲系統(tǒng),即“磁光混合分級存儲”來保存館藏數字檔案信息,用以建設數字檔案館存儲系統(tǒng)。把全部數字檔案信息存放在光盤庫上,磁盤陣列作為輔助存儲,將頻繁使用的部分數據,從光盤庫調入磁盤陣列,提高系統(tǒng)的響應效率,滿足應用的需要。
1.磁光混合的分級存儲模式。它由光盤庫設備及數據歸檔管理平臺軟件兩部分組成,結合已有館藏數字檔案綜合管理系統(tǒng),及磁盤陣列設備形成完善的數字檔案管理、存儲、備份及利用解決方案。采用存儲集成方式,將館藏數字檔案綜合管理系統(tǒng),與數據歸檔管理平臺進行存儲集成?,F有館藏數字檔案綜合管理系統(tǒng)與光存儲的數據歸檔管理平臺,進行接口集成實時的數據歸檔,以及實時調閱查詢利用。藍光存儲系統(tǒng)接收到數據,寫入藍光存儲并在磁盤陣列中進行緩存存儲,根據設定自動緩存策略進行清理或近線離線回遷,管理系統(tǒng)向數據歸檔管理平臺發(fā)送調閱命令,平臺根據數據存儲位置,自動將數據返回給管理系統(tǒng)完成調閱,實現快速便捷的館藏數字檔案管理及利用服務?,F該館采用的分級存儲系統(tǒng),以光盤庫為核心存儲,用于存儲全量數據,同時起到數據稽核、備份、容災的作用,用以滿足檔案數據安全、穩(wěn)定、長期存儲備份及利用的需求,進而降低數據存儲的購置、維護及遷移成本。在線磁盤作為輔助存儲,用于滿足高頻度訪問需求或臨時存儲數據需求。存儲系統(tǒng)能夠綜合各類存儲的優(yōu)勢,滿足不同要求數據的存儲、利用需求。同時系統(tǒng)提供數據在線、近線、離線的一體化分級存儲服務。能夠根據數據的特性,使用頻率及響應要求自動分級存儲。磁光混合存儲,應用光存儲實現數據長期安全存儲,應用磁盤存儲滿足數據在線高效利用需求,實現不同特性存儲設備的最佳利用,為數字化檔案館提供穩(wěn)定、安全、高效、經濟的存儲系統(tǒng)。
2.磁光混合分級存儲模式優(yōu)點。系統(tǒng)可按照法規(guī)、制度的要求,依據數據的重要程度、保存年限,采取不同的備份策略。一是支持短期備份,電子檔案數據的安全保存期限在5年以內。二是支持長期備份,存儲介質具有較長的壽命,電子檔案數據的安全保存期限達到十年、三十年及永久保存等多種長期備份需求。三是支持多介質備份。四是支持離線備份,并具有較好的離線管理功能。
3.分級存儲備份策略及恢復機制。備份和恢復技術是數據保護策略的基礎,保障系統(tǒng)安全性、可用性,系統(tǒng)采用標準的數據庫備份管理策略,定期全備份,每日對系統(tǒng)進行增量備份,保障系統(tǒng)運行。作為數字檔案存儲的系統(tǒng),系統(tǒng)提供多種存儲數據容錯機制。
4.光存儲多數據副本備份策略。一是副本備份機制。多份不同用途的副本的自動生成,系統(tǒng)根據配置自動生成不同用途的副本,副本用途支持查詢、備份、封存等多種用途管理。二是副本容錯當系統(tǒng)檢測光盤數據訪問因灰塵等環(huán)境及人為原因造成數據異常時自動發(fā)出提醒切換訪問副本。
5.磁光備份機制。一是光備份機制。當在線磁盤出現異常后或服務器出現嚴重故障可通過光盤數據完整恢復檔案信息。二是存儲逆向恢復機制。系統(tǒng)提供在服務器出現異常,造成檔案系統(tǒng)中數據丟失后的存儲數據恢復功能。系統(tǒng)可以自動掃描光盤中數據,恢復至系統(tǒng)中,繼續(xù)提供檔案利用服務。
6.磁盤陣列儲存?zhèn)浞莶呗?。根據檔案數據變化的自身特點,數據一旦存儲,若干年內只增不減,采用“完全備份加增量備份”的策略進行磁盤陣列存儲備份。
(作者單位:長春市二道區(qū)人民醫(yī)院吉林省檔案館)