□ 浙江省國(guó)土資源廳信息中心 倪云英

地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)與修復(fù)存儲(chǔ)研究

□ 浙江省國(guó)土資源廳信息中心 倪云英

隨著科學(xué)技術(shù)的快速發(fā)展，數(shù)據(jù)和網(wǎng)絡(luò)成為重要的基礎(chǔ)設(shè)施。地質(zhì)資料電子數(shù)據(jù)的讀寫(xiě)依賴于計(jì)算機(jī)，但當(dāng)計(jì)算機(jī)硬件和軟件等更新后，新的軟硬件與舊的軟硬件的兼容性存在相當(dāng)大的問(wèn)題。同時(shí)，因互聯(lián)網(wǎng)鏈接形式的多樣性和開(kāi)放性，網(wǎng)絡(luò)極易受到黑客、惡意軟件等攻擊和病毒入侵。病毒蠕蟲(chóng)的爆發(fā)，系統(tǒng)的多樣性，導(dǎo)致地質(zhì)資料電子數(shù)據(jù)常常出現(xiàn)泄密、假冒、篡改和銷毀等現(xiàn)象，給地質(zhì)資料電子數(shù)據(jù)的真實(shí)性和完整性帶來(lái)巨大的威脅。

保證地質(zhì)資料電子文件的完整，確保館藏地質(zhì)資料電子數(shù)據(jù)的安全，防止數(shù)據(jù)的失效、數(shù)據(jù)的丟失，使硬盤(pán)和光盤(pán)間的電子數(shù)據(jù)保持一致性已成為亟待迫切解決的問(wèn)題。電子數(shù)據(jù)完整性數(shù)據(jù)檢測(cè)與修復(fù)技術(shù)的研究已成為解決這一問(wèn)題的關(guān)鍵點(diǎn)。

一、地質(zhì)資料電子數(shù)據(jù)檢測(cè)與修復(fù)存儲(chǔ)的意義

地質(zhì)資料電子數(shù)據(jù)和傳統(tǒng)紙質(zhì)地質(zhì)資料有諸多方面的不同：地質(zhì)資料電子數(shù)據(jù)需要特定的載體來(lái)存儲(chǔ)，其信息和載體的分離、存儲(chǔ)形式，使得地質(zhì)資料電子數(shù)據(jù)具有易修改、復(fù)制和刪除等特點(diǎn)，修改、復(fù)制、刪除后不留痕跡。地質(zhì)資料電子數(shù)據(jù)的存儲(chǔ)載體是磁電物質(zhì)，在多種因素的影響下，載體的壽命較短，地質(zhì)資料電子數(shù)據(jù)難以長(zhǎng)久保管。另外，自然災(zāi)害和人為損壞也會(huì)對(duì)地質(zhì)資料電子數(shù)據(jù)的存儲(chǔ)載體造成致命的破壞。

作為“數(shù)字國(guó)土工程”的重要組成部分，開(kāi)展地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)與修復(fù)存儲(chǔ)工作，是服務(wù)于找礦突破和地質(zhì)防災(zāi)，實(shí)現(xiàn)國(guó)土資源信息服務(wù)社會(huì)化的基礎(chǔ)保障，同時(shí)是建立為經(jīng)濟(jì)社會(huì)發(fā)展提供地質(zhì)資料全面服務(wù)的手段之一，也是建立以現(xiàn)代信息技術(shù)為支撐的國(guó)土資源行政管理——礦政管理新體制的一個(gè)重要前提。尤其是結(jié)合重大項(xiàng)目的實(shí)施，將地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)與修復(fù)技術(shù)應(yīng)用于產(chǎn)品服務(wù)，具有十分重要的意義。

二、地質(zhì)資料電子數(shù)據(jù)檢測(cè)存儲(chǔ)現(xiàn)狀

信息時(shí)代的到來(lái)，使得地質(zhì)資料電子數(shù)據(jù)成了目前最有價(jià)值的產(chǎn)物，同時(shí)地質(zhì)資料電子數(shù)據(jù)也造成了巨大的工作量。從2000年起至2016年12月底，館藏地質(zhì)資料電子數(shù)據(jù)，共有近11470余種、39萬(wàn)件地質(zhì)資料電子數(shù)據(jù)信息服務(wù)，數(shù)據(jù)量達(dá)4.5TB。其中數(shù)字化地質(zhì)資料電子數(shù)據(jù)5190種、匯交地質(zhì)資料電子數(shù)據(jù)6670種，共有CD、DVD光盤(pán)7341張。

因電子文件相對(duì)于紙質(zhì)文件而言，對(duì)環(huán)境溫濕度、防磁性、抗破壞、抗病毒等條件具有很高的要求。電子文件易被有意或無(wú)意損壞，當(dāng)存貯光盤(pán)等載體上的電子文件，在保管時(shí)受到外界干擾或者存貯環(huán)境不宜，就會(huì)導(dǎo)致電子文件損壞。隨著浙江省探礦、找礦突破和礦產(chǎn)資源開(kāi)發(fā)加快推進(jìn)，地質(zhì)資料電子數(shù)據(jù)量也在迅速增長(zhǎng)，數(shù)據(jù)的海量增長(zhǎng)使得地質(zhì)資料電子數(shù)據(jù)信息數(shù)據(jù)中心面臨巨大挑戰(zhàn)。

面對(duì)近20年來(lái)積累的龐大電子數(shù)據(jù)，浙江省需要建立地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)與修復(fù)系統(tǒng)來(lái)實(shí)現(xiàn)高效保護(hù)珍貴的各類地質(zhì)資料數(shù)據(jù)，這是目前的核心要?jiǎng)?wù)。

三、系統(tǒng)建立

為建立一個(gè)相對(duì)安全的海量數(shù)據(jù)檢測(cè)、修復(fù)存儲(chǔ)備份系統(tǒng)，需要考慮和解決以下幾個(gè)問(wèn)題。

（一）數(shù)據(jù)檢測(cè)修復(fù)存儲(chǔ)的標(biāo)準(zhǔn)

就地質(zhì)資料電子數(shù)據(jù)來(lái)說(shuō)，數(shù)據(jù)的法規(guī)遵從性主要體現(xiàn)在數(shù)據(jù)的不可更改性和不可刪除性，為能安全的長(zhǎng)期保存，地質(zhì)資料電子數(shù)據(jù)必須存儲(chǔ)在WORM（Write Once，Read Many）媒體上。

按照《電子文件歸檔與管理規(guī)范》規(guī)定，將電子文件集中下載到可脫機(jī)保存的載體上。由推薦采用的載體，優(yōu)先順序?yàn)椋褐蛔x光盤(pán)、一次寫(xiě)光盤(pán)、磁帶、可擦寫(xiě)光盤(pán)、硬磁盤(pán)等，《企業(yè)檔案工作規(guī)范》中規(guī)定，地質(zhì)資料電子數(shù)據(jù)需存儲(chǔ)在脫機(jī)載體上，其地質(zhì)資料電子數(shù)據(jù)為一式三套，一套封存保管，一套異地保管，一套提供使用（DA/T42-2009）。根據(jù)《縮膠片數(shù)字化技術(shù)規(guī)范》要求，為保證數(shù)據(jù)安全，存儲(chǔ)裁體應(yīng)多樣化，采用在線、離線相結(jié)合的方式實(shí)現(xiàn)多套備份，并考慮進(jìn)行異地保管。

（二）數(shù)據(jù)存儲(chǔ)介質(zhì)

目前，數(shù)據(jù)存儲(chǔ)介質(zhì)可分為磁存儲(chǔ)介質(zhì)和光存儲(chǔ)介質(zhì)兩大類。磁存儲(chǔ)介質(zhì)主要包括磁（硬）盤(pán)和磁帶；光存儲(chǔ)介質(zhì)即指光盤(pán)，而光盤(pán)又分為CD、DVD和BD。

1.磁存儲(chǔ)介質(zhì)

目前，磁盤(pán)和磁帶技術(shù)經(jīng)過(guò)多年發(fā)展已經(jīng)相對(duì)成熟，其特點(diǎn)是單盤(pán)容量較大。一般情況下，磁帶被用作近線或離線備份介質(zhì)，磁盤(pán)被用作在線存儲(chǔ)介質(zhì)。而磁盤(pán)陣列（Disk Array）是由一個(gè)硬盤(pán)控制器來(lái)控制多個(gè)硬盤(pán)的相互連接，使多個(gè)硬盤(pán)讀寫(xiě)同步，減少錯(cuò)誤，增加效率和可靠度的技術(shù)。磁盤(pán)的出現(xiàn)把磁存儲(chǔ)時(shí)代推向了一個(gè)至高點(diǎn)。磁盤(pán)陣列存儲(chǔ)容量大，查找數(shù)據(jù)速度要比單個(gè)硬盤(pán)高很多，并且能提供自動(dòng)數(shù)據(jù)備份。磁盤(pán)作為一個(gè)基礎(chǔ)的存儲(chǔ)單元被組合成為磁盤(pán)陣列、大型的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)以及數(shù)據(jù)備份設(shè)備，已廣泛被應(yīng)用于數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)的歸檔。

2.光存儲(chǔ)介質(zhì)

隨著網(wǎng)絡(luò)和數(shù)字多媒體技術(shù)的快速發(fā)展，磁介質(zhì)技術(shù)的發(fā)展和價(jià)格大幅下降，光盤(pán)作用數(shù)據(jù)存儲(chǔ)和備份的應(yīng)用逐漸萎縮。非結(jié)構(gòu)化數(shù)據(jù)的快速增長(zhǎng)所帶來(lái)的海量數(shù)據(jù)備份需求，使得光存儲(chǔ)介質(zhì)重新迎來(lái)了發(fā)展機(jī)遇，尤其是已被普遍應(yīng)用于專業(yè)數(shù)據(jù)備份領(lǐng)域的藍(lán)光光盤(pán)技術(shù)日臻穩(wěn)定和成熟。藍(lán)光光盤(pán)單盤(pán)容量可達(dá)50G-100G，而且還在朝著更大容量發(fā)展。最重要的是光盤(pán)屬于真正意義上的物理介質(zhì)。相對(duì)于磁存儲(chǔ)介質(zhì)，光盤(pán)是異質(zhì)存儲(chǔ)介質(zhì)。藍(lán)光光盤(pán)存儲(chǔ)數(shù)據(jù)具有壽命長(zhǎng)、低耗能、低成本等優(yōu)點(diǎn)、短時(shí)間無(wú)需進(jìn)行數(shù)據(jù)遷移，既可應(yīng)用于近線存儲(chǔ)，也可應(yīng)用于離線存儲(chǔ)。

圖1 工作流程圖

（三）系統(tǒng)建立

不論服務(wù)器磁盤(pán)還是備份光盤(pán)，可長(zhǎng)期但不能永久性保存，存在硬盤(pán)故障、人為篡改、惡意病毒破壞等意外因素造成數(shù)據(jù)資產(chǎn)損失的風(fēng)險(xiǎn)。應(yīng)盡最大程度保護(hù)數(shù)據(jù)，將服務(wù)器磁盤(pán)和光盤(pán)上雙保險(xiǎn)，部署多層級(jí)、全方位的整體保護(hù)數(shù)據(jù)安全?；竟ぷ髁鞒倘鐖D1所示。

筆者建議，要按照《電子文件歸檔與管理規(guī)范》（GB/T18894-2002）和《光盤(pán)備份工作規(guī)范》要求，以用戶管理需求為主導(dǎo)，以保護(hù)數(shù)據(jù)完整性為準(zhǔn)則，以準(zhǔn)確服務(wù)社會(huì)化利用為目標(biāo)，開(kāi)發(fā)地質(zhì)資料電子數(shù)據(jù)檢測(cè)和修復(fù)備份管理信息系統(tǒng)，實(shí)現(xiàn)下述要求：采用磁盤(pán)和光盤(pán)兩種方式同步異地分別保管，實(shí)現(xiàn)驗(yàn)收入庫(kù)的電子數(shù)據(jù)實(shí)時(shí)備份保護(hù)；按照“數(shù)字指紋”統(tǒng)一管理，確保每份電子數(shù)據(jù)文件和元數(shù)據(jù)的有效性、可讀性、完整性、一致性；為避免服務(wù)器硬件故障導(dǎo)致最新的、且尚未導(dǎo)出到光盤(pán)上的數(shù)據(jù)丟失，經(jīng)過(guò)實(shí)時(shí)備份，系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)高效冗余；通過(guò)系統(tǒng)實(shí)現(xiàn)每張光盤(pán)可讀性檢查，對(duì)光盤(pán)的容量、是否可讀盤(pán)校驗(yàn)；為確保系統(tǒng)可持續(xù)性提供服務(wù)，實(shí)現(xiàn)與地質(zhì)資料業(yè)務(wù)系統(tǒng)集成。

（四）系統(tǒng)功能

運(yùn)用先進(jìn)的信息技術(shù)手段與管理標(biāo)準(zhǔn)、流程相結(jié)合，采用高內(nèi)聚、低耦合的方式設(shè)計(jì)新的軟件管理系統(tǒng)功能，與地質(zhì)資料業(yè)務(wù)管理系統(tǒng)集成。

利用現(xiàn)有服務(wù)器設(shè)備，新增實(shí)時(shí)備份存儲(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)磁盤(pán)數(shù)據(jù)同步備份，使數(shù)據(jù)形態(tài)和實(shí)體完全一致，采用時(shí)間戳功能實(shí)現(xiàn)邏輯回滾點(diǎn)。

當(dāng)發(fā)生點(diǎn)故障、或操作不當(dāng)導(dǎo)致數(shù)據(jù)丟失時(shí)，備份系統(tǒng)能快速恢復(fù)故障前的數(shù)據(jù)，檢查和驗(yàn)證多重?cái)?shù)據(jù)，確保數(shù)據(jù)的高可用性。

光盤(pán)刻錄備份是磁盤(pán)備份的有益補(bǔ)充，針對(duì)光盤(pán)系統(tǒng)提供光盤(pán)自身可讀性校驗(yàn)，輕松發(fā)現(xiàn)失效光盤(pán)并搶救恢復(fù)翻刻。

不同載體方式存儲(chǔ)的數(shù)據(jù)，由MD5碼數(shù)字指紋保存和識(shí)別，對(duì)其容量、產(chǎn)生環(huán)境、生成時(shí)間等發(fā)生異樣，可用同一份數(shù)據(jù)再生成另一個(gè)MD5碼統(tǒng)一管理。

采用UML作為貫穿軟件生命周期的通用設(shè)計(jì)語(yǔ)言，以面向?qū)ο蟮脑O(shè)計(jì)方法設(shè)計(jì)本系統(tǒng)，對(duì)下勘單位匯交的各單位電子文件(檔案)的數(shù)據(jù)來(lái)源、數(shù)據(jù)類型、文件格式、保存期限、存儲(chǔ)路徑集中管理，對(duì)數(shù)據(jù)的增長(zhǎng)速度和數(shù)據(jù)總?cè)萘康阮A(yù)測(cè)，建立數(shù)據(jù)管控系統(tǒng)，從而實(shí)現(xiàn)地質(zhì)資料數(shù)據(jù)的有效保護(hù)。

四、總結(jié)

地質(zhì)資料電子數(shù)據(jù)檢測(cè)與修復(fù)存儲(chǔ)系統(tǒng)的建立是一項(xiàng)系統(tǒng)工程。系統(tǒng)以標(biāo)準(zhǔn)為準(zhǔn)則，對(duì)地質(zhì)資料電子數(shù)據(jù)進(jìn)行檢測(cè)、管理和存儲(chǔ)全周期管理。經(jīng)過(guò)常態(tài)化管理的檢測(cè)、修復(fù)存儲(chǔ)系統(tǒng)，完成電子數(shù)據(jù)的完整性檢測(cè)修復(fù)建庫(kù)，向社會(huì)提供地質(zhì)資料數(shù)據(jù)資源共享和地質(zhì)資料產(chǎn)品服務(wù)。