于楊+沈秋宇+趙建楠+吳侃+丁抗抗

摘要：氣象數(shù)字化檔案是重要的氣象資料，隨著數(shù)據(jù)量的不斷增加，傳統(tǒng)的存儲(chǔ)方式面臨嚴(yán)峻挑戰(zhàn)。該文分析了遼寧省氣象檔案數(shù)字化圖片檔案的現(xiàn)狀，提出了一套基于云存儲(chǔ)的氣象數(shù)字化圖像檔案解決方案，對(duì)改善現(xiàn)有檔案存儲(chǔ)方式具有重要參考意義。

關(guān)鍵詞：云存儲(chǔ)；氣象檔案；數(shù)字化

中圖分類號(hào)： TP302.1 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）27-0007-03

Abstract： Meteorological digital archives are the important meteorological data， along with increasing the amount of data， traditional way of storing faces severe challenges. This paper analyzes the present situation of liaoning province meteorological archives digital picture file， put forward a set of meteorological archives digital images based on cloud storage solutions， to improve the existing file storage way has important reference significance.

Key words： cloud storage；meteorological archives； digitization

1 引言

近年來(lái)，自動(dòng)氣象站、L波段探空系統(tǒng)和新一代風(fēng)云氣象衛(wèi)星等氣象觀測(cè)系統(tǒng)快速發(fā)展，氣象信息系統(tǒng)的通信和存儲(chǔ)能力大幅度提升，海量的數(shù)字氣象資料在國(guó)家和省級(jí)氣象檔案館匯集[1]。在國(guó)家氣象局的部署下，氣象檔案數(shù)字化建設(shè)不斷推進(jìn)，產(chǎn)生了大量寶貴的氣象圖像檔案資源。這些數(shù)字化資源種類多、數(shù)據(jù)量大、訪問(wèn)頻繁，且日漸幾何狀增長(zhǎng)[2]。面對(duì)這種增長(zhǎng)需求，傳統(tǒng)存儲(chǔ)方式通過(guò)擴(kuò)展物理存儲(chǔ)來(lái)解決，但這種方式成本高切不利于管理。因此迫切需要一種新的存儲(chǔ)方案，在原有資源基礎(chǔ)之上來(lái)解決海量數(shù)字化數(shù)據(jù)的存儲(chǔ)問(wèn)題，以滿足氣象檔案館持續(xù)發(fā)展的存儲(chǔ)需求。

隨著科技發(fā)展，云存儲(chǔ)逐漸成為各界關(guān)注的焦點(diǎn)。在檔案領(lǐng)域中，特別是檔案信息資源的海量?jī)?chǔ)存和整合方面，具有非常好的應(yīng)用價(jià)值和研究前景。本文在分析氣象檔案館資源整合與共享需求的基礎(chǔ)上，結(jié)合最近發(fā)展的云存儲(chǔ)技術(shù)，嘗試提出一種基于云環(huán)境的新的存儲(chǔ)方案。這種把云存儲(chǔ)技術(shù)運(yùn)用于氣象檔案資源信息共享領(lǐng)域的新型檔案資源整合模式，無(wú)疑具有重大的推廣價(jià)值和現(xiàn)實(shí)意義。

2 氣象檔案業(yè)務(wù)現(xiàn)狀

2.1氣象檔案業(yè)務(wù)

近年來(lái)，在中國(guó)氣象局的統(tǒng)一規(guī)劃下， 我省開(kāi)始用數(shù)字化掃描儀對(duì)氣象原始記錄資料進(jìn)行信息化處理，目前全省62個(gè)站從建站至今的地面觀測(cè)原始記錄、標(biāo)準(zhǔn)數(shù)字化記錄和統(tǒng)計(jì)整編記錄已以數(shù)據(jù)集的方式存入非實(shí)時(shí)數(shù)據(jù)庫(kù)中， 實(shí)時(shí)的地面氣象記錄月（年） 報(bào)表和高空氣象記錄月報(bào)表實(shí)現(xiàn)臺(tái)站直接信息化、省級(jí)集中機(jī)審和存儲(chǔ)一條龍?zhí)幚恚?不斷地增加新的氣象信息源，為建設(shè)氣象數(shù)字檔案館奠定了基本的信息基礎(chǔ)。同時(shí)，逐步開(kāi)展對(duì)歷史氣象資料拯救與數(shù)字化工作，迄今已完成了歷史地面氣象觀測(cè)記錄報(bào)表數(shù)字化，目前正在進(jìn)行高空觀測(cè)資料的數(shù)字化，已形成各類歷史地面氣象觀測(cè)記錄報(bào)表電子圖像文件數(shù)據(jù)集成果，數(shù)據(jù)量近5.0TB。

2.2 檔案存儲(chǔ)面臨的問(wèn)題

面對(duì)海量數(shù)字化資源，傳統(tǒng)數(shù)字資源存儲(chǔ)問(wèn)題也隨之暴露出來(lái)，其中比較突出的問(wèn)題有以下幾方面：

（1）可擴(kuò)展性差。檔案館數(shù)字資源快速增長(zhǎng)，存儲(chǔ)設(shè)備的存儲(chǔ)容量受限，導(dǎo)致資源無(wú)法長(zhǎng)期保存，現(xiàn)有的檔案館數(shù)字化建設(shè)根本無(wú)法滿足需求，如果存儲(chǔ)容量一開(kāi)始設(shè)計(jì)過(guò)大，又耗費(fèi)資源。

（2）資源冗余、信息孤島。各檔案之間獨(dú)立保存，資源冗余，檔案信息得不到共享。

（3）成本高。軟件維護(hù)和硬件維修，以及夠買新的設(shè)備，都需要較大成本

（4）安全性差。檔案館目前的系統(tǒng)安全體系薄弱，容易遭受，同時(shí)某一設(shè)備故障也會(huì)影響整個(gè)檔案的存儲(chǔ)系統(tǒng)。

（5）備份性差。數(shù)據(jù)備份需要花費(fèi)大量人力和時(shí)間，同時(shí)異地備份和遷移需要更多精力。

3 構(gòu)建云存儲(chǔ)

3.1存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)

氣象檔案具有保密性，因此在設(shè)計(jì)時(shí)充分考慮安全因素，將內(nèi)部云存儲(chǔ)組件部署在省級(jí)網(wǎng)絡(luò)防火墻后，保障數(shù)據(jù)安全。初期可以利用現(xiàn)有資源降低成本，如已有服務(wù)器、硬盤(pán)等，待框架搭建好后根據(jù)需求進(jìn)行增加，內(nèi)部存儲(chǔ)結(jié)構(gòu)層次如圖2所示。

（1）訪問(wèn)層。主要面向全省各級(jí)檔案使用人員，用戶得到省級(jí)的統(tǒng)一授權(quán)后，利用標(biāo)準(zhǔn)API接口來(lái)訪問(wèn)內(nèi)部數(shù)據(jù)。目前主要數(shù)據(jù)是數(shù)字化的圖像，以后可根據(jù)需求擴(kuò)展更多類型數(shù)據(jù)。

（2）應(yīng)用平臺(tái)接口層。在本層中部署不同的功能模塊滿足使用需求，包括數(shù)據(jù)庫(kù)接入、數(shù)據(jù)資源整合交換、虛擬查詢等。

（3）基礎(chǔ)管理層?；诩杭夹g(shù)、分布式文件系統(tǒng)和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備的協(xié)同工作，對(duì)外提供統(tǒng)一的服務(wù)，是整個(gè)云存儲(chǔ)的核心。

（4）物理存儲(chǔ)層。部署在物理存儲(chǔ)和服務(wù)器之間的一個(gè)虛擬層，可以結(jié)合現(xiàn)有的虛擬化設(shè)備和服務(wù)來(lái)進(jìn)行管理。這種方式的優(yōu)點(diǎn)在于，擺脫物理存儲(chǔ)容量限制，存儲(chǔ)硬件的改變對(duì)服務(wù)器層完全透明，存儲(chǔ)設(shè)備可以包括光纖通道、SCSI、NAS等。

3.2存儲(chǔ)訪問(wèn)方法

內(nèi)部存儲(chǔ)的構(gòu)建包括控制節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)，控制節(jié)點(diǎn)控制數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)分配，數(shù)據(jù)節(jié)點(diǎn)根據(jù)需求進(jìn)行配置，通過(guò)連接的方式進(jìn)行訪問(wèn)，不同的存儲(chǔ)設(shè)備通過(guò)軟件進(jìn)行協(xié)同，對(duì)外部提供數(shù)據(jù)存儲(chǔ)管理和業(yè)務(wù)訪問(wèn)服務(wù)。具體的訪問(wèn)方式包括：webApis具象狀態(tài)傳輸、基于ISCSI塊協(xié)議傳輸、基于Web協(xié)議傳輸?shù)?。可以與現(xiàn)有的虛擬化資源協(xié)作，實(shí)現(xiàn)軟硬件統(tǒng)一部署。

3.3存儲(chǔ)可靠性

云存儲(chǔ)的可靠性關(guān)系到整個(gè)所有環(huán)節(jié)的效率，內(nèi)部云存儲(chǔ)通常利用數(shù)據(jù)復(fù)制、節(jié)點(diǎn)備份、等機(jī)制來(lái)保障可靠性。這里采用信息分布算法（IDA）把文件分成數(shù)據(jù)分片，這種處理有利于數(shù)據(jù)重建。具有數(shù)據(jù)分片能力可以將切片分配到不同位置存儲(chǔ)，提高存儲(chǔ)系統(tǒng)的可靠性，降低系統(tǒng)運(yùn)行負(fù)荷，減少信息交互。

3.4 存儲(chǔ)擴(kuò)展性

采用FileStorage方式進(jìn)行存儲(chǔ)，這種基于文件級(jí)別的存儲(chǔ)優(yōu)點(diǎn)在于同一文件可供多用戶使用，擴(kuò)展性強(qiáng)，成本低。在云存儲(chǔ)需要擴(kuò)容時(shí)，只需要安裝云端管理軟件，并網(wǎng)絡(luò)交換機(jī)相連。當(dāng)用戶端存儲(chǔ)負(fù)荷增加時(shí)，云存儲(chǔ)端可以將數(shù)據(jù)分配到不同節(jié)點(diǎn)，提供額外的訪問(wèn)途徑，提高讀取能力。存儲(chǔ)的擴(kuò)容過(guò)程通過(guò)在線操作，不影響存儲(chǔ)，非常便捷。

4 結(jié)論

（1）作為新的技術(shù)，云存儲(chǔ)概念從提出便成為數(shù)據(jù)存儲(chǔ)領(lǐng)域研究的熱點(diǎn)，改變了傳統(tǒng)存儲(chǔ)模式，而云存儲(chǔ)模式由于其高安全性、可控性等特性為氣象檔案館建立云存儲(chǔ)提供了可行性方案。構(gòu)建基于云環(huán)境的檔案存儲(chǔ)，為氣象數(shù)字化檔案的整合與共享提供了新的解決方案。隨著云計(jì)算技術(shù)的快速發(fā)展，將給氣象檔案館數(shù)字化建設(shè)帶來(lái)巨大的轉(zhuǎn)變。將云存儲(chǔ)技術(shù)運(yùn)用于氣象檔案資源信息共享領(lǐng)域的新型檔案資源整合模式，無(wú)疑具有重大的推廣價(jià)值和現(xiàn)實(shí)意義。

（2）云存儲(chǔ)作為一種新的存儲(chǔ)模式，具有低成本、高可靠性等特性，能夠很好地解決檔案館海量數(shù)字資源的存儲(chǔ)和管理，但同時(shí)云存儲(chǔ)還存在一些不完善和需要改進(jìn)的地方，我們可以利用它來(lái)提升檔案館數(shù)字資源信息服務(wù)，但不能完全依賴它，還要結(jié)合自身檔案體系的特點(diǎn)，實(shí)現(xiàn)氣象圖像檔案資源整合與共享的可持續(xù)發(fā)展。

參考文獻(xiàn)：

[1] 李星玉，張靜.氣象檔案工作現(xiàn)代化的幾點(diǎn)思考[J].2011（10）：35-36.

[2] 中國(guó)氣象局.氣象事業(yè)發(fā)展“十一五”規(guī)劃（2006-2010年）[R].北京：中國(guó)氣象局，2006.

[3] 郭萍.氣象數(shù)字檔案館的設(shè)計(jì)思路[J].新技術(shù)應(yīng)用與現(xiàn)代化管理，2005（2）：11-13.

[4] 喬楊.基于內(nèi)部云存儲(chǔ)的圖書(shū)館數(shù)據(jù)資源存儲(chǔ)研究[J].晉圖學(xué)刊，2012（1）：11-13.

[5] 高建秀，吳振新，孫碩.云存儲(chǔ)在數(shù)字資源長(zhǎng)期保存中的應(yīng)用探討[J].現(xiàn)代圖書(shū)情報(bào)技術(shù)，2010（6）：1-2.

[6] 陶蕾.“云”下的圖書(shū)館網(wǎng)絡(luò)存儲(chǔ)探討[J].圖書(shū)館學(xué)研究，2010（7）：66-67.