李小波 田中娟 葉振

摘要： 我國民間藝術資源平臺的建設和研究是當前文化藝術領域面臨的一項重要而緊迫的課題，存在著諸多挑戰(zhàn)。在大數(shù)據時代背景下，采用云計算和云存儲技術是一個必然的趨勢。文中介紹了Hadoop云計算與云存儲技術，提出了基于Hadoop的民間藝術資源云存儲平臺建設方案。構建基于Hadoop的民間藝術資源云存儲平臺具有可行性和有效性。

關鍵詞：民間藝術；云計算；云存儲；Hadoop

中圖法分類號：TP311.13 文獻標志碼：A 文章編號：2095-2163（2016）02-

Research on cloud storage technology of folk art resources

Xiaobo Li 1， Zhongjuan Tian 2， Zhen Ye 1

（1 College of Engineering and Design， Lishui University， Lishui 323000， China；

2 College for Nationalities （Minzu）， Lishui University， Lishui 323000， China）

Abstract： The construction and research of Chinese folk art resources platform is an important and urgent task in the culture and art field， and there are many challenges. In the big data era， the use of cloud computing and cloud storage technology is an inevitable trend. This paper introduces the Hadoop cloud computing and cloud storage technology， puts forward the development scheme of folk art resources cloud storage platform based on Hadoop. The construction of folk art resources cloud storage platform based on Hadoop is feasible and effective.

Key words： folk art； cloud computing； cloud storage； Hadoop

我國民間藝術源遠流長，多彩多姿，內涵豐富，深刻地影響和滋養(yǎng)著我們的民族精神與民族性格。在全球經濟一體化，我國社會快速發(fā)展的當下，隨著強勢文化的沖擊融合，許多優(yōu)秀的民間藝術和民族文化正在逐漸走向流失消亡。對于民間藝術的保護，以往在思路及方法上都比較單一。如創(chuàng)建一個博物館，將民間的藝術品進行精彩集中展現(xiàn)，但這種方式對于許多民間藝術的保護卻不具現(xiàn)實可行性；而且，在各地大量興建博物館，也將帶來資金和展示空間不足等諸多問題。隨著計算機和網絡等現(xiàn)代信息技術的飛速發(fā)展，采用新興的數(shù)字化信息技術對民間藝術資源進行傳承和保護，不僅是現(xiàn)階段文化繁榮和發(fā)展提出的時代課題要求，而且也為我國珍貴民間藝術的傳統(tǒng)接續(xù)和創(chuàng)意加入提供了可行思路，同時更為信息技術的應用拓展了廣闊的前景實施空間[1-2]?！吨腥A人民共和國非物質文化遺產法》自2011年6月1日開始實施，其中的第十三條就提出了明確的規(guī)定：“文化主管部門應當全面了解非物質文化遺產有關情況，建立非物質文化遺產檔案及相關數(shù)據庫。除依法應當保密的外，非物質文化遺產檔案及相關數(shù)據信息應當公開，便于公眾查閱?！盵3]

1 民間藝術資源保護面臨的挑戰(zhàn)

國內宣傳、文聯(lián)、文化等部門意識到民間藝術資源保護的必要性和迫切性，著手積極探索和實踐民間藝術資源的保護和傳承工作。時至今日，我國民間藝術資源的數(shù)字化傳承和保護工作尚未全面展開，仍然屬于起步階段，各項工作有待進一步深入，其數(shù)據資源平臺的建設和研究將是一項長期而艱巨的工作。

各地民間藝術種類繁多，地域特點突出，相關數(shù)據資源的保護面臨著諸多挑戰(zhàn)，分析論述如下：

（1）民間藝術資源數(shù)據持續(xù)增長。隨著民間藝術資源的保護和傳承工作的不斷深入開展，大量的數(shù)據接入互聯(lián)網，由此帶來了數(shù)據量的迅猛增長。數(shù)據量由之前的MB，GB級別，躍升到現(xiàn)在的TB，甚至是PB級別。

（2）數(shù)據資源來自不同的數(shù)據源。民間藝術資源種類眾多，且獲取的數(shù)據源各不相同。由于其數(shù)據結構不同，既包括結構化的數(shù)據，也含有半結構化和非結構化的數(shù)據。因而需要利用合適的方法對獲取的數(shù)據進行標準化處理，將其轉化為統(tǒng)一的格式，并采用科學模式實現(xiàn)數(shù)據的存儲和管理。熱后進行數(shù)據的處理分析，再利用可視化等技術手段給用戶提供效果展示。這就需要一整套的大數(shù)據處理流程[4]。

（3）民間藝術資源數(shù)據缺乏共享。目前國內相關部門的民間藝術資源庫往往是獨立設計、并研發(fā)完成的，因而其資源是分散且孤立的，相互之間沒有進行有機的整合。各資源庫之間的信息互不兼容，不僅造成資源庫的重復建設，也會由于缺乏共享而導致資源的浪費[5]。

（4）存儲成本高。構建民間藝術資源的數(shù)據中心需要大量的資金投入，在傳統(tǒng)的存儲管理模式下，相關部門要購置各自的服務器，配備相應的場所和技術人員，而時下的許多單位并不具備相應的資金和技術能力。而且當前的服務器無法滿足更高需求時，就要決策購進新式服務器[5]。

2 Hadoop云計算與云存儲技術

云計算是近期網絡技術、特別是互聯(lián)網蓬勃興起后出現(xiàn)的熱門研發(fā)領域之一，是當前信息行業(yè)發(fā)展的最新潮流趨勢。云計算通過分布式技術將大量的計算資源通過高速網絡進行連接，并通過虛擬化技術構成一個虛擬的計算資源共享池，云系統(tǒng)管理者在后臺對該資源共享池施行統(tǒng)一的配置、管理和監(jiān)控，而當前臺的用戶需要使用計算資源時，就可以通過互聯(lián)網隨時隨地接入，并且是以按需付費的模式交付用戶使用。自2006年，云計算概念提出以后，眾多廠商陸續(xù)趁勢推出了各自的云計算架構和系統(tǒng)，推動著云計算從簡單的概念迅速邁入成熟的實施階段。

在此基礎上，云存儲延伸了云計算的概念，現(xiàn)已成為一種新型的數(shù)據存儲模式。云計算平臺是一種以海量數(shù)據為計算核心的分布式系統(tǒng)，如果在該平臺之上配置大量的存儲設備，使得該平臺擁有了海量的數(shù)據存儲能力，即可將其作為云存儲平臺來進行設定使用[6]。

Hadoop 是一個直接針對云計算和云存儲而提出的開源模型[7]，可以在普通的硬件設備組成的集群上進行部署和運行，是目前實現(xiàn)云計算和云存儲的主要平臺之一。該平臺已經由包括Microsoft， Amazon，IBM和Google等在內的多家知名IT公司所采選和使用。其中，HDFS、MapReduce和HBase是Hadoop平臺的三大核心技術。在此，對這3項核心技術給出如下分析與概述。

2.1 HDFS

HDFS（Hadoop distributed file system）是一個采用主從結構體系框架的分布式文件系統(tǒng)[8]。和現(xiàn)有的分布式文件系統(tǒng)不同的是，HDFS更注重容錯性和鏈接廉價硬件設備的兼容性，能完全運行在性能普通的電腦集群上，采用上述設計的目的即是希望基于很小的預算或者現(xiàn)有的機器就能實現(xiàn)大數(shù)據量的保存和讀取。在HDFS中，一個集群包括一個NameNode和多個DataNode。采用一個NameNode的體系設計將使得整體系統(tǒng)架構更加簡潔[9]。

2.2 MapReduce

MapReduce 是Google提出的一種并行編程模型[10]，由于Hadoop的強大功能和簡潔架構，當前已經構建面世多種實現(xiàn)，其中，除Google的官方實現(xiàn)外，Hadoop的MapReduce模型是具有最高使用頻度的。具體來說，MapReduce的編程可通過map和reduce兩個階段得以推進并完成，其中map函數(shù)從底層分布式文件系統(tǒng)接收輸入的一組鍵值對，再通過并行操作，產生一組中間結果的鍵值對，將其傳遞給reduce函數(shù)。reduce函數(shù)并行處理，將中間結果以鍵值進行合并，最終產生一個規(guī)模更小的結果值集合，輸出到底層分布式文件系統(tǒng)。MapReduce計算任務由一個JobTracker和多個TaskTracker 協(xié)作完成[9]。

2.3 Hbase

Hbase是運行在Hadoop平臺上的非結構化數(shù)據存儲數(shù)據庫[11]，其中的全部數(shù)據均存儲在底層HDFS文件系統(tǒng)上，而且支持Hadoop的MapReduce編程模型。Hbase數(shù)據行記錄包括3個基本類型：行關鍵字（Row Key）、時間戳（Time Stamp）和列（Column）。在各類型中，行關鍵字是數(shù)據表的主鍵，數(shù)據的每次操作都有與之關聯(lián)的時間戳，列又可以劃分為多個列簇（Column Family）。雖然從概念視圖呈現(xiàn)上得知，每個Hbase表由許多行組成；但在物理存儲上，Hbase采取基于列存儲的模式存儲數(shù)據記錄。而且，Hbase可以動態(tài)地增加列，如此則為民間藝術數(shù)據庫的表格設計提供了很強的靈活性。

本文中，研究構建的Hadoop民間藝術資源云存儲平臺具有以下特點：

（1）可擴展性。具有存儲可擴展和計算可擴展性，可以按需擴展，能夠滿足民間藝術資源數(shù)據持續(xù)增長的需求。

（2）通用性。分布式文件系統(tǒng)和Hbase數(shù)據庫能夠處理數(shù)據結構完全不同的異構數(shù)據，MapReduce 的并行編程模型適合處理異構大數(shù)據。

（3）共享性。用戶只要聯(lián)網，即能在任何時間、任何地方到云上方便地存取數(shù)據。

（4）低成本。該存儲平臺可以運行在普通的微機上，不需要昂貴大型系統(tǒng)的條件限制及底層支持。

4 結束語

云計算和云存儲作為新興的網絡計算和存儲技術，在大數(shù)據時代具有廣泛的應用及前景。構建基于Hadoop的民間藝術資源云存儲平臺具有可行性和有效性，能夠應對當前民間藝術資源傳承和保護工作所面臨的挑戰(zhàn)。

參考文獻：

[1] 彭冬梅， 潘魯生， 孫守遷. 數(shù)字化保護——非物質文化遺產保護的新手段[J]. 中國書畫， 2006（1）： 47-51.

[2] 劉海青. 數(shù)據庫技術在非物質遺產保護中的運用研究——以紅河哈尼族彝族民間藝術數(shù)據庫創(chuàng)建為例[J]. 數(shù)字技術與應用， 2010（9）： 155-157.

[3] 譚必勇， 張瑩. 中外非物質文化遺產數(shù)字化保護研究[J]. 圖書與情報， 2011（4）： 8-11.

[4] 劉智慧， 張泉靈. 大數(shù)據技術研究綜述[J]. 浙江大學學報（工學版）， 2014， 48（6）： 957-972.

[5] 吳明珠， 陳瑛. 基于云存儲技術的教育資源構建與共享[J]. 計算機教育， 2014（7）： 40-44.

[6] 張龍立. 云存儲技術探討[J]. 電信科學， 2010（S1）： 71-74.

[7] The Apache Software Foundation. Apache Hadoop Project [EB/OL]. [2016-02-13]. http：//hadoop.apache.org/.

[8] D Borthakur. HDFS Architecture Guide [EB/OL]. [2013-02-14]. http：//hadoop.apache.org/docs/r1.0.4/hdfs_design.html.

[9] 崔杰， 李陶深， 蘭紅星. 基于Hadoop的海量數(shù)據存儲平臺設計與開發(fā)[J]. 計算機研究與發(fā)展， 2012， 49（S1）： 12-18.

[10] J Dean， S Ghemawat. MapReduce： simplified data processing on large clusters[J].

Communications of the ACM， 2008， 51（1）： 107-113.

[11] 張智， 龔宇. 分布式存儲系統(tǒng)HBase關鍵技術研究[J]. 現(xiàn)代計算機（專業(yè)版）， 2014（32）： 33-37.

[12] 黎宏劍， 劉恒， 黃廣文，等. 基于Hadoop 的海量電信數(shù)據云計算平臺研究. 電信科學， 2012（8）： 80-85.

[13] 林清瀅. 基于Hadoop 的云計算模型[J]. 現(xiàn)代計算機（專業(yè)版）， 2010（7）： 114-116， 121.