張諍 張亮亮

插云天的皚皚雪峰、一望無垠的遼闊草

原、莽莽漠漠的戈壁瀚海、郁郁蔥蔥的次生森林，大好風(fēng)光孕育出甘肅的燦爛文明。2013年2月，國務(wù)院辦公廳正式批復(fù)支持甘肅省建設(shè)華夏文明傳承創(chuàng)新區(qū)，更是翻開了甘肅新的文化篇章。甘肅省文化資源數(shù)據(jù)庫建設(shè)是華夏文明傳承創(chuàng)新區(qū)建設(shè)的基礎(chǔ)工程，對推進甘肅省文化資源的數(shù)字化保存、管理、開發(fā)、利用，具有重要的現(xiàn)實意義。

高要求建設(shè)數(shù)據(jù)庫

為了實現(xiàn)全省文化資源數(shù)據(jù)22個大類、416個小類的優(yōu)化儲存和管理，甘肅省對文化資源數(shù)據(jù)庫建設(shè)提出了高要求。

實現(xiàn)結(jié)構(gòu)化與非結(jié)構(gòu)化文化資源數(shù)據(jù)的混合關(guān)聯(lián)存儲。由于每類文化資源數(shù)據(jù)既包括對該類文化資源進行描述的結(jié)構(gòu)化數(shù)據(jù)信息，也包括非結(jié)構(gòu)化的圖片、音頻、視頻等多媒體文化資源信息。因此，甘肅省文化資源數(shù)據(jù)庫建設(shè)首先必須能夠?qū)崿F(xiàn)文化資源的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的混合存儲；其次必須實現(xiàn)每類文化資源結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)性，在文化資源數(shù)據(jù)的檢索過程中，可以方便地實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)檢索。

實現(xiàn)文化資源數(shù)據(jù)庫規(guī)模的動態(tài)擴充。由于普查前事先無法準確預(yù)測全省各地報送的文化資源數(shù)據(jù)的大小，而且整個普查過程時間跨度較長，因此在甘肅省文化資源數(shù)據(jù)庫建設(shè)過程中，必須能夠依據(jù)普查數(shù)據(jù)量大小的變化，動態(tài)擴充文化資源數(shù)據(jù)庫的存儲規(guī)模。

實現(xiàn)文化資源數(shù)據(jù)庫的網(wǎng)絡(luò)化部署。甘肅省文化資源數(shù)據(jù)庫應(yīng)該建設(shè)成為一個開放的、網(wǎng)絡(luò)化的數(shù)據(jù)庫。授權(quán)用戶可以在任何時間，借助任何終端設(shè)備如PC、筆記本、PAD、智能手機等，在全世界任何地方，通過Internet、移動網(wǎng)絡(luò)方便快捷地訪問數(shù)據(jù)庫中的文化資源數(shù)據(jù)。

文化傳承的“云”構(gòu)想

數(shù)字化的文化資源是一種典型的異構(gòu)大數(shù)據(jù)，既包括各類文化資源的描述性結(jié)構(gòu)化數(shù)據(jù)，也包括大量圖片、音頻、視頻等非結(jié)構(gòu)化文化資源數(shù)據(jù)。針對這一問題，利用云計算、大數(shù)據(jù)處理等先進的科技手段顯得尤為必要。

在云計算環(huán)境中建設(shè)文化資源數(shù)據(jù)庫，需要進行多數(shù)據(jù)源的協(xié)作，要將數(shù)據(jù)結(jié)構(gòu)各異的文化資源數(shù)據(jù)集成到“云”之上。因此，構(gòu)建一種云計算環(huán)境下的異構(gòu)數(shù)據(jù)集成管理平臺非常必要。該平臺根據(jù)云計算虛擬化、分布式、高可靠性及高可擴展性的特點進行構(gòu)建，可實現(xiàn)對云計算環(huán)境中各種關(guān)系型、非關(guān)系型異構(gòu)數(shù)據(jù)進行智能集成，可滿足用戶對數(shù)據(jù)庫高并發(fā)量訪問、對海量文化資源數(shù)據(jù)的高效率存儲和訪問、對數(shù)據(jù)庫建設(shè)的靈活擴展性和高可用性的需求，實現(xiàn)用戶高并發(fā)、高負載及高速處理海量數(shù)據(jù)的復(fù)雜關(guān)聯(lián)數(shù)據(jù)查詢請求。自上而下來看，該云平臺包括3個主要層次：

云端數(shù)據(jù)獲取分析應(yīng)用接口。該層作為統(tǒng)一的對外調(diào)用接口，主要完成用戶查詢語句的語義分析和最終結(jié)果展示。通過這一層統(tǒng)一接收用戶的數(shù)據(jù)獲取分析語句請求，將數(shù)據(jù)獲取分析語句具體解析為可對應(yīng)不同數(shù)據(jù)源的具體的邏輯操作。

數(shù)據(jù)構(gòu)造與任務(wù)調(diào)度引擎。該層主要負責(zé)接收上層下傳的與用戶查詢?nèi)蝿?wù)對應(yīng)的邏輯操作，并根據(jù)虛擬數(shù)據(jù)庫結(jié)構(gòu)將邏輯操作自動生成為相應(yīng)的子任務(wù)集合，將子任務(wù)集合傳輸給下一層。本層還要將下層異構(gòu)數(shù)據(jù)集成接口層提交的數(shù)據(jù)獲取分析結(jié)果集整合好提交給上層的數(shù)據(jù)獲取分析應(yīng)用接口。

異構(gòu)數(shù)據(jù)集成接口。該層是整個系統(tǒng)的核心，主要完成上一層數(shù)據(jù)構(gòu)造與任務(wù)調(diào)度引擎發(fā)送的查詢子任務(wù)集的具體實施和結(jié)果上傳，并通過異構(gòu)數(shù)據(jù)語義集成將云中各種異構(gòu)數(shù)據(jù)進行集成。該層負責(zé)針對特定數(shù)據(jù)源的數(shù)據(jù)訪問調(diào)用，將上層分布式查詢執(zhí)行引擎生成的具體原子操作（ 包括從什么數(shù)據(jù)源、執(zhí)行什么操作、獲取什么數(shù)據(jù)），傳遞給云計算環(huán)境下的目標存儲服務(wù)接口進行執(zhí)行，并將執(zhí)行返回的結(jié)果傳遞給上層。

云平臺還需物理支撐

只有堅實的物理硬件作為支撐，“云”才能真正落地。甘肅省文化資源數(shù)據(jù)庫云平臺物理部署分為核心交換區(qū)、計算資源池區(qū)、集中存儲池、云存儲資源池。

通過對服務(wù)器、存儲、網(wǎng)絡(luò)的池化和有效管理，為整個云平臺提供按需獲得、即時可取的計算、存儲、網(wǎng)絡(luò)、操作系統(tǒng)及基礎(chǔ)應(yīng)用軟件等資源?？蓪崿F(xiàn)云平臺對資源的綜合監(jiān)控、管理，提高利用率、運行維護效率和系統(tǒng)可靠性，降低整體建設(shè)與整合成本。

主要采用多臺高性能X86刀片服務(wù)器作為虛擬架構(gòu)物理計算層，采用高性能統(tǒng)一存儲系統(tǒng)構(gòu)建存儲系統(tǒng)層，采用高性能網(wǎng)絡(luò)系統(tǒng)配合計算和存儲建構(gòu)LAN和SAN。給以上各物理設(shè)備配備虛擬化模組，由此構(gòu)建架構(gòu)虛擬資源層。應(yīng)用在資源池中會根據(jù)其服務(wù)等級需求按需獲得資源并均衡化部署，當某一臺物理主機出現(xiàn)故障，部署在此物理服務(wù)器上的所有虛擬機都將自動恢復(fù)或重啟到其他同一資源池中的主機上。

根據(jù)對甘肅省文化資源數(shù)據(jù)庫云平臺建設(shè)的需求，存儲資源區(qū)主要由兩部分構(gòu)成：集中式FC-SAN存儲與分布式IP云存儲。規(guī)劃存儲容量12TB（其中集中式存儲2TB，分布式存儲10TB），如在使用過程中發(fā)現(xiàn)容量不夠，可在線進行擴充。集中式FC-SAN存儲主要存儲Vmware虛擬機系統(tǒng)VMFS文件、文化資源描述數(shù)據(jù)Oracle數(shù)據(jù)庫文件，以及數(shù)據(jù)交換平臺備份文件。分布式云存儲主要存儲圖片、視頻等多媒體文化資源數(shù)據(jù)。

（作者單位分別為：甘肅省委黨校信息中心；甘肅電信萬維信息技術(shù)有限公司）