魯 超，王中杰（同濟(jì)大學(xué)電子與信息工程學(xué)院上海 201804）

?

基于RDF的云制造資源數(shù)據(jù)分布式存儲的研究

魯 超，王中杰
（同濟(jì)大學(xué)電子與信息工程學(xué)院上海 201804）

摘 要：隨著語義網(wǎng)技術(shù)的不斷發(fā)展與成熟，資源描述框架RDF（Resource DescriPtion Framework）被應(yīng)用于越來越多的領(lǐng)域中。但隨著語義Web數(shù)據(jù)量的急劇增加，大規(guī)模RDF數(shù)據(jù)的存儲和檢索面臨嚴(yán)峻的挑戰(zhàn)。如何提高RDF數(shù)據(jù)存儲的可擴(kuò)展性對于目前web服務(wù)管理、數(shù)據(jù)管理、云計(jì)算及行業(yè)數(shù)據(jù)共享與整合具有重要的現(xiàn)實(shí)意義。針對傳統(tǒng)的關(guān)系數(shù)據(jù)庫技術(shù)難以應(yīng)對海量數(shù)據(jù)存儲問題，本文設(shè)計(jì)了一種以HBase作為存儲介質(zhì)，基于OWL的RDF數(shù)據(jù)存儲方案。

關(guān)鍵詞：云制造；RDF；HBase

1　引 言

近年來，一種新型的計(jì)算模式ˉˉˉ云計(jì)算正在興起［1］。云計(jì)算這種模式提供了便捷的、可隨時通過網(wǎng)絡(luò)訪問并配置計(jì)算資源共享池以及能夠迅速部署的能力，同時這些資源不需要太多的管理工作，并且只需與服務(wù)提供商進(jìn)行少量的交互［2］。在云計(jì)算技術(shù)迅猛發(fā)展的背景下，針對我國制造業(yè)的發(fā)展現(xiàn)狀，李伯虎院士提出“云制造”的設(shè)想，提出制造即服務(wù)的觀點(diǎn)［3］。云制造屬于網(wǎng)絡(luò)制造，但是在模式上實(shí)現(xiàn)了創(chuàng)新和突破，用戶通過云服務(wù)平臺按照自己的需求尋找所需的制造資源［4］。目前，云制造資源數(shù)據(jù)過于龐雜，且結(jié)構(gòu)復(fù)雜，如若不對數(shù)據(jù)進(jìn)行必要的整理，最終將造成存儲空間浪費(fèi)嚴(yán)重，管理效率低下等問題?；谶@個問題，采取建立領(lǐng)域本體，將制造企業(yè)的數(shù)據(jù)資源使用RDF來描述，并將其存儲于基于HBase的分布式存儲系統(tǒng)中。這樣不僅為制造業(yè)企業(yè)龐雜的數(shù)據(jù)提供了統(tǒng)一的描述語言，而且為使用RDF進(jìn)行大數(shù)據(jù)的管理提供了可能性。

2　云制造數(shù)據(jù)存儲

2.1云制造系統(tǒng)基本架構(gòu)

一個完整的云制造系統(tǒng)是由三類參與者組成［5］，他們通過各種資源共享實(shí)現(xiàn)制造全生命周期的制造服務(wù)。本文研究內(nèi)容依托的云制造平臺，目的是為中小企業(yè)提供高效率，低成本的資源整合以及協(xié)同管理服務(wù)，從而為中小企業(yè)充分利用外部制造資源，提升市場綜合競爭力提供助力。

如圖1所示是一個簡易云制造系統(tǒng)模型，其中：云制造資源消費(fèi)端，即云制造資源的需求者和使用者，通過云制造平臺按需獲取云端資源，如制造加工、產(chǎn)品設(shè)計(jì)、產(chǎn)品運(yùn)營等；云制造資源提供端，提供制造全生命周期（設(shè)計(jì)、仿真、生產(chǎn)加工、物流）涉及的各種制造資源和制造能力，并將資源和能力抽象、虛擬化后以制造云的形式接入云制造平臺；云制造服務(wù)平臺，是云制造平臺的管理和運(yùn)營者，提供平臺運(yùn)行機(jī)制，維護(hù)和監(jiān)管平臺的整體運(yùn)作和經(jīng)營。

圖1　云制造系統(tǒng)模型Fig.1 C loud m anu facturing system

2.2云制造數(shù)據(jù)存儲架構(gòu)

由上節(jié)可知，云制造服務(wù)平臺將云制造資源提供端和消費(fèi)端連接起來，統(tǒng)一管理云制造服務(wù)中一切可以利用到的資源以及提供相應(yīng)的資源服務(wù)，并為資源需求者提供按需服務(wù)。我們基于一個由多臺服務(wù)器建立的計(jì)算機(jī)集群，搭建了HadooP系統(tǒng)并部署了分布式存儲數(shù)據(jù)庫HBase，如圖2所示。

云提供端的各種制造資源經(jīng)虛擬化后以RDF形式存入分布式數(shù)據(jù)庫HBase中，云消費(fèi)端在使用系統(tǒng)時鍵入檢索信息，檢索得到的結(jié)果為RDF數(shù)據(jù)，系統(tǒng)將其轉(zhuǎn)換為符合用戶習(xí)慣的視圖返問給用戶。由圖2可知，除了云提供端提供的數(shù)據(jù)之外，由平臺自身使用網(wǎng)絡(luò)爬蟲在網(wǎng)絡(luò)上抓取而獲取的資源也可以批量地寫入該存儲系統(tǒng)。對于不同的數(shù)據(jù)獲取方式，系統(tǒng)均提供了相應(yīng)的數(shù)據(jù)寫入接口。

在本體庫部分，云制造領(lǐng)域本體是對廣義制造資源的抽象和規(guī)范化說明，根據(jù)制造資源分類法和制造過程知識，并結(jié)合該領(lǐng)域?qū)＜液陀?jì)算機(jī)專家意見，建立了領(lǐng)域本體描述模型。該本體應(yīng)該完整的描述制造業(yè)所涉及到的所有資源之間的繼承關(guān)系，以及這些資源所具有的屬性。

3　基于HBase的RDF數(shù)據(jù)存儲方法

3.1RDF數(shù)據(jù)存儲模型

RDF是用來描述Web資源的標(biāo)準(zhǔn)框架，在該框架下，RDF采用了使用主體、謂詞、客體構(gòu)成的三元組來進(jìn)行資源的描述［6］。其中主體即為資源本身，謂詞為該資源所擁有的屬性，客體為該資源對應(yīng)該屬性所具有的屬性值。RDF標(biāo)準(zhǔn)描述格式有三種：（1）RDF/XML格式；（2）RDF三元組格式；（3）RDF圖格式。RDF/XML格式為RDF描述數(shù)據(jù)的標(biāo)準(zhǔn)格式，這種格式為計(jì)算機(jī)視圖，由于對資源的描述基于XML，可以更好地促進(jìn)基于不同基礎(chǔ)架構(gòu)的數(shù)據(jù)之間的整合。三元組格式和圖格式為用戶視圖，這兩種格式可以清楚地表達(dá)資源所擁有的屬性，以及資源與資源之間的關(guān)系。RDF是一種半結(jié)構(gòu)化的數(shù)據(jù)格式，它的數(shù)據(jù)格式松散，允許一個主體對應(yīng)多個屬性，一個屬性對應(yīng)多個屬性值的多值情況，這種結(jié)構(gòu)適合使用HBase這種結(jié)構(gòu)稀疏的數(shù)據(jù)庫進(jìn)行存儲。

文［7］中提出了SPO、POS、OSP三張表來存儲RDF數(shù)據(jù)，將數(shù)據(jù)存儲在SPO、POS、OSP三張表中。SPO表以（主體、謂詞）為Row Key，客體為value。POS表以（謂詞、客體）為Row Key，主體為value。OSP表以（客體、主體）為Row Key，謂詞為value，用多個列存放多個值。文獻(xiàn)［8］使用三張表TS、TP、TO存儲數(shù)據(jù)，TS、TP、TO分別以S、P、O為Row Key，P｜o，s｜o，s｜P為value，用多個版本存放多個值。文［9］提出了兩表模式，即將三表中的TP表刪除，僅保留TS、TO兩表。這樣不僅節(jié)省了大量的存儲空間，也提升了查詢效率。

但是由于HBase中數(shù)據(jù)更新并不會覆蓋舊的數(shù)據(jù)，而是通過時間戳的形式繼續(xù)保留舊的數(shù)據(jù)，時間戳的存在有利于解決RDF數(shù)據(jù)中主體對應(yīng)多屬性多值問題，卻會導(dǎo)致用戶在進(jìn)行數(shù)據(jù)查詢時得到的數(shù)據(jù)未必是正確的。例如，在定義一個制造車間時，行鍵為A車間，列名為車間擁有的設(shè)備類型，并將a設(shè)備，b設(shè)備作為值存入cell中，并以時間戳分別標(biāo)識二者。在客戶查詢車間可用設(shè)備資源時返回a和b，結(jié)果沒有錯誤。但是假設(shè)a設(shè)備已經(jīng)損壞，客戶查詢可用資源時依然出現(xiàn)了a設(shè)備，這個結(jié)果就是錯誤的。

3.2存儲方案設(shè)計(jì)

圖2　云制造數(shù)據(jù)存儲架構(gòu)圖Fig.2 The architecture of service p latform for cloud m anu facturing

由上節(jié)得出的結(jié)論，在設(shè)計(jì)新的存儲方案時我們采用了放棄時間戳存儲多值的機(jī)制。采取新的方案以解決多值問題的存儲并使得客戶在查詢時能夠得到正確的結(jié)果。

新的方案中仍然使用兩表模式，分別為表TSP和表T0P。其中表TSP以主體作為Row Key，謂詞作為列族名，客體則是以列族下的動態(tài)列形式存儲；表T0P以客體作為Row Key，謂詞作為列族名，主體則是以列族下的動態(tài)列形式存儲。表1為TSP表邏輯存儲結(jié)構(gòu)，表2為T0P表邏輯存儲結(jié)構(gòu)。

TSP表存儲本體定義中的類信息，定義兩個Row Key：Providers和Consumers。類名為列族，其中，MC_Task是制造服務(wù)類型的抽象，比如生產(chǎn)加工、設(shè)計(jì)仿真、物流裝配等制造服務(wù)。MC_ Resource定義了廣義的制造資源類，即制造資源和制造能力。制造資源中包括軟件、硬件、機(jī)床、工藝裝備等，制造能力是制造過程中提供的一種能力服務(wù)，比如生產(chǎn)加工服務(wù)、仿真服務(wù)、管理服務(wù)、設(shè)計(jì)服務(wù)、物流服務(wù)等。MC_Object是制造對象，包括整機(jī)、零部件、材質(zhì)等。MC_EnterPrise是制造企業(yè)，描述了制造企業(yè)的基本信息［10］。用列族的列標(biāo)簽存儲類的屬性值和子類，通過動態(tài)的增加列來存儲多值，cell值均為1。

表1　TSP表邏輯存儲結(jié)構(gòu)Tab.1 The logical storage structure of TSP

表2　TOP表邏輯存儲結(jié)構(gòu)Tab.2 The logical storage structure of TOP

T0P表存儲本體定義中的屬性信息，屬性名為Row Key，包含三個列族：Name、TyPe、Status。與TSP表一樣，用列族的列標(biāo)簽存儲值，通過動態(tài)的增加列來存儲多值，cell值均為1。

4　結(jié)論及展望

本文針對如何高效管理海量RDF數(shù)據(jù)問題提出一種基于HBase的RDF數(shù)據(jù)存儲模型，新的存儲模式擯棄了用時間戳區(qū)分多值，而是使用動態(tài)增加列的方式來存儲多值。每個列中僅保留一個值。用戶在更新數(shù)據(jù)時不再將新的數(shù)據(jù)存儲在舊的cell中，而是放入新的列中。新的方案借鑒了兩表模式，不僅保留了ToP/TsP能夠?qū)ι蠈覵PARQL提供高效查詢的優(yōu)點(diǎn)，而且解決了其存儲云制造資源數(shù)據(jù)時存在的返回信息不完整和不正確的問題。

參考文獻(xiàn)：

［1］ 鄧朝暉，劉偉，吳錫興，等.基于云計(jì)算的智能磨削云平臺的研究與應(yīng)用.中國機(jī)械工程，2012，23（1）：65 -68.

DENG Zhaohui，LIU Wei，WU Xixing，et al.Research and APPlication of Intelligent Grinding Cloud Platform Based on Cloud ComPuting. China Mechanical Engineering，2012，23（1）：65 -68.

［2］ 羅軍舟，金嘉暉，宋愛波，等.云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù).通信學(xué)報，2011，32（7）：3 -21.

LUO Junzhou，JIN Jiahui，SONG Aibo，et al.Cloud comPuting：architecture and key technologies.Journal on Communications，2011，32（7）：3 -21.

［3］ 李伯虎，張霖，王時龍，等.云制造ˉˉˉ面向服務(wù)的網(wǎng)絡(luò)化制造新模式.計(jì)算機(jī)集成制造系統(tǒng)，2010，16 （2）：1 -8.

LI Bohu，ZHANG Lin，WANG Shilong，et al.Cloud manufacturing：a new service - oriented networked manufacturing model.ComPuter Integrated Manufacturing Systems，2010，16（2）：1 -8.

［4］ 陶勇.云制造平臺構(gòu)建相關(guān)技術(shù)研究［D］.重慶大學(xué)，2013.

Tao Yong.Research on related technologies of cloud manufacturing Platform construction［D］.Chongqing University，2013.

［5］ 王中杰，楊琛，張新，等.云制造環(huán)境下生產(chǎn)加工云能力服務(wù).計(jì)算機(jī)集成制造系統(tǒng)，2012，18（7）：1453 -1460.

WANG Zhongjie，YANG Chen，ZHANG Xin，et al.CloudcaPability service of Production and Processing in cloud manufacturing. ComPuter Integrated Manufacturing Systems，2012，18（7）：1453 -1460.

［6］ Decker S P.Mitra.Framework for the semantic Web：an RDF tutorial.Internet ComPuting，2000，4（6）：68 -73.

［7］ 金強(qiáng).基于HBase的RDF存儲系統(tǒng)的研究與設(shè)計(jì)［D］.浙江大學(xué)，2011.

JIN Qiang.Research and design of RDF storage system based on HBase［D］.Zhejiang University，2011.

［8］ Abraham J，Brazier P，Chebotko A，Navarro J，Piazza A. Distributed Storage and Querying Techniques for a Semantic Web of Scientific Workflow Provenance.Proc. of 2010 IEEE International Conferene on Services ComPuting（SCC），2010，PP178 -185.

［9］ Franke C，Morin S，Chebotko A，Abraham J，Brazier P. Distributed Semantic Web Data Management in HBase and MySQL Cluster.Proc.of 2011 IEEE International Conference on Cloud ComPuting（CLOUD），2011，PP105 -112.

［10］ 楊琛，王中杰，王世明.基于本體的云制造服務(wù)發(fā)現(xiàn)模式研究.制造業(yè)自動化，2012，34（10）：56 -59.

YANG Chen，WANG Zhongjie，WANG Shiming. Research on cloud manufacturing service discovery based on ontology.Manufactuing Automation，2012，34（10）：56 -59.

魯 超 男（1985 -），安徽宣城人，碩士生，主要研究方向?yàn)榭刂评碚撆c控制工程，云計(jì)算等。

王中杰 女（1971 -），遼寧葫蘆島人，博士，教授主要研究方向?yàn)橹悄芟到y(tǒng)、優(yōu)化理論與技術(shù)、大數(shù)據(jù)應(yīng)用。

A Distributed Storage Scheme For RDF-based Cloud Manufacturing Resource Data

LU Chao，WANG Zhongjie
（College of Electronics&Information Engineering，Tongji University，Shanghai201804，China）

Abstrac t：W ith continuous develoPment and m aturation of the semantic w eb technology，resource descriPtion framew ork（RDF）is aPPlied to more and more fields.But w ith the raPid grow th of the Semantic W eb data，the storage and retrieval of RDF data faces serious challenges.It is quite Practically im Portant to im Prove the RDF data storage scalability and data retrieval for web services management，data management，cloud com Puting and industry data sharing and integration.Because it is difficult for the traditional relational database technology to deal w ith mass data storage，we ProPosed a kind of RDF data storage solution based on the OW L w ith HBase as the storage medium.

Key words：cloud manufacturing；RDF；HBase

中圖分類號：391

文獻(xiàn)標(biāo)識碼：A