趙艷妮，郭華磊

（1.陜西職業(yè)技術(shù)學(xué)院計算機(jī)科學(xué)系，西安710100；2.西安通信學(xué)院信息服務(wù)系，西安710106）

一種RDBMS到MongoDB數(shù)據(jù)遷移方法

趙艷妮1，郭華磊2

（1.陜西職業(yè)技術(shù)學(xué)院計算機(jī)科學(xué)系，西安710100；2.西安通信學(xué)院信息服務(wù)系，西安710106）

隨著物聯(lián)網(wǎng)、云計算技術(shù)出現(xiàn)，大數(shù)據(jù)廣泛存在，關(guān)系數(shù)據(jù)庫處理海量數(shù)據(jù)力不從心，無法滿足高并發(fā)性、高吞吐量和低延時等，基于NoSQL技術(shù)的MongoDB數(shù)據(jù)庫憑借高并發(fā)、非結(jié)構(gòu)化存儲和高可拓展性等優(yōu)點得到青睞。提出一種把關(guān)系數(shù)據(jù)庫表映射為集合、記錄映射為文檔、表列屬性映射為字段，“父表-子表”連接采用文檔嵌套結(jié)構(gòu)將子表數(shù)據(jù)直接嵌入到父表中，實現(xiàn)數(shù)據(jù)從關(guān)系數(shù)據(jù)庫平滑過渡到MongoDB數(shù)據(jù)庫的數(shù)據(jù)遷移方法。實驗結(jié)果表明，隨著數(shù)據(jù)規(guī)模不斷增大，該方法查詢效率顯著提高，對關(guān)系數(shù)據(jù)庫向NoSQL數(shù)據(jù)庫數(shù)據(jù)遷移具有參考性。

數(shù)據(jù)遷移；集合；文檔；字段映射

0 引言

隨著計算機(jī)技術(shù)普及和發(fā)展，呈現(xiàn)了電子政務(wù)、電子商務(wù)、社交網(wǎng)絡(luò)、移動服務(wù)等基于網(wǎng)絡(luò)的新型模式，數(shù)以億計的網(wǎng)絡(luò)用戶每天產(chǎn)生海量數(shù)據(jù)，數(shù)據(jù)也日趨復(fù)雜，越來越多半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)不斷涌現(xiàn)，所占比例越來越高，傳統(tǒng)關(guān)系數(shù)據(jù)庫（Relation Database Manager System，RDBMS）在處理海量數(shù)據(jù)方面逐漸力不從心，難以滿足物聯(lián)網(wǎng)、云計算時代的高并發(fā)性、高吞吐量和低延遲等要求[1-2]，如圖1所示。NoSQL（Not only SQL，NoSQL）技術(shù)以低延遲高并發(fā)讀寫，支持非結(jié)構(gòu)化數(shù)據(jù)存儲，海量數(shù)據(jù)訪問，依靠廉價集群模式克服服務(wù)器硬件縱向擴(kuò)展成本高瓶頸等特點較好地解決上述問題[3]。傳統(tǒng)關(guān)系數(shù)據(jù)庫長期運行，積累了海量歷史數(shù)據(jù)，如何將歷史數(shù)據(jù)平滑遷移到NoSQL數(shù)據(jù)庫中，進(jìn)一步挖掘數(shù)據(jù)價值，實現(xiàn)數(shù)據(jù)價值最大化，是大數(shù)據(jù)時代亟待解決的問題[4]，本文以NoSQL典型數(shù)據(jù)庫MongoDB為例，實現(xiàn)關(guān)系數(shù)據(jù)庫向NoSQL數(shù)據(jù)庫數(shù)據(jù)遷移。

1 SQL與NoSQL性能對比

基于SQL的關(guān)系數(shù)據(jù)庫中表存儲結(jié)構(gòu)化數(shù)據(jù)，在存儲數(shù)據(jù)前先定義表結(jié)構(gòu)，同一字段數(shù)據(jù)類型統(tǒng)一，每條記錄都需要所有字段，便于表間連接查詢?；贜oSQL的非關(guān)系數(shù)據(jù)庫以“鍵-值”對存儲，具有靈活的數(shù)據(jù)模型，增加列無須修改表結(jié)構(gòu)，可以存儲半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)，容易實現(xiàn)可伸縮性，滿足用戶頻繁且并發(fā)地訪問數(shù)據(jù)[5-6]。關(guān)系數(shù)據(jù)庫擴(kuò)展性主要是采用縱向擴(kuò)展，購買高性能服務(wù)器，更好的CPU、更多內(nèi)存、更大磁盤來提高性能。然而，高性能服務(wù)器結(jié)構(gòu)復(fù)雜，價格昂貴。非關(guān)系數(shù)據(jù)庫擴(kuò)展主要采用橫向擴(kuò)展，即通過同時運行多臺廉價服務(wù)器來擴(kuò)大存儲容量，提高并發(fā)性和訪問速度，僅僅變更程序，成本低廉。對于流行的敏捷軟件開發(fā)模式來說，關(guān)系數(shù)據(jù)庫是一種瓶頸，開發(fā)過程中想將客戶喜歡的特性加到數(shù)據(jù)庫，數(shù)據(jù)庫的表結(jié)構(gòu)都需要改變，向表結(jié)構(gòu)中添加這一列屬性，然后將整個數(shù)據(jù)庫表數(shù)據(jù)遷移到新的表結(jié)構(gòu)上，假如表中已有幾百萬、上千萬條數(shù)據(jù)，簡直是一場災(zāi)難[7]?；赟QL數(shù)據(jù)庫經(jīng)過幾十年發(fā)展，日趨成熟，標(biāo)準(zhǔn)統(tǒng)一，支持多表連接復(fù)雜查詢查詢和數(shù)據(jù)強(qiáng)一致性。而NoSQL數(shù)據(jù)庫最近幾年才出現(xiàn)，產(chǎn)品不成熟，不支持SQL，支持特性不豐富，功能有限。SQL與NoSQL特性對比如表1所示。

圖1 海量數(shù)據(jù)發(fā)展趨勢

2 RDBMS到MongoDB數(shù)據(jù)遷移方法

2.1 基本思路

表1 SQL與NoSQL性能對比

RDBMS到MongoDB數(shù)據(jù)遷移框架圖如圖2所示，基本思路如下：

（1）深入研究源關(guān)系數(shù)據(jù)庫和目標(biāo)MongoDB數(shù)據(jù)庫，建立源表和目標(biāo)集合、源表記錄和目標(biāo)文檔、源表列屬性和目標(biāo)字段之間映射關(guān)系[8]，制定數(shù)據(jù)遷移方案，如圖3所示；

（2）根據(jù)數(shù)據(jù)遷移方案，生成XML格式的映射模型文件；

（3）解析映射模型文件，獲取源關(guān)系數(shù)據(jù)庫和目標(biāo)MongoDB數(shù)據(jù)庫的映射關(guān)系，從源關(guān)系數(shù)據(jù)庫抽取數(shù)據(jù)，根據(jù)數(shù)據(jù)遷移方案對數(shù)據(jù)進(jìn)行預(yù)處理（數(shù)據(jù)驗證和數(shù)據(jù)清洗），然后對預(yù)處理后數(shù)據(jù)進(jìn)行轉(zhuǎn)換操作（字段合并、字段拆分、類型轉(zhuǎn)換、值替換、字段計算等）[9]，生成集合，裝載到目標(biāo)MongoDB數(shù)據(jù)庫中。

圖2 RDBMS到MongoDB數(shù)據(jù)遷移框架圖

圖3 關(guān)系數(shù)據(jù)庫與MongoDB映射圖

2.2 數(shù)據(jù)遷移預(yù)處理

源關(guān)系數(shù)據(jù)庫中數(shù)據(jù)無法保證完美無缺，可能存在錯誤或格式不符合目標(biāo)數(shù)據(jù)庫要求，在數(shù)據(jù)遷移過程中如果不進(jìn)行預(yù)處理，可能存在隱患，造成新系統(tǒng)無法正常運行。因此，抽取數(shù)據(jù)后要對數(shù)據(jù)進(jìn)行預(yù)處理，驗證數(shù)據(jù)有效性，更正存在的錯誤，清洗無效數(shù)據(jù)，盡可能把數(shù)據(jù)對新系統(tǒng)影響降到最低。

（1）數(shù)據(jù)驗證

數(shù)據(jù)驗證階段主要考慮以下兩個因素[10]：

①防止異常錯誤造成數(shù)據(jù)遷移中止，例如，數(shù)字中存在字母、字符串截斷、非法日期類型等；

②審核數(shù)據(jù)是否滿足目標(biāo)數(shù)據(jù)庫要求。采用正則表達(dá)式驗證數(shù)據(jù)數(shù)字、字符、連字符、空格、取值范圍等[11]。例如，驗證輸入文本文件名稱以“txt”開始，后面緊跟日期格式“yyyy-mm-dd”，正則表達(dá)式可以設(shè)置為“txt（20）dd-（0[1-9]|1[012]）-（[01][1-9]|3[01]）. txt”?！皌xt2016-12-15.txt”為符合規(guī)則文件名稱，“txt5016-24-35.txt”為不符合規(guī)則文件名稱。

（2）數(shù)據(jù)清洗

數(shù)據(jù)清洗對象不僅包含無效數(shù)據(jù)，也包含違反規(guī)則數(shù)據(jù)和精度不符合指定范圍數(shù)據(jù)[12]。例如，數(shù)字類型數(shù)據(jù)包含字母、數(shù)值超出范圍、非法日期等。

在數(shù)據(jù)驗證階段確定不符合規(guī)則數(shù)據(jù)，進(jìn)行清洗或更正，減少數(shù)據(jù)冗余，提高數(shù)據(jù)質(zhì)量，在數(shù)據(jù)轉(zhuǎn)換過程中最大程度避免由數(shù)據(jù)質(zhì)量造成的異常中止，保障數(shù)據(jù)遷移的順利實施。

2.3 表與集合映射模型

RDBMS到MongoDB數(shù)據(jù)遷移成敗關(guān)鍵在RD?BMS表與MongoDB數(shù)據(jù)庫集合映射關(guān)系的建立。源表與目標(biāo)集合映射關(guān)系如圖4所示。

圖4 表與集合映射關(guān)系圖

根據(jù)數(shù)據(jù)遷移方案讀取源關(guān)系數(shù)據(jù)庫數(shù)據(jù)字典，獲取源表和源列屬性信息，確定源表和目標(biāo)集合之間映射類型，建立源列屬性與目標(biāo)字段間的映射關(guān)系，生成XML格式的映射模型文件。表與集合映射分為“一對一”、“多對一”、“一對多”和“多對多”四種形式[13]。其中“一對多”可以拆分為多個“一對一”，“多對多”可以拆分為多個“多對一”，因此，本文主要研究“一對一”和“多對一”兩種映射關(guān)系。

（1）“一對一”映射

在RDBMS到MongoDB數(shù)據(jù)遷移過程中，源表與目標(biāo)集合“一對一”映射關(guān)系最普遍，映射模型XML文件根元素為ETL，屬性“type”的值為“1”，表示該映射模型為“一對一”。元素“sdb”為源數(shù)據(jù)庫，屬性“type”值為源數(shù)據(jù)庫類型，元素“sdb”值為源數(shù)據(jù)庫名稱。元素“tdb”為目標(biāo)數(shù)據(jù)庫，屬性“type”值為目標(biāo)數(shù)據(jù)庫類型，元素“tdb”值為目標(biāo)數(shù)據(jù)庫名稱。元素“stable”的屬性“name”值為源表名稱，元素“stable”的子元素為源字段名稱，值為目標(biāo)MongoDB數(shù)據(jù)庫信息，“.”前為目標(biāo)集合名稱，后是目標(biāo)字段名稱。元素“where”值為數(shù)據(jù)遷移條件，用于生成“where”語句。下面以源數(shù)據(jù)庫“mysqldb”中“student”表的“id”、“name”、“gender”字段遷移到目標(biāo)數(shù)據(jù)庫“mydb”中“xuesheng”集合的“bian?hao”、“xingming”和“xingbie”字段為例，描述“一對一”

映射模型。

-

-

-

-

-//遷移條件

（2）“多對一”映射

“多對一”映射模型XML文件描述說明同“一對一”映射相同。下面以源數(shù)據(jù)庫“mysqldb”中“student”表、“mark”表和“l(fā)esson”表合并遷移到目標(biāo)數(shù)據(jù)庫“mydb”的“xuesheng”集合為例，描述“多對一”的映射模型。其中“student”表中字段“id”、“name”、“gender”，“mark”表中字段“id”、“l(fā)essonid”、“score”，“l(fā)esson”表中字段“l(fā)essonid”、“l(fā)essonname”、，遷移到目標(biāo)數(shù)據(jù)庫“mydb”中“xuesheng”集合表的“bianhao”、“xingming”、“xingbie”、“kcbh”、“kcmc”和“chengji”字段，多表連接方法為等值內(nèi)連接，連接條件為“mark.id=student.id andmark.lessonid=lesson.lessonid”。

-

-

-

-

-

-//遷移條件

2.4 數(shù)據(jù)轉(zhuǎn)換

關(guān)系數(shù)據(jù)庫為了減少存儲冗余度，通過“父表-子表”方式建立大量連接查詢，付出查詢效率顯著下降的代價[14]。本文提出的遷移方法利用MongoDB靈活的文檔嵌套結(jié)構(gòu)將子表數(shù)據(jù)直接嵌入到父表中，以犧牲存儲空間為代價，避免了大量的連接查詢，提高查詢速度[15]。

（1）“一對一”單表遷移

關(guān)系數(shù)據(jù)庫中表與其它表不存在外鍵關(guān)聯(lián)時，直接將關(guān)系數(shù)據(jù)庫中表到MongoDB文檔的轉(zhuǎn)換。表2為學(xué)生信息表“student”，“id”為主鍵，“student”表與其它表不存在關(guān)聯(lián)，直接數(shù)據(jù)轉(zhuǎn)換?；痉椒ǎ簩⒃幢砻Q字作為MongoDB中集合名稱，源表中每條記錄轉(zhuǎn)換成MongoDB集合中的一個文檔，文檔的“鍵-值”對應(yīng)源關(guān)系數(shù)據(jù)庫中的“列屬性-列值”。系統(tǒng)為每個生成的文檔自動分配一個唯一“_id”，對應(yīng)值為ObjectId（）對象，在集合中唯一標(biāo)識一個文檔，也可以把源表主鍵值插入“_id”。

表2 student

下面為轉(zhuǎn)換后的集合“student”：

student=（{“_id”:ObjectID（…）,id:2017001,name:“張曉強(qiáng)”,gender:“男”},{“_id”:ObjectID（…）,id: 2017002,name:“李艷紅”,gender:“女”},{“_id”:ObjectID（…）,id:2017003,name:“王寶軍”,gender:“男”}）

（2）“多對一”多表遷移

表3為存儲課程信息表“l(fā)esson”，“l(fā)essonid”為主鍵。表4以“父表-子表”模式存儲成績的成績表“mark”，“id”和“l(fā)esson”為復(fù)合主鍵，“id”為外鍵，關(guān)聯(lián)表2“student”表的主鍵“id”，“l(fā)essonid”為外鍵，關(guān)聯(lián)“l(fā)esson”表的主鍵“l(fā)essonid”。

表3 lesson

表4 mark

下面為轉(zhuǎn)換后的集合“student”：

student=（{“_id”:ObjectID（…）,id:2017001,id:“張曉強(qiáng)”,gender:“男”,mark:[{“_id”:ObjectID（…）,id: 2017001,lessoned:101,score:85,lesson:{“_id”:ObjectID（…）,lessonid:101,lessonname:“Java編程技術(shù)”}},{“_id”: ObjectID（…）,id:2017001,lessoned:102,score:90,lesson: {“_id”:ObjectID（…）,lessonid:102,lessonname:“數(shù)據(jù)庫技術(shù)”}}]},{“_id”:ObjectID（…）,id:2017002,id:“李艷紅”, gender:“女”,mark:[{“_id”:ObjectID（…）,id:2017002,les?soned:101,score:91,lesson:{“_id”:ObjectID（…）,lesso?nid:101,lessonname:“Java編程技術(shù)”}},{“_id”:ObjectID（…）,id:2017002,lessoned:103,score:78,lesson:{“_id”: ObjectID（…）,lessonid:103,lessonname:“數(shù)據(jù)結(jié)構(gòu)”}}]}, {“_id”:ObjectID（…）,id:2017003,id:“王寶軍”,gender:“男”,mark:[{“_id”:ObjectID（…）,id:2017003,lessoned: 102,score:75,lesson:{“_id”:ObjectID（…）,lessonid:101, lessonname:“數(shù)據(jù)庫技術(shù)”}}]}）

3 性能對比分析

為了驗證該方法有效性，以上述復(fù)雜的“多對一”模式的三表連接查詢?yōu)槔?，本實驗設(shè)定25門課程，每個學(xué)生都有25門課程成績，學(xué)生人數(shù)分別為500、1000、2000、5000、10000、20000人，采用MySQL 5.6關(guān)系數(shù)據(jù)庫、MongoDB自帶工具M(jìn)ongoVUE、和本文方法分別從數(shù)據(jù)空間存儲量和查詢速度兩個方面進(jìn)行比較。實驗環(huán)境：i5-3210M處理器、4G內(nèi)存、Windows 7操作系統(tǒng)、MySQL 5.6、MongoDB 3.4.1，在Eclipse3.7集成開發(fā)環(huán)境下采用Java以JDBC方式連接MySQL，以mongo-2.0連接MongoDB實現(xiàn)，圖表顯示采用開源插件org.swtchart_0.9.0。性能對比如圖5、圖6所示。

通過對圖5、圖6分析比較，在數(shù)據(jù)規(guī)模較小時，關(guān)系數(shù)據(jù)庫、MongoVUE和本文方法的數(shù)據(jù)空間存儲量和訪問時間相差較小，但隨著學(xué)生數(shù)量增加，數(shù)據(jù)規(guī)模逐漸增加，本文方法由于采取“文檔嵌套”模式存儲數(shù)據(jù)，數(shù)據(jù)冗余急劇增加，數(shù)據(jù)空間存儲量遠(yuǎn)高于關(guān)系數(shù)據(jù)庫、MongoVUE，付出巨大存儲代價，但由于取消多表連接查詢，避免表之間查詢鎖定，訪問時間相比關(guān)系數(shù)據(jù)庫、MongoVUE優(yōu)勢明顯，在海量數(shù)據(jù)查詢方面，這種以犧牲空間存儲量換取查詢效率的折中方法對于半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)是可行的。

圖5 空間存儲量對比圖

圖6 訪問時間對比圖

4 結(jié)語

針對大數(shù)據(jù)時代半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)急劇增加，傳統(tǒng)關(guān)系數(shù)據(jù)庫無法滿足高并發(fā)性、高吞吐量和低延時等海量數(shù)據(jù)實時處理要求，亟待把數(shù)據(jù)從關(guān)系數(shù)據(jù)庫遷移到NoSQL數(shù)據(jù)庫。提出一種把關(guān)系數(shù)據(jù)庫表映射為MongoDB集合、記錄映射為文檔、表列屬性映射為字段，“父表-子表”連接采用文檔嵌套結(jié)構(gòu)將子表數(shù)據(jù)直接嵌入到父表，實現(xiàn)數(shù)據(jù)從關(guān)系數(shù)據(jù)庫平滑過渡到MongoDB數(shù)據(jù)庫的數(shù)據(jù)遷移方法，實驗結(jié)果表明，該方法雖然犧牲數(shù)據(jù)空間存儲量，但查詢時間大幅度壓縮，符合大數(shù)據(jù)時代對數(shù)據(jù)實時處理的性能要求。下一步研究方向是在保證查詢效率不降低基礎(chǔ)上，減少數(shù)據(jù)空間存儲量，降低硬件存儲成本。

[1]孟小峰,杜治娟.大數(shù)據(jù)融合研究:問題與挑戰(zhàn)[J].計算機(jī)研究與發(fā)展,2016,（02）:231-246.

[2]陳文藝,閆灑灑,宋亞紅.基于MongoDB的物聯(lián)網(wǎng)開放平臺數(shù)據(jù)存儲設(shè)計[J].西安郵電大學(xué)學(xué)報,2016,（02）:78-82.

[3]Khan S,Mane V.SQLSupportOverMongoDBUsingMetadata[J].International Journalof Scientific and Research Publications,2013,3（10）:1-5.

[4]何杭鋒.基于FODO算法MongoDB自動分片的改進(jìn)[J].計算機(jī)技術(shù)與發(fā)展,2013,23（7）:127-130.

[5]Wu CM,Huang Y F,Lee J.Comparisons Between MongoDB and MS-SQLDatabaseson the TwcWebsite[J].American Journalof Software Engineeringand Applications,2015,4（2）:35-41.

[6]潘明陽,高立佳,宋平亮,等.基于MongoDB的船舶數(shù)據(jù)庫構(gòu)建與數(shù)據(jù)批量遷移技術(shù)[J].大連海事大學(xué)學(xué)報:自然科學(xué)版,2016（1）: 39-44.

[7]Hou B,Qian K,Li L,etal.MongoDBNoSQL Injection Analysisand Detection[C]//Cyber Security and Cloud Computing（CSCloud）,2016 IEEE 3rd InternationalConference on.IEEE,2016:75-78.

[8]田野,袁博,李廷力.物聯(lián)網(wǎng)海量異構(gòu)數(shù)據(jù)存儲與共享策略研究[J].電子學(xué)報,2016,44（2）:247-257.

[9]Long Y.Research on SocialRelationship Network System based on MongoDB[J].International JournalofSimulation-Systems,Science &Technology,2016,17（7）:1-6.

[10]王照清.大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢優(yōu)化技術(shù)應(yīng)用研究[D].北方工業(yè)大學(xué),2016.

[11]Stanescu L,Brezovan M,Burdescu DD.Automatic MappingofMySQLDatabases to NoSQLMongoDB[C].Computer Scienceand Information Systems（FedCSIS）,2016 Federated Conference on.IEEE,2016:837-840.

[12]Kang Y S,Park IH,Rhee J,etal.Mongodb-based Repository Design for Iot-Generated RFID/Sensor Big Data[J].IEEESensors Journal,2016,16（2）:485-497.

[13]梁海.MongoDB數(shù)據(jù)庫中Sharding技術(shù)應(yīng)用研究[J].計算機(jī)技術(shù)與發(fā)展，2014，24（7）:60-67.

[14]郭昆，宋杰，王潔萍，朱志良.NoSQL數(shù)據(jù)庫間數(shù)據(jù)交換代價研究[J].計算機(jī)工程與科學(xué),2016（01）:33-40.

[15]曾強(qiáng)，繆力，秦拯.面向大數(shù)據(jù)處理的Hadoop與MongoDB整合技術(shù)研究[J].計算機(jī)應(yīng)用與軟件,2016（02）:21-24.

A Data Migration Method for RDBMS to MongoDB

ZHAOYan-ni1，GUOHua-lei2
（1.DepartmentofComputer Science,ShannxiVocational&TechnicalCollege,Xi'an 710100；2.Departmentof Information Service,Xi'an Communication College,Xi'an 710016）

趙艷妮（1982-），女，陜西藍(lán)田人，博士研究生，副教授，研究方向為信息集成、軟件工程等

郭華磊（1981-），男，漢族，河南泌陽人，碩士，講師，研究方向為信息集成

陜西省教育廳自然科學(xué)專項（No.16JK1192）

1007-1423（2017）22-0018-06

10.3969/j.issn.1007-1423.2017.22.005

As the Internet of things,cloud computing,big data iswidespread,relational database handle huge amounts of data and cannotmeet the high concurrency,high throughputand low delay,etc.,the MongoDB databasewith high concurrency,unstructured storage and the advan?tages ofhigh scalable based on the NoSQL technology.Proposes a relational database tablemapping collection,recordmapping document, table column propertiesmapping field,parent table-child table documentnested structure is used to connect the child table data directly embedded into the parent tablemethod,implement the data from a relationaldatabase is smooth transition into themongo database datami?grationmethod.The experimental results show thatwith the increasing ofdata size,the query efficiency is improved significantly,there is a reference to the datamigration of relationaldatabase toNoSQL database.

Abstract：

DataMigration;Collection;Document;Field Mapping