公懷予，徐勁松，王攀

（1.中國(guó)電信股份有限公司濟(jì)源分公司，河南 濟(jì)源 454650；2.南京郵電大學(xué)，江蘇 南京 210003）

一種關(guān)聯(lián)感知的大數(shù)據(jù)導(dǎo)入方法

公懷予1，徐勁松2，王攀2

（1.中國(guó)電信股份有限公司濟(jì)源分公司，河南 濟(jì)源 454650；2.南京郵電大學(xué)，江蘇 南京 210003）

針對(duì)現(xiàn)有數(shù)據(jù)庫(kù)向大數(shù)據(jù)遷移的背景，Apache推出了Sqoop作為關(guān)系數(shù)據(jù)庫(kù)向大數(shù)據(jù)遷移的主要工具。Sqoop簡(jiǎn)單地將數(shù)據(jù)表切分并隨機(jī)存儲(chǔ)到不同的節(jié)點(diǎn)上。針對(duì)Hadoop的這種存儲(chǔ)方式帶來的關(guān)系查詢的低效率問題，設(shè)計(jì)了一種關(guān)聯(lián)度感知的數(shù)據(jù)導(dǎo)入預(yù)處理方法。將關(guān)聯(lián)度較高的表盡量存儲(chǔ)在相鄰的虛擬機(jī)節(jié)點(diǎn)，以降低關(guān)聯(lián)數(shù)據(jù)查詢帶來的網(wǎng)絡(luò)傳輸時(shí)延，提高系統(tǒng)的性能。對(duì)比實(shí)驗(yàn)表明，將關(guān)聯(lián)性較強(qiáng)的數(shù)據(jù)表存放在相同或相鄰節(jié)點(diǎn)上，可以成倍提高數(shù)據(jù)查詢的性能。

大數(shù)據(jù)；Sqoop；Hadoop；NoSQL

1 引言

大數(shù)據(jù)從最初為Google、Facebook等公司解決大量數(shù)據(jù)的存儲(chǔ)問題，到現(xiàn)在被越來越多的企業(yè)應(yīng)用。目前，對(duì)于大數(shù)據(jù)的解決方案，主要有商業(yè)解決方案和Hadoop生態(tài)系統(tǒng)解決方案兩種。商業(yè)解決方案具有使用方便、集成度高以及性能穩(wěn)定的特點(diǎn)。但Hadoop生態(tài)系統(tǒng)多樣、靈活、高擴(kuò)展性等優(yōu)勢(shì)吸引了中小企業(yè)的注意并成為其主要的大數(shù)據(jù)解決方案。

大數(shù)據(jù)應(yīng)用中，數(shù)據(jù)主要源于互聯(lián)網(wǎng)和已有的結(jié)構(gòu)化數(shù)據(jù)兩者。其中，互聯(lián)網(wǎng)數(shù)據(jù)催生了各種各樣的大數(shù)據(jù)創(chuàng)新應(yīng)用。而結(jié)構(gòu)化數(shù)據(jù)是已有應(yīng)用的保障，在我國(guó)，7成以上的大數(shù)據(jù)來源都是結(jié)構(gòu)化數(shù)據(jù)［1］。為了實(shí)現(xiàn)關(guān)系型數(shù)據(jù)倉(cāng)庫(kù)向大數(shù)據(jù)的遷移，Apache提供了 Sqoop［2］工具，以協(xié)助傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng) （relational database management system，RDBMS）與Hadoop之間進(jìn)行高效的大數(shù)據(jù)交流。

實(shí)踐發(fā)現(xiàn)，在使用Sqoop導(dǎo)入Hadoop的過程中，初始的設(shè)定將會(huì)把一張表切分成4等分，再使用mapper通過JDBC將數(shù)據(jù)導(dǎo)入NoSQL （如 HDFS、HBase等），而這些mapper會(huì)根據(jù)Hadoop的工作配置，隨機(jī)地存儲(chǔ)在被啟動(dòng)空間的節(jié)點(diǎn)上，當(dāng)數(shù)據(jù)庫(kù)應(yīng)用中的查詢語(yǔ)句中包含join語(yǔ)法時(shí)，需要將兩個(gè)表中的相應(yīng)字段進(jìn)行合并，這時(shí)候數(shù)據(jù)的傳輸需要通過網(wǎng)絡(luò)傳輸來完成。考慮到網(wǎng)絡(luò)傳輸會(huì)比直接在硬盤上讀取數(shù)據(jù)慢了很多，本文提出一種稱為基于關(guān)聯(lián)感 知 Sqoop（association-based Sqoop，AB_Sqoop）的數(shù) 據(jù)導(dǎo)入算法，通過數(shù)據(jù)表關(guān)聯(lián)性分析的方法對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行預(yù)處理，在數(shù)據(jù)導(dǎo)入的過程中，將相關(guān)性較高的數(shù)據(jù)表盡量存放在同一硬盤或相鄰節(jié)點(diǎn)，以減少數(shù)據(jù)的網(wǎng)絡(luò)傳輸，加速大數(shù)據(jù)應(yīng)用的整體性能。

2 相關(guān)研究

由于現(xiàn)在的企業(yè)環(huán)境中有著大量的結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)并不能簡(jiǎn)單地使用MapReduce來處理，因此需要建立一種不更改復(fù)雜的Hadoop架構(gòu)的機(jī)制來處理結(jié)構(gòu)化數(shù)據(jù)［3，4］。大多數(shù)的 NoSQL 查詢語(yǔ)句使用 Hive 來作為 SQL 到MapReduce的翻譯工具，但很多論文提到 Hive［5］所翻譯出的MapReduce并不是很有效率。參考文獻(xiàn)［6］提出將整個(gè)查詢語(yǔ)句根據(jù)其關(guān)聯(lián)性將不必要的join進(jìn)行合并，以減少非必要的join操作，大大降低了查詢所需要的時(shí)間，這種做法在2012年被Hive合并。

由于join是數(shù)據(jù)庫(kù)中常見的耗時(shí)操作，許多的研究都針對(duì)join操作的優(yōu)化進(jìn)行探索，參考文獻(xiàn)［7］在reduce階段將中間產(chǎn)物重新分區(qū)并復(fù)制給其他已經(jīng)完成的節(jié)點(diǎn)上以加速運(yùn)算，參考文獻(xiàn)［8］使用MapReduce的簡(jiǎn)化join模型，參考文獻(xiàn)［9］使用MapReduce模型的自然延伸加入過濾動(dòng)作，使MapReduce先使用邏輯過濾來省略中間而讓整個(gè)完成時(shí)間減少。

圖1 基于關(guān)聯(lián)感知的Sqoop導(dǎo)入基本流程

3 基于關(guān)聯(lián)度感知的Sqoop導(dǎo)入

基于關(guān)聯(lián)感知的Sqoop導(dǎo)入的流程如圖1所示，第一步是分析數(shù)據(jù)庫(kù)的日志，根據(jù)數(shù)據(jù)表之間的關(guān)聯(lián)查詢的數(shù)目獲得數(shù)據(jù)表之間的關(guān)聯(lián)性，第二步是考慮數(shù)據(jù)表的大小，計(jì)算獲得數(shù)據(jù)表之間關(guān)聯(lián)度的關(guān)系效用，最后查表獲得數(shù)據(jù)表之間的關(guān)聯(lián)度，再根據(jù)這個(gè)關(guān)聯(lián)度導(dǎo)入Hadoop環(huán)境中。

3.1 分析數(shù)據(jù)表之間的關(guān)聯(lián)性

關(guān)系數(shù)據(jù)庫(kù)中的日志記錄了數(shù)據(jù)庫(kù)中的所有操作，包括數(shù)據(jù)庫(kù)的設(shè)定、數(shù)據(jù)的修改以及查詢。設(shè)計(jì)關(guān)系數(shù)據(jù)庫(kù)的日志的目的是在數(shù)據(jù)庫(kù)發(fā)生問題的時(shí)候，可以通過查詢?nèi)罩镜姆绞浇鉀Q問題。

由于關(guān)系數(shù)據(jù)庫(kù)的日志記錄了數(shù)據(jù)庫(kù)查詢的記錄，因此發(fā)生的關(guān)聯(lián)查詢也會(huì)在日志中體現(xiàn)，因此，分析數(shù)據(jù)庫(kù)日志可以獲得關(guān)系數(shù)據(jù)庫(kù)之間表的關(guān)聯(lián)性，比如表1與表2之間產(chǎn)生的關(guān)聯(lián)查詢?yōu)?5次，則該兩表之間的關(guān)聯(lián)性記為15。且記表n與表n之間的關(guān)聯(lián)性為0。將這些關(guān)聯(lián)性通過一個(gè)二維表可以將其列出，記該表為table association（TA）。

3.2 數(shù)據(jù)表之間的大小

除了考慮表之間的關(guān)聯(lián)性以外，還需要考慮數(shù)據(jù)表的大小問題。這是因?yàn)楫?dāng)兩張表的關(guān)聯(lián)性非常大，但其大小相對(duì)于數(shù)據(jù)庫(kù)中其他的表很小的情況下，將兩張表放在一起與否，并不能對(duì)關(guān)聯(lián)查詢的性能起到很好的作用。這是因?yàn)?，Hadoop在執(zhí)行任務(wù)的時(shí)候，會(huì)在數(shù)據(jù)量比較大的節(jié)點(diǎn)上發(fā)起任務(wù)，通過這樣的手段減少網(wǎng)絡(luò)傳輸，從而提高執(zhí)行的效率。

同樣，將數(shù)據(jù)庫(kù)中的表兩兩比較，選出較小的表作為代表，形成一個(gè)二維列表TS（table size）。如表1的大小是10 MB，而表2的大小是30 MB，則表1行與表2列的數(shù)據(jù)記錄為10，同樣，記表n與表n之間的大小記錄為0。

3.3 關(guān)系效用的計(jì)算

關(guān)系效用（effective association）使用 TA和 TS對(duì)應(yīng)的位置兩兩相乘即可得出，即求TA與TS的點(diǎn)積：

從TA與TS的生成可以看出，TAT=TA，且TST=TS，由式（1）同樣可以得出ECTT=ECT。

由于ECT是一個(gè)對(duì)稱矩陣，因此可以從主對(duì)角線取其上半部分，也就是說將ECT的下半部分都記為0，得到ECT＇。實(shí)際上由于TA與TS都對(duì)稱，在計(jì)算之初就可以將其下半部分取0，得到TA＇和 TS＇。即：

3.4 Sqoop導(dǎo)入

考慮到需要將關(guān)系效用最大的表盡量存放到一起，因此，首先需要明確每個(gè)虛擬機(jī)（VM）能存放的表的分片（table split）的大小，該容量限制記為 CA（capacity），則導(dǎo)入的流程如下：

步驟1 將ECT＇中的每行取CA-1個(gè)較大的值相加為St；

步驟2 取St中最大的為Smax，并首先將Smax組成的表首先導(dǎo)入，并將Smax組成的表標(biāo)示為已導(dǎo)入；

步驟3 如果剩余表的數(shù)量大于CA，則重復(fù)步驟1、步驟 2；

步驟4 將剩余的表做最后一次導(dǎo)入。

為了驗(yàn)證算法的有效性，在步驟2中引入變量數(shù)據(jù)位置（data locality，DL）。在這一步驟的導(dǎo)入過程由于數(shù)據(jù)存放在相同節(jié)點(diǎn)，因此可以理解為這些數(shù)據(jù)的關(guān)聯(lián)查詢不需要網(wǎng)絡(luò)傳輸。假設(shè)Smax的組成為第 n行上的i、j、k……列，則該DL的值為：

由式（3）可知，DL的值包括了所有需要標(biāo)記為已導(dǎo)入的表的效用關(guān)系量，該值累加得到最后的DL值。當(dāng)DL值越大，則意味著所需要的網(wǎng)絡(luò)傳輸數(shù)據(jù)越小。

Sqoop導(dǎo)入的算法描述如下。

算法 基于感知度的Sqoop導(dǎo)入算法

輸入 ECT＇：關(guān)系效用表

n：數(shù)據(jù)庫(kù)表的數(shù)量

CA：每一個(gè)節(jié)點(diǎn)可以存儲(chǔ)的數(shù)據(jù)表分片的數(shù)量

DL=0 ：初始化DL值

P=1

輸出 數(shù)據(jù)表位置的集合｛S1，S2，…，Sβ}，β=n／CA

由以上算法可知，該算法拆解部分的時(shí)間復(fù)雜度為n2，而總共需要完成n／CA次循環(huán)，則總的時(shí)間復(fù)雜度為n3／CA。

4 實(shí)驗(yàn)與對(duì)比分析

4.1 模擬實(shí)驗(yàn)

模擬實(shí)驗(yàn)主要以原始的Sqoop與使用了基于關(guān)聯(lián)感知的Sqoop對(duì)DL值進(jìn)行模擬比較。

首先定義模擬實(shí)驗(yàn)的相關(guān)數(shù)據(jù)如下。

· 數(shù)據(jù)表大?。?～10 GB，指一個(gè)表的隨機(jī)大小值。

· 數(shù)據(jù)表關(guān)聯(lián)性：1～1 000，指模擬數(shù)據(jù)庫(kù)日志中的關(guān)聯(lián)查詢書目。

· 節(jié)點(diǎn)容量：2～50，指節(jié)點(diǎn)能夠存儲(chǔ)數(shù)據(jù)表分片的上限。

· 表的數(shù)目：20～300，指數(shù)據(jù)庫(kù)中表的數(shù)量。

· 節(jié)點(diǎn)數(shù)目：20～100，指數(shù)據(jù)節(jié)點(diǎn)的數(shù)量。

如圖2所示，當(dāng)取數(shù)據(jù)表的數(shù)目為100、節(jié)點(diǎn)容量為20、表的大小取隨機(jī)1～10 GB、關(guān)聯(lián)性取隨機(jī)1～500的時(shí)候，隨著節(jié)點(diǎn)數(shù)目的變化，其DL值的變化。

從圖2可知，當(dāng)數(shù)據(jù)節(jié)點(diǎn)很少的時(shí)候，使用關(guān)聯(lián)感知導(dǎo)入的效率并不占優(yōu)，但隨著節(jié)點(diǎn)數(shù)目的變大，該算法的DL值的變化比較穩(wěn)定，而原始Sqoop會(huì)隨著節(jié)點(diǎn)數(shù)目變大，其DL值不斷變小。從第2.4節(jié)的分析可知，由于數(shù)據(jù)隨機(jī)存放在不同節(jié)點(diǎn)，因此，數(shù)據(jù)查詢的性能不斷降低，到了節(jié)點(diǎn)數(shù)為100的時(shí)候，關(guān)聯(lián)感知算法的性能達(dá)到了傳統(tǒng)算法的397%。

4.2 實(shí)測(cè)比較

實(shí)測(cè)環(huán)境使用Apache Ambari工具在實(shí)驗(yàn)室局域網(wǎng)環(huán)境下搭建一個(gè)Hadoop集群，15臺(tái)PC，其中1臺(tái)為master節(jié)點(diǎn)，14臺(tái)為 slave節(jié)點(diǎn)。安裝Hive、MapReduce和Sqoop。為了凸顯網(wǎng)絡(luò)傳輸對(duì)性能的影響，將PC的網(wǎng)絡(luò)傳輸調(diào)為10 Mbit／s共享。使用蘇州銳創(chuàng)公司的運(yùn)營(yíng)Oracle數(shù)據(jù)庫(kù)作為導(dǎo)入的數(shù)據(jù)源，該數(shù)據(jù)源數(shù)據(jù)241 MB，分別進(jìn)行傳統(tǒng)的Sqoop導(dǎo)入和AB_Sqoop導(dǎo)入，使用join操作進(jìn)行關(guān)聯(lián)查詢，其實(shí)驗(yàn)結(jié)果如圖3所示。

從圖3可知，當(dāng)數(shù)據(jù)查詢參與的數(shù)據(jù)表變多的時(shí)候，查詢的時(shí)間相對(duì)增大，而AB_Sqoop基本維持在Sqoop的一半時(shí)間，即使用AB_Sqoop能提高一半以上的性能。

圖2 不同節(jié)點(diǎn)數(shù)的數(shù)據(jù)距離

圖3 join操作的時(shí)間

5 結(jié)束語(yǔ)

基于Hadoop構(gòu)建大數(shù)據(jù)的分析平臺(tái)是目前中小企業(yè)的共同選擇。在傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入大數(shù)據(jù)平臺(tái)時(shí)，雖然Apache提供了Sqoop工具供數(shù)據(jù)的導(dǎo)入導(dǎo)出，但由于設(shè)計(jì)思想和數(shù)據(jù)查詢的方式不同，傳統(tǒng)的關(guān)系查詢應(yīng)用會(huì)產(chǎn)生不利的影響，特別是join操作會(huì)激起消耗運(yùn)算資源。本文的分析和實(shí)驗(yàn)證明：將關(guān)聯(lián)性較大的數(shù)據(jù)表存放到相同節(jié)點(diǎn)或相鄰節(jié)點(diǎn)的做法可以有效地避免網(wǎng)絡(luò)傳輸帶來的性能影響。下一步需要進(jìn)行的工作是考慮HDFS中數(shù)據(jù)副本對(duì)導(dǎo)入Hadoop后性能的影響。此外算法中節(jié)點(diǎn)容量上限的定義雖然簡(jiǎn)化了節(jié)點(diǎn)存儲(chǔ)的問題，但實(shí)際情況中導(dǎo)入數(shù)據(jù)庫(kù)的過程不可能有一個(gè)空置的大數(shù)據(jù)平臺(tái)給用戶使用，需要更進(jìn)一步考慮每個(gè)節(jié)點(diǎn)擁有的容量。

［1］中 國(guó) 大 數(shù) 據(jù) 發(fā) 展 調(diào) 查 研 究 結(jié) 果 ［EB／OL］.（2015-07-29）［2015-09-01］.http：／／zhishi.moojnn.com／？／article／262.Research reportofChina big data development ［EB／OL］.（2015-07-29）［2015-09-01］.http：／／zhishi.moojnn.com／？／article／262.［2］ Apache Sqoop［EB／OL］.［2015-09-01］.http：／／sqoop.apache.org／.

［3］BALMIN A，KALDEWEY T，TATA S.Clydesdale：structured dataprocessingonHadoop ［C］／／ 2012ACM SIGMOD International Conference on Management of Data，May 20-24，2012，Scottsdale，AZ，USA.New York：ACM Press，2012：705-708.

［4］BALMIN A，KALDEWEY T，TATA S.Clydesdale：structured dataprocessingon MapReduce ［C］／／2012 International Conference on Extending Database Technology，March 27-30，2012，Berlin，German.New York：ACM Press，2012：15-25.

［5］THUSOO A，SARMA J S，JAIN N，et al.Hive- a warehousing solution over a MapReduce framework ［J］.PVLDB，2009，2（2）：1626-1629.

［6］LEE R B，LUO T，HUAI Y，et al.YSmart：yet another SQL-to-MapReduce translator［C］／／2011 International Conference on Distributed Computing Systems， June 20-24， 2011，Minneapolis，Minnesota，USA.New Jersey：IEEE Press，2011：25-36.

［7］LYNDEN S，TANIMURA Y，KOJIMAL，et al.Dynamic data redistribution for MapReduce joins［C］／／2011 IEEE International Conference on Coud Computing Technology and Science，November 29-December 1，2011，Athens，Greece.New Jersey：IEEE Press，2011：717-723.

［8］ ALPER O，MIREK R.Processing theta-joins using MapReduce［C］.／／2011 ACM SIGMOD International Conference on Management of Data，June 12-16，2011，Athens，Greece.New Jersey：IEEE Press，2011：949-960.

［9］JIANG D W，TUNG A K H，CHEN G.Map-join-reduce：toward scalable and efficient data analysis on large clusters ［J］.IEEE Transactions on knowledge and Data Engineering，2011，23（9）：1299-1311.

An associated perception import method for big data

GONG Huaiyu1，XU Jinsong2，WANG Pan2
1.Jiyuan Branch of China Telecom Co.，Ltd.，Jiyuan 454650，China 2 Nanjing University of Posts and Telecommunications，Nanjing 210003，China

Against the background of the existing database to the large data migration，Apache introduced the Sqoop as the main tool for the relational database to the big data migration.Sqoop simply cut the data table and randomly store it on diffe rent nodes.Being aimed at the problem of low efficiency of the query of the relationship between the Hadoop，a method of data importing and preprocessing was designed.To reduce the network transmission delay and improve the performance of the system，the high correlation degree was kept in the adjacent nodes.The contrast experiment shows that the performance of the data query can be improved greatly by the same or adjacent nodes.

big data，Sqoop，Hadoop，NoSQL

s：Jiangsu Province Project of Natural Science Foundation（No.BK2009426），Jiangsu Province Education Project of Natural Science Foundation（No.14KJD520005），2013 Six Talent Peaks Project in Jiangsu Province，2013 Information Security Special Funds of the National Development and Reform Commission，State Grid 2014 Science and Technology Project：Research and Application of Network Traffic Prediction and Smart Pipe Key Technologies for Electric Power Information Communication Network，2015 Industrialization，Education and Research Joint Prospective Project （No.BY2015011-02）

TP393

A

10.11959／j.issn.1000-0801.2016044

2015-09-01；

2015-12-20

江蘇省自然科學(xué)基金資助項(xiàng)目（No.BK2009426）；江蘇省高校自然科學(xué)基金資助項(xiàng)目（No.14KJD520005）；2013江蘇省六大人才高峰計(jì)劃基金資助項(xiàng)目；2013國(guó)家發(fā)展和改革委員會(huì)信息安全專項(xiàng)基金資助項(xiàng)目；國(guó)家電網(wǎng)公司2014年科技項(xiàng)目：電力信息通信網(wǎng)絡(luò)流量預(yù)測(cè)和管理智能化關(guān)鍵技術(shù)研究及其應(yīng)用；2015江蘇省產(chǎn)學(xué)研前瞻性聯(lián)合研究項(xiàng)目（No.BY2015011-02）

公懷予（1973-），男，中國(guó)電信股份有限公司濟(jì)源分公司工程師、總經(jīng)理，主要研究方向?yàn)榇髷?shù)據(jù)分析和流量經(jīng)營(yíng)。

徐勁松（1974-），男，博士，南京郵電大學(xué)通達(dá)學(xué)院副教授、教研室主任，主要研究方向?yàn)樾畔踩?、云?jì)算及大數(shù)據(jù)應(yīng)用。

王攀（1979-），男，南京郵電大學(xué)副研究員，主要研究方向?yàn)榇髷?shù)據(jù)分析和流量經(jīng)營(yíng)。