李聰穎，王瑞剛，梁小江

(1.西安郵電大學(xué),陜西 西安 710061；2.陜西省信息化工程研究院,陜西 西安 710061)

基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法

李聰穎1，王瑞剛1，梁小江2

(1.西安郵電大學(xué),陜西 西安 710061；2.陜西省信息化工程研究院,陜西 西安 710061)

基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法旨在快速分析查詢大數(shù)據(jù)集的信息，最重要的特征就是查詢速度快。該方法能夠運行在上千節(jié)點的集群上，適于半結(jié)構(gòu)化/嵌套數(shù)據(jù)的分析、兼容現(xiàn)有的SQL環(huán)境和Apache Hive。文中主要利用此方法實現(xiàn)連接HDFS、Hive以及Hbase進行查詢測試，還完成了同時從不同數(shù)據(jù)源上關(guān)聯(lián)查詢數(shù)據(jù)。在同一Hadoop集群環(huán)境中，將該方法與Spark SQL對于10萬、20萬、50萬、100萬、500萬條數(shù)據(jù)進行查詢速度對比測試。經(jīng)過多次實驗后得出，基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法速度快、效率高，能夠幫助企業(yè)用戶快速、高效地進行Hadoop數(shù)據(jù)查詢和企業(yè)級大數(shù)據(jù)分析。

Hadoop集群；大數(shù)據(jù)處理；交互式查詢；快速；SQL

0 引 言

隨著計算機信息技術(shù)的發(fā)展和普及，互聯(lián)網(wǎng)規(guī)模迅速擴大，各行業(yè)應(yīng)用互聯(lián)網(wǎng)所產(chǎn)生的數(shù)據(jù)呈爆炸性增長態(tài)勢。近年來，生活中很多方面都依賴實時應(yīng)用，例如通過社交媒體更新動態(tài)、在線購物、等待客戶在線回應(yīng)等，客戶希望快速得到有效信息。因此，對大數(shù)據(jù)進行分析及查詢，提高查詢的性能和效率極其重要。

在服務(wù)器硬件及數(shù)據(jù)庫配置等條件固定的情況下，傳統(tǒng)查詢方式隨著數(shù)據(jù)量不斷增大，其查詢效率不斷降低，查詢的響應(yīng)時間越來越慢，甚至?xí)霈F(xiàn)由于查詢導(dǎo)致數(shù)據(jù)庫無法使用的情況[1]。傳統(tǒng)大數(shù)據(jù)分析查詢速度慢且查詢方式為非交互式。因此，需要一種能夠?qū)Σ煌臄?shù)據(jù)源分析處理大數(shù)據(jù)并且交互式快速查詢數(shù)據(jù)的方法。

1 整體框架設(shè)計

1.1 簡 介

隨著大數(shù)據(jù)時代的到來，查詢速度成為Hadoop的

瓶頸，因為越來越多的用戶需要一種快速而且互動的數(shù)據(jù)分析查詢處理方法。

基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法的目的在于：設(shè)計和實現(xiàn)一種大數(shù)據(jù)集的交互式分析查詢系統(tǒng)。當(dāng)用戶使用SQL語句查詢數(shù)據(jù)時，用戶的查詢請求首先被提交給SQL查詢解析器，查詢解析器將查詢請求解析為邏輯計劃，再由查詢優(yōu)化器讀取邏輯計劃并將其轉(zhuǎn)化為物理計劃，最后由執(zhí)行引擎來執(zhí)行物理計劃，存儲引擎將元數(shù)據(jù)信息提供給元數(shù)據(jù)庫，并將查詢的原生功能告知執(zhí)行引擎。

基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法是一種分布式SQL引擎，不需要定義和維護數(shù)據(jù)模式或數(shù)據(jù)轉(zhuǎn)換，能夠自動解析數(shù)據(jù)結(jié)構(gòu)[2]；不僅支持結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)查詢，還支持復(fù)雜的嵌套式數(shù)據(jù)查詢，并且使用全新標(biāo)準(zhǔn)的ANSI SQL：2003查詢能力；可以連接多種后端數(shù)據(jù)源，如Hive,Hbase,HDFS,MongoDB,Cassandra，等等。盡管大數(shù)據(jù)交互式分析查詢系統(tǒng)運行在Hadoop集群中，但它不局限于Hadoop集群，也可以運行在任何分布式集群中，能夠適應(yīng)上千節(jié)點的PB級數(shù)據(jù)的交互式商業(yè)智能分析場景[3]。

1.2 核心架構(gòu)設(shè)計

如圖1所示，基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法的核心架構(gòu)包括：遠(yuǎn)程訪問模塊、SQL解析器、查詢優(yōu)化器、任務(wù)計劃執(zhí)行引擎、存儲插件接口、分布式緩存模塊等。

圖1 核心架構(gòu)圖

(1)遠(yuǎn)程訪問模塊。該模塊是一個低開銷的遠(yuǎn)程過程調(diào)用通信協(xié)議。此外，C++和Java API層也用于客戶端應(yīng)用程序與系統(tǒng)進行交互，在提交查詢請求之前，客戶端既可以直接與特定節(jié)點進行通信，也能通過zookeeper發(fā)現(xiàn)集群節(jié)點，從而更方便地管理維護復(fù)雜的集群。

(2)SQL解析器?；跇?biāo)準(zhǔn)SQL語句解析傳入的查詢請求，通過元數(shù)據(jù)應(yīng)用程序接口請求模式信息，然后產(chǎn)生標(biāo)準(zhǔn)邏輯計劃以供優(yōu)化器進行優(yōu)化，其語法樹提供用戶操作接口，靈活性高且該解析器的組件與語言無關(guān)。

(3)查詢優(yōu)化器。優(yōu)化器將邏輯計劃轉(zhuǎn)化為物理計劃，包含有子查詢的SELECT語句是作為半連接執(zhí)行的，所以子查詢中每條記錄返回最少的實例，優(yōu)化器可以對表的掃描最小化并且有利于匹配內(nèi)外表的SELECT記錄。

(4)任務(wù)計劃執(zhí)行引擎。為了實現(xiàn)高性能的查詢處理，引入一種分布式可擴展的執(zhí)行引擎。該引擎提供數(shù)據(jù)本地化、容錯以及基于行列的等級處理。

(5)存儲插件接口。存儲插件可以與數(shù)據(jù)源進行交互，數(shù)據(jù)的位置和優(yōu)化規(guī)則有助于提升查詢效率。

(6)分布式緩存模塊。采用分布式緩存，提高查詢性能，通過動態(tài)地增減集群節(jié)點來調(diào)節(jié)數(shù)據(jù)訪問負(fù)載，從而提高資源利用率。

1.3 數(shù)據(jù)查詢流程

基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法的執(zhí)行流是用戶或機器產(chǎn)生的查詢請求提交給查詢解析器的過程，如圖2所示[4]。

圖2 執(zhí)行流圖

首先，SQL解析器對查詢請求進行解析，包括詞法分析和語義分析。在查詢解析器中的查詢請求會被解析為邏輯計劃，而邏輯計劃描述了查詢操作的基本數(shù)據(jù)流。

其次，優(yōu)化器讀取邏輯計劃并把邏輯計劃轉(zhuǎn)換為物理計劃[5]。存儲引擎和特定的數(shù)據(jù)源進行交互，提供讀寫功能，將元數(shù)據(jù)信息提供給元數(shù)據(jù)庫，將原生功能告知執(zhí)行引擎。

最后，由執(zhí)行引擎執(zhí)行物理計劃，執(zhí)行引擎依賴組件(執(zhí)行器、功能函數(shù)、掃描器、寫詞器等)，執(zhí)行器負(fù)責(zé)轉(zhuǎn)換數(shù)據(jù)流，功能函數(shù)將數(shù)據(jù)流轉(zhuǎn)換為單獨的數(shù)據(jù)，掃描器和寫詞器負(fù)責(zé)讀寫數(shù)據(jù)。元數(shù)據(jù)庫查詢執(zhí)行框架并提供元數(shù)據(jù)信息，即時編譯器將部分物理計劃轉(zhuǎn)換成本地代碼。

如圖3所示，基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法主要支持文本、序列化、列存儲等存儲格式。其中，Hbase表、JSON、BSON都屬于無模式的數(shù)據(jù)模型[3,6]，CSV、TSV和Hbase表是扁平結(jié)構(gòu)的數(shù)據(jù)，Parquet、JSON、BSON的數(shù)據(jù)結(jié)構(gòu)是嵌套型的復(fù)雜數(shù)據(jù)，而Avro是一種序列化的復(fù)雜數(shù)據(jù)。

圖3 數(shù)據(jù)結(jié)構(gòu)圖

當(dāng)用戶提交一個查詢請求時，客戶端或應(yīng)用程序會把查詢的SQL語句發(fā)送給集群中的節(jié)點。系統(tǒng)的進程在集群的節(jié)點上執(zhí)行協(xié)調(diào)、規(guī)劃、最大化查詢?？蛻舳撕蛻?yīng)用程序查詢后端節(jié)點，然后驅(qū)動查詢的組件。查詢解析器解析SQL語句，將自定義規(guī)則應(yīng)用到特定的SQL操作符，轉(zhuǎn)換成特定的邏輯操作語法，集合邏輯運算符形成邏輯計劃，邏輯計劃描述了作業(yè)所需要生成的查詢結(jié)果，定義數(shù)據(jù)源和應(yīng)用操作[7]。

2 實現(xiàn)與測試

2.1 方法實現(xiàn)

2.1.1 底層環(huán)境

操作系統(tǒng)：ubuntu12.04；

Java環(huán)境：jdk1.7.0_67；

分布式Hadoop集群環(huán)境：主節(jié)點IP:10.10.10.39，從節(jié)點IP: 10.10.10.34,10.10.10.35,10.10.10.36,10.10.10.37,10.10.10.38。

2.1.2 存儲插件配置

在每個節(jié)點上啟動交互式大數(shù)據(jù)查詢系統(tǒng)后，通過命令sqlline -h可以查看sqlline的參數(shù)，-u為鏈接地址，zk=localhost為zookeeper服務(wù)，需要在配置文件中配置zookeeper的IP，本地不用另外配置zookeeper服務(wù)，然后通過jdbc驅(qū)動連接到sqlline工具進行數(shù)據(jù)查詢[8]。

查詢系統(tǒng)服務(wù)啟動后，在瀏覽器中通過服務(wù)節(jié)點IP和端口號即可訪問Web頁面，點開storage選項查看當(dāng)前支持的數(shù)據(jù)源存儲插件，默認(rèn)只有cp和dfs可用。在Disabled Storage Plugins中點擊不可用插件的Enable功能，就能使用該存儲插件。若插件列表中沒有所需的插件，則添加所需的插件并使其Enable可用，然后再進行配置。下面是一個典型的HDFS存儲插件的關(guān)鍵配置信息：

{

"type":"file",

"enabled":true,

"connection":

"hdfs://hadoop34.newqd.com:8020/",

"workspaces":{

"root":{

"location":"/root",

"writable":true,

"defaultInputFormat":null

}

},

"formats":{

"csv":{

"type":"text",

"extensions":[

"csv"

],

"delimiter":","

}

}

其中，type為存儲插件的類型，可以為File、Hive、Hbase或者Mongo；enable為存儲插件是否可用的狀態(tài)；connection為連接數(shù)據(jù)源的地址；location為工作空間的路徑；writable為是否允許在工作空間中創(chuàng)建一個表或者視圖；defaultInputFormat為輸入格式的擴展名是否對輸入數(shù)據(jù)有影響；csv為數(shù)據(jù)格式的名稱；text為數(shù)據(jù)格式的類型；extention為可讀數(shù)據(jù)格式的擴展名類型；delimiter為數(shù)據(jù)的分隔符[9]。

2.1.3 連接zookeeper集群

基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法提供了一些訪問數(shù)據(jù)源數(shù)據(jù)的方法，例如JDBC Driver，ODBC Driver。文中是基于JDBC Driver連接zookeeper服務(wù)。

連接本地zk

bin/sqlline -u jdbc:zk=local

連接zk集群

手動指定zk：

bin/sqlline -u jdbc:drill:zk=10.10.10.34,10.10.10.35,10.10.10.36:2181

如果是集群模式,也可以不跟上zk地址，如bin/sqlline -u jdbc:zk就可以自動讀取override.conf文件中的zk配置信息。

當(dāng)指定的zk是一個全新的zk,例如之前使用的是本地zk，那么在本次新的會話中Storage-Plugin的信息就都會丟失。因為指定的zookeeper集群是全新的，所以基于Hadoop的交互式大數(shù)據(jù)分析查詢處理系統(tǒng)還沒有往里面寫入任何數(shù)據(jù)[10]。這是因為在WEB UI上對Storage Plugin進行update或者create的數(shù)據(jù)都會寫入到對應(yīng)的zookeeper節(jié)點上。因此需要在界面上update某一個數(shù)據(jù)源插件時并且enable后,通過show databases才可以看到數(shù)據(jù)源里的表。

2.2 方法測試

2.2.1 關(guān)聯(lián)查詢Hive，Hbase和HDFS

由于Hbase表中的數(shù)據(jù)要轉(zhuǎn)碼為UTF8才可以查詢，所以在聯(lián)合查詢的過程中先把Hbase表轉(zhuǎn)化為視圖，保存在本地文件系統(tǒng)下，然后再關(guān)聯(lián)視圖查詢。

如圖4所示，關(guān)聯(lián)查詢的數(shù)據(jù)中，第一列數(shù)據(jù)studentid來自hive.student表，第二列數(shù)據(jù)name來自Hbase視圖，第三列數(shù)據(jù)state來自HDFS中的sample.json文件。

selects.studentid,p.name,`state`from hive.student s,dfs.root.prodview p,hdfs.`/opt/test/sample.json` m where s.id=p.id and s.id=m.id;

圖4 關(guān)聯(lián)查詢Hive，Hbase和HDFS

2.2.2 與Spark SQL的對比測試

Spark SQL的前身是Shark，但是隨著Spark的發(fā)展，Shark對于Hive的太多依賴(如采用Hive的語法解析器、查詢優(yōu)化器等)制約了Spark各個組件的相互集成，所以提出了Spark SQL項目。Spark SQL拋棄原有Shark的代碼，汲取了Shark的一些優(yōu)點，如列存儲、兼容Hive等，重新開發(fā)了Spark SQL代碼。由于擺脫了Hive的依賴性，Spark SQL在數(shù)據(jù)兼容、性能優(yōu)化、組件擴展方面都得到了極大的提升[11]。例如在數(shù)據(jù)兼容方面，不但兼容Hive，還可以從RDD、parquet文件、JSON文件中獲取數(shù)據(jù)，未來版本甚至支持獲取RDBMS數(shù)據(jù)以及cassandra等NOSQL數(shù)據(jù)；在性能優(yōu)化方面除了采取In-Memory Columnar Storage、byte-code generation等優(yōu)化技術(shù)外，將會引進Cost Model對查詢進行動態(tài)評估，獲取最佳物理計劃，等等；在組件擴展方面，無論是SQL的語法解析器、分析器還是優(yōu)化器都可以重新定義并進行擴展，因此Spark SQL的性能得到了極大提升[12]。

基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法，在查詢速度方面與Spark SQL對于10萬、20萬、50萬、100萬、500萬條數(shù)據(jù)的查詢測試對比結(jié)果分別見表1和表2。

表1為使用count()方法查詢不同數(shù)據(jù)量的測試對表結(jié)果，表2為使用where語句從不同數(shù)據(jù)量中查詢其中一條數(shù)據(jù)的測試對比結(jié)果。

表1 統(tǒng)計數(shù)據(jù)數(shù)量測試對比結(jié)果

由表1可以看出，在同一Hadoop集群平臺上，經(jīng)過多次實驗取平均值后，在查詢10萬、20萬、50萬、100萬、500萬條數(shù)據(jù)時，文中方法比Spark SQL的查詢速度依次提高44.62%、57.65%、64.28%、66.54%、45.60%。

表2 提取一條數(shù)據(jù)測試對比結(jié)果

由表2可以看出，在同一Hadoop集群平臺上，經(jīng)過多次實驗取平均值后，從10萬、20萬、50萬、100萬、500萬條數(shù)據(jù)中依次查找一條數(shù)據(jù)時，文中方法比Spark SQL的查詢速度依次提高了22.81%、21.62%、30.38%、32.73%、9.24%。

3 結(jié)束語

基于Hadoop的交互式大數(shù)據(jù)分析查詢處理方法能夠運行在上千節(jié)點的集群上，適于半結(jié)構(gòu)化/嵌套數(shù)據(jù)的分析、兼容現(xiàn)有的SQL環(huán)境和Apache Hive，沒有集中的元數(shù)據(jù)定義，可以在單次查詢中從多種數(shù)據(jù)源中合并數(shù)據(jù)進行查詢，是一種高吞吐量和低潛在因素的大數(shù)據(jù)處理方法[13]。

在同一Hadoop集群環(huán)境中，經(jīng)過多次實驗得出，在依次查詢10萬、20萬、50萬、100萬、500萬條數(shù)據(jù)時，文中方法比Spark SQL的查詢速度平均高55.74%；在依次從10萬、20萬、50萬、100萬、500萬條數(shù)據(jù)中查詢一條數(shù)據(jù)時，文中方法比Spark-SQL的查詢速度平均高23.36%。因此，該方法分析效率高，交互式查詢速度快，滿足了企業(yè)級大數(shù)據(jù)分析場景的應(yīng)用。

[1] Manyika J,Chui M,Brown B,et al.Big data:the next frontier for innovation,competition,and productivity[EB/OL].2011.http://www.Mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation.

[2] Li G.Research status and scientific thinking of big data[J].Bulletin of Chinese Academy of Sciences,2012,27(6):647-657.

[3] 王元卓,靳小龍,程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J].計算機學(xué)報,2013,36(6):1125-1138.

[4] Arthur W B. The second economy[EB/OL].2011.http://www.images-et-reseaux.com/sites/default/files/medias/blog/2011/12/the-2ndeconomy.pdf.

[5] Tempini N.Book review:'big data:a revolution that will transform how we live,work,and think'[J].Media Culture & Society,2013,37:78-105.

[6] 李國杰,程學(xué)旗.大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國科學(xué)院院刊,2012,27(6):55-90.

[7] 孫大為,張廣艷,鄭緯民.大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)實例[J].軟件學(xué)報,2014,25(4):839-862.

[8] 陳立瑋,馮巖松,趙東巖.基于弱監(jiān)督學(xué)習(xí)的海量網(wǎng)絡(luò)數(shù)據(jù)關(guān)系抽取[J].計算機研究與發(fā)展,2013,50(9):1825-1835.

[9] 程學(xué)旗,郭嘉豐,靳小龍.網(wǎng)絡(luò)信息的檢索與挖掘回顧[J].中文信息學(xué)報,2011,25(6):111-117.

[10] 中國電子科學(xué)研究院學(xué)報編輯部.大數(shù)據(jù)時代[J].中國電子科學(xué)研究院學(xué)報,2013(1):27-35.

[11] 王 珊,王會舉,覃雄派,等.架構(gòu)大數(shù)據(jù):挑戰(zhàn)現(xiàn)狀與展望[J].計算機學(xué)報,2011,34(10):1741-1752.

[12] 王 鄂,李 銘.云計算下的海量數(shù)據(jù)挖掘研究[J].現(xiàn)代計算機,2009(11):22-25.

[13] 李偉衛(wèi),趙 航,張 陽,等.基于MapReduce的海量數(shù)據(jù)挖掘技術(shù)研究[J].計算機工程與應(yīng)用,2013,49(20):112-117.

An Interactive Processing Method of Analysis and Query for Big Data Based on Hadoop

LI Cong-ying1,WANG Rui-gang1,LIANG Xiao-jiang2

(1.Xi’an University of Posts and Telecommunications,Xi’an 710061,China;2.Shaanxi Information Engineering Research Institure,Xi’an 710061,China)

An interactive processing method of analysis and query of big data based on Hadoop aims to analyze and query large data fast,whose important feature is the rapid query speed.The method is able to run on a cluster with thousands of nodes,suitable for analyzing semi-structured or nested data,combining with existing SQL environment and Apache Hive.The main purpose is to use the method to connect HDFS,Hive and Hbase for query,also achieving to query data from different data sources.Furthermore，in the same Hadoop clustering environment，the method and Spark SQL is compared in the query speed for data with 100 000,200 000,500 000,one million and five million.Several experiments show the method is fast and efficient,and enables business users to query data and analyze enterprise Hadoop big data quickly and efficiently.

Hadoop clustering;big data processing;interactive query;fast;SQL

2015-12-01

2016-03-09

時間：2016-08-01

2015陜西省信息化技術(shù)研究項目課題(2015-002)

李聰穎(1992-)，女，碩士研究生，研究方向為云計算與大數(shù)據(jù)處理；王瑞剛，高級工程師，研究方向為多媒體通信。

http://www.cnki.net/kcms/detail/61.1450.TP.20160801.0904.038.html

TP302.1

A

1673-629X(2016)08-0134-04

10.3969/j.issn.1673-629X.2016.08.028