高武奇，岳 鑫

（1.西安工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，陜西 西安 710021；2.西安工業(yè)大學(xué) 理學(xué)院，陜西 西安710021）

基于HBase的圖書(shū)借閱數(shù)據(jù)挖掘模型設(shè)計(jì)與實(shí)現(xiàn)

高武奇1，岳 鑫2

（1.西安工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，陜西 西安 710021；2.西安工業(yè)大學(xué) 理學(xué)院，陜西 西安710021）

針對(duì)高校圖書(shū)借閱數(shù)據(jù)量大難以存儲(chǔ)和有效利用的問(wèn)題，提出基于云計(jì)算的分布式數(shù)據(jù)庫(kù)HBase來(lái)存儲(chǔ)相關(guān)數(shù)據(jù)，用數(shù)據(jù)挖掘的方式對(duì)其分析的模式，在分析Hadoop、HBase和數(shù)據(jù)挖掘有關(guān)技術(shù)的基礎(chǔ)上，給出了詳細(xì)的實(shí)現(xiàn)方案。實(shí)證結(jié)果表明：這種方式能有效實(shí)現(xiàn)對(duì)海量數(shù)據(jù)難以存儲(chǔ)和分析。

HBase；Hadoop；數(shù)據(jù)挖掘；支持向量機(jī)；圖書(shū)館

數(shù)據(jù)是信息的載體，隨著信息化的不斷發(fā)展，數(shù)據(jù)在現(xiàn)代社會(huì)生活中承擔(dān)著越來(lái)越重要的角色。社會(huì)網(wǎng)絡(luò)分析就是利用圖論、數(shù)據(jù)挖掘等技術(shù)手段從社會(huì)網(wǎng)絡(luò)數(shù)據(jù)集中尋找有用的信息。由于社會(huì)網(wǎng)絡(luò)分析所處理的數(shù)據(jù)通常是很龐大的，因而對(duì)數(shù)據(jù)處理的能力要求很高。

圖書(shū)管理系統(tǒng)每天都會(huì)產(chǎn)生大量的統(tǒng)計(jì)數(shù)據(jù)，這些海量信息中蘊(yùn)涵了對(duì)圖書(shū)管理（如采購(gòu)、館藏、咨詢(xún)等）有指導(dǎo)性的潛在信息。但傳統(tǒng)的圖書(shū)管理系統(tǒng)只有簡(jiǎn)單的借閱查詢(xún)功能，難以從多維的角度對(duì)數(shù)據(jù)進(jìn)行提取，進(jìn)而為圖書(shū)管理提供決策支持[1]。

數(shù)據(jù)挖掘是一種決策支持過(guò)程，它主要基于人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)技術(shù)，高度自動(dòng)化地分析企業(yè)原有的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在模式，預(yù)測(cè)客戶(hù)的行為，幫助企業(yè)的決策者調(diào)整市場(chǎng)策略以減少風(fēng)險(xiǎn)，做出正確的決策。

以上情況就迫切需要我們解決數(shù)據(jù)存儲(chǔ)和分析中存在的瓶頸。在分析了現(xiàn)有分布式存儲(chǔ)系統(tǒng)與云計(jì)算平臺(tái)的基礎(chǔ)上，文中提出了一種基于Hadoop平臺(tái)的分布式數(shù)據(jù)存儲(chǔ)和應(yīng)用方案。本文重點(diǎn)闡述了圖書(shū)借閱數(shù)據(jù)分布式存儲(chǔ)與查詢(xún)?cè)贖adoop平臺(tái)上的實(shí)現(xiàn)。最后在Hadoop數(shù)據(jù)服務(wù)平臺(tái)上實(shí)現(xiàn)了面向軟件客戶(hù)端的數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)。

圖書(shū)借閱數(shù)據(jù)分布式存儲(chǔ)與查詢(xún)方案在Hadoop平臺(tái)上的成功實(shí)施具有很重要的意義。Hadoop平臺(tái)只需要部署在普通的廉價(jià)PC機(jī)上即可運(yùn)行，數(shù)據(jù)處理能力卻很強(qiáng)[2]，因此具有很高的現(xiàn)實(shí)意義與應(yīng)用價(jià)值。

1 Hadoop技術(shù)

Hadoop文件系統(tǒng)是主從架構(gòu)，一個(gè)Hadoop文件系統(tǒng)由唯一一個(gè)目錄節(jié)點(diǎn)（NameNode）和數(shù)個(gè)數(shù)據(jù)節(jié)點(diǎn)（DataNodes）組成。目錄節(jié)點(diǎn)是集群里面的主節(jié)點(diǎn)，負(fù)責(zé)文件名的維護(hù)管理，也是客戶(hù)端訪(fǎng)問(wèn)文件的入口。文件名的維護(hù)包括文件和目錄的創(chuàng)建、刪除、重命名等。同時(shí)也管理數(shù)據(jù)塊和數(shù)據(jù)節(jié)點(diǎn)的映射關(guān)系，客戶(hù)端需要訪(fǎng)問(wèn)目錄節(jié)點(diǎn)才能知道一個(gè)文件的所有數(shù)據(jù)塊都保存在哪些數(shù)據(jù)節(jié)點(diǎn)上。數(shù)據(jù)節(jié)點(diǎn)一般就是集群里面的一臺(tái)機(jī)器，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)和讀取。在寫(xiě)入時(shí)，由目錄節(jié)點(diǎn)分配數(shù)據(jù)塊的保存，然后客戶(hù)端直接寫(xiě)到對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。在讀取時(shí)，當(dāng)客戶(hù)端從目錄節(jié)點(diǎn)獲得數(shù)據(jù)塊的映射關(guān)系后，就會(huì)直接到對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)讀取數(shù)據(jù)。數(shù)據(jù)節(jié)點(diǎn)也要根據(jù)目錄節(jié)點(diǎn)的命令創(chuàng)建、刪除數(shù)據(jù)塊，和冗余復(fù)制[3]。

圖1 Hadoop文件系統(tǒng)

圖2 MapReduce的運(yùn)行模型

MapReduce的運(yùn)行模型如圖2一個(gè)Map操作就是對(duì)一部分原始數(shù)據(jù)進(jìn)行指定的操作。每個(gè)Map操作都針對(duì)不同的原始數(shù)據(jù)，因此Map與Map之間是互相獨(dú)立的，這就使得他們可以充分并行化。一個(gè)Reduce操作就是對(duì)每個(gè)Map所產(chǎn)生的一部分中間結(jié)果進(jìn)行合并操作，每個(gè)Reduce所處理的Map中間結(jié)果互不交叉，所有Reduce產(chǎn)生的最終結(jié)果經(jīng)過(guò)簡(jiǎn)單連接就形成了完整的結(jié)果集，因此Reduce也可在并行環(huán)境下執(zhí)行。

2 Hbase技術(shù)

HBase--Hadoop Database，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。

HBase是Google Bigtable的開(kāi)源實(shí)現(xiàn)，類(lèi)似Google Bigtable利用GFS作為其文件存儲(chǔ)系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng)；Google運(yùn)行MapReduce來(lái)處理Bigtable中的海量數(shù)據(jù)，HBase同樣利用 Hadoop MapReduce來(lái)處理HBase中的海量數(shù)據(jù)；Google Bigtable利用 Chubby作為協(xié)同服務(wù)，HBase利用Zookeeper作為對(duì)應(yīng)。

圖3描述了Hadoop EcoSystem中的各層系統(tǒng)，其中HBase位于結(jié)構(gòu)化存儲(chǔ)層，Hadoop HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持，Hadoop MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制。

圖3 Hadoop EcoSystem系統(tǒng)

此外，Pig和Hive還為HBase提供了高層語(yǔ)言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的非常簡(jiǎn)單。 Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)向HBase中遷移變的非常方便。

3 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是一種決策支持過(guò)程，它主要基于人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)技術(shù)，高度自動(dòng)化地分析企業(yè)原有的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在模式，預(yù)測(cè)客戶(hù)的行為，幫助企業(yè)的決策者調(diào)整市場(chǎng)策略以減少風(fēng)險(xiǎn)，做出正確的決策。

CRISP-DM是一種業(yè)界認(rèn)可的用于指導(dǎo)數(shù)據(jù)挖掘工作的方法。該模型將一個(gè)知識(shí)發(fā)現(xiàn)（KDD，Knowledge Discovery in Database）工程分為6個(gè)不同的，但順序并非完全不變的階段[5]，如圖4所示。

圖4 CRISP-DM數(shù)據(jù)挖掘流程圖

1）商業(yè)理解。在第一個(gè)階段我們必須從商業(yè)的角度上面了解項(xiàng)目的要求和最終目的是什么，并將這些目的與數(shù)據(jù)挖掘的定義以及結(jié)果結(jié)合起來(lái)。

2）數(shù)據(jù)理解。數(shù)據(jù)的理解以及收集，對(duì)可用的數(shù)據(jù)進(jìn)行評(píng)估。

3）數(shù)據(jù)準(zhǔn)備。對(duì)可用的原始數(shù)據(jù)進(jìn)行一系列的組織以及清洗，使之達(dá)到建模需要。

4）建立模型。應(yīng)用數(shù)據(jù)挖掘工具建立模型。

5）模型評(píng)估。重點(diǎn)具體考慮得出的結(jié)果是否符合第一步的商業(yè)目的.

6）結(jié)果部署。部署就是使用您的新的深入見(jiàn)解在組織內(nèi)部進(jìn)行改善的過(guò)程。這可以表示正式的集成，例如實(shí)施一個(gè)用于生成隨后要讀入數(shù)據(jù)倉(cāng)庫(kù)中的流失得分的PASW Modeler模型。此外，部署還意味著您可以使用從數(shù)據(jù)挖掘中獲得的深入見(jiàn)解改善您的組織。例如，也許您會(huì)發(fā)現(xiàn)您數(shù)據(jù)中的報(bào)警模式指明年齡超過(guò)30歲的客戶(hù)行為會(huì)發(fā)生改變。這些結(jié)果可能不會(huì)正式集成到您的信息系統(tǒng)中，但它們無(wú)疑對(duì)于計(jì)劃和制定營(yíng)銷(xiāo)決策非常有用。

用于分類(lèi)分析的數(shù)據(jù)挖掘算法有決策樹(shù)、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等。本文采取在數(shù)據(jù)量相對(duì)較小情況下依然可以獲得較好性能的支持向量機(jī)作為數(shù)據(jù)挖掘算法。支持向量機(jī)可以支持向量機(jī)簡(jiǎn)稱(chēng)SVM（Support Vector Machines）是Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)理論提出的一種機(jī)器學(xué)習(xí)方法，它集成了最大間隔超平面、Mercer核、凸二次規(guī)劃和松弛變量等多項(xiàng)技術(shù)[4]。支持向量機(jī)的方法根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，大大提高學(xué)習(xí)機(jī)的泛化能力，它將優(yōu)化問(wèn)題轉(zhuǎn)化為求解一個(gè)凸二次規(guī)劃的問(wèn)題，二次規(guī)劃所得的解是唯一的且為全局最優(yōu)解，這樣就不存在一般神經(jīng)網(wǎng)絡(luò)的局部極值問(wèn)題。支持向量機(jī)由于較好地解決了小樣本、非線(xiàn)性、高維數(shù)、局部極小點(diǎn)等實(shí)際問(wèn)題，在若干具有挑戰(zhàn)性的應(yīng)用中，獲得了目前為止最好的性能。支持向量機(jī)已經(jīng)逐漸成為解決模式分類(lèi)問(wèn)題的首選工具。特征提取對(duì)分類(lèi)有著重要的影響，如何有效提取EEG信號(hào)所包含的信息成為腦電分類(lèi)問(wèn)題的關(guān)鍵步驟，自發(fā)腦電信號(hào)具有豐富的頻率成分，不同的生理狀態(tài)和病因下，某些頻段的能量在頭皮不同區(qū)域的分布會(huì)發(fā)生變化，因此可以將不同區(qū)域上不同頻段的能量作為分類(lèi)器的特征向量。小波變換是一種多尺度的信號(hào)分析方法，具有良好的時(shí)頻局部化特性，可以用于EEG信號(hào)的頻率能量特征提取。

4 設(shè)計(jì)與實(shí)現(xiàn)

4.1 系統(tǒng)支持環(huán)境

1）圖書(shū)館管理系統(tǒng)采用Windows2003下的MS SQL Server2000；

2）Hbase數(shù)據(jù)庫(kù)采用Red hat 9下的Hadoop和HBase CHD3B4版本；

3）Clementine數(shù)據(jù)挖掘工具采用在Windows XP下的SPSS Clementine13.0。

4.2 基于HBase的圖書(shū)借閱數(shù)據(jù)挖掘?qū)崿F(xiàn)流程

圖5 基于HBase的圖書(shū)借閱數(shù)據(jù)挖掘?qū)崿F(xiàn)流程

1）圖書(shū)館借閱數(shù)據(jù)導(dǎo)入My SQL數(shù)據(jù)庫(kù)

圖書(shū)館借閱數(shù)據(jù)庫(kù)MS SQL SERVER屬于關(guān)系型數(shù)據(jù)庫(kù)，Hbase輸入分布式數(shù)據(jù)庫(kù)，從SQL SERVER直接到HBase較困難，但APACHE提供了SNOOP工具可以實(shí)現(xiàn)My SQL到HBase的轉(zhuǎn)換，因此本文采用首先將SQL Server轉(zhuǎn)入My SQL，然后利用SNOOP工具從My SQL導(dǎo)入HBase數(shù)據(jù)庫(kù)。

將SQL Server轉(zhuǎn)入My SQL。使用SQL Server自帶的DTS數(shù)據(jù)轉(zhuǎn)換工具，設(shè)置如圖6的源、目標(biāo)和轉(zhuǎn)換規(guī)則后即可實(shí)現(xiàn)二者之間的轉(zhuǎn)換。

圖6 將SQL Server轉(zhuǎn)入My SQL

2）利用SNOOP工具從My SQL導(dǎo)入HBase數(shù)據(jù)庫(kù)

3）Clementine數(shù)據(jù)挖掘工具

用于挖掘的樣本數(shù)據(jù)和模型部署階段的輸入的數(shù)據(jù)均用數(shù)據(jù)庫(kù)作為數(shù)據(jù)源，這樣可以通過(guò)ODBC連接不同的數(shù)據(jù)庫(kù)，從而解決模型受數(shù)據(jù)庫(kù)平臺(tái)的限制。通過(guò)模型預(yù)測(cè)的結(jié)果也用數(shù)據(jù)庫(kù)保存，從而可以在信息系統(tǒng)中以WEB形式查看。圖7為Clementine挖掘流程，上半部分為挖掘過(guò)程，下半部分為模型的應(yīng)用。為使模型脫離Clementine應(yīng)用，可以采用導(dǎo)出PMML文件或用Runtime運(yùn)行，根據(jù)第3部分的分析，這里采用效果較優(yōu)的Runtime引擎部署模型。

支持向量機(jī)用于對(duì)圖書(shū)借閱分析的原理是：把所選擇的圖書(shū)借閱做為樣本集，將代表分類(lèi)結(jié)果的量作為類(lèi)別屬性輸出。由于所選樣本集是非線(xiàn)性的，因此，采用非線(xiàn)性SVM分類(lèi)算法。非線(xiàn)性SVM分類(lèi)算法通過(guò)內(nèi)積核函數(shù)的運(yùn)算，建立一個(gè)最優(yōu)分類(lèi)超平面，根據(jù)樣本離分類(lèi)超平面的距離，來(lái)判斷誤判率。支持向量機(jī)構(gòu)建設(shè)置如表1所示。

圖7 Clementine數(shù)據(jù)挖掘流程

表1 支持向量機(jī)構(gòu)建設(shè)置

4）分析結(jié)果展示

本系統(tǒng)支持向量機(jī)的運(yùn)行結(jié)果分析如表2所示，從表中可以看出，支持向量機(jī)對(duì)訓(xùn)練集的誤判數(shù)為578，誤判率為1.022%；對(duì)測(cè)試集誤判數(shù)為1，誤判率為5%，總樣本的誤判率為1.023%；56 552個(gè)訓(xùn)練集的分類(lèi)正確率為98.978%，20個(gè)測(cè)試樣本的分類(lèi)正確率為95%，總的72個(gè)樣本的正確率為98.977%。

表2 支持向量機(jī)模型分類(lèi)正確率表

分類(lèi)正確率表顯示該方法效果理想，可以給出如下結(jié)論：

1）英語(yǔ)和計(jì)算機(jī)類(lèi)圖書(shū)最受歡迎，借閱次數(shù)多。

2）研究生對(duì)圖書(shū)館的利用率明顯高于本科生，說(shuō)明研究生學(xué)習(xí)更積極。

3）專(zhuān)科生主要借閱文藝社科類(lèi)圖書(shū)，說(shuō)明他們對(duì)文化課的學(xué)習(xí)不夠重視。

5 結(jié) 論

文中提出了用基于云計(jì)算的HBase來(lái)存儲(chǔ)海量圖書(shū)借閱數(shù)據(jù)的思想，在此基礎(chǔ)上，采用SPSS Clementine數(shù)據(jù)挖掘工具的支持向量機(jī)對(duì)借閱情況分析。以某高校圖書(shū)館借閱數(shù)據(jù)為樣本，對(duì)這種方案進(jìn)行的實(shí)證，結(jié)果表明，這種：這種方式能完成對(duì)海量借閱數(shù)據(jù)的分析，對(duì)其他大數(shù)據(jù)的存儲(chǔ)和分析提供借鑒。

[1]胡欽文.數(shù)據(jù)倉(cāng)庫(kù)和ETL、OLAP技術(shù)在圖書(shū)借閱分析系統(tǒng)中的應(yīng)用[J].中國(guó)高新技術(shù)企業(yè)，2009（21）:63-64.

[2]陳勇.基于Hadoop平臺(tái)的通信數(shù)據(jù)分布式查詢(xún)算法的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京交通大學(xué)，2009.

[3]王峰，雷葆華.Hadoop分布式文件系統(tǒng)的模型分析[J].電信科學(xué)， 2010（12）:95-99.

[4]張智，朱齊丹，嚴(yán)勇杰.基于V-支持向量機(jī)與ε-支持向量機(jī)的非線(xiàn)性系統(tǒng)辨識(shí)[J].彈箭與制導(dǎo)學(xué)報(bào)， 2006（S1）:278-281.

[5]鄭荔平.數(shù)據(jù)挖掘流程中數(shù)據(jù)準(zhǔn)備的探討 [J].漳州師范學(xué)院學(xué)報(bào)：自然科學(xué)版，2004（4）:65-67.

[6]劉志勇，王阿利，魏迎，等.關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘在圖書(shū)館個(gè)性化服務(wù)中的應(yīng)用研究[J].電子設(shè)計(jì)工程，2012（7）：16-17.

[7]王海濤，陳樹(shù)寧.常用數(shù)據(jù)挖掘算法研究[J].電子設(shè)計(jì)工程，2011（6）:90-92.

Books lending data mining modeling based on the HBase

GAO Wu-qi1，YUE Xin2
（1.School of Computer Science and Engineering，Xi’an Technological University，Xi’an 710021，China；2.School of Science，Xi’an Technological University，Xi’an 710021，China）

This paper addresses the problem of large amount of data storage and effective utilization.Based on cloud computing，distributed database HBase and data mining technology are provided to store book lending data and library lending analyzing.The technologies of Hadoop，Hbase and data mining are studied，and the realization process is given， The experiment shows the method can effectively store mass data and mine the Potential law.

HBase；Hadoop；data mining；VRM；library

TP311.13

A

1674－6236（2017）12-0033-04

2015-08-18稿件編號(hào)：201508100

高武奇（1975—），男，陜西合陽(yáng)人，博士研究生，副教授。研究方向：云計(jì)算，計(jì)算機(jī)仿真，大數(shù)據(jù)等。