郭荔荔　李敬兆

摘要：鑒于國(guó)內(nèi)目前各大煤礦企業(yè)的實(shí)際情況，對(duì)井下人員定位系統(tǒng)進(jìn)行研究，為了改進(jìn)定位產(chǎn)生的海量數(shù)據(jù)所存在的不安全、不完整等弊端，采用云存儲(chǔ)代替原有的存儲(chǔ)模式。利用云存儲(chǔ)量身定制這一特性，在企業(yè)內(nèi)部搭建私有云，以Hadoop為技術(shù)架構(gòu)，運(yùn)用HBase的RowKey確定檢索的主鍵，HDFS的NameNode與DataNode完成數(shù)據(jù)間的交互，快速、高效的查找數(shù)據(jù)。將云存儲(chǔ)應(yīng)用于企業(yè)中，幫助企業(yè)順應(yīng)時(shí)代的腳步，有利于企業(yè)的發(fā)展，具有一定的價(jià)值。

關(guān)鍵詞：定位系統(tǒng)；云存儲(chǔ)；海量數(shù)據(jù)；HDFS；HBase

中圖分類(lèi)號(hào)： TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）04-0844-03

1 概述

中國(guó)作為煤礦大國(guó)，各大煤礦通過(guò)人員定位系統(tǒng)，實(shí)時(shí)監(jiān)控井下作業(yè)人員，確保其人身安全。通過(guò)實(shí)時(shí)定位，收集各類(lèi)數(shù)據(jù)，確定實(shí)時(shí)路徑。煤礦企業(yè)在處理人員定位系統(tǒng)產(chǎn)生的海量數(shù)據(jù)方面存在眾多問(wèn)題：原有系統(tǒng)擴(kuò)展性差，難以滿(mǎn)足企業(yè)數(shù)據(jù)的快速增長(zhǎng)；數(shù)據(jù)的處理以及復(fù)雜操作能力的需求不斷提高；對(duì)數(shù)據(jù)的訪問(wèn)以及響應(yīng)時(shí)間逐漸變慢等。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)模式不能完美的解決這些問(wèn)題，而云存儲(chǔ)作為一種新型的數(shù)據(jù)存儲(chǔ)方式，克服了傳統(tǒng)存儲(chǔ)方式產(chǎn)生的諸多弊端。

以淮北朱仙莊礦為背景，結(jié)合目前煤礦企業(yè)的實(shí)際情況，針對(duì)定位系統(tǒng)產(chǎn)生的海量數(shù)據(jù)，在企業(yè)內(nèi)部建立私有云，整合現(xiàn)有的多樣數(shù)據(jù)，建立Hadoop技術(shù)架構(gòu)，以達(dá)到高速、安全的存儲(chǔ)數(shù)據(jù)。

2 云存儲(chǔ)下定位數(shù)據(jù)的處理

2.1 云存儲(chǔ)

2.1.1 云存儲(chǔ)的定義

云存儲(chǔ)[1]作為云計(jì)算的延伸技術(shù)，主要指通過(guò)分布式文件系統(tǒng)、集群應(yīng)用等，將同一網(wǎng)絡(luò)中許多且不同類(lèi)型的設(shè)備整合起來(lái)，實(shí)現(xiàn)對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)的功能[2]。其中，云存儲(chǔ)并非實(shí)際意義上的存儲(chǔ)，提供的是服務(wù)功能。

云存儲(chǔ)是一種特殊的共享存儲(chǔ)器，首先要保證用戶(hù)存放的數(shù)據(jù)可靠、不丟失。其次，用戶(hù)訪問(wèn)數(shù)據(jù)是任意時(shí)間的，云存儲(chǔ)必須確保實(shí)時(shí)在線，方便用戶(hù)的讀取。鑒于成本和資金流量的考慮，云存儲(chǔ)的規(guī)模必須隨著數(shù)據(jù)的不斷增加而擴(kuò)展。

2.1.2 云存儲(chǔ)的結(jié)構(gòu)

云存儲(chǔ)的核心是應(yīng)用軟件和存儲(chǔ)設(shè)備相結(jié)合，通過(guò)應(yīng)用軟件來(lái)實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。圖1為云存儲(chǔ)的結(jié)構(gòu)[3]。

由以上的結(jié)構(gòu)圖，我們不難看出云存儲(chǔ)所具有的幾個(gè)優(yōu)勢(shì)[4][5]：

1）成本低

目前，大多企業(yè)將大部分?jǐn)?shù)據(jù)遷移至云存儲(chǔ)上，因此升級(jí)、維護(hù)等管理任務(wù)均由云存儲(chǔ)服務(wù)提供商來(lái)完成。不僅可以將數(shù)據(jù)存儲(chǔ)與管理的成本降到最低，還能獲得最優(yōu)良的數(shù)據(jù)存儲(chǔ)服務(wù)。

2）管理便捷

企業(yè)的數(shù)據(jù)管理從傳統(tǒng)的分散管理轉(zhuǎn)變?yōu)樵拼鎯?chǔ)的統(tǒng)一管理。其中維護(hù)功能由供應(yīng)商來(lái)完成，企業(yè)不需要配備專(zhuān)業(yè)的存儲(chǔ)系統(tǒng)管理員；其次較易擴(kuò)展，不會(huì)因?yàn)樾聰?shù)據(jù)的產(chǎn)生而丟棄舊數(shù)據(jù)，保證數(shù)據(jù)間的完整性。

3）量身定做

隨著大數(shù)據(jù)時(shí)代的到來(lái)，各企業(yè)產(chǎn)生的海量數(shù)據(jù)不盡相同，利用私有云這一特性為企業(yè)量身定做一套云存儲(chǔ)服務(wù)解決方案。

2.2 Hadoop

2.2.1 Hadoop簡(jiǎn)介

Hadoop[6-7]是Doug Cutting創(chuàng)建的一個(gè)軟件框架，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分布式處理，主要依附于社區(qū)服務(wù)器，因此成本較低，任何人都可以使用。Hadoop是一種可以讓用戶(hù)輕松建立和應(yīng)用的分布式計(jì)算平臺(tái)，方便對(duì)海量數(shù)據(jù)分析、處理。

主要有以下幾個(gè)優(yōu)點(diǎn)[8-9]：

1）高可靠性

使用按位存儲(chǔ)和處理數(shù)據(jù)，值得用戶(hù)的依賴(lài)。

2）高擴(kuò)展性

通過(guò)計(jì)算機(jī)的集簇體現(xiàn)其高擴(kuò)展性，將數(shù)據(jù)方便、快捷的擴(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)上。

3）高容錯(cuò)性

自身能夠進(jìn)行數(shù)據(jù)的備份，并且能夠自動(dòng)將失敗的任務(wù)重新分配。

2.2.2 HDFS介紹

HDFS[10-11]（Hadoop Distributed File System）：分布式文件系統(tǒng)，簡(jiǎn)稱(chēng)HDFS；具有高容錯(cuò)性，主要放置在低廉的硬件上。

HDFS類(lèi)似于一個(gè)分級(jí)文件系統(tǒng)[12]，可以創(chuàng)建、刪除、移動(dòng)或重命名文件等?；谄渥陨淼奶攸c(diǎn)，HDFS的架構(gòu)是由一組特定的節(jié)點(diǎn)構(gòu)建的，這些節(jié)點(diǎn)主要包括NameNode（僅一個(gè)）存儲(chǔ)的主要是文件名；DataNode為 HDFS 提供存儲(chǔ)塊。

NameNode主要起索引的作用，決定是否將文件映射到 DataNode 上，負(fù)責(zé)管理文件名和控制外部客戶(hù)機(jī)的訪問(wèn)；DataNode則響應(yīng)來(lái)自 NameNode 的創(chuàng)建、刪除和復(fù)制塊的命令。NameNode 依賴(lài)于單個(gè) DataNode 的定期心跳消息，其中每條消息都包含一個(gè)塊報(bào)告，可以根據(jù)這個(gè)塊報(bào)告驗(yàn)證和映射元數(shù)據(jù)。

2.2.3 HBase介紹

HBase[13-14]是Google的一個(gè)高性能、高可靠性、面向列的分布式存儲(chǔ)系統(tǒng)，類(lèi)似于BigTable。

作為Apache的Hadoop項(xiàng)目中的一個(gè)子項(xiàng)目，HBase是基于列的模式，適用于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)，具有處理大數(shù)據(jù)的能力。HBase中的RowKey是用來(lái)檢索記錄的主鍵，可以是任意字符串。在存儲(chǔ)時(shí)，數(shù)據(jù)按照RowKey的字典序排序存儲(chǔ)。

2.3 定位的數(shù)據(jù)處理

2.3.1 人員定位數(shù)據(jù)

煤礦行業(yè)中，最重要的是人的生命安全，朱仙莊礦隸屬淮北礦業(yè)集團(tuán)，擁有龐大的團(tuán)隊(duì)，為了更好的保障礦工的安全，井下人員定位系統(tǒng)[15]起著舉足輕重的作用。該定位系統(tǒng)不僅需要提供實(shí)時(shí)的監(jiān)測(cè)查詢(xún)功能，還需要在各種空間和時(shí)間的角度下提供歷史統(tǒng)計(jì)。對(duì)任何一個(gè)人員，除了包含其本身的信息外，從進(jìn)入井下開(kāi)始，系統(tǒng)就對(duì)其進(jìn)行實(shí)時(shí)定位跟蹤，從而產(chǎn)生了跟蹤路徑，且這些定位數(shù)據(jù)都是不可再生的，這就將產(chǎn)生海量數(shù)據(jù)。因此海量定位數(shù)據(jù)的可靠性和完整性，對(duì)井下作業(yè)的操作是至關(guān)重要的。

在不增加任何設(shè)備的前提下，將原有的數(shù)據(jù)庫(kù)結(jié)構(gòu)改成云存儲(chǔ)結(jié)構(gòu)。云存儲(chǔ)不同于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，采用基于列存儲(chǔ)的數(shù)據(jù)管理模式來(lái)支持大數(shù)據(jù)的高效管理，更好的實(shí)現(xiàn)大量數(shù)據(jù)的可靠存儲(chǔ)。

2.3.2 總體架構(gòu)設(shè)計(jì)

井下人員定位系統(tǒng)的數(shù)據(jù)處理以Hadoop技術(shù)為架構(gòu)，HBase為大量數(shù)據(jù)管理系統(tǒng)， HDFS作為分布式存儲(chǔ)系統(tǒng)。在HDFS中的文件以塊的形式分布在DataNode，再通過(guò)NameNode控制所有文件，通過(guò)索引，各節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)交互。

1）HBase的設(shè)計(jì)

一個(gè)有效的定位數(shù)據(jù)包括用戶(hù)、時(shí)間和位置信息，這些數(shù)據(jù)都必須存放在Hadoop的HBase中。區(qū)別于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，這類(lèi)關(guān)系模型必須要轉(zhuǎn)換為Key-value的形式才能被HBase接收。

系統(tǒng)中的定位數(shù)據(jù)主要用于以下兩種類(lèi)型的查詢(xún)：一種是區(qū)域內(nèi)所有人員的信息，另一種是一個(gè)人員的歷史軌跡。為了提高查詢(xún)的效率，在使用HBase進(jìn)行數(shù)據(jù)存放時(shí)，將同一個(gè)區(qū)域的數(shù)據(jù)都存放在臨近的DataNode上。考慮到定位數(shù)據(jù)本身具有區(qū)域性，即定位數(shù)據(jù)總是會(huì)在一個(gè)區(qū)域內(nèi)產(chǎn)生大量數(shù)據(jù)，且定位數(shù)據(jù)是按照時(shí)間增長(zhǎng)的時(shí)序數(shù)據(jù)。因此，如果按照區(qū)域聚集的方式存放數(shù)據(jù)就必然會(huì)導(dǎo)致?lián)砣?，從而不能發(fā)揮集群的性能優(yōu)勢(shì)。為了避免這種情況， RowKey的選擇至關(guān)重要。

為了使數(shù)據(jù)自動(dòng)按照時(shí)間從新到舊的順序排列，需要使用倒序時(shí)間戳，在HBase中多數(shù)使用Hash來(lái)解決這類(lèi)問(wèn)題。將Hash值作為一個(gè)額外的RowKey部分放在原有的RowKey的最前面對(duì)數(shù)據(jù)進(jìn)行分散，同時(shí)根據(jù)服務(wù)器中DataNode的數(shù)量來(lái)設(shè)置一個(gè)合理的Hash表長(zhǎng)度。

對(duì)于人員定位系統(tǒng)中的數(shù)據(jù)，可以將HBase中的RowKey設(shè)計(jì)為Hash（[區(qū)域][人員][時(shí)間]）[區(qū)域][人員][倒序時(shí)間]。將查詢(xún)條件都作為RowKey后，人員的定位數(shù)據(jù)只剩下非常簡(jiǎn)單的三元組（x，y，z）形式，同時(shí)也沒(méi)有必要將這三個(gè)數(shù)據(jù)分開(kāi)存放，這樣列族的數(shù)量只有一個(gè)，此時(shí)存放的數(shù)據(jù)即為定位的數(shù)據(jù)。

2） HDFS的設(shè)計(jì)

從上圖可知：上位機(jī)主要是用來(lái)接收人員定位產(chǎn)生的數(shù)據(jù)，然后多個(gè)客戶(hù)端可以從上位機(jī)上查詢(xún)數(shù)據(jù)。NameNode存儲(chǔ)的是數(shù)據(jù)的索引，即文件名，無(wú)真實(shí)的數(shù)據(jù)；DataNode存儲(chǔ)的是真正的數(shù)據(jù)，即磁盤(pán)。當(dāng)收到訪問(wèn)請(qǐng)求時(shí)，通過(guò)Name節(jié)點(diǎn)中的索引來(lái)決定所需匹配的DataNode；當(dāng)DataNode發(fā)出定期心跳消息時(shí)，NameNode根據(jù)消息查詢(xún)文件并映射元數(shù)據(jù)返回DataNode；當(dāng)DataNode 沒(méi)有發(fā)送心跳消息時(shí)，NameNode進(jìn)行自我修復(fù)，重新復(fù)制丟失在塊上的數(shù)據(jù)，并完成交互功能。

客戶(hù)端向NameNode發(fā)送任務(wù)請(qǐng)求，NameNode先對(duì)客戶(hù)進(jìn)行合法性做驗(yàn)證，然后將文件分成數(shù)據(jù)塊；接著根據(jù)各個(gè)DataNode狀態(tài)進(jìn)行分配任務(wù)，這樣就可以決定數(shù)據(jù)塊存儲(chǔ)在具體哪個(gè)DataNode中，并通知客戶(hù)端；最后客戶(hù)端可以直接與DataNode通信。

2.4 云存儲(chǔ)在人員定位中可能存在的隱患

1）安全問(wèn)題

相對(duì)于傳統(tǒng)的存儲(chǔ)方式，云存儲(chǔ)中的數(shù)據(jù)更具有條理性、完整性。但云存儲(chǔ)提供的是在線數(shù)據(jù)存儲(chǔ)服務(wù)，將數(shù)據(jù)放在服務(wù)端，企業(yè)用戶(hù)不僅依賴(lài)于，同時(shí)也受制于服務(wù)器供應(yīng)商。另外，必須時(shí)刻連接Internet，將導(dǎo)致數(shù)據(jù)的外泄。

2）速度問(wèn)題

云存儲(chǔ)是一種在線的服務(wù)，其存儲(chǔ)速度是由寬帶的速度來(lái)決定的，這將受到多方面的干擾。目前，隨著互聯(lián)網(wǎng)寬帶的速度不斷提升，用戶(hù)的需求量也在不斷擴(kuò)大，所產(chǎn)生的數(shù)據(jù)將驟增，這樣就導(dǎo)致了寬帶的速度逐漸無(wú)法負(fù)荷數(shù)據(jù)的存在。

3）數(shù)據(jù)所有權(quán)問(wèn)題

對(duì)傳統(tǒng)的存儲(chǔ)方式而言，數(shù)據(jù)在本地存儲(chǔ)中，企業(yè)內(nèi)部人員對(duì)其有絕對(duì)的控制權(quán)；但當(dāng)數(shù)據(jù)轉(zhuǎn)移到云服務(wù)后，這類(lèi)支配的權(quán)利就逐漸轉(zhuǎn)移。 另外，云存儲(chǔ)還增加了不確定性，很難對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行實(shí)質(zhì)性的管理，管理人員只能依據(jù)服務(wù)水平協(xié)議確定數(shù)據(jù)。

3 結(jié)束語(yǔ)

本文結(jié)合淮北朱仙莊礦實(shí)際情況，運(yùn)用云存儲(chǔ)技術(shù)，提出基于Hadoop框架的平臺(tái)，初步解決井下人員定位系統(tǒng)產(chǎn)生的海量數(shù)據(jù)。利用云存儲(chǔ)量身定制的優(yōu)勢(shì)，在企業(yè)內(nèi)部建立私有云，快捷、高效的處理數(shù)據(jù)，在很大程度上帶動(dòng)企業(yè)順應(yīng)社會(huì)的發(fā)展。但云存儲(chǔ)作為一項(xiàng)新型技術(shù)，仍不夠完善，需要我們?cè)谝院蟮膽?yīng)用實(shí)踐中，不斷的發(fā)現(xiàn)問(wèn)題并且改進(jìn)。

參考文獻(xiàn)：

[1] 江秋菊.基于云存儲(chǔ)的數(shù)字圖書(shū)館資源存儲(chǔ)[J].圖書(shū)館學(xué)刊，2012（2）：109-111.

[2] 劉金芝，余丹，朱率率.一種新的云存儲(chǔ)服務(wù)模型研究[J].計(jì)算機(jī)應(yīng)用研究，2011，28（5）：1869-1872.

[3] 黃燕.云存儲(chǔ)影響下的數(shù)字圖書(shū)館[J].圖書(shū)館界，2011（5）：3-4.

[4] 劉貝，湯斌.云存儲(chǔ)原理及發(fā)展趨勢(shì)[J].科技信息，2011（5）：470-471.

[5] 熊聰聰，馮龍，陳麗仙.云存儲(chǔ)在校園信息化中的應(yīng)用與優(yōu)化[J].天津科技大學(xué)學(xué)報(bào)，2012，27（5）：69-73.

[6] 孫福權(quán)，張達(dá)偉，劉超.基于Hadoop企業(yè)私有云存儲(chǔ)平臺(tái)的構(gòu)建[J].遼寧工程技術(shù)大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，30（6）：913-916.

[7] 曹英忠，謝曉蘭，趙鵬.基于Hadoop的云存儲(chǔ)實(shí)踐[J].現(xiàn)代計(jì)算機(jī)：專(zhuān)業(yè)版，2011（24）：25-26.

[8] 多雪松，張晶，高強(qiáng).基于Hadoop的海量數(shù)據(jù)管理系統(tǒng)[J].微計(jì)算機(jī)信息，2010（13）：202-204.

[9] 劉豪.基于Hadoop集群的海量數(shù)據(jù)計(jì)算和存儲(chǔ)技術(shù)研究[D].武漢：武漢理工大學(xué)，2012.

[10] Venner J.Pro Hadoop[M].New York：Apress，2009.

[11] 黃曉云.基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D].大連：大連海事大學(xué)，2010.

[12] 陳平華.海量數(shù)據(jù)存儲(chǔ)模式的研究[D].廣州：廣東工業(yè)大學(xué)，2012.

[13] 陳慶奎，周利珍.基于HBase的大規(guī)模無(wú)線傳感網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2012，32（7）：1920-1923.

[14] 張榆，馬友忠，孟小峰.一種基于HBase的高效空間關(guān)鍵詞查詢(xún)策略[J].小型微型計(jì)算機(jī)系統(tǒng)，2012（10）：2141-2145.

[15] 劉延齡.基于物聯(lián)網(wǎng)的煤礦人員定位系統(tǒng)解決方案[J].煤礦機(jī)械，2011（5）：222-223.