劉 軍， 魚 濱， 關(guān)阿鵬， 范廣暉

(1. 陜西省國土資源廳 陜西陜南移民搬遷工程有限公司, 陜西 西安 710075;2.西安電子科技大學(xué) 計算機(jī)學(xué)院， 陜西 西安 710126;3.陜西通信信息技術(shù)有限公司， 陜西 西安 710075;4.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院， 陜西 西安 710127)

大數(shù)據(jù)技術(shù)在移民搬遷信息化中的應(yīng)用

劉 軍1， 魚 濱2， 關(guān)阿鵬3， 范廣暉4

(1. 陜西省國土資源廳 陜西陜南移民搬遷工程有限公司, 陜西 西安 710075;2.西安電子科技大學(xué) 計算機(jī)學(xué)院， 陜西 西安 710126;3.陜西通信信息技術(shù)有限公司， 陜西 西安 710075;4.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院， 陜西 西安 710127)

運用大數(shù)據(jù)技術(shù)對陜南移民搬遷信息化系統(tǒng)中的數(shù)據(jù)進(jìn)行管理、分析，簡述大數(shù)據(jù)的基本特點與關(guān)鍵技術(shù)、數(shù)據(jù)采集技術(shù)、分布式存儲技術(shù)、并行化處理技術(shù)和海量數(shù)據(jù)挖掘技術(shù)。根據(jù)信息化系統(tǒng)的體系框架，對大數(shù)據(jù)技術(shù)在陜南移民信息化系統(tǒng)中的應(yīng)用進(jìn)行探討，分析大數(shù)據(jù)技術(shù)的應(yīng)用價值，闡述政府在大數(shù)據(jù)技術(shù)上投入的重要性。

大數(shù)據(jù)；移民搬遷；數(shù)據(jù)管理

大數(shù)據(jù)浪潮正沖擊著人們的視野，越來越多的互聯(lián)網(wǎng)企業(yè)都投入到大數(shù)據(jù)產(chǎn)業(yè)的研究中，IBM、Google、微軟已研究開發(fā)出相關(guān)大數(shù)據(jù)處理產(chǎn)品，一些電商、社交平臺也正在充分利用他們手上掌握的用戶數(shù)據(jù)來挖掘其內(nèi)在聯(lián)系，實現(xiàn)效益持續(xù)增加。IBM日本公司的經(jīng)濟(jì)指標(biāo)預(yù)測系統(tǒng)，從互聯(lián)網(wǎng)新聞中搜索影響制造業(yè)的480項經(jīng)濟(jì)數(shù)據(jù)，計算出采納經(jīng)理人指數(shù)PMI預(yù)測值[1]。阿里公司根據(jù)淘寶網(wǎng)上的交易情況篩選出財務(wù)健康和誠信企業(yè)，不需要擔(dān)保貸款，已放貸300多億元，壞賬率僅0.3%[1]。2013年，美國政府也開始行動投資“大數(shù)據(jù)研究計劃”，將大數(shù)據(jù)提升到國家發(fā)展戰(zhàn)略上來[1]。

2011年，陜西省委省政府為改善陜南群眾生活條件，消除貧困、修復(fù)生態(tài)、保障建設(shè)，促進(jìn)經(jīng)濟(jì)持續(xù)發(fā)展，提出了陜南移民搬遷的總體規(guī)劃。此次搬遷工程規(guī)模宏大，搬遷的總?cè)藬?shù)超過陜南三市總?cè)藬?shù)的1/4，共60余萬戶，240余萬人；搬遷建筑面積達(dá)1.034 23億m2，移民搬遷投資共需1 109.4億元[2]。移民搬遷工程時間跨度長、工程數(shù)據(jù)繁雜，導(dǎo)致整個工程的組織管理工作異常繁重。移民搬遷信息化系統(tǒng)除了需要具備采集、整理、存儲大量移民對象、安置區(qū)、安置工程項目、安置資金使用等相關(guān)的基本信息，還需具備處理GIS空間數(shù)據(jù)、結(jié)構(gòu)化常規(guī)數(shù)據(jù)、非結(jié)構(gòu)化文檔、圖像類數(shù)據(jù)的能力，最后還需提供多角度查詢、多模式統(tǒng)計分析、多門類報表生成和移民信息公開等主要功能,需要處理大量的數(shù)據(jù)。所以，大數(shù)據(jù)技術(shù)在陜南移民搬遷信息化系統(tǒng)中的應(yīng)用是非常必要的。

1 大數(shù)據(jù)

1.1 什么是大數(shù)據(jù)

隨著計算機(jī)、互聯(lián)網(wǎng)全面深入人們的生活，信息、數(shù)據(jù)呈現(xiàn)井噴式的增長，尤其近年來，移動互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、電子商務(wù)的迅速發(fā)展也極大地促進(jìn)了這種瘋狂式的數(shù)據(jù)增長，“大數(shù)據(jù)”概念應(yīng)運而生。大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊[3]。大數(shù)據(jù)特征：(1) Volume——數(shù)據(jù)量大，至少PB級別以上；(2)Variety——除結(jié)構(gòu)化數(shù)據(jù)外，還包括大量非結(jié)構(gòu)化數(shù)據(jù)；(3)Value——數(shù)據(jù)量大，但有價值的數(shù)據(jù)量少；(4)Velocity——數(shù)據(jù)處理速度高，且實時性要求高。

1.2 大數(shù)據(jù)關(guān)鍵技術(shù)

大數(shù)據(jù)關(guān)鍵技術(shù)主要包括數(shù)據(jù)采集技術(shù)、分布式存儲技術(shù)、并行化處理技術(shù)、海量數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)采集主要通過收集互聯(lián)網(wǎng)、傳感器上的信息來獲取大量數(shù)據(jù)；分布式存儲技術(shù)的框架包括云計算、bigTable、Google的GFS[4]和Hadoop的HDFS[5]等；目前最出色的并行處理技術(shù)是MapReduce[6]；海量數(shù)據(jù)挖掘技術(shù)在普通數(shù)據(jù)挖掘算法的基礎(chǔ)上，需要開發(fā)、研究出新的算法，目前Hive[7]、 Mahout[8]等算法適合對數(shù)據(jù)倉庫、海量數(shù)據(jù)進(jìn)行挖掘。

2 大數(shù)據(jù)與移民信息化系統(tǒng)的關(guān)系

2.1 移民信息化系統(tǒng)的數(shù)據(jù)特征

移民信息化數(shù)據(jù)來源廣泛，具有以下特征。

(1)數(shù)據(jù)來源類型眾多

為確保移民搬遷前、中、后不同階段的信息收集及服務(wù)，移民信息化系統(tǒng)設(shè)定收集的數(shù)據(jù)來自各個方面及城市基礎(chǔ)信息庫。如人口、地理、房產(chǎn)、經(jīng)濟(jì)、交通等基本運行狀態(tài)數(shù)據(jù)。這其中包括各類結(jié)構(gòu)化數(shù)據(jù)及眾多非結(jié)構(gòu)化數(shù)據(jù)，人口信息和溫濕度、氣體濃度傳感器產(chǎn)生的是結(jié)構(gòu)化數(shù)據(jù)，交通監(jiān)控攝像頭產(chǎn)生的是非結(jié)構(gòu)化數(shù)據(jù)。

(2)數(shù)據(jù)量巨大

移民信息化系統(tǒng)的數(shù)據(jù)收集具有持續(xù)化、數(shù)據(jù)增長幾何化、數(shù)據(jù)來源不斷擴(kuò)大化等特征，數(shù)據(jù)量日益增長。傳統(tǒng)的數(shù)據(jù)處理技術(shù)已無法滿足這種復(fù)雜數(shù)據(jù)的處理要求，而大數(shù)據(jù)技術(shù)正是為滿足這樣的數(shù)據(jù)處理要求應(yīng)運而生的。

(3)數(shù)據(jù)實時產(chǎn)生、實時更新

移民信息化系統(tǒng)中的數(shù)據(jù)是實時采集、實時更新的，因此能確保當(dāng)前系統(tǒng)中的數(shù)據(jù)是最新的。

2.2 大數(shù)據(jù)貫穿移民信息化系統(tǒng)各部分

移民信息化技術(shù)的總體架構(gòu)為：云計算平臺層，數(shù)據(jù)存儲與應(yīng)用層，數(shù)據(jù)采集展現(xiàn)層。其中，數(shù)據(jù)存儲與應(yīng)用層分為數(shù)據(jù)共享中心管理、數(shù)據(jù)交換管理、平臺監(jiān)控功能，輔助決策分析。數(shù)據(jù)中心采用數(shù)據(jù)倉庫技術(shù)，通過數(shù)據(jù)挖掘，實現(xiàn)陜南移民搬遷數(shù)據(jù)輔助決策分析的功能。數(shù)據(jù)交換通過服務(wù)總線和數(shù)據(jù)服務(wù)提供的各種適配器，將移民對象管理，安置項目建設(shè)，資金管理等不同子系統(tǒng)的數(shù)據(jù)按照不同的資源形態(tài)(FTP、WebService、Database)通過數(shù)據(jù)交換技術(shù)存儲到共享數(shù)據(jù)中心的數(shù)據(jù)倉庫中，如圖1所示。

在系統(tǒng)的數(shù)據(jù)采集層，運用海量數(shù)據(jù)搜集工具采集移民搬遷的各類數(shù)據(jù)；將基礎(chǔ)平臺層搭建成云計算分布式環(huán)境，為大數(shù)據(jù)技術(shù)提供最基本的物理平臺支持；在數(shù)據(jù)存儲層及數(shù)據(jù)應(yīng)用層，采用Hadoop的HDFS存儲技術(shù)存儲各類非結(jié)構(gòu)化數(shù)據(jù)，采用海量挖掘算法對各類數(shù)據(jù)進(jìn)行挖掘分析，在城市規(guī)劃、房屋建設(shè)、項目資金、地理環(huán)境監(jiān)測等方面提供決策支撐。

圖1 移民信息化系統(tǒng)技術(shù)架構(gòu)

3 大數(shù)據(jù)技術(shù)在移民信息化系統(tǒng)中的應(yīng)用

3.1 數(shù)據(jù)采集技術(shù)

在移民信息化系統(tǒng)的建設(shè)中，需要采集很多數(shù)據(jù)，以便及時掌握移民搬遷各項工程的進(jìn)展情況。這種數(shù)據(jù)的采集面更廣，數(shù)據(jù)量更大，對數(shù)據(jù)準(zhǔn)確性和嚴(yán)謹(jǐn)性要求更高。這就需要思考如何更便捷、準(zhǔn)確地獲取數(shù)據(jù)，整合數(shù)據(jù)，實現(xiàn)數(shù)據(jù)利用的最大化。

政府實際上已經(jīng)掌握大量的移民搬遷數(shù)據(jù)，可以考慮實現(xiàn)移民信息化系統(tǒng)與其他信息管理系統(tǒng)的數(shù)據(jù)共享。如在人口信息采集方面，就可以與陜西省四庫之一的“人口庫”對接；地理信息數(shù)據(jù)，可以與陜西省“地理信息數(shù)據(jù)庫”對接。由于政府行業(yè)的特殊性，要最大程度地實現(xiàn)數(shù)據(jù)共享和資源整合會面臨很多困難，不僅需要從技術(shù)層面上實現(xiàn)多種類型數(shù)據(jù)的有效融合，還需要協(xié)調(diào)政府各部門間的工作。涉及到數(shù)據(jù)安全的，還應(yīng)配合政府相關(guān)單位，做好數(shù)據(jù)審查和保密工作。

在數(shù)據(jù)采集方面，可以借助移動終端進(jìn)行實時采集，統(tǒng)一錄入。利用溫度傳感器采集地質(zhì)災(zāi)害信息，雨量傳感器、GPS、相機(jī)等設(shè)備，采集地質(zhì)災(zāi)害區(qū)的地貌特征、地理坐標(biāo)等信息；采用掃描儀、高拍儀等工具以電子化方式記錄移民搬遷的相關(guān)文件資料。

3.2 數(shù)據(jù)存儲技術(shù)

移民信息化系統(tǒng)中的數(shù)據(jù)體量大，表長度過長，數(shù)據(jù)類型眾多，包含了大量文檔、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，無法存儲到結(jié)構(gòu)化數(shù)據(jù)庫中，同時，移民人口信息一旦錄入到系統(tǒng)中后，更新較少，主要側(cè)重于信息檢索。分布式文件存儲技術(shù)能夠按照相應(yīng)規(guī)則對數(shù)據(jù)進(jìn)行分類分區(qū)存儲，讀操作大于寫操作能力，分布式存儲方式也便于日后按照標(biāo)簽、索引方式檢索信息[9]，有效提高了數(shù)據(jù)查詢效率。分布式文件系統(tǒng)如GFS、HDFS的數(shù)據(jù)分塊功能、追加更新方式實現(xiàn)了對其的高效存儲需求。此外，分布式存儲方式只需將足夠多的廉價服務(wù)器互聯(lián)，減少了企業(yè)、政府的硬件成本投入。

3.3 數(shù)據(jù)處理技術(shù)

在后期對移民數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行統(tǒng)計分析時，效率是非常重要的。傳統(tǒng)的方法分析TB級的數(shù)據(jù)需要幾個小時甚至幾天，而云計算的并行處理技術(shù)的運用，數(shù)據(jù)分析變得十分快捷。目前主流的并行式處理技術(shù)是谷歌于2004 年提出的應(yīng)用于大規(guī)模集群進(jìn)行大規(guī)模數(shù)據(jù)處理的并行計算的MapReduce模型，將Map命令發(fā)送到數(shù)據(jù)所在的各個節(jié)點上執(zhí)行，執(zhí)行獲得的中間文件寫在本地服務(wù)器上，本地寫操作減少了傳送中間文件數(shù)據(jù)對網(wǎng)絡(luò)帶寬的需求和時間；執(zhí)行Reduce操作時，主數(shù)據(jù)服務(wù)器將Reduce命令發(fā)送到中間文件所在的節(jié)點執(zhí)行，進(jìn)一步減少了數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸時間和對網(wǎng)絡(luò)帶寬的要求。此外，MapReduce模型具有很好的容錯性，當(dāng)一個數(shù)據(jù)節(jié)點發(fā)生故障或者突然宕機(jī)時，MapReduce會將正在執(zhí)行的程序動態(tài)遷移到另外一個工作節(jié)點上進(jìn)行。

MapReduce適合對數(shù)據(jù)的批處理分析，對于數(shù)據(jù)的實時處理分析，需要借助另外的計算模型Dremel,Dremel通過結(jié)合列存儲和多層次的查詢數(shù)，能夠?qū)崿F(xiàn)短時間內(nèi)的海量數(shù)據(jù)分析[10]，有利于提高政府應(yīng)對突發(fā)事件的能力。

3.4 基于數(shù)據(jù)挖掘分析的決策技術(shù)

移民信息數(shù)據(jù)庫中的數(shù)據(jù)不只起到記錄的作用，還需對數(shù)據(jù)進(jìn)行深度挖掘。分布式數(shù)據(jù)挖掘技術(shù)提供了發(fā)掘數(shù)據(jù)內(nèi)在關(guān)聯(lián)性的工具，云計算平臺、分布式數(shù)據(jù)存儲、并行處理技術(shù)加上海量數(shù)據(jù)挖掘算法組成了數(shù)據(jù)處理的一整套系統(tǒng)。

數(shù)據(jù)挖掘可以對人口信息進(jìn)行科學(xué)監(jiān)測和評估。陜南地區(qū)農(nóng)民工外出務(wù)工人數(shù)多，人員流動性強(qiáng)，基于對移民信息的科學(xué)分析，可以明確當(dāng)?shù)氐娜丝诮Y(jié)構(gòu)，預(yù)測未來的人口發(fā)展趨勢，對基礎(chǔ)醫(yī)療設(shè)施的配備、教育資源的優(yōu)化配置起到輔助決策作用。

推測出陜南地區(qū)地質(zhì)災(zāi)害發(fā)生的概率可以有效實現(xiàn)避災(zāi)避險。大數(shù)據(jù)的實時數(shù)據(jù)分析能力滿足了陜南山區(qū)的地理數(shù)據(jù)處理要求，實現(xiàn)了大規(guī)模綜合數(shù)據(jù)分析能力，從而提高預(yù)防地質(zhì)災(zāi)害的能力，對移民城鎮(zhèn)選址、移民城鎮(zhèn)規(guī)劃同樣具有指導(dǎo)意義。

移民資金信息量大，審計困難，基于大數(shù)據(jù)的快速計算能力，可以準(zhǔn)確掌握各項目的資金需求，及時發(fā)現(xiàn)資金的使用問題。另外，通過對已建設(shè)項目的資金使用情況進(jìn)行分析，可以預(yù)測新建項目的資金需求，有效做好資金預(yù)算和配比。

4 應(yīng)用結(jié)果分析

經(jīng)過幾個月的工程實踐，在移民信息系統(tǒng)中采用大數(shù)據(jù)技術(shù)是可行的。主要的應(yīng)用效果有以下幾方面：(1)系統(tǒng)的數(shù)據(jù)處理能力大大增強(qiáng)。分布式并行數(shù)據(jù)處理技術(shù)能極大的降低數(shù)據(jù)查詢、處理的時效，提高數(shù)據(jù)的實時分析能力，加強(qiáng)政府對應(yīng)急事件的響應(yīng)能力。(2)系統(tǒng)的伸縮性大大增強(qiáng)。系統(tǒng)采用分布式存儲方案，可根據(jù)日后的數(shù)據(jù)量情況，彈性增加數(shù)據(jù)服務(wù)器的數(shù)量，有效解決數(shù)據(jù)量增長帶來的問題。(3)系統(tǒng)的可靠性增加。采用動態(tài)遷移處理技術(shù)，可有效解決軟硬件故障帶來的影響。(4)系統(tǒng)的成本有所降低。采用廉價的服務(wù)器組成并聯(lián)網(wǎng)絡(luò)，對服務(wù)器的配置要求較低，可有效降低因購買高額服務(wù)器帶來的成本。

5 結(jié) 語

大數(shù)據(jù)技術(shù)在陜南移民搬遷過程中的具體應(yīng)用，解決了移民搬遷相關(guān)數(shù)據(jù)存儲、共享、處理等基礎(chǔ)性問題，適應(yīng)了統(tǒng)一管理、分布存儲、按需匯聚、關(guān)聯(lián)分析等應(yīng)用需求。

[1] 李國杰.大數(shù)據(jù)研究的科學(xué)價值[J].中國計算機(jī)學(xué)會通訊，2012(9)：8-15.

[2] 張國棟，李玲，譚靜池.陜南移民搬遷調(diào)查報告[EB/OL].(2013-08-22). http://www.sei.gov.cn/ShowArticle2008.asp?ArticleID=232893

[3] 王鵬.大數(shù)據(jù)成功預(yù)測美國大選[EB/OL]．(2014-02-25)．http://www.thebigdata.cn/YeJieDongTai/8443.html

[4] Ghemawat S, Gobioff H, Leung P T. The Google file system[C]//Proceedings of the 19 ACM Symposium on Operating Systems Principles. NY ACM Press, October. 2003:29-43.

[5] Apache Hadoop. Hadoop[EB/OL].(2009-03-06)[2014-03-14].http//hadoop apache org/.

[6] Dean J, Ghemawat S. Map Reduce. Simplied data processing on large clusters[C]//OSDI04: Proceedings of the 6 Symposium on Operating System Design and Implementation. New York: ACM Press,2004:137-150.

[7] Hive Apache. Apache Hive[EB/OL].(2014-02-28)[2014-03-14]. http://en.wikipedia.rog/wiki/Apache_Hive.

[8] Mahout Apache.Apache Mahout[EB/OL].(2009-10-12) [2014-03-14].http://www.ibm.com/developerworks/ cn/java/j-mahout/.

[9] 鄔賀銓.大數(shù)據(jù)時代的機(jī)遇與挑戰(zhàn)[J].中國科技獎勵，2013(4):47-49.

[10] 孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計算機(jī)研究與發(fā)展，2013,50(1):146-169.

[責(zé)任編輯:汪湘]

Application of big data in immigrant relocation information system

LIU Jun1， YU Bin2， GUAN Apeng3， FAN Guanghui4

(1. Southern Shaanxi Migration Relocating Co.Ltd, Department of Land and Resources of Shaanxi Province, Xi’an 710075, China; 2. School of Computer Science and Technology, Xidian University, Xi’an 710126, China; 3. Shaanxi Communication and Technology Co.Ltd, Xi’an 710075, China; 4.School of Inpormation and Technology, Northwest University, Xi’an 710127, China)

Big data technology is used in this paper for data management and analysis in the immigrant relocation information system of southern part of shaanxi province. Basic characteristics of big data and the key technology are sketched, including data collection technology, distributed storage, parallel processing technology and high-volume data mining technology. According to the framework of information system, a preliminary discussion of the application of big data in the information system is presented. The application value of big data technology and analyzed and the importance of government spending on big data technology is explained.

big data, migration, data management

10.13682/j.issn.2095-6533.2014.03.023

2014-01-14

劉軍(1969-)，男，博士研究生，工程師，從事區(qū)域經(jīng)濟(jì)與水資源管理研究。E-mail: 603889717@qq.com 魚濱(1964-)，男，博士，教授，從事軟件工程研究。E-mail: yubin@mail.xidian.edu.cn

TP311

A

2095-6533(2014)03-0112-04