黃 毅

(貴州省水利水電勘測設(shè)計研究院有限公司， 貴州 貴陽 550002)

為了進一步強化大中型水庫移民后期扶持力度，國務(wù)院出臺了相關(guān)的政策文件，為水庫移民后扶工作的開展提供了有效指導(dǎo)。為了評價水庫移民后扶政策實施的成效，國家發(fā)改委、財政部以及水利部門聯(lián)合發(fā)布了水庫移民后扶監(jiān)測評估的相關(guān)文件，明確了監(jiān)測評估的指標(biāo)體系和方法內(nèi)容。但是就現(xiàn)狀分析，監(jiān)測評估工作在具體實施中還存在一定的不足，如評估主體的能力不足、各地區(qū)后期扶持監(jiān)測評估不夠深入、樣本選擇不合理等等，對水庫移民后扶工作的開展和政策的實施造成了一定的影響。鑒于此本文圍繞水庫移民后扶監(jiān)測信息系統(tǒng)開展分析和研究。

1 大數(shù)據(jù)關(guān)鍵技術(shù)

在信息時代背景下，計算機和網(wǎng)絡(luò)技術(shù)的應(yīng)用較為普及，不同領(lǐng)域和不同行業(yè)的人都可以利用計算機技術(shù)和移動終端采集技術(shù)完成數(shù)據(jù)的采集和使用，基于這種背景下，“大數(shù)據(jù)”概念應(yīng)運而生。綜合業(yè)界的研究成果，大數(shù)據(jù)具有以下幾個特征，如圖1所示。

圖1 大數(shù)據(jù)特征圖

第一數(shù)據(jù)量較大，常規(guī)儲存方式不合理；第二結(jié)構(gòu)多樣性，不僅包含結(jié)構(gòu)化數(shù)據(jù)，還有以圖片、視頻為主的大量非結(jié)構(gòu)化數(shù)據(jù)；第三數(shù)據(jù)利用價值較低，在海量的數(shù)據(jù)中難以用常規(guī)的方法捕捉有價值的數(shù)據(jù)；第四實用性較高，盡管數(shù)據(jù)量較大，但是在處理的過程中具有較高的實時性。

在水庫移民后期扶持監(jiān)測信息系統(tǒng)中，大數(shù)據(jù)關(guān)鍵技術(shù)的應(yīng)用主要體現(xiàn)在四個方面，如圖2所示：第一數(shù)據(jù)采集。一般情況下，可以利用平板電腦、手機、傳感器以及計算機網(wǎng)絡(luò)技術(shù)獲取大量的數(shù)據(jù)資料。第二分布式文件儲存技術(shù)。目前儲存技術(shù)包含Google 的 GFS、bigTable、云計算以及 Hadoop 的 HDFS等等，水庫移民后期扶持信息數(shù)據(jù)較為復(fù)雜，常規(guī)儲存技術(shù)難以解決根本問題，因此需要借助大數(shù)據(jù)技術(shù)來儲存水庫移民后期扶持信息數(shù)據(jù)。第三并行處理技術(shù)。目前較為先進的并行處理技術(shù)為MapReduce，能夠保障水庫移民后期扶持監(jiān)測數(shù)據(jù)處理的實時性和連續(xù)性，在一定程度上提高了數(shù)據(jù)處理的效率。第四大數(shù)據(jù)挖掘技術(shù)。目前較為常見的大數(shù)據(jù)挖掘技術(shù)包含Hive、 Mahout等等，解決了傳統(tǒng)數(shù)據(jù)技術(shù)中存在的問題，提高了數(shù)據(jù)利用率。

圖2 水庫移民后扶監(jiān)測信息系統(tǒng)中大數(shù)據(jù)關(guān)鍵技術(shù)的體現(xiàn)

2 數(shù)據(jù)處理過程

大數(shù)據(jù)技術(shù)貫穿于水庫移民后期扶持整個監(jiān)測信息系統(tǒng)中，主要體現(xiàn)在數(shù)據(jù)采集、數(shù)據(jù)儲存、數(shù)據(jù)加工和決策支持的各個階段，如圖3所示。

圖3 數(shù)據(jù)處理過程

2.1 數(shù)據(jù)采集

在水庫移民后期扶持監(jiān)測信息系統(tǒng)中，為了進一步落實政策實施的成效，需要采集大量的數(shù)據(jù)信息，比如后期扶持人口、年度計劃、資金、后期扶持項目、專項資金、規(guī)劃、移民培訓(xùn)等相關(guān)數(shù)據(jù)，以便能夠及時的掌握水庫移民后期扶持相關(guān)工作的進展情況，實現(xiàn)脫貧致富的后期扶持效果。

水庫移民后期扶持監(jiān)測所采集的數(shù)據(jù)涉及面較廣，數(shù)據(jù)量較大，對數(shù)據(jù)實時性、連續(xù)性和精準(zhǔn)性的要求較高，因此在該階段需要便捷、準(zhǔn)確的獲取移民后期扶持?jǐn)?shù)據(jù)，對各種數(shù)據(jù)科學(xué)的篩選和清晰，以此提高數(shù)據(jù)的價值。水庫移民后扶監(jiān)測數(shù)據(jù)采集工具較為豐富，較為常見的有手機、攝像機、錄音筆、數(shù)碼相機等等，通過數(shù)字化的方式記錄文件資料，在錄入時確保數(shù)據(jù)的精準(zhǔn)性。以貴州地區(qū)的水庫移民后期扶持?jǐn)?shù)據(jù)采集為例，在后扶政策實施情況的監(jiān)測評估指標(biāo)見表1。

表1 后扶政策實施情況檢測評估指標(biāo)體系

2.2 數(shù)據(jù)儲存

大中型水庫移民后期扶持監(jiān)測的數(shù)據(jù)量較大，且結(jié)構(gòu)復(fù)雜，不僅包含結(jié)構(gòu)化的數(shù)據(jù)，還包含文字、音頻、圖片、視頻等非結(jié)構(gòu)化的數(shù)據(jù)，采用常規(guī)性的儲存方式難以滿足水庫移民后期扶持監(jiān)測數(shù)據(jù)，也不利于對數(shù)據(jù)進行分析和處理。因此在大數(shù)據(jù)背景下，針對水庫移民后扶監(jiān)測數(shù)據(jù)可以利用分布式文件存儲技術(shù)，通過分布式文件存儲技術(shù)的應(yīng)用能夠在滿足海量數(shù)據(jù)存儲的要求下實現(xiàn)低成本運行，因分布式文件存儲技術(shù)對硬件沒有較高的要求，使用較低成本的服務(wù)器就可以完成互聯(lián)，充分的滿足了大中型水庫移民后期扶持監(jiān)測信息系統(tǒng)的數(shù)據(jù)存儲要求[1]。

2.3 數(shù)據(jù)加工

目前來看，傳統(tǒng)的數(shù)據(jù)加工方法需要耗費大量的時間，且實時性和精準(zhǔn)性難以保障，尤其是面對復(fù)雜的移民后期扶持監(jiān)測數(shù)據(jù)，難以充分的挖掘數(shù)據(jù)價值。基于大數(shù)據(jù)背景下，在對數(shù)據(jù)加工處理的過程中，可以將云計算應(yīng)用其中，通過并行處理技術(shù)對數(shù)據(jù)的加工處理，數(shù)據(jù)的分析效率得到了顯著的提升，并且對非結(jié)構(gòu)化數(shù)據(jù)也能夠?qū)崟r連續(xù)處理。

Map Reduce模型是大數(shù)據(jù)環(huán)境下并行處理的主要技術(shù)，能夠?qū)Υ髷?shù)據(jù)集群的相關(guān)數(shù)據(jù)進行并行處理，以此來滿足大數(shù)據(jù)處理的需要。主要的工作方式分為以下幾個方面：首先建立中間文件，中間文件的獲取需要在服務(wù)器上進行操作，通過對節(jié)點數(shù)據(jù)發(fā)送相關(guān)的命令，促使數(shù)據(jù)在節(jié)點上運行，從而進行文件的獲取。其次是節(jié)點的運行指令[2]。通常情況下節(jié)點的運行指令需要在本地服務(wù)器上完成，這樣就減少了中間文件數(shù)據(jù)的傳送時間，如果需要執(zhí)行Reduce 操作，那么就可以將Reduce 操作直接發(fā)送到指定的節(jié)點，在本次服務(wù)器內(nèi)執(zhí)行，也減少了數(shù)據(jù)對網(wǎng)絡(luò)所產(chǎn)生的依賴性，從而促使數(shù)據(jù)的處理效果得到了有效的提升。之后是容錯處理。就目前的現(xiàn)狀來看，Map Reduce模型的容錯性能較好，在大數(shù)據(jù)處理和運行的過程中，一旦程序發(fā)生故障，Map Reduce模型就會直接將其遷移到正常的數(shù)據(jù)節(jié)點中，促使程度的正常運轉(zhuǎn)。最后是實時處理[3]。Map Reduce能夠?qū)?shù)據(jù)進行批處理，針對實時處理的數(shù)據(jù)，可以用Dremel完成模型的計算，并利用多層次的查詢數(shù)對海量的數(shù)據(jù)進行處理，效率相對較高，從而確保了水庫移民后扶監(jiān)測數(shù)據(jù)處理的實時性。

2.4 決策支持

移民后期扶持監(jiān)測數(shù)據(jù)不僅能夠起到記錄的作用，并且在移民后期扶持工作開展的過程中也發(fā)揮著重要的價值，通過對海量數(shù)據(jù)信息的深入挖掘能夠有效的提供數(shù)據(jù)的利用率和價值，為相關(guān)部門的決策提供有效的參考依據(jù)[4]。

基于大數(shù)據(jù)背景下，在數(shù)據(jù)挖掘分析的過程中可以使用分布式處理技術(shù)，能夠充分挖掘數(shù)據(jù)和數(shù)據(jù)之間的內(nèi)在規(guī)律和關(guān)聯(lián)性。目前大數(shù)據(jù)技術(shù)的云計算、分布式存儲、分布式數(shù)據(jù)處理以及大數(shù)據(jù)挖掘技術(shù)形成了較為完善的水庫移民后期扶持監(jiān)測數(shù)據(jù)信息系統(tǒng)。在移民后期扶持監(jiān)測中，要充分的利用大數(shù)據(jù)挖掘技術(shù)對移民后期扶持實施的效果進行監(jiān)測和評估，從而為政策的不斷完善提供有效參考[5]。

以貴州地區(qū)的大中型水庫移民人口為例，該地區(qū)的移民流動性較大，因經(jīng)濟發(fā)展落后，移民多為外出務(wù)工的農(nóng)民，因此需要分析水庫移民人口的動態(tài)變化，從而對當(dāng)?shù)厝丝诮Y(jié)構(gòu)進行有效的分析和處理。通過對未來人口發(fā)展趨勢的分析與預(yù)測能夠為政策和制度的執(zhí)行與優(yōu)化提供有效的保障，同時也能夠?qū)崿F(xiàn)資源的合理配置[6]。尤其是在精準(zhǔn)扶貧政策落實的過程中，通過大數(shù)據(jù)技術(shù)能夠?qū)Ω鞯貐^(qū)的人口結(jié)構(gòu)模式以及存在的問題進行分析，從而對水庫移民進行精準(zhǔn)扶持。并且在大數(shù)據(jù)挖掘技術(shù)實際應(yīng)用的過程中，其實時分析能力和連續(xù)處理能夠還能夠滿足移民后期扶持?jǐn)?shù)據(jù)的處理要求，從而提高移民后期扶持的實時性和精準(zhǔn)性，從而促進移民后期扶持工作的開展，真正的實現(xiàn)水庫移民脫貧致富的目標(biāo)[7]。

除此之外水庫移民后扶所涉及到的范圍較為廣泛，后扶的資金量較大，后扶的項目計劃較多，為水庫移民后扶工作的開展帶來了一定的難度。在大數(shù)據(jù)技術(shù)應(yīng)用中，能夠在較短的時間內(nèi)掌握各地區(qū)的情況和項目的進展情況，及時的算出資金的需求，從而為后扶資金的使用和管理提供了有效的方法。

3 結(jié)語

目前，在貴州地區(qū)水庫移民后期扶持監(jiān)測評估的過程中大數(shù)據(jù)技術(shù)得到了有效的應(yīng)用，解決了水庫移民后扶監(jiān)測工作中存在的基礎(chǔ)性問題，實現(xiàn)了數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)化管理、大數(shù)據(jù)的分布式存儲和處理等等，真正的滿足了移民后扶監(jiān)測數(shù)據(jù)的根本需求。因此大數(shù)據(jù)技術(shù)在移民后扶監(jiān)測中能夠科學(xué)合理的進行水庫移民的后扶監(jiān)測，為移民后扶相關(guān)政策的落地執(zhí)行提供了有效保障，也實現(xiàn)了扶持方式方法的優(yōu)化，為精準(zhǔn)扶貧政策的執(zhí)行和落實提供了有效保障，奠定了堅實的基礎(chǔ)。