冀昊悅 高迎

摘 ?要：隨著我國信息化建設(shè)的不斷發(fā)展，在扶貧開發(fā)領(lǐng)域已經(jīng)積累了大量具有實(shí)際指導(dǎo)意義的扶貧數(shù)據(jù)，如何有效管理和利用這些日益增長的扶貧大數(shù)據(jù)是當(dāng)前亟待解決的問題。為實(shí)現(xiàn)高性能的扶貧大數(shù)據(jù)管理平臺的建設(shè)，本文針對精準(zhǔn)扶貧工作中產(chǎn)生的扶貧數(shù)據(jù)管理問題，提出基于Hadoop架構(gòu)的精準(zhǔn)扶貧大數(shù)據(jù)系統(tǒng)設(shè)計(jì)方案，研究使用FP-Growth算法實(shí)現(xiàn)精準(zhǔn)扶貧數(shù)據(jù)的深入挖掘，保證數(shù)據(jù)的安全可靠和智能化利用，為精準(zhǔn)扶貧工作提供有力依據(jù)。

關(guān)鍵詞：精準(zhǔn)扶貧;扶貧數(shù)據(jù)管理;Hadoop架構(gòu)

中圖分類號：TP311.52;F323.8 ? ?文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2019）12-0018-03

Abstract：With the continuous development of information construction in China，a large number of practical poverty alleviation data has been accumulated in the field of poverty alleviation and development. How to effectively manage and utilize these growing poverty alleviation big data is an urgent problem to be solved. In order to realize the high-performance poverty alleviation big data management platform construction，this paper proposes a design scheme for accurate poverty alleviation big data system based on Hadoop architecture for the poverty alleviation data management problem generated in the precision poverty alleviation work，and research on the use of FP-Growth algorithm to achieve in-depth mining of precise poverty alleviation data to ensure the safe，reliable and intelligent use of data，providing a strong basis for precise poverty alleviation work.

Keywords：precision poverty alleviation;poverty alleviation data management;Hadoop architecture

0 ?引 ?言

精準(zhǔn)扶貧是對貧困地區(qū)的環(huán)境、居民和資源進(jìn)行綜合統(tǒng)籌，利用科學(xué)有效的信息化手段進(jìn)行精準(zhǔn)識別、精準(zhǔn)幫扶和精準(zhǔn)管理脫貧治理方法。早在2013年，習(xí)近平總書記在湖南湘西考察時(shí)就提出“實(shí)事求是、因地制宜、分類指導(dǎo)、精準(zhǔn)扶貧”的重要指示。經(jīng)過多年的精準(zhǔn)脫貧政策實(shí)施，各級部門通過觀察、走訪、調(diào)研等方式積累了大量的精準(zhǔn)扶貧開發(fā)領(lǐng)域數(shù)據(jù)，這對于決戰(zhàn)扶貧攻堅(jiān)工作有著重要的指導(dǎo)意義。

1 ?構(gòu)建基于大數(shù)據(jù)的精準(zhǔn)扶貧信息管理系統(tǒng)的必要性

盡管在扶貧開發(fā)工作過程中各地都先后開發(fā)了扶貧信息管理系統(tǒng)，但普遍存在以下幾點(diǎn)問題：

（1）各扶貧工作部門相對獨(dú)立，信息系統(tǒng)對數(shù)據(jù)的關(guān)聯(lián)性處理不夠，“信息孤島”問題嚴(yán)重存在;

（2）扶貧數(shù)據(jù)與戶籍、醫(yī)療、交通、教育、礦產(chǎn)資源等各領(lǐng)域數(shù)據(jù)息息相關(guān)，現(xiàn)有的信息管理系統(tǒng)無法構(gòu)建與各個(gè)領(lǐng)域數(shù)據(jù)相關(guān)聯(lián)的知識庫;

（3）扶貧信息的利用率較低，各級部門只可以在系統(tǒng)內(nèi)查看扶貧統(tǒng)計(jì)信息，信息系統(tǒng)也只滿足數(shù)據(jù)存儲(chǔ)和查詢的功能需求，對數(shù)據(jù)的深度發(fā)掘利用程度不高;

（4）扶貧信息系統(tǒng)內(nèi)的數(shù)據(jù)多由人工填寫或?qū)?，?shù)據(jù)較為分散，難以保證數(shù)據(jù)的準(zhǔn)確性和可靠性。

針對上述問題從技術(shù)層面分析可知，現(xiàn)有的扶貧信息管理系統(tǒng)采用的是集中式數(shù)據(jù)管理架構(gòu)，數(shù)據(jù)庫在不斷增容的情況下會(huì)出現(xiàn)數(shù)據(jù)處理能力不足的情況，對硬件系統(tǒng)的處理能力提出了很大挑戰(zhàn);不同領(lǐng)域的非結(jié)構(gòu)化扶貧數(shù)據(jù)形成了海量的數(shù)據(jù)群，但這些數(shù)據(jù)之間缺乏關(guān)聯(lián)性，從而形成了數(shù)據(jù)孤島。綜上所述，在原有的存儲(chǔ)和統(tǒng)計(jì)功能的基礎(chǔ)上，扶貧信息系統(tǒng)要在數(shù)據(jù)可靠性管理和數(shù)據(jù)深度挖掘利用等方面進(jìn)行進(jìn)一步設(shè)計(jì)，將傳統(tǒng)的扶貧數(shù)據(jù)倉庫利用到精準(zhǔn)服務(wù)工作中去，實(shí)現(xiàn)科學(xué)有效的大數(shù)據(jù)策略支持。

2 ?精準(zhǔn)扶貧大數(shù)據(jù)信息系統(tǒng)架構(gòu)

Hadoop是一種被廣泛使用的大數(shù)據(jù)集分布處理技術(shù)框架，是由著名的非營利性組織Apache軟件基金會(huì)提出和開發(fā)的。Hadoop架構(gòu)的核心技術(shù)是HDFS和MapReduce，具有高可靠性、高性能、可伸縮特性等數(shù)據(jù)處理技術(shù)優(yōu)勢。HDFS（Hadoop Distributed File System，分布式文件系統(tǒng)）實(shí)現(xiàn)了海量大數(shù)據(jù)倉庫的存儲(chǔ)和維護(hù)服務(wù)，具有極高的容錯(cuò)性和自主性，在保證Hadoop架構(gòu)的高性能的同時(shí)也可以為供應(yīng)商提供成本較為低廉的分布式服務(wù)。MapReduce是一種利用集群技術(shù)進(jìn)行高速高效運(yùn)算的技術(shù)，它具有支持領(lǐng)域搜索、海量數(shù)據(jù)計(jì)算等特點(diǎn)。

通過技術(shù)研究可知，Hadoop架構(gòu)的使用可以很好地解決原有扶貧信息系統(tǒng)數(shù)據(jù)可靠性難以保證和數(shù)據(jù)深度挖掘能力不足的問題。因此，在進(jìn)行基于大數(shù)據(jù)的精準(zhǔn)扶貧信息系統(tǒng)設(shè)計(jì)的過程中決定采用Hadoop結(jié)構(gòu)來實(shí)現(xiàn)分層結(jié)構(gòu)，如圖1所示。

從圖1可以看出，精準(zhǔn)扶貧信息管理系統(tǒng)分為用戶層、應(yīng)用層、服務(wù)層、資源層和運(yùn)行層5個(gè)層次。用戶層實(shí)現(xiàn)了人機(jī)交互界面，通過不同地點(diǎn)和版本號的客戶端來訪問應(yīng)用層的各個(gè)業(yè)務(wù)系統(tǒng);應(yīng)用層實(shí)現(xiàn)了精準(zhǔn)扶貧工作的基本業(yè)務(wù)，同時(shí)基于MapReduce對各個(gè)數(shù)據(jù)倉庫中的海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)計(jì)算和分析;服務(wù)層提供了系統(tǒng)通用的業(yè)務(wù)功能實(shí)現(xiàn)服務(wù)，如系統(tǒng)用戶信息維護(hù)、系統(tǒng)數(shù)據(jù)備份還原、報(bào)表輸出打印、數(shù)據(jù)接口交互服務(wù)等;資源層負(fù)責(zé)將各業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)庫進(jìn)行有效整合;運(yùn)行層在整個(gè)架構(gòu)最底部，實(shí)現(xiàn)了系統(tǒng)運(yùn)行所需的軟硬件、中間件和網(wǎng)絡(luò)環(huán)境的綜合管理。

3 ?精準(zhǔn)扶貧信息的數(shù)據(jù)挖掘過程

精準(zhǔn)扶貧信息的數(shù)據(jù)挖掘過程可以概括為業(yè)務(wù)分析、統(tǒng)一存儲(chǔ)、計(jì)算轉(zhuǎn)換、模型分析、模式評估和知識表示等，精準(zhǔn)扶貧數(shù)據(jù)挖掘過程如圖2所示。

從圖2可以看出，精準(zhǔn)扶貧信息的數(shù)據(jù)挖掘過程要按照數(shù)據(jù)轉(zhuǎn)換、預(yù)處理、算法挖掘和決策輸出等步驟進(jìn)行。由于扶貧信息的元數(shù)據(jù)具有容量大、內(nèi)容多、結(jié)構(gòu)復(fù)雜等特點(diǎn)，在進(jìn)行數(shù)據(jù)轉(zhuǎn)換的過程中要首先進(jìn)行業(yè)務(wù)分析來確定數(shù)據(jù)挖掘?qū)ο蠛途唧w指標(biāo)，然后按照分析結(jié)果進(jìn)行數(shù)據(jù)收集和存儲(chǔ);初步轉(zhuǎn)換得到的挖掘數(shù)據(jù)群數(shù)據(jù)的完整性、格式和有效性無法保證，還要進(jìn)行進(jìn)一步的預(yù)處理和清晰才能進(jìn)行后續(xù)操作，因此在此階段要按照前邊制定的挖掘指標(biāo)進(jìn)行計(jì)算轉(zhuǎn)換，通過平滑聚集、數(shù)據(jù)概化、規(guī)范約束等方式得到適用于數(shù)據(jù)挖掘算法的清洗后數(shù)據(jù);得到清洗數(shù)據(jù)后就要根據(jù)所選的算法構(gòu)建計(jì)算模型，此階段要根據(jù)業(yè)務(wù)需要來有針對性地選擇數(shù)據(jù)挖掘算法，這樣才能保證后續(xù)的模式評估和知識表達(dá)的正確性，為領(lǐng)導(dǎo)層的決策支持找到有價(jià)值的規(guī)則和模式，最終以圖標(biāo)的方式呈現(xiàn)給用戶層的相關(guān)用戶。

4 ?精準(zhǔn)扶貧數(shù)據(jù)挖掘FP-Growth算法

FP-Growth是一種基于分治策略的關(guān)聯(lián)分析算法，F(xiàn)P-Growth在數(shù)據(jù)挖掘中的應(yīng)用是通過頻繁模式樹（FP樹）形成的樹狀結(jié)構(gòu)實(shí)現(xiàn)的，具體做法就是將頻繁項(xiàng)集壓縮至頻繁模式樹上，再根據(jù)模式樹得出劃分模式的一組或多組條件數(shù)據(jù)庫，分別進(jìn)行數(shù)據(jù)挖掘從而得出結(jié)論。頻繁模式樹的主要過程可以概括為FP樹構(gòu)建和計(jì)算挖掘兩部分，當(dāng)數(shù)據(jù)集容量不斷增大時(shí)，頻繁模式樹的存儲(chǔ)會(huì)占用大量的內(nèi)存空間，此時(shí)就會(huì)造成頻繁模式樹的挖掘效率降低。本文針對FP-Growth算法進(jìn)行優(yōu)化設(shè)計(jì)，提高算法的數(shù)據(jù)挖掘效率。

本次對FP-Growth算法的改進(jìn)分為5個(gè)步驟，將原有的單次數(shù)據(jù)庫掃描和MapReduce計(jì)算變?yōu)閮山M執(zhí)行，以事務(wù)數(shù)據(jù)集和最小支持度為輸入，以所有支持度技術(shù)大于最小支持度的頻繁模式集合為輸出，快速得到數(shù)據(jù)挖掘結(jié)果。

步驟1：數(shù)據(jù)分片。將數(shù)據(jù)挖掘數(shù)據(jù)集以片段的形式存在便于讀取的多個(gè)節(jié)點(diǎn)上。

步驟2：并行計(jì)算。掃描目標(biāo)數(shù)據(jù)庫，計(jì)算出每個(gè)節(jié)點(diǎn)上的支持度數(shù)量并同步至頻繁項(xiàng)集合，該并行計(jì)算過程由第一次組MapReduce任務(wù)完成。

步驟3：數(shù)據(jù)分組。將步驟2同步得到的頻繁項(xiàng)集合劃分為M組，每個(gè)組包含若干項(xiàng)頻繁項(xiàng)集合的子集。

步驟4：并行挖掘。對步驟3中得到的子集進(jìn)行Map-Reduce計(jì)算，得出由組號和事務(wù)組成的數(shù)據(jù)對組別，劃分完成后將結(jié)果生成FP樹進(jìn)行進(jìn)一步的挖掘，得到頻繁模式。

步驟5：聚合。在步驟4的挖掘計(jì)算得出結(jié)果后，通過聚合的方式形成最終結(jié)果。

5 ?結(jié) ?論

本分分析了精準(zhǔn)扶貧信息管理的重要性，研究了現(xiàn)有信息管理系統(tǒng)的弊端，提出了基于Hadoop架構(gòu)的大數(shù)據(jù)精準(zhǔn)扶貧信息系統(tǒng)架構(gòu)，介紹了精準(zhǔn)扶貧信息的數(shù)據(jù)挖掘過程和核心算法FP-Growth算法的使用方法，最后通過改進(jìn)FP-Growth算法實(shí)現(xiàn)了數(shù)據(jù)挖掘的高效性改進(jìn)?；诖髷?shù)據(jù)的精準(zhǔn)扶貧信息管理系統(tǒng)的構(gòu)建，可以有效打破各部門的“信息孤島”枷鎖，實(shí)現(xiàn)扶貧開發(fā)工作的全過程透明化管理和跟蹤，為精準(zhǔn)扶貧工作打造良好的信息通道，實(shí)現(xiàn)數(shù)據(jù)的共建、共享和挖掘利用。

參考文獻(xiàn)：

[1] 張航，張欣，張平康，等.基于Hadoop的精準(zhǔn)扶貧大數(shù)據(jù)信息系統(tǒng) [J].電子科技，2018，31（7）：59-62+71.

[2] 陳小寧，郭進(jìn)，李俊松，等.基于大數(shù)據(jù)的旅游精準(zhǔn)扶貧信息系統(tǒng)設(shè)計(jì)研究 [J].科技展望，2016，26（36）：7.

[3] 孫紅，郝澤明.大數(shù)據(jù)處理流程及存儲(chǔ)模式的改進(jìn) [J].電子科技，2015，28（12）：167-172.

[4] 陳吉榮，樂嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述 [J].計(jì)算機(jī)工程與科學(xué)，2013，35（10）：25-35.

[5] 劉黨朋.不均衡環(huán)境下面向Hadoop的負(fù)載均衡算法研究 [D].北京：北京郵電大學(xué)，2015.

[6] 張栗粽，崔園，羅光春，等.面向大數(shù)據(jù)分布式存儲(chǔ)的動(dòng)態(tài)負(fù)載均衡算法 [J].計(jì)算機(jī)科學(xué)，2017，44（5）：178-183.

[7] 申利民，陳真，李峰.考慮數(shù)據(jù)變化范圍的Web服務(wù)服務(wù)質(zhì)量協(xié)同預(yù)測方法 [J].計(jì)算機(jī)集成制造系統(tǒng)，2017，23（1）：215-224.

[8] 梁弼.基于Struts2的Web控制層研究及應(yīng)用 [J].計(jì)算機(jī)與數(shù)字工程，2016，44（5）：912-916.

[9] 崔妍，包志強(qiáng).關(guān)聯(lián)規(guī)則挖掘綜述 [J].計(jì)算機(jī)應(yīng)用研究，2016，33（2）：330-334.

[10] 郭曉波，趙書良，王長賓，等.一種新的面向普通用戶的多值屬性關(guān)聯(lián)規(guī)則可視化挖掘方法 [J].電子學(xué)報(bào)，2015，43（2）：344-352.

作者簡介：冀昊悅（1998-），女，漢族，北京人，本科，研究方向：大數(shù)據(jù)扶貧。