亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于大數(shù)據(jù)技術(shù)的區(qū)域房?jī)r(jià)與就業(yè)數(shù)據(jù)關(guān)聯(lián)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

        2020-11-02 02:34:32韓冬郭浩峰李林洋汪菊琴江森林
        電腦知識(shí)與技術(shù) 2020年25期
        關(guān)鍵詞:移動(dòng)端大數(shù)據(jù)技術(shù)

        韓冬 郭浩峰 李林洋 汪菊琴 江森林

        摘要:現(xiàn)今有大量的找房和招聘系統(tǒng),但缺少為找房和就業(yè)提供綜合性數(shù)據(jù)關(guān)聯(lián)分析參考的相關(guān)系統(tǒng)。該系統(tǒng)通過(guò)大數(shù)據(jù)技術(shù)獲取相關(guān)信息,通過(guò)MapReduce關(guān)鍵技術(shù)對(duì)數(shù)據(jù)進(jìn)行清洗、計(jì)算,結(jié)合ECharts展示數(shù)據(jù)并分析,在移動(dòng)端設(shè)備將各地區(qū)的房?jī)r(jià)、房租、工資等信息用不同類(lèi)型的方式分析并展示它們之間的關(guān)系。

        關(guān)鍵詞:大數(shù)據(jù)技術(shù);MapReduce;ECharts;移動(dòng)端

        中圖分類(lèi)號(hào):TP311 ? ? ?文獻(xiàn)標(biāo)識(shí)碼:A

        文章編號(hào):1009-3044(2020)25-0089-03

        Abstract: Nowadays, there are a large number of housing search and recruitment systems, but there is a lack of relevant systems to provide comprehensive data association analysis reference for housing search and employment. The system obtains relevant information through big data technology, cleans and calculates the data through MapReduce key technology, displays and analyzes the data combined with echards, and analyzes the relationship between house prices, rents, wages and other information of various regions in different types of ways on mobile devices.

        Key words: big data technology; MapReduce; ECharts; mobile devices

        1 背景

        現(xiàn)今,大部分的買(mǎi)房租房平臺(tái)或就業(yè)系統(tǒng)基本只提供具體信息,這些房?jī)r(jià)房租數(shù)據(jù)都不能為用戶(hù)提供真正的實(shí)際意義,用戶(hù)也不能通過(guò)這些瑣碎的數(shù)據(jù)來(lái)為自己的買(mǎi)房租房做出計(jì)劃。人們就會(huì)在區(qū)域內(nèi)找房并就業(yè)存在一定的茫然,尤其是對(duì)于應(yīng)屆畢業(yè)生而言這種情況更為嚴(yán)重。如今我們社會(huì)的信息產(chǎn)業(yè)正逐步趨向于云計(jì)算、大數(shù)據(jù)時(shí)代,為了方便他們參考房?jī)r(jià)及就業(yè)信息,因此設(shè)計(jì)了一個(gè)適配于移動(dòng)端的區(qū)域房?jī)r(jià)與就業(yè)數(shù)據(jù)關(guān)聯(lián)分析系統(tǒng)。本系統(tǒng)通過(guò)數(shù)據(jù)關(guān)聯(lián)分析并結(jié)合圖表展示的方式,將各地區(qū)的房?jī)r(jià)、房租、工資信息用不同類(lèi)型的方式分析并展示它們之間的關(guān)系。

        2 系統(tǒng)的設(shè)計(jì)

        本系統(tǒng)的開(kāi)發(fā)主要分為三期,一是對(duì)數(shù)據(jù)的獲取,主要是通過(guò)各種房?jī)r(jià)網(wǎng)站、住房網(wǎng)站、招聘網(wǎng)站進(jìn)行定時(shí)的數(shù)據(jù)爬取。二是數(shù)據(jù)的清洗以及分析,主要利用Hadoop架構(gòu)的MapReduce技術(shù),對(duì)數(shù)據(jù)的關(guān)聯(lián)性分析主要采用ECharts工具。三是移動(dòng)端應(yīng)用程序的實(shí)現(xiàn),主要通過(guò)VUE框架結(jié)合使用Echarts圖表和高德地圖進(jìn)行圖形展示和數(shù)據(jù)顯示。系統(tǒng)總體框架如圖1所示:

        2.1 數(shù)據(jù)爬取方案

        Python在爬蟲(chóng)領(lǐng)域的應(yīng)用非常廣泛,由于它自己的特點(diǎn),在各大平臺(tái)可移植性強(qiáng),使用python開(kāi)發(fā)的應(yīng)用程序質(zhì)量更加可靠,有大量的內(nèi)置包能夠幫助開(kāi)發(fā)者實(shí)現(xiàn)復(fù)雜的功能需求。本系統(tǒng)借助python開(kāi)發(fā)的優(yōu)點(diǎn),使用爬蟲(chóng)中常用的urllib庫(kù),webdriver庫(kù),scrapy框架等的基礎(chǔ)上構(gòu)建了部署在docker容器上的數(shù)據(jù)采集子系統(tǒng)方案。

        2.2 數(shù)據(jù)清洗與分析子系統(tǒng)方案

        首先需要實(shí)現(xiàn)Hadoop HA分布式系統(tǒng)的搭建,在此架構(gòu)上才可通過(guò)MapReduce技術(shù)實(shí)現(xiàn)數(shù)據(jù)的清洗以及計(jì)算。在數(shù)據(jù)清洗過(guò)程中,需要重新審查相關(guān)數(shù)據(jù)是否有重復(fù)、缺失以及無(wú)效值等情況,因?yàn)楸鞠到y(tǒng)的源數(shù)據(jù)是通過(guò)數(shù)據(jù)爬取子系統(tǒng)獲取的,在設(shè)計(jì)數(shù)據(jù)爬取子系統(tǒng)時(shí)就考慮到了上述數(shù)據(jù)的異常情況,所以數(shù)據(jù)庫(kù)中異常數(shù)據(jù)的數(shù)量較少,因此在數(shù)據(jù)清洗中可選擇剔除異常數(shù)據(jù)。因?yàn)镋Charts工具可視化數(shù)據(jù)的效果較好,因此選擇該工具并對(duì)其數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析。

        2.3 移動(dòng)端應(yīng)用程序子系統(tǒng)方案

        本系統(tǒng)通過(guò)開(kāi)發(fā)適配移動(dòng)端的Html5 App進(jìn)行分析數(shù)據(jù)的應(yīng)用展示。功能模塊如圖2所示。

        2.3.1 基于Echarts的移動(dòng)端App

        首先要對(duì)地區(qū)地圖進(jìn)行繪制和展示。服務(wù)器通過(guò)數(shù)據(jù)庫(kù)將已經(jīng)分析好的數(shù)據(jù)進(jìn)行區(qū)域性的檢索和劃分,通過(guò)JSON數(shù)據(jù)的格式返回給客戶(hù)端,客戶(hù)端將數(shù)據(jù)接收,通過(guò)ECharts配置項(xiàng)的數(shù)據(jù)設(shè)置將區(qū)域和數(shù)據(jù)繪制出來(lái)。通過(guò)搜索框的自動(dòng)提示定位到不同區(qū)域或者選擇的區(qū)域發(fā)生改變時(shí),就可以通過(guò)區(qū)域編碼發(fā)送給服務(wù)器,服務(wù)器接收并檢索對(duì)應(yīng)的數(shù)據(jù)并響應(yīng)給客戶(hù)端。

        2.3.2 基于JWT驗(yàn)證技術(shù)的移動(dòng)端App

        通過(guò)用戶(hù)端登錄發(fā)送的信息進(jìn)行密鑰加密,產(chǎn)生對(duì)應(yīng)Token值后返回給客戶(hù)端,客戶(hù)端接收存儲(chǔ)Token,在每次與服務(wù)器的交互時(shí)攜帶Token,服務(wù)器印證之后返回?cái)?shù)據(jù)。

        3 系統(tǒng)的實(shí)現(xiàn)

        3.1 爬取數(shù)據(jù)子系統(tǒng)的實(shí)現(xiàn)

        3.1.1 環(huán)境搭建

        配置阿里云鏡像拉取源;安裝docker運(yùn)行依賴(lài);安裝docker環(huán)境。

        3.1.2 數(shù)據(jù)爬取程序以及部署

        指定唯一的項(xiàng)目名稱(chēng);設(shè)置爬取的域名范圍;解析并下載數(shù)據(jù);初始化瀏覽器,調(diào)用相關(guān)接口進(jìn)行操控;獲得網(wǎng)頁(yè)源代碼后解析并存儲(chǔ)數(shù)據(jù);將程序拷貝到linux平臺(tái)生產(chǎn)環(huán)境,構(gòu)建并啟動(dòng)鏡像。

        3.2 數(shù)據(jù)清洗與分析子系統(tǒng)的實(shí)現(xiàn)

        3.2.1 Hadoop HA分布式系統(tǒng)的搭建

        對(duì)各節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)配置;在主節(jié)點(diǎn)中安裝并配置SSH、Hadoop、Zookeeper、Java環(huán)境、Eclipse、MySQL等;生成主節(jié)點(diǎn)的SSH公鑰,將其傳輸分節(jié)點(diǎn)并對(duì)其授權(quán);將主節(jié)點(diǎn)中安裝的內(nèi)容傳輸至分節(jié)點(diǎn)中;在主節(jié)點(diǎn)處啟動(dòng)Hadoop。

        3.2.2 數(shù)據(jù)清洗、計(jì)算以及分析

        數(shù)據(jù)庫(kù)連接;剔除房?jī)r(jià)與就業(yè)數(shù)據(jù)的重復(fù)值、缺失值、無(wú)效值;統(tǒng)一數(shù)據(jù)格式;分區(qū)域計(jì)算房?jī)r(jià)、薪資的平均值以及價(jià)格區(qū)間的數(shù)量;將清洗以及計(jì)算后的數(shù)據(jù)臨時(shí)存儲(chǔ)至Hive倉(cāng)庫(kù);通過(guò)Sqoop工具將Hive倉(cāng)庫(kù)的數(shù)據(jù)導(dǎo)入至MySQL關(guān)系數(shù)據(jù)庫(kù)中;通過(guò)ECharts工具可視化清洗及計(jì)算后的房?jī)r(jià)與就業(yè)數(shù)據(jù);對(duì)清洗及計(jì)算后的房?jī)r(jià)與就業(yè)數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析。

        3.3 移動(dòng)端應(yīng)用程序子系統(tǒng)的實(shí)現(xiàn)

        3.3.1 模塊的設(shè)計(jì)

        該子系統(tǒng)共有八個(gè)模塊,分別為:網(wǎng)絡(luò)請(qǐng)求模塊 http.js;路由守衛(wèi)模塊 premit.js;地圖加載模塊 loadMap.js;狀態(tài)管理模塊 store.js;地圖配置模塊 mapConfig.js;JWT配置模塊 jwt.js;數(shù)據(jù)庫(kù)配置模塊 dbConfig.js;數(shù)據(jù)庫(kù)連接模塊 db.js。

        3.3.2 移動(dòng)端應(yīng)用程序子系統(tǒng)功能

        1)登錄注冊(cè)界面,如圖3所示,實(shí)現(xiàn)用戶(hù)的登錄以及注冊(cè);

        2)數(shù)據(jù)展示界面,如圖4、5、6所示,實(shí)現(xiàn)地區(qū)繪制,區(qū)域分析圖表的展示,小區(qū)分析圖表的展示,參與人數(shù)的展示,不同區(qū)域的數(shù)據(jù)修正以及不同小區(qū)的數(shù)據(jù)修正;

        3)個(gè)人信息界面,如圖7所示,實(shí)現(xiàn)用戶(hù)信息的展示和修改,用戶(hù)密碼的更改。

        4 結(jié)束語(yǔ)

        對(duì)一個(gè)系統(tǒng)進(jìn)行開(kāi)發(fā)不只是僅僅體現(xiàn)在做出什么東西,而要在于對(duì)整體架構(gòu)的分析、設(shè)計(jì)。在分析時(shí)還得考慮實(shí)際的使用狀況,不能想當(dāng)然地自己認(rèn)為是什么樣就是什么樣,要站在不同人的角度對(duì)自己的項(xiàng)目進(jìn)行檢驗(yàn)和找出缺點(diǎn)。在制作的過(guò)程中,我們總會(huì)發(fā)現(xiàn)出一些問(wèn)題,必須經(jīng)過(guò)團(tuán)隊(duì)成員之間的多次溝通和交流,才能使系統(tǒng)得以完善。該系統(tǒng)將會(huì)對(duì)用戶(hù)有著很大的用處,通過(guò)大數(shù)據(jù)給用戶(hù)提供更直觀的區(qū)域數(shù)據(jù)關(guān)聯(lián)分析,便于用戶(hù)的參考。

        參考文獻(xiàn):

        [1] 陳樂(lè).基于Python的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)[J].電子世界,2018(16):163,165.

        [2] 林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用:概念、存儲(chǔ)、處理、分析與應(yīng)用[M].北京:人民郵電出版社,2017.

        [3] Apache Hadoop Project[EB/OL].[2019-12-20].http://Hadoop.apache.org.

        [4] 王菲露,李軍,宋楊,等.基于Ajax技術(shù)的ECharts實(shí)時(shí)圖形報(bào)表實(shí)現(xiàn)[J].黑龍江工業(yè)學(xué)院學(xué)報(bào)(綜合版),2019,19(12):79-83.

        [5] 柴青山.基于MVVM模式的Vue.js框架在物流軟件自動(dòng)化測(cè)試系統(tǒng)中的應(yīng)用研究[D].北京:北京郵電大學(xué),2019.

        [6] 陳宇收,饒宏博,王英明,等.基于JWT的前后端分離程序設(shè)計(jì)研究[J].電腦編程技巧與維護(hù),2019(9):11-12.

        【通聯(lián)編輯:謝媛媛】

        猜你喜歡
        移動(dòng)端大數(shù)據(jù)技術(shù)
        大數(shù)據(jù)分析的移動(dòng)端在網(wǎng)絡(luò)課堂教學(xué)中的應(yīng)用
        淺析移動(dòng)端視頻的發(fā)展
        戲劇之家(2016年22期)2016-11-30 19:05:30
        論大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的應(yīng)用
        談?wù)凱C端流量轉(zhuǎn)移至移動(dòng)端趨勢(shì)下廣告投放的模式創(chuàng)新
        商(2016年34期)2016-11-24 15:16:59
        移動(dòng)端醫(yī)療維修系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
        高校檔案管理信息服務(wù)中大數(shù)據(jù)技術(shù)的應(yīng)用
        大數(shù)據(jù)技術(shù)在電氣工程中的應(yīng)用探討
        大數(shù)據(jù)技術(shù)在商業(yè)銀行中的應(yīng)用分析
        国内精品久久久久久久影视麻豆| 操B小视频国产| 偷拍av一区二区三区| 亚洲精品成人久久av| 一区二区三区日本视频| 国产精品天天看天天狠| 中文日韩亚洲欧美制服| 中国一 片免费观看| 91久久精品国产91久久| 98精品国产综合久久| 40分钟永久免费又黄又粗| av天堂网手机在线观看| 欧洲女人与公拘交酡视频| 亚洲中文字幕无码久久| 福利视频一二区| 精品人妻日韩中文字幕| 国产高清在线一区二区不卡| 亚洲成av人片在www鸭子| 国产精品无码久久综合| 成年无码av片在线| 免费的一级毛片| 最新日本免费一区二区三区| 91九色老熟女免费资源| 国产精品美女久久久久av福利| 日本黄页网站免费观看| 日本少妇人妻xxxxx18| 久久精品一品道久久精品9| 人妻少妇粉嫩av专区一| 伊人久久综合无码成人网| 日韩少妇激情一区二区| 亚洲VR永久无码一区| 午夜亚洲精品视频网站| 国产视频激情在线观看| 国产ww久久久久久久久久| 国产精品成人99一区无码| 少妇熟女淫荡丰满| 中文字幕一二三四五六七区| 377p日本欧洲亚洲大胆张筱雨 | 无码久久精品蜜桃| 亚洲黄色av一区二区三区| 久久精品国产亚洲av电影网 |