亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于網(wǎng)頁文本的數(shù)據(jù)處理類崗位需求分析

        2018-11-08 03:47:28陳偉龍邱梁泉張小華通訊作者
        信息記錄材料 2018年11期
        關(guān)鍵詞:崗位職責數(shù)據(jù)處理工程師

        陳偉龍,邱梁泉,張小華(通訊作者)

        (仲愷農(nóng)業(yè)工程學院 廣東 廣州 510225)

        1 引言

        近年來,隨著互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)、三網(wǎng)融合等通信與IT技術(shù)的迅猛發(fā)展,數(shù)據(jù)的快速增長,信息社會己經(jīng)進入了大數(shù)據(jù)時代。本文收集2016年度拉勾網(wǎng)的網(wǎng)頁招聘信息作為分析所用數(shù)據(jù)。數(shù)據(jù)采集工具使用Python的Scrapy框架,同時配置redis和MongoDB數(shù)據(jù)庫,分別用于爬蟲URL池和數(shù)據(jù)存儲。采集的招聘信息中包括數(shù)據(jù)分析師職位的數(shù)據(jù)2053行,數(shù)據(jù)工程師的數(shù)據(jù)192行,數(shù)據(jù)科學家的數(shù)據(jù)65行。

        2 數(shù)據(jù)處理類崗位分析

        按照崗位職責和要求差異,將數(shù)據(jù)處理類崗位分為三類:數(shù)據(jù)分析師、數(shù)據(jù)工程師和數(shù)據(jù)科學家,三種不同職業(yè)的定義為:數(shù)據(jù)分析師指的是不同行業(yè)中,專門從事行業(yè)數(shù)據(jù)搜集、整理、分析,并依據(jù)數(shù)據(jù)做出行業(yè)研究、評估和預測的專業(yè)人員。數(shù)據(jù)工程師一般被定義成“深刻理解統(tǒng)計學科的明星軟件工程師”,他們的核心價值在于他們借由清晰數(shù)據(jù)創(chuàng)建數(shù)據(jù)管道的能力。數(shù)據(jù)科學家是指能采用科學方法、運用數(shù)據(jù)挖掘工具對復雜多量的數(shù)字、符號、文字、網(wǎng)址、音頻或視頻等信息進行數(shù)字化重現(xiàn)與認識,并能尋找新的數(shù)據(jù)洞察的工程師或?qū)<摇?/p>

        數(shù)據(jù)處理類崗位地域分布顯示,數(shù)據(jù)科學職位需求量較多的是北京、上海、深圳、杭州和廣州,越是發(fā)達的城市越多數(shù)據(jù)處理人才需求。數(shù)據(jù)處理類崗位行業(yè)分布顯示,移動互聯(lián)網(wǎng)行業(yè)職位需求數(shù)量為610171,占比51%,居于首位。電子商務次之,占比19%。金融和O2O、企業(yè)服務和數(shù)據(jù)服務排名依次遞減。排名前六的行業(yè)基本屬于互聯(lián)網(wǎng)行業(yè),互聯(lián)網(wǎng)行業(yè)對數(shù)據(jù)處理人才需求旺盛。

        3 數(shù)據(jù)處理類崗位薪資分析

        本文用Kruskal-Wallis檢驗分析多組數(shù)據(jù)之間的差異性是否顯著,對三種崗位的工資水平進行Kruskal-Wallis檢驗。在0.05置信水平下,檢驗結(jié)果顯示P值為0,說明數(shù)據(jù)分析師、數(shù)據(jù)工程師和數(shù)據(jù)科學家的工資存在顯著差異。不同類崗位的薪資水平影響因素不同,本文從公司實力影響和崗位人才兩個維度,選取公司規(guī)模、公司融資情況、工作經(jīng)驗要求、學歷要求四個指標,分析三種崗位薪資的影響因素。

        根據(jù)公司規(guī)模、融資情況、工作經(jīng)驗和學歷要求四個影響因素,分別與數(shù)據(jù)分析師、數(shù)據(jù)工程師和數(shù)據(jù)科學家三種崗位的薪資進行Kruskal-Wallis檢驗,結(jié)果顯示,在0.05的顯著性水平下:公司規(guī)模、融資情況、工作經(jīng)驗和學歷要求的差異均對數(shù)據(jù)分析師工資有顯著影響;學歷要求的差異對數(shù)據(jù)工程師的平均工資有顯著影響,而其他變量P值均大于0.05,公司規(guī)模、融資情況和工作經(jīng)驗的差異對數(shù)據(jù)工程師沒有顯著影響;公司規(guī)模、融資情況、工作經(jīng)驗和學歷要求四個因素均對數(shù)據(jù)科學家工資有顯著影響。

        4 三種崗位職責要求分析

        以數(shù)據(jù)科學家、數(shù)據(jù)工程師和數(shù)據(jù)科學家的崗位職責和職位要求進行分詞處理,根據(jù)詞匯詞頻進行基本的分析,詞頻以詞云形式展示如下(以下圖左均為崗位職責的詞云,圖右均為職位要求的詞云)。數(shù)據(jù)分析師頻繁用到數(shù)據(jù)庫的SQL語句、R語言、SAS或者SPSS等軟件。在學歷和經(jīng)驗方面,學歷要求中最多的是本科學歷,經(jīng)驗要求是熟練,說明數(shù)據(jù)分析師是一個更多依靠經(jīng)驗的職位。

        圖2 數(shù)據(jù)工程師的崗位職責和職位要求

        由圖2可知,數(shù)據(jù)工程師的主要職責是根據(jù)業(yè)務需求進行數(shù)據(jù)架構(gòu)平臺的搭建,能數(shù)據(jù)分析、數(shù)據(jù)挖掘的方法進行的建模,基本報表生成能力。在理論知識方面,數(shù)據(jù)工程師要求任職者掌握數(shù)據(jù)庫、數(shù)據(jù)分析、數(shù)據(jù)挖掘的知識,具備獨立編程和建模能力,自主搭建數(shù)據(jù)的數(shù)據(jù)架構(gòu)平臺。在軟件操作方面,數(shù)據(jù)工程師需學會操作Linux操作系統(tǒng),數(shù)據(jù)庫操作需掌握C++或C語言,Hadoop,mysql;數(shù)據(jù)建模需掌握R語言,Python,SAS等軟件的使用;分布式計算中要掌握MapReduce,Spark等軟件;網(wǎng)頁操作要求PHP的使用。在學歷和經(jīng)驗方面,數(shù)據(jù)工程師學歷要求最多是本科,經(jīng)驗要求是熟練。

        圖3 數(shù)據(jù)科學家的崗位職責和職位要求

        由圖3可知,數(shù)據(jù)科學家的主要職責是根據(jù)用戶的需求,利用數(shù)據(jù)分析方法、數(shù)據(jù)挖掘算法和機器學習的技術(shù),將海量數(shù)據(jù)中處理并建模,不斷改進算法效率。在理論知識方面,數(shù)據(jù)挖掘要求任職者掌握數(shù)學、統(tǒng)計學、數(shù)據(jù)挖掘和機器學習的知識,具備獨立建模和編程的能力;能結(jié)合業(yè)務需求挖掘數(shù)據(jù)中的價值。在軟件操作方面,數(shù)據(jù)科學家需學會使用Linux操作系統(tǒng),數(shù)據(jù)庫操作需掌握C++或C語言,Java,Hadoop,mysql;數(shù)據(jù)建模需掌握R語言,Python,SAS等軟件的使用。在學歷和經(jīng)驗方面,數(shù)據(jù)科學家學歷要求最多是碩士,經(jīng)驗要求是熟練。在學歷和經(jīng)驗上,三個職業(yè)要要求有豐富的經(jīng)驗,可見數(shù)據(jù)科學更是經(jīng)驗的科學;數(shù)據(jù)分析師和數(shù)據(jù)工程師學歷要求偏向本科,數(shù)據(jù)科學家學歷要求偏向研究生。

        在軟件使用上,三種職業(yè)都要求對Linux系統(tǒng)有所了解,對數(shù)據(jù)庫操作上要求掌握sql,Hadoop等數(shù)據(jù)庫操作語句;軟件Excel、SPSS、SAS、R和Python都有使用,只是側(cè)重的比例不一樣。

        由圖1可知,數(shù)據(jù)分析師的崗位職責主要是根據(jù)用戶需求進行相關(guān)行業(yè)數(shù)據(jù)產(chǎn)品的分析,結(jié)合自身的經(jīng)驗和模型結(jié)果提出相應的建議,給予決策者決策的方向。在理論知識方面,數(shù)據(jù)分析師不僅要求任職者熟悉數(shù)學、統(tǒng)計學、計算機相關(guān)的知識,對數(shù)據(jù)有一定的敏感度,具備獨立建模的能力,熟練掌握建模流程;而且還要求掌握相關(guān)業(yè)務知識,能結(jié)合統(tǒng)計學和業(yè)務知識建模。在軟件操作方面,

        猜你喜歡
        崗位職責數(shù)據(jù)處理工程師
        淺談高校二級學院研究生教學秘書工作的難點及對策
        《機械工程師》征訂啟事
        認知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補與極大似然估計法*
        心理學報(2022年4期)2022-04-12 07:38:02
        Kenoteq的工程師研發(fā)環(huán)保磚塊
        英語文摘(2021年10期)2021-11-22 08:02:40
        ILWT-EEMD數(shù)據(jù)處理的ELM滾動軸承故障診斷
        人民銀行基層支行崗位職責工作中存在的問題及對策建議
        青年工程師
        安徽建筑(2020年4期)2020-05-23 01:37:12
        論收銀員的崗位職責及提高方法
        活力(2019年22期)2019-03-16 12:47:36
        淺議商業(yè)地產(chǎn)企業(yè)的成本管理
        基于希爾伯特- 黃變換的去噪法在外測數(shù)據(jù)處理中的應用
        日韩精品一区二区三区免费视频| 天天做天天爱天天综合网| 国产日韩欧美网站| 亚洲欧美日韩国产一区二区精品| 杨幂Av一区二区三区| 亚洲国产大胸一区二区三区| 青春草免费在线观看视频| 狠狠cao日日橹夜夜十橹| 欧美性猛交xxxx乱大交极品| 国产产区一二三产区区别在线| 少妇人妻200篇白洁| 亚洲精品第一国产麻豆| 好爽要高潮了在线观看| 日韩在线不卡一区三区av| 99久久免费视频色老| 妺妺窝人体色www聚色窝| 国产精品成人va| 好爽要高潮了在线观看| 亚洲一区亚洲二区视频在线| 国产成人无码a在线观看不卡| 99久久伊人精品综合观看| 欧美猛男军警gay自慰| 一级午夜视频| av天堂一区二区三区精品| 亚洲av男人的天堂一区| 男ji大巴进入女人的视频小说| 亚洲女人被黑人巨大进入| 国产精品人成在线观看| av国产自拍在线观看| 亚洲av熟女中文字幕| 男人扒开女人双腿猛进视频| 变态 另类 欧美 大码 日韩| 国产91对白在线观看| 日本一级二级三级在线| 亚洲人成网站色在线入口口| 国产成人无码18禁午夜福利p| 无码国产激情在线观看| 中文字幕亚洲区第一页| 日本熟女精品一区二区三区| 一区二区三区中文字幕| 超清精品丝袜国产自在线拍|