摘要：本文從建設(shè)背景、研究目標(biāo)、平臺設(shè)計(jì)等方面介紹高校畢業(yè)生精準(zhǔn)就業(yè)服務(wù)平臺的設(shè)計(jì)與建設(shè)。該平臺以大數(shù)據(jù)分析和可視化技術(shù)為基礎(chǔ)，向高校畢業(yè)生、實(shí)習(xí)生提供全面、準(zhǔn)確的企業(yè)招聘信息，以優(yōu)化就業(yè)資源配置為目標(biāo)，優(yōu)化畢業(yè)生求職選擇，提升其職業(yè)滿意度和長期職業(yè)發(fā)展?jié)摿?，同時(shí)，也能也為企業(yè)招聘到適合的崗位人才、降低企業(yè)招聘成本提供了解決方案。

關(guān)鍵詞：大數(shù)據(jù)；就業(yè)服務(wù)；數(shù)據(jù)可視化；平臺建設(shè)

doi：10.3969/J.ISSN.1672-7274.2025.03.008

中圖分類號：G 647.38；TP 3 " " " " "文獻(xiàn)標(biāo)志碼：B " " " " " "文章編碼：1672-7274（2025）03-00-03

Research on Precision Employment Service Platform for College Graduates Based on Big Data Technology

LI Changqian

（Beihai Vocational College， Beihai 536000， China）

Abstract： This article introduces the design and construction of a precision employment service platform for college graduates from the aspects of construction background， research objectives， and platform design. The platform is based on big data analysis and visualization technology， providing comprehensive and accurate enterprise recruitment information to college graduates and interns， with the goal of optimizing employment resource allocation， optimizing graduates' job search choices， improving career satisfaction and long-term career development potential. At the same time， it also provides a solution for enterprises to recruit suitable job talents and reduce recruitment costs.

Keywords： big data; employment services; data visualization; platform construction

近年來，隨著我國高等教育規(guī)模的擴(kuò)大及產(chǎn)業(yè)結(jié)構(gòu)的深化改革，高校畢業(yè)生和企業(yè)之間供需不匹配導(dǎo)致就業(yè)形勢越發(fā)嚴(yán)峻，使得就業(yè)精準(zhǔn)匹配成為當(dāng)代就業(yè)市場亟待解決的重要問題[1]。

1 " 平臺建設(shè)背景

在國內(nèi)，楊福華[2]等人對利用大數(shù)據(jù)對精準(zhǔn)就業(yè)做出了較為詳細(xì)的定義：就業(yè)服務(wù)精準(zhǔn)化中的“精準(zhǔn)”，是兼顧求職過程與就業(yè)結(jié)果而言的，強(qiáng)調(diào)以準(zhǔn)確分類、全面覆蓋、兼顧個(gè)性為要義，既要在就業(yè)服務(wù)過程中進(jìn)行精準(zhǔn)識別、精細(xì)分類、專業(yè)指導(dǎo)，又要使就業(yè)結(jié)果精準(zhǔn)匹配、精確反饋，克服就業(yè)工作中存在的“泛”和“散”的現(xiàn)象，從而提升就業(yè)精準(zhǔn)化水平[3]。在技術(shù)實(shí)現(xiàn)過程中仍存在不少問題。陳濤等人利用知識圖譜方式獲取文本語義信息并計(jì)算用戶偏好度，依據(jù)用戶偏好度使用協(xié)同過濾算法為用戶實(shí)現(xiàn)信息推薦。但該方法在實(shí)際應(yīng)用過程中準(zhǔn)確率和召回率數(shù)值不穩(wěn)定，推薦效果不好。尚燕敏等人則依據(jù)信息的異構(gòu)關(guān)系，利用貝葉斯因子模式實(shí)現(xiàn)信息推送。但該方法模型在迭代過程中存在欠擬合情況，導(dǎo)致其推送結(jié)果不夠準(zhǔn)確，實(shí)用性不強(qiáng)[4]。

綜上所述，目前國內(nèi)的就業(yè)服務(wù)平臺存在的問題是過度強(qiáng)調(diào)精確和個(gè)性化，但在缺乏準(zhǔn)確和大量的數(shù)據(jù)支撐下，對用戶的臉譜化不夠精確甚至偏離嚴(yán)重，導(dǎo)致“精準(zhǔn)匹配”“個(gè)性化推薦”等功能無法在實(shí)際中發(fā)揮應(yīng)有的效果。

對于高校畢業(yè)生而言，僅憑一些學(xué)情數(shù)據(jù)和綜合評價(jià)，其很難符合大數(shù)據(jù)的條件，由于缺乏數(shù)據(jù)支撐，臉譜化的準(zhǔn)確性則無從談起，其實(shí)，對于求職者而言，他們更需要一種對求職市場的全面認(rèn)識，從各個(gè)維度了解不同職位的信息，從而幫助他們優(yōu)化求職選擇，并且培養(yǎng)長期職業(yè)發(fā)展?jié)摿Α?/p>

2 " 研究目標(biāo)

本文介紹的基于大數(shù)據(jù)技術(shù)的高校畢業(yè)生精準(zhǔn)就業(yè)服務(wù)平臺以Flink為計(jì)算核心并協(xié)調(diào)Hadoop分布式文件系統(tǒng)、Python網(wǎng)絡(luò)爬蟲等模塊來完成正常工作。通過Python網(wǎng)絡(luò)爬蟲從各大網(wǎng)絡(luò)招聘平臺獲取招聘信息，從而獲取實(shí)時(shí)、全面的工作崗位數(shù)據(jù)。然后通過實(shí)時(shí)流式計(jì)算，對海量數(shù)據(jù)進(jìn)行篩選，最后以可視化的結(jié)果呈現(xiàn)職位不同維度的統(tǒng)計(jì)信息，令求職者對市場需求和發(fā)展有明確的認(rèn)識，并能結(jié)合自身的特點(diǎn)對職位進(jìn)行選擇。

目前，大部分的網(wǎng)絡(luò)招聘平臺和就業(yè)推薦系統(tǒng)根據(jù)用戶輸入的崗位需求信息和在自己平臺上注冊的企業(yè)進(jìn)行匹配，職位信息相較為局限，而且很多平臺數(shù)據(jù)疏于維護(hù)，信息數(shù)據(jù)陳舊過時(shí)，企業(yè)也會在多個(gè)平臺進(jìn)行注冊和發(fā)布職位信息，造成數(shù)據(jù)的重復(fù)，求職者對于海量的職位只能通過簡單的職位名稱、公司地址和薪資范圍進(jìn)行簡單的篩選，無法根據(jù)自身的特點(diǎn)進(jìn)行細(xì)粒度的選擇。

本平臺采用流式計(jì)算和可視化方案，信息實(shí)時(shí)全面，計(jì)算速度快，結(jié)果內(nèi)容呈現(xiàn)用戶體驗(yàn)佳，有利于提高求職的準(zhǔn)確性和匹配度。特別是對剛步入社會的高校畢業(yè)生，既能清晰地觀測到各個(gè)崗位的數(shù)據(jù)信息變化，也能在求職過程中快速找準(zhǔn)自身定位，及時(shí)調(diào)整策略和提高職業(yè)技能和素質(zhì)。

3 " 平臺整體設(shè)計(jì)

3.1 整體框架

平臺系統(tǒng)整體包括數(shù)據(jù)收集、ETL、分析和展示四大模塊，整體方案如圖1所示。

圖1 系統(tǒng)功能模塊圖

在技術(shù)實(shí)現(xiàn)上，首先是數(shù)據(jù)收集，通過Python網(wǎng)絡(luò)爬蟲技術(shù)對各大網(wǎng)絡(luò)招聘平臺、地方門戶網(wǎng)站進(jìn)行職位數(shù)據(jù)的爬取，能減少信息不平衡和局限性。其次是數(shù)據(jù)的ETL，利用Flink對數(shù)據(jù)進(jìn)行清洗后，通過Hadoop分布式文件系統(tǒng)對職位數(shù)據(jù)進(jìn)行存儲，確保數(shù)據(jù)的安全性和一致性。在數(shù)據(jù)分析方面，利用Hive提供的類SQL查詢功能對海量數(shù)據(jù)進(jìn)行維度分析后，將結(jié)果傳遞給Web系統(tǒng)，基于SpringBoot+Vue實(shí)現(xiàn)的Web系統(tǒng)負(fù)責(zé)可視化展示。項(xiàng)目技術(shù)架構(gòu)圖如圖2所示。3.2 數(shù)據(jù)收集

職位數(shù)據(jù)通過基于Scrapy爬蟲的框架從各個(gè)招聘網(wǎng)絡(luò)平臺收集，原始數(shù)據(jù)以html的形式傳輸?shù)街付ǘ丝冢缓笸ㄟ^Flume對該端口監(jiān)聽將相關(guān)數(shù)據(jù)高效采集到Kafka中進(jìn)行緩存。數(shù)據(jù)從來源到使用，通過Flume和Kafka的緩存，解決了源到端的速率不匹配問題。Kafka對數(shù)據(jù)的穩(wěn)定存儲提供了很好的保障。

通常，爬蟲軟件會將爬取到的網(wǎng)頁直接保存為數(shù)據(jù)文件，但考慮到爬蟲程序本身在大數(shù)據(jù)量時(shí)業(yè)務(wù)已十分繁忙，不應(yīng)再兼顧文件 I/O 操作，而且此時(shí)采集到的數(shù)據(jù)為原始html文件，沒有經(jīng)過數(shù)據(jù)清洗和加工，如果直接保存到文件，在數(shù)據(jù)ETL階段還需要讀取文件，增加不必要的工作，也增加了系統(tǒng)負(fù)擔(dān)。

基于此，我們將爬取到的數(shù)據(jù)輸出至Socket，再使用Flume對Socket進(jìn)行實(shí)時(shí)的監(jiān)聽并接收數(shù)據(jù)，對于原始數(shù)據(jù)里面的冗余信息，以獲取到的職位信息為例，只需獲取其中的公司名稱、所在區(qū)域、薪資范圍和技能要求等關(guān)鍵信息，而原始數(shù)據(jù)包含大量的html標(biāo)簽和廣告數(shù)據(jù)，因此在保存數(shù)據(jù)前需要進(jìn)行初步的ETL操作。可使用Flume接收數(shù)據(jù)后進(jìn)行ETL后再保存到文件，這樣避免了多次文件I/O操作，從而實(shí)現(xiàn)高效的數(shù)據(jù)采集。

3.3 數(shù)據(jù)預(yù)處理

這里使用基于Flink的流式計(jì)算來完成數(shù)據(jù)的ETL，為了暫存原始數(shù)據(jù)且匹配Flume和Flink的速率，可采用Kafka進(jìn)行數(shù)據(jù)的緩存，Kafka對大數(shù)據(jù)處理能力出眾，F(xiàn)lume先把數(shù)據(jù)灌入Kafka，然后Flink再逐漸從Kafka中上傳數(shù)據(jù)進(jìn)行處理。

本系統(tǒng)主要進(jìn)行以下的數(shù)據(jù)清洗工作：

（1）標(biāo)準(zhǔn)化：以拉勾網(wǎng)的數(shù)據(jù)為例，對于福利待遇這一維度的數(shù)據(jù)，有些數(shù)據(jù)以逗號作為分隔符，有些以空格分隔，有些甚至多種分隔符混用，因此需要在數(shù)據(jù)清洗階段將其規(guī)范為統(tǒng)一的分隔符。

（2）缺失值處理：例如，有些職位對技能的要求不限，有些網(wǎng)站允許入駐企業(yè)留空，有些則默認(rèn)填寫不限，系統(tǒng)根據(jù)字段的類型采用不同的缺失值處理策略進(jìn)行填充或刪除。

（3）重復(fù)值處理：針對企業(yè)在不同平臺發(fā)布相同的職位招聘，或者在同一平臺發(fā)布的重復(fù)信息，系統(tǒng)需要能判斷重復(fù)數(shù)據(jù)并刪除。

經(jīng)過Flink對數(shù)據(jù)進(jìn)行初步的清洗，對于提取出來的數(shù)據(jù)采用json格式進(jìn)行存儲，這樣后續(xù)的數(shù)據(jù)分析無論是Hive、Spark或者Flink都具有較好的兼容性。由于數(shù)據(jù)量較大，因此采用Hadoop分布式存儲系統(tǒng)（HDFS）對采集的數(shù)據(jù)進(jìn)行存儲，可提供安全、穩(wěn)定、一致的數(shù)據(jù)服務(wù)。

3.4 數(shù)據(jù)分析

經(jīng)過ETL之后的數(shù)據(jù)，會存儲在HDFS上，此時(shí)的數(shù)據(jù)量極為龐大，如果直接將這些數(shù)據(jù)存入結(jié)構(gòu)化數(shù)據(jù)庫，程序的運(yùn)行會非常耗時(shí)。因此，針對海量數(shù)據(jù)的分析工作，可引入數(shù)據(jù)倉庫作為緩沖機(jī)制，這里的數(shù)據(jù)倉庫選擇使用Hive，Hive是基于Apache Hadoop的數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，能夠?qū)⒔Y(jié)構(gòu)化的數(shù)據(jù)文件映射為數(shù)據(jù)庫表，并提供類SQL查詢功能，可以方便地對存儲在HDFS中的數(shù)據(jù)進(jìn)行查詢和分析，最后再將Hive的分析結(jié)果導(dǎo)出到關(guān)系型數(shù)據(jù)庫，這樣可以減少關(guān)系型數(shù)據(jù)庫的讀寫壓力和提高系統(tǒng)的執(zhí)行性能。

利用Hive進(jìn)行數(shù)據(jù)分析的基本思路是對事實(shí)表進(jìn)行維度分析，得到維度表，再對維度表進(jìn)行聚合與計(jì)算，例如，事實(shí)表中包含職位的所在地區(qū)、薪資范圍、福利待遇和技能要求等信息，而我們需要對薪資做一個(gè)統(tǒng)計(jì)分析，希望以5000元為步長對薪資數(shù)據(jù)進(jìn)行分組，統(tǒng)計(jì)每個(gè)階段的薪資分布，那么對應(yīng)的就需要對薪資維度表進(jìn)行分析，維度表的數(shù)據(jù)來自于對事實(shí)表的薪資字段做flatten操作，并根據(jù)維度表設(shè)定的步進(jìn)值做聚合統(tǒng)計(jì)。當(dāng)需要對薪資字段進(jìn)行可視化展示時(shí)，就對薪資維度表進(jìn)行查詢，查詢結(jié)果通過Sqoop輸出到My SQL。

3.5 數(shù)據(jù)展示

數(shù)據(jù)展示模塊為用戶提供可視化結(jié)果的部分，通過數(shù)據(jù)的可視化，能讓畢業(yè)生對就業(yè)前景、發(fā)展方向和職業(yè)規(guī)劃都有清楚的認(rèn)識，也能為高校人才培養(yǎng)提供有力的數(shù)據(jù)支持。以用戶輸入“大數(shù)據(jù)”關(guān)鍵字為例，通過職位分布圖，用戶可以直觀地了解大數(shù)據(jù)職位的全國分布情況，對以后的職業(yè)規(guī)劃會有大致的方向。又如，希望對大數(shù)據(jù)職位所需的技能進(jìn)行了解，則能得到技能需求的詞云圖（如圖3所示），位于詞云圖最中心位置，字體最大則表示該技能需求最多，用戶根據(jù)詞云圖可以了解該類型的職位對哪些技能需求最為常見，從而明確發(fā)展方向，規(guī)劃職業(yè)路線。

圖3 技能需求的詞云圖

4 " 結(jié)束語

本課題研究的高校畢業(yè)生精準(zhǔn)就業(yè)服務(wù)平臺具有成本低廉、使用價(jià)值高、極具經(jīng)濟(jì)可行性等特點(diǎn)，其可通過從畢業(yè)生求職、企業(yè)人才需求、高校人才培養(yǎng)這三個(gè)方面對就業(yè)服務(wù)資源進(jìn)行整合，為畢業(yè)生提供了極大的便利。隨著我國的教育改革深化和勞動(dòng)力結(jié)構(gòu)的優(yōu)化，對高校畢業(yè)生、企業(yè)和高校都提出了新的挑戰(zhàn)，若將此系統(tǒng)投入使用，可以整合并優(yōu)化各種就業(yè)服務(wù)資源，一方面，畢業(yè)生通過該平臺可以更全面地獲取企業(yè)提供的職位信息，并優(yōu)化簡歷，進(jìn)而節(jié)省時(shí)間和精力。另一方面，高校和企業(yè)可以更好地洞察彼此的需求，建立起更緊密的合作關(guān)系。這將有助于高校培養(yǎng)更符合市場需求的人才，有助于提高勞動(dòng)力的素質(zhì)和就業(yè)質(zhì)量，促進(jìn)經(jīng)濟(jì)的可持續(xù)發(fā)展。同時(shí)，優(yōu)秀的人才匹配也將為企業(yè)帶來更高的生產(chǎn)效率和競爭力，推動(dòng)產(chǎn)業(yè)升級和創(chuàng)新發(fā)展。

參考文獻(xiàn)

[1] 唐菁菁.電子商務(wù)專業(yè)本科畢業(yè)生就業(yè)精準(zhǔn)推薦研究[D].柳州：廣西科技大學(xué)，2022.

[2] 楊福華，舒啟江，劉紅杏等.大數(shù)據(jù)視域下高校畢業(yè)生精準(zhǔn)就業(yè)服務(wù)的實(shí)現(xiàn)路徑[J].黑龍江科學(xué)，2023，14（13）：84-86，89.

[3] 金鑠.基于用戶畫像的高校畢業(yè)生就業(yè)推薦方法研究[D].大慶：東北石油大學(xué)，2022.

[4] 劉剛，李慶鈺，裴瑩瑩.基于大數(shù)據(jù)技術(shù)的就業(yè)信息平臺設(shè)計(jì)與實(shí)現(xiàn)[J].北華航天工業(yè)學(xué)院學(xué)報(bào)，2023，33（5）：17-19.