趙鵬飛

摘? 要：在高校畢業(yè)生人數(shù)逐年遞增的大背景下，高校獲取的崗位信息與就業(yè)市場(chǎng)的需求不對(duì)稱的矛盾越顯突出?，F(xiàn)階段大數(shù)據(jù)技術(shù)迅猛發(fā)展，開(kāi)發(fā)數(shù)據(jù)驅(qū)動(dòng)下的高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)既可以為高校畢業(yè)生提供精準(zhǔn)的就業(yè)崗位推薦服務(wù)，又可以通過(guò)數(shù)據(jù)分析功能為高校學(xué)科專業(yè)設(shè)置和就業(yè)指導(dǎo)工作提供相應(yīng)依據(jù)，具有切實(shí)的理論和現(xiàn)實(shí)意義。

關(guān)鍵詞：數(shù)據(jù)驅(qū)動(dòng)? ?高校畢業(yè)生? ?崗位推薦? ?數(shù)據(jù)采集

中圖分類號(hào)：TP311.52? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-3791（2021）07（a）-0099-03

Abstract： Under the background that the number of college graduates is increasing year by year， the contradiction between the job information obtained by colleges and universities and the demand of the job market is becoming more and more prominent. At this stage， with the rapid development of big data technology， the development of data-driven employment management service system for college graduates can not only provide accurate employment recommendation services for college graduates， but also provide corresponding basis for discipline setting and employment guidance in colleges and universities through data analysis function， which has practical theoretical and practical significance.

Key Words： Data driven; College graduates; Job recommendation; Data Collection

1? 背景

近些年，我國(guó)的高等教育發(fā)展迅速，招生人數(shù)逐年遞增，造成每年畢業(yè)生的數(shù)量增長(zhǎng)迅猛。2001年全國(guó)大學(xué)畢業(yè)生數(shù)量約114萬(wàn)，到了2021年，全國(guó)高校畢業(yè)生總?cè)藬?shù)已達(dá)到909萬(wàn)，短短20年間翻了近8倍。2020年的統(tǒng)計(jì)數(shù)據(jù)顯示，全國(guó)高等教育的毛入學(xué)率達(dá)到54.4%，已經(jīng)實(shí)現(xiàn)了從大眾化到普及化的階段，全國(guó)高校在校生人數(shù)突破4 000萬(wàn)。每年高考報(bào)名人數(shù)也是逐年增長(zhǎng)，2021年全國(guó)高考報(bào)名1 078萬(wàn)人，據(jù)此分析，在未來(lái)幾年內(nèi)的大學(xué)畢業(yè)生還會(huì)延續(xù)增長(zhǎng)勢(shì)頭。與之相對(duì)應(yīng)的是，全社會(huì)所能提供的就業(yè)崗位增幅遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到高校畢業(yè)生數(shù)量的增幅，就業(yè)市場(chǎng)依然呈現(xiàn)“供大于求”的買方市場(chǎng)。“就業(yè)難”問(wèn)題已經(jīng)成為國(guó)家和全社會(huì)共同關(guān)注的一個(gè)重要問(wèn)題。

造成目前這種矛盾的原因，最重要的是結(jié)構(gòu)性矛盾。就業(yè)單位對(duì)于招聘崗位的需求與大學(xué)畢業(yè)生的能力存在很大差異性，這種差異給大學(xué)畢業(yè)生在求職上造成很大困難。如何解決這一結(jié)構(gòu)性矛盾，讓二者相互適應(yīng)，提高大學(xué)生就業(yè)核心競(jìng)爭(zhēng)力，是整個(gè)高等教育界亟待解決的問(wèn)題。

國(guó)內(nèi)很多高校都通過(guò)提高就業(yè)服務(wù)來(lái)緩解這一矛盾，通過(guò)建設(shè)高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)來(lái)對(duì)就業(yè)相關(guān)的信息進(jìn)行采集、處理、分析、推薦和輔助決策功能。通過(guò)就業(yè)管理服務(wù)系統(tǒng)，高校就業(yè)指導(dǎo)管理部門可以通過(guò)采集到的學(xué)生信息和就業(yè)崗位信息進(jìn)行比對(duì)，通過(guò)多角度的精準(zhǔn)策略匹配，將適合某一畢業(yè)生的崗位精準(zhǔn)推薦給本人，幫助畢業(yè)生找準(zhǔn)自身定位，避免盲目就業(yè)，實(shí)現(xiàn)理性就業(yè)。同時(shí)，就業(yè)管理服務(wù)系統(tǒng)通過(guò)采集到的就業(yè)單位和就業(yè)崗位信息，能夠預(yù)測(cè)出當(dāng)下和未來(lái)一段時(shí)間內(nèi)就業(yè)市場(chǎng)的需求導(dǎo)向，這些信息需要反饋給高校教學(xué)部門做決策依據(jù)，調(diào)整專業(yè)設(shè)置和學(xué)科布局，提高所修課程與就業(yè)崗位的匹配度，提高畢業(yè)生的就業(yè)能力，進(jìn)而提高高校的就業(yè)率和畢業(yè)生的就業(yè)質(zhì)量。

數(shù)據(jù)驅(qū)動(dòng)下的互聯(lián)網(wǎng)開(kāi)辟了招聘的新渠道[1-2]。調(diào)查結(jié)果顯示，2019年有超過(guò)480多萬(wàn)的用人單位通過(guò)互聯(lián)網(wǎng)招聘，方便快捷地為求職者提供了大量的就業(yè)崗位信息，大數(shù)據(jù)技術(shù)把招聘引入了信息化時(shí)代?；ヂ?lián)網(wǎng)招聘平臺(tái)的廣泛應(yīng)用，海量的就業(yè)崗位信息撲面而來(lái)，無(wú)關(guān)和無(wú)效的信息很多。在大規(guī)模復(fù)雜的就業(yè)信息中過(guò)濾出適合自身的工作崗位，需要通過(guò)大數(shù)據(jù)計(jì)算功能針對(duì)不同求職者進(jìn)行個(gè)性化推薦。另外，高校畢業(yè)生就業(yè)情況回訪不容樂(lè)觀，畢業(yè)生的參與度非常低，高校無(wú)法掌握畢業(yè)生職業(yè)發(fā)展動(dòng)態(tài)。造成高校的學(xué)科和專業(yè)設(shè)置不能緊隨市場(chǎng)變化而調(diào)整，畢業(yè)生就業(yè)能力與社會(huì)實(shí)際需求對(duì)接不暢。所以，高校畢業(yè)生需要通過(guò)一個(gè)就業(yè)管理服務(wù)系統(tǒng)找到適合自己的崗位。另外，高校需要通過(guò)就業(yè)管理服務(wù)系統(tǒng)獲取到社會(huì)需求信息，用這些信息來(lái)輔助決策，包括學(xué)科專業(yè)設(shè)置、課程體系建設(shè)、培養(yǎng)方案制訂、就業(yè)指導(dǎo)方向等工作?，F(xiàn)階段，各高?；径加芯蜆I(yè)數(shù)據(jù)管理系統(tǒng)，但是大都功能簡(jiǎn)單、傳統(tǒng)，無(wú)法滿足海量數(shù)據(jù)處理，效率較低。所以，設(shè)計(jì)開(kāi)發(fā)一個(gè)數(shù)據(jù)驅(qū)動(dòng)下的高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)勢(shì)在必行。該系統(tǒng)不僅可以管理傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)也可以對(duì)于各種非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，將其格式化、歸類等操作，對(duì)每個(gè)畢業(yè)生不同情況數(shù)據(jù)進(jìn)行分析，將適合的就業(yè)崗位進(jìn)行個(gè)性化的推薦。同時(shí)，高校也將收集到的招聘信息進(jìn)行深度數(shù)據(jù)挖掘，從中分析當(dāng)前就業(yè)市場(chǎng)情況，預(yù)測(cè)未來(lái)就業(yè)導(dǎo)向，根據(jù)分析結(jié)果對(duì)該校學(xué)科專業(yè)建設(shè)做出科學(xué)的調(diào)整和規(guī)劃，輔助高校決策。

2? 研究框架

2.1 Spark數(shù)據(jù)處理框架

Apache Spark由美國(guó)加州大學(xué)伯克利分校的AMPLab實(shí)驗(yàn)室于2009年研發(fā)，用于提高數(shù)據(jù)處理速度、易用性、海量數(shù)據(jù)迭代運(yùn)算和復(fù)雜分析功能的數(shù)據(jù)并行計(jì)算處理框架，2010年該框架成為Apache的眾多開(kāi)源項(xiàng)目之一。由于大量開(kāi)發(fā)者和用戶的使用，圍繞Spark框架形成了一個(gè)數(shù)據(jù)處理生態(tài)圈。

2.2 硬件環(huán)境

數(shù)據(jù)驅(qū)動(dòng)下高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)設(shè)計(jì)研究（以下簡(jiǎn)稱系統(tǒng)）的運(yùn)行須架設(shè)3臺(tái)服務(wù)器保障其順暢運(yùn)行[3-4]。每臺(tái)服務(wù)器均配置了Spark、Kafka和Flume框架，分別負(fù)責(zé)提供Web運(yùn)行服務(wù)、數(shù)據(jù)采集服務(wù)和具體業(yè)務(wù)服務(wù)。Web運(yùn)行服務(wù)器提供Web系統(tǒng)訪問(wèn)服務(wù)，可以為用戶提供友好的訪問(wèn)界面和功能;數(shù)據(jù)采集服務(wù)器用于從網(wǎng)絡(luò)中采集就業(yè)崗位信息;具體業(yè)務(wù)服務(wù)器用來(lái)用來(lái)管理和分析就業(yè)崗位信息，具體內(nèi)容如圖1所示。

2.3 軟件環(huán)境

系統(tǒng)在Linux操作系統(tǒng)下運(yùn)行，版本為Ubuntul6.04。數(shù)據(jù)采集功能的開(kāi)發(fā)框架是Python語(yǔ)言的Scrapy框架，數(shù)據(jù)庫(kù)系統(tǒng)采用MongoDB來(lái)存儲(chǔ)數(shù)據(jù)。具體業(yè)務(wù)服務(wù)器在Spark、MLlib、Spark Streaming組件下開(kāi)發(fā)設(shè)計(jì)，并使用Flume、Zookeeper、Kafka等開(kāi)發(fā)軟件。

3? 系統(tǒng)總體功能設(shè)計(jì)

數(shù)據(jù)驅(qū)動(dòng)下的高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)根據(jù)其功能可劃分為四大模塊，分別為用戶信息管理模塊、數(shù)據(jù)采集模塊、崗位推薦模塊、數(shù)據(jù)分析模塊。每個(gè)模塊下又分別有若干子功能。

3.1 用戶信息管理模塊設(shè)計(jì)

該模塊的功能用于用戶的注冊(cè)和登錄服務(wù)，對(duì)于用戶信息管理和關(guān)于用戶信息的各種配置功能[5-6]。整個(gè)系統(tǒng)采用B/S模式設(shè)計(jì)，用戶界面友好。當(dāng)新用戶初次打開(kāi)系統(tǒng)主界面時(shí)，必須注冊(cè)個(gè)人信息。系統(tǒng)采用郵箱、密碼和驗(yàn)證碼三重認(rèn)證注冊(cè)模式，當(dāng)新用戶正確填寫之后，系統(tǒng)會(huì)將一個(gè)帶有校驗(yàn)功能的郵件發(fā)送到新用戶注冊(cè)的郵箱地址中，新用戶打開(kāi)郵件并進(jìn)行激活，這時(shí)就注冊(cè)完成了。注冊(cè)完成后，即可登錄系統(tǒng)，如遺失密碼，可點(diǎn)擊“忘記密碼”進(jìn)行找回。找回后再次登錄，更新密碼。系統(tǒng)會(huì)自動(dòng)比對(duì)用戶名和密碼，完成登錄。

登錄系統(tǒng)后，進(jìn)入用戶個(gè)人信息界面，用戶可以進(jìn)行編輯和修改個(gè)人信息，制作和修改個(gè)人簡(jiǎn)歷，收藏部分就業(yè)崗位信息等操作。此模塊中還設(shè)計(jì)系統(tǒng)與用戶交互功能，用于接收系統(tǒng)發(fā)送的消息，并且可以發(fā)送消息給系統(tǒng)管理員。

3.2 數(shù)據(jù)采集模塊設(shè)計(jì)

該模塊的功能主要由采集參數(shù)配置功能、數(shù)據(jù)采集功能和數(shù)據(jù)預(yù)處理功能組成，在這3個(gè)功能中，數(shù)據(jù)采集功能和數(shù)據(jù)預(yù)處理功能是系統(tǒng)內(nèi)嵌功能，在后臺(tái)自動(dòng)運(yùn)行，需要進(jìn)行交互的只有采集參數(shù)配置功能，系統(tǒng)管理員可以通過(guò)配置Python網(wǎng)絡(luò)配置爬蟲的參數(shù)來(lái)完成數(shù)據(jù)采集和預(yù)處理工作?？膳渲玫膮?shù)如下。

3.2.1 是否多線程采集

采用多線程采集會(huì)大大提高數(shù)據(jù)采集效率，但非常耗費(fèi)系統(tǒng)資源;如不采用多線程則節(jié)省系統(tǒng)資源，但會(huì)影響采集的效率。

3.2.2 是否定時(shí)爬取

系統(tǒng)提供設(shè)置定時(shí)爬取數(shù)據(jù)開(kāi)關(guān)，可以根據(jù)網(wǎng)絡(luò)負(fù)載時(shí)段來(lái)配置爬取時(shí)段，以免影響正常網(wǎng)絡(luò)運(yùn)行。

3.2.3 選擇數(shù)據(jù)來(lái)源

系統(tǒng)提供崗位信息數(shù)據(jù)來(lái)源設(shè)置，可以專門針對(duì)某些網(wǎng)站進(jìn)行采集。

3.2.4 設(shè)置崗位數(shù)量

系統(tǒng)提供針對(duì)崗位類別、崗位區(qū)域設(shè)定數(shù)量采集。

3.3 崗位推薦模塊設(shè)計(jì)

該模塊的功能是將崗位精準(zhǔn)地推送給畢業(yè)生用戶，包括離線推薦和實(shí)時(shí)推薦兩種模式。

3.3.1 離線推薦

離線推薦是基于用戶在系統(tǒng)上制作的簡(jiǎn)歷為數(shù)據(jù)來(lái)源，根據(jù)簡(jiǎn)歷中的個(gè)人信息與采集到的崗位進(jìn)行精準(zhǔn)匹配，為畢業(yè)生用戶推薦崗位列表。

3.3.2 實(shí)時(shí)推薦

實(shí)時(shí)推薦的數(shù)據(jù)來(lái)源于用戶實(shí)時(shí)日志文件。系統(tǒng)通過(guò)推薦引擎分析用戶日志，將當(dāng)前熱門崗位列表實(shí)時(shí)推薦給畢業(yè)生用戶。

3.4 數(shù)據(jù)分析模塊設(shè)計(jì)

該模塊的功能主要是針對(duì)崗位信息進(jìn)行分析。由數(shù)據(jù)采集模塊采集到的崗位信息包含很多重要隱含信息，通過(guò)數(shù)據(jù)挖掘算法，從中可以獲取到當(dāng)前招聘市場(chǎng)的熱點(diǎn)，從而輔助高校的教學(xué)、科研和就業(yè)指導(dǎo)工作。

3.4.1 就業(yè)熱點(diǎn)分析功能

對(duì)采集到的崗位介紹文本內(nèi)容通過(guò)其主題進(jìn)行聚類分析，提取出磁盤最高的熱點(diǎn)信息，經(jīng)過(guò)數(shù)據(jù)可視化功能呈現(xiàn)出來(lái)，輔助高校對(duì)于學(xué)科和專業(yè)方向做出及時(shí)調(diào)整，以適應(yīng)就業(yè)市場(chǎng)需求。

3.4.2 關(guān)聯(lián)規(guī)則挖掘功能

在崗位信息關(guān)聯(lián)挖掘功能中，畢業(yè)生用戶可按照單位類型、所在地區(qū)、產(chǎn)業(yè)趨勢(shì)、薪酬水平等變量通過(guò)FP-Growth算法進(jìn)行挖掘活動(dòng)，得到各變量的關(guān)聯(lián)性分析。

3.4.3 數(shù)據(jù)統(tǒng)計(jì)分析功能

該功能是針對(duì)采集到的崗位信息進(jìn)行全面統(tǒng)計(jì)分析，得到崗位信息中的學(xué)歷變量、薪酬變量和工作經(jīng)驗(yàn)變量進(jìn)行統(tǒng)計(jì)、分析，通過(guò)數(shù)據(jù)可視化工具展示出來(lái)，供畢業(yè)生用戶參考。

4? 結(jié)語(yǔ)

該文論述了數(shù)據(jù)驅(qū)動(dòng)下高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)，主旨是為了解決高校畢業(yè)生就業(yè)崗位推薦不精準(zhǔn)和高校獲取就業(yè)市場(chǎng)信息不明確的問(wèn)題。通過(guò)該系統(tǒng)對(duì)海量就業(yè)崗位數(shù)據(jù)的采集、統(tǒng)計(jì)、挖掘、分析和可視化等功能，給高校畢業(yè)生和高校就業(yè)管理人員提供基于數(shù)據(jù)的決策輔助，提高了高校的就業(yè)管理和服務(wù)水平。

參考文獻(xiàn)

[1] 韓茹，劉建棟.當(dāng)代大學(xué)生面臨的就業(yè)困境及解決途徑分析[J].理論觀察，2019，1（9）：139-41.

[2] 湯志鴻.面向高校大學(xué)生的職位推薦系統(tǒng)的功能設(shè)計(jì)與實(shí)現(xiàn)[D].南京：南京郵電大學(xué)，2019.

[3] 田寧.基于大數(shù)據(jù)的高校就業(yè)信息服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].石家莊：河北科技大學(xué)，2020.

[4] 雷遠(yuǎn).高校學(xué)風(fēng)建設(shè)在微信平臺(tái)的應(yīng)用探究[J]智庫(kù)時(shí)代，2019（3）：178，180.

[5] 蔣漪漣，王勝，宋凱.基于Web的分布式教學(xué)資源庫(kù)系統(tǒng)的研究與實(shí)現(xiàn)[J].自動(dòng)化技術(shù)與應(yīng)用，2018，37（9）：47-51.

[6] 劉海濱，楊曉慧.高校大學(xué)生智慧就業(yè)服務(wù)體系構(gòu)建研究[J].思想政治教育研究，2018，34（2）：148-154.