尚衍亮

摘 要：隨著中國(guó)經(jīng)濟(jì)的騰飛，互聯(lián)網(wǎng)行業(yè)進(jìn)入發(fā)展的快車道，招聘網(wǎng)站如雨后春筍般出現(xiàn)，一時(shí)間互聯(lián)網(wǎng)上充斥著大量的招聘信息。為解決當(dāng)前環(huán)境下招聘信息數(shù)量龐大，數(shù)據(jù)分散，學(xué)生無(wú)法及時(shí)獲取到適合的招聘崗位的問(wèn)題，提出了基于語(yǔ)義分析的就業(yè)推薦系統(tǒng)。利用python網(wǎng)絡(luò)爬蟲抓取各大網(wǎng)站的招聘信息，將招聘信息匯總，避免了招聘信息的分散。使用分詞技術(shù)，將爬取到崗位信息進(jìn)行分詞，結(jié)構(gòu)化處理，計(jì)算招聘崗位之間的相似度，提高崗位推薦的準(zhǔn)確率。通過(guò)對(duì)現(xiàn)抓取的所有數(shù)據(jù)進(jìn)行評(píng)測(cè)，實(shí)驗(yàn)結(jié)果表明，該方法可以準(zhǔn)確的找出相近的崗位。

關(guān)鍵詞：推薦系統(tǒng)數(shù)據(jù)挖掘高校就業(yè)

一、研究背景

近年來(lái)我國(guó)招聘行業(yè)發(fā)展迅速，然而，如何使求職者全面充分了解真實(shí)的用人單位需求，如何讓用人單位能更加便捷高效的匹配到所需的人才，一直都是社會(huì)多方人士所考慮的問(wèn)題。與此同時(shí)，大學(xué)生在求職過(guò)程中始終存在著技能與崗位不匹配的問(wèn)題，雙方信息的不對(duì)稱，也大大增加了招聘的成本。招聘行業(yè)的轉(zhuǎn)型，已經(jīng)成為了一個(gè)亟待解決的問(wèn)題。

國(guó)家統(tǒng)計(jì)局?jǐn)?shù)據(jù)顯示，全國(guó)目前共有在校大學(xué)生2695.8萬(wàn)，用戶規(guī)模大，這使得技能共享的市場(chǎng)十分廣闊，同時(shí)，據(jù)央視報(bào)道，到2020年，高端技術(shù)人才缺口將會(huì)達(dá)到2200萬(wàn)，這表明社會(huì)對(duì)于技能型人才的需求也在日益增長(zhǎng)。那么，構(gòu)建一個(gè)完備的，針對(duì)大學(xué)生技能共享提升、智能求職的平臺(tái)，是尤為重要的。

就業(yè)推薦，是指根據(jù)用戶的信息和企業(yè)的信息，借助相關(guān)技術(shù)，給用戶推薦合適的企業(yè)，給企業(yè)推薦合適的員工。用戶在瀏覽就業(yè)信息網(wǎng)站的時(shí)候，面臨的企業(yè)如此之多，如何在眾多的企業(yè)中找到自己合適的崗位，要花很長(zhǎng)的時(shí)間去尋找，同樣，企業(yè)也面臨同樣的問(wèn)題，如何在眾多的應(yīng)聘者中找到自己合適的人選，要花很長(zhǎng)的時(shí)間去尋找。網(wǎng)站提供了數(shù)千萬(wàn)個(gè)企業(yè)，用戶卻只能使用分類瀏覽、分類導(dǎo)航、搜索等此類通用的網(wǎng)站工具來(lái)搜索信息。這就要求用戶對(duì)所要搜索的企業(yè)有相當(dāng)清楚的了解和把握。然而面對(duì)如此眾多的企業(yè)，絕大多數(shù)的用戶基本不會(huì)有效整合網(wǎng)站信息資源的，這就很容易出現(xiàn)所謂的“信息迷航”。諸如此類現(xiàn)象：網(wǎng)站存在有用戶需要的企業(yè)，然而用戶卻沒(méi)有找到，或找到的企業(yè)不是最適合自己的。

二、主要技術(shù)

1.推薦系統(tǒng)

推薦系統(tǒng)產(chǎn)生推薦列表的方式通常有兩種：協(xié)同過(guò)濾以及基于內(nèi)容推薦，或者基于個(gè)性化推薦。協(xié)同過(guò)濾方法根據(jù)用戶歷史行為（例如其購(gòu)買的、選擇的、評(píng)價(jià)過(guò)的物品等）結(jié)合其他用戶的相似決策建立模型。這種模型可用于預(yù)測(cè)用戶對(duì)哪些物品可能感興趣（或用戶對(duì)物品的感興趣程度）?；趦?nèi)容推薦利用一些列有關(guān)物品的離散特征，推薦出具有類似性質(zhì)的相似物品。

2.結(jié)巴分詞

結(jié)巴分詞開源的中文分詞工具，主要使用三種算法進(jìn)行分詞：1.基于前綴詞典實(shí)現(xiàn)高效的詞圖掃描，生成句子中漢子所有可能成詞情況所構(gòu)成的有限無(wú)環(huán)圖（DAG）;2.采用了動(dòng)態(tài)規(guī)劃查找最大概率路徑找出基于詞頻的最大切分組合;3.對(duì)于為登錄詞，采用了基于漢字成詞能力的 HMM 模型，使用了 Viterbi 算法。

三、語(yǔ)義文本的獲取

1.目前主流的招聘網(wǎng)站有十多家，每天的招聘崗數(shù)量有幾十萬(wàn)條，如果采用手工抓取的話，既耗時(shí)又耗力。于是采用了python爬蟲技術(shù)，利用自建的爬蟲框架，構(gòu)建自動(dòng)崗位信息抓取工具，這樣既省時(shí)又省力，并且將抓取到的數(shù)據(jù)存放于數(shù)據(jù)庫(kù)中，方便隨時(shí)使用。同時(shí)在抓取的時(shí)候，按照職位種類抓取，這樣可以以保證抓取的數(shù)據(jù)已經(jīng)存在于一個(gè)較大的聚類中了。

2.主要抓取的數(shù)據(jù)包括 ：崗位名稱，公司，工作地點(diǎn)，學(xué)歷要求，工作經(jīng)驗(yàn)，性別，最低薪資，最高薪資，職位種類，崗位職責(zé)等。

3.系統(tǒng)架構(gòu)

四、語(yǔ)義文本的建立

根據(jù)已經(jīng)抓取到的招聘信息，我們可以發(fā)現(xiàn)，抓取回來(lái)的信息主要可以分為兩類，一種是具體的屬性，比如學(xué)歷要求，工作經(jīng)驗(yàn)等信息，另一種是崗位職責(zé)。由此我們?cè)诮⒄Z(yǔ)義文本的時(shí)候分為兩類建立。

1.一級(jí)語(yǔ)義文本的建立及處理

1.1建立

在進(jìn)行一級(jí)語(yǔ)義文本建立時(shí)，我們采用了自頂而下的構(gòu)建方式，并將部分信息剔除。我們將崗位名稱，工作地點(diǎn)，學(xué)歷要求，工作經(jīng)驗(yàn)，性別，薪資定義為頂級(jí)屬性，而后在進(jìn)行二級(jí)定義，而例如學(xué)歷就擁有二級(jí)屬性：?？?，本科，碩士，博士。最終建立所需的的語(yǔ)義文本如下圖（4.1）

1.2 處理處理過(guò)程將按照表格中的數(shù)據(jù)選擇性的列舉：

1.2.1 崗位名：例如初級(jí)java工程師;中級(jí)java工程師;高級(jí)java工程師，這三個(gè)崗位雖然屬于java類崗位，但是對(duì)于java的水平要求卻不一樣。因此需要對(duì)崗位名稱進(jìn)行分詞。提取出關(guān)鍵的信息，這樣在進(jìn)行崗位相似度比較的時(shí)候，更準(zhǔn)確。下表是結(jié)巴分詞的效果：

1.2.2 經(jīng)驗(yàn)要求：公司對(duì)于求職者的經(jīng)驗(yàn)要求一般以年計(jì)算，其中應(yīng)屆生的經(jīng)驗(yàn)看為0，最后將其映射為整形數(shù)據(jù)：0，1，2，3，4……

1.2.3學(xué)歷要求：公司對(duì)于求職者的學(xué)歷要求大致分為：大專，本科，研究生，博士生，將其映射為整形數(shù)據(jù)：大專=0;本科=1;研究生=2;博士生=3。

1.2.4最低薪資和最高薪資：本身就是具體的整型數(shù)據(jù)。

1.2.5性別：性別只有男，女兩種類型，將其映射為整形為：男-0;女-1。

2.二級(jí)語(yǔ)義文本的建立二級(jí)語(yǔ)義文本的建立主要依賴于崗位職責(zé)，而對(duì)于崗位職位，一般是文本的形式，如下示例：

任職要求

1、熟練掌握J(rèn)ava及面向?qū)ο笤O(shè)計(jì)開發(fā)，對(duì)部分Java技術(shù)有深入研究，研究過(guò)優(yōu)秀開源軟件的源碼并有心得者優(yōu)先;

2、了解SOA架構(gòu)理念、實(shí)現(xiàn)技術(shù);熟悉常見設(shè)計(jì)模式，熟練掌握Spring、myBatis等框架;

3、熟練掌握MySQL應(yīng)用開發(fā)、數(shù)據(jù)庫(kù)原理和常用性能優(yōu)化和擴(kuò)展技術(shù)，以及NoSQL，Queue的原理、使用場(chǎng)景以及限制;

4、研究過(guò)http協(xié)議、搜索引擎、緩存、jvm調(diào)優(yōu)、序列化、nio、RPC調(diào)用框架等，有相應(yīng)實(shí)踐經(jīng)驗(yàn)者優(yōu)先;

5、參與過(guò)大型復(fù)雜分布式互聯(lián)網(wǎng)（特別是電商）用戶端WEB/API系統(tǒng)的設(shè)計(jì)開發(fā)者優(yōu)先。在建立二級(jí)語(yǔ)義文本的時(shí)候需要提取其中的專業(yè)技能要求，在這里利用的是結(jié)巴分詞。具體細(xì)節(jié)如下：

Step1： 將所有崗位的崗位職責(zé)從數(shù)據(jù)庫(kù)中提取出來(lái)

Step2： 利用結(jié)巴分詞從所有的所屬相同職位種類的崗位職責(zé)中盡可能提取多的專業(yè)技能要求，并形成部分限定詞庫(kù)，又因?yàn)榉衷~效果不能完全的找出所有的專業(yè)技能要求，需要手工添加和剔除。

Step3： 利用限定詞庫(kù)，找出每個(gè)崗位的崗位職責(zé)中的專業(yè)技能要求。并保存到數(shù)據(jù)庫(kù)中。

Step4：以java這個(gè)崗位為例，最終找出的語(yǔ)技能要求如圖所示

五、相似度計(jì)算

1.這里根據(jù)一級(jí)語(yǔ)義文本計(jì)算崗位間的相似度使用歐式距離相似度。

又名歐幾里得度量是一個(gè)通常采用的距離定義，指在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離，或者向量的自然長(zhǎng)度（即該點(diǎn)到原點(diǎn)的距離）?？梢钥闯?，當(dāng)n=2時(shí)，歐幾里得距離是平面上的兩點(diǎn)的距離。

2.計(jì)算步驟

2.1.設(shè)定目標(biāo)找出10個(gè)不同分類的崗位，來(lái)找出這10個(gè)崗位的10個(gè)相似度最高的崗位。示例如下：

2.2.根據(jù)一級(jí)語(yǔ)義文本計(jì)算物品間的相似度從數(shù)據(jù)庫(kù)中找出與之對(duì)應(yīng)分類的所有崗位，這樣保證了同屬于同一個(gè)聚類中，然后計(jì)算崗位名稱的文本相似度，然后計(jì)算其余屬性的歐幾里得距離

2.3.根據(jù)二級(jí)語(yǔ)義文本計(jì)算物品間的相似度從數(shù)據(jù)庫(kù)中找出與之對(duì)應(yīng)分類的所有崗位的崗位職責(zé)，計(jì)算出文本相似度，這里仍然采用歐幾里得距離。

2.4.根據(jù)兩次計(jì)算出的歐幾里得距離，計(jì)算平均值，并選出top10.

六、實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果中可以看出，該系統(tǒng)推薦精度較為滿意。兩個(gè)崗位間的相似度較高，由此可以得出，該推薦結(jié)果符合推薦預(yù)期。

[參考文獻(xiàn)]

[1]隋占麗， 李文， 李影， et al. 面向大學(xué)生就業(yè)的協(xié)同過(guò)濾推薦算法與推薦系統(tǒng)研究[J]. 山東農(nóng)業(yè)工程學(xué)院學(xué)報(bào)， 2017， 34（4）：3-4.

[2]張駿. 推薦系統(tǒng)多樣性研究及其在就業(yè)推薦中的應(yīng)用[D].山東師范大學(xué)，2017.

[3]陳朝沖. 基于高校畢業(yè)生與招聘企業(yè)雙選的推薦系統(tǒng)[D].西南科技大學(xué)，2017.

[4]黃貴斌，孫柳，黃佳玲，余發(fā)明，賈禮平.基于爬蟲技市的就業(yè)推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].內(nèi)江科技，2018，39（01）：59-61.

[5]揭正梅. 基于協(xié)同過(guò)濾的高校個(gè)性化就業(yè)推薦系統(tǒng)研究[D].昆明理工大學(xué)，2015.

[6]劉玉華，陳建國(guó)，張春燕.基于數(shù)據(jù)挖掘的國(guó)內(nèi)大學(xué)生就業(yè)信息雙向推薦系統(tǒng)[J].沈陽(yáng)大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，27（03）：226-232.

[7]吳瓊. 基于改進(jìn)K-Means聚類方法的高校就業(yè)推薦系統(tǒng)研究[D].大連海事大學(xué)，2015.

（作者單位：江蘇師范大學(xué)智慧教育學(xué)院，江蘇 徐州 221000）