肖紅玉，賀 輝，黃灼東，蔡昭陽

(北京師范大學(xué)珠海分校 信息技術(shù)學(xué)院，廣東 珠海 519087)

0 引 言

隨著高校不斷擴(kuò)張，畢業(yè)生人數(shù)屢創(chuàng)新高，2016年高校畢業(yè)生765萬[1]，2017年795萬[2]，2018年將達(dá)820萬[3]。在線求職是畢業(yè)生就業(yè)環(huán)節(jié)的重要部分，目前國(guó)內(nèi)求職招聘相關(guān)的網(wǎng)站已經(jīng)發(fā)展到近千家，大學(xué)生們比較熟悉的有智聯(lián)招聘、前程無憂、58同城招聘、趕集網(wǎng)招聘等。各大招聘網(wǎng)站網(wǎng)羅的用人單位和發(fā)布的招聘職位眾多，但是各自為政，數(shù)據(jù)無法共享，使用百度、搜狗等通用搜索引擎搜索招聘信息時(shí)，搜索結(jié)果有大量的無效信息。為了幫助畢業(yè)生快速、準(zhǔn)確地檢索招聘信息，就業(yè)領(lǐng)域垂直搜索引擎應(yīng)運(yùn)而生，其主要目標(biāo)是為提高畢業(yè)生檢索招聘信息的查準(zhǔn)率。

Nutch是一個(gè)Java實(shí)現(xiàn)的開源搜索引擎[4]，主要包括Web Crawler(網(wǎng)頁爬蟲)和索引技術(shù)Lucene兩部分。文中基于Nutch開源搜索引擎開發(fā)就業(yè)垂直搜索引擎，鑒于Nutch本身沒有中文分詞器、缺少主題相關(guān)性判斷、內(nèi)置網(wǎng)頁排序算法簡(jiǎn)單化、用戶檢索接口單一化等情形，基于Nutch進(jìn)行二次開發(fā)，完成就業(yè)垂直搜索引擎。

1 系統(tǒng)框架

以Nutch為基礎(chǔ)，借鑒了TUCUXI(intelligent hunter agent for concept understanding and LeXical chaining)[5]和SHOE(simple HTML ontology language)[6]的本體構(gòu)建思路、元搜索引擎(meta-search engine)和ifWeb原型系統(tǒng)[7]以及LinkRank[8]排序算法的設(shè)計(jì)思想，在基于Nutch的就業(yè)垂直搜索引擎設(shè)計(jì)上引入就業(yè)領(lǐng)域本體網(wǎng)頁爬取和過濾，采用就業(yè)領(lǐng)域本體計(jì)算網(wǎng)頁的就業(yè)相關(guān)性并改進(jìn)Nutch自帶的LinkRank網(wǎng)頁評(píng)分算法，并結(jié)合Spring boot、Spring-data-jpa、Shiro等Java開發(fā)框架開發(fā)了系統(tǒng)管理后臺(tái)，為用戶提供高級(jí)檢索、關(guān)鍵詞定義、搜索詞高亮顯示等輔助查詢接口。就業(yè)垂直搜索引擎體系結(jié)構(gòu)如圖1所示。

圖1 就業(yè)垂直搜索引擎體系結(jié)構(gòu)

從業(yè)務(wù)邏輯流程分析，基于Nutch的就業(yè)垂直搜索引擎的工作流程分為10個(gè)階段：

(1)創(chuàng)建WebDb；

(2)將抓取初始URLs寫入WebDb；

(3)根據(jù)WebDb生成抓取列表(fetchlist)并寫入相應(yīng)的segment；

(4)讀取fetchlist中的URL信息，啟動(dòng)爬蟲爬取網(wǎng)頁；

(5)網(wǎng)頁爬取結(jié)束后更新WebDB；

(6)根據(jù)系統(tǒng)預(yù)設(shè)的爬取深度，循環(huán)第3～5步；

(7)采用LinkRank網(wǎng)頁評(píng)分算法給爬取的網(wǎng)頁打分，更新segments；

(8)采用Lucene建立索引；

(9)把索引中重復(fù)的網(wǎng)頁和URL丟棄；

(10)將segments中的索引進(jìn)行合并并生成用于檢索的最終索引。

2 系統(tǒng)關(guān)鍵技術(shù)

2.1 中文分詞

中文分詞是中文搜索引擎的關(guān)鍵技術(shù)，分詞結(jié)果會(huì)明顯地影響檢索結(jié)果。Nutch本身針對(duì)英文檢索，沒有自帶的中文分詞器，因此需要基于Nutch進(jìn)行二次開發(fā)。

采用基于本地詞庫(kù)和動(dòng)態(tài)加載詞庫(kù)的正向迭代最細(xì)粒度切分算法的ik-analyzer[9]分詞系統(tǒng)，對(duì)Nutch中文分詞進(jìn)行了改進(jìn)。ik-analyzer對(duì)待切分的字符串采用先最大詞再最小詞的迭代方式進(jìn)行切分，以被切分的字符串“北京師范大學(xué)珠海分校開學(xué)了”為例，首先在詞庫(kù)中檢索最大切分詞后，分割為“北京師范大學(xué)珠海分校”和“開學(xué)了”；然后將“北京師范大學(xué)珠海分?！鼻蟹譃椤氨本煼洞髮W(xué)”和“珠海分?！?，以此類推，最后，“北京師范大學(xué)珠海分校開學(xué)了”切分為“北京師范大學(xué)|北京|京師|師范|大學(xué)|珠海分校|珠海|分校|開學(xué)|了”，ik-analyzer默認(rèn)的切詞方式是細(xì)粒度切分。若按最大詞長(zhǎng)切分，切分結(jié)果為“北京師范大學(xué)|珠海分校|開學(xué)了”。

2.2 主題相關(guān)性判別

國(guó)內(nèi)外學(xué)者對(duì)網(wǎng)頁主題相關(guān)性判斷方法進(jìn)行了研究，總體而言，有效的判斷方法有以下5類：元數(shù)據(jù)判定法、擴(kuò)展元數(shù)據(jù)判定法、鏈接分析法、語義判定法及基于特征詞的向量空間模型判定法[10]，各有優(yōu)勢(shì)與不足。文中采用基于特征詞的向量空間模型算法。

傳統(tǒng)的基于特征詞的向量空間模型算法[11]沒有充分考慮網(wǎng)頁的元數(shù)據(jù)標(biāo)簽，主題判別的準(zhǔn)確度不夠高。文中對(duì)此進(jìn)行改進(jìn)，充分使用元數(shù)據(jù)標(biāo)簽改進(jìn)傳統(tǒng)的基于特征詞的向量空間模型主題相關(guān)性判別方法，再結(jié)合就業(yè)領(lǐng)域本體實(shí)現(xiàn)主題相關(guān)性判別功能，實(shí)驗(yàn)證明改進(jìn)后的方法能夠提高主題判別的準(zhǔn)確度。算法的具體流程如下：

(1)獲取就業(yè)領(lǐng)域主題特征詞向量T和特征詞權(quán)重向量W，其中T={t1,t2,…,tn}，特W={ω1,ω2,…,ωn},ωi表示特征詞ti所對(duì)應(yīng)的權(quán)重。

(2)通過就業(yè)領(lǐng)域概念間關(guān)系獲取就業(yè)主題特征詞ti的上下位詞和同位詞，保存在數(shù)組Ai中。

(3)解析網(wǎng)頁D

(4)提取內(nèi)容并分詞。如果網(wǎng)頁中有、等標(biāo)簽，提取該部分內(nèi)容并分詞，對(duì)每個(gè)單詞n進(jìn)行判斷，如果n在數(shù)組Ai中，將n替換成Ti，并將相應(yīng)的權(quán)重ωi加1，反之則丟棄該網(wǎng)頁。

n進(jìn)行判斷，如果a在數(shù)組Ai中，則將n替換成Ai，并將對(duì)應(yīng)的權(quán)重ωi加1。

(6)采用TF*IDF(term frequency-inverse document frequency)[12]算法計(jì)算網(wǎng)頁D中所有就業(yè)領(lǐng)域主題特征詞的權(quán)重D={d1,d2,…,dn}。

(7)根據(jù)式1對(duì)網(wǎng)頁D進(jìn)行主題相關(guān)性判別。

(1)

2.3 檢索結(jié)果排序

2.3.1 基于MapReduce的LinkRank并行排序算法

基于Nutch的就業(yè)垂直搜索引擎通過WebClawer抓取網(wǎng)頁，如果在WebClawer抓取網(wǎng)頁結(jié)束后再通過LinkRank算法計(jì)算網(wǎng)頁得分，將會(huì)消耗大量時(shí)間。Nutch平臺(tái)本身支持MapReduce并行操作，即抓取網(wǎng)頁、網(wǎng)頁解析、索引建立等操作都可以并行進(jìn)行，以提高效率。借鑒MapReduce并行編程思想，把耗時(shí)較長(zhǎng)的網(wǎng)頁抓取和解析、建立索引操作轉(zhuǎn)化為Key-Value的并行處理，實(shí)現(xiàn)基于MapReduce的LinkRank并行算法。圖2為具體工作流程。

2.3.2 網(wǎng)頁的就業(yè)相關(guān)度計(jì)算

網(wǎng)頁的就業(yè)相關(guān)度用來衡量網(wǎng)頁和就業(yè)領(lǐng)域的相關(guān)程度，是指網(wǎng)頁和就業(yè)主題的相關(guān)度。白曉丹[13]通過層次分析理論以及模糊分析法構(gòu)建網(wǎng)頁相關(guān)性評(píng)價(jià)體系，該方法具有一定的優(yōu)勢(shì)，尤其在提取PDF文件時(shí)準(zhǔn)確度較高，但是URL的評(píng)價(jià)結(jié)果不太理想。文中結(jié)合就業(yè)領(lǐng)域本體計(jì)算網(wǎng)頁的就業(yè)相關(guān)度。具體步驟如下：對(duì)網(wǎng)頁進(jìn)行中文分詞，去掉敏感詞等停用詞；提取網(wǎng)頁特征詞，根據(jù)就業(yè)領(lǐng)域本題庫(kù)獲取各特征詞的上下位詞和同位詞，用一個(gè)三元組表示；統(tǒng)計(jì)三元組中每組詞在網(wǎng)頁中出現(xiàn)的次數(shù)，以及在多少個(gè)網(wǎng)頁中出現(xiàn)，根據(jù)前文描述的TF*IDF算法計(jì)算它們的權(quán)重，計(jì)算所得的權(quán)重為各特征詞的權(quán)重；使用向量空間模型表示網(wǎng)頁。網(wǎng)頁D可表示為：D=(ω1,ω2,…,ωn)，其中ωi表示網(wǎng)頁D中第i個(gè)特征詞的權(quán)重。同時(shí)將就業(yè)領(lǐng)域主題詞用向量K表示為：K=(k1,k2,…,kn)，其中ki表示主題詞i的權(quán)重。

把網(wǎng)頁的就業(yè)相關(guān)度計(jì)算，轉(zhuǎn)換為求D和T向量的距離。根據(jù)式1計(jì)算網(wǎng)頁的就業(yè)相關(guān)度，Sim(D,T)越大則網(wǎng)頁與就業(yè)的相關(guān)程度越高。

圖2 基于MapReduce的LinkRank并行算法工作流程

2.3.3 改進(jìn)Nutch原有結(jié)果排序

Nutch采用的LinkRank是一個(gè)PageRank-like的算法，該算法通過構(gòu)建inlinks(鏈入鏈接數(shù)),outlinks(鏈出鏈接數(shù))和節(jié)點(diǎn)的列表，然后由LinkRank類計(jì)算網(wǎng)頁得分。LinkRank非常接近最初的頁面排序公式，類似于:

(1-dampingFactor) +(dampingFactor*

totalInlinkScore)

(2)

其中，dampingFactor是垃圾網(wǎng)頁因子；totalInlinkScore是頁面鏈入鏈接數(shù)。

該算法有明顯不足：沒有區(qū)分鏈入鏈接的重要性，每個(gè)鏈入鏈接的權(quán)重一樣；偏重歷史頁面；沒有考慮頁面內(nèi)容與主題的相關(guān)程度。以上因素對(duì)網(wǎng)頁的排序質(zhì)量均有較大影響。因此做了如下改進(jìn)：

(1)增加鏈入鏈接權(quán)重因子。LinkRank本身不區(qū)分鏈入鏈接的權(quán)威程度，每個(gè)鏈入鏈接的權(quán)值一樣，然而，網(wǎng)頁中鏈入鏈接的權(quán)威度參差不齊，如果采用相同的權(quán)值，無法客觀反映鏈入鏈接的重要性。甚至，某些網(wǎng)頁會(huì)故意添加廣告鏈入鏈接進(jìn)行作弊，以提高網(wǎng)站的排名。

文中給鏈入鏈接增加了權(quán)重因子，改進(jìn)后的totalInlinkScore為：

(3)

其中，αi為控制鏈入鏈接的權(quán)重因子。

通過控制鏈入鏈接權(quán)重控制各網(wǎng)頁的權(quán)威度，避免了原算法中相同權(quán)重的不客觀性，對(duì)防止通過作弊提高網(wǎng)頁的得分有一定的效果，提高了檢索質(zhì)量。

(2)增加時(shí)間衰減因子。LinkRank算法通過網(wǎng)頁間的相互鏈接關(guān)系計(jì)算網(wǎng)頁得分，在互聯(lián)網(wǎng)上放置時(shí)間越長(zhǎng)的頁面將得到更多的鏈入鏈接，而新的網(wǎng)頁就算內(nèi)容比較重要，但是由于鏈入鏈接數(shù)較少，得分則會(huì)相對(duì)較低。針對(duì)這一不合理情況，引入權(quán)重衰減時(shí)間因子對(duì)舊網(wǎng)頁進(jìn)行衰減處理。

在式3的基礎(chǔ)上進(jìn)行改進(jìn)：

(4)

其中，t是頁面創(chuàng)建至統(tǒng)計(jì)時(shí)的時(shí)間；λ是常數(shù)因子。通過時(shí)間衰減因子λ，可以有效地調(diào)節(jié)新舊網(wǎng)頁的權(quán)重，使得網(wǎng)頁得分更接近真實(shí)情況。

2.4 用戶查詢接口擴(kuò)展

2.4.1 關(guān)鍵字智能提醒

借助WEB2.0技術(shù)，就業(yè)垂直搜索引擎實(shí)現(xiàn)了自動(dòng)記憶每次搜索信息的記錄，同時(shí)通過就業(yè)專用詞庫(kù)，記錄求職招聘特有的關(guān)鍵詞，在用戶輸入查詢關(guān)鍵字時(shí)在搜索框下方顯示歷史查詢記錄和該關(guān)鍵詞的歷史查詢次數(shù)。通過關(guān)鍵字智能提醒擴(kuò)展功能，搜索引擎不但可以記錄用戶輸入的搜索關(guān)鍵詞，了解用戶習(xí)慣，并且可以形成與該搜索關(guān)鍵詞相似的參考詞組，簡(jiǎn)化用戶操作。系統(tǒng)還可以根據(jù)關(guān)鍵詞的搜索次數(shù)等因素，決定是否將此關(guān)鍵詞自動(dòng)識(shí)別為中文分詞詞庫(kù)中的關(guān)鍵詞。

2.4.2 定制爬蟲

利用Java后臺(tái)開發(fā)技術(shù)spring boot、spring data jpa和shiro，開發(fā)了求職招聘垂直搜索引擎的管理后臺(tái)，通過后臺(tái)可以對(duì)爬蟲進(jìn)行設(shè)置與管理，包括設(shè)定爬蟲爬取時(shí)的深度與廣度、設(shè)定爬取起始時(shí)間和間隔時(shí)間、Hadoop集群管理參數(shù)設(shè)置(主從節(jié)點(diǎn)數(shù)量及狀態(tài)設(shè)置)、索引庫(kù)狀態(tài)設(shè)置與管理等。

2.4.3 搜索輔助接口

除了基本的檢索功能之外，還有其他的一些輔助功能，以提升用戶體驗(yàn)增加用戶粘度。比如：支持多關(guān)鍵詞同時(shí)搜索，如同時(shí)輸入“Java”“MySQL”“軟件工程師”；支持二次查找；設(shè)定查詢結(jié)果的日期，比如最近一天、最近一周、最近一月、最近一年等；可指定搜索關(guān)鍵詞在網(wǎng)頁出現(xiàn)的位置，比如可設(shè)置為網(wǎng)頁內(nèi)的任何地方、標(biāo)題或者網(wǎng)址；可設(shè)定搜索域，比如指定僅搜索指定網(wǎng)站或是將指定網(wǎng)站排除在搜索之外；提供搜索指引，在搜索首頁與搜索結(jié)果列表頁以多級(jí)分類方式提供用戶搜索指引；提供歷史搜索，在用戶瀏覽器中保存用戶最近搜索的5個(gè)關(guān)鍵詞及其對(duì)應(yīng)搜索時(shí)間，節(jié)省用戶輸入時(shí)間；訂閱查詢，在用戶瀏覽器中可保存用戶訂閱的5個(gè)關(guān)鍵詞，當(dāng)用戶進(jìn)去搜索引擎首頁或搜索結(jié)果列表頁時(shí)，依次列出各關(guān)鍵詞新增查詢結(jié)果條數(shù)；個(gè)性化設(shè)置用戶習(xí)慣，可根據(jù)用戶個(gè)人使用習(xí)慣設(shè)置相關(guān)參數(shù)，如：每頁顯示結(jié)果數(shù)目、是否顯示搜索框、設(shè)置網(wǎng)頁語言搜索范圍等；其他擴(kuò)展功能如相關(guān)職位名推薦、熱門詞推薦、檢索詞高亮顯示、按專業(yè)的關(guān)鍵詞推薦等輔助功能。

3 測(cè)試與分析

3.1 測(cè)試數(shù)據(jù)準(zhǔn)備

基于以上研究，從獵聘網(wǎng)下載職業(yè)詞庫(kù)以及從中國(guó)教育在線下載專業(yè)詞庫(kù)構(gòu)建就業(yè)領(lǐng)域本體庫(kù)，并選取十多個(gè)求職招聘網(wǎng)址，依次為智聯(lián)招聘、前程無憂、58同城招聘、趕集網(wǎng)招聘、獵聘網(wǎng)、中華英才網(wǎng)、卓博人才網(wǎng)、智通人才網(wǎng)、我的工作網(wǎng)、大街網(wǎng)、中國(guó)人才熱線、應(yīng)屆生求職網(wǎng)、應(yīng)屆畢業(yè)生網(wǎng)、過來人求職網(wǎng)、拉勾網(wǎng)、大谷打工網(wǎng)、招聘信息、智通人才網(wǎng)等作為初始URL種子。

3.2 測(cè)試及結(jié)果分析

查全率和查重率是評(píng)價(jià)搜索引擎的2個(gè)重要指標(biāo)[14]，理想狀況下搜索引擎既有良好的查全率又有良好的查準(zhǔn)率，而實(shí)際情況往往是兩者不可兼得。文中從主題相關(guān)性、與其他搜索引擎比較這2個(gè)方面分析實(shí)驗(yàn)結(jié)果。

3.2.1 主題相關(guān)性分析

與百度谷歌等通用搜索引擎不同，基于Nutch的就業(yè)垂直搜索引擎設(shè)計(jì)了主題相關(guān)性判別，檢索到的網(wǎng)頁與主題相關(guān)程度，體現(xiàn)了垂直搜索引擎的針對(duì)性和專業(yè)性，主題相關(guān)率越高，專業(yè)性越強(qiáng)。主題相關(guān)率=與主題相關(guān)的網(wǎng)頁數(shù)/檢索出的網(wǎng)頁總數(shù)量。文中選取“軟件工程師”、“數(shù)據(jù)分析師”、“幼師”、“日語翻譯”、“Java開發(fā)”5個(gè)關(guān)鍵詞作為檢索詞，對(duì)檢索結(jié)果的前40項(xiàng)進(jìn)行分析，采用人工干預(yù)方式對(duì)改進(jìn)LinkRank算法前后進(jìn)行相關(guān)性分析，結(jié)果如表1所示，表中的數(shù)據(jù)“值1-值2”分別表示LinkRank算法改進(jìn)后與改進(jìn)前得到的值。

表1 主題相關(guān)性分析結(jié)果比較

3.2.2 不同搜索引擎的比較

查準(zhǔn)率、死鏈率、重復(fù)率、響應(yīng)時(shí)間等是搜索引擎好壞的評(píng)價(jià)指標(biāo)，查準(zhǔn)率尤為重要。繼續(xù)選用前文所述的“軟件工程師”、“數(shù)據(jù)分析師”、“幼師”、“日語翻譯”、“Java開發(fā)”5個(gè)搜索關(guān)鍵詞進(jìn)行檢索并結(jié)合以上評(píng)價(jià)指標(biāo)與百度、職友集進(jìn)行對(duì)比分析，其中查準(zhǔn)率、死鏈率、重復(fù)率、響應(yīng)時(shí)間都采用平均值，由式5計(jì)算而得。

(5)

其中，N表示搜索關(guān)鍵詞數(shù)量；n表示網(wǎng)頁數(shù)量(文中取40)；n1表示與用戶需求有關(guān)的網(wǎng)頁數(shù)量。

詳細(xì)數(shù)據(jù)如表2所示，表2中的數(shù)據(jù)“值1-值2”表示改進(jìn)LinkRank算法后和改進(jìn)前的值。

表2 不同搜索引擎比較分析

由表2數(shù)據(jù)可知，通用搜索引擎在響應(yīng)時(shí)間方面有較大的優(yōu)勢(shì)，響應(yīng)時(shí)間短，但是在查準(zhǔn)率、死鏈率和重復(fù)率方面的劣勢(shì)也較明顯。文中基于Nutch的就業(yè)垂直搜索引擎雖然響應(yīng)時(shí)間比其他搜索引擎長(zhǎng)，但是在可接受范圍內(nèi)，在查準(zhǔn)率、死鏈率和重復(fù)率方面有較明顯優(yōu)勢(shì)。

4 結(jié)束語

文中設(shè)計(jì)并實(shí)現(xiàn)了基于Nutch的就業(yè)垂直搜索引擎，根據(jù)行業(yè)特色和需要對(duì)Nutch進(jìn)行二次開發(fā)，加入ik-analyzer中文分詞，同時(shí)運(yùn)用就業(yè)領(lǐng)域本體改進(jìn)基于特征詞的向量空間模型，進(jìn)行主題性判別，結(jié)合LinkRank算法改進(jìn)排序結(jié)果。此外運(yùn)用Java開發(fā)技術(shù)及框架，對(duì)用戶查詢接口進(jìn)行了二次開發(fā)，增加了許多便于用戶操作的功能，如關(guān)鍵詞智能提醒、爬蟲定制、高級(jí)檢索、關(guān)鍵字訂閱、定制用戶顯示界面、熱門詞推薦、關(guān)鍵詞高亮顯示等?；贜utch的就業(yè)垂直搜索引擎與通用搜索引擎相比方便了用戶檢索招聘信息，提高了求職招聘信息的查準(zhǔn)率。