亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        在線招聘場(chǎng)景下的簡(jiǎn)歷活躍度預(yù)測(cè)*

        2018-05-09 08:49:51史舒揚(yáng)張智鵬邵鎣俠
        計(jì)算機(jī)與生活 2018年5期
        關(guān)鍵詞:投遞求職者活躍

        史舒揚(yáng),張智鵬,郭 龍,邵鎣俠,崔 斌

        1.北京大學(xué) 信息科學(xué)技術(shù)學(xué)院 高可信軟件技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,北京 100871

        2.北京大學(xué) 深圳研究生院,廣東 深圳 518055

        1 引言

        在信息時(shí)代的背景下,大量招聘與求職的工作被放在互聯(lián)網(wǎng)上進(jìn)行,各種各樣的在線招聘平臺(tái)相繼出現(xiàn),如58招聘、智聯(lián)招聘、拉勾網(wǎng)等。

        在以58招聘為例的求職招聘網(wǎng)站上,每天有大量的簡(jiǎn)歷被求職者更新后展示在個(gè)人資料里或者投遞到對(duì)應(yīng)職位上,也有大量的職位被各招聘單位放出。通過(guò)數(shù)據(jù)統(tǒng)計(jì)發(fā)現(xiàn),在2016年9月10日開(kāi)始的一個(gè)月間,就一共添加了超過(guò)165萬(wàn)份新簡(jiǎn)歷,放出了超過(guò)280萬(wàn)個(gè)職位,這樣的數(shù)據(jù)量暗示著平臺(tái)的重要性與潛力。在線招聘平臺(tái)中招聘者和求職者有兩種互動(dòng)模式:其一是求職者瀏覽公開(kāi)招聘的職位,選擇合適的職位投遞簡(jiǎn)歷,然后等待招聘者聯(lián)系并安排面試;其二是招聘平臺(tái)向招聘者推送可能適合于該單位的簡(jiǎn)歷,然后招聘者從中下載相應(yīng)求職者的具體聯(lián)系信息。從平臺(tái)的角度出發(fā),這里主要關(guān)注后者,即求職者的簡(jiǎn)歷被推送給招聘者這一方式。

        在這個(gè)方式中,盡管招聘平臺(tái)提供了將求職者推送給招聘者的途徑,但是也存在著一定的問(wèn)題。因?yàn)榍舐氄哒业焦ぷ髦笸ǔ2粫?huì)告知平臺(tái),可能只是不再登錄平臺(tái)進(jìn)行瀏覽、點(diǎn)擊、投遞等,所以平臺(tái)并不知道他已經(jīng)不需要繼續(xù)求職,會(huì)繼續(xù)推送該求職者的簡(jiǎn)歷。但是由于該求職者其實(shí)已經(jīng)有了滿意的工作,此時(shí)推送的簡(jiǎn)歷就成為了“無(wú)效”簡(jiǎn)歷,即使被下載,也不會(huì)再達(dá)成新的勞動(dòng)協(xié)議。這樣的情況,一方面降低了求職者和招聘者雙方的用戶體驗(yàn),另一方面降低了推送簡(jiǎn)歷的價(jià)值,也造成了平臺(tái)的資源浪費(fèi)。如圖1所示,在2016年的一個(gè)月中,除去僅活躍一天的用戶以后,有點(diǎn)擊、投遞行為不超過(guò)9天的用戶占了97%,并且活躍只有兩三天的用戶超過(guò)70%,這意味著大部分求職者的活躍時(shí)間都很短暫,他們?cè)谇舐毘晒σ院蟛辉倩钴S,繼續(xù)推送他們的簡(jiǎn)歷將造成平臺(tái)資源的浪費(fèi)和用戶體驗(yàn)的損失。因此對(duì)簡(jiǎn)歷活躍與否的甄別是有意義的,針對(duì)活躍簡(jiǎn)歷重點(diǎn)推送能夠很大程度上提升推送效果。

        在現(xiàn)實(shí)中,求職者是否找到工作的真實(shí)情況是難以推測(cè)的,因?yàn)橛脩粽业焦ぷ髦笸ǔ2粫?huì)告知平臺(tái)。盡管如此,顯而易見(jiàn)的是,持續(xù)活躍的用戶仍然有在平臺(tái)求職的意愿。基于這一觀點(diǎn),本文重點(diǎn)關(guān)注那些近期內(nèi)活躍的求職者,用求職者在最近一段時(shí)間內(nèi)點(diǎn)擊、瀏覽等行為定義簡(jiǎn)歷活躍度的概念,旨在通過(guò)預(yù)測(cè)簡(jiǎn)歷的活躍度,將未來(lái)近期內(nèi)可能會(huì)活躍的簡(jiǎn)歷篩選出來(lái),在推送的時(shí)候賦予更高的優(yōu)先級(jí)和更好的展示機(jī)會(huì),提高平臺(tái)簡(jiǎn)歷推薦的效果,提升用戶體驗(yàn),減少平臺(tái)的資源浪費(fèi)。

        Fig.1 Ratio of users that click or deliver on different numbers of days圖1 不同天數(shù)發(fā)生過(guò)點(diǎn)擊或者投遞的用戶所占比例

        現(xiàn)有的活躍度預(yù)測(cè)方案,大多是基于在線社交網(wǎng)絡(luò)的方案,文獻(xiàn)[1]采用生存時(shí)間預(yù)測(cè)場(chǎng)景下的Cox比例風(fēng)險(xiǎn)統(tǒng)計(jì)模型,在招聘場(chǎng)景下由于“生存時(shí)間”相對(duì)較短而難以保證其適用性,同時(shí)也會(huì)浪費(fèi)場(chǎng)景信息資源。文獻(xiàn)[2]從社交網(wǎng)絡(luò)內(nèi)外兩方面進(jìn)行考慮,也有工作從社交網(wǎng)絡(luò)本身的特性出發(fā),根據(jù)用戶行為的多樣性、動(dòng)態(tài)性、社交影響等特點(diǎn),基于現(xiàn)有模型提出了更具有適應(yīng)性的預(yù)測(cè)模型[3-4]。這些模型適應(yīng)了社交網(wǎng)絡(luò)的特點(diǎn),但是由于招聘場(chǎng)景與其的諸多不同,并不能很好地移植。例如在招聘場(chǎng)景下,用戶的個(gè)體行為風(fēng)格難以刻畫,社交關(guān)系沒(méi)有定義,多樣性、社交影響就無(wú)從談起。

        為了做好簡(jiǎn)歷的活躍度預(yù)測(cè),本文對(duì)在線招聘的場(chǎng)景特點(diǎn)進(jìn)行了探索,總結(jié)了以下4個(gè)特性:首先,數(shù)據(jù)具有高度動(dòng)態(tài)性,每天有大量的求職者在平臺(tái)上傳并投遞簡(jiǎn)歷,也有大量的招聘職位被招聘者放出。其次,用戶黏度低,求職者往往在短至幾天的活躍之后就離開(kāi)平臺(tái),在很長(zhǎng)時(shí)間內(nèi)不再有活躍行為。對(duì)用戶連續(xù)行為的分析表明,在線招聘場(chǎng)景下用戶往往不會(huì)表現(xiàn)出像社交網(wǎng)絡(luò)那樣長(zhǎng)久的粘性,而是在一段時(shí)間內(nèi)頻繁產(chǎn)生登錄、點(diǎn)擊等行為,之后就會(huì)很長(zhǎng)時(shí)間內(nèi)不再活躍。第三,由于招聘平臺(tái)的特殊性,其中的用戶分為求職者(簡(jiǎn)歷)一方和招聘者(職位)一方,前者可以點(diǎn)擊、瀏覽、投遞,而后者可以接受求職者投遞的簡(jiǎn)歷,也可以從招聘平臺(tái)購(gòu)買所需要的簡(jiǎn)歷,這樣的行為模式是達(dá)成雇傭關(guān)系的重要過(guò)程,也是數(shù)據(jù)中應(yīng)該被考慮的內(nèi)容。除此以外,招聘場(chǎng)景下活躍度預(yù)測(cè)的目標(biāo)也有一定的特殊性,即召回優(yōu)先(參見(jiàn)2.4節(jié)),因?yàn)榕c推送一份“無(wú)效”簡(jiǎn)歷(求職結(jié)束的求職者)帶來(lái)的資源浪費(fèi)相比,損失一份活躍簡(jiǎn)歷(仍在求職的求職者)會(huì)直接影響勞動(dòng)協(xié)議的達(dá)成,有更嚴(yán)重的后果,所以在預(yù)測(cè)過(guò)程中需要保留足夠多的有效簡(jiǎn)歷。

        在適應(yīng)在線招聘場(chǎng)景數(shù)據(jù)特點(diǎn)的情況下,根據(jù)高度動(dòng)態(tài)性、用戶黏度低、雙向匹配以及召回優(yōu)先特點(diǎn),本文結(jié)合隨機(jī)森林模型(random forest,RF)和邏輯回歸模型(logistic regression,LR),提出了簡(jiǎn)歷活躍度預(yù)測(cè)模型(resume activeness prediction,RAP),并提供了可供平臺(tái)選擇的篩選參數(shù)γ,用來(lái)調(diào)節(jié)召回率和準(zhǔn)確率的相對(duì)重要程度。

        本文的主要貢獻(xiàn)如下:

        (1)提出在線招聘平臺(tái)中的簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題,并基于真實(shí)數(shù)據(jù)分析,總結(jié)了在線招聘場(chǎng)景下數(shù)據(jù)具有高度動(dòng)態(tài)性、用戶黏度低、雙向匹配等特點(diǎn),明確了場(chǎng)景要求下預(yù)測(cè)問(wèn)題的召回優(yōu)先性。

        (2)結(jié)合招聘場(chǎng)景下高度動(dòng)態(tài)性、用戶黏度低、雙向匹配的特點(diǎn),采用樹(shù)模型和線性模型的混合模型,提出了簡(jiǎn)歷活躍度預(yù)測(cè)方法RAP,并通過(guò)篩選參數(shù)γ來(lái)調(diào)節(jié)兩類預(yù)測(cè)錯(cuò)誤的損失函數(shù)比,從而適應(yīng)在線招聘場(chǎng)景下召回優(yōu)先的需求。

        (3)在58招聘的真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)表明,RAP可以獲得0.817的AUC(area under curve)值,并且通過(guò)篩選參數(shù)γ能夠有效地實(shí)現(xiàn)召回優(yōu)先這個(gè)需求。

        本文組織結(jié)構(gòu)如下:第2章給出在線招聘場(chǎng)景下簡(jiǎn)歷活躍度預(yù)測(cè)的問(wèn)題定義;第3章總結(jié)在線招聘場(chǎng)景的特點(diǎn);第4章根據(jù)總結(jié)的特點(diǎn)提出預(yù)測(cè)方法RAP;第5章在58招聘的真實(shí)數(shù)據(jù)上進(jìn)行實(shí)驗(yàn),證明RAP方法的有效性;第6章介紹目前已有的相關(guān)工作和研究;最后對(duì)本文結(jié)果進(jìn)行總結(jié)。

        2 問(wèn)題定義

        本章首先定義簡(jiǎn)歷活躍度的概念,在此基礎(chǔ)上,給出簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題的定義,作為進(jìn)一步研究簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題的基礎(chǔ)。

        定義1(簡(jiǎn)歷活躍度)若簡(jiǎn)歷r在第t天被投遞了Dtr次,其用戶在該天一共點(diǎn)擊了Ctr次招聘職位,則r在這一天的活躍情況為(Crt,Dtr)。為了方便進(jìn)行比較等運(yùn)算,簡(jiǎn)歷r在第t天的活躍度Atr定義為:

        其中,θc、θd是兩個(gè)閾值參數(shù)。進(jìn)一步地,簡(jiǎn)歷r在第t天時(shí),將未來(lái)一段時(shí)間(δ天)內(nèi)的活躍度定義為:

        即,如果簡(jiǎn)歷r在未來(lái)δ天內(nèi)至少有一天活躍,那么它在未來(lái)δ天內(nèi)就被認(rèn)為是活躍的。

        在此基礎(chǔ)上,將簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題定義為一個(gè)傳統(tǒng)的分類問(wèn)題。

        定義2(簡(jiǎn)歷活躍度預(yù)測(cè))給定簡(jiǎn)歷集合R和每個(gè)簡(jiǎn)歷的特征信息,給定未來(lái)區(qū)間δ,對(duì)其中的每一份簡(jiǎn)歷r∈R,簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題就是利用特征信息預(yù)測(cè)簡(jiǎn)歷r在第t天時(shí)未來(lái)δ天的活躍度∈{0,1},記預(yù)測(cè)值為∈{0,1},其中1代表活躍,0代表不活躍。

        3 在線招聘場(chǎng)景特點(diǎn)

        為了更好地了解在線招聘場(chǎng)景,更有針對(duì)性地設(shè)計(jì)模型來(lái)解決簡(jiǎn)歷活躍度預(yù)測(cè)的問(wèn)題,本章分析在線招聘場(chǎng)景的主要特點(diǎn)。通過(guò)對(duì)58招聘平臺(tái)的數(shù)據(jù)分析與探究,對(duì)比社交網(wǎng)絡(luò)等其他在線網(wǎng)絡(luò)平臺(tái),本文總結(jié)了數(shù)據(jù)與用戶行為的特性,包括高度動(dòng)態(tài)性、用戶黏度低、雙向匹配等特點(diǎn)。同時(shí),從場(chǎng)景動(dòng)機(jī)出發(fā),在線招聘對(duì)簡(jiǎn)歷活躍度的預(yù)測(cè)也有召回優(yōu)先的要求。

        3.1 高度動(dòng)態(tài)性

        在招聘平臺(tái)上,每天有大量的求職者在平臺(tái)上傳并投遞簡(jiǎn)歷,也有大量的招聘職位被招聘者放出。如圖2所示,對(duì)58招聘平臺(tái)的數(shù)據(jù)統(tǒng)計(jì)表明,每天大約產(chǎn)生數(shù)萬(wàn)的新簡(jiǎn)歷和超過(guò)十萬(wàn)的新職位。這樣的數(shù)據(jù)量展示了招聘場(chǎng)景數(shù)據(jù)的高度動(dòng)態(tài)性,新用戶、新簡(jiǎn)歷、新職位的產(chǎn)生速度非常快,信息快速更迭。在活躍度預(yù)測(cè)問(wèn)題中,高度動(dòng)態(tài)性表示人們不僅需要處理大量的數(shù)據(jù),還需要應(yīng)對(duì)大量新簡(jiǎn)歷的情況。

        Fig.2 Number of new resumes and positions published every day on 58 Recruitment Website in Sep,2016圖2 58招聘每天添加的新簡(jiǎn)歷、新職位數(shù)目(2016年9月)

        3.2 用戶黏度低

        求職者在求職期間會(huì)經(jīng)常登錄求職網(wǎng)站,瀏覽各種職位,并投遞一些職位,而一旦找到了滿意的工作,就不會(huì)繼續(xù)登錄網(wǎng)站產(chǎn)生上述行為。從而招聘平臺(tái)往往有較低的用戶黏度,尤其是與社交網(wǎng)絡(luò)用戶的強(qiáng)黏度相比。在這樣的情況下,數(shù)據(jù)具有強(qiáng)時(shí)效性,判斷用戶的行為可能需要從近期的活躍度和行為情況入手,久遠(yuǎn)的信息可能只涉及完全不相關(guān)的工作狀態(tài)。

        本文從58招聘平臺(tái)的真實(shí)數(shù)據(jù)中找到了相應(yīng)的依據(jù)。如圖1所示,根據(jù)用戶在一個(gè)月內(nèi)產(chǎn)生點(diǎn)擊或者投遞行為的天數(shù)分類統(tǒng)計(jì),產(chǎn)生過(guò)點(diǎn)擊或者投遞行為的用戶中,3天以下的占71.2%,5天以下的占87.9%,大于9天的只占2.7%,因此單個(gè)用戶的行為數(shù)據(jù)量是非常有限的,經(jīng)常活躍幾天以后就不再產(chǎn)生用戶行為。除了宏觀統(tǒng)計(jì)之外,將這段時(shí)間內(nèi)有活躍行為的用戶取樣,對(duì)他們的活躍行為次數(shù)按照日期的分布繪制了統(tǒng)計(jì)圖。在圖3的個(gè)案分析中,可以看到,比較典型的用戶,例如用戶B,在一段比較短的時(shí)間內(nèi)(8天)活躍,在接下來(lái)的一段時(shí)間內(nèi)不再登錄平臺(tái)產(chǎn)生行為;用戶A在兩個(gè)活躍峰值之間有約一周的間隔,但是之后也不再繼續(xù)活躍,行為集中;用戶C活躍的日期范圍相對(duì)分散,橫跨18天,但只活躍了6天。在對(duì)數(shù)據(jù)的觀察中發(fā)現(xiàn)這3類用戶都存在,其中與用戶A、B類似的用戶尤其廣泛,大部分用戶都在一個(gè)比較短暫的區(qū)間內(nèi)產(chǎn)生活躍行為。因此,用戶黏度低,數(shù)據(jù)的時(shí)效性非常強(qiáng),采用近段時(shí)間的數(shù)據(jù)進(jìn)行預(yù)測(cè)是非常合理的選擇。

        Fig.3 Statistics of user activities of several sample users in a month on 58 Recruitment website圖3 一個(gè)月內(nèi)58招聘用戶活躍次數(shù)按天統(tǒng)計(jì)示例

        3.3 雙向匹配

        在現(xiàn)實(shí)職業(yè)場(chǎng)景的招聘會(huì)中,有招聘者和求職者雙方的參與,線上招聘平臺(tái)也是如此,雙方都有對(duì)應(yīng)的活動(dòng),分別發(fā)布簡(jiǎn)歷和職位,然后求職者可以瀏覽職位,投遞簡(jiǎn)歷,而招聘者可以購(gòu)買或下載簡(jiǎn)歷。由于這是招聘場(chǎng)景的本質(zhì)特征,這樣的雙向互動(dòng)在所有線上招聘平臺(tái)中都是存在且類似的。

        在簡(jiǎn)歷活躍度預(yù)測(cè)的問(wèn)題中,很重要的內(nèi)容是求職者能否通過(guò)平臺(tái)找到工作,而能達(dá)到這一點(diǎn)的最主要的就是簡(jiǎn)歷和職位在瀏覽、投遞、購(gòu)買等場(chǎng)景的交互中能否匹配得當(dāng)。簡(jiǎn)單來(lái)說(shuō),求職者認(rèn)為匹配得當(dāng)就會(huì)投遞簡(jiǎn)歷,而招聘者覺(jué)得匹配得當(dāng)就會(huì)購(gòu)買簡(jiǎn)歷或者約求職者面試。因此,盡管沒(méi)有顯式的公式進(jìn)行衡量,這種雙向匹配的活動(dòng)是人們?cè)谂袛嗟臅r(shí)候需要關(guān)注的重要內(nèi)容。

        3.4 活躍度預(yù)測(cè)的召回優(yōu)先

        在線招聘場(chǎng)景下簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題,是為了挑選出活躍簡(jiǎn)歷進(jìn)行重點(diǎn)推送,因此準(zhǔn)確率和召回率[5]的重要性有明顯的差異。當(dāng)一份不會(huì)再活躍的簡(jiǎn)歷被當(dāng)作活躍簡(jiǎn)歷重點(diǎn)推送時(shí),最壞的結(jié)果是浪費(fèi)少量的平臺(tái)資源,降低一些求職者和招聘者的用戶體驗(yàn);但是另一方面,如果一份活躍簡(jiǎn)歷被當(dāng)作不會(huì)再活躍的簡(jiǎn)歷,基本不被推送,則可能會(huì)導(dǎo)致一個(gè)正在求職的用戶無(wú)法獲得對(duì)應(yīng)的招聘,妨礙勞動(dòng)協(xié)議的達(dá)成,直接影響平臺(tái)核心功能,進(jìn)而影響招聘平臺(tái)對(duì)就業(yè)市場(chǎng)的貢獻(xiàn)。兩相比較,召回率比準(zhǔn)確率在此場(chǎng)景下更為重要一些,即活躍度預(yù)測(cè)具有召回優(yōu)先的特性,預(yù)測(cè)方法也需要與這樣的指標(biāo)相適應(yīng)。同時(shí),召回率相對(duì)準(zhǔn)確率優(yōu)先的程度需要根據(jù)具體平臺(tái)的實(shí)際情況和需求來(lái)調(diào)節(jié),理想的預(yù)測(cè)方法應(yīng)該能滿足這一要求。

        3.5 小結(jié)

        根據(jù)以上分析,在線招聘場(chǎng)景具有高度動(dòng)態(tài)性、用戶黏度低、雙向匹配、召回優(yōu)先等特點(diǎn),根據(jù)這些特點(diǎn),在預(yù)測(cè)簡(jiǎn)歷活躍度中,本文選取兩方面的特征:近期歷史活躍信息(對(duì)應(yīng)高度動(dòng)態(tài)性、低用戶黏度)和雙向匹配信息(對(duì)應(yīng)雙向匹配特點(diǎn)),而召回優(yōu)先的需求將從模型的角度控制。具體的特征參見(jiàn)5.2節(jié)。

        4 活躍度預(yù)測(cè)方法RAP

        根據(jù)第2章總結(jié)的在線招聘的場(chǎng)景特點(diǎn),即高度動(dòng)態(tài)性、用戶黏度低、雙向匹配和召回優(yōu)先,本章提出對(duì)應(yīng)的簡(jiǎn)歷活躍度預(yù)測(cè)方法RAP。

        如圖4所示,RAP模型的執(zhí)行流程分為特征轉(zhuǎn)換和模型訓(xùn)練兩部分。第一部分是特征轉(zhuǎn)換部分,RAP通過(guò)樹(shù)模型將數(shù)據(jù)特征中的近期歷史活躍信息部分轉(zhuǎn)化為新的向量特征;第二部分用轉(zhuǎn)換后的特征和雙向匹配特征拼接,然后訓(xùn)練模型RAP。

        接下來(lái)具體介紹模型的兩部分,即如何對(duì)隨機(jī)森林特征進(jìn)行轉(zhuǎn)化,以及如何定義RAP模型。

        4.1 特征轉(zhuǎn)換

        通過(guò)樹(shù)模型對(duì)特征進(jìn)行一定的選擇和過(guò)濾,能夠選取一些比較重要的特征,使得模型具有一定程度的可解釋性。在線招聘場(chǎng)景中,同樣要求用于活躍度預(yù)測(cè)模型的特征具有一定的可解釋性,因?yàn)檫@樣有利于用戶和平臺(tái)結(jié)合自己的策略進(jìn)行特征的調(diào)控[6]。因此,本文采用能適應(yīng)較大數(shù)據(jù)量的樹(shù)模型隨機(jī)森林對(duì)近期歷史活躍信息進(jìn)行特征的轉(zhuǎn)換。

        Fig.4 Aschematic diagram of RAP model圖4 RAP模型的結(jié)構(gòu)示意圖

        利用隨機(jī)森林進(jìn)行特征轉(zhuǎn)換[6]指的是:對(duì)輸入的特征(近期歷史活躍信息),通過(guò)隨機(jī)森林模型進(jìn)行分類訓(xùn)練,然后將現(xiàn)有特征轉(zhuǎn)化為只包含0、1的新特征z()=,具體的流程如算法1所示。在用隨機(jī)森林訓(xùn)練得到樹(shù)模型之后,新特征的維數(shù)就是所有樹(shù)的葉子結(jié)點(diǎn)個(gè)數(shù)(第2~3行),而對(duì)于特征,其在z()中第k維的值由在樹(shù)模型上分類的結(jié)果決定,第k維為1當(dāng)且僅當(dāng)分類后落在第k個(gè)葉子結(jié)點(diǎn)上。計(jì)算的時(shí)候,遍歷森林中的所有樹(shù)(第4~15行),找到特征對(duì)應(yīng)的葉子結(jié)點(diǎn)(第5~12行),并標(biāo)記新特征的對(duì)應(yīng)值(第13~14行)。例如,圖5中的經(jīng)過(guò)樹(shù)模型之后,假設(shè)分類經(jīng)過(guò)的結(jié)點(diǎn)為圖中的畫“X”結(jié)點(diǎn),并且一共有兩棵樹(shù),5個(gè)葉子結(jié)點(diǎn),那么得到的新特征為=(0,0,1,1,0)T。

        算法1特征轉(zhuǎn)換

        輸入:訓(xùn)練得到的樹(shù)模型trees,輸入的特征向量x。

        輸出:轉(zhuǎn)換后的特征z。

        1.leaves←包含trees中所有葉結(jié)點(diǎn)的數(shù)組;

        2.z←長(zhǎng)度與leaves相同且全為0的數(shù)組;

        3.forT∈treesdo

        4.node←T.root;

        5.while notnode.isLeafdo

        6. ifx屬于node的左子樹(shù)then

        7.node←node.leftChild

        8. else

        9.node←node.rightChild

        10. end

        11.end

        12.找到k使得leaves[k]=node

        13.z[k]←1

        14.end

        15.returnz

        式中,y、a、b和x分別代表變量的回歸結(jié)果,時(shí)間趨勢(shì)、截距以及年份。通常地,當(dāng)a>0時(shí),表明變量y呈增加的趨勢(shì),反之則呈減少的趨勢(shì)。

        Fig.5 An example of feature conversion圖5 特征轉(zhuǎn)換樣例

        4.2 模型定義

        如第1章所述,將活躍度預(yù)測(cè)問(wèn)題形式化為一個(gè)二分類問(wèn)題。這里基于邏輯回歸模型提出RAP模型。RAP定義了全新的損失函數(shù),能夠很好地適應(yīng)在線招聘場(chǎng)景中召回優(yōu)先的需求。本文以邏輯回歸(LR)為基本模型的原因是:LR的輸出結(jié)果表征求職者是否活躍的概率,而不是簡(jiǎn)單的0、1類別。在在線招聘場(chǎng)景中,以概率作為輸出值是很重要的,因?yàn)槠脚_(tái)可以根據(jù)各個(gè)簡(jiǎn)歷的活躍情況進(jìn)行排序,進(jìn)而獲得相對(duì)活躍的簡(jiǎn)歷。接下來(lái),介紹活躍度預(yù)測(cè)模型RAP。

        定義3(RAP預(yù)測(cè)模型)假設(shè)需要在第t天預(yù)測(cè)簡(jiǎn)歷r在未來(lái)δ天內(nèi)是否活躍,用表示數(shù)據(jù)特征,表示預(yù)測(cè)值,則預(yù)測(cè)值為:

        其中,σ為sigmoid函數(shù);ω為需要學(xué)習(xí)得到的回歸系數(shù)。

        對(duì)于每一天、每一份簡(jiǎn)歷,最小化它們預(yù)測(cè)值和真實(shí)值之間的誤差,因此優(yōu)化目標(biāo)J定義為:

        其中,γ0是正則化項(xiàng)||ω||22的參數(shù);T是訓(xùn)練數(shù)據(jù)的天數(shù)是損失函數(shù)。損失函數(shù)定義為:

        其中,γ∈[0,1]為篩選參數(shù)。這個(gè)預(yù)測(cè)模型記為RAP模型。通過(guò)簡(jiǎn)單的求導(dǎo)可知,該模型的損失函數(shù)是凸函數(shù),因此能夠使用梯度下降函數(shù)求解參數(shù)并獲得全局最優(yōu)解。

        下面證明RAP中召回率和準(zhǔn)確率的相對(duì)重要程度由篩選參數(shù)γ決定??紤]分類過(guò)程中出現(xiàn)的兩類錯(cuò)誤,F(xiàn)P(false positive,預(yù)測(cè)值為1而實(shí)際值為0)與FN(false negative,預(yù)測(cè)值為0而實(shí)際值為1),要判斷召回率和準(zhǔn)確率的相對(duì)重要程度,只需判斷兩者對(duì)損失函數(shù)的貢獻(xiàn)的比值即可。

        命題1如果分別記FP、FN兩類錯(cuò)誤對(duì)目標(biāo)函數(shù)J的貢獻(xiàn)(即損失)為L(zhǎng)(FP)和L(FN),則兩者之比為1-γ。

        證明直接計(jì)算:

        可以看到,篩選參數(shù)γ的實(shí)際意義就是兩類錯(cuò)誤對(duì)損失函數(shù)的貢獻(xiàn)相差的百分比。因此,RAP可以方便簡(jiǎn)單地通過(guò)控制參數(shù)γ達(dá)到召回優(yōu)先的需求。

        5 實(shí)驗(yàn)

        本章通過(guò)58招聘平臺(tái)的真實(shí)數(shù)據(jù),分別探究、展示近期歷史活躍信息、雙向匹配信息在簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題中的利用情況,最后結(jié)合這兩類特征,證明RAP模型在在線招聘場(chǎng)景中預(yù)測(cè)簡(jiǎn)歷活躍度的有效性。

        5.1 實(shí)驗(yàn)環(huán)境

        本文實(shí)驗(yàn)運(yùn)行在一個(gè)包含7臺(tái)機(jī)器的Spark 1.6.1集群上,每個(gè)機(jī)器配有兩個(gè)AMD Opteron 4180處理器,40 GB內(nèi)存。實(shí)驗(yàn)代碼均使用Scala語(yǔ)言編寫。本文采用的數(shù)據(jù)來(lái)自58招聘平臺(tái)(2016年9月10日至2016年10月10日),包括用戶、簡(jiǎn)歷、職位、企業(yè)等項(xiàng)目的基本信息,以及他們的行為數(shù)據(jù),數(shù)據(jù)的特點(diǎn)參見(jiàn)表1。在實(shí)驗(yàn)中,不失一般性,采用前26天的數(shù)據(jù)作為訓(xùn)練集,后5天的數(shù)據(jù)作為測(cè)試集(其中簡(jiǎn)歷用戶都是近期L天內(nèi)有過(guò)點(diǎn)擊或者投遞行為的)。

        Table 1 Basic characteristics of 58 Recruitment data表1 58招聘數(shù)據(jù)的基本特點(diǎn)

        相關(guān)社交網(wǎng)絡(luò)的活躍度模型[1-4]大多從社交網(wǎng)絡(luò)本身的特性出發(fā),根據(jù)用戶行為的多樣性、動(dòng)態(tài)性、社交影響等特點(diǎn)預(yù)測(cè),但是由于招聘場(chǎng)景與其的諸多不同,例如在招聘場(chǎng)景下,用戶的個(gè)體行為風(fēng)格難以刻畫,社交關(guān)系沒(méi)有定義等,已有的活躍度預(yù)測(cè)方法難以移植。因此,本文只展示RAP模型在實(shí)驗(yàn)數(shù)據(jù)中的有效性。

        對(duì)于RAP模型效果的衡量指標(biāo),本文采用分類模型中通常使用的AUC(area under curve)、準(zhǔn)確率(Precision)和召回率(Recall)。其中AUC是在ROC曲線下的面積[7],用來(lái)衡量正樣本預(yù)測(cè)結(jié)果比負(fù)樣本高的概率,而Precision和Recall的定義參見(jiàn)文獻(xiàn)[5]。

        本文實(shí)驗(yàn)中所提及的AUC、Precision、Recall是測(cè)試集中每天結(jié)果的平均值。

        5.2 特征選擇

        根據(jù)第2章分析的在線招聘場(chǎng)景的特點(diǎn),抽取近期歷史活躍信息和雙向匹配信息兩方面的特征。

        首先,根據(jù)在線招聘場(chǎng)景數(shù)據(jù)的高度動(dòng)態(tài)性和用戶黏度低兩個(gè)特點(diǎn),抽取用戶最近L天的近期歷史活躍信息作為一部分特征。例如L=5時(shí),用戶A在最近L天的活躍情況為(點(diǎn)擊5次投遞3次,點(diǎn)擊2次投遞1次,不點(diǎn)擊也不投遞,點(diǎn)擊6次,不點(diǎn)擊也不投遞),那么對(duì)應(yīng)的向量為(5,3,2,1,0,0,6,0,0,0)T。

        其次,根據(jù)雙向匹配特性,分別抽取簡(jiǎn)歷和職位兩方面的信息以及二者的雙向匹配信息,比如求職者用戶點(diǎn)擊/瀏覽職位,招聘者用戶下載簡(jiǎn)歷等行為。表2詳細(xì)列出了這些信息的具體內(nèi)容。

        Table 2 Features extracted from 58 Recruitment data表2 58招聘數(shù)據(jù)中提取的特征具體內(nèi)容

        5.3 基本參數(shù)設(shè)置

        本節(jié)考慮實(shí)驗(yàn)中用到的基本參數(shù)。

        在歷史活躍信息中,本文取L=5天的近期歷史活躍信息來(lái)刻畫高度動(dòng)態(tài)性和用戶粘度低等特點(diǎn)。因?yàn)楦鶕?jù)對(duì)場(chǎng)景數(shù)據(jù)的統(tǒng)計(jì)分析,近90%的用戶活躍天數(shù)不超過(guò)5天,所以5天的歷史活躍情況能對(duì)用戶近期活躍做一個(gè)表征。考慮簡(jiǎn)歷活躍的行為定義,由“活躍”的含義(參見(jiàn)第1章)可知,用戶的投遞行為可以明確表示其求職的意愿,而點(diǎn)擊行為在達(dá)到一定數(shù)量之后也能體現(xiàn)出足夠的求職意愿。不失一般性,實(shí)驗(yàn)中活躍度參數(shù)取θc=3,θd=1。

        接下來(lái)確定RAP模型中的基本參數(shù),包括模型訓(xùn)練的迭代輪數(shù)和特征轉(zhuǎn)換的隨機(jī)森林中樹(shù)的個(gè)數(shù)、深度等。通過(guò)對(duì)RAP的預(yù)實(shí)驗(yàn)來(lái)確定使用的迭代輪數(shù)。圖6展示了模型訓(xùn)練中SGD的迭代輪數(shù)與AUC之間的關(guān)系曲線,可以看到在8~10輪后AUC基本不變,因此在后續(xù)實(shí)驗(yàn)中選取迭代輪數(shù)為10輪。

        Fig.6 Relation betweenAUC and the number of SGD iterations when training RAP圖6RAP模型訓(xùn)練中AUC值與SGD迭代輪數(shù)的關(guān)系

        與之類似,用隨機(jī)森林模型進(jìn)行預(yù)實(shí)驗(yàn),根據(jù)對(duì)AUC的影響,確定后續(xù)實(shí)驗(yàn)中使用的隨機(jī)森林的參數(shù),具體為50棵樹(shù),最大深度10層。

        5.4 特征有效性評(píng)估

        本節(jié)通過(guò)不同的基本模型考察近期歷史活躍信息和雙向匹配信息在簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題中的不同作用?;灸P桶ㄟ壿嫽貧w模型(LR)、隨機(jī)森林模型(RF)和支持向量機(jī)(SVM)。

        5.4.1 近期歷史活躍信息特征

        針對(duì)高度動(dòng)態(tài)性、用戶黏度低的場(chǎng)景特點(diǎn),即在只有近期歷史活躍信息的情況下,通過(guò)實(shí)驗(yàn)考察三種基本模型對(duì)信息的利用情況,探究數(shù)據(jù)和模型的特點(diǎn),實(shí)驗(yàn)結(jié)果如表3所示。從表中可以觀察到,三者的AUC值并不高,RF相對(duì)略高一些,因?yàn)槿吣P?、特征都比較簡(jiǎn)單,無(wú)法很好地刻畫活躍簡(jiǎn)歷的特點(diǎn),但是樹(shù)模型RF在準(zhǔn)確度上達(dá)到了0.95的水平,遠(yuǎn)遠(yuǎn)高于前兩者的準(zhǔn)確率和召回率,可能是通過(guò)對(duì)非線性特征的過(guò)濾直接地篩選出了典型的活躍簡(jiǎn)歷。因此,在RAP模型執(zhí)行流程的設(shè)計(jì)中,也希望通過(guò)樹(shù)模型對(duì)歷史信息進(jìn)行處理。

        Table 3 Accuracy of models using history activeness information表3 不同模型使用近期歷史活躍信息的預(yù)測(cè)精度

        5.4.2 雙向匹配信息特征

        Table 4 Accuracy of models using bidirectional matching information表4 不同模型使用雙向匹配信息的預(yù)測(cè)精度

        5.5 RAP模型評(píng)估

        本節(jié)考察RAP模型預(yù)測(cè)簡(jiǎn)歷活躍度的效果。通過(guò)分析篩選參數(shù)γ對(duì)準(zhǔn)確率、召回率、AUC等指標(biāo)的影響,考察它的作用與靈敏性,然后通過(guò)與基線模型的比較證明RAP模型的有效性。

        5.5.1 篩選參數(shù)γ

        篩選參數(shù)γ的選取,依賴平臺(tái)對(duì)問(wèn)題目標(biāo)的要求,可能與平臺(tái)的運(yùn)營(yíng)目標(biāo)、用戶規(guī)模、質(zhì)量要求等相關(guān),平臺(tái)也可以通過(guò)選取不同的γ提供不同質(zhì)量層次的簡(jiǎn)歷給招聘者。根據(jù)3.2節(jié)的理論分析可知,參數(shù)γ可以控制準(zhǔn)確率和召回率的相對(duì)重要程度。因此,這里用實(shí)驗(yàn)來(lái)衡量參數(shù)γ對(duì)預(yù)測(cè)結(jié)果指標(biāo)的影響。

        從圖7中可以看到,當(dāng)篩選參數(shù)γ從零開(kāi)始逐漸增加時(shí),AUC基本不變,模型保持了對(duì)正負(fù)樣本的區(qū)分能力,有效性得到了保持。而準(zhǔn)確率和召回率隨γ的改變往不同方向改變,召回率逐漸上升,準(zhǔn)確率逐漸下降,達(dá)到篩選參數(shù)的調(diào)節(jié)作用。從圖7來(lái)看γ在0.1至0.2左右時(shí)有一個(gè)比較不錯(cuò)的結(jié)果。

        Fig.7 Influence of parameterγon prediction accuracy圖7 參數(shù)γ對(duì)預(yù)測(cè)精度的影響

        5.5.2 總體實(shí)驗(yàn)效果分析

        下面通過(guò)實(shí)驗(yàn)證明RAP模型在綜合利用近期歷史活躍信息、互動(dòng)匹配信息,解決預(yù)測(cè)問(wèn)題方面的有效性。這里選取的基線模型是4.4節(jié)表現(xiàn)較好的兩個(gè)模型,分別是使用互動(dòng)匹配特征的邏輯回歸(LR),以及使用近期歷史活躍信息特征的隨機(jī)森林(RF)。

        如表5所示,RAP模型在AUC上達(dá)到了0.817,相比于兩個(gè)基線模型有明顯的優(yōu)勢(shì),因?yàn)樗C合了這兩個(gè)模型對(duì)特征利用的優(yōu)勢(shì),分別針對(duì)互動(dòng)匹配信息和近期歷史活躍信息,能更好地區(qū)分正負(fù)樣本;RAP的準(zhǔn)確率比LR高,但是比RF低,在一個(gè)可以接受的水平上,并隨著篩選參數(shù)γ的改變而變化,召回率也能通過(guò)參數(shù)進(jìn)行合理調(diào)節(jié),滿足此處對(duì)預(yù)測(cè)模型的要求,比如隨著γ從0增長(zhǎng)到0.2,RAP的Precision在降低,Recall在升高。

        Table 5 Accuracy of models on activeness prediction表5 不同模型在活躍度預(yù)測(cè)問(wèn)題上的精度

        6 相關(guān)工作

        本章回顧和分析兩方面的工作:一般場(chǎng)景下的用戶活躍度預(yù)測(cè)問(wèn)題和在線招聘場(chǎng)景相關(guān)的研究。

        (1)關(guān)于用戶活躍度預(yù)測(cè)的研究。在用戶活躍度預(yù)測(cè)方面,社交網(wǎng)絡(luò)等平臺(tái)上有較多的研究。文獻(xiàn)[2]就用戶可能退出社交平臺(tái)的內(nèi)、外部?jī)煞矫嬉蛩剡M(jìn)行考慮,提出了社交網(wǎng)絡(luò)中用戶活躍的總體性預(yù)測(cè)方法。文獻(xiàn)[1]就免費(fèi)網(wǎng)絡(luò)服務(wù)的用戶,采用Cox比例風(fēng)險(xiǎn)模型來(lái)擬合預(yù)測(cè)活躍情況。文獻(xiàn)[4]就人人網(wǎng)實(shí)名社交平臺(tái)對(duì)社交網(wǎng)絡(luò)的用戶數(shù)據(jù)特性進(jìn)行了探索,根據(jù)多樣性、動(dòng)態(tài)性、社交影響這三方面的特點(diǎn),提出了適應(yīng)社交網(wǎng)絡(luò)的活躍度預(yù)測(cè)方法。用戶活躍度預(yù)測(cè)還有進(jìn)一步的社會(huì)意義,文獻(xiàn)[3]根據(jù)社交網(wǎng)絡(luò)與肥胖癥傳遞的相關(guān)特性[8],結(jié)合文獻(xiàn)[4]提出的社交網(wǎng)絡(luò)三種主要特征,提出了社交限制性玻爾茲曼機(jī)(social restricted Boltzmann machine,SRBM)的深度學(xué)習(xí)方法,以預(yù)測(cè)健康網(wǎng)絡(luò)中的用戶行為。這些利用了社交網(wǎng)絡(luò)特性的預(yù)測(cè)方法可以作為招聘場(chǎng)景的參考。另外,問(wèn)答論壇[9]、網(wǎng)絡(luò)游戲[10]、通訊行業(yè)[11-13]等場(chǎng)景中的用戶活躍預(yù)測(cè)研究也都利用了各自內(nèi)部用戶之間的黏性,這和用戶黏度低的招聘平臺(tái)大有不同。

        (2)關(guān)于在線招聘場(chǎng)景的研究。隨著在線招聘的普及,關(guān)于在線招聘市場(chǎng)數(shù)據(jù)的研究也變得熱門。文獻(xiàn)[14]為了分析在線招聘市場(chǎng)中招聘的宏觀趨勢(shì)變化,提出了線性隱語(yǔ)義模型MTLVM(market trend latent variable model),該模型采用多級(jí)狄利克雷過(guò)程來(lái)捕獲宏觀過(guò)程中招聘主題的變化。文獻(xiàn)[15]研究如何在大量的招聘數(shù)據(jù)中有效地找到具有特定技能的人才。該研究通過(guò)構(gòu)建“職業(yè)變遷網(wǎng)絡(luò)”,然后在該網(wǎng)絡(luò)中進(jìn)行稠密子圖的發(fā)現(xiàn),進(jìn)而將網(wǎng)絡(luò)劃分成聯(lián)通的“才能”網(wǎng)絡(luò)。

        7 總結(jié)

        本文提出了在線招聘場(chǎng)景下的簡(jiǎn)歷活躍度預(yù)測(cè)問(wèn)題,總結(jié)了該場(chǎng)景下的數(shù)據(jù)具有的高度動(dòng)態(tài)性、用戶黏度低、雙向匹配等特點(diǎn),明確了預(yù)測(cè)目標(biāo)的召回優(yōu)先性,并在此基礎(chǔ)上,提出了一種既能適應(yīng)上述在線招聘場(chǎng)景特點(diǎn),又能通過(guò)簡(jiǎn)單參數(shù)調(diào)節(jié)實(shí)現(xiàn)召回優(yōu)先需求的簡(jiǎn)歷活躍度預(yù)測(cè)方法RAP。通過(guò)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn),RAP模型的有效性得到了證實(shí)。

        [1]Kapoor K,Sun Mingxuan,Srivastava J,et al.A hazard based approach to user return time prediction[C]//Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,New York,Aug 24-27,2014.New York:ACM,2014:1719-1728.

        [2]Zhu Yin,Zhong Erheng,Pan S J,et al.Predicting user activity level in social networks[C]//Proceedings of the 22nd ACM International Conference on Information and Knowledge Management,San Francisco,Oct 27-Nov 1,2013.New York:ACM,2013:159-168.

        [3]Oentaryo R J,Lim E P,Lo D,et al.Collective churn prediction in social network[C]//Proceedings of the 2012 International Conference on Advances in Social Networks Analysis and Mining,Istanbul,Aug 26-29,2012.Washington:IEEE Computer Society,2012:210-214.

        [4]Phan N H,Dou Dejing,Piniewski B,et al.Social restricted Boltzmann machine:human behavior prediction in health social networks[C]//Proceedings of the 2015 International Conference on Advances in Social Networks Analysis and Mining,Paris,Aug 25-28,2015.New York:ACM,2015:424-431.

        [5]Baeza-Yates RA,Ribeiro-Neto B.Modern information retrieval[M].Boston:Addison-Wesley Longman Publishing Co,Inc,1999.

        [6]He Xinran,Pan Junfeng,Jin Ou,et al.Practical lessons from predicting clicks on ads at Facebook[C]//Proceedings of the 8th International Workshop on Data Mining for Online Advertising,New York,Aug 24,2014.New York:ACM,2014:1-9.

        [7]Friedman J H,Hastie T,Tibshirani R.The elements of statistical learning(Vol.1)[M].Berlin,Heidelberg:Springer,2001.

        [8]Fichman R G,Kemerer C F.The illusory diffusion of innovation:an examination of assimilation gaps[J].Information Systems Research,1999,10(3):255-275.

        [9]Yang Jiang,Wei Xiao,Ackerman M S,et al.Activity lifespan:an analysis of user survival patterns in online knowledge sharing communities[C]//Proceedings of the 4th International Conference on Weblogs and Social Media,Washington,May 23-26,2010.Menlo Park:AAAI,2010:186-193.

        [10]Kawale J,Pal A,Srivastava J.Churn prediction in MMORPGs:a social influence based approach[C]//Proceedings of the 12th IEEE International Conference on Computational Science and Engineering,Vancouver,Aug 29-31,2009.Washington:IEEE Computer Society,2009:423-428.

        [11]Dasgupta K,Singh R,Viswanathan B,et al.Social ties and their relevance to churn in mobile telecom networks[C]//Proceedings of the 11th International Conference on Extending Database Technology,Nantes,Mar 25-29,2008.New York:ACM,2008:668-677.

        [12]Guyon I,Lemaire V,Boullé M,et al.Analysis of the KDD Cup 2009:fast scoring on a large orange customer database[C]//Proceedings of KDD-Cup 2009 Competition,Paris,Jun 28,2009:1-22.

        [13]Richter Y,Yom-Tov E,Slonim N.Predicting customer churn in mobile networks through analysis of social groups[C]//Proceedings of the 2010 SIAM International Conference on Data Mining,Columbus,Apr 29-May 1,2010.Philadelphia:SIAM,2010:732-741.

        [14]Zhu Chen,Zhu Hengshu,Xiong Hui,et al.Recruitment market trend analysis with sequential latent variable models[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,San Francisco,Aug 13-17,2016.NewYork:ACM,2016:383-392.

        [15]Xu Huang,Yu Zhiwen,Yang Jingyuan,et al.Talent circle detection in job transition networks[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,San Francisco,Aug 13-17,2016.New York:ACM,2016:655-664.

        猜你喜歡
        投遞求職者活躍
        智能投遞箱
        起初為娛樂(lè),現(xiàn)在做招聘:直播幫中國(guó)求職者找工作
        傳統(tǒng)與文化的“投遞”
        中外文摘(2022年13期)2022-08-02 13:46:16
        活躍在抗洪救災(zāi)一線的巾幗身影
        海峽姐妹(2019年8期)2019-09-03 01:00:46
        加納移民局招聘:有妊娠紋不行
        這些活躍在INS的時(shí)髦萌娃,你Follow了嗎?
        Coco薇(2017年11期)2018-01-03 20:24:03
        民生表情
        面試中的12個(gè)禁忌
        大迷宮
        數(shù)據(jù)分析
        日本第一影院一区二区| 国产成人亚洲综合无码DVD| 亚州五十路伊人网| 91精品亚洲熟妇少妇| www国产亚洲精品久久麻豆| 久久国产精品-国产精品| 伊人久久大香线蕉在观看| 精品亚亚洲成av人片在线观看| 国产一区二区三区av免费| 国产伦精品一区二区三区妓女| 亚洲国产精品久久久久久久 | 久久精品国产亚洲不av麻豆| 亚洲码无人客一区二区三区| 人妻少妇中文字幕在线| 麻豆国产原创视频在线播放| 女人和拘做受全程看视频| 国产97在线 | 免费| 国产美女一级做a爱视频| 精品奇米国产一区二区三区 | 色偷偷亚洲第一成人综合网址| 中文字幕无码精品亚洲资源网久久| 亚洲AV无码一区二区一二区教师| 91久久香蕉国产熟女线看| 国产强被迫伦姧在线观看无码| 亚洲丁香五月激情综合| 亚洲精品天堂在线观看| 中文字幕影片免费人妻少妇| 男ji大巴进入女人的视频小说| 欧美日韩亚洲国内综合网| 国产视频嗯啊啊啊| 亚洲日本一区二区在线| 欧美成妇人吹潮在线播放 | 国产精品无码久久久久久久久作品| 亚洲国产成人va在线观看天堂| 国产亚洲美女精品久久久2020| 国产精品久久久久久麻豆一区| 亚洲国产av自拍精选| 亚洲av熟女少妇久久| 久久综合九色综合网站| av天堂线上| 久久99热只有频精品8国语|