陳楚杰 呂建明,2 沈華偉

1(華南理工大學計算機科學與工程學院 廣州 510006) 2(大數(shù)據(jù)與智能機器人教育部重點實驗室(華南理工大學) 廣州 510006) 3(中國科學院計算技術研究所 北京 100190)

隨著互聯(lián)網(wǎng)技術不斷發(fā)展，異步視頻面試技術越來越成熟[1].面試者只需登錄到特定的平臺，回答出平臺上事先設定好的問題.之后面試官們在平臺上評估面試者的面試表現(xiàn)，從而判斷面試者是否能進入下一輪的面試.這種方式和線下面試相比，大大縮短了招聘周期，面試者在任何地點和任何時間都可以回答問題[2].

然而，在招聘需求比較旺盛的季節(jié)，如針對大學校園招聘的春招和秋招季，異步視頻的數(shù)量會急劇增加，并且由于全球疫情的蔓延，越來越多的公司采用了這種異步視頻的面試形式，使得面試官需要耗費大量的精力處理視頻.有研究表明，面試招聘標準越客觀，該公司的績效相對就越好[3-4]，而在實際面試中，面試官通常是在一個連續(xù)、集中的時間內(nèi)，根據(jù)一系列的標準對應聘者們的表現(xiàn)做出評價，這些評價會受到周圍環(huán)境的影響.例如前面應聘者的評分結果可能會影響到面試官對后面應聘者的評分決策，這是面試官的記憶容量瓶頸所導致的.由于面試過程中，面試官需要在短時間內(nèi)對應聘者的表現(xiàn)做出分析，因此面試官會重點關注與評分標準相關的信息，以此形成應聘者人格特性、溝通技能以及領導力等方面的畫像評估，從而做出評分決策.在此過程中，面試官對前面應聘者的記憶會短暫存儲下來，當應聘者數(shù)量過多時，面試官的工作記憶便會超負荷，因此長時間處理視頻的狀態(tài)下難以保證面試官評價的客觀性[5-6].

作為緩解面試官人力瓶頸的自動化工具，自動面試評價旨在于針對面試者所做出的回答，自動分析出面試者的人格特性、溝通技能以及領導力等方面的特質，從而輔助面試官判斷面試者的特質是否符合其崗位勝任要求，避免了面試官可能存在的主觀性.其中的人格特性評估是公司間最廣泛使用的一種評估方法[7]，因為人格特性影響著人們的語言表達、人際交往等多個方面，比如人際敏感度過高的人在人際交往中會更加在意他人的評價，導致與他人相處時存在社會焦慮[8].因此本文將重點研究面試評價中的人格特性評價.然而，為了訓練精準可用的自動化評價模型，往往需要大量專業(yè)人士的精標數(shù)據(jù)，構建代價昂貴.與此同時，已有的自動化評價模型可解釋性較低，無法結合人力資源部門的先驗專業(yè)知識.

基于上述挑戰(zhàn)，文本提出了一種基于循環(huán)神經(jīng)網(wǎng)絡長短期記憶(long short term memory,LSTM)以及關鍵詞-問題注意力機制的多層次(hierarchical keyword-question attention LSTM,HKQA-LSTM)細粒度面試評價方法.該模型是一種2階段學習的分層注意力網(wǎng)絡：第1階段中，通過結合人力資源顧問的專業(yè)知識，我們將外部具有指導意義的關鍵詞、問題作為輸入，根據(jù)面試者在面試中表現(xiàn)出的社交信號[9-10]，評價其不同人格特性的得分，例如針對面試題目“請分享一個實例說明您是如何帶領團隊成功完成某一個任務的？”，如果面試者的回答表述中蘊含溝通、合作、共贏、資源共享等類似含義，則面試官會傾向于認為該面試者的人格是較為宜人合群的；其次，考慮到面試官在面試中會對面試者的綜合表現(xiàn)進行評估，即分析面試者的綜合素質是否符合應聘崗位，從而決定是否錄取[11].基于此，模型在第2階段的訓練中，通過融合不同人格特性特征向量，對面試者回答的問題進行了一個總體打分.實驗結果表明，本文提出的方法能有效地評價面試者的不同人格特性得分與總體得分，在性能上明顯超過基線方法.

1 相關工作

1.1 細粒度面試評價

結構化面試(structured interview)是面試中經(jīng)常采用的一種面試形式，它根據(jù)特定職位的勝任能力要求，采用固定的一套設計題庫，是一種標準化、公平性強的面試形式.心理學研究組織證明，結構化面試比非結構化面試更加有效地反映面試者能力[12-13].面試者要在有限時間內(nèi)證明自己的就業(yè)資格.面試官根據(jù)面試者的回答，對其人格特性、溝通技能、領導力等方面進行評價，在對面試者有一個總體印象的基礎上，面試官會進一步考慮目標崗位的實際需求，判斷該面試者的特質是否適合其應聘的職位[14].其中人格特性評價是公司間廣泛使用的面試評價方法[7]，因為它有著持久、穩(wěn)定的優(yōu)點，并潛在影響著人們的社交表達，比如社交自信型的人往往會使用更多積極的情感用語，并且對他人會表現(xiàn)出更多的認同和稱贊[15].

細粒度面試評價(特別是自動評估面試者的細粒度人格特性)是社交計算中一個有趣的問題.隨著大數(shù)據(jù)熱潮的到來以及計算機算力的提高，人工智能在圖像識別與自然語言處理領域均得到了成功的應用，因此也被研究者用來解決面試評價中的人格特性分析問題.

過去的細粒度人格特性分析研究主要依賴于較為繁瑣的特征工程，即通過人工定義的一些規(guī)則進行特征提取，再利用機器學習方法進行預測.Aydin等人[16]使用隨機森林對視頻中的人物性格進行預測；Sinha等人[17]收集企業(yè)的社交媒體帖子，利用詞之間的相似度等統(tǒng)計特征分析員工的6種人格特質(誠實-謙恭性、情緒性、外向性、宜人性、盡職性、經(jīng)驗的開放性)；Nambiar等人[18]利用音頻和詞匯特征，結合線性回歸、隱含狄利克雷分布(latent Dirichlet allocation,LDA)主題生成模型以及支持向量機方法，對面試者的說話流暢度、自信心等特質做出預測；Muralidhar等人[19]通過場景模擬，收集了169個結構化面試數(shù)據(jù)集，使用支持向量機對面試者的積極性、熱情性等人格特性進行預測；考慮到人們交流過程中經(jīng)常會使用非正式文本，鐘毓等人[20]利用基于主成分分析的方法，探究非正式詞語與說話者人格特性之間的關系.

近年來，神經(jīng)網(wǎng)絡理論與應用不斷發(fā)展，其中特定的網(wǎng)絡結構，比如循環(huán)神經(jīng)網(wǎng)絡，可以很好地對文本進行表征建模[21-22].因此，針對自動面試評價的問題也涌現(xiàn)了不少使用神經(jīng)網(wǎng)絡的方法.Chen等人[23]應用神經(jīng)網(wǎng)絡為基礎的Doc2Vec模型，對面試者的人格特質進行預測；Hemamou等人[24]專門收集了銷售職業(yè)的結構化面試視頻，使用循環(huán)神經(jīng)網(wǎng)絡模型對面試者的語言以及非語言行為(面部表情、語音)進行建模，預測面試者的可雇傭性；Suen等人[25]使用卷積神經(jīng)網(wǎng)絡，提取120位面試者的面部特征，預測他們的5種人格特性.

1.2 注意力機制

Bahdanau等人[26]首次在自然語言處理領域(natural language processing,NLP)中引入了注意力機制，并用在了以編碼器-解碼器為框架的機器翻譯任務中，提高了翻譯的準確率.經(jīng)過實驗證明，注意力機制能有效地篩選出重要的信息，并提高神經(jīng)網(wǎng)絡的可解釋性[27].因此，在自動面試評價中引入注意力機制，可以使神經(jīng)網(wǎng)絡更多地關注面試者文本中包含的有效信息，忽略不重要的信息.

不少研究者針對不同NLP任務的具體特點，提出了不同的注意力計算方式.Lin等人[28]提出了一種基于自我注意力(self-attention)機制來提取句子的可解釋性嵌入；Yang等人[29]根據(jù)文檔中存在詞語、句子、篇章這種層次結構特點，提出了一種基于層次注意力(hierarchical attention)機制的模型，用來捕獲輸入的層次結構信息.

總體上，基于注意力機制的循環(huán)神經(jīng)網(wǎng)絡能有效地對文本序列進行建模，但是僅僅依靠端到端的訓練而沒有融入人力資源的專業(yè)知識的方法往往依賴大量的數(shù)據(jù)訓練，需要消耗人力資源顧問大量的時間進行樣本標注，人力成本極高.此外，以往面試評價中注意力向量通常是由端到端的學習得來，面試官無法得知注意力權重所表達的含義.基于此，本文結合人力資源顧問的專業(yè)知識，將關鍵詞與問題2種外部信息嵌入到模型中，提高了模型的可解釋性，并且能在小樣本上取得較好的預測效果.

2 基于關鍵詞注意力的細粒度面試評價方法

2.1 任務定義及方法概述

總體任務結構如圖1所示.本文將自動面試評價任務形式化描述為一個回歸任務：給定一個面試者表述的文本內(nèi)容W=(w1,w2,…,wn)和關鍵詞詞組Ki=(ki1,ki2,…,kim)，預測對應的面試者不同人格特性得分yi以及對應的總體評分z.其中n是文本W(wǎng)的長度，i是人格特性項的下標，Ki是不同人格特性下的關鍵詞詞組，m是詞組Ki的長度.任務定義中，模型除了在第1階段對面試者的不同人格特性進行打分，還會在第2階段根據(jù)第1階段抽取出的人格特征向量，對面試者進行小題總分z的預測，人格特征向量的融合分為先融合與后融合2種模型.

Fig.1 The overall task structure圖1 總體任務結構

鑒于注意力機制在神經(jīng)網(wǎng)絡模型中有著出色的表現(xiàn)以及可解釋性，本文在自動面試評價中引入關鍵詞以及面試問題2種外部信息作為注意力導向.其中關鍵詞是通過對面試者的回答進行詞頻統(tǒng)計，接著人力資源顧問依據(jù)專業(yè)經(jīng)驗篩選出最能代表其人格特性的關鍵詞，不同的人格特性關鍵詞最終形成關鍵詞表，本文實驗部分給出了關鍵詞表示例.由于模型訓練過程中有了人的參與，該方法能有效提升模型的可解釋性.

此外，考慮到面試者在面試中往往會分層次地表達自己的觀點，本文使用句子-文檔的層次網(wǎng)絡來模擬面試者表述文本中的層次結構關系.在句子層次中，我們使用關鍵詞注意力來對句子進行建模，篩選出句子中的重要單詞.在文檔層次中，我們使用問題注意力來對句子層次的輸出進行建模，篩選出面試者表述中更貼切問題的回答，下面將對我們的方法做出詳細介紹.

2.2 基于關鍵詞注意力機制的雙向LSTM模型

雙向LSTM網(wǎng)絡能有效編碼上下文信息[30]，本文為了使雙向LSTM模型能關注到面試者表述中的不同重要信息，從而分析出面試者的不同人格特性，提出了一種基于關鍵詞注意力機制的雙向LSTM模型.不同于以往的方法，我們考慮到面試官往往會根據(jù)面試者表述中的文本內(nèi)容來推斷面試者的教育背景和人格特征，因此提出了關鍵詞注意力以及關鍵詞匹配2種機制，重現(xiàn)面試官在視頻面試中采用的評價方法.

如圖2所示，模型包含詞向量層、雙向LSTM層、關鍵詞注意力層、關鍵詞匹配層、多層感知機(multi-layer perceptron,MLP)層與sigmoid層，接下來對基于關鍵詞注意力機制的雙向LSTM模型進行介紹.

Fig.2 Keyword attention model圖2 關鍵詞注意力模型

1)詞向量層.給定面試者表述的文本內(nèi)容W=(w1,w2,…,wn)與人格特性關鍵詞詞組Ki=(ki1,ki2,…,kim)，該模型首先使用由百度百科語料預訓練的中文詞向量[31]，將基于詞袋模型的one-hot向量轉換成嵌入向量表示，我們將文本內(nèi)容的嵌入矩陣記為X=(x1,x2,…,xn)，作為雙向LSTM層的輸入.將關鍵詞詞組的嵌入矩陣記為Ei=(ei1,ei2,…,eim)，作為關鍵詞注意力層以及關鍵詞匹配層的輸入，設j為輸入元素的下標，i為人格特性項的下標，We∈d×N為預訓練詞向量，其中d為詞向量的長度，N為詞表的大小，則

xj=Wewj，

(1)

eij=Wekij.

(2)

2)雙向LSTM層.將嵌入矩陣X=(x1,x2,…,xn)輸入到LSTM層，在獲得前向LSTM與后向LSTM的編碼輸出后，對其進行拼接，得到雙向LSTM層的輸出H=(h1,h2,…,hn)，設Γ為LSTM的基本單元，則

(3)

(4)

(5)

3)關鍵詞注意力層.將關鍵詞嵌入矩陣Ei=(ei1,ei2,…,eim)輸入到MLP層做映射，形式為

(6)

其中Wk∈d×d，bk∈d，記映射后的矩陣為將矩陣作為注意力機制的導向，此時，不同的矩陣將會分配不同的注意力權重到雙向LSTM的輸出中.因此模型能夠根據(jù)不同的人格特性，關注到面試者文本信息中的不同方面.注意力計算方式為

(7)

(8)

(9)

(10)

其中att為注意力函數(shù).根據(jù)注意力函數(shù)計算ht的權重uit后，對uit進行歸一化處理得到ait，最后根據(jù)ait對矩陣H=(h1,h2,…,hn)中的元素進行加權求和，得到特征向量si.

4)關鍵詞匹配層.除了考慮經(jīng)過上下文編碼的隱含向量外，我們認為原始的嵌入向量表示同樣重要，因此引入了關鍵詞匹配機制.人力資源顧問形成的關鍵詞表中，共包含卓越關鍵詞詞表、優(yōu)秀關鍵詞詞表、普通關鍵詞詞表，我們將其嵌入后的矩陣分別記為Ei，Gi，Oi，其中i是關鍵詞詞組的下標.關鍵詞匹配的計算方法為

vi=[match(Ei,X);match(Gi,X);
match(Oi,X)]，

(11)

(12)

(13)

(14)

其中F為縮放因子，即實驗中設定的總得分.

2.3 關鍵詞-問題層次注意力網(wǎng)絡

考慮到面試過程中面試者表述的內(nèi)容是具有層次關系的長文本，且不同的句子表述的內(nèi)容相對問題來說有側重點，受Yang等人[29]工作的啟發(fā)，我們將長文本分為句子層次以及文本層次，在引入關鍵詞注意力的基礎上，采用了一種關鍵詞-問題的層次注意力網(wǎng)絡，用來捕獲文本信息中的層次結構信息.此外，模型使用2階段的學習機制，在第1階段中，模型針對文本信息輸入，預測不同的人格特性得分；在第2階段中，模型將對第1階段輸出的人格特征向量進行融合，得到面試者小題總得分.

2.3.1 第1階段訓練：單項人格特性項訓練

(15)

(16)

(17)

Fig.3 Keyword-question attention model圖3 關鍵詞-問題注意力模型

在結構化面試過程中，面試者需要圍繞問題內(nèi)容進行回答，因此我們在文檔層次上融入了問題注意力機制，該機制會將面試者回答文本中更加貼合問題的語句賦予更高的權重，設問題為Q=(q1,q2,…,qv)，其中v為問題長度，將問題輸入到LSTM中進行編碼，形式為

(18)

(19)

將LSTM層中最后一個時間步輸出的隱含向量作為問題編碼向量u′，問題注意力計算方式為

(20)

(21)

(22)

經(jīng)過問題注意力機制加權處理后，獲得人格特征向量ci，ci在通過MLP層與sigmoid層的計算后獲得面試者該項的分數(shù)預測:

yi=F×sigmoid(Woci+bo).

(23)

任務的目標函數(shù)為均方誤差(mean-square error,MSE)，給定N對回答記錄-人格特性關鍵詞-問題對(Wi,Ki,Qi)，MSE損失的計算方式為

(24)

其中,p(Wi,Ki,Qi)為模型預測得分，y(Wi,Ki,Qi)為面試官打的真實得分，λ為L2正則化懲罰項的因子，θ為模型參數(shù).

由于在模型訓練的過程中，面試問題和面試者作答共同作為輸入信號進行編碼和參與訓練，模型所學習到的是面試問題和面試者作答之間的匹配程度，因此模型不依賴于特定的問題，具有較好的泛化能力.在實際的應用中，可通過提高面試問題的多樣性，進一步提升問題適配能力.

2.3.2 第2階段訓練：人格特性特征融合

將第1階段訓練得到的基礎模型進行遷移，設輸入的文本信息為W，基礎模型輸出的第i項人格特性的特征向量為ci，i∈[1,k]，k為人格特性項個數(shù)，如圖4所示：

Fig.4 Personality traits vector fusion圖4 人格特性特征向量融合

我們將不同人格特性的特征向量進行融合，分別使用先融合和后融合2種模式，計算方式為

(25)

zlast=F×sigmoid(Wr[c1;c2;…;ck]+br).

(26)

先融合模式中，我們把不同的特征向量取平均；后融合模式中，把不同的特征向量進行拼接；獲得融合的特征向量后，將其輸入到MLP層與sigmoid層，得出面試者的小題總分預測.

與2.3.1節(jié)相同，任務的目標函數(shù)為MSE，設給定基礎模型M以及N個回答記錄Wi，設p(Wi,M)為模型預測的小題總得分，z(Wi)為面試官對該問題的真實打分，則損失的計算方式為

(27)

3 實驗與分析

3.1 實驗數(shù)據(jù)

我們通過與人力資源公司進行合作，搭建了異步在線面試平臺，模擬了真實場景下的結構化面試過程.面試共分為3道題，每道題設定5min答題時間.首先，我們邀請面試者登錄平臺，針對事先設定好的題目進行回答錄制，接著3位專業(yè)的人力資源顧問依據(jù)評分標準，將對面試者進行人格特性打分(包括樂于說服他人、樂于改變、考慮周詳?shù)?8項人格特性)以及小題總分打分，打分范圍為0～5分.最終3位能力資源顧問所打的分值取平均，作為面試者的最終得分.打分過程中根據(jù)面試者回答記錄做出詞頻統(tǒng)計，人力資源顧問分別選出最能代表人格特性的關鍵詞形成卓越、優(yōu)秀、普通關鍵詞表.我們最終共收集了96位面試者的面試數(shù)據(jù).表1給出了數(shù)據(jù)集的詳細說明，表2給出了人力資源顧問形成的關鍵詞詞表中的其中一項示例.

Table 1 Statistics of Interview Datasets表1 面試數(shù)據(jù)集統(tǒng)計信息

Table 2 Examples of Keywords表2 關鍵詞示例

3.2 評價指標

評價指標除了模型訓練階段使用的MSE之外，本文還采用皮爾遜相關系數(shù)(Pearson correlation coefficient,PCC)、斯皮爾曼秩相關系數(shù)(Spearman’s rank correlation coefficient,SCC)來表示模型預測結果與人力資源顧問打分的相關程度.此外，二次加權Kappa(quadratic weighted Kappa,QWK)也常作為分數(shù)預測類任務的評價指標.QWK會對預測分數(shù)與真實分數(shù)差值較大的項做出更大的懲罰，計算方式為

(28)

(29)

其中,O是觀察分數(shù)矩陣，E是預期分數(shù)矩陣，i和j分別指實際分數(shù)和預測分數(shù)，R是分數(shù)能取得的最大值.矩陣O和矩陣E需要進行歸一化.歸一化前的Oi,j的值表示實際標簽為i分、模型預測為j分的數(shù)量；歸一化前的矩陣E通過實際標簽值、模型預測值2個向量做外積得到.

3.3 參數(shù)設置

我們對訓練集、驗證集、測試集按8∶1∶1的比例劃分.使用預訓練的中文詞向量[31]，維度設置為300，對于詞表中不存在的詞，詞向量進行隨機采樣，采樣范圍為[-0.01,0.01].優(yōu)化器選擇Adam-optimizer，學習率設置為0.001.LSTM的隱藏層維度設置為200.第1階段訓練的batch_size設置為128，第2階段訓練的batch_size設置為16.對于最大句子長度與句子中的最大單詞數(shù)長度，我們使用網(wǎng)格搜索，在句子最大長度設置為15，句子中單詞數(shù)最大長度設置為20的條件下實驗結果最佳，因此實驗中統(tǒng)一采用此參數(shù).此外，為了防止過擬合，實驗中加入了dropout機制與L2正則化機制，并在訓練過程中采用了early stopping技巧.為了避免實驗的隨機性，本文在實驗上采取10折交叉驗證，以產(chǎn)生不同的訓練集、驗證集和測試集，選擇在10折交叉驗證中的測試數(shù)據(jù)集上結果的平均值作為模型最終表現(xiàn).

3.4 實驗對比與結果分析

本文采用3個基線模型用于對文本信息進行編碼，并將編碼向量輸入MLP層與sigmoid層進行預測，用來與我們的模型作比較：

1)BiLSTM.該模型利用一個雙向的LSTM來對文本信息進行編碼，考慮了上下文關系.模型中的記憶門緩解了序列模型容易發(fā)生梯度消失、爆炸的問題，使模型可以學習到長文本中遠距離的依賴關系.

2)HA-LSTM(hierarchical attention LSTM)[29].該模型考慮了文本的層次結構并融入了注意力機制，將文本信息中不同的句子輸入到LSTM中獲得句子向量表示后，再將不同的句子向量表示輸入到另一個LSTM中獲得輸出.

3)KA-LSTM(keyword attention LSTM).該模型為2.2節(jié)介紹的基于關鍵詞注意力的雙向LSTM模型.

表3給出了我們的方法(hierarchical keyword-question attention LSTM,HKQA-LSTM)與其他不同的基線模型的性能對比，分別比較了面試數(shù)據(jù)集中人格特性項以及小題總分的預測情況.從表3可以發(fā)現(xiàn)：

Table 3 Performance Comparison of Different Models表3 不同模型性能對比

1)HA-LSTM模型在小題總分的預測上效果比BiLSTM模型效果有一定的提升，其中PCC高出0.034，SCC高出0.035，QWK高出0.023.說明在面試過程中，面試官從整體上看更注重面試者表述文本信息的層次結構.即對于面試官來說，他會被面試者回答記錄中的某幾句話著重吸引，這也符合現(xiàn)實場景，證明了層次建模的重要性.

2)KA-LSTM模型在人格特性以及小題總分的預測上效果比BiLSTM模型、HA-LSTM模型有優(yōu)勢，說明在文本信息編碼的過程中，關鍵詞注意力機制發(fā)揮了作用，我們將關鍵詞作為注意力的外部導向，可以有效地對重要的信息進行保存，對不重要的信息進行過濾，并且提高了模型的可解釋性.

3)從整體上看，HKQA-LSTM模型取得的效果均高于基線方法，說明關鍵詞注意力機制以及問題注意力機制能有效地關注到更精確的局部信息，從而幫助模型提升預測的準確性.層次結構也使得模型能夠捕獲更長序列的依賴關系.

4)對于小題總分的預測，HKQA-LSTM模型比KA-LSTM模型有了較大的提升，PCC高出0.239，SCC高出0.259，QWK高出0.287.這種現(xiàn)象的原因在于HKQA-LSTM模型使用了2階段學習的訓練方式，模型在第2階段的訓練中，對第1階段抽取出的人格特性向量進行融合，使得文本表征更加豐富.

表4列出了我們的方法(HKQA-LSTM)與基線方法在測試集上的預測值與真實值的對比，使用MSE來評估不同模型的表現(xiàn).可以看出，在人格特性和小題總分2種預測上，本文方法的預測值相比于基線方法都更加接近真值.與HA-LSTM相比，人格特性預測值與真實值的MSE誤差由1.764降低到了1.376，小題總分MSE 誤差由0.695降低到了0.314.

Table 4 MSE Results of Different Models表4 不同模型預測結果的均方誤差

為了驗證本文提出的方法對細粒度評分預測的準確程度，我們對18項不同人格特性的預測做出比較分析，使用PCC來評估不同方法的表現(xiàn).實驗結果如圖5所示:

Fig.5 Comparison of fine-grained ratings of different models圖5 不同模型細粒度評分對比

從圖5中可以看出，相比與基線方法，本文提出的2種基于關鍵詞注意力的方法在不同人格特性預測的表現(xiàn)上都更為優(yōu)秀，主要原因在于面試者的口語表述是相對較長的文本，我們的方法擁有關鍵詞注意力機制，可以更有質量地捕捉到不同人格特性下所側重關注的不同詞語和句子，從而使得模型預測效果得到提升.

為了判斷模型是否能真的分辨出面試中綜合表現(xiàn)較為卓越的面試者，我們將模型對小題總分的預測結果分為2類，即卓越(小題總分≥2.5)與一般(小題總分<2.5)，評價標準采用準確率(Precision)、召回率(Recall)和Macro-F1.

我們分別嘗試了先融合模式(HKQA-LSTM-Early)和后融合模式(HKQA-LSTM-Late)，對第1階段抽取出的人格特征向量進行融合.表5展示了2種模式的實驗對比.

Table 5 Accuracy of Total Score in Different Modes表5 不同模式下小題總分的預測精度

從表5可以看出，后融合模式比先融合模式有更好的效果，其中Macro-F1值提高了2.9%.造成這種現(xiàn)象的原因是，在實際面試過程中，由于題目的不同，面試官所關注的面試者的人格特性側重點也不同.而后融合模式的計算方法可以動態(tài)地調(diào)整不同人格特性的權重，更符合實際的面試情況，因此對于模型的準確率、召回率都有一定的提升.

3.5 案例分析

為了分析關鍵詞注意力機制預測不同人格特性的有效性，我們進行了樣例分析.圖6包含了2個可視化的例子，我們對文本信息編碼過程中單詞、句子注意力的權重進行了高亮顯示，其中顏色越深說明該單詞或句子的注意力權重越大.

Fig.6 Attention weight visualization of interview texts圖6 面試文本注意力權重可視化

從圖6的可視化例子中可以看出，我們的模型可以有效地關注文本信息中重要的單詞，忽略掉不重要的單詞.并且針對不同的人格特性，關鍵詞注意力機制使得模型可以關注到同一文本的不同方面.如圖6(a)中，為了判斷面試者的“樂于改變”人格特性，模型更加關注“打破”“梳理”“挑戰(zhàn)”等詞.而圖6(b)中，由于考慮的是面試者的“考慮周詳”人格特性，模型則將注意力更多地放在“用戶”“客戶”“調(diào)試”等詞，因此該模型可以有效地幫助面試官進行決策.

圖7展示了模型預測誤差較大的一項人格特性項“富想象力”.在該例子中，模型對不同句子的注意力比較平均，并將單詞注意力更多地放在了重復率較高的一些名詞上.這是由于關鍵詞表中，人力資源顧問給出的該人格特性項的關鍵詞為“提出”“戰(zhàn)略布局”“新思路”等，與面試者所表述的出入較大，導致最后模型對各個句子的注意力較為分散.此外，從圖5的細粒度評分比較中可以看出，模型對于人格特性項“富想象力”的預測與面試官打分的相關程度較低.一個可能的原因是“富想象力”本身是一項較為抽象的人格特性，因此面試官在打分的過程中會受到面試者的聲音、表情動作等其他方面的影響.

Fig.7 Example of negative samples圖7 負例舉例

4 結 語

本文提出了一種基于關鍵詞注意力機制的細粒度面試評價方法，模型利用外部的關鍵詞以及問題作為模型不同層次上的注意力導向，對面試者面試過程中所展現(xiàn)出來的不同人格特性進行預測.模型對第1階段訓練得到的人格特性表征嘗試了不同的融合方式，得到第2階段的最終模型.在數(shù)據(jù)集上的實驗結果表明，本文提出的模型能有效地對面試者的不同人格特性進行細粒度評價，對于不同的人格特性，模型能篩選出同一文本中不同的重要詞句，有效幫助面試官做出決策.

在未來的工作中，我們將考慮進一步探索面試中的語音、視覺模態(tài)特征并融合進模型中，并在模型增量學習過程中產(chǎn)生新的人格特性關鍵詞，讓人力資源顧問參與完善關鍵詞表，考慮基于圖譜的方法挖掘關鍵詞詞語之間的同義、上下位等更豐富的語義關系.結合其他半監(jiān)督的學習方法，通過利用更多面試過程產(chǎn)生的無標簽數(shù)據(jù)來進一步提升細粒度評分的性能.