郭慶科+張愛芹
摘要:情景性面試(SI)和行為描述性面試(BDI)是結(jié)構(gòu)化面試的兩種主要形式,但對二者哪個效度更高的問題國內(nèi)外還沒有形成一致的意見。本文以68名大學(xué)生為被試,平衡設(shè)計情景性和行為描述性面試題目,采用多質(zhì)-多法的驗證性因素分析模型比較兩種面試的構(gòu)想效度,并以管理者評定為效標比較二者的效標關(guān)聯(lián)效度。結(jié)果發(fā)現(xiàn)BDI的因素效度更好,且BDI受評委效應(yīng)和被試面試應(yīng)答的社會期望性效應(yīng)的影響更??;BDI和SI的效標關(guān)聯(lián)效度都較高,其中BDI略好。本研究的結(jié)論是BDI和SI都可以成為有效的人事測評工具,只是SI需要更嚴格的設(shè)計和控制。
關(guān)鍵詞:行為描述性面試;情景性面試;構(gòu)想效度;效標關(guān)聯(lián)效度;MTMM研究
一、問題的提出
面試是目前人事選拔和心理健康評估中廣泛使用的方法[1]。面試一般分為結(jié)構(gòu)化面試與非結(jié)構(gòu)化面試,它們的主要區(qū)別在于允許面試官所提問題的靈活性程度,而這也是導(dǎo)致非結(jié)構(gòu)化面試的重測信度與復(fù)本信度較低的重要原因[2]。結(jié)構(gòu)化面試的效度顯著高于非結(jié)構(gòu)化面試,面試的效度會隨著結(jié)構(gòu)化程度的增加而提高[3]。
行為描述性面試(behavior description interview,簡稱BDI) 和情景性面試(situational interview,簡稱SI)是結(jié)構(gòu)化面試的兩種主要形式。SI最早是1980年由Latham及其同事為改進傳統(tǒng)的非結(jié)構(gòu)化面試而提出的面試方法。其理論基礎(chǔ)是動機理論中的目標設(shè)置理論,這一理論認為,一個人的未來行為會在很大程度上受到他的目標或行為意向的影響,個體為自己設(shè)置的目標或意圖是未來行為很好的預(yù)測指標?;谠摷僭O(shè),SI的要點是給求職者設(shè)置一系列工作中可能會遇到的事件,并詢問“在這種情況下你會怎么做”,以此來鑒別求職者與工作相關(guān)的行為意向,求職者對他們將來會怎么做的回答與他們將來真實的行為之間有非常大的相關(guān)性。BDI的假設(shè)則是“過去行為是未來行為的最好預(yù)測指標”,面試中讓應(yīng)聘者追憶和表述過去的某種真實的行為事件,通過對這一事件的描述評定其心理素質(zhì)。BDI要求用不帶有啟發(fā)性的問題提問,并通過帶有很高技巧性的追問來挖掘完整的行為信息。
SI與BDI的應(yīng)用越來越廣泛,很多研究發(fā)現(xiàn)兩種面試的效度都較高,而且沒有明顯區(qū)別。不少元分析研究表明SI和BDI都能預(yù)測廣泛的效標行為,包括教育年限、任務(wù)績效、組織公民行為等。如Gibb和Taylor[4]在新西蘭的社會工作者中使用匹配的情景性與行為描述性面試題目,發(fā)現(xiàn)SI和BDI對社會工作者的績效都有較好的預(yù)測效度(r=.60和r=.40)。Day和Carroll[5]以120名申請某課程的大學(xué)生為被試,以學(xué)業(yè)成績?yōu)樾耍芯堪l(fā)現(xiàn)SI與BDI對效標的預(yù)測效度同樣好(r=.37,r=.36)。Latham和Sue-Chan[6]對20個關(guān)于SI和BDI研究的元分析發(fā)現(xiàn)校正后的效度系數(shù)都在.50左右。Taylor和Small[7]對30個關(guān)于SI的研究和19個關(guān)于BDI的研究進行總結(jié),發(fā)現(xiàn)前者的平均效度為.45,后者為.56。
也有研究表明SI的效度高于BDI。Latham和Skarlicki[8]發(fā)現(xiàn)只有SI與組織公民行為顯著相關(guān),BDI則不顯著相關(guān)。Klehe和Latham[9]以79個MBA學(xué)生為被試,其中男生29人,女生50人,行為描述性與情景性題目平行設(shè)置,各為9個題目,以MBA期間的團隊工作成績?yōu)樾?。結(jié)果發(fā)現(xiàn)SI和BDI的評分者信度分別為.83和.92,BDI的效度系數(shù)為.34,SI的效度系數(shù)為.41,二者差別不明顯?;貧w方程中,SI在BDI之外對團隊工作績效提供了更多的變異解釋率,BDI則不然。他們認為出現(xiàn)這一結(jié)果的原因是在研究設(shè)計中突出了情景性面試的4個主要特征,即注重應(yīng)試者的意圖、將應(yīng)試者置于兩難情景中、制訂詳細的評分細則和通過前期研究篩除沒有區(qū)分性的問題。四個月后,Klehe和Latham[9]又讓同一批面試參與者用同伴評定的方法評定了每個人在團隊工作中的典型績效和最優(yōu)績效,結(jié)果發(fā)現(xiàn)BDI(r=.34)和SI(r=.41)都能預(yù)測典型績效,而SI(r=.25)可以預(yù)測最優(yōu)績效,BDI則不能(r=.11)。
近年來有些研究者發(fā)現(xiàn)SI的預(yù)測效度,尤其是在復(fù)雜工作中的預(yù)測效度不如BDI。如Pulakos和 Schmitt[10]在一種復(fù)雜工作職位的申請者中實施了SI和BDI,每種面試的參與者都是108人,結(jié)果發(fā)現(xiàn)SI的效度為-.02,BDI的效度為.32,這使人們認為SI可能不適用于高層職位的人事選拔。Huffcutt等[11]選擇59名加拿大海軍軍官申請人為被試,其中男性52人,女性7人,以錄取后上級對其工作表現(xiàn)的評價為效標,研究發(fā)現(xiàn)兩種條件下SI的效度系數(shù)分別是.20和.02,而兩種條件下BDI的效度系數(shù)分別是.47和.31,這支持了SI不適合高層職位選拔的觀點。Huffcutt等[12]對近期的54個研究進行了元分析,總樣本量為5536,研究發(fā)現(xiàn)工作復(fù)雜性影響SI的效度,即隨著工作復(fù)雜性的增加SI的效度會降低,但BDI的效度則不受工作復(fù)雜性的影響。
可見,國外對SI和BDI的效度問題尚存在爭議。有人認為SI的預(yù)測效度在簡單工作中與BDI一樣好,而在復(fù)雜工作中不如BDI[12,13]。Klehe和Latham等則不同意這一觀點,他們認為如果嚴格按照SI的原理設(shè)計面試,則SI在復(fù)雜職位選拔中也有很好的效度。Klehe和Latham認為之所以在有些研究中出現(xiàn)SI效度不高的情況,是因為面試題目中沒有設(shè)計兩難處境(dilemma),或者沒有充分的預(yù)備研究(pilot study)。兩難處境可以起到平衡社會期望性反應(yīng)的作用,預(yù)備研究則有助于發(fā)現(xiàn)區(qū)分度不高的面試題目并加以刪除。
SI與BDI的效度問題也開始引起我國學(xué)者的重視。黎恒[14]發(fā)現(xiàn)在相對基層職位的人才選拔中,SI與BDI的效度并沒有體現(xiàn)出明顯差異;而在中層職位中,BDI的效度接近.50,SI的效度卻出現(xiàn)了負值。這一結(jié)果表明SI和BDI都適合簡單職位的人事選拔,但是只有BDI適用于相對復(fù)雜職位的人事選拔。但批評者[15]認為在多質(zhì)-多法分析中,黎恒將測評的四個維度當做特質(zhì),將兩種面試方法(即行為描述和情景)當作方法,研究結(jié)果的真實性值得懷疑:SI與BDI各維度得分及總分間均是負相關(guān),而且SI與效標間也是負相關(guān),這與國外研究結(jié)果相左,令人懷疑面試的設(shè)計和評分的準確性。杜紅等[16]隨機抽取了某上市公司的43 位在崗中層管理人員作為面試實驗對象,結(jié)果發(fā)現(xiàn)SI與BDI的信度系數(shù)都較高,而且沒有明顯差異。SI在任務(wù)績效上的回歸系數(shù)為.35,在總體績效上的效度系數(shù)為.364;BDI在任務(wù)績效上的回歸系數(shù)為.395,在總體績效上的效度系數(shù)為.537。因此可認為BDI的預(yù)測效度高于SI。
但與國外相比,國內(nèi)關(guān)于SI和BDI的效度研究還不豐富,我們?nèi)匀徊恢涝谥袊幕尘跋履姆N面試更有效,及是否存在工作復(fù)雜性的調(diào)節(jié)作用等,該領(lǐng)域尚需要大量研究加以系統(tǒng)探討。本研究試圖通過一個設(shè)計嚴格的模擬面試,借助先進的統(tǒng)計方法對此問題作出探索,希望研究結(jié)果能為我國的人事選拔工作提供建議。
二、研究方法
(一)被試
被試為某大學(xué)教育學(xué)院2005級的68名本科學(xué)生,所有學(xué)生都是自愿參加。被試被告知參加的是一個模擬面試,面試結(jié)果只供研究之用,不對其學(xué)績考核等產(chǎn)生任何影響;同時告訴他們面試過程和結(jié)果有助于其了解自身的優(yōu)勢與不足,為將來的工作應(yīng)聘面試積累經(jīng)驗。這種處理最大限度地爭取了被試的合作,在保證被試較高測驗動機的情況下將面試中的社會期望性反應(yīng)(social desirability responding,簡稱SDR)等偏差降低到最小,使研究結(jié)果更加客觀真實,所發(fā)現(xiàn)的規(guī)律更有普遍性。
面試前編排被試序號,被試按照序號隨機出場。
(二)面試設(shè)計與評分
與輔導(dǎo)員一起研討哪些維度是大學(xué)生綜合考評的主要依據(jù),以及哪些維度會影響學(xué)生的學(xué)績、職業(yè)發(fā)展、學(xué)校適應(yīng)等,以此為依據(jù)選擇了八項面試測評維度,分別是言語表達能力(verbal)、邏輯分析能力(reasoning)、計劃組織能力(organization)、協(xié)調(diào)能力(coordinating)、建立伙伴關(guān)系(alliance)、自我管理能力 (self-management)、責(zé)任心(responsibility)、應(yīng)變能力(flexibility)。在每個面試維度上都平行設(shè)計情景性和行為描述性問題各一個,并采用李克特十點量表對情景性和行為描述性面試維度分別進行評分。面試時一半被試先提問行為描述性問題再提問情景性問題,另一半則是先提問情景性問題再提問行為描述性問題,以平衡順序效應(yīng)。
每個被試面試時間大約為45分鐘,在10天時間內(nèi)完成所有面試工作,5名評分者都參與了所有68名被試的面試和評分。面試結(jié)束后評委即根據(jù)評分標準進行獨立評分。為保證評分準確性,面試過程中做了錄音,間隔半個月后讓每個評委再聽錄音,根據(jù)錄音對初次評分進行修正。所有評委的兩次評分都是在研究者的監(jiān)督下進行的,保證了每個評分都以被試的行為和情景描述為依據(jù),并嚴格參照評分標準。所有評委都是先聽全部被試的行為描述性問題錄音,對行為描述性問題的初評結(jié)果進行修正,再聽全部被試的情景性問題錄音,然后對情景性問題的初評結(jié)果進行修正。行為描述性和情景性面試的錄音評分過程中均對順序效應(yīng)進行了平衡,最大限度地減少了兩類面試問題在評分上的相互干擾,使評分準確客觀。
(三)試測和對主試的培訓(xùn)
研究發(fā)現(xiàn),有經(jīng)驗且專業(yè)的主試可以提高面試的信度和效度[17]。因此,本研究面試評委小組為心理測量專業(yè)的5位研究生,都有從事人事測評工作的經(jīng)驗,而且參加本研究前都接受了集體培訓(xùn)(內(nèi)容包括結(jié)構(gòu)化面試的要求、誤差控制、面試中的人際互動等)。在正式面試之前選擇8名本科生(不屬于正式被試)進行了試測。試測時采用與正式面試相同的程序,試測后讓各評委獨立評分,面試結(jié)束后再討論各自評分的依據(jù),直到評分標準統(tǒng)一。試測使各評委之間能協(xié)調(diào)一致,同時也增強了評委在面試過程中對偶然情況的應(yīng)變能力。試測后再讓評委對面試中存在的問題進行研討,進一步熟悉面試要求。集體培訓(xùn)、試測及試測后的研討時間不少于5個工作日。
三、結(jié)果
(一)行為描述性面試的多質(zhì)-多法驗證性因素
分析
本研究采用多特質(zhì)-多方法(multiple trait multiple method, MTMM)的設(shè)計思路編寫LISREL的驗證性因素分析(CFA)程序。MTMM是探究構(gòu)想效度的一種有效方法,而且在人事測評與選拔及心理健康診斷領(lǐng)域有較為廣泛的應(yīng)用。本研究借鑒前人研究,將MTMM應(yīng)用到結(jié)構(gòu)化面試中。在本研究中,程序中將5個評委對8個維度的40個評分向量定義為觀測變量,定義8個面試維度為8個潛變量,即8個特質(zhì)效應(yīng),5個評委定義為5個潛變量,即5個方法效應(yīng),這樣共有13個潛變量,比較兩套對應(yīng)的數(shù)據(jù)(即由行為描述性面試和情境性面試各自獲得的一套數(shù)據(jù))與多個模型的擬合差異情況。
本研究在選擇合適的MTMM模型時使用的是可互換方法(interchangeable method),即從一組高度類似的方法中隨機挑選的方法。
本模型中,每個觀測變量都同時測量一個特質(zhì)因素和一個方法因素。如評委1對維度1的評分向量被設(shè)定為在潛變量1(即面試的第一個維度)和潛變量9(即評委1的方法效應(yīng))上有載荷。設(shè)置方法因素的依據(jù)是每個主試在評分時都存在不同程度的主觀好惡,因此對每個被試評分時都會出現(xiàn)系統(tǒng)誤差,這一系統(tǒng)誤差于是被設(shè)置為方法因素。不同主試體現(xiàn)出的方法因素存在程度上的不同。
由于行為描述性和情景性測評數(shù)據(jù)都有不同程度違反正態(tài)分布的情況,因此在計算本文中所有模型的擬合度時采用了Satorra-Bentler提出的校正卡方統(tǒng)計量。
1.行為描述性面試的模型擬合度
運行LISREL程序,估計出行為描述性面試多質(zhì)-多法CFA模型的擬合度指標,見表1。
表1.行為描述性面試多質(zhì)-多法CFA模型的擬合度
(含評委效應(yīng))模型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
1208.44
1.79
.91
.97
.97
.97
.90
.080
.084
表2.行為描述性面試驗證性因素分析的模型擬合度
(不含評委效應(yīng))模型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
1433.94
2.01
.87
.92
.93
.93
.85
.120
.130
從表1中結(jié)果可知,行為描述性面試含評委效應(yīng)的CFA模型的卡方/df比率小于2,NNFI、CFI、IFI都大于.90,接近.95,唯有RMAES和SRMR大于各自的理想值.05和.06,但仍處于可接受的臨界點上。從這些擬合指數(shù)的取值判斷,可認為假設(shè)模型是得到了數(shù)據(jù)的支持的。就是說從5個評委對8個維度的評分中可以抽離出8個特質(zhì)因素(即面試的8個維度)和5個方法因素(即評委效應(yīng))。這一模型的擬合度明顯好于不含評委效應(yīng)的八因素模型(即只將8個面試維度設(shè)為潛變量),結(jié)果見表2。表2中卡方、NNFI等幾個指標的取值尚好,RMSEA和SRMR卻大到了難以接受的地步,即使勉強認為模型擬合,也不得不承認,觀測變量的協(xié)方差沒有被充分地解釋。只有引入評委因素,即方法效應(yīng),模型擬合才能變得更好。這就是說面試中特質(zhì)效應(yīng)和評委效應(yīng)都存在,但在行為描述性面試中評委效應(yīng)所起的作用并不是很大,因為兩個模型間模型擬合度的差異不太大。這一點有待下文進一步驗證。
2.行為描述性面試的特質(zhì)效應(yīng)與方法效應(yīng)
以下我們再通過計算MTMM模型中特質(zhì)效應(yīng)和評委效應(yīng)的因素載荷系數(shù)來分析評委效應(yīng)的大小,見表3和表4。兩表中所列都是標準化的載荷系數(shù),其取值可直接比較大小,載荷的大小體現(xiàn)了一個觀測分數(shù)受潛變量影響的程度。從表3和表4中可以看出與方法效應(yīng)相對應(yīng)的載荷都不大,只有一個超過.50,且絕大多數(shù)小于特質(zhì)效應(yīng)的載荷。說明面試評分更多地受特質(zhì)因素影響而較少受方法因素影響,即被試在行為描述性面試中的得分較多地取決于被試在各測評維度上能力的高低,而不太受主試者評分主觀因素(如感情好惡等)影響。也就是說,方法因素是存在的,但其影響不大。
表3.行為描述性面試多質(zhì)-多法CFA模型中各維度的評委效應(yīng)(方法效應(yīng))
評分向量
評委
效應(yīng)1
評委
效應(yīng)2
評委
效應(yīng)3
評委
效應(yīng)4
評委
效應(yīng)5
言語表達得分
.28
.30
.10
.16
.34
邏輯分析得分
.32
.33
-.01
.14
.32
計劃組織得分
.18
.24
.08
.33
.35
協(xié)調(diào)能力得分
.44
.46
.22
.15
.29
建立伙伴得分
.26
.20
.11
.36
.24
自我管理得分
-.04
.17
.23
.28
.20
責(zé)任心得分
.10
.28
.73
.24
.27
應(yīng)變能力得分
.42
.42
.10
.03
.12
絕對值的均值
.25
.30
.21
.21
.27
表4.行為描述性面試多質(zhì)-多法CFA模型中各維度的載荷(特質(zhì)效應(yīng))
評分向量
言語表達
邏輯分析
計劃組織
協(xié)調(diào)能力
建立伙伴
自我管理
責(zé)任心
應(yīng)變能力
評委1評分
.67
.79
.73
.66
.68
.62
.55
.61
評委2評分
.77
.83
.81
.69
.70
.60
.67
.70
評委3評分
.85
.81
.80
.79
.88
.76
.69
.80
評委4評分
.86
.86
.80
.71
.78
.77
.75
.88
評委5評分
.88
.83
.87
.67
.79
.95
.87
.90
平均值
.81
.82
.80
.71
.77
.75
.72
.78
(二)情景性面試的多質(zhì)-多法驗證性因素分析
1.情景性面試的模型擬合度
采用與行為描述性面試中相同的多質(zhì)-多法驗證性因素分析模型,對情景性面試的結(jié)果也進行了CFA分析,結(jié)果見表5和表6。
表5.情景性面試多質(zhì)-多法CFA模型的擬合度
(含評委效應(yīng))模型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
963.32
1.43
.88
.93
.93
.94
.86
.110
.200
表6.情景性面試驗證性因素分析的模型擬合度
(不含評委效應(yīng))模型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
1859.54
2.60
.82
.87
.88
.88
.80
.150
.220
從表5中的結(jié)果可知,情景性面試(含評委效應(yīng)的多質(zhì)-多法模型)的因素分析結(jié)果不很理想,雖然卡方/df、NNFI等指數(shù)可以接受,但RMSEA和SRMR的取值已經(jīng)超出了可容許的最大限度,就是說模型很可能是與數(shù)據(jù)不擬合的。雖然總體上的因素結(jié)構(gòu)可能是合理的,但至少有一部分觀測變量間的關(guān)系沒有被模型充分解釋。與行為描述性面試的多質(zhì)-多法CFA結(jié)果相比,情景性面試的模型擬合度更差。這說明行為描述性面試有與理論假設(shè)更一致的因素結(jié)構(gòu),也即有更好的構(gòu)想效度(construct validity)。相比之下情景性面試的因素結(jié)構(gòu)則更為復(fù)雜。
表6中為不含評委效應(yīng)的CFA模型(只將面試維度作為潛變量的八因素模型)。對比表5和表6中的結(jié)果可知,情景性面試的驗證性因素分析中,含評委效應(yīng)和不含評委效應(yīng)的模型擬合度都不好,但在引入評委效應(yīng)后,模型擬合度有所改善。這說明情景性面試中也存在評委效應(yīng),即方法效應(yīng),且方法效應(yīng)也不太大,但大于行為描述性面試的方法效應(yīng)。
情景性面試中即使將評委效應(yīng)引入多質(zhì)-多法CFA模型,模型擬合度也不是非常理想,說明除8個特質(zhì)效應(yīng)和5個評委效應(yīng)外,可能還有其他因素影響了面試結(jié)果。綜合以往文獻可知,這一因素可能是社會期望性應(yīng)答因素或面試動機因素。為對這一因素進行評估,我們在8個特質(zhì)因素和5個評委因素之外設(shè)置了第14個潛變量,即SDR因素。SDR因素被設(shè)定為在5個評委對8個面試維度的40個評分向量上都有載荷。該模型的擬合度列于表7中,為便于對比,表7中還列出了行為描述性面試引入SDR因素后的模型擬合度。
表7.引入SDR因素后兩類面試的模型擬合度
面試
類型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
SI
872.76
1.38
.89
.93
.95
.95
.87
.076
.074
BDI
888.04
1.41
.90
.94
.95
.95
.87
.078
.068
從表7可見,情景性面試在引入SDR因素后模型的擬合度很好,即使按CFI等≥0.95的嚴格標準,也可認為模型是擬合的,即有很好的理論構(gòu)想。這一模型與不含SDR的模型(見表5)相比擬合度發(fā)生了很大變化,說明情景性面試中SDR因素是存在的,而且起了不小的作用。
而行為描述性面試在引入SDR因素后模型的擬合度雖然也有改善,但改變量并不很明顯,說明行為描述性面試中SDR的作用沒有情景性面試中的大。這給我們的啟示是,情景性面試中更應(yīng)控制SDR。
2.情景性面試的特質(zhì)效應(yīng)與方法效應(yīng)
情景性面試中采用多質(zhì)-多法CFA模型計算出的各維度的評委效應(yīng)(方法效應(yīng))和特質(zhì)效應(yīng)見表8和表9。
表8.情景性面試多質(zhì)-多法CFA模型中各維度的評委效應(yīng)(方法效應(yīng))
評分向量
評委
效應(yīng)1
評委
效應(yīng)2
評委
效應(yīng)3
評委
效應(yīng)4
評委
效應(yīng)5
言語表達得分
.36
.74
.33
.30
.44
邏輯分析得分
.34
.36
.34
.13
.45
計劃組織得分
-.24
-.07
.44
.28
.39
協(xié)調(diào)能力得分
.08
.40
.66
.40
.32
建立伙伴得分
.19
.22
.47
.53
.66
自我管理得分
.54
-.16
.35
.67
.54
責(zé)任心得分
-.17
-.16
.38
.53
40
應(yīng)變能力得分
.20
.38
.38
.42
.29
絕對值的均值
.28
.32
.40
.42
.43
表9.情景性面試多質(zhì)-多法CFA模型中各維度的載荷(特質(zhì)效應(yīng))
評分
向量
言語表達
邏輯分析
計劃組織
協(xié)調(diào)能力
建立伙伴
自我管理
責(zé)任心
應(yīng)變能力
評委1評分
.80
.79
.92
.93
.90
.92
.95
.90
評委2評分
.79
.84
.93
.94
.95
.94
.93
.94
評委3評分
.69
.62
.50
.52
.49
.27
.41
.46
評委4評分
.79
.81
.62
.47
.47
.42
.53
.53
評委5評分
.81
.75
.67
.42
.41
.37
.55
.55
平均值
.78
.76
.72
.66
.64
.58
.67
.67
從表8和表9中的結(jié)果可以看出,在情景性面試中也是特質(zhì)效應(yīng)大于方法效應(yīng),即情景性面試的結(jié)果較多受特質(zhì)因素的影響而較少受方法因素的影響,情景性面試的效度也是可以接受的。但與行為描述性面試相比,情景性面試的方法效應(yīng)更大一些(行為描述性面試的方法效應(yīng)平均載荷量為.25,情景性的平均載荷量為.37),而特質(zhì)效應(yīng)更小一些(行為描述性面試的特質(zhì)效應(yīng)平均載荷量為.78,情景性的平均載荷量為.69)。
(三)面試數(shù)據(jù)與行為評定的相關(guān)
關(guān)于面試數(shù)據(jù)的多質(zhì)-多法CFA分析屬于對面試內(nèi)部結(jié)構(gòu)的分析,雖然也能為面試效度提供較客觀的心理測量學(xué)證據(jù),但終究不能代替外部效標研究。研究中我們選擇學(xué)生輔導(dǎo)員和學(xué)生干部的評定作為效標,請被試所在班級的2個專職輔導(dǎo)員和3名班級學(xué)生干部對8個面試維度進行了評定。專職輔導(dǎo)員都有7年以上學(xué)生工作經(jīng)驗,對學(xué)生能力考評有著豐富的經(jīng)驗。作為主評人的班干部也都是工作出色的優(yōu)秀學(xué)生干部,能很好地理解本研究的目的。評定前研究者詳細講解了8個測評維度的含義,讓主評人根據(jù)對被評定者行為(包括操行、在班級中的表現(xiàn)、與同學(xué)關(guān)系、對集體活動的參與和組織等)的觀察為依據(jù)進行評定,并強調(diào)評定結(jié)果只用來做研究。參加本研究的被試都是大三年級及以上的學(xué)生,這為主評人的評定提供了較充分的行為樣本,從而保證了評定的準確性。
1.面試評分與輔導(dǎo)員評定的相關(guān)
面試結(jié)果與輔導(dǎo)員評定的相關(guān)關(guān)系見下頁表10。
從表10可以看出,無論是行為描述性還是情景性面試,在言語表達、邏輯分析、組織計劃能力三個維度上面試結(jié)果與教師評定間都出現(xiàn)了中度以上的相關(guān)(r>.50),在應(yīng)變能力上相關(guān)也都達到了顯著水平。而在協(xié)調(diào)能力、建立伙伴關(guān)系、自我管理三個維度上行為描述性和情景性面試結(jié)果都與教師評定間不存在相關(guān)。在責(zé)任心維度上,行為描述性面試結(jié)果與教師評定間出現(xiàn)了相關(guān),而情景性面試結(jié)果則與教師評定沒有相關(guān)。情景性和行為描述性面試的總分也與教師評定間出現(xiàn)了高相關(guān),但行為描述性面試的相關(guān)系數(shù)更大。
分析這些結(jié)果可見,一些易于外顯的心理特質(zhì),如言語表達、邏輯分析、組織計劃等較易于被評定,面試評委和輔導(dǎo)員都能對這些特質(zhì)給以較準確的評定;而責(zé)任心和自我管理是相對內(nèi)隱的心理品質(zhì),不易于被他人評定出來,因此可能導(dǎo)致輔導(dǎo)員和面試評委都不能對這兩項特質(zhì)準確地進行評定。由于輔導(dǎo)員與學(xué)生間是上下級關(guān)系,可能并不了解其同學(xué)關(guān)系,因而對學(xué)生在人際交往(建立伙伴關(guān)系、協(xié)調(diào)能力)方面的能力可能評定不夠準確,但這兩個維度在面試中是較容易評定的。當然,出現(xiàn)本研究的結(jié)果也有可能說明面試評委對建立伙伴關(guān)系、協(xié)調(diào)能力維度的評定不準確。
2.面試評分與班委評定的相關(guān)
面試結(jié)果與班委評定的相關(guān)見表11。
從表11中可見,行為描述性和情景性面試中的言語表達、邏輯分析、組織計劃能力3個維度與班委評定間也都出現(xiàn)了中度以上的相關(guān)(r>.50),在應(yīng)變能力維度上為顯著相關(guān),自我管理維度沒有相關(guān),這一點與表10中的結(jié)果相同。而諧調(diào)能力、建立伙伴關(guān)系2個維度卻出現(xiàn)了顯著相關(guān),說明與人際交往(建立伙伴關(guān)系、協(xié)調(diào)能力)有關(guān)的能力較容易被同學(xué)評定。
總結(jié)表10和表11中的結(jié)果可知,自我管理能力維度的效度是最差的,責(zé)任心、協(xié)調(diào)能力兩個維度的效度也不好,言語表達、邏輯分析、組織計劃能力3個維度的效度最好。對比兩類面試,可以發(fā)現(xiàn)行為描述性面試的效度略好于情景性面試。
四、討論
(一)情景性面試與行為描述性面試的因素結(jié)構(gòu)
從本研究的結(jié)果可以看出,無論是不含評委效應(yīng)的CFA模型還是含有評委效應(yīng)的CFA模型,情景性面試的模型擬合度都不如行為描述性面試。這說明行為描述性面試有更符合理論假設(shè)的因素結(jié)構(gòu)或構(gòu)想效度。
本研究發(fā)現(xiàn)情景性面試的因素結(jié)構(gòu)更為復(fù)雜,這與以往研究是一致的[13,18,19]。根據(jù)前人研究的結(jié)論,本研究中將這一因素定義為SDR因素。只有引入SDR因素后,情景性面試的CFA分析結(jié)果才達到了較理想的程度;而行為描述性面試在引入SDR因素前模型擬合度就達到了較好的水平,在引入SDR因素后模型擬合度也沒有太大改善。這說明情景性面試更容易受SDR的影響。
由于情景性面試中讓被試回答的是他在將來情景中的設(shè)想,因此更容易受社會期望性的影響,即被試在回答時更容易迎合主試的意圖,從而導(dǎo)致主試者對測評維度的評定不準確。Klehe和Latham[9,20]認為應(yīng)該設(shè)置兩難問題情景來克服這一問題。兩難問題情景類似于人格量表中的迫選式題目,兩個選項的社會期望性相同,設(shè)置兩難問題后被試的回答將更體現(xiàn)自己的真實意圖。
行為描述性面試中也存在SDR因素或動機,即使其作用并不明顯。這說明被試在描述自己過去行為時也可能存在迎合測試者意圖的傾向,或者存在面試動機的作用。這是有待進一步研究的問題。
(二)情景性面試與行為描述性面試中的評委效應(yīng)
從多質(zhì)-多法的CFA結(jié)果可以看出,無論是行為描述性面試還是情景性面試,引入評委(即方法)效應(yīng)后模型擬合度都有所提高。從模型擬合的改善度上對比可知,情景性面試的擬合度改善量較大,似乎說明情景性面試中評委效應(yīng)所起的作用比較大。進一步比較評委效應(yīng)的因子載荷,發(fā)現(xiàn)行為描述性面試中的方法效應(yīng)平均載荷量為.25,情景性方法效應(yīng)的平均載荷量為.37;而行為描述性面試的特質(zhì)效應(yīng)平均載荷量為.78,情景性特質(zhì)效度的平均載荷量為.69。說明行為描述性面試的結(jié)果受測評維度的影響大一些,而情景性面試中評委效應(yīng)所起的作用大一些。因此可以說兩類面試中都存在評委效應(yīng),但情景性面試中評委效應(yīng)可能更為明顯。
這可能說明情景性面試中主試的評分更多地受主觀因素的影響,原因是在情景性面試中主試者評定的是被試的意圖或設(shè)想,而不是客觀存在的行為,使得主試者的寬嚴度、情感好惡、態(tài)度等起的作用大一些;而在行為描述性面試中,由于主試評分都是以被試的行為樣本為依據(jù),因而更能做到客觀。因此克服評委效應(yīng)在情景性面試中顯得更為重要。這就要求情景性面試的設(shè)計要更加嚴密,對主試的培訓(xùn)也要更加嚴格,做到嚴格遵守評分細則。
總體上講,兩類面試中的特質(zhì)效應(yīng)都遠大于方法效應(yīng),說明主試評分中主要是根據(jù)被試在各測評維度上的表現(xiàn)評分,這也證明兩類面試的理論基礎(chǔ)都是正確的。
(三)情景性面試與行為描述性面試的效標關(guān)聯(lián)效度
情景性面試與行為描述性面試總體上講都有較高的效標關(guān)聯(lián)效度,其總體效度都在.50以上。兩類面試都在言語表達、邏輯分析、組織計劃維度上有很好的效度,而在自我管理、協(xié)調(diào)能力、責(zé)任心幾個維度上效度較差。在有的面試維度上情景性面試的效度好于行為描述性面試,而在有些維度上則是行為描述性面試的效度好于情景性面試。但從總體上講,行為描述性面試的效度略好于情景性面試。
從兩類面試的效度對比中可知,無論是行為描述性還是情景性面試,都不是在所有測評維度上都有或都沒有效度,通常是在容易外顯的維度上效度較好,在相對內(nèi)隱的維度上則效度較差。就是說結(jié)構(gòu)化面試存在的傳統(tǒng)問題在行為描述性和情景性面試中依然存在。這要求面試者要做好測評維度的設(shè)計。
(四)關(guān)于本研究的方法
本研究中的面試屬于模擬面試,純粹是為研究而設(shè)計的,在面試場地的選擇、材料的準備、被試選擇、主試培訓(xùn)、面試過程的控制幾方面都做了充分的準備,并進行了嚴格的標準化。面試結(jié)束后進行了現(xiàn)場評分,又根據(jù)錄音對評分進行修正,做到了評分的準確、客觀。這些工作在相當高的水平上保證了本研究結(jié)論的嚴謹性。
本研究采用了結(jié)構(gòu)方程建模的方法估計測評維度效應(yīng)和評委效應(yīng),較傳統(tǒng)的多質(zhì)-多法分析有方法上的優(yōu)勢,不僅可以評定特質(zhì)和方法效應(yīng)是否存在,還估計出了效應(yīng)的具體數(shù)量。雖然與驗證性因素分析的樣本量要求相比偏少,但程序運行中沒有出現(xiàn)模型不收斂的問題,參數(shù)估計結(jié)果沒有發(fā)現(xiàn)不合理的取值,因此即使樣本量較少,也基本不影響結(jié)論的正確性。
五、結(jié)論
(一)情景性面試與行為描述性面試的效標關(guān)聯(lián)效度都較好,與輔導(dǎo)員和班委(即上級管理者和班級管理者)的評定間出現(xiàn)了顯著相關(guān)。兩類面試的總分與輔導(dǎo)員和班委評定的總分間相關(guān)都在.50以上,行為描述性面試的效度略高些,但不明顯。面試的不同維度與輔導(dǎo)員和班委評定間的相關(guān)系數(shù)則各不相同。
(二)行為描述性面試的構(gòu)想效度好于情景性面試,情景性面試受社會期望性即SDR的影響更大。雖然從行為描述性面試中也抽離出了SDR的成份,但其影響不大。
(三)行為描述性面試也受評委效應(yīng)的影響,但情景性面試中評委效應(yīng)對面試結(jié)果的影響更大。其原因是行為描述性面試評定的是被試的行為,更容易做到客觀,而情景性面試中評定的是被試的意圖和設(shè)想,更容易受主觀因素影響。
(四)本研究的結(jié)果證實情景性和行為描述性面試都是有效的面試形式,只要程序設(shè)計嚴謹,過程控制嚴密,都可用作有效的人事測評工具。
由于情景性更容易受評委效應(yīng)(如評分寬嚴度、價值判斷標準等)的影響,因此在設(shè)計和控制上應(yīng)更加謹慎。Klehe和Latham[9,20]認為情景性面試實施中要注意以下問題:即注重應(yīng)聘者的意圖、將應(yīng)聘者置于兩難情景中、制訂詳細的評分細則和通過前期研究篩除沒有區(qū)分性的問題。這四個方面都會影響情景性面試的效度。
行為描述性面試中也存在一定程度的評委效應(yīng)和面試動機(可能也是SDR)效應(yīng),因此也應(yīng)合理設(shè)計。行為描述性面試是否有效取決于能否準確完整地挖掘出被試過去的與測評特質(zhì)有關(guān)的行為樣本。因此在行為描述性面試中要遵循STAR模式,要突出強調(diào)情境、任務(wù)、行動、結(jié)果四要素,做到行為信息的完整性和真實性。
[1]Macan T. The employment interview: A review of current studies and directions for future research[J]. Human Resource Management Review, 2009, 19: 203–218.
[2]王擁軍, 俞國良. 效度概化:預(yù)測效度元分析的30年成果述評[J]. 心理科學(xué)進展, 2008, 16(6): 964-972.
[3]Posthuma R A, Morgeson F P, Campion M A. Beyond employment interview validity: A comprehensive narrative review of recent research and trends over time[j]. Personnel Psychology, 2002, 55(1): 1–81.
[4]Gibb J, Taylor P J. Further analysis of structured employment interview question types[J]. Asia-Pacific Journal of Human Resource Management, 2001, 41: 371–382.
[5]Day A L, Carroll S A. Situational and patterned behavior description interviews: A comparison of their validity, correlates, and perceived fairness[J]. Human Performance, 2003, 16(1): 25-47.
[6]Latham G P, Sue-Chan C. A meta-analysis of the situational interview: An enumerative review of reasons for its validity[J]. Canadian Psychology, 1999, 40(1): 56–67.
[7]Taylor P J, Small B. Asking applicants what they would do versus what they did do: A meta-analytic comparison of situational and past behavior employment interview questions[J]. Journal of Occupational and Organizational Psychology, 2002, 75:277–294.
[8]Latham G P, Skarlicki D. Criterion-related validity of the situational and patterned behavior description interviews with organizational citizenship behavior[J]. Human Performance, 1995, 8(1): 67–80.
[9]Klehe U C, Latham G P. The predictive and incremental validity of the situational and patterned behavior description interviews for team playing behavior[J]. International Journal of Selection and Assessment, 2005,13(2): 108–115.
[10]Pulakos E D, Schmitt N. Experience-based and situational interview questions: studies of validity[J]. Personnel Psychology, 1995, 48(2): 289–308.
[11]Huffcutt A I, Weekley J A, Wiesner W H, Degroot T G, Jones C. Comparison of situational and behavior description interview questions for higher-level positions[J]. Personnel Psychology, 2001, 54(3): 619–644.
[12]Huffcutt A I, Conway J M, Roth P L, Klehe U C. Evaluation and comparison of the situational and behavior description interview formats[J]. International Journal of Selection and Assessment, 2004, 12(3): 262–273.
[13]Huffcutt A I, Conway J M, Roth P L, Stone N J. Identification and meta-analytic assessment of psychological constructs measured in employment interviews[J]. Journal of Applied Psychology, 2001, 86: 897–913.
[14]黎恒. 行為面試和情景面試的實證比較[J]. 人類工效學(xué), 2003, 9(3): 8-12.
[15]王雪, 王國強, 凌文輇. 對《行為面試和情景面試的實證比較》一文的商榷[J]. 人類工效學(xué), 2006, 12(2): 54-56.
[16]杜紅, 洪自強, 陸興海. 中層管理人員結(jié)構(gòu)化面試測評效度的現(xiàn)場研究[J]. 應(yīng)用心理學(xué), 2007, 13(3): 44-249.
[17]田效勛, 車宏生. 面試預(yù)測效度和構(gòu)想效度研究述評[J]. 心理科學(xué)進展, 2009, 17(4): 870-876.
[18]Conway J M, Peneno G M. Comparing structured interview question types: Construct validity and applicant reactions[J]. Journal of Business and Psychology, 1999, 13(4): 485–506.
[19]Roth P L, Van Iddekinge C H, Huffcutt A I, Eidson C E(Jr), Schmit M. J. Personality saturation in structured interviews[J]. International Journal of Selection and Assessment, 2005, 13(4): 261-263.
[20]Klehe U C., Latham G P. What Would You Do—Really or Ideally? Constructs underlying the behavior description interview and the situational interview in predicting typical versus maximum performance[J]. Human Performance, 2006,19(4): 357–382.
欄目編輯 / 丁堯.終校 / 黃才玲
表10.兩類面試與教師評定間的相關(guān)
言語表達
邏輯分析
組織計劃
協(xié)調(diào)能力
建立伙伴關(guān)系
自我管理
責(zé)任心
應(yīng)變能力
總分
情景性面試
.579**
.521**
.558**
.176
.036
.062
.224
.360**
.512**
行為性面試
.580**
.506**
.643**
.143
-.008
.098
.307*
.296**
.532**
注:*p < .05,**p < .01,下同。
表11.兩類面試與班委評定間的相關(guān)
言語表達
邏輯分析
組織計劃
協(xié)調(diào)能力
建立伙伴關(guān)系
自我管理
責(zé)任心
應(yīng)變能力
總分
情景性面試
.536**
.603**
.672**
.303*
.350**
.058
.154
.307*
.573**
行為性面試
.544**
.602**
.769**
.240
.333*
.085
.258
.275*
.585**