宋孜宇 唐琦

信號(hào)檢測(cè)理論（SDT）應(yīng)用于評(píng)估中心（AC）法初探

宋孜宇 唐琦

（呼倫貝爾學(xué)院經(jīng)濟(jì)管理學(xué)院 內(nèi)蒙古 海拉爾 021008）

本文介紹信號(hào)檢測(cè)理論的原理，進(jìn)而從理論上探討了引入信號(hào)檢測(cè)理論改進(jìn)評(píng)估中心評(píng)估效度的主要原理和方法，為提高評(píng)估中心法的評(píng)估效力提供了理論參考。

評(píng)估中心法；信號(hào)檢測(cè)理論；績(jī)效

在人力資源招聘決策中，需要對(duì)參加應(yīng)聘的人員進(jìn)行各種評(píng)估以決定取舍，但是各種評(píng)估方法的可靠性（信度）不同，成為直接影響招聘決策質(zhì)量的主要問(wèn)題。為了解決這一問(wèn)題，評(píng)估中心（assessmentcentre，AC）流程評(píng)估法誕生了幾十年并一直倍受關(guān)注，因?yàn)檫@種評(píng)估方法可以相對(duì)靈活的進(jìn)行定制化評(píng)估，盡管評(píng)估中心法通常表現(xiàn)出較低的建構(gòu)效度，但并不影響這一方法的廣泛采用，很多學(xué)者認(rèn)為這是評(píng)估工具經(jīng)常存在的測(cè)量不充分而導(dǎo)致的問(wèn)題。

目前，國(guó)外一些學(xué)者提出引入心理物理（Psychophysical）領(lǐng)域的信號(hào)檢測(cè)理論（Signal Detection Theory，簡(jiǎn)稱SDT）來(lái)嘗試進(jìn)一步提高評(píng)估的信度。盡管SDT理論早已被心理認(rèn)知等領(lǐng)域的研究所熟知，但是該理論在AC評(píng)估者的績(jī)效評(píng)估領(lǐng)域依然應(yīng)用不足，這是一個(gè)有待開(kāi)發(fā)的新范式，將有助于進(jìn)一步提高評(píng)估中心流程評(píng)價(jià)法的建構(gòu)效度。本文將在SDT理論研究的基礎(chǔ)上，簡(jiǎn)單探討如何引入SDT方法應(yīng)用于AC評(píng)估人員的績(jī)效評(píng)估。

一、 信號(hào)檢測(cè)理論及其基本原理

信號(hào)檢測(cè)理論（Signal Detection Theory，簡(jiǎn)稱SDT）是現(xiàn)代信息理論的一個(gè)重要分支，其研究對(duì)象是信息傳遞過(guò)程中的信號(hào)接收問(wèn)題，主要應(yīng)用于通信工程領(lǐng)域中。在SDT的表達(dá)體系中，某種有待檢測(cè)的項(xiàng)目或者目標(biāo)被稱為“信號(hào)”。而任何不是信號(hào)但可能對(duì)信號(hào)造成潛在干擾的信息都被歸為“噪音”。這一理論早可以追溯到二戰(zhàn)時(shí)期，當(dāng)時(shí)被應(yīng)用于微弱的聲納信號(hào)或雷達(dá)信號(hào)檢測(cè)統(tǒng)計(jì)決策理論。1954年，美國(guó)密西根大學(xué)的學(xué)者首次將SDT理論引入了心理學(xué)，用于研究知覺(jué)、記憶、思維以及個(gè)性等領(lǐng)域，把心理物理學(xué)的研究推進(jìn)了一大步。

簡(jiǎn)而言之，信號(hào)檢測(cè)理論是以概率論為基礎(chǔ)，把對(duì)刺激的判斷看成是對(duì)信號(hào)的偵查和做出選擇的過(guò)程。在心理學(xué)研究中，可以將人的感覺(jué)以及神經(jīng)系統(tǒng)的分析判斷過(guò)程視為一個(gè)信息加工的過(guò)程，并將刺激變量作為信號(hào)，將刺激的各種物理性的或個(gè)體性的隨機(jī)變化作為噪聲，于是將人的感覺(jué)判斷過(guò)程簡(jiǎn)化為噪聲背景下的信號(hào)檢測(cè)問(wèn)題。這一過(guò)程包含兩個(gè)關(guān)鍵指標(biāo)，一個(gè)是辨別力指標(biāo)，用來(lái)指示人的感受性，這一指標(biāo)主要取決于個(gè)體的感覺(jué)辨別力，取值越大則表明感受性越強(qiáng)；另一個(gè)關(guān)鍵指標(biāo)是反應(yīng)偏向，與判斷標(biāo)準(zhǔn)有關(guān)，并受利得利失、動(dòng)機(jī)、態(tài)度、經(jīng)驗(yàn)等因素影響，取值越大表明判斷標(biāo)準(zhǔn)越嚴(yán)苛。

具體應(yīng)用信號(hào)檢測(cè)理論時(shí)包括兩種實(shí)驗(yàn)方法或模式，分別是有無(wú)法（yes-no method）和評(píng)價(jià)法（confidence method）。有無(wú)法的具體操作是先在一定的噪聲背景中給予或不給予信號(hào)刺激，同時(shí)記錄下被試者所做出的信號(hào)“有”或“無(wú)”的判斷及其正誤，以此計(jì)算出其命中或誤報(bào)的概率，再將概率值帶入標(biāo)準(zhǔn)公式即可算出被試者的辨別力指標(biāo)和反應(yīng)傾向指標(biāo)。而評(píng)價(jià)法是要求被試者在做出信號(hào)有無(wú)判斷的同時(shí)，報(bào)告自己做出判斷的把握程度，即信心指數(shù)，比如做“有”判斷時(shí)有70%的把握判斷正確，從而更精確的評(píng)估被試者在不同判斷傾向下的辨別力。

二、 信號(hào)檢測(cè)理論應(yīng)用于改進(jìn)評(píng)估中心有效性的原理

SDT理論主要關(guān)注各種事件在觀察者大腦中所形成的印象，而這種印象正是進(jìn)行決策判斷所需要的。當(dāng)個(gè)體進(jìn)行決策判斷時(shí)，其頭腦會(huì)高效的分辨出這種瞬時(shí)產(chǎn)生的認(rèn)知是來(lái)自于背景噪聲中的信號(hào)，或僅僅是一個(gè)噪聲樣本。評(píng)估者所感知的各種證據(jù)在多大程度上能夠成為明確的決策信號(hào)，主要取決于對(duì)以往內(nèi)部印象的分布如何進(jìn)行采樣，這種分布在性質(zhì)上通常被假定為高斯分布（Macmillan &Creelman, 2005）。而來(lái)自信號(hào)事件的內(nèi)部印象的平均強(qiáng)度被假定為高于單獨(dú)來(lái)自于噪聲的內(nèi)部印象。噪聲加噪聲的分布與噪聲加信號(hào)的分布可能相同，也可能不同。這種測(cè)評(píng)方法所具有的靈敏性提供了有效的指標(biāo)以區(qū)分這兩種分布的性質(zhì)。但如果兩種分布之間存在一些重疊，那么總體的準(zhǔn)確性將不可預(yù)期。

Macmillan等（2005）深入探討了SDT理論應(yīng)用的各種模型，Harvey（1992）認(rèn)為如果能夠?qū)⑦@些模型應(yīng)用到評(píng)估中心情境中，把評(píng)估專家所進(jìn)行的各種人才分類作為信號(hào)來(lái)處理以計(jì)算其相似度或可能性，將幫助評(píng)估中心法取得更為可靠的結(jié)論。這些模型所提供的信息和結(jié)論將提供不同方面的建議，比如是否要提高評(píng)估專家的辨別力，或者調(diào)整評(píng)估專家的反應(yīng)傾向等。當(dāng)信號(hào)檢測(cè)方法被應(yīng)用于人員績(jī)效領(lǐng)域時(shí)，它可以量化評(píng)估者判斷決策的靈敏度或辨別力。同時(shí)為了應(yīng)用該理論，觀察對(duì)象必須能夠按照信號(hào)或噪聲的判斷標(biāo)準(zhǔn)進(jìn)行分類。

評(píng)估中心的評(píng)估人員所要面對(duì)的求職者往往提供多種資料以證明他們對(duì)組織的適用性，但他們只有經(jīng)過(guò)事后的工作考驗(yàn)才能被證明與組織的要求是否匹配。在這種情況下，前面提及的與評(píng)估人員績(jī)效有關(guān)的兩個(gè)方面就變得尤為重要。首先是通過(guò)申請(qǐng)人提交的證據(jù)材料判斷其適用性的辨別力，這是一種能夠區(qū)分候選人適合與否的潛在能力。第二個(gè)方面是基于所有可感知的證據(jù)而進(jìn)行相機(jī)決策的能力。在現(xiàn)實(shí)情境中，即使兩個(gè)鑒別力相同的評(píng)估人員面對(duì)同一申請(qǐng)人展現(xiàn)出的相同特質(zhì)，仍然可能會(huì)對(duì)這些特質(zhì)是否足以確定一個(gè)特定的評(píng)估分?jǐn)?shù)而意見(jiàn)相左。因此，在評(píng)價(jià)評(píng)估人員的績(jī)效時(shí)就需要一些客觀的測(cè)評(píng)工具，不但能夠測(cè)量他們看法的準(zhǔn)確性，更重要的是能夠明確地測(cè)量他們的評(píng)價(jià)標(biāo)準(zhǔn)相對(duì)于其他評(píng)估者或者評(píng)估中心的目標(biāo)，是趨向于更加嚴(yán)格還是更加寬松。這些方面的績(jī)效測(cè)評(píng)正是信號(hào)檢測(cè)理論范式所能夠?qū)崿F(xiàn)的。

三、 信號(hào)檢測(cè)理論應(yīng)用于改進(jìn)評(píng)估中心有效性的具體方法

如果用于決策的判斷信息數(shù)量充足，那么測(cè)評(píng)方法的辨別力和偏向性都能夠通過(guò)信號(hào)的呈現(xiàn)和正確判斷的概率而得以揭示，這時(shí)可以稱之為“命中”（hits）。如果觀察者報(bào)告了信號(hào)的呈現(xiàn)，但是實(shí)際并沒(méi)有信號(hào)的呈現(xiàn)，這種情境稱之為“誤報(bào)”（falsealarms）。命中和誤報(bào)的情境都是用來(lái)估計(jì)測(cè)評(píng)方法的鑒別力和偏差的樣本。在報(bào)告一個(gè)信號(hào)的出現(xiàn)之前，命中和誤報(bào)的比例會(huì)隨著觀察者所需證據(jù)的逐漸增加而規(guī)律變化。在一個(gè)給定的辨別率水平下，用圖形來(lái)表示所有命中與誤報(bào)可能的比例組合，將形成一個(gè)連續(xù)曲線，該曲線被稱之為（信息）接收者工作特征曲線（receiver operating characteristiccurve，ROC）。ROC曲線族的分布范圍從位于正對(duì)角線上的零值辨別率開(kāi)始，隨著辨別率值的增加呈現(xiàn)出一個(gè)朝向左上角拱起的曲線，并占據(jù)一個(gè)單位正方形從而形成ROC空間。如果記錄的測(cè)評(píng)分?jǐn)?shù)反映了信號(hào)存在的必然程度，那么將會(huì)得到ROC曲線上的若干點(diǎn)，然后就可以通過(guò)計(jì)算機(jī)分析來(lái)確定最佳擬合模型的參數(shù)。于是，根據(jù)特定數(shù)據(jù)在最佳擬合ROC曲線上的位置就可以用來(lái)表示觀察者的反應(yīng)偏差（見(jiàn)圖1）。

圖1 接收者工作特征曲線圖

ROC曲線來(lái)自于評(píng)估人員對(duì)應(yīng)試者所提供信息的判斷數(shù)據(jù)資料。位于圖形主對(duì)角線上的虛線代表零辨別力，而位于負(fù)對(duì)角線上的虛線代表無(wú)偏反應(yīng)（辨別力），圖中的實(shí)線則代表最佳擬合某被試者辨別力數(shù)據(jù)的辨別力曲線，該曲線與無(wú)偏反應(yīng)曲線的距離一目了然的反應(yīng)了該評(píng)估人員對(duì)面試者提供資料的辨別力水平。

具體而言，可以分三個(gè)步驟來(lái)實(shí)現(xiàn)對(duì)評(píng)估中心評(píng)估員的辨別力和反應(yīng)傾向進(jìn)行區(qū)分。首先，在一個(gè)評(píng)估中心中，針對(duì)某一個(gè)具體評(píng)估項(xiàng)目，比如申請(qǐng)某零售業(yè)管理人員的候選人選拔項(xiàng)目，候選人被要求參加若干測(cè)試項(xiàng)目，并由一組評(píng)估者進(jìn)行打分，詳細(xì)記錄這些評(píng)估者對(duì)每一個(gè)候選人的評(píng)分以及綜合評(píng)估。這時(shí)，每一項(xiàng)需要打分的活動(dòng)都有可能成為一個(gè)信號(hào)事件或者噪聲事件，而判斷的標(biāo)準(zhǔn)取決于這名候選人最后是否被評(píng)估小組確定為合格人選。于是，當(dāng)評(píng)估小組最終決定某個(gè)候選人應(yīng)當(dāng)被錄取時(shí)，即評(píng)估小組假定此人適合企業(yè)的需要，那么這名候選人按照信號(hào)檢測(cè)理論就成為了一個(gè)信號(hào)，而其他落選的候選人則被指定為噪聲。

其次，為了區(qū)分評(píng)估者的辨別力和反應(yīng)傾向的差異，用評(píng)估者所做出的所有評(píng)分構(gòu)建評(píng)估組及評(píng)估者個(gè)人的ROC曲線，以此得出關(guān)鍵參數(shù)值。此時(shí)，需要選擇信號(hào)檢測(cè)模型來(lái)進(jìn)行模型擬合分析，并在模型擬合程序中設(shè)定噪聲分布的標(biāo)準(zhǔn)差為1，同時(shí)設(shè)定信號(hào)與噪聲的比例分布為自由變化。異方差假設(shè)的合理性可由信號(hào)與噪聲比例分布的標(biāo)準(zhǔn)誤來(lái)確定，而信號(hào)與噪聲比例的分布取自最佳擬合的ROC曲線，最后通過(guò)極大似然法從ROC曲線中可以得到各個(gè)參數(shù)的估計(jì)值。這些參數(shù)值包括了每一個(gè)評(píng)估者的辨別力參數(shù)、反應(yīng)傾向性參數(shù)以及可信度參數(shù)，從而實(shí)現(xiàn)了對(duì)同一組評(píng)估組中的每個(gè)評(píng)估者之間差異的準(zhǔn)確把握。

最后，根據(jù)所掌握的各個(gè)評(píng)估者的辨別力和反應(yīng)傾向性參數(shù)值調(diào)整評(píng)估組的成員構(gòu)成，以提高評(píng)估組整體的評(píng)估能力和有效性。很顯然，評(píng)估者的辨別力參數(shù)值和反應(yīng)傾向參數(shù)值越高越好，這說(shuō)明該評(píng)估者有較強(qiáng)的辨別力以及與評(píng)估組整體更為一致的辨別傾向性，采用這樣的評(píng)估者構(gòu)成評(píng)估組將會(huì)有更好的評(píng)估績(jī)效。同時(shí)，對(duì)于辨別力參數(shù)值和反應(yīng)傾向性參數(shù)值較低或不均衡的評(píng)估者，可以根據(jù)具體的取值情況進(jìn)行有針對(duì)性的培訓(xùn)，以提高其辨別力和均衡的辨別反應(yīng)傾向性。

四、結(jié)語(yǔ)

本論文從評(píng)估中心法建構(gòu)效度的不足和信號(hào)檢測(cè)理論的基本原理出發(fā)進(jìn)行探索性思考，提出可以引入信號(hào)檢測(cè)理論，構(gòu)建一個(gè)信息接收者工作特征曲線（ROC）圖，用以區(qū)分不同的評(píng)估者對(duì)候選人材料的評(píng)估能力或辨別能力，進(jìn)而有效調(diào)整和改進(jìn)評(píng)估小組成員評(píng)估能力，提高整體評(píng)估有效性的方法。盡管本論文所構(gòu)思的探索性方法在本論文并未進(jìn)行驗(yàn)證，但是所提出理論來(lái)自于成熟的心理物理領(lǐng)域，所提供的操作方法也比較具體可行，因此對(duì)人才測(cè)評(píng)領(lǐng)域的研究也具有一定的理論價(jià)值和實(shí)踐意義，對(duì)評(píng)估中心測(cè)評(píng)方法領(lǐng)域的研究也起到了拋磚引玉的作用。

[1]陳曉惠.心理學(xué)研究中信號(hào)檢測(cè)論實(shí)驗(yàn)綜述[J].教育教學(xué)論壇，2013（10）:16-18.

[2]陳舒永，馬謀超.信號(hào)檢測(cè)理論與古典的心理物理學(xué)方法[J].心理學(xué)報(bào)，1979（03）:331-335.

[3]范巍，謝小云.評(píng)價(jià)中心法的幾個(gè)經(jīng)典誤差：人才選拔效度的視角[J].第一資源，2008（01）:91-99.

[4]HarveyL. O. The critical operating characteristic and the evaluation of expertjudgment[J]. Organizational Behaviour and Human Decision Processes,1992（53）, 229–251.

[5]MacmillanN. A., Creelman C. D.Detection theory: A user’s guide (2nd ed.). Mahwah,2005,NJ: Lawrence Erlbaum

責(zé)任編輯：王靜

2017-06-17

宋孜宇（1978-），男，漢族，呼倫貝爾學(xué)院經(jīng)濟(jì)管理學(xué)院講師，碩士，首都經(jīng)濟(jì)與貿(mào)易大學(xué)在讀博士生。研究方向：人力資源管理。

唐琦（1983-），呼倫貝爾學(xué)院經(jīng)濟(jì)管理學(xué)院講師，碩士。研究方向：營(yíng)銷(xiāo)管理。

F243.2

A

1009-4601（2017）06-0052-03