李金德

(廣西民族大學(xué) 教育科學(xué)學(xué)院,廣西 南寧 530006)

0 引言

效度概化(validity generalization)是1977年由Schmidt提出的一種研究人事選拔測量工具效標(biāo)效度的研究方法,[1]作為一種元分析(meta-analysis)研究范式已經(jīng)被許多研究領(lǐng)域采納,也包括心理與教育元分析領(lǐng)域.效度概化研究者認為因為統(tǒng)計誤差的存在致使測量工具的效標(biāo)效度變異性被嚴(yán)重高估而它的大小卻被嚴(yán)重低估,只要將這些統(tǒng)計誤差剔除就會發(fā)現(xiàn)測量工具效標(biāo)效度的真實大小和跨情境一致性,這便是效度概化的過程.常見的統(tǒng)計誤差有測量誤差、抽樣誤差、范圍限制、效標(biāo)污染、計算和輸入誤差等,[2]目前效度概化研究中能矯正的主要是測量誤差、抽樣誤差和范圍限制.范圍限制的矯正比測量誤差和抽樣誤差的矯正復(fù)雜,鑒于國內(nèi)該領(lǐng)域研究的匱乏,本文擬就如何矯正相關(guān)系數(shù)的范圍限制做相應(yīng)介紹.

1 范圍限制

效標(biāo)效度研究的目的是判斷預(yù)測變量X對總體被試的效標(biāo)行為Y的預(yù)測作用,但是研究所能獲取的被試常常不是總體而是某種群體,這種群體的獲取方式很多,理想的方法是隨機抽樣.但在人員選拔和教育選拔的研究中,能獲取的群體通常只由那些通過某個分?jǐn)?shù)點的人組成,這種選取被試的方式,本文稱為截取.因為被試是被截取的,所以其取值范圍受到了限制,這便是變量的范圍限制(range restriction).那些因為某種截取方式而保留下的被試稱為受限群體,而那些受限群體背后的總體稱為未受限群體.[3]

范圍限制有直接范圍限制(direct range restriction)和間接范圍限制(indirect range restriction)之分.[4-5]假如研究者要探討X預(yù)測效標(biāo)行為Y的效度,測試了一個群體,然后將X分?jǐn)?shù)由高到低進行排序,但最后只截取該群體的某個分?jǐn)?shù)段的被試作為研究對象,如只截取高于X平均值的被試,此時X的取值范圍受到了直接限制,這便是直接范圍限制;假如研究者在篩選被試時依據(jù)的標(biāo)準(zhǔn)不是預(yù)測變量X的取值,而是第三個變量S,因為S與X有關(guān)聯(lián),所以對S的直接截取會間接影響X的取值范圍,這便是間接范圍限制.一般情況下,因為存在范圍限制,受限群體的方差會比未受限群體低,這樣會降低X與Y的相關(guān)系數(shù),[6-7]Thorndike(1949)提出矯正公式CaseⅠ、CaseⅡ和CaseⅢ進行矯正,后來又有研究者提出了CaseⅣ和CaseⅤ.本文將結(jié)合元分析的步驟對這幾個矯正公式做介紹,為方便論述下文將受限群體測量指標(biāo)用下標(biāo)“i”表示,將未受限群體測量指標(biāo)用下標(biāo)“a”表示,另外限于篇幅下文公式中的字母指代只在第一次出現(xiàn)做解釋.

2 直接范圍限制的矯正

2.1 CaseⅠ

如果直接范圍限制發(fā)生在預(yù)測變量X上,但X的未受限方差未知,而效標(biāo)變量Y的未受限方差已知,可以使用CaseⅠ對相關(guān)系數(shù)進行矯正,[8]即

式中,RXY為矯正范圍限制后的相關(guān)系數(shù);rXY為受限相關(guān)系數(shù);uY=sY/SY,sY和SY分別表示Y的受限和非受限標(biāo)準(zhǔn)差.

因為CaseⅠ的適用條件不常見,所以很少被使用,[8-10]相比較而言CaseⅡ的使用就很頻繁.

2.2 CaseⅡ

2.2.1 單個因素矯正

如果直接范圍限制發(fā)生在預(yù)測變量X上,且X的未受限方差已知,可以使用CaseⅡ?qū)ο嚓P(guān)系數(shù)進行矯正,[8]即

式中,uX=sX/SX,其中sX和SX分別表示X受限和未受限標(biāo)準(zhǔn)差.

CaseⅡ有兩個基本假設(shè)：[11]第一,線性假設(shè),即受限群體和未受限群體中效標(biāo)變量對預(yù)測變量的回歸系數(shù)(斜率)是相等的;第二,方差同質(zhì)性假設(shè),方差同質(zhì)性假設(shè)要求未受限和受限群體的殘差方差相等.

2.2.2 元分析矯正步驟

利用CaseⅡ的矯正公式,Hunter和Schmidt構(gòu)建了同時考慮信度和范圍限制時相關(guān)系數(shù)的元分析矯正步驟,[12]圖1可用來描述該矯正過程.圖中T表示預(yù)測變量的真實值,X表示預(yù)測變量的觀測值,T是無法測量的,可以理解為潛變量,它由顯變量X表征;同樣的,P表示效標(biāo)變量的真實值,Y表示效標(biāo)變量的觀測值,P也是潛變量,由顯變量Y表征;X上的虛線表示直接從變量X的分?jǐn)?shù)上截取被試,即直接范圍限制發(fā)生在X上.

圖1 CaseⅡ直接范圍限制模型Fig.1 CaseⅡdirect range restriction model

假如每個研究的預(yù)測變量和效標(biāo)變量的受限與未受限信度已知,同時預(yù)測變量的受限和未受限方差已知,此時元分析的基本思路是對每個研究的相關(guān)系數(shù)進行逐個矯正然后加權(quán)合成總系數(shù),[12]步驟如下：

第一,矯正Y的受限信度rYYi對ρXYi的影響得到校正系數(shù)ρXPi,即

式中,ρXYi指每個研究的受限相關(guān)系數(shù).

第二,矯正X的直接范圍限制對ρXPi的影響得到矯正系數(shù)ρXPa,即

第三,利用受限信度rXXi和u2X估算X的未受限測量信度rXXa,即

第四,矯正rXXa對ρXPa的影響得到單個研究較正系數(shù)ρTPa,即

式中,ρ指合成的平均效應(yīng)量(總效應(yīng)量);ρj指第j個研究的矯正效應(yīng)量,即ρTPa;wj指第j個研究的權(quán)重,可以是該研究的樣本量或方差倒數(shù),[13]也可以是聯(lián)合權(quán)重.[2]

如果個體研究未受限群體的信度和方差未知,研究者可以利用一些假設(shè)分布作為相關(guān)指標(biāo)的計算依據(jù),[1]步驟如下：

第一,計算受限相關(guān)系數(shù)的平均值,即

式中,ρXYi指平均受限相關(guān)系數(shù);wj指權(quán)重,通常為方差倒數(shù).[13]

第二,根據(jù)先驗知識構(gòu)建假設(shè)分布以獲取變量信度和范圍限制比率等信息.[1]要獲取的指標(biāo)有X的信度均值rXX、Y的信度均值rYY、X的范圍受限比率均值uX.

第三,將所有指標(biāo)帶入以下公式便可獲得總相關(guān)系數(shù)ρTP,即

2.2.3 對CaseⅡ的評價

早期研究者們的模擬和實證研究顯示CaseⅡ的矯正效果較為理想.[14-15]研究者還發(fā)現(xiàn)當(dāng)違背方差同質(zhì)性假設(shè)時,CaseⅡ 的矯正結(jié)果仍然很穩(wěn)健,但CaseⅡ的矯正結(jié)果對違背線性假設(shè)卻非常敏感.[9]CaseⅡ面臨最大的質(zhì)疑是現(xiàn)實研究中大部分的范圍限制是間接而非直接的,此時用CaseⅡ矯正范圍限制會低估效度,[10]研究者認為CaseⅡ早期的模擬研究之所以較理想不過是因為模擬的都是直接而非間接范圍限制案例.[12]總之,間接范圍限制應(yīng)該采用與之對應(yīng)的公式而非CaseⅡ.

3 間接范圍限制的矯正

3.1 CaseⅢ

若直接范圍限制發(fā)生在變量Z上,但因為Z與變量X有關(guān),所以對X的取值產(chǎn)生了間接影響,進而影響X和Y的相關(guān)系數(shù),此時可用CaseⅢ對相關(guān)系數(shù)進行矯正,[8]即

式中,rXY為X和Y的受限相關(guān)系數(shù);rXZ為X和Z的受限相關(guān)系數(shù);rYZ為Y和Z的受限相關(guān)系數(shù).

使用CaseⅢ要假設(shè)X只受到Z這一個變量的影響,但影響X的變量常常是幾個而較少是一個.即使X確實只受一個變量Z的影響,要獲知rXY、rXZ、rYZ、sX和SX也十分困難,所以CaseⅢ很少被使用.[16]矯正公式caseⅣ的出現(xiàn)彌補了CaseⅢ的缺陷.

3.2 CaseⅣ

3.2.1 單個因素矯正

CaseⅣ需要的計算條件比CaseⅢ少,具有實踐應(yīng)用價值.圖2是CaseⅣ的模型圖,該模型比圖1的模型增加了一個新變量S.[12]S相當(dāng)于CaseⅢ中提到的Z變量,不過S變量在這里指的是潛變量,Z沒有這樣的假設(shè).S的統(tǒng)計信息與Z一樣常難以獲取,有時因為沒有測量,更多時候是因為S是一個組合體而根本無法測量.在CaseⅣ中,對被試的截取首先直接發(fā)生在S上,而因為S和預(yù)測變量有關(guān)系,所以對S的直接截取會間接影響到預(yù)測變量的分?jǐn)?shù)分布,即發(fā)生了間接范圍限制.需要注意的是,變量S是作用于預(yù)測變量的潛變量T而不是顯變量X.CaseⅣ同時還假設(shè)S對效標(biāo)變量潛變量P的影響全部被T中介.

圖2 CaseⅣ間接范圍限制模型Fig.2 CaseⅣindirect range restriction model

在CaseⅣ中,關(guān)鍵是要估算出預(yù)測變量T的范圍限制比率uT,[2]即

式中,uT指潛變量T的范圍受限比率;rXXa是X未受限測量信度.

在只有范圍限制因素時,CaseⅣ對相關(guān)系數(shù)的矯正和CaseⅡ相似,即

3.2.2 元分析矯正步驟

假如每個研究的預(yù)測變量和效標(biāo)變量的受限與未受限信度已知,同時預(yù)測變量的受限和未受限方差已知,可以對每個研究的相關(guān)系數(shù)逐個矯正然后將它們加權(quán)匯總,步驟如下：

第一,矯正Y的受限信度rYYi對ρXYi的影響得到校正系數(shù)ρXPi(參考公式(3)).

第二,估算X的受限信度rXXi,即

如果rXXi已知,可以直接到第三步.

第三,矯正rXXi對ρXPi的影響得到較正系數(shù)ρTPi,即

第四,估算X的未受限測量信度rXXa,即

如果rXXa已知,可以直接到第五步.

第五,對T的范圍受限比率uT進行估算(參考公式(11)).

第六,將指標(biāo)帶入以下公式得到單個研究未受限相關(guān)系數(shù)ρTPa,即

第七,計算總的效應(yīng)量ρ(參考公式(7)).

如果個體研究未受限群體的信度和方差信息不全,與CaseⅡ一樣研究者可以利用一些假設(shè)分布作為相關(guān)指標(biāo)的計算依據(jù),步驟如下：

第一,計算受限相關(guān)系數(shù)的平均值ρXYi(參考公式(8)).

第二,根據(jù)假設(shè)分布獲取X的信度均值rXX、Y的信度均值rYY、X的范圍受限比率均值uX,并利用rXX和uX,計算出uT,即

第三,將所有指標(biāo)帶入以下公式便可獲得總相關(guān)系數(shù)ρTP,即

3.2.3 對CaseⅣ的評價

CaseⅣ假設(shè)發(fā)生在S上的直接限制對T產(chǎn)生間接范圍限制,同時假設(shè)S對P的影響全部通過T產(chǎn)生,假如這個假設(shè)成立,CaseⅣ和CaseⅢ在數(shù)學(xué)上是等價的.與CaseⅢ比,CaseⅣ讓間接范圍矯正成為可能,[17]與CaseⅡ比,CaseⅣ對間接范圍限制的矯正更準(zhǔn)確.[18-19]當(dāng)然,CaseⅣ對S、P和T的間接路徑假設(shè)在實際研究中很難滿足,[17,20]因為用于截取被試的變量S常常是未知的或者因為組合復(fù)雜而難以測量,這樣S與T和P的間接路徑就難以確定,基于此,研究者提出了矯正公式CaseⅤ.

3.3 CaseⅤ

3.3.1 單個因素矯正

在間接范圍限制中,如果第三個變量S與預(yù)測變量X和效標(biāo)變量Y的相關(guān)是同向的,可以利用以下公式對相關(guān)系數(shù)進行矯正,[21]即

如果S與X和Y的相關(guān)是反向的,即一個為正,一個為負,可以利用以下公式對相關(guān)系數(shù)進行矯正,[22]即

公式(19)和公式(20)主要針對的是顯變量層面的相關(guān)系數(shù)矯正,從CaseⅣ中獲得靈感的Le等人[10]將其應(yīng)用到潛變量層面的相關(guān)系數(shù)矯正,并且將其命名為CaseⅤ,其模型見圖3.從圖3可見,CaseⅤ模型比CaseⅣ模型多了一條從S到P的路徑,它表示S同時對T和P都有直接影響,Le等人認為這種模型更符合間接范圍限制的實際情況.

圖3 CaseⅤ間接范圍限制模型Fig.3 CaseⅤindirect range restriction model

CaseⅤ的關(guān)鍵是要估算出預(yù)測變量真分?jǐn)?shù)T的范圍限制比率uT,同時還需要估算出效標(biāo)變量真分?jǐn)?shù)P的范圍限制比率uP,即

3.3.2 元分析矯正步驟

假如每個研究的預(yù)測變量和效標(biāo)變量的受限與未受限信度已知,同時預(yù)測變量的受限和未受限方差已知,可以對每個研究的相關(guān)系數(shù)逐個矯正然后將它們加權(quán)匯總,步驟如下：

第一,矯正Y的受限信度rYYi對ρXYi的影響得到校正系數(shù)ρXPi(參考公式(3)).

第二,矯正rXXi對ρXPi的影響得到較正系數(shù)ρTPi(參考公式(14)).

第三,計算T和P的范圍受限比率uT和uP(參考公式(21)和(22)).

第四,將指標(biāo)帶入以下公式得到單個研究未受限相關(guān)系數(shù)ρTPa,即

第七,計算總的效應(yīng)量ρ(參考公式(7)).

如果個體研究未受限群體的信度和方差信息不全,與CaseⅡ和CaseⅣ一樣研究者可以利用假設(shè)分布作為相關(guān)指標(biāo)的計算依據(jù),步驟如下：

第一,計算受限相關(guān)系數(shù)的平均值ρXYi(參考公式(8)).

第二,根據(jù)假設(shè)分布獲取X的信度均值rXX、Y的信度均值rYY、X的范圍受限比率均值uX、Y的范圍受限比率均值uY.

第三,利用rXX、rYY、uX和uY計算出T和P的范圍受限比率uT和uP,即

第四,將指標(biāo)帶入以下公式便可得總相關(guān)系數(shù)ρTP,即

3.3.3 對CaseⅤ的評價

CaseⅤ和CaseⅣ一樣不需要獲取S的相關(guān)信息,所以它比CaseⅢ要更具實踐意義.CaseⅤ不需要線性假設(shè)和方差同質(zhì)性假設(shè),與CaseⅡ比較起來這是優(yōu)勢.CaseⅤ另外一個優(yōu)勢是其矯正的相關(guān)系數(shù)允許符號的改變,因為S產(chǎn)生的間接范圍限制不一定降低也有可能是增強X和Y的相關(guān)系數(shù).[23]當(dāng)然,獲取Y的未受限群體的方差信息對于CaseⅤ來說也是有困難的.[10]另外,當(dāng)X和Y的相關(guān)接近0時,S與X和Y的關(guān)系是隨機的,這時候不好決定采用公式(19)還是公式(20),這是CaseⅤ的不足.[10]

4 總結(jié)

針對不同的范圍限制選用不同的方法可以減少方法誤用帶來的誤差.CaseⅠ和CaseⅡ矯正的是直接范圍限制,CaseⅢ、CaseⅣ和CaseⅤ矯正的是間接范圍限制,在使用條件滿足的情況下,他們的矯正結(jié)果都是準(zhǔn)確的.在實踐中大多是間接而非直接范圍限制,所以使用CaseⅡ時要謹(jǐn)慎.因為第三方變量信息的獲取非常困難,所以CaseⅢ的使用就受到了極大的限制.而CaseⅣ雖然巧妙地避開了搜集第三方變量信息的難題,但是其核心假設(shè)(即假設(shè)S對P的影響全部由T中介)在現(xiàn)實研究中卻不多見,所以比較起來CaseⅤ似乎更好,它既不用考慮第三方變量的信息,同時也不需要假設(shè)T完全中介S對P的作用.不過當(dāng)預(yù)測變量和效標(biāo)變量的相關(guān)系數(shù)接近0的時候,因為難以判斷采用CaseⅤ的哪個矯正公式,這時使用CaseⅣ會更好.總之,方法的取舍需要研究者綜合判斷.