溫忠麟 羅冠中
試卷中的模塊是指一組題目,模塊化科目的試卷含有多個(gè)模塊,其中有一個(gè)模塊是該科考生必答的,另有若干模塊,由學(xué)生自行選答。不論是必考科目還是選考科目,都可以設(shè)計(jì)模塊化試卷,成為模塊化科目。2012年開始的香港中學(xué)文憑考試(HKDSE)①2012年之前,香港的學(xué)制和英國的一樣,中學(xué)5年,預(yù)科2年,大學(xué)本科3年。2012年開始改為和內(nèi)地學(xué)制一樣,即初中3年,高中3年,大學(xué)本科4年。之前的會(huì)考和高考則合并成一次考試“中學(xué)文憑考試”。,許多科目都是模塊化科目。例如,英語是必考科目,有4個(gè)分卷(閱讀、寫作、聆聽和口語),其中閱讀和聆聽都是模塊化設(shè)計(jì)。以閱讀為例,其中有一個(gè)模塊是必答的,另有兩個(gè)模塊讓考生選擇其中一個(gè)。兩個(gè)選答模塊中,一個(gè)模塊比較容易,另一個(gè)模塊則比較難。顯然,這樣的模塊化設(shè)計(jì)是不能使用原始分的,一定要解決模塊之間的分?jǐn)?shù)等值轉(zhuǎn)換問題。又如,資訊與通訊科技是選考科目,有4個(gè)選答模塊。雖然事先不知道哪個(gè)模塊比較難,但可以肯定的是難易程度不會(huì)是相同的,除非碰巧。所以,只要有模塊化科目或者模塊化分卷設(shè)計(jì),就需要等值轉(zhuǎn)換。
因?yàn)槟K化科目有一個(gè)模塊是必答的,所以等值轉(zhuǎn)換的思路是以必答模塊為“橋梁”,實(shí)現(xiàn)選答模塊的等值,相應(yīng)的等值設(shè)計(jì)為通常教科書上說的鉚測(cè)驗(yàn)—非等組設(shè)計(jì)(漆書青,戴海崎,丁樹良,2002),其中必答模塊題目為鉚題。相對(duì)于整份試卷,每個(gè)模塊的題目往往較少(甚至只有一個(gè)題目),并且是在原始分?jǐn)?shù)處理的早期階段,所以模塊之間的分?jǐn)?shù)通常都不會(huì)使用項(xiàng)目反應(yīng)理論(IRT)進(jìn)行等值。一種常規(guī)方法是等百分位等值(equipercentile;漆書青等,2002)。和其他等值方法一樣,等百分位等值也需要假設(shè)不同模塊都是測(cè)試相同的能力。
等百分位等值原理容易理解,簡單說就是,比較同一組考生在模塊A和模塊B的表現(xiàn),將兩個(gè)模塊中百分等級(jí)(percentage rank)相同的分?jǐn)?shù)作為是等值的,這樣就實(shí)現(xiàn)了模塊A和模塊B的分?jǐn)?shù)等值。例如,同一組考生在模塊A中分?jǐn)?shù)低于25的有40%,在模塊B中分?jǐn)?shù)低于30的有40%,則認(rèn)為模塊A的25分與模塊B的30分等值。
對(duì)于等百分位等值,無論是從統(tǒng)計(jì)原理的描述還是對(duì)原理的理解都沒有多少問題,問題在于針對(duì)具體考試中不同的設(shè)計(jì),如何實(shí)現(xiàn)等值的具體計(jì)算。本文以香港中學(xué)文憑考試為例,介紹不同設(shè)計(jì)情況下模塊之間的實(shí)際等值轉(zhuǎn)換方法,但首先要介紹如何實(shí)現(xiàn)等百分位等值的計(jì)算。
在考慮將兩個(gè)模塊分?jǐn)?shù)等值時(shí),所謂的考生是指同時(shí)參加了兩個(gè)模塊考試的考生。下面是等百分位等值的具體步驟,可以實(shí)現(xiàn)模塊A分?jǐn)?shù)到模塊B分?jǐn)?shù)的等值轉(zhuǎn)換:
第1步:頻數(shù)分析
分別對(duì)模塊A和模塊B做頻數(shù)分析,得到頻數(shù)表:
(1)將考生按分?jǐn)?shù)由低到高(升序)排隊(duì);
(2)對(duì)每個(gè)可能的分?jǐn)?shù)(0分到滿分),計(jì)算得到該分?jǐn)?shù)的考生人數(shù);
(3)對(duì)每個(gè)可能的分?jǐn)?shù),計(jì)算低于該分?jǐn)?shù)的考生人數(shù)。
第2步:計(jì)算每個(gè)考生的百分等級(jí)
分別對(duì)模塊A和模塊B計(jì)算每個(gè)考生的百分等級(jí)。如果有多個(gè)考生獲得相同的分?jǐn)?shù),如何計(jì)算比其分?jǐn)?shù)低的考生人數(shù)呢?如果理解為嚴(yán)格低于該分?jǐn)?shù)的考生人數(shù)百分比,可以想到,有時(shí)候分?jǐn)?shù)變化一分,百分等級(jí)會(huì)激烈變化。比較合理的做法是,將同樣分?jǐn)?shù)的考生,視為有一半人低于該分?jǐn)?shù),另一半人則高于該分?jǐn)?shù)。這樣,一個(gè)給定分?jǐn)?shù)x的百分等級(jí)為:
其中B為低于分?jǐn)?shù)x的考生人數(shù),E為等于分?jǐn)?shù)x的考生人數(shù),N為所有考生人數(shù)。
第3步:建立模塊A到模塊B的分?jǐn)?shù)轉(zhuǎn)換公式
為了容易區(qū)分,將模塊A的分?jǐn)?shù)x的百分等級(jí)記為PrA(x),模塊B的分?jǐn)?shù)y的百分等級(jí)記為PrB(y)。通常,模塊A的一個(gè)分?jǐn)?shù)x(百分等級(jí)為PrA(x),在模塊B中未必剛好有現(xiàn)成的一個(gè)分?jǐn)?shù)y,其百分等級(jí)PrA(y)與PrA(x)正好相等。但我們可以在模塊B中找到兩個(gè)相鄰的分?jǐn)?shù)y1和y2(其中y1<y2),使得相應(yīng)的百分等級(jí)滿足PrB(y1)≤PrA(x)<PrB(y2),然后用線性插值方法計(jì)算與x對(duì)應(yīng)的等值分?jǐn)?shù)f(x)。計(jì)算y1、y2和線性插值公式如下:
y=f(x)就是模塊A的分?jǐn)?shù)x在模塊B中的等值分?jǐn)?shù)。顯然,當(dāng)PrB(y1)=PrA(x),f(x)=y1。一些特殊點(diǎn)的轉(zhuǎn)換如下:
(1)f(0)=0;
(2)如果PrA(x)<PrB(0),則f(x)=0;
(3)如果PrA(x)≥PrB(full_B),則f(x)=full_B,其中full_B是模塊B的滿分值。
第4步:將模塊A的每個(gè)分?jǐn)?shù)轉(zhuǎn)換到模塊B的等值分?jǐn)?shù)
使用上面建立的公式y(tǒng)=f(x),就可以將模塊A的每個(gè)分?jǐn)?shù),都轉(zhuǎn)換到模塊B中的一個(gè)分?jǐn)?shù),轉(zhuǎn)換后的分?jǐn)?shù)四舍五入后,稱為模塊B等值分?jǐn)?shù),以區(qū)別于模塊B分?jǐn)?shù)。
通過上述步驟,就可以實(shí)現(xiàn)一個(gè)模塊到另一個(gè)模塊的分?jǐn)?shù)等值轉(zhuǎn)換,這是模塊化試卷等值轉(zhuǎn)換的基礎(chǔ)。
需要注意的是,零分考生通常只是寫個(gè)名字什么都不做,反映不了真實(shí)能力。如果零分考生不是偶然的一兩個(gè),應(yīng)當(dāng)先將所有零分考生剔除后再進(jìn)行等值轉(zhuǎn)換。
一般的模塊化試卷,兩個(gè)或多個(gè)選答模塊處于平等地位,事先不會(huì)有意地讓某個(gè)模塊更難或者更易,而是盡可能使不同選答模塊的難度相當(dāng),這樣的選答模塊稱為普通選答模塊,簡稱為選答模塊。例如,香港中學(xué)文憑考試選考科目中,“企業(yè)、會(huì)計(jì)與財(cái)務(wù)概論”有2個(gè)選答模塊,必答模塊占40%,選答模塊占60%?!百Y訊與通訊科技”有4個(gè)選答模塊,必答模塊占55%,選答模塊占25%,校本評(píng)核占20%?!霸O(shè)計(jì)與應(yīng)用科技”是5個(gè)選答模塊任選其中2個(gè),必答模塊占30%,選答模塊占30%,校本評(píng)核占40%。這種選答模塊進(jìn)行等百分位等值時(shí),不宜采用通常教科書中的“鏈等百分位等值”。
所謂鏈等百分位等值(漆書青等,2002),是將選答模塊甲分?jǐn)?shù)等值到必答模塊分?jǐn)?shù)(用模塊甲考生數(shù)據(jù)),再將必答模塊分?jǐn)?shù)等值到選答模塊乙分?jǐn)?shù)(用模塊乙考生數(shù)據(jù)),實(shí)現(xiàn)模塊甲與模塊乙的等值。這種鏈等百分位等值的缺點(diǎn)是模塊甲考生分?jǐn)?shù)需要經(jīng)過兩次轉(zhuǎn)換才能轉(zhuǎn)換到模塊乙等值分?jǐn)?shù),而模塊乙考生分?jǐn)?shù)是原來的分?jǐn)?shù),這樣兩個(gè)模塊就不平等。如所知,分?jǐn)?shù)轉(zhuǎn)換其實(shí)是一種估計(jì),會(huì)有估計(jì)誤差,兩次轉(zhuǎn)換的估計(jì)誤差還可能會(huì)累積。
比較公平的做法是,將每個(gè)選答模塊分?jǐn)?shù)都轉(zhuǎn)換到必答模塊等值分?jǐn)?shù),做法是將選答模塊視為模塊A,將必答模塊視為模塊B,使用同時(shí)參加了選答模塊和必答模塊的考生數(shù)據(jù),按上一節(jié)的步驟,就可以實(shí)現(xiàn)選答模塊到必答模塊的分?jǐn)?shù)轉(zhuǎn)換。這樣做,每個(gè)選答模塊的分?jǐn)?shù)都轉(zhuǎn)換了一次,然后按預(yù)設(shè)的權(quán)重(必答模塊和選答模塊權(quán)重)計(jì)算全卷分?jǐn)?shù)。
出于特殊的考慮,有的科目可能會(huì)有難易不同的選答模塊,并且命題的時(shí)候就明確了哪個(gè)模塊易、哪個(gè)模塊難。例如,香港中學(xué)文憑考試的英語,閱讀分卷和聆聽分卷都有三個(gè)模塊:必答模塊、易模塊和難模塊。這時(shí),如果還是將易模塊和難模塊分?jǐn)?shù)都等值轉(zhuǎn)換到必答模塊,對(duì)于易模塊而言,問題不大,但對(duì)于難模塊,轉(zhuǎn)換的時(shí)候就會(huì)出現(xiàn)所謂的“天花板效應(yīng)”,即在難模塊排名靠前的許多考生分?jǐn)?shù),轉(zhuǎn)換到必答模塊后都變成了(必答模塊的)滿分或接近滿分,這部分考生在難模塊上的不同表現(xiàn)難于區(qū)分,設(shè)置難模塊失去了意義。
較好的做法是,采用鏈等百分位等值,將易模塊分?jǐn)?shù)轉(zhuǎn)換到必答模塊等值分?jǐn)?shù)(用易模塊考生數(shù)據(jù)),再將必答模塊分?jǐn)?shù)轉(zhuǎn)換到難模塊等值分?jǐn)?shù)(用難模塊考生數(shù)據(jù))。最后,每個(gè)考生都有一個(gè)必答模塊分?jǐn)?shù)和一個(gè)難模塊分?jǐn)?shù)(或者等值分?jǐn)?shù)),將兩種分?jǐn)?shù)按預(yù)設(shè)的權(quán)重(必答模塊權(quán)重和難模塊權(quán)重)計(jì)算全卷分?jǐn)?shù)。具體步驟如下:
第1步:將易模塊的每個(gè)分?jǐn)?shù)轉(zhuǎn)換為必答模塊等值分?jǐn)?shù)
將易模塊作為模塊A,必答模塊作為模塊B,利用同時(shí)參加了這兩個(gè)模塊的考生數(shù)據(jù),按第一節(jié)中的步驟,就可以將每個(gè)易模塊分?jǐn)?shù),轉(zhuǎn)換為必答模塊等值分?jǐn)?shù)。為了減少誤差,轉(zhuǎn)換后的分?jǐn)?shù)暫時(shí)不要四舍五入。
第2步:將必答模塊的每個(gè)分?jǐn)?shù)轉(zhuǎn)換為難模塊等值分?jǐn)?shù)
將必答模塊作為模塊A,難模塊作為模塊B,利用同時(shí)參加了這兩個(gè)模塊的考生數(shù)據(jù),按第一節(jié)中的步驟,就可以將每個(gè)必答模塊分?jǐn)?shù),轉(zhuǎn)換為難模塊等值分?jǐn)?shù)。為了減少誤差,轉(zhuǎn)換后的分?jǐn)?shù)暫時(shí)不要四舍五入。
第3步:將易模塊的每個(gè)分?jǐn)?shù)轉(zhuǎn)換為難模塊等值分?jǐn)?shù)
根據(jù)第1步結(jié)果,對(duì)于易模塊的每個(gè)分?jǐn)?shù)Ei,都有一個(gè)必答模塊等值分?jǐn)?shù)Equa_Ei(帶有小數(shù)),可以找到必答模塊的兩個(gè)相鄰分?jǐn)?shù)Ci1和Ci2,使得Ci1≤Equa_Ei<Ci2。而根據(jù)第2步結(jié)果,必答模塊分?jǐn)?shù)Ci1和Ci2在難模塊有相應(yīng)的等值分?jǐn)?shù),分別記為Equa_Ci1和Equa_Ci2。用線性插值方法,易模塊分?jǐn)?shù)轉(zhuǎn)換為難模塊等值分?jǐn)?shù)的公式為:
顯然,當(dāng)Equa_Ei=Ci1時(shí),f(Ei)=Equa_Ci1。如果Equa_Ei超過了必答模塊的滿分值,則f(Ei)等于必答模塊滿分值對(duì)應(yīng)的難模塊等值分?jǐn)?shù)。
和前面說過的一樣,鏈等百分位等值使得易模塊分?jǐn)?shù)被轉(zhuǎn)換了兩次,誤差會(huì)累積,但為了將高能力考生區(qū)分出來,避免“天花板效應(yīng)”,將易模塊分?jǐn)?shù)轉(zhuǎn)換到難模塊等值分?jǐn)?shù)是比較好的做法。此外,易模塊排名靠后的一些考生分?jǐn)?shù),轉(zhuǎn)換到難模塊等值分?jǐn)?shù)后都變成了(難模塊的)零分或接近零分,出現(xiàn)所謂的“地板效應(yīng)”,這部分考生在易模塊上的不同表現(xiàn)難以區(qū)分。不過,根據(jù)“兩害相權(quán)取其輕”的原則,情愿出現(xiàn)“地板效應(yīng)”也要避免“天花板效應(yīng)”,因?yàn)楦呖嫉淖饔檬沁x拔人才,很有必要區(qū)分能力高端的學(xué)生,而沒有太多必要區(qū)分能力低端的考生,無論用什么方法轉(zhuǎn)換分?jǐn)?shù),這部分考生都會(huì)落榜。
說明一下,香港中學(xué)文憑考試的每一科,都會(huì)按考生分?jǐn)?shù)評(píng)級(jí),包括1~5級(jí),其中5級(jí)中排名最靠前的10%評(píng)級(jí)為5**,接下來的30%評(píng)級(jí)為5*,剩下的60%評(píng)級(jí)就是5。還有一個(gè)規(guī)則是,選答易模塊的考生,在該分卷最高只能達(dá)到4級(jí)。這些都是考試設(shè)計(jì)的政策規(guī)定。
香港中學(xué)文憑考試的選考科目中,不僅有物理、化學(xué)和生物這些人們熟悉的科目,還有一個(gè)特殊的科目,叫做組合科學(xué)(Combined Science),考生可以選擇物理、化學(xué)和生物三科中的任何兩科,其中的任何一科只是組合科學(xué)這個(gè)科目的半科,考試范圍占了全科的一半左右,即組合科學(xué)是由兩個(gè)半科組成。半科的題目大多數(shù)來自全科,這些題目就成了全科(如物理)和相應(yīng)半科(如組合科學(xué)中的半科物理)的共同題,簡稱為全科—半科共同題。
這種全科—半科設(shè)計(jì),還是使用等百分位等值方法進(jìn)行分?jǐn)?shù)轉(zhuǎn)換。不過,單單用半科考生的數(shù)據(jù)是不夠的,需要用到全科考生的數(shù)據(jù)。以物理全科—半科為例說明分?jǐn)?shù)轉(zhuǎn)換的步驟。第一步是使用物理半科考生數(shù)據(jù),將半科分?jǐn)?shù)轉(zhuǎn)換到共同題分?jǐn)?shù);第二步是使用物理全科考生數(shù)據(jù),將共同題分?jǐn)?shù)轉(zhuǎn)換到全科分?jǐn)?shù)。這樣,就將半科分?jǐn)?shù)轉(zhuǎn)換到全科分?jǐn)?shù)了。
不過,因?yàn)橄愀壑袑W(xué)文憑考試最后是看等級(jí),所以關(guān)鍵是如何根據(jù)物理全科的等級(jí)切分點(diǎn)(cut point,即每個(gè)級(jí)別的最低分?jǐn)?shù)),去確定物理半科的等級(jí)切分點(diǎn)。這樣,轉(zhuǎn)換分?jǐn)?shù)的問題,變成轉(zhuǎn)換切分點(diǎn)的問題。但轉(zhuǎn)換過程與上面說的剛好相反,因?yàn)檗D(zhuǎn)換分?jǐn)?shù)是要將每個(gè)半科分?jǐn)?shù)轉(zhuǎn)換到一個(gè)全科分?jǐn)?shù),而轉(zhuǎn)換切分點(diǎn)卻是要將每個(gè)全科切分點(diǎn)轉(zhuǎn)換到一個(gè)半科切分點(diǎn)。思路是,先將全科切分點(diǎn)轉(zhuǎn)換到共同題切分點(diǎn),再將共同題切分點(diǎn)轉(zhuǎn)換到半科切分點(diǎn)。步驟如下:
第1步:得到全科的等級(jí)切分點(diǎn)
首先要得到全科(即物理、化學(xué)和生物)分?jǐn)?shù)1~5級(jí)的切分點(diǎn)。如何得到全科的等級(jí)切分點(diǎn)是與模塊化科目等值不同的問題,需要從香港中學(xué)文憑考試必考科目中文、英語、數(shù)學(xué)和通識(shí)的等級(jí)入手,這里不擬涉及。
第2步:將全科切分點(diǎn)轉(zhuǎn)換到全科—半科共同題切分點(diǎn)
使用全科考生數(shù)據(jù),將全科切分點(diǎn)轉(zhuǎn)換到全科—半科共同題切分點(diǎn)。這個(gè)過程類似于將模塊A的一個(gè)分?jǐn)?shù)轉(zhuǎn)換到模塊B等值分?jǐn)?shù)。
第3步:全科—半科共同題切分點(diǎn)轉(zhuǎn)換到半科切分點(diǎn)
使用半科考生數(shù)據(jù),將全科—半科共同題切分點(diǎn)轉(zhuǎn)換到半科切分點(diǎn)。這個(gè)過程也類似于將模塊A的一個(gè)分?jǐn)?shù)轉(zhuǎn)換到模塊B等值分?jǐn)?shù)。
第4步:得到組合科學(xué)切分點(diǎn)
對(duì)于某個(gè)等級(jí)(如3級(jí)),將兩個(gè)半科的切分點(diǎn)相加,就是該等級(jí)的切分點(diǎn)。例如,假設(shè)物理半科的3級(jí)切分點(diǎn)是70,而化學(xué)半科3級(jí)切分點(diǎn)是60,則綜合科目(物理和化學(xué))的3級(jí)切分點(diǎn)是130。
大陸從2004年開始啟動(dòng)的高中新課程改革,讓學(xué)生從高二起,可以根據(jù)自己的愛好和能力傾向選擇適合自己的選修課程。本來,作為改革的配套措施,高考科目的模塊化可以說呼之欲出。然而,由于還使用原始分?jǐn)?shù),使得高考模塊化科目難以推行。有的科目試卷有少量選答題,在沒有分?jǐn)?shù)等值轉(zhuǎn)換的情況下,只能根據(jù)經(jīng)驗(yàn),在命題的時(shí)候盡量使得各選答題的難度相當(dāng)。但經(jīng)驗(yàn)有時(shí)候是不靠譜的,有模塊化設(shè)計(jì)的科目,應(yīng)當(dāng)有配套的分?jǐn)?shù)等值轉(zhuǎn)換方法。
無論什么等值方法,都有其前提假設(shè)、適用范圍和缺點(diǎn)。沒有一種方法絕對(duì)比另一種方法好,需要根據(jù)具體的考試科目設(shè)計(jì),選擇缺點(diǎn)較小、操作可行、較易為持分者理解和接受的方法。
理論上說,如果兩個(gè)模塊的分?jǐn)?shù)分布都服從正態(tài)分布,則等百分位等值就成了線性等值。其實(shí),只要兩個(gè)模塊的分?jǐn)?shù)分布完全相同,等百分位等值就是線性等值。但在實(shí)踐中,兩個(gè)模塊的分?jǐn)?shù)分布很難一模一樣,也不會(huì)剛好是正態(tài)分布,有些分?jǐn)?shù)上的頻數(shù)明顯偏多或偏少,結(jié)果是百分等級(jí)不是隨著分?jǐn)?shù)的增加而逐漸上升,而是時(shí)快時(shí)慢。我們將同樣分?jǐn)?shù)的考生,視為一半低于該分?jǐn)?shù)、一半高于該分?jǐn)?shù),在一定程度上減輕了百分等級(jí)波動(dòng)幅度。
如果是通過樣本考生分?jǐn)?shù)建立等值轉(zhuǎn)換關(guān)系,但需要對(duì)總體考生分?jǐn)?shù)進(jìn)行等值轉(zhuǎn)換,等百分位等值也可能有問題,因?yàn)闃颖究忌謹(jǐn)?shù)范圍可能比總體考生分?jǐn)?shù)范圍窄,因而總體考生的低分段或者高分段,可能無法確定等值關(guān)系。不過,我們不是抽樣建立等值轉(zhuǎn)換關(guān)系,而是使用全體考生分?jǐn)?shù),除了個(gè)別缺考情況外,用來建立等值轉(zhuǎn)換關(guān)系的考生就是需要轉(zhuǎn)換分?jǐn)?shù)的考生,即總體和樣本是相同的。在香港中學(xué)文憑考試英語科有難易模塊設(shè)計(jì)時(shí),用到了鏈等百分位等值,在建立必答模塊到難模塊的等值轉(zhuǎn)換時(shí),用的是難模塊考生數(shù)據(jù),而需要使用該等值轉(zhuǎn)換關(guān)系的卻是易模塊考生,所以可能出現(xiàn)低分段分?jǐn)?shù)無法區(qū)分的情況,即“地板效應(yīng)”,這是為了避免“天花板效應(yīng)”作出的犧牲。
無論是為了減輕百分等級(jí)波動(dòng)幅度,還是為了使轉(zhuǎn)換關(guān)系在低分段或者高分段不會(huì)突然失效,都可以預(yù)先對(duì)頻數(shù)分布做光滑化(smoothing)處理(Livingston,2004),然后才計(jì)算百分等級(jí)。這樣可以保證等值關(guān)系是一條光滑上升的曲線。
[1]Livingston,S.A.Equating Test Scores(Without IRT).Princeton,NJ:Educational Testing Service.2004.
[2]漆書青,戴海崎,丁樹良.現(xiàn)代教育與心理測(cè)量學(xué)原理[M].北京:高等教育出版社.2002:201-214.