鄭慧

一、Explain the validation theory at the conceptual level

1.效度簡(jiǎn)單地說(shuō)是指測(cè)試的有效性，指測(cè)試的內(nèi)容是不是試題設(shè)計(jì)者想要測(cè)試的，比如測(cè)試書(shū)寫(xiě)，是不是成功地測(cè)試了考生的書(shū)寫(xiě)水平。

效度是語(yǔ)言測(cè)試中最重要的指標(biāo)，一份沒(méi)有效度或者效度很低的試題是沒(méi)有意義的，而且無(wú)論對(duì)于題目設(shè)計(jì)者還是參加測(cè)試的考生而言，都是在浪費(fèi)時(shí)間。

2.效度有幾個(gè)方面：內(nèi)容效度、理論效度、評(píng)分效度。

（1）內(nèi)容效度（context validity）

①任務(wù)布置

a.題目，題目應(yīng)該沒(méi)有任何歧義、友好、容易理解、明確、簡(jiǎn)短、簡(jiǎn)單。這一點(diǎn)很好理解，如果題目產(chǎn)生了歧義，或者答題者不理解題目，就無(wú)法進(jìn)行有效地答題，什么是有效地答題？答題者能夠根據(jù)題目回答問(wèn)題，在這個(gè)過(guò)程中被測(cè)試了題目設(shè)計(jì)者想要測(cè)試的相應(yīng)的語(yǔ)言的某種能力，才能稱作有效答題。所以對(duì)題目的設(shè)定有基本要求。

b.目的，被測(cè)者應(yīng)該被提供明確的要求，從而他們才能夠選擇最合適的策略去進(jìn)行理解和輸出。

一個(gè)清晰的目標(biāo)可以幫助被測(cè)者設(shè)定目標(biāo)和進(jìn)行自我監(jiān)控。

比方說(shuō)在進(jìn)行閱讀測(cè)試之前，知道問(wèn)題，能夠增強(qiáng)學(xué)生的閱讀注意力以及提高閱讀的目的性和計(jì)劃性。

c.答題形式，多項(xiàng)選擇題（MCQ）、簡(jiǎn)答題（SAQ）。多項(xiàng)選擇題不一定能夠測(cè)試特定的語(yǔ)言能力。

d.已知標(biāo)準(zhǔn)

e.權(quán)重

f.問(wèn)題順序

g.時(shí)間限制

②任務(wù)要求

a.寫(xiě)作

b.閱讀

c.口語(yǔ)

③設(shè)置和測(cè)試管理

a.實(shí)際條件

b.統(tǒng)一管理

c.保密性

（2）理論效度（Theory-based Validity）

是指測(cè)試結(jié)果對(duì)考生的語(yǔ)言能力及相關(guān)的心理機(jī)制進(jìn)行解釋的程度。

比如滿分10分，A考生3分，但是3分不足以說(shuō)明考生A的語(yǔ)言能力，說(shuō)明該測(cè)試的理論效度低。

（3）答題形式（Response Formats）

①間接測(cè)試類型-選詞填空

本來(lái)要測(cè)試寫(xiě)作能力，題目設(shè)計(jì)成選詞填空從而造成更像是在測(cè)試閱讀能力。

②直接測(cè)試類型-簡(jiǎn)答題

本來(lái)要測(cè)試閱讀能力，題目設(shè)計(jì)成簡(jiǎn)答題從而造成更像是在測(cè)試寫(xiě)作能力。

（4）評(píng)分效度（Scoring Validity）

實(shí)際上是以前所指的信度（reliablity），指的是測(cè)試的可靠性。

評(píng)分效度體現(xiàn)在：測(cè)試復(fù)測(cè)信度；平行試題信度；內(nèi)部一致性（分半信度）；評(píng)分信度。

所以從測(cè)試本身來(lái)說(shuō)：足夠的樣本、不要給被測(cè)者太多的選擇、不給有歧義的名詞、提供清晰明確的指示、確保試題完整排版和易讀性、另候選人熟悉答題形式和測(cè)試技巧、提供一致的、不分散注意力的管理環(huán)境、盡可能地使用客觀的評(píng)分細(xì)則、盡可能地對(duì)候選人進(jìn)行直接比較。從設(shè)計(jì)者來(lái)說(shuō)：提供詳盡的評(píng)分要點(diǎn)、培訓(xùn)評(píng)分者、一開(kāi)始就允許可接受的回答和適當(dāng)?shù)姆謹(jǐn)?shù)、提出無(wú)法區(qū)分能力高低的題目、用號(hào)碼來(lái)區(qū)別候選人而不是名字、應(yīng)用多樣的獨(dú)立的評(píng)分方法。

二、Explain the validation theory at thepractice level

1.內(nèi)容效度在實(shí)際的應(yīng)用，簡(jiǎn)單地說(shuō)來(lái)就是分析一份試卷的分?jǐn)?shù)有沒(méi)有效。更直白一點(diǎn)就是，這份試卷能不能測(cè)試出題人想要測(cè)試的考生的能力，以及區(qū)分考生的水平。

比如出題人要測(cè)試考生口語(yǔ)能力，但是題目是要求考生寫(xiě)作，那么這道題就是沒(méi)有內(nèi)容效度的。再者，出題人要測(cè)試考生寫(xiě)作能力，給出的寫(xiě)作題目學(xué)生無(wú)法理解，這套題目也沒(méi)有內(nèi)容效度。

2.評(píng)分效度是有計(jì)算公式的，而且應(yīng)該注意的參數(shù)上述已經(jīng)提到。

現(xiàn)在市面上大部分都是通過(guò)各種測(cè)試來(lái)篩選和區(qū)分人才， 所以效度理論的實(shí)際應(yīng)用范圍和方式顯而易見(jiàn)。

三、Analyze a self-selected exam task/section/paper with the validation theory

我選擇了新HSK口試（中級(jí)）測(cè)試來(lái)分析。

大綱：從新HSK口試（中級(jí)）大綱中得到新HSK中級(jí)的口語(yǔ)的詞匯量約900，代表的是國(guó)際漢語(yǔ)能力標(biāo)準(zhǔn)是三級(jí)和四級(jí)。通過(guò)HSK口語(yǔ)（中級(jí)）的考生可以聽(tīng)懂并用漢語(yǔ)較為流利地與漢語(yǔ)為母語(yǔ)者進(jìn)行口頭交流。試題數(shù)量14，時(shí)間約21分鐘。采取“聽(tīng)說(shuō)結(jié)合”“讀說(shuō)結(jié)合”的模式來(lái)考察。

新HSK口試（中級(jí)）測(cè)試分三部分。

1、聽(tīng)后重復(fù)（10題，3分鐘）

分析：

1）目的不明確，不知道是在測(cè)試漢語(yǔ)語(yǔ)音還是瞬時(shí)記憶能力還是漢語(yǔ)聽(tīng)力。在題目中并沒(méi)有提供評(píng)分細(xì)則，考生不知道評(píng)分細(xì)則就不知道側(cè)重點(diǎn)在哪里。

2）題目使用的是漢語(yǔ)，是目標(biāo)語(yǔ)言，一定程度上是在測(cè)試閱讀能力。

3）10道題用時(shí)3分鐘，時(shí)間分配不合理。

2、看圖說(shuō)話（2題，4分鐘）

分析：

1）這兩道題用的圖片是一個(gè)白人，一個(gè)黃種人，沒(méi)有顧及到種族多樣性。

2）題目沒(méi)有寫(xiě)明準(zhǔn)備時(shí)間，沒(méi)有給足夠的提示。

3）題目使用的是目標(biāo)語(yǔ)言而不是考生的第一語(yǔ)言，不利考生。

3、回答問(wèn)題（2題，4分鐘）

分析：

1）題目使用漢語(yǔ)且?guī)в衅匆?，不知道為什么要這么處理，如果考生不認(rèn)識(shí)中文，看拼音也不一定就能讓考生看懂題目。如果擔(dān)心考生看不明白題目可以直接使用考生的第一語(yǔ)言作為題目而非漢語(yǔ)。

2）題目沒(méi)有給出任何提示，沒(méi)有對(duì)考生進(jìn)行鼓勵(lì)。也沒(méi)有提醒考生在答題過(guò)程中需要注意要點(diǎn)。

3）題目沒(méi)有給出評(píng)分細(xì)則，比如對(duì)流利度和準(zhǔn)確度的評(píng)分以及權(quán)重如何一概沒(méi)有提出。對(duì)考生選取相應(yīng)答題策略及答題技巧不利。

4）答題形式上，是根據(jù)已經(jīng)給出的題目進(jìn)行回答，類似于一個(gè)小型演講，沒(méi)有提供草稿紙進(jìn)行梗概的準(zhǔn)備，也沒(méi)有回收草稿紙作為證明考生能力的證據(jù)。

5）題目13：題目缺少真實(shí)性和針對(duì)性，真實(shí)環(huán)境中，作為成年人，很少談?wù)撐覀兿矚g和什么樣的人做朋友這種話題，這類話題更適合測(cè)試兒童，但是兒童一般不需要這種語(yǔ)言測(cè)試。

綜上所述，從內(nèi)容效度來(lái)看，這個(gè)新HSK口試（中級(jí)）測(cè)試內(nèi)容效度低，很大程度上并沒(méi)有考到想考的。從評(píng)分效度來(lái)看，由于時(shí)間有限，無(wú)法進(jìn)行樣本測(cè)試以及數(shù)據(jù)收集分析，只能進(jìn)行初步的估計(jì)，我估計(jì)該測(cè)試的評(píng)分效度高。意思是口語(yǔ)沒(méi)有達(dá)到中級(jí)的漢語(yǔ)學(xué)習(xí)者就算進(jìn)行第二次的測(cè)試，也會(huì)得到差不多的分?jǐn)?shù)。以及這份試卷沒(méi)有進(jìn)行國(guó)別化處理，題目全部是漢語(yǔ)，對(duì)測(cè)試考生口語(yǔ)能力的情況下這樣是不公平的。endprint