鄭娜新 張琳

摘 要：本研究系統(tǒng)的開發(fā)了四種英語(yǔ)語(yǔ)用測(cè)試工具，即話語(yǔ)自我評(píng)估、聽說(shuō)話語(yǔ)填充、書面話語(yǔ)填充、選擇性話語(yǔ)填充，并用定量的方法在中國(guó)英語(yǔ)學(xué)習(xí)者中對(duì)四種語(yǔ)用能力測(cè)試工具的信度進(jìn)行了實(shí)證研究。研究結(jié)果表明，DSAT、ODCT和WDCT都具有可以接受的信度，而MDCT的信度則較低。

關(guān)鍵詞：語(yǔ)用能力;測(cè)試;信度;語(yǔ)言水平

近年來(lái)，外語(yǔ)教學(xué)越來(lái)越注重培養(yǎng)學(xué)生的語(yǔ)用能力。語(yǔ)用能力是否可教以及如何在課堂上教授語(yǔ)用能力一直是個(gè)熱門的話題，如何開發(fā)有效的語(yǔ)用能力測(cè)量工具也越來(lái)越受到人們的關(guān)注。20世紀(jì)90年代，Hudson，Detmer和Brown（1995）提出了六種語(yǔ)用測(cè)試工具。這六種測(cè)試工具分別為書面話語(yǔ)填充（ WDCT），多項(xiàng)選擇話語(yǔ)填充（ MDCT），聽說(shuō)話語(yǔ)填充（ODCT），話語(yǔ)角色扮演（DRPT），話語(yǔ)自我評(píng)價(jià)（ DSAT）以及角色扮演自我評(píng)價(jià)（RPSA）。21世紀(jì)以來(lái)，在 Hudson 等的框架下進(jìn)行的語(yǔ)用測(cè)試研究進(jìn)一步深入。Brown（2001）發(fā)現(xiàn)MDCT的信度是六種測(cè)試工具中最低的，Ahn（2005）的研究結(jié)果表明這五種測(cè)試工具的信度很高。劉建達(dá)（2006， 2007）開發(fā)了一套新的MDCT、WDCT和DSAT語(yǔ)用測(cè)試卷，試卷開發(fā)經(jīng)過(guò)系統(tǒng)詳細(xì)的步驟，該研究中MDCT的信度很高。以上的研究結(jié)果表明ODCT、DRPT、DSAT和RPSA四種語(yǔ)用測(cè)試工具均具有良好的信度，但是對(duì)MDCT和WDCT的信度研究有不同的結(jié)論。很多語(yǔ)用測(cè)試研究都是在日語(yǔ)或英語(yǔ)文化下進(jìn)行的，在漢語(yǔ)語(yǔ)境下進(jìn)行的研究并不多，因此有必要在中國(guó)英語(yǔ)學(xué)習(xí)者中對(duì)六種語(yǔ)用測(cè)試工具進(jìn)行更多的研究。

一、語(yǔ)用測(cè)試工具開發(fā)

本研究主要開發(fā)了DSAT、ODCT、WDCT和MDCT四種語(yǔ)用能力測(cè)試卷，并按此順序?qū)W(xué)生的請(qǐng)求、道歉、拒絕、問(wèn)候、批評(píng)、提醒、贊美、建議、安慰等九種言語(yǔ)行為進(jìn)行測(cè)試。四種測(cè)試方法中每道試題對(duì)應(yīng)的情景是一致的，DSAT測(cè)試是受試者設(shè)想自己在特定情境下說(shuō)話的恰當(dāng)性，按李克特量表5級(jí)制選擇。ODCT測(cè)試在錄音實(shí)驗(yàn)室中進(jìn)行，受試者講出在設(shè)定情景下自己將會(huì)說(shuō)的話，并錄音。WDCT測(cè)試由受試者寫出在設(shè)定情境下會(huì)說(shuō)的話。MDCT測(cè)試由受試者從三段備選話語(yǔ)中選出指定情景下最合適的話語(yǔ)。四種語(yǔ)用測(cè)試卷中試題的開發(fā)分為以下四個(gè)步驟：

第一步，情景選擇。依據(jù)前人的研究，收集前人語(yǔ)用測(cè)試卷中出現(xiàn)的言語(yǔ)行為的情景。將收集到的情景進(jìn)行修改和剔除，并統(tǒng)一格式。

第二步，情景可能性調(diào)查。將收集到的情景做成問(wèn)卷，20位學(xué)生按李克特量表5級(jí)制選擇這些情景在生活中出現(xiàn)的可能性。根據(jù)每個(gè)項(xiàng)目的平均分，為每種言語(yǔ)行為保留了2至3個(gè)情景，共25個(gè)情景。

第三步，元語(yǔ)用調(diào)查。每個(gè)情景包含三個(gè)變量，地位、熟悉程度和嚴(yán)重性。將25個(gè)情景分別做成中英兩種問(wèn)卷，調(diào)查每個(gè)情景中三種變量的判斷，10名中國(guó)大學(xué)生（NNS）和英語(yǔ)為母語(yǔ)的留學(xué)生（NS）分別參加了調(diào)查。若有70%及以上相同意見，則保留該情景，最后21個(gè)情景符合要求。

第四步，確定MDCT選項(xiàng)及答案。MDCT每個(gè)情景下有三個(gè)備選答案，全部由文獻(xiàn)中收集而來(lái)，請(qǐng)NS 從備選答案中選擇最合適的話語(yǔ)。確定了MDCT試卷的選項(xiàng)及正確答案。

二、研究結(jié)果與討論

實(shí)驗(yàn)數(shù)據(jù)收集階段，39名非英語(yǔ)專業(yè)大二的學(xué)生參加了測(cè)試。其中ODCT測(cè)試，每個(gè)情景的錄音結(jié)束后留有20秒供受試者回答，其他三種測(cè)試都沒有時(shí)間限制。實(shí)驗(yàn)按照DSAT、ODCT、WDCT、MDCT的順序?qū)κ茉囌哌M(jìn)行測(cè)驗(yàn)，這樣各測(cè)試方法間的交叉影響會(huì)減到最低。試驗(yàn)結(jié)束后，將ODCT音頻數(shù)據(jù)轉(zhuǎn)寫成文字形式輸入電腦并將WDCT數(shù)據(jù)原封不動(dòng)輸入電腦。兩個(gè)NS的外教對(duì)ODCT和WDCT部分進(jìn)行了評(píng)分，評(píng)分采用1（unacceptable）至5（completely appropriate）五個(gè)級(jí)別，評(píng)分標(biāo)準(zhǔn)包括言語(yǔ)行為的正確性、話語(yǔ)表達(dá)的正確性、信息量的大小、話語(yǔ)的正式程度、言語(yǔ)策略的直接性和禮貌度。對(duì)于DSAT部分，考生自我評(píng)估的分?jǐn)?shù)就是最后的結(jié)果。ODCT部分和WDCT部分的得分是兩位評(píng)卷員所給分?jǐn)?shù)的平均值。MDCT部分，每個(gè)正確的選擇得5分，錯(cuò)誤的得0分。評(píng)分結(jié)束后，將所有數(shù)據(jù)輸入SPSS19.0，分析結(jié)果如下。

在ODCT與WDCT試題中，兩位評(píng)分員間的信度分別為.895和.865，這說(shuō)明兩位評(píng)分員有不錯(cuò)的評(píng)分一致性，他們對(duì)ODCT和WDCT試題的評(píng)分結(jié)果可以信賴。

表1為各試卷的內(nèi)部一致性信度（α）與折半信度。折半信度是先算出各題目的難易程度，并按其難易程度平均分為兩部分算出。從表1可以看出，DSAT的信度高達(dá).918，折半信度達(dá).969。ODCT和WDCT的信度分別為.793和.773，在兩種測(cè)試中由于情景三與總體的相關(guān)性很低，于是將情景三去掉重新計(jì)算其信度，修正后ODCT與WDCT的信度分別達(dá)到.801和.784，并且二者的折半信度分別達(dá)到.869和.883。這一結(jié)果說(shuō)明DSAT、ODCT和WDCT具有可以接受的信度。MDCT的信度很低，去掉與總體相關(guān)性很低的情景二和情景七后，修正的信度也僅為.561。要注意的是，本研究中MDCT的信度很低，這雖與大多研究結(jié)果相似，但與劉建達(dá)（2006）的研究中MDCT信度達(dá)到.88的結(jié)果不同，這可能是由于本研究MDCT測(cè)試中的備選答案并不是通過(guò)調(diào)查從真實(shí)生活場(chǎng)景中得來(lái)，而是從文獻(xiàn)中收集來(lái)。MDCT試題開發(fā)過(guò)程的不系統(tǒng)可能是造成其信度低的主要原因。

三、結(jié)語(yǔ)

本研究用定量的方法考察了DSAT、ODCT、WDCT、MDCT四種語(yǔ)用測(cè)試工具在中國(guó)英語(yǔ)學(xué)習(xí)者中的應(yīng)用。研究結(jié)果表明，除MDCT外其它三種英語(yǔ)語(yǔ)用測(cè)試工具都具有可以接受的信度。這一結(jié)論與語(yǔ)用能力測(cè)試文獻(xiàn)中的部分研究成果一致，但對(duì)于MDCT的信度這一個(gè)問(wèn)題的研究仍存在著許多分歧。本研究中對(duì)于MDCT試卷選項(xiàng)的設(shè)計(jì)并不是來(lái)源于人們的真實(shí)生活，而是從文獻(xiàn)中而來(lái)，這可能是MDCT試卷信度低的主要原因。實(shí)際上，在所考察的四種測(cè)試方法中，MDCT是大型考試中最省時(shí)省力和可行的一種方法，但這種測(cè)試工具的開發(fā)過(guò)程非常復(fù)雜，而要開發(fā)出信度較高的MDCT試卷又非易事，未來(lái)需要更多的研究考察如何開發(fā)出高信度的MDCT試卷。

參考文獻(xiàn)

[1] Ahn，R.C.，F(xiàn)ive measures of interlanguage pragmatics in KFL （Korean as a foreign language） learners. Unpublished phD thesis， University of Hawaii at Manoa，2005.

[2] Brown， P.，Pragmatics tests：Different purpose，different tests.In Rose，K.& Kasper，G.（Eds.），Pragmatics in Language Teaching，301-325. Cambridge：Cambridge University Press，2001.

[3] Hudson，T.，Detmer，E，.& Brown.J.D.，Developing prototypic measures of cross-cultural pragmatics （Technical Report 7）. Honolulu： University of Hawaii， Second Language Teaching and Curriculum Center，1995.

[4] 劉建達(dá).中國(guó)學(xué)生英語(yǔ)語(yǔ)用能力的測(cè)試[J].外語(yǔ)教學(xué)與研究，2006（04）.

[5] 劉建達(dá).語(yǔ)用能力測(cè)試的評(píng)卷對(duì)比研究[J].現(xiàn)代外語(yǔ)，2007（04）.

作者簡(jiǎn)介：鄭娜新（1990.10- ），女，河北邢臺(tái)人，青島理工大學(xué)琴島學(xué)院，助教，2013級(jí)碩士，研究方向：二語(yǔ)習(xí)得;張琳（1990.12- ），女，黑龍江齊齊哈爾人，青島理工大學(xué)琴島學(xué)院，助教，2013級(jí)碩士，研究方向：二語(yǔ)習(xí)得。