摘 要:口語測(cè)試因操作性差、成本高效率低等原因很難實(shí)施運(yùn)作,然而作為有效的語言行為測(cè)試卻是可以直接考查學(xué)生二語運(yùn)用能力的有效測(cè)試方法。該文在交際語言測(cè)試?yán)碚撘曢撓?,設(shè)計(jì)開發(fā)一項(xiàng)日語口語測(cè)試,通過探討在預(yù)測(cè)中如何完善評(píng)分量表、保證評(píng)分者間信度、甄選任務(wù)課題3方面問題嘗試為日語口語測(cè)試開發(fā)提供研發(fā)路徑和設(shè)計(jì)框架。
關(guān)鍵詞:交際語言測(cè)試 預(yù)測(cè) 評(píng)分量表 評(píng)分者間信度 任務(wù)課題
中圖分類號(hào):G64 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-3791(2016)08(a)-0115-03
Abstract: Oral test is difficult to be enforced due to lack of feasibility, high cost and low efficiency etc., however, it is one important testing method which can directly examine usage abilities of second language of students as an effective language performance test. The article researches and develops one oral Japanese test under the theory of communicative language testing. It tries to offer DR path and research framework for development of oral Japanese test through three matters as how to improve rating scales in the pretest, ensure reliability and select task topic.
Key Words:Communicative language testing; Pretest; Rating scale; Reliability; Task topic
近年來高校日語教學(xué)伴隨著跨文化交際教學(xué)改革的深入推進(jìn),教學(xué)理念、教材編寫、教學(xué)方法均發(fā)生了翻天覆地的變化。交際教學(xué),尤其在擬真的交際情景中進(jìn)行的口語課堂在大學(xué)日語教學(xué)中逐漸占領(lǐng)重要地位,然而與交際口語教學(xué)相比,口語測(cè)試的開發(fā)與編制的改革發(fā)展滯后。綜觀高校日語測(cè)試現(xiàn)狀,往往多以紙筆測(cè)試方式對(duì)學(xué)生的語言能力進(jìn)行測(cè)評(píng),這種重信度而輕效度的測(cè)評(píng)方法不僅無法產(chǎn)生良好的反撥作用,亦不能科學(xué)準(zhǔn)確地測(cè)評(píng)學(xué)習(xí)者日語交際能力(董博 島田,2016)。毋庸置疑,在似真性的情境中進(jìn)行口語測(cè)試可以直接測(cè)試學(xué)生日語運(yùn)用能力,解決當(dāng)前日語專業(yè)測(cè)試效度低下的狀況。然而口語測(cè)試由于操作性差(張新元 2014),效率低成本高,又因其多種可變不確定因素的干擾較難實(shí)施運(yùn)作。其中任務(wù)因素、考官因素及評(píng)分標(biāo)準(zhǔn)不確定因素為口語測(cè)試中表現(xiàn)的三大矛盾。
正是因?yàn)檫@種難操作,易變化的測(cè)試特質(zhì),日語口語測(cè)試的開發(fā)研究在日語教學(xué)研究領(lǐng)域中屬于少人問津的一片領(lǐng)地。該文不揣淺陋試通過實(shí)證研究方法研發(fā)設(shè)計(jì)一組真實(shí)性強(qiáng)的任務(wù)型口語測(cè)試,焦點(diǎn)集中在設(shè)計(jì)開發(fā)的預(yù)測(cè)階段,在預(yù)測(cè)中重點(diǎn)考察評(píng)分者間信度、任務(wù)課題的甄選、評(píng)分量表的制訂3個(gè)方面。通過探討口語測(cè)試設(shè)計(jì)與開發(fā)程序,尋找口語測(cè)試中的信度、效度和可行性之間的平衡,對(duì)此研究領(lǐng)域提供借鑒及思考。
1 交際語言測(cè)試?yán)碚摷翱谡Z測(cè)試設(shè)計(jì)、評(píng)價(jià)原則
1.1 交際語言測(cè)試?yán)碚摼C述
口試,從測(cè)試方式來看,屬于直接測(cè)試,所測(cè)試的是語言的實(shí)際運(yùn)用能力,亦即交際能力[7]。自20世紀(jì)60年代起各國(guó)學(xué)者們就進(jìn)行著不懈的求知與探索,Hymes(1972)對(duì)Chomsky靜態(tài)的語言觀(語言能力、語言行為)提出了反駁和異議。他認(rèn)為語言擁有社會(huì)文化性,在語言的傳達(dá)能力中除了“語法能力”還包括了“社會(huì)語言能力”“策略能力”3個(gè)維度。Canal和Swain(1983)在Hymes(1972)的交際能力理論基礎(chǔ)上,將理論進(jìn)一步擴(kuò)展,把“社會(huì)語言能力”細(xì)分為“語篇能力”和“社會(huì)語言能力”。進(jìn)入20世紀(jì)90年代,Bachman(1990,1996)繼承了Canal和Swain(1983)的觀點(diǎn)提出了全新的交際語言能力模式,其能力模式的核心內(nèi)容由知識(shí)及知識(shí)使用的能力構(gòu)成,他認(rèn)為知識(shí)使用的能力必然是在交際語境中運(yùn)用語言的能力,重視語境的真實(shí)性,如何將語言知識(shí)轉(zhuǎn)化為語言能力是交際能力中最重要的問題。
Bachman的交際語言能力理論模型在語言能力研究的歷史上描繪了濃墨重彩的一筆,它與舊的模型相比具有重視實(shí)際語境的特點(diǎn)。近十幾年來,其能力模型框架對(duì)外語教學(xué)及外語測(cè)試產(chǎn)生了深刻的影響[5]。特別對(duì)交際能力測(cè)試的開發(fā)、測(cè)試效度構(gòu)念的設(shè)計(jì)及討論起到了不可或缺的理論支撐作用。
1.2 口語測(cè)試設(shè)計(jì)、評(píng)價(jià)原則
Bachman和Palmer(1996)中指出,交際語言測(cè)試的設(shè)計(jì)與開發(fā),應(yīng)該首先考慮語言測(cè)試行為要與語言的實(shí)際使用情況相一致。即要考慮語言使用任務(wù)和情境的特征及測(cè)試任務(wù)和情境的特征,確保并證明測(cè)試任務(wù)與語言使用任務(wù)的一致。
Bachman指出考查實(shí)際語言運(yùn)用水平的口語測(cè)試具有以下幾個(gè)特點(diǎn):(1)“信息溝”,讓受試者通過各種饋入信息獲得新信息;(2)測(cè)試任務(wù)或項(xiàng)目之間的關(guān)聯(lián)性,后一項(xiàng)目基于前一個(gè)完成的項(xiàng)目進(jìn)行;(3)測(cè)試需要針對(duì)性,根據(jù)受試者需求設(shè)計(jì)內(nèi)容;(4)側(cè)重更廣泛地測(cè)試語言能力,包括語言知識(shí)、語言功能、語言使用的適切性等;(5)測(cè)試材料和任務(wù)項(xiàng)目貼近現(xiàn)實(shí)語言使用環(huán)境,要求提供語境并有真實(shí)性;(6)測(cè)試采用描述性評(píng)估方式,作為量化評(píng)估方式的補(bǔ)充。
口語測(cè)試就是考查考生在特定情景下適用外語完成交際目標(biāo)的能力。該研究設(shè)計(jì)的測(cè)試任務(wù)從日語專業(yè)學(xué)生語言使用的現(xiàn)狀出發(fā),強(qiáng)調(diào)語境的真實(shí)性并饋入相應(yīng)的信息溝,集中考查學(xué)生的語言知識(shí)、語言功能及語言交際使用能力。評(píng)分方法采用定量分值的評(píng)估原則,首先給任務(wù)完成度以及語言知識(shí)水平的測(cè)量賦予分值,其次通過量表分?jǐn)?shù)的總和對(duì)測(cè)試成績(jī)進(jìn)行打分,對(duì)數(shù)據(jù)進(jìn)行定量分析,觀察評(píng)分者間一致性(信度),甄選任務(wù)課題,完善評(píng)分標(biāo)準(zhǔn)評(píng)分方法。
2 預(yù)測(cè)設(shè)計(jì)及考察
預(yù)測(cè)為測(cè)試前的準(zhǔn)備測(cè)試,進(jìn)行預(yù)測(cè)是確保測(cè)試能公正公平開展的重要保證,為測(cè)試提供科學(xué)合理的理論依據(jù)。參加該測(cè)試預(yù)測(cè)的被試者為9人,被試者為語言能力不一的高校日語專業(yè)4年級(jí)學(xué)生。預(yù)測(cè)實(shí)驗(yàn)選取了3個(gè)任務(wù),每個(gè)任務(wù)下分為兩個(gè)子任務(wù)課題??脊偻ㄟ^描述交際語言情境交待需要完成的任務(wù)之后請(qǐng)受試者進(jìn)行口語表述,這一過程時(shí)間不做限制,并且考官不做任何引導(dǎo)和提示與任務(wù)課題相關(guān)內(nèi)容。該次預(yù)測(cè)采用半封閉式測(cè)試,在測(cè)試前提前5 min告知考試情境及測(cè)試方式。半封閉式考試的優(yōu)勢(shì)在于,預(yù)先明確考試大致范圍,能夠發(fā)揮考試的導(dǎo)向功能,能夠引導(dǎo)學(xué)生重視口語學(xué)習(xí);此外,半封閉式測(cè)試時(shí)受試者有所準(zhǔn)備,測(cè)試中能夠快速應(yīng)對(duì),在人數(shù)較多的大、中規(guī)模的口語測(cè)試?yán)锔庸?jié)省時(shí)間提高效率,為測(cè)試的順利展開創(chuàng)造條件[8]。測(cè)試時(shí),備考人員在備考教室準(zhǔn)備,按照抽簽方式進(jìn)入考場(chǎng),考官為2名老師負(fù)責(zé)登記、測(cè)試、錄音、維持秩序。
2.1 測(cè)試情境設(shè)計(jì)及評(píng)分量表的制訂
任務(wù)課題包括三個(gè)情境內(nèi)容,分別為醫(yī)院(看?。儇浬痰辏ㄊ圬洠?、教室(回答提問)3個(gè)環(huán)節(jié)。任務(wù)內(nèi)容分別為(1)醫(yī)院(看?。孩傧蜥t(yī)務(wù)人員咨詢所需信息;②向醫(yī)生描述病情。(2)百貨商店(售貨):①服務(wù)用語,詢問客人購(gòu)物想法;②如何向客人推薦相符的商品。(3)教室(回答提問):①平時(shí)使用智能手機(jī)做什么;②評(píng)價(jià)智能手機(jī)時(shí)代的優(yōu)缺點(diǎn)。三個(gè)環(huán)節(jié)分別側(cè)重交際語言情境中使用的社會(huì)語用能力、語用策略能力及個(gè)人意見陳述表達(dá)能力,其中①、②代表各個(gè)任務(wù)的子任務(wù)。
評(píng)分量表的評(píng)價(jià)標(biāo)準(zhǔn)[3]分為任務(wù)完成度、語言知識(shí)及使用正確性、話語的流暢性、發(fā)音語音語調(diào)的準(zhǔn)確性4個(gè)部分,為使評(píng)分更加科學(xué)易操作,根據(jù)多名專業(yè)教師和專家建議擬定了標(biāo)準(zhǔn)答案,從標(biāo)準(zhǔn)答案中抽選出評(píng)分要點(diǎn)(具體內(nèi)容如表2)進(jìn)行打分。其中任務(wù)完成度為測(cè)試重點(diǎn)因此其分值權(quán)重最高,賦值在0~3.0之間。
2.2 評(píng)分者間信度
嚴(yán)格制定量表后考察此次口語測(cè)試的信度質(zhì)量我們對(duì)2名評(píng)分者的分?jǐn)?shù)通過皮爾遜積差相關(guān)進(jìn)行相關(guān)分析,使用軟件SPSS19。
表1顯示了此次測(cè)試任務(wù)課題(1)、(2)、(3)的基本統(tǒng)計(jì)數(shù)據(jù)及相關(guān)系數(shù)。任務(wù)課題1與任務(wù)課題2,評(píng)分員D與L的相關(guān)系數(shù)分別為0.962、0.931,p<0.01在0.01的顯著水平上呈正的高相關(guān);任務(wù)課題3,評(píng)分員D與L的相關(guān)系數(shù)為0.718,與任務(wù)(1)、(2)相比稍顯略低,在0.05的顯著水平上呈正的中高相關(guān)。評(píng)分員D和L的信度都達(dá)到了統(tǒng)計(jì)意義上的中高相關(guān),那么在統(tǒng)計(jì)分?jǐn)?shù)時(shí)可以將評(píng)分員的分?jǐn)?shù)相加取其平均數(shù),為此提供科學(xué)的依據(jù)。高相關(guān)也證明了此次測(cè)試信度高,質(zhì)量好,具有較高的可行性。
2.3 任務(wù)難度
Skehan(1998)認(rèn)為語碼復(fù)雜性、認(rèn)知復(fù)雜性和交際壓力造成任務(wù)難度的差異性。Skehan(1998)的任務(wù)認(rèn)知難度框架得到了二語習(xí)得研究的實(shí)證支持,眾多研究發(fā)現(xiàn)任務(wù)類型和任務(wù)難度影響口語表達(dá)的準(zhǔn)確性[2]。這一難度框架在此次測(cè)試中如何體現(xiàn),筆者將通過統(tǒng)計(jì)方法對(duì)任務(wù)課題(1)、(2)、(3)進(jìn)行求證。
首先3.2中已證明評(píng)分員間具有中高信度,筆者獲取3個(gè)任務(wù)的平均分,并重新計(jì)算基本統(tǒng)計(jì)量,如表2所示。
從表2中可以觀察出任務(wù)(1)、(2)、(3)的標(biāo)準(zhǔn)差(SD),相對(duì)來說任務(wù)1為“2.6”分?jǐn)?shù)離散最大,任務(wù)3為“1.8”離散最小,這3個(gè)任務(wù)的難度是否存在差異將通過單因素組內(nèi)方差分析方法進(jìn)行檢驗(yàn),使用軟件SPSS19。
單因素組內(nèi)方差分析結(jié)果顯示,任務(wù)3與任務(wù)2的難度有顯著差異(F(2,16)=4.90,P <0.05)。重復(fù)對(duì)比結(jié)果顯示,任務(wù)(2)難度顯著高于任務(wù)(3)的難度(MD=1.6),但是任務(wù)2與任務(wù)1的得分之間(MD=0.5)無顯著差異(參考表3)??傮w說來,任務(wù)1與任務(wù)2難度相當(dāng),而任務(wù)2難度明顯高于任務(wù)3。
任務(wù)(1)場(chǎng)景為醫(yī)院,任務(wù)2為百貨商店扮演店員這兩種情境與任務(wù)(3)在教室里始終保持學(xué)生身份不變的交際情境有很大距離,再次證明了在未知或陌生的情境中進(jìn)行交際形成顯性的交際壓力影響語言的準(zhǔn)確性和流利性,更重要的是極大影響了任務(wù)完成質(zhì)量的測(cè)試特征(Skehan 1998)。此外,任務(wù)(1)和(2)需要具備的語言能力及社會(huì)語用能力、策略能力與任務(wù)3也有很大不同,這也是造成任務(wù)(1)、(2)與任務(wù)(3)存在難度差異的另一大原因。
通過任務(wù)難度差異分析將日后實(shí)施的測(cè)試任務(wù)題目編制為任務(wù)3為必考測(cè)試題,任務(wù)(1)、(2)為二選一測(cè)試題目,降低任務(wù)題目的數(shù)量為日后測(cè)試的執(zhí)行、評(píng)測(cè)等展開工作提供了更好的條件。
3 結(jié)語
口語測(cè)試可以考察學(xué)生的口頭表達(dá)能力、思維的邏輯性、語言思維及概括能力,還能在一定程度上反映學(xué)生的思維過程以及對(duì)所掌握知識(shí)的理解能力。該文通過一項(xiàng)口語測(cè)試的設(shè)計(jì)與開發(fā),在似真性情境中選擇任務(wù)課題圍繞信度與效度展開探討,對(duì)如何完善評(píng)分量表、保證評(píng)分者間信度、甄選任務(wù)課題進(jìn)行了探索,為日語口語測(cè)試的開發(fā)提供了路徑和設(shè)計(jì)框架。結(jié)果認(rèn)為:口語測(cè)試的設(shè)計(jì)與開發(fā)的預(yù)測(cè)意義重大,其中保證評(píng)分者間信度是關(guān)鍵,任務(wù)難度是影響測(cè)試結(jié)果的最大因素,制訂標(biāo)準(zhǔn)評(píng)分要點(diǎn)、完善評(píng)分量表等程序可以提高測(cè)試的評(píng)估效率。
參考文獻(xiàn)
[1]LF Bachmcn,AS Palmer.Language Testing in Practice[M].England:University Press,1996:48.
[2]Foster P,Skehan p.The influence of planning and task type second language performance[J].Studies in Second Language Acquisition,1996(18):299-323.
[3]近藤ブラウン妃美.日本語教師のための評(píng)価入門[M].くろしお出版,2012.
[4]董博,島田めぐみ.高校日語專業(yè)期末測(cè)試項(xiàng)目分析的基礎(chǔ)研究[J].大連大學(xué)學(xué)報(bào),2016(1):118-125.
[5]韓寶成.語言測(cè)試:理論、實(shí)踐與發(fā)展[J].外語教學(xué)與研究,2000(1):47-52.
[6]譚曉晨,董榮月.任務(wù)類型和語言水平對(duì)英語專業(yè)大學(xué)生口語準(zhǔn)確度和復(fù)雜度的影響[J].解放軍外國(guó)語學(xué)院學(xué)報(bào),2007(5):54-58.
[7]張新元.大學(xué)英語口語測(cè)試體系初探[J].外語測(cè)試與教學(xué),2014(1):42-51.
[8]詹先君.大學(xué)英語口語測(cè)試的實(shí)證考察及分析[J].教育與考試,2008(2):26-31.