馬 穎，陳旭遠(yuǎn)

(1.東北師范大學(xué) 教育學(xué)部，吉林 長春 130024；2.遼寧石油化工大學(xué) 外國語學(xué)院，遼寧 撫順 113000)

英語作為交流工具，其教學(xué)及測試也得到了越來越多的關(guān)注，各國紛紛研制語言能力量表來推動(dòng)語言教學(xué)與測試的發(fā)展。從國外外語教學(xué)與測試標(biāo)準(zhǔn)來看，《歐洲語言共同參考框架》(CEFR)和《加拿大語言標(biāo)準(zhǔn)》(CLB)等加入了針對語用能力的描述，均以“能做”為語言能力描述語，對交際語言能力進(jìn)行了分等級(jí)和分維度的詳細(xì)描述，這不僅為外語語用教學(xué)與測試提供了參照標(biāo)準(zhǔn)，還反映出國外外語教學(xué)與測試語用轉(zhuǎn)向的變革趨勢[1]91-100。從我國外語教學(xué)與測試標(biāo)準(zhǔn)來看，一直以來側(cè)重語言基礎(chǔ)知識(shí)傳授與語言基本技能訓(xùn)練，缺少相對統(tǒng)一的參照指標(biāo)。因此，教育部頒布了《中國英語能力等級(jí)量表》(簡稱《中國量表》，英文縮寫為CSE)，首次對語用能力進(jìn)行了概念界定，對語用能力框架進(jìn)行了分解，對語用知識(shí)進(jìn)行了解析，還制定了《語用能力總表》(簡稱《能力總表》)和《語用能力自我評價(jià)量表》(簡稱《自評量表》)，分九個(gè)級(jí)別對語用能力等級(jí)要求進(jìn)行了詳細(xì)描述。這不僅為我國英語語用教學(xué)與測評提供了依據(jù)，也表明我國英語教學(xué)與評價(jià)的語用轉(zhuǎn)向逐步與發(fā)達(dá)國家同步。

《自評量表》以“我能……”為描述語，由英語學(xué)習(xí)者依據(jù)自己是否能完成所描述的交際任務(wù)判定語用能力等級(jí)。例如：第五級(jí)語用能力等級(jí)描述語中，涵蓋了三個(gè)交際任務(wù)和相應(yīng)的英語交際表達(dá)示例，詢問學(xué)習(xí)者能否在不同社交場合中理解并表達(dá)遺憾、感謝、協(xié)商。為了檢驗(yàn)該量表在日常教學(xué)中的實(shí)際操作性，本研究者運(yùn)用《自評量表》，對L高校的2018級(jí)漢語專業(yè)學(xué)生(29人)進(jìn)行了語用能力自我評價(jià)試測。試測后，結(jié)合被試語用能力等級(jí)確認(rèn)中存在的問題，對29位學(xué)生進(jìn)行了訪談。通過對訪談內(nèi)容的轉(zhuǎn)錄和整理，發(fā)現(xiàn)該量表在實(shí)際運(yùn)用中存在以下問題：第一，被試認(rèn)為《自評量表》未明確規(guī)定一個(gè)級(jí)別內(nèi)至少完成幾個(gè)交際任務(wù)和完成到何種程度視為達(dá)到了該等級(jí)水平。第二，語用能力等級(jí)的達(dá)成方面存在非連續(xù)性，經(jīng)常出現(xiàn)跨級(jí)別情況，使得被試難以確定最后等級(jí)。如被試雖然可以完成三級(jí)交際任務(wù)，但未能完成二級(jí)規(guī)定的交際任務(wù)，因而無法確定自己的最終語用能力等級(jí)。第三，中英文理解和表達(dá)具有非對等性，只依據(jù)宏觀的中文情境和任務(wù)描述來判斷英語語用能力等級(jí)具有一定局限性。因?yàn)檎鎸?shí)的英語交際是由語音、詞匯、句子、話語、功能等各要素綜合實(shí)現(xiàn)的，具有情境性、交互性和即時(shí)性，易受交際雙方互動(dòng)和語境等要素影響，非個(gè)人單方面主觀自我認(rèn)知能全面而綜合地反映出來，所以還需要配合相應(yīng)的英文測量工具，用英語描述真實(shí)的交際情境和交際任務(wù)，客觀評價(jià)其語用理解和表達(dá)能力等級(jí)。此外，國外學(xué)者Taghizadeh等依據(jù)CEFR中的評價(jià)標(biāo)準(zhǔn)，對學(xué)生語言能力的自評水平與其實(shí)際水平進(jìn)行了差異性檢驗(yàn)，結(jié)果顯示二者間存在差異性[2]。因此，單一的主觀自評在語用能力等級(jí)評定中存在一定局限性，有必要配合量化的語用等級(jí)他評測評方式，形成綜合的評價(jià)模型，使英語語用能力等級(jí)評價(jià)更具全面性和操作性。

為了了解語用能力測評方面文獻(xiàn)的研究熱點(diǎn)，本研究以“語用能力/測試/評價(jià)/測評”為檢索詞，在中國知網(wǎng)上查詢語用能力測評的相關(guān)文獻(xiàn)，再利用CiteSpace軟件的動(dòng)態(tài)可視化分析功能對有效文獻(xiàn)進(jìn)行關(guān)鍵詞知識(shí)圖譜分析，進(jìn)而了解該領(lǐng)域研究的動(dòng)向。搜索結(jié)果顯示：首先，從主題詞中心性看研究熱點(diǎn)，語用能力測試與評價(jià)方面文獻(xiàn)關(guān)注點(diǎn)多為語用測試構(gòu)念、反撥效應(yīng)、動(dòng)態(tài)評估和形成性評估。其次，從關(guān)鍵詞研究聚類0和研究聚類1來看，語用能力測評主要在口語測試和聽力測試中圍繞言語行為測試交際能力。再從知識(shí)圖譜呈現(xiàn)的樹狀分叉形狀來看，點(diǎn)多、線少、密度較低，這表明該領(lǐng)域研究不聚焦，較為分散，沒有形成清晰的研究脈絡(luò)，研究還處于初始階段(見圖1)。對40年來語用能力測評類文獻(xiàn)具體內(nèi)容分析，發(fā)現(xiàn)語用能力測評方式包括自我評價(jià)、口試和筆試三種測試方式，多數(shù)針對英語專業(yè)學(xué)生開展的語用能力和語用意識(shí)測試，反映被試言語行為方面語用能力的總體水平。此外，語用能力口試和筆試測試題未針對被試進(jìn)行語用能力綜合等級(jí)評定，也缺少采用數(shù)學(xué)建模方式對語用能力等級(jí)進(jìn)行判定的評價(jià)模型和具體評價(jià)標(biāo)準(zhǔn)。因此，建構(gòu)主客觀相結(jié)合三位一體的語用能力評價(jià)模型和語用能力等級(jí)測量工具具有理論與實(shí)踐意義。

圖1 CNKI中語用測評研究的關(guān)鍵詞圖譜

一、大學(xué)英語語用能力評價(jià)模型建構(gòu)的研究設(shè)計(jì)

本研究的核心問題是在語用轉(zhuǎn)向理念指導(dǎo)下，基于《中國英語能力等級(jí)量表》中語用能力概念內(nèi)涵、能力框架和語用能力等級(jí)描述語及示例，確定英語語用能力的評價(jià)維度、評價(jià)標(biāo)準(zhǔn)，編制口試及筆試測量工具，運(yùn)用數(shù)學(xué)建模法和德爾菲法建構(gòu)大學(xué)英語語用能力評價(jià)模型(Assessment Model of College English Pragmatic Competence， 簡稱CEPCA評價(jià)模型)，并在實(shí)踐中予以檢驗(yàn)；通過建構(gòu)主客觀結(jié)合評價(jià)模型，豐富單一評價(jià)主體及評價(jià)方式，完善評價(jià)標(biāo)準(zhǔn)和測量工具，從而在理論與實(shí)踐層面上，指導(dǎo)教師及學(xué)習(xí)者科學(xué)而有效地測試與評定英語語用能力等級(jí)，實(shí)現(xiàn)“以評促教”，扭轉(zhuǎn)我國外語教學(xué)中長期以來“考用分離”的被動(dòng)局面，推動(dòng)英語課程教學(xué)與評價(jià)實(shí)現(xiàn)語用轉(zhuǎn)向。

本研究采取混合研究取向，具體以量化的數(shù)學(xué)建模法、測量法、調(diào)查法、統(tǒng)計(jì)分析法和質(zhì)化的文獻(xiàn)法、訪談法、德爾菲法開展順序性混合研究[3]。第一階段是利用文獻(xiàn)法、德爾菲法和訪談法開展定性研究，使用Cite Space和NVivo軟件的主題詞聚類分析功能對文獻(xiàn)進(jìn)行梳理，了解語用測評研究熱點(diǎn)和研究基礎(chǔ)，尋求評價(jià)模型建構(gòu)的理論依據(jù)，再結(jié)合德爾菲專家咨詢法和訪談法，確定評價(jià)模型的測評維度、評價(jià)標(biāo)準(zhǔn)和測試工具，對大學(xué)英語語用能力評價(jià)模型進(jìn)行理論建構(gòu)。第二階段是使用數(shù)學(xué)建模法、測量法、調(diào)查法和統(tǒng)計(jì)分析法開展定量研究，通過評價(jià)模型在試測班級(jí)的實(shí)際應(yīng)用，完成對該理論模型的實(shí)踐檢驗(yàn)和修訂；通過調(diào)查法收集被試語用能力等級(jí)自評數(shù)據(jù)、利用測量法采集口試和筆試等級(jí)數(shù)值，再運(yùn)用所建構(gòu)的語用能力等級(jí)評定標(biāo)準(zhǔn)對被試語用能力進(jìn)行等級(jí)判定；通過具體數(shù)值比對，不斷修訂三個(gè)維度的具體等級(jí)確定步驟與方法，最終形成相應(yīng)的評價(jià)標(biāo)準(zhǔn)。最后，使用SPSS數(shù)據(jù)統(tǒng)計(jì)與分析軟件對被試的語用能力等級(jí)評定結(jié)果進(jìn)行信效度、難度及區(qū)分度和配對T檢驗(yàn)，以此驗(yàn)證該評價(jià)模型理論建構(gòu)的實(shí)效性。

二、大學(xué)英語語用能力評價(jià)模型的理論建構(gòu)

本著真實(shí)、交互、可行的測試原則，依據(jù)《中國量表》中語用能力框架及語用能力等級(jí)描述語，建構(gòu)具有可操作性的大學(xué)英語語用能力評價(jià)模型(CEPCA評價(jià)模型)。在多元化測試原則指導(dǎo)下，本研究運(yùn)用數(shù)學(xué)建模法和德爾菲法，建構(gòu)大學(xué)英語語用能力評價(jià)模型，整合自評與他評、口試與筆試測評方式，再賦予每個(gè)評價(jià)維度可調(diào)節(jié)的權(quán)重系數(shù)，進(jìn)而使該評價(jià)模型更具全面性、科學(xué)性、靈活性和普適性。

(一)CEPCA評價(jià)模型的建構(gòu)依據(jù)

1.語用能力內(nèi)涵研究

語用能力是交際能力的必要組成部分，對交際能力培養(yǎng)至關(guān)重要。國內(nèi)外學(xué)者十分重視語用能力的研究，紛紛對語用能力內(nèi)涵做出解釋。從英語為母語或二語環(huán)境的國外研究來看，國外學(xué)者對于語用能力的理解經(jīng)歷了知識(shí)觀向能力觀的轉(zhuǎn)變，體現(xiàn)了從語言交際者本身向社會(huì)環(huán)境因素?cái)U(kuò)展的變化歷程。其中，Chomsky將語用能力界定為得體運(yùn)用各種條件和方式的知識(shí)，反映出語用能力的知識(shí)觀取向[4]。Hymes認(rèn)為交際能力具有“語法性、可行性、得體性和出現(xiàn)性”特性[5]，其中后三種特性指向語用能力內(nèi)涵。Thomas最先提出“語用能力”概念，將其界定為“有效地運(yùn)用語言知識(shí)以達(dá)到特定的交際目的和理解特定場景中話語的能力”[6]，實(shí)現(xiàn)了語用能力從知識(shí)觀向能力觀的轉(zhuǎn)變，同時(shí)關(guān)注到語境對語用能力的影響作用。Canal把語用能力看作社會(huì)語言能力，強(qiáng)調(diào)在語境中使用語言知識(shí)應(yīng)體現(xiàn)出意義上和形式上的得體性[7]。Bialystok & Sharwood認(rèn)為語用能力就是“知道如何使用語言知識(shí)進(jìn)行交際”[8]。Bachman將語用能力分解為“施為能力和社會(huì)語言能力”[9]。從英語為外語環(huán)境的國家來看，日本學(xué)者Taguchi基于外語學(xué)習(xí)環(huán)境開展語用能力研究，更加突出語用知識(shí)和語用知識(shí)使用[10]。中國學(xué)者吸收了國外學(xué)者的研究成果，基本持有語用能力綜合觀。如，何自然在其語用學(xué)講稿中指出語用能力是“為了達(dá)到特定目的而使用語言及在語境中理解語言的能力”[11]；劉紹忠強(qiáng)調(diào)語境的認(rèn)識(shí)能力對準(zhǔn)確理解和表達(dá)交際意圖的重要性[12]；張紹杰從外語學(xué)習(xí)者視角解讀語用能力內(nèi)涵，認(rèn)為“語用能力是基于語言知識(shí)的綜合運(yùn)用能力”[13]。教育部頒布的《中國英語能力等級(jí)量表》，將語用能力界定為“結(jié)合具體語境，運(yùn)用各種知識(shí)和策略，理解和表達(dá)特定交際意圖的能力，包括語用理解能力和語用表達(dá)能力”[14]。外語語言環(huán)境中，更加強(qiáng)調(diào)語用知識(shí)和語境的重要。我國對語用能力內(nèi)涵的理解從理解和表達(dá)能力本身轉(zhuǎn)為知識(shí)、策略、語境、理解和表達(dá)等綜合能力，這體現(xiàn)出外語學(xué)習(xí)環(huán)境缺少語言環(huán)境的特點(diǎn)，交際目的的理解和傳達(dá)更需要語用知識(shí)與策略的輸入和語境意識(shí)的強(qiáng)化。

基于國內(nèi)外學(xué)者及研究機(jī)構(gòu)對語用能力內(nèi)涵的理解，利用NVivo12質(zhì)化分析軟件對上述學(xué)者對語用能力內(nèi)涵解釋的關(guān)鍵詞進(jìn)行編碼，再運(yùn)用聚類分析功能，根據(jù)編碼節(jié)點(diǎn)的相似程度對節(jié)點(diǎn)進(jìn)行分組，通過聚類分析中顯示節(jié)點(diǎn)相近度分析節(jié)點(diǎn)相似性[15]。編碼節(jié)點(diǎn)聚類分析結(jié)果顯示：首先，專家學(xué)者對語用能力的認(rèn)識(shí)逐步從靜態(tài)的知識(shí)維度向動(dòng)態(tài)的使用維度轉(zhuǎn)化，即從知識(shí)轉(zhuǎn)向能力。其次，語境因素對語用能力的影響逐步受到關(guān)注，成為準(zhǔn)確和適切理解與表達(dá)交際意圖的關(guān)鍵因素。再次，因語言環(huán)境不同，對語用能力各維度側(cè)重點(diǎn)也略顯差異，如日本和中國等非語言環(huán)境國家強(qiáng)調(diào)語用能力的知識(shí)維度，而歐美等語言環(huán)境國家更突出語用理解和表達(dá)的適切性，要符合社會(huì)語言使用習(xí)慣。整合語用能力內(nèi)涵表述的核心要義，需要配以適切的測試維度對語用能力各維度進(jìn)行綜合的評價(jià)。

2.語用轉(zhuǎn)向理念研究

語用能力本質(zhì)上是抽象的內(nèi)在心理屬性，需通過對外在表現(xiàn)行為測評來反映其能力水平，僅憑知識(shí)性測試和主觀的自我評價(jià)不能全面反映學(xué)習(xí)者運(yùn)用語言適切交際的真實(shí)水平。發(fā)達(dá)國家語言教學(xué)與測試發(fā)生了語用轉(zhuǎn)向，這一變革理念為建構(gòu)大學(xué)英語語用能力評價(jià)模型中自評與他評維度、確定具體測試形式提供了參考理據(jù)。

從《歐洲語言共同參考框架》(CEFR)來看，該框架奉行“面向行動(dòng)”的外語教學(xué)法語用轉(zhuǎn)向理念，其核心思想是外語學(xué)習(xí)通過完成任務(wù)來積極運(yùn)用外語進(jìn)行交際。同時(shí)，該框架重新詮釋了傳統(tǒng)的各項(xiàng)英語技能，將其視為語言學(xué)習(xí)中的基本活動(dòng)，將“聽、說、讀、寫、譯”技能轉(zhuǎn)化為語言輸入和輸出、語言互動(dòng)和中介活動(dòng)，提倡通過互動(dòng)的口頭和書面實(shí)踐運(yùn)用活動(dòng)來實(shí)現(xiàn)交際能力的培養(yǎng)與測試[16]。這也體現(xiàn)了的語用轉(zhuǎn)向理念。這些理念啟示CEPCA評價(jià)模型應(yīng)圍繞口試和筆試維度進(jìn)行理論建構(gòu)。其中，筆試評價(jià)采用書面文字方式描述語境和交際任務(wù)，更多側(cè)重考核被試基于文字描述的理解能力；口試評價(jià)采用口頭語言展現(xiàn)動(dòng)態(tài)的交際情境，交際雙方需要即刻對交際內(nèi)容做出反應(yīng)，要求被試在理解后予以適切的回應(yīng)，這種測試更能衡量被試的表達(dá)能力。因此，在語用能力評價(jià)模型維度構(gòu)建中，可以增加客觀的筆試他評與口試他評，來彌補(bǔ)主觀自評維度的不足，使語用能力評價(jià)模型更具全面性。

從《加拿大語言標(biāo)準(zhǔn)》(CLB)來看，加拿大外語教學(xué)與測試語用轉(zhuǎn)向理念突出外語教學(xué)與測試要以學(xué)習(xí)者為中心和以任務(wù)為基礎(chǔ)，設(shè)計(jì)的系列任務(wù)間要相關(guān)和有意義，要與社區(qū)、學(xué)習(xí)和工作相關(guān)[17]，這為語用能力測量工具的編制提供了依據(jù)，即：設(shè)計(jì)語用能力筆試和口試測試題項(xiàng)時(shí)，應(yīng)體現(xiàn)出交際任務(wù)的連續(xù)性和真實(shí)性，創(chuàng)設(shè)真實(shí)的生活、工作情境與交際任務(wù)，通過測量被試真實(shí)語境下的行為表現(xiàn)來評定其語用能力等級(jí)水平。

3.語用能力測試研究

從測試?yán)碚撗芯縼砜?，語言測試從理論層面上經(jīng)歷了從科學(xué)前語言測試階段，發(fā)展到心理計(jì)量結(jié)構(gòu)主義測試階段，再到心理語言學(xué)——社會(huì)語言學(xué)測試階段的變化過程，在實(shí)踐層面體現(xiàn)為從測試語言點(diǎn)到測試結(jié)構(gòu)，再到測試交際能力的轉(zhuǎn)變[18]。交際能力測試要求語言測試應(yīng)該關(guān)注語用能力的測試。國外學(xué)者Oller提出語用測試應(yīng)結(jié)合具體語言使用環(huán)境[19]132-137；語言測試學(xué)家Bachman提出語言測試必須滿足六個(gè)品質(zhì)，包括測試的“信度、構(gòu)念效度、真實(shí)性、交互性、影響和可行性”[20]；我國學(xué)者方秀才、姜占好等闡述國外語用能力的測試?yán)碚揫19]133；楊仙菊和劉建達(dá)等進(jìn)行了言語行為測試研究[19]134。因?yàn)槲覈Z用能力測試屬于起步階段，語用能力更多受交際雙方互動(dòng)和文化環(huán)境等因素影響，難以用單一的和歸約的描述來評價(jià)[1]93，所以國內(nèi)大規(guī)模的外語考試極少涉及語用能力測試。

從測試方法研究來看，國外語言學(xué)家Brown，Levinson，Bella，Megumi運(yùn)用書面話語填充方法測試請求、道歉、拒絕等言語行為表達(dá)能力[21]67-71。Hudson等學(xué)者歸納了書面話語填充、口語話語填充、多項(xiàng)選擇話語填充、話語角色扮演、對話語填充和角色扮演的自我評估，推動(dòng)了語用能力測試方式的發(fā)展[22]。Roever運(yùn)用網(wǎng)絡(luò)評估模式，采用多項(xiàng)選擇話語填充法測量會(huì)話含義和習(xí)慣用語的理解方面的語用語言知識(shí)，而Walters擺脫了言語行為理論，采用話語分析的方法測量學(xué)習(xí)者語用能力，這表明語用能力測試媒介與測試?yán)碚摰淖兏颷21]69。Shimazu依據(jù)Farhady測試學(xué)生言語行為能力選擇填空試題設(shè)計(jì)一套美國英語語用能力試題測試學(xué)生請求言語行為能力[23]。Matsugu利用我國學(xué)者劉建達(dá)研制的多項(xiàng)選擇話語填充測試題對阿拉伯二語學(xué)習(xí)者的英語語用能力進(jìn)行測試[24]。國內(nèi)學(xué)者多是在實(shí)踐中檢驗(yàn)國外語用能力測試方法，評估的內(nèi)容集中在言語行為、隱含意義和慣用語等層面。何自然、劉建達(dá)、楊仙菊等學(xué)者，利用多項(xiàng)選擇調(diào)查問卷、情景選擇及調(diào)查、語篇補(bǔ)全對話等形式，對學(xué)習(xí)者某些言語行為進(jìn)行語用能力水平測試或檢驗(yàn)[19]134。

通過NVivo12軟件對具體測試方法進(jìn)行編碼，然后統(tǒng)計(jì)各種測試方法編碼在語用測試研究中使用頻次，通過詞頻分析可以看到多項(xiàng)選擇話語填充在語用能力測試中占比最大(見圖2)。經(jīng)過對每種語用測試方式的不同特性分析，可以發(fā)現(xiàn)自我評估能更有效發(fā)揮被試的主觀能動(dòng)性，話語角色扮演可以測試真實(shí)語境下語用能力水平，操作更方便的方法是多項(xiàng)選擇、話語填充等，適合大規(guī)模受試對象的語用水平測試與評估。

圖2 語用能力測試方式主題詞編碼節(jié)點(diǎn)聚類分析圖

(二)CEPCA評價(jià)模型的理論建構(gòu)

1.CEPCA評價(jià)模型的構(gòu)成

CEPCA評價(jià)模型借鑒國外外語語用轉(zhuǎn)向教學(xué)與測試?yán)砟?，依?jù)《大學(xué)英語課程教學(xué)要求》中評價(jià)指導(dǎo)意見、《中國英語能力等級(jí)量表》中語用能力概念內(nèi)涵與語用能力框架和《語用能力自我評價(jià)量表》中語用能力等級(jí)描述語，通過文獻(xiàn)法、德爾菲法確立評價(jià)模型維度，經(jīng)過專家賦值和變異系數(shù)求權(quán)重的方法確定各評價(jià)維度權(quán)重，從理論上建構(gòu)CEPCA評價(jià)模型。基于《中國量表》中語用能力等級(jí)描述語，在權(quán)威性英語考試試題中選取試題，編制英語語用能力口試與筆試測量工具，通過試測對該評價(jià)模型進(jìn)行實(shí)踐論證、修訂和完善不同維度等級(jí)確定的評價(jià)標(biāo)準(zhǔn)，旨在建構(gòu)綜合的語用能力等級(jí)評價(jià)模型，實(shí)現(xiàn)客觀而科學(xué)的綜合評價(jià)英語學(xué)習(xí)者語用能力水平等級(jí)，該評價(jià)模型如下：

R=[α1x+α2y+α3z]

(1)

其中，R表示英語語用能力綜合等級(jí)；x表示英語語用能力自評等級(jí)維度；y表示英語語用能力筆試等級(jí)維度；z表示英語語用能力口試等級(jí)維度；α1，α2，α3分別為三個(gè)評價(jià)維度的權(quán)重；[·]表示四舍五入取整函數(shù)。

2.CEPCA模型中評價(jià)維度的確立

(1)自評維度與他評維度

首先，《大學(xué)英語教學(xué)指南》(2017)指出英語語言測試與評價(jià)應(yīng)體現(xiàn)多元化，應(yīng)全面、客觀、科學(xué)、準(zhǔn)確地實(shí)施教學(xué)評估，以確保實(shí)現(xiàn)教學(xué)目標(biāo)。規(guī)定對學(xué)生的評估包括“各種評價(jià)方法與手段”[25]。英語課程文件中，英語評價(jià)的指導(dǎo)意見為確立CEPCA評價(jià)模型中自評與他評評價(jià)維度確立提供了指導(dǎo)原則。

其次，《中國英語能力等級(jí)量表》將語用能力分解為語用理解能力和語用表達(dá)能力，又從口頭和書面兩個(gè)維度對語用理解能力和語用表達(dá)能力進(jìn)一步分解，細(xì)分為理解說話人意圖、理解作者意圖、表達(dá)說話意圖和表達(dá)寫作意圖[14]3。這種劃分為CEPCA評價(jià)模型中他評與自評維度等級(jí)確定提供了可參考的評價(jià)依據(jù)。

再次，《中國量表》中編制了《語用能力總表》及《語用能力自我評價(jià)量表》，其中的語用能力描述語體現(xiàn)出語用能力要求從低到高的逐步遞升，為他評評價(jià)標(biāo)準(zhǔn)和測量工具編制提供參照。與《語用能力總表》相比，《語用能力自我評價(jià)量表》在能力要求描述語上更為具體，除了對英語學(xué)習(xí)者應(yīng)掌握的交際情境進(jìn)行了描述，還提供了具體的交際表達(dá)用語示例。從表達(dá)方式來看，語用表達(dá)要求由直接、間接、委婉到得體的難度遞增，如語用能力等級(jí)二級(jí)中的直接傳遞交際意圖、三級(jí)中的間接傳遞交際意圖、五級(jí)中根據(jù)社交場合的正式程度選擇恰當(dāng)?shù)恼Z言形式等。從表達(dá)內(nèi)容來看，語用能力描述語也反映出低年級(jí)的日常生活簡單要求向依據(jù)不同的社交場合適切理解和表達(dá)觀點(diǎn)、態(tài)度等較高要求過渡，如二、三級(jí)描述語中的交際范圍為日常生活的言語行為，四級(jí)和五級(jí)中規(guī)定的一般和常見的社交場合中觀點(diǎn)態(tài)度等。這樣分級(jí)逐級(jí)描述語用能力要求不僅為學(xué)習(xí)者自身對語用能力等級(jí)評判提供標(biāo)準(zhǔn)，也為英語語用能力等級(jí)他評測量工具的逐級(jí)編制提供參照(見表1)。

表1 語用能力等級(jí)描述語對照表[26]

以《自評量表》和《語用能力總表》為基礎(chǔ)編制他評維度評價(jià)標(biāo)準(zhǔn)，確保語用能力他評評價(jià)標(biāo)準(zhǔn)與自評評價(jià)標(biāo)準(zhǔn)的一致性，使綜合測評具有更高的信度與效度，有利于提高該評價(jià)模型他評與自評維度評價(jià)標(biāo)準(zhǔn)的同質(zhì)性，提升內(nèi)在一致的信度，并保證不同測評維度具有較高的內(nèi)容、準(zhǔn)則和建構(gòu)關(guān)聯(lián)效度[27]。通過自評和他評的結(jié)合，能夠準(zhǔn)確反映英語學(xué)習(xí)者語用能力等級(jí)，提升教師與學(xué)生對語用能力培養(yǎng)的重視度，有效促進(jìn)英語教學(xué)與測評實(shí)現(xiàn)語用轉(zhuǎn)向。

(2)口試他評與筆試他評

口試他評維度和筆試他評維度的確立是由語言本身特質(zhì)和英語課程要求所決定的。根據(jù)語言信道不同，可分為口頭理解和表達(dá)使用的口語信道、書面理解和表達(dá)使用的書面語信道，這為評價(jià)模型中他評維度的確立提供了依據(jù)[28]。語言是交際工具，交際具有交互性，交際能力的考核不僅體現(xiàn)在書面形式，更應(yīng)該體現(xiàn)交際者是否能在真實(shí)的口語交際情境下順利完成交際任務(wù)。《大學(xué)英語教學(xué)指南》提出要利用多種形式考核學(xué)生使用語言進(jìn)行實(shí)際交際的能力。因此，從考試形式來看，應(yīng)該包括書面與口頭語用能力考核形式，從多個(gè)維度更為客觀、有效、全面地反映被試英語語用能力等級(jí)水平。

3.評價(jià)維度權(quán)重

首先，為評價(jià)維度加權(quán)符合綜合評價(jià)客觀性需求。綜合評價(jià)從不同維度對評價(jià)對象加以評價(jià)，運(yùn)用權(quán)重系數(shù)表示不同維度評價(jià)因子在總體評價(jià)中的重要程度，可以使用“層次分析法、德爾菲法、熵權(quán)法和模糊聚類分析法等”[29]求得權(quán)重系數(shù)。其次，對評價(jià)維度賦以靈活權(quán)重可以更好發(fā)揮評價(jià)的激勵(lì)、調(diào)控、導(dǎo)向功能[30]。評價(jià)可以監(jiān)督和調(diào)控教學(xué)，通過加大某評價(jià)維度的權(quán)重系數(shù)促進(jìn)和強(qiáng)化師生對某項(xiàng)評價(jià)維度的重視度，對于語用能力培養(yǎng)具有推動(dòng)作用，可以更好地發(fā)揮評價(jià)的“指揮棒”作用，以實(shí)現(xiàn)英語教學(xué)培養(yǎng)交際能力的教學(xué)目標(biāo)。最后，靈活權(quán)重也符合不同層次被試的能力水平。英語語用能力等級(jí)評定分為9級(jí)，涵蓋所有程度的英語學(xué)習(xí)者，如中小學(xué)生、英語及非英語專業(yè)本科生、英語從業(yè)人員等。以英語語用能力自評維度為例，不同認(rèn)知水平、不同自評心理及情境均會(huì)影響到自評等級(jí)的真實(shí)度。一方面，不同層次的學(xué)習(xí)者對于自己的英語語用能力水平認(rèn)知能力不盡相同；另一方面，在自評過程中，被試結(jié)合英語語用能力自我評價(jià)量表中的認(rèn)真度和正確理解度均會(huì)影響到等級(jí)評定的真實(shí)性與有效性。因此，應(yīng)結(jié)合被試各維度能力水平采用科學(xué)的方法確定適切的權(quán)重系數(shù)，更為客觀地反映出被試的英語語用能力等級(jí)。

4.評價(jià)內(nèi)容選擇及呈現(xiàn)形式

語用能力框架和語用能力分級(jí)描述為選擇評價(jià)內(nèi)容提供了依據(jù)。語用能力量表中1—3級(jí)為初級(jí)水平，4—6級(jí)為中級(jí)水平，7—9級(jí)為高級(jí)水平[14]2。這種等級(jí)描述為英語語用能力等級(jí)評價(jià)測量試題編制提供了等級(jí)參考標(biāo)準(zhǔn)，即英語語用能力測試試題可以從相對應(yīng)水平的考試試題中選擇內(nèi)容，結(jié)合語境和等級(jí)水平描述重新編制出筆試和口試試題。如1—2級(jí)試題可以從小升初的英語考試題庫中選擇情境交際試題進(jìn)行改編，3—4級(jí)可以從各省中高考英語試卷中選擇情境交際試題進(jìn)行改編，5—6級(jí)試題可以從大學(xué)英語四級(jí)和六級(jí)題庫中篩選試題進(jìn)行改編，7級(jí)試題可以從英語專業(yè)四級(jí)或八級(jí)題庫中進(jìn)行選擇，8—9級(jí)可以從專門用途英語試題中進(jìn)行篩選。此外，雅思口語試題及國外英文報(bào)紙、英語影視劇等均可作為語用能力評價(jià)試題的選題范圍。

按照《語用能力總表》和《語用能力自我評價(jià)量表》中的相關(guān)描述把篩選出的試題分別歸類于每一級(jí)別試題庫，然后組成不同級(jí)別的語用能力測量試卷。以“If...，What would you probably do...”描述語的基本結(jié)構(gòu)反映交際能力的屬性，明確地說明了語言學(xué)習(xí)者應(yīng)該在怎樣的場景、用怎樣的語言、完成怎樣的交際任務(wù)。筆試測量形式采用多項(xiàng)選擇話語填充形式，口語測試形式采用體現(xiàn)互動(dòng)的話語角色扮演的方式，側(cè)重考查學(xué)生在真實(shí)的動(dòng)態(tài)變化的語境下切實(shí)而有效交際的語用理解和表達(dá)能力的達(dá)成程度。

(三)CEPCA評價(jià)模型中評價(jià)標(biāo)準(zhǔn)的制定

在CEPCA評價(jià)模型中，三個(gè)評價(jià)維度結(jié)合自身特性有不同計(jì)算方法和確定標(biāo)準(zhǔn)，旨在更客觀而科學(xué)地反映出被試的英語語用能力綜合等級(jí)。

1.自評等級(jí)(x)確定方法

英語語用能力自評等級(jí)(x)是英語語用能力綜合評價(jià)中的基礎(chǔ)組成要素。本研究根據(jù)《語用能力總表》及《語用能力自我評價(jià)量表》中對語用能力的分級(jí)描述而編制了《大學(xué)英語語用能力自我認(rèn)知評價(jià)量表》，將交際任務(wù)的完成程度劃分為五個(gè)程度，即未能達(dá)到、勉強(qiáng)達(dá)到、基本達(dá)到、較好達(dá)到和完全達(dá)到。被試依據(jù)各級(jí)別中交際任務(wù)的完成程度對自己的英語語用能力等級(jí)進(jìn)行達(dá)成度判定和自評等級(jí)預(yù)估(r0)，評價(jià)教師對交際任務(wù)完成程度進(jìn)行賦值，對比預(yù)估等級(jí)，進(jìn)而確定其綜合自評等級(jí)(x)，具體等級(jí)確定過程如下：

第一步，被試依據(jù)《大學(xué)英語語用能力自我認(rèn)知評價(jià)量表》對每個(gè)級(jí)別的英語語用能力達(dá)成程度進(jìn)行判定，綜合確定語用能力最高等級(jí)，以此為語用能力自評預(yù)估等級(jí)r0(見表2)。語用能力等級(jí)評定人員對被試語用能力達(dá)成程度進(jìn)行賦值，確定各等級(jí)自評得分s。

表2 《大學(xué)英語語用能力自我認(rèn)知評價(jià)量表》(以1—2級(jí)為例)

第二步，根據(jù)被試的自評預(yù)估等級(jí)r0，上下延伸一級(jí)以確定自評可能等級(jí)范圍r(見表3)，最大限度降低語用能力等級(jí)誤判。

表3 自評預(yù)估等級(jí)與自評等級(jí)范圍對照表

第三步，根據(jù)自評預(yù)估等級(jí)r0和自評得分s，在自評等級(jí)的可能范圍內(nèi)確定最終的自評等級(jí)x，確定方法如下：

A.如果sr0<0.6，代表被試未能基本達(dá)到該級(jí)別語用能力描述語要求，不符合該級(jí)別等級(jí)，英語語用能力自評等級(jí)應(yīng)做降一級(jí)處理，自評等級(jí)x確定為r0-1級(jí)；

B.如果sr0≥0.6，sr0-1≥0.8，即被試自評預(yù)估等級(jí)分?jǐn)?shù)滿足當(dāng)前等級(jí)和上一級(jí)要求，但是不滿足下一級(jí)要求，保持原級(jí)，自評等級(jí)x確定為r0級(jí)；

C.如果sr0≥0.8，sr0-1≥0.8，sr0+1≥0.8，即被試自評預(yù)估等級(jí)分?jǐn)?shù)較好達(dá)到當(dāng)前等級(jí)、上一級(jí)和下一級(jí)要求，自評等級(jí)予以升一級(jí)處理，自評等級(jí)x確定為r0+1級(jí)；

示例分析：被試N1依據(jù)《英語語用能力自我認(rèn)知評價(jià)量表》中語用能力描述語，結(jié)合自身各級(jí)別語用能力水平，判定各級(jí)別語用能力完成程度，并對完成程度賦值，通過比較各級(jí)別完成程度得分，綜合做出英語語用能力自評預(yù)估等級(jí)r0=3。依據(jù)表3確定其自評等級(jí)取值范圍r為{2，3，4}。進(jìn)一步比較被試N1自評等級(jí)2—4級(jí)得分，因s3=0.6，s2=1≥0.8，根據(jù)上述自評等級(jí)x確定規(guī)則B，N1最終自評等級(jí)x=3，即語用能力自評等級(jí)為3級(jí)。

表4 被試N1《英語語用能力自我認(rèn)知評價(jià)量表自評評分表》示例

被試的自評等級(jí)評定屬于主觀評價(jià)，某種程度上自我評價(jià)的準(zhǔn)確性是需要培養(yǎng)而形成的，難以完全根據(jù)被試做出的自評預(yù)估等級(jí)來確定被試最后的英語語用能力等級(jí)。因此，需要根據(jù)被試自評預(yù)估等級(jí)確定自評等級(jí)范圍，在此范圍內(nèi)比較各等級(jí)賦值分?jǐn)?shù)，客觀地確定被試自評等級(jí)x。

2.筆試他評等級(jí)(y)確定步驟

除了被試主觀自評，更要結(jié)合客觀的他評形式來確定英語語用能力綜合評價(jià)等級(jí)。英語語用能力筆試主要考核書面形式下被試在不同交際情境中完成交際任務(wù)的程度。鑒于參與測試的被試主要為學(xué)生身份(語用能力等級(jí)范圍為1—7級(jí))，本次建構(gòu)的筆試測試題含有35個(gè)交際試題(每個(gè)試題1分，滿分35分)，涵蓋了7個(gè)級(jí)別，從小學(xué)到英語本科層次，每個(gè)級(jí)別由5個(gè)交際任務(wù)組成。被試基本成功完成交際任務(wù)的數(shù)量標(biāo)示著該級(jí)別語用能力的達(dá)成程度，順利完成三個(gè)及以上交際任務(wù)可視為達(dá)到了該級(jí)別能力水平。通過筆試試測，發(fā)現(xiàn)被試的筆試總分和每個(gè)級(jí)別得分均影響英語語用能力筆試最終等級(jí)判定。因此，在具體等級(jí)確定過程中，需要比對筆試總分和筆試可能等級(jí)范圍內(nèi)相鄰等級(jí)間得分變化率，確定被試筆試最高等級(jí)，具體筆試等級(jí)判定步驟如下：

第一步，根據(jù)筆試總得分和每個(gè)級(jí)別試題的滿分，依據(jù)上取整函數(shù)原則，確定筆試等級(jí)的可能范圍，確定方法如下：

k0=Tt

(2)

根據(jù)筆試等級(jí)分值，按照如下規(guī)則確定筆試等級(jí)的可能范圍(見表5)：

表5 筆試等級(jí)分與可能等級(jí)范圍對照表

第二步，在筆試等級(jí)的可能范圍內(nèi)，計(jì)算相鄰兩個(gè)等級(jí)分值的變化率，將相鄰兩個(gè)等級(jí)分值變化率達(dá)到最大時(shí)所對應(yīng)的等級(jí)確定為筆試等級(jí)。因?yàn)楫?dāng)相鄰兩個(gè)級(jí)別變化率最大時(shí)，表明被試英語語用能力達(dá)到頂峰，然后開始下降，確定方法如下：

示例分析：以被試N1為例，英語語用能力筆試各級(jí)別從低到高得分依次為4、5、3、2、3、2、4，每個(gè)級(jí)別滿分為5分，具體計(jì)算過程如下：

首先，根據(jù)筆試各等級(jí)的成績計(jì)算出筆試的總成績

T=4+5+3+2+3+2+4=23；

其次，根據(jù)公式(2)和每級(jí)別滿分，計(jì)算筆試等級(jí)分

再次，根據(jù)表5中筆試等級(jí)分與筆試等級(jí)可能范圍之間的對應(yīng)關(guān)系(見表5)，確定筆試等級(jí)的可能范圍為{4，5，6}；

3.口試他評等級(jí)(z)確定過程

《中國量表》中，對于英語語用能力的概念界定主要體現(xiàn)在學(xué)習(xí)者基于具體語境從書面和口頭理解與表達(dá)請求、建議、拒絕、道歉等交際意圖，以及直接或間接表達(dá)觀點(diǎn)、情感和態(tài)度的能力。然而，口頭交際方式更能體現(xiàn)出被試能否正確理解交際意圖、適切表達(dá)自己的觀點(diǎn)和態(tài)度。此外，口頭交際是個(gè)連貫的系列行為，以言行事體現(xiàn)了語言的功能，所以全面而合理地綜合評定被試英語語用能力離不開口試測試方式?；诒辉嚨淖栽u等級(jí)判定、筆試及口試等級(jí)測試與確定均以《語用能力自我評價(jià)量表》中語用能力描述語為共同依據(jù)，保證了三個(gè)維度評價(jià)標(biāo)準(zhǔn)信度的一致性，從不同維度反映被試語用能力水平。在口試等級(jí)的確定中，根據(jù)被試的英語語用能力自評等級(jí)和筆試等級(jí)確定該生英語語用能力口試的預(yù)估等級(jí)。在此基礎(chǔ)上，根據(jù)其口試表現(xiàn)等級(jí)符合度，通過調(diào)整參數(shù)確定其英語語用能力口試等級(jí)，確定方法如下：

根據(jù)CEPCA評價(jià)模型口試對照等級(jí)評分標(biāo)準(zhǔn)(見表6)，針對被試口試表現(xiàn)進(jìn)行五級(jí)達(dá)成度評價(jià)，包括未能達(dá)到、勉強(qiáng)達(dá)到、基本達(dá)到、較好達(dá)到和完全達(dá)到，并對其進(jìn)行賦值(0—1分)，賦值標(biāo)準(zhǔn)與自評等級(jí)完成程度賦值標(biāo)準(zhǔn)相同(見表2)，具體得分原則如下：

C.分?jǐn)?shù)加總即為該被試英語語用能力口試對照S等級(jí)。

表6 CEPCA評價(jià)模型口試對照等級(jí)S評分標(biāo)準(zhǔn)示例(以1—7級(jí)為例)

示例分析：對被試語用能力等級(jí)在基本完成及以上的完成程度賦值1分，上表中被試口試得分5分，最終認(rèn)定其口試等級(jí)調(diào)整系數(shù)對比值為5，如果該考生預(yù)估等級(jí)4，那么符合度是1，則在原預(yù)估等級(jí)上提高一個(gè)等級(jí)，即該被試英語語用能力口試等級(jí)為5級(jí)；如果該生僅完成了預(yù)估等級(jí)4級(jí)的交際任務(wù)，則保持原有預(yù)估等級(jí)，即該被試英語語用能力口試等級(jí)為4級(jí)；如果其測試結(jié)果未能基本完成交際任務(wù)，就在原預(yù)估等級(jí)基礎(chǔ)上降低一個(gè)等級(jí)，即該被試英語語用能力口試等級(jí)為3級(jí)。具體計(jì)算過程如下：

s=x+y2=3+52=4,

第一步，根據(jù)被試N1英語語用能力自評等級(jí)3級(jí)和筆試等級(jí)5級(jí)確定口試的預(yù)估等級(jí)，即預(yù)估等級(jí)為4級(jí)；

基于以上各項(xiàng)公式測得x值、y值、z值后，則在CEPCA評價(jià)模型計(jì)算公式中分別乘以各自對應(yīng)的權(quán)重，計(jì)算出被試英語語用能力綜合評價(jià)等級(jí)R。以N1被試測試成績?yōu)槔?，?jīng)專家賦權(quán)和變異系數(shù)求權(quán)，自評權(quán)重為20%、筆試權(quán)重為30%、口試權(quán)重為50%，依據(jù)評價(jià)模型計(jì)算公式，對被試對象英語語用能力等級(jí)做出綜合評價(jià)。利用公式(1)得到英語語用能力綜合等級(jí)為：

R=[α1x+α2y+α3z]=[0.2×3+0.3×5+0.5×5]=4.6≈5

這表明該被試英語語用能力等級(jí)上取整為5級(jí)。由此結(jié)果可見，被試的英語語用能力綜合評價(jià)等級(jí)與其自評等級(jí)3級(jí)有較大差異，即學(xué)生客觀評價(jià)自身語用能力水平有限，需要一套科學(xué)而有效的質(zhì)化和量化結(jié)合的測試評價(jià)模型應(yīng)用于語用教學(xué)評價(jià)實(shí)踐。

三、大學(xué)英語語用能力評價(jià)模型的實(shí)踐論證

為了驗(yàn)證CEPCA評價(jià)模型理論是否有效，本研究首先利用德爾菲專家咨詢法，對該評價(jià)模型進(jìn)行了評估，然后采用測量法和統(tǒng)計(jì)分析法，對L高校H班全體同學(xué)運(yùn)用CEPCA測量工具和評價(jià)模型進(jìn)行測試，在實(shí)踐中對該評價(jià)模型理論進(jìn)行檢驗(yàn)和修正。試測結(jié)果反映出了較好的信效度。同時(shí)經(jīng)過差異性檢驗(yàn)，發(fā)現(xiàn)被試的自評等級(jí)、筆試等級(jí)和口試等級(jí)間存在顯著差異。這也進(jìn)一步印證了單一的主觀評價(jià)、量化筆試評價(jià)或口試評價(jià)均不能全面而有效地反映被試英語語用能力實(shí)際水平，應(yīng)結(jié)合三個(gè)維度進(jìn)行科學(xué)評定。

(一)試測樣本英語語用能力等級(jí)評價(jià)結(jié)果分析

被試樣本為非英語專業(yè)二年級(jí)學(xué)生，樣本量為29人。運(yùn)用CEPCA評價(jià)模型對被試對象的語用能力等級(jí)進(jìn)行測試，測試結(jié)果為：第一，通過對評價(jià)模型三維度等級(jí)對比分析，發(fā)現(xiàn)語用能力自評等級(jí)均值低于口試和筆試等級(jí)均值。第二，語用能力總評等級(jí)均值小于4，表明被試未達(dá)到大學(xué)非英語專業(yè)本科生應(yīng)達(dá)到的5級(jí)要求，基本處于初高中水平。第三，該測試結(jié)果折射出我國普通高校的外語教學(xué)中對語用能力的培養(yǎng)不足，未實(shí)現(xiàn)培養(yǎng)學(xué)生外語綜合運(yùn)用能力的終極課程目標(biāo)(見表7)。

表7 被試對象英語語用能力等級(jí)均值統(tǒng)計(jì)表

(二)試測樣本英語語用能力等級(jí)評價(jià)質(zhì)量分析

測試工具質(zhì)量直接影響到語用能力綜合等級(jí)判定的真實(shí)性和有效性，本研究利用SPSS 23統(tǒng)計(jì)分析軟件從信度、效度、難易度和區(qū)分度四個(gè)維度分析測量工具質(zhì)量。結(jié)果顯示，三個(gè)測評維度的信度、效度、難度和區(qū)分度值均符合高質(zhì)量測評的相關(guān)要求，也驗(yàn)證了所構(gòu)建的大學(xué)英語語用能力評價(jià)模型具有科學(xué)性、可靠性和有效性。

1.信度與效度檢驗(yàn)

大學(xué)英語語用能力評價(jià)模型信度檢驗(yàn)中，所得自評信度值Cronbachα=0.932>0.9，他評信度值Cronbachα=0.933>0.9，說明該評價(jià)模型具有較高信度(見表8)。

表8 英語語用能力評價(jià)信度檢驗(yàn)表

采用因子分析方法對大學(xué)英語語用能力自評等級(jí)進(jìn)行效度檢驗(yàn)，所得KMO=0.852，具有較高效度，共同度值均大于0.6，所以各項(xiàng)均予以保留(見表9)。

表9 英語語用能力自我認(rèn)知評價(jià)效度檢驗(yàn)表

大學(xué)英語語用能力他評維度采用效標(biāo)效度檢驗(yàn)的方式，把被試英語口試評價(jià)等級(jí)作為衡量測試是否有效的效標(biāo)，利用檢驗(yàn)測試結(jié)果與效標(biāo)間的一致性程度，求得皮爾遜相關(guān)系數(shù)反映效標(biāo)效度。本次英語口語水平與語用能力其他評價(jià)維度等級(jí)和綜合評價(jià)等級(jí)效標(biāo)效度基本維持在0.4左右，這說明本次測試成績具有可接受的效度(見表10)。

表10 英語語用能力評價(jià)效標(biāo)效度檢驗(yàn)表

2.難度與區(qū)分度檢驗(yàn)

難度檢驗(yàn)可以反映出不同級(jí)別試題對于被試對象來講是否有難度差異，可以反映出被試在語用知識(shí)、語用意識(shí)和語用表現(xiàn)方面掌握情況，呈現(xiàn)出語用能力教學(xué)存在的問題。難度影響著測試的信度和效度，難度系數(shù)P=0.5左右被視為具有較好的難易度。從下表中測試難度系數(shù)可以看出，除了2級(jí)測試題難度系數(shù)過高外，其余各項(xiàng)難度系數(shù)P的范圍在近0.4至0.7之間，說明各種相關(guān)測試難度較為合理，從1級(jí)至7級(jí)測試題反映出難度系數(shù)值走向來看，基本是隨著級(jí)別升高而難度逐步增大(見表11)。

表11 英語語用能力評價(jià)效標(biāo)效度檢驗(yàn)表

區(qū)分度檢驗(yàn)反映不同被試的水平差異，區(qū)分度低會(huì)出現(xiàn)高分或低分人數(shù)聚集，高區(qū)分度可以使不同層次的被試比例相當(dāng)。筆試以多項(xiàng)選擇的形式進(jìn)行考核，屬于客觀題，使用斯皮爾曼等級(jí)進(jìn)行相關(guān)分析求得區(qū)分度，所得筆試評價(jià)相關(guān)系數(shù)為0.848，采用角色扮演形式的口試評價(jià)和自我認(rèn)知評價(jià)為主觀題，使用皮爾遜進(jìn)行相關(guān)分析，求得口試評價(jià)和自評的相關(guān)系數(shù)分別為0.915和0.676(見表12)，均大于0.3，這說明該測試具有良好的區(qū)分度，能區(qū)分開被試對象實(shí)際英語語用能力差異，其中區(qū)分度最高的為口試評價(jià)，這更反映出中國英語能力等級(jí)量表對語用能力在言語行為方面的窄式界定，突出對言語交際能力的培養(yǎng)。

表12 語用能力不同評價(jià)區(qū)分度分析表

(三)CEPCA評價(jià)模型實(shí)踐論證結(jié)論

通過對被試運(yùn)用英語語用能力CEPCA評價(jià)模型進(jìn)行實(shí)踐檢驗(yàn)，進(jìn)一步從評價(jià)維度、評價(jià)標(biāo)準(zhǔn)和評價(jià)形式方面論證了該模型理論建構(gòu)具有科學(xué)性及實(shí)效性。

1.單維度主觀自評具有局限性和不準(zhǔn)確性

單一維度主觀自評等級(jí)具有局限性，不能準(zhǔn)確反映被試真實(shí)等級(jí)。因此，建構(gòu)主客觀多維度評價(jià)模型具有合理性與科學(xué)性。僅憑英語學(xué)習(xí)者根據(jù)《語用能力自我評價(jià)量表》，對其英語語用能力進(jìn)行主觀的等級(jí)評定，與其實(shí)際客觀評價(jià)存在一定差異。為檢驗(yàn)被試英語語用能力自我認(rèn)知評價(jià)、筆試評價(jià)和口試評價(jià)均值間是否存在差異，對H班被試英語語用能力的不同評價(jià)測試結(jié)果進(jìn)行配對T檢驗(yàn)，進(jìn)而為檢驗(yàn)英語語用能力等級(jí)評價(jià)模式三個(gè)維度設(shè)置合理性。下表中將自我評價(jià)、筆試評價(jià)和口試評價(jià)兩兩配對，通過顯著性檢驗(yàn)，自評等級(jí)與口試及筆試評價(jià)等級(jí)均存在顯著差異，P=0.000<0.05，這說明單一維度主觀自評對被試進(jìn)行總體等級(jí)評定與其真實(shí)水平存在誤差，需要建構(gòu)主客觀結(jié)合的評價(jià)模型全面而準(zhǔn)確反映被試真實(shí)的英語語用能力水平，這也論證了該模型增加他評維度評價(jià)的科學(xué)性和必要性。

2.多維客觀他評評價(jià)維度具有修正性和必要性

通過對被試筆試評價(jià)與口試評價(jià)等級(jí)均值T值差異性檢驗(yàn)，P=0.134>0.05(見表13)，這說明二者間不存在顯著差異，即被試英語語用能力筆試等級(jí)與口試等級(jí)基本相同，也就是說客觀地進(jìn)行筆試等級(jí)和口試等級(jí)評定可以真實(shí)地反映出被試實(shí)際語用能力水平，可以彌補(bǔ)單一主觀自我評價(jià)的不足。因此建構(gòu)多維度主客觀并存的評價(jià)模型具有科學(xué)性和準(zhǔn)確性。

表13 不同評價(jià)維度配對差異性分析

3.各評價(jià)維度權(quán)重設(shè)置具有科學(xué)性和調(diào)節(jié)性

從上表中三個(gè)評價(jià)維度等級(jí)均值的T檢驗(yàn)比對數(shù)據(jù)來看，可以看出被試的英語語用能力筆試成績優(yōu)于口試成績，自我評價(jià)成績最低，這也說明每一種測試或評價(jià)在綜合評價(jià)被試能力水平中都有其貢獻(xiàn)度，能診斷和反饋被試的外語學(xué)習(xí)及所在學(xué)校的外語教學(xué)的關(guān)注點(diǎn)與不足。通過對不同評價(jià)維度權(quán)重靈活賦值，可以有效發(fā)揮語用能力評價(jià)的調(diào)節(jié)功能和教學(xué)反撥功能，引導(dǎo)外語教學(xué)與測試實(shí)現(xiàn)語用轉(zhuǎn)向。如L個(gè)案學(xué)校在實(shí)踐中運(yùn)用CEPCA英語語用能力評價(jià)模型時(shí)，經(jīng)過專家對不同評價(jià)維度的權(quán)重系數(shù)賦值(自評等級(jí)維度權(quán)重系數(shù)0.2、筆試等級(jí)維度權(quán)重系數(shù)0.3、口試等級(jí)維度權(quán)重系數(shù)0.5)和根據(jù)135名志愿者被試測量數(shù)據(jù)利用變異系數(shù)計(jì)算出的權(quán)重系數(shù)(自評等級(jí)維度權(quán)重系數(shù)0.21、筆試等級(jí)維度權(quán)重系數(shù)0.31、口試等級(jí)維度權(quán)重系數(shù)0.48)進(jìn)行對比時(shí)，發(fā)現(xiàn)主客觀方法獲得的權(quán)重值基本吻合，這可以為實(shí)踐運(yùn)用該模型確定權(quán)重提供參考依據(jù)。通過調(diào)節(jié)偏低或偏高維度的評價(jià)等級(jí)權(quán)重來實(shí)現(xiàn)外語教學(xué)中“以評促教、以教促評”。

《中國英語能力等級(jí)量表》對語用能力的界定與分級(jí)描述和《自評量表》的研制反映出國內(nèi)外語教學(xué)與測試的語用轉(zhuǎn)向理念，為我國英語語用能力教學(xué)和測試均提供了理論依據(jù)和共同的參照標(biāo)準(zhǔn)，有益于我國外語教學(xué)及測試與國際接軌?；谠摿勘順?gòu)建大學(xué)英語語用能力評價(jià)模型(CEPCA評價(jià)模型)，探究英語語用能力評價(jià)維度、語用能力測評計(jì)算公式及評價(jià)標(biāo)準(zhǔn)，在實(shí)踐中對評價(jià)模型理論建構(gòu)予以論證，具有理論與實(shí)踐意義，也提升了英語語用能力測試的可操作性，從理論與實(shí)踐層面豐富了《中國量表》的語用能力相關(guān)量表。英語課程教學(xué)目標(biāo)是使學(xué)生用英語有效地進(jìn)行交際，對英語語用能力測試及評價(jià)不僅對學(xué)生英語語用能力教學(xué)效果進(jìn)行了客觀、準(zhǔn)確、公正檢測和評價(jià)，而且發(fā)揮測試評價(jià)的積極反撥作用，針對測試中反映出的教學(xué)問題調(diào)整教學(xué)策略，提高教學(xué)質(zhì)量，實(shí)現(xiàn)“以評促教、以評導(dǎo)學(xué)”。通過推動(dòng)英語課程教學(xué)與測評的語用轉(zhuǎn)向，為我國全球化進(jìn)程提速培養(yǎng)更具國際競爭力和外語交際能力的綜合性人才。