張 潔，李亞男

（1.中國人民大學(xué)國際文化交流學(xué)院，北京100872；2.北京語言大學(xué)語言科學(xué)院，北京100083；3.漢考國際教育科技（北京）有限公司，北京100088）

0.前言

《國際漢語教師證書》考試是由孔子學(xué)院總部/國家漢辦主辦的一項標(biāo)準化考試，包括筆試和面試。“考試主要面向海外孔子學(xué)院（課堂）從事漢語教學(xué)的教師、志愿者；同時面向有志于從事漢語國際教育工作的各類人員，包括海內(nèi)外各類教育機構(gòu)的教師及相關(guān)專業(yè)學(xué)習(xí)者?？荚嚳梢宰鳛榭鬃訉W(xué)院（課堂）選拔和評價漢語教師、志愿者的重要參考標(biāo)準，可以作為海內(nèi)外學(xué)校、教育機構(gòu)選聘和評價漢語教師的參考依據(jù)”。（孔子學(xué)院總部/國家漢辦，2016）從理論上講，一種測評工具是否可靠和有效，關(guān)鍵在于該測評工具的信度和效度，具備良好的信度和效度是一個有效的測評工具的必備條件，因此，有必要對《國際漢語教師證書》考試的信度、效度展開研究。

國際教育與心理測量界廣泛采用的《教育與心理測量標(biāo)準》（Standards for Educational and Psychological Testing）（2014），對效度、效度驗證及效度證據(jù)進行了說明。效度是指所積累的證據(jù)對考試用于特定目的后所產(chǎn)出分數(shù)的解釋提供支持的程度，是教育測量的核心內(nèi)容，是開發(fā)、運作和評估考試時應(yīng)該考慮的一項最為基本的內(nèi)容（劉慶思，2018a）。效度驗證則是收集相關(guān)證據(jù)為特定分數(shù)解釋提供科學(xué)依據(jù)的過程，是考試研究實踐中必須要面對的問題。效度證據(jù)包括：基于內(nèi)容的證據(jù)（Evidence Based on Test Content）；基于反應(yīng)過程的證據(jù) （Evidence Based on Response Processes）；基于內(nèi)部結(jié)構(gòu)的證據(jù)（Evidence Based on Internal Structure）；基于與其他變量關(guān)系的證據(jù)（Evidence Based on Relations to Other Variables）；基于測驗結(jié)果的證據(jù)（Evidence For Validity and consequences of testing）。該標(biāo)準細化了效度驗證所需的類似于檢查清單的標(biāo)準條目以及效度驗證的基本模式，“證據(jù)”成為效度研究的核心概念。效度研究被視為一種通過積累“證據(jù)”對測驗的效度提供支持、對測驗分數(shù)做出合理解釋的過程（劉慶思，2018b）。

本研究基于《教育與心理測量標(biāo)準》（2014版）中效度研究的基本流程，搜集《國際漢語教師證書》基于內(nèi)容的證據(jù)、基于與其他變量關(guān)系的證據(jù)，為其效度提供支持。

1.基于內(nèi)容的效度證據(jù)

從考試設(shè)計的步驟來說，在考試試卷編制之前，需要對考試的內(nèi)容范圍進行界定，如考試考察的知識點、能力要素或任務(wù)等，并確定各部分的比例。通過系統(tǒng)比較一份試卷的實際內(nèi)容與考試大綱中對考試內(nèi)容范圍的界定，通過比較實際測試各個部分的內(nèi)容比例與測試說明所確定的比例，可以得到重要的效度證據(jù)?；趦?nèi)容的效度證據(jù)通常以專家評定的方式進行。專家可以對題目的覆蓋程度進行評價，也可以對各部分內(nèi)容的相對比重或相對重要性進行評價；可以是對試卷對內(nèi)容總體代表性的評價，也可以是試卷所包含的一組任務(wù)對一個任務(wù)總體代表性的評價。

基于國際漢語發(fā)展的需要，國家漢語國際推廣領(lǐng)導(dǎo)小組辦公室（簡稱國家漢辦），組織漢語教學(xué)領(lǐng)域的專家學(xué)者研發(fā)，于2007年發(fā)布了《國際漢語教師標(biāo)準》（以下簡稱標(biāo)準），并于2012年12月12日正式推出新標(biāo)準①http://www.chineseteacher.org.cn/readyExamGuide.do。新標(biāo)準更為凝練，突出漢語教學(xué)、中華文化傳播和跨文化交際三項基本技能，注重學(xué)科基礎(chǔ)、專業(yè)意識和職業(yè)修養(yǎng)，增強了實用性、操作性和有效性；構(gòu)建了國際漢語教師的知識、能力和素質(zhì)的基本框架，形成了較為完整、科學(xué)的教師標(biāo)準體系。目前，這一標(biāo)準不僅是國家漢辦選拔和培訓(xùn)海外孔子學(xué)院漢語教師和志愿者的標(biāo)準，也是漢語國際教育專業(yè)學(xué)位研究生培養(yǎng)以及國際漢語教師資格考試制定的依據(jù)，對國際漢語教學(xué)有重要指導(dǎo)意義。《國際漢語教師證書》考試正是基于該標(biāo)準中漢語教學(xué)基礎(chǔ)、漢語教學(xué)方法、教學(xué)組織與課堂管理、中華文化與跨文化交際、職業(yè)道德與專業(yè)發(fā)展五個標(biāo)準所包含的知識與能力的考查，評價考生是否能夠成為合格的國際漢語教師。

從考試性質(zhì)上來說，《國際漢語教師證書》考試屬于標(biāo)準參照考試?！秶H漢語教師標(biāo)準》明確了該考試所考察的“標(biāo)準”，因此，需要評價該考試試題對“標(biāo)準”內(nèi)容的總體代表性或任務(wù)總體的代表性。試題考察的知識與能力既要在“標(biāo)準”考察目標(biāo)的范圍之內(nèi)，也要對“標(biāo)準”有較好的覆蓋率。這是基于內(nèi)容的重要效度證據(jù)，通常由專家基于一定規(guī)則，對題目和“標(biāo)準”的匹配程度進行經(jīng)驗判斷。

《國際漢語教師證書》考試的筆試全部為客觀題，分為基礎(chǔ)知識、應(yīng)用能力和綜合素質(zhì)三部分?；A(chǔ)知識和應(yīng)用能力主要采取源于教學(xué)實際的案例導(dǎo)入式形式，重點考察應(yīng)試者的漢語交際能力、語言分析能力、教學(xué)設(shè)計能力、教學(xué)資源應(yīng)用能力、課堂活動組織能力、課堂管理能力、中華文化闡釋與傳播能力、職業(yè)發(fā)展能力、現(xiàn)代教育技術(shù)應(yīng)用能力等，以及對相關(guān)理論知識和應(yīng)用方法的掌握；綜合素質(zhì)部分采用情境判斷測驗的形式，重點考查應(yīng)試者的跨文化適應(yīng)性及交際能力。筆試試卷結(jié)構(gòu)如表1所示。

為了獲得《國際漢語教師證書》筆試基于內(nèi)容的證據(jù)，我們對某次筆試客觀試題，共計100道題目逐一進行了考察（僅包括筆試第一、二部分，第三部分綜合素質(zhì)不在分析范圍內(nèi)）。在試題審定的過程中，每個案例及案例下的每道試題都由三到四位專家（主要為國內(nèi)外長期從事漢語教學(xué)的一線教師，語言學(xué)、漢語教學(xué)及相關(guān)領(lǐng)域的研究者），根據(jù)《國際漢語教師標(biāo)準》進行了標(biāo)定，由專家共同判定，每道試題考察的知識或能力屬于哪一標(biāo)準，隨后對該套試卷中針對各標(biāo)準設(shè)計的題量進行統(tǒng)計。

在這次筆試試題中，考察較多的是“標(biāo)準2漢語教學(xué)方法”（31題）與“標(biāo)準3教學(xué)組織與課堂管理”（31題）；其次是“標(biāo)準1漢語教學(xué)基礎(chǔ)”（23題），“標(biāo)準4中華文化與跨文化交際”（中國文化部分13題）②標(biāo)準4中的跨文化交際能力重在第三部分考察，共50題。，考察最少的是“標(biāo)準5職業(yè)道德與專業(yè)發(fā)展”（2題）。從題量來看，《國際漢語教師標(biāo)準》中的五大標(biāo)準在全卷中均有分布，在筆試前100題中，主要考察的是標(biāo)準1、2、3中對教師知識與能力的要求，共有85題。第一部分共54題，第二部分共46題，基本符合筆試試卷結(jié)構(gòu)中有關(guān)第一部分和第二部分的題量設(shè)計要求。

表1：《國際漢語教師證書》考試筆試試卷結(jié)構(gòu)

2.基于與其他變量關(guān)系的證據(jù)

考試結(jié)果的使用者或者根據(jù)考試結(jié)果所做的評價或評判，是一個與效度有關(guān)的問題。如果考試的用途已明確，那么就需要提供支持其用途的相關(guān)證據(jù)?！秶H漢語教師證書》考試可以作為海內(nèi)外學(xué)校、教育機構(gòu)選聘和評價漢語教師的參考依據(jù)，也用于評價國際漢語教學(xué)機構(gòu)師資和水平及教學(xué)實例的參考。試卷以及題目的質(zhì)量會影響測試目的的實現(xiàn)。高質(zhì)量的試卷及題目可以為效度提供支持，試卷信度、試題難度、區(qū)分度都是重要的效度證據(jù)。

如前所述，《國際漢語教師證書》考試屬于標(biāo)準參照測驗，其目的在于考察被試所預(yù)測之目標(biāo)的掌握程度，如果測驗?zāi)繕?biāo)所要求的知識與技能比較簡單，那么試題難度應(yīng)該相對較小，反之亦如此。對于某些難度為1或0的試題，若其內(nèi)容在測量目標(biāo)范圍內(nèi)，也不能認為其存在問題，同時，這些試題的區(qū)分度相應(yīng)不高，甚至可能為0，也仍不能認為試題質(zhì)量存在問題，由于標(biāo)準參照測驗的題目分析關(guān)鍵在于題目與目標(biāo)之間的一致性的分析，刪去此類看上去質(zhì)量不佳的題目反而會影響效度。不過盡管如此，仍需要對測試進行一些定量的分析（趙世明、劉景軒，2001）。

2.1 考試質(zhì)量分析

本研究中的數(shù)據(jù)為某次《國際漢語教師證書》考試的實測數(shù)據(jù)，共有6540人參加考試，本次試卷的α信度為0.746。由于信度系數(shù)易受考生群體影響，當(dāng)考生群體的同質(zhì)性高時，信度會降低。從本次考生的基本信息來看，考生專業(yè)集中為漢語國際教育、語言學(xué)及應(yīng)用語言學(xué)，多數(shù)為本科畢業(yè)，可以認為考生群體的同質(zhì)性較高，這在一定程度上影響了本次考試的信度系數(shù)，可以認為該試卷的信度較好。

2.1.1 難度分析

考生成績分布的偏態(tài)系數(shù)為-0.488，高分者較多，本次考試相對簡單。本次考試試題的平均難度為0.632。從全卷難度分布統(tǒng)計來看，全卷難度在0.6以上，即中等難度到易的題目共有60題；難度小于0.3，即較難的題目有7題。從標(biāo)準參照考試的考試性質(zhì)出發(fā)，這一考試以《國際漢語教師標(biāo)準》為衡量尺度，考察考生所具備的知識與能力水平。在這樣的情況下，難度有難、有易更為合理，難度差異大是可以接受的，但是對于過難或者過易的題目應(yīng)引起重視，需要專家從內(nèi)容上做進一步定性分析。

將試題按標(biāo)準分類后，統(tǒng)計各標(biāo)準的題目難度。標(biāo)準1與標(biāo)準5大致相同，較難，平均難度分別為0.56，0.57；標(biāo)準2與標(biāo)準3大致相同，平均難度分別為0.66，0.67；隨后是標(biāo)準5，平均難度為0.62。

2.1.2 區(qū)分度分析

標(biāo)準參照測驗的區(qū)分度計算并沒有公認的最佳方法。在這里，仍計算每題的題目得分與總分的相關(guān)作為區(qū)分度質(zhì)量指標(biāo)。經(jīng)統(tǒng)計，全卷平均題總相關(guān)為0.199，平均點雙列相關(guān)為0.286。將試題按標(biāo)準分類后，統(tǒng)計各標(biāo)準題目區(qū)分度。標(biāo)準1、2、3、4的平均區(qū)分度大約為0.19，0.20，0.21，0.19，大致相同。標(biāo)準5為0.12，略低。

難度是影響區(qū)分度的重要因素?？忌饺绻町惒淮螅}目會過難或是過易，也會在一定程度上影響區(qū)分度。根據(jù)實測數(shù)據(jù)，低于0.3的題目，對考生來說過難，高于0.9的題目對考生來說過于容易，區(qū)分度都低于0.2。在一般的證書和資格考試等標(biāo)準參照考試中，題目區(qū)分度只需大于零并具有很好的內(nèi)容代表性即可（劉曉瑜，1996）。對于《國際漢語教師證書考試》這一標(biāo)準參照的考試來說也是如此。

2.2 與面試成績相關(guān)分析

面試是對筆試合格的考生進行的考官小組面試。與筆試這種間接測量考生能力的方式相比，面試更直接、真實、有效。三位考官均由資深漢語教師擔(dān)任，面試試題為教學(xué)中的教材，或是一個有關(guān)教學(xué)的真實案例。通過對考生反應(yīng)情況的觀察，考官所做出的對于考生教學(xué)設(shè)計能力、教學(xué)實施能力和跨文化交際能力的評價更為真實有效。因此，對于《國際漢語教師證書考試》筆試來說，以面試為效度研究標(biāo)準，也可以獲得關(guān)于筆試的效度證據(jù)。

2.2.1 面試基本情況

《國際漢語教師證書考試》的面試采用結(jié)構(gòu)化面試和情景模擬相結(jié)合的方法，包括說課、試講、問答和外語能力考查。面試卷滿分150分，試題結(jié)構(gòu)及評分維度如表2所示。

三位考官均需根據(jù)考生面試過程中的表現(xiàn)，進行綜合評分。面試題目按作答語言可分為漢語和外語兩個部分，其中漢語部分從5個方面進行評價，分別評價考生的教學(xué)設(shè)計能力、教學(xué)實施能力和跨文化交際能力，而外語部分從3個方面評價考生的外語跨文化交際能力，整體印象主要評估考生的心理素質(zhì)、教姿教態(tài)等職業(yè)素養(yǎng)。

本研究采用了某次面試數(shù)據(jù)，共有2164位考生（缺考考生不計算在內(nèi)，該批考生均已參加前文中的筆試且筆試合格）。按照面試流程，每個考場配置3位考官：主考官、考官及外語考官。每個考場每天可以容納15位考生考試。同時，為了避免考生之間互相提示，每一個考試日使用兩份不同的面試試卷，分別用于當(dāng)天上午與下午。本次面試共進行了8天，使用了16套試卷，約有145考場，435名考官參與評分。由于缺乏考官信息，僅對主考官、考官及外語考官的總體評分一致性情況進行了評估，三考官評分的皮爾遜相關(guān)系數(shù)如表3所示，統(tǒng)計分析顯示，三考官的評分相關(guān)系數(shù)呈顯著性相關(guān)，一致性程度較高。三考官評分維度之間的相關(guān)如表4所示，統(tǒng)計分析顯示，三考官在各維度上的評分相關(guān)系數(shù)呈顯著性相關(guān)，一致性程度較高。

表3：三考官評分的皮爾遜相關(guān)系數(shù)

對面試成績進行初步因素分析，KMO值為0.873，分析顯示適合進行因素分析。檢查所得數(shù)據(jù)之后，對數(shù)據(jù)進行因子提取和因子旋轉(zhuǎn)。因子提取采用主成分分析法的初始分析，因子旋轉(zhuǎn)使用方差最大化正交旋轉(zhuǎn)，得出旋轉(zhuǎn)后的矩陣，抽取三個公共因子，特征值均大于0.5。旋轉(zhuǎn)在5次迭代中收斂，共解釋81.079%的總方差。表5反映的是各變量與公共因子之間的相關(guān)系數(shù)，也反映了各個變量與公共因子之間相關(guān)的重要性，因子載荷量的絕對值越大，表示該變量與公共因子的相關(guān)密切程度越高，由此可發(fā)現(xiàn)：

表4：三考官各評分維度之間的相關(guān)

（1）A、B、C評分維度在第一個因子上載荷的絕對值較大，三個變量之間有共同的因子，關(guān)系比較密切，構(gòu)成第一個因子。因子1可命名為漢語教學(xué)設(shè)計與實施能力。

（2）F、G、H評分維度在第二個因子上載荷的絕對值較大，三個變量之間有共同的因子，關(guān)系比較密切，構(gòu)成第二個因子。因子2可命名為基于外語的教學(xué)組織與管理能力及跨文化交流能力。

（3）D、E評分維度在第三個因子上載荷的絕對值較大，兩個變量之間有共同的因子，關(guān)系比較密切，構(gòu)成第三個因子。因子3可命名為基于漢語的教學(xué)組織與管理能力及跨文化交流能力。

結(jié)合面試評分維度及因素分析的結(jié)果，以及《國際漢語教師標(biāo)準》中對各標(biāo)準的定義，可以看出筆試與面試所考察的能力存在相關(guān)性，兩者之間的相關(guān)性可以作為效度證據(jù)。

2.2.2 筆試成績與面試成績的相關(guān)

根據(jù)考試流程，筆試合格的考生才會參加面試，因此面試數(shù)據(jù)中，不包括筆試未合格的的考生，樣本數(shù)據(jù)的同質(zhì)性提高，個別差異減小，計算出來的相關(guān)系數(shù)會變小，預(yù)測效度總是會低估測驗的效度，從而弱化效度證據(jù)（張敏強，1996：126）。經(jīng)統(tǒng)計，筆試總成績（100題）與面試總成績的相關(guān)為0.21（在0.01水平（雙側(cè)）上顯著相關(guān)），表明筆試（100題）可以預(yù)測面試表現(xiàn)。

表5：旋轉(zhuǎn)以后的因子載荷矩陣

根據(jù)面試成績因子分析的結(jié)果，以因子1（漢語教學(xué)設(shè)計與實施能力，考生在面試A、B、C三個評分維度上的得分之和）為效標(biāo)，計算與標(biāo)準1、標(biāo)準2、標(biāo)準3（分別為考生在筆試中考察標(biāo)準1、標(biāo)準2和標(biāo)準3試題得分）的相關(guān)。以因子3（基于漢語的教學(xué)組織與管理能力及跨文化交流能力，考生在面試D、E三個評分維度上的得分之和）為效標(biāo)，計算標(biāo)準3、標(biāo)準4（分別為考生在筆試中考察標(biāo)準3、標(biāo)準4的試題得分）的相關(guān)。根據(jù)表6的分析結(jié)果，考生在筆試中標(biāo)準1、標(biāo)準2、標(biāo)準3上的得分與因子1各維度成績之間存在相關(guān)關(guān)系，且達到顯著性相關(guān)。根據(jù)表7的分析結(jié)果，考生在筆試中標(biāo)準3上的得分與因子3各維度成績之間存在相關(guān)關(guān)系，且達到顯著性相關(guān)。但在標(biāo)準4上的得分與因子3各維度成績之間存在相關(guān)較小。

表6：因子1及其各維度與標(biāo)準1、標(biāo)準2、標(biāo)準3的相關(guān)系數(shù)

表7：因子3及其各維度與標(biāo)準3、4的相關(guān)系數(shù)

2.2.3 筆試的正命中率

若筆試及面試成績合格，則認為考生已達到《國際漢語教師標(biāo)準》，考生將被授予《國際漢語教師證書》。考生在該考試上的成績是是否授予證書這一決策的重要依據(jù)，那么可以通過計算正確決定的比例來評價效度。比較依據(jù)筆試成績分數(shù)和面試分數(shù)做出的決策，即比較預(yù)測結(jié)果和實際結(jié)果，可以得到預(yù)測成功而且實際成功（正確授予），預(yù)測成功而事實上不成功（錯誤授予）、預(yù)測失敗而事實上成功（錯誤拒絕）、預(yù)測失敗而事實上失?。ㄕ_拒絕）四個組。對于決策者來說，更關(guān)心的是正命中率，即預(yù)測成功而且實際成功（正確授予）所占的比率，可以此來評價測驗效度（張敏強，1996：132）。

對此，以考生筆試成績（100題）60為合格線（滿分100），面試成績90為合格線（滿分150），將考生按筆試與面試成績，分為合格與不合格兩類，對這一數(shù)據(jù)進行了卡方擬合度檢驗。檢驗結(jié)果顯示，根據(jù)學(xué)生筆試成績做出的判斷與根據(jù)學(xué)生面試成績做出的判斷之間存在顯著關(guān)聯(lián)（x2=15.422，df=1，p<0.05）。具體說來，如果學(xué)生在筆試（100題）上合格，面試也很有可能被判定為合格（1113/1961=56.8%）；當(dāng)學(xué)生筆試（100題）被判定為不合格，面試也很有可能被判定為不合格（117/203=57.6%）；正中率為0.57。

表8：卡方獨立性檢驗變量列聯(lián)表

2.2.4 合格與不合格團體的差異性

考試分數(shù)是否可以區(qū)分以效標(biāo)行為定義的不同群體，也可以用于評估效度。一般的標(biāo)準參照測驗將要求掌握的最低知識或能力水平作為分界標(biāo)準。根據(jù)《國際漢語教師證書》考試的筆試或面試的考試設(shè)計，考生分數(shù)若達到合格線，即達到了最低的效標(biāo)水平。根據(jù)考生參加該考試成績將考生群體分為“合格”和“不合格”兩組，如果兩組之間在測驗分數(shù)上存在顯著差異，那么可以認為該考試是有效的，即考試可以對效標(biāo)分數(shù)的高低進行區(qū)分，否則可認為考試是無效的。對此差異進行統(tǒng)計上的顯著性水平檢驗的結(jié)果，也可作為測驗效度的指標(biāo)（張敏強，1996：132）。因此，可以考生筆試成績（100題）60為合格線（滿分100），粗略地將考生分為合格與不合格兩類，對面試成績進行獨立樣本t檢驗；以考生面試成績90為合格線（滿分150），粗略地將考生分為合格與不合格兩類，對筆試（100題）成績進行獨立樣本t檢驗。

統(tǒng)計結(jié)果顯示：筆試（100題）成績合格、不合格兩組考生的面試（ABC維度）成績有顯著性差異 （t=5.618，df=2162，p<0.05）：筆試（100題）合格的考生面試（ABC維度）成績顯著高于筆試未達到合格的考生面試（ABC維度）成績。對面試得分（DE維度）進行了獨立樣本t檢驗，結(jié)果顯示：筆試（100題）成績合格，不合格兩組考生的面試（DE）成績有顯著性差異（t=3.365，df=2162，p<0.05）：筆試合格的考生面試（DE維度）成績顯著高于筆試（100題）未達到合格的考生面試（DE維度）成績。同樣對面試得分（ABCDE維度）進行了獨立樣本t檢驗，結(jié)果顯示：筆試（100題）成績合格，不合格兩組考生的面試成績有顯著性差異 （t=5.388，df=2162，p<0.05），筆試 （100題）合格的考生面試得分（ABCDE維度）顯著高于筆試（100題）成績未合格的考生面試（ABCDE維度）得分。

以考生面試成績90為合格線（滿分150），粗略地將考生分為合格與不合格兩類，對筆試（100題）成績進行了獨立樣本t檢驗。結(jié)果顯示，面試成績合格，不合格兩組考生的筆試成績有顯著性差異（t=8.714，df=2162，p<0.05）：面試達到合格標(biāo)準的考生筆試成績顯著高于面試成績未達到合格標(biāo)準的考生筆試成績。

3.小結(jié)

基于《國際漢語教師證書》考試筆試的效度驗證過程，可以認為：

《國際漢語教師證書》考試筆試的考試內(nèi)容合理，較好地滿足了《國際漢語教師標(biāo)準》中對于教師應(yīng)具備的知識與能力考查范圍。

從筆試試卷及試題質(zhì)量分析上來看，在考生同質(zhì)性較高的情況下，該套試卷的信度，試題的難度與區(qū)分度基本達到了試題質(zhì)量的評價標(biāo)準，可以認為該試卷的信度較高，試題質(zhì)量較好。

以面試成績?yōu)樾?biāo)，衡量筆試的效度，可以發(fā)現(xiàn)，筆試成績與面試成績之間有較高的相關(guān)性，筆試成績可以較好地預(yù)測面試成績。根據(jù)筆試成績所做的決策較為有效。