邱靜遠(yuǎn)
摘 要:2016年6月,民族漢考(MHK)(二級)新大綱正式頒布,2018年6月,依據(jù)MHK(二級)新大綱命制的新試卷在青海正式啟用。本文對民族漢考(二級)新舊大綱進行了比較,并采集2016~2018年青海民族漢考(二級)筆試的實測數(shù)據(jù),對三年的試卷進行了縱向年度對比分析,評估了新大綱的試題質(zhì)量,對新舊大綱的過渡情況進行了分析和論證。
關(guān)鍵詞:MHK;新大綱;質(zhì)量分析;對比分析
【中圖分類號】G【文獻(xiàn)標(biāo)識碼】B【文章編號】1008-1216(2019)05B-0004-04
在少數(shù)民族地區(qū)推廣普及國家通用語言文字(漢語),對增進各民族溝通交流,鑄牢中華民族共同體意識具有特殊意義。中國少數(shù)民族漢語水平等級考試(以下簡稱“MHK”)是結(jié)合我國少數(shù)民族學(xué)習(xí)漢語的特點,專門測試母語非漢語的少數(shù)民族學(xué)習(xí)者語言水平的國家級標(biāo)準(zhǔn)化考試,主要考查應(yīng)考者運用漢語進行交際的能力,包括應(yīng)考者運用漢語工具完成生活、學(xué)習(xí)、工作和社會交往任務(wù)的能力。
MHK從低到高分為相互銜接的四個等級。MHK自2003年開考以來,已推廣到16個省區(qū),累積報考科次超過400萬。MHK考試大綱是從2002年起分級別先后頒布的,舊大綱使用了10年。2012年教育部民族教育司啟動了MHK大綱的修訂工作,目前,一級、二級大綱已經(jīng)修訂完畢,于2015年6月正式頒布,三級、四級大綱正在修訂。
2018年6月,經(jīng)過兩年的宣傳適應(yīng)期,依據(jù)MHK(二級)新大綱命制的試卷在青海正式啟用??荚嚧缶V是命題的規(guī)范性文件和標(biāo)準(zhǔn),是考試評價、復(fù)習(xí)備考的依據(jù),大綱的修訂必然會帶來試卷結(jié)構(gòu)、題型等方面的變化。而MHK是標(biāo)準(zhǔn)參照考試,應(yīng)當(dāng)保證在不同時間、使用不同試卷的考生得到公平對待,保證合格證書的授予標(biāo)準(zhǔn)不會隨著大綱變化、試卷難度波動而起伏,保證不同試卷得分具有可比性。
考試大綱的修訂給試題質(zhì)量控制,特別是穩(wěn)定考試難度帶來了挑戰(zhàn)。如何保障新舊大綱穩(wěn)定銜接?如何保障采用不同試卷結(jié)構(gòu)的考試所得的分?jǐn)?shù)具有可比性?這是考試研發(fā)者在推出新結(jié)構(gòu)的試卷時必須思考和解決的問題。這就需要在新舊大綱過渡期間,采集實測數(shù)據(jù),進行新大綱考試數(shù)據(jù)的年度分析以及不同年度試卷的縱向?qū)Ρ确治?,找出新舊版本考試的差異,評估新大綱MHK考試試題質(zhì)量,分析產(chǎn)生差異的原因,為提升命題質(zhì)量和改進教學(xué)提出有價值的建議,為實現(xiàn)一年多考、一綱多卷奠定基礎(chǔ)。
一、MHK(二級)筆試新舊大綱比較
MHK(二級)主要考查少數(shù)民族學(xué)習(xí)者完成義務(wù)教育階段漢語學(xué)習(xí)任務(wù)時應(yīng)達(dá)到的水平,考試對象為準(zhǔn)備進入全日制民族高級中學(xué)、中等專業(yè)技術(shù)學(xué)校學(xué)習(xí)的少數(shù)民族學(xué)生,或者希望向有關(guān)單位證明自己漢語水平、希望評價自己漢語水平的少數(shù)民族學(xué)習(xí)者。MHK二級筆試包括聽力理解、閱讀理解與書面表達(dá)三個部分。
對新舊版本的考試進行對比分析,首先要明確新舊考試大綱的聯(lián)系與區(qū)別,尤其是區(qū)別有多大,這是研究的先決條件。根據(jù)《中國少數(shù)民族漢語水平等級考試大綱》(二級)修訂版,大綱修訂的原則為“繼續(xù)保持原大綱注重考查考生實際運用漢語的能力,突出能力的全面考查,保持原大綱的主體結(jié)構(gòu)不變;修訂等級標(biāo)準(zhǔn),對大綱的題型進行調(diào)整、補充和完善,更新和調(diào)整字表和詞表,完善考試流程;考試內(nèi)容和表述方式力求貼近少數(shù)民族生活和漢語教學(xué)的實際”。即理念、架構(gòu)保持穩(wěn)定,內(nèi)容更新、調(diào)整,貼近少數(shù)民族實際。
通過修訂原則和表1可以看出,MHK(二級)新舊大綱理念、架構(gòu)是穩(wěn)定的,沒有結(jié)構(gòu)上的變化,變化在細(xì)節(jié)上,主要體現(xiàn)在以下幾個方面:一是題型調(diào)整。聽力理解部分取消了聽力搭配的題型,增加了對話和語段題的題量;閱讀理解部分取消了詞語解釋的題型,增加了詞語填空的題量;書面表達(dá)客觀題部分取消了判斷詞語位置,語句判斷由選正確改為選錯誤。二是題量減少。由全卷91題減少到了86題,書面表達(dá)客觀題部分減少了5題。三是考試時間增加??荚嚂r間由110分鐘增加到了115分鐘。四是對字表和詞表的修訂,調(diào)整了數(shù)量。這樣,減少了側(cè)重知識和訓(xùn)練的題型,增加了交際和應(yīng)用的題型,突出了對語言運用能力的考查。
二、研究方法
新舊版本大綱的對比分析,采集同一群體在相鄰的時間進行新舊大綱兩個版本試卷測試的數(shù)據(jù),這樣考生的能力值不會有大的變化,測量的精度比較高,但考生的動機不好控制,實際操作中也有諸多困難,難以實現(xiàn)。為確保分析的科學(xué)性,我們決定采用歷年的實測數(shù)據(jù)。目前,青海省使用MHK(二級)筆試成績作為初中畢業(yè)暨升學(xué)考試(中考)漢語科目成績,每年6月舉行,考生作答動機良好,能夠反映真實水平,考后評卷等工作規(guī)范有序,測試數(shù)據(jù)可靠,樣本數(shù)據(jù)具有典型性、穩(wěn)定性、可靠性和有效性,完全可以用于對比分析。
研究使用了2016~2018年青海MHK(二級)筆試的測試數(shù)據(jù)。測試數(shù)據(jù)剔除了信息缺失、刪除了未作答和成績?yōu)?的考生作答信息。樣本人數(shù)分別為:2016年9882人,2017年9418人,2018年9982人,共計29282條有效數(shù)據(jù)。在三年的考試中,2016卷和2017卷依據(jù)舊大綱命制,2018卷依據(jù)新大綱命制。
根據(jù)統(tǒng)計結(jié)果,2016~2018年的考生在考點分布、民族分布、性別分布等方面一致性高。將參加考試的全部考生歸入24個市縣級考點單位,考生最多的來自共和縣、同仁縣和澤庫縣三個考點,考生較少的來自德令哈市、格爾木市、海晏縣、烏蘭縣四個考點;從考生民族分布看,90%以上的考生來自藏族,5%左右的考生來自蒙古族,其他來自回族、滿族和土族等。從考生性別分布看,女生比例為53%,男生比例為47%,女生比例略高于男生,各年基本穩(wěn)定。
本研究主要基于經(jīng)典測驗理論進行定量分析,主要工具有ASC Item and Test Analysis Package 、SPSS,并采用FOXPRO自編程序進行數(shù)據(jù)處理,從被試總分、分測驗分布、試卷和題目統(tǒng)計參數(shù)等對2016~2017年舊大綱卷和2018年新大綱卷進行分析。
三、2016~2018卷測試數(shù)據(jù)統(tǒng)計結(jié)果與分析
為了驗證2018卷的穩(wěn)定性和可靠性,我們將2018卷與2016卷、2017卷進行了縱向?qū)Ρ确治觥?/p>
(一)總分與分?jǐn)?shù)分布
從圖1可見,2018卷與2016卷、2017卷分?jǐn)?shù)分布基本一致。按照一題一分、滿分85分的原則(不包括作文得分,2016卷和2017卷按照85:90比例折算),將考生分?jǐn)?shù)分別歸入10個分?jǐn)?shù)段,獲得不同分?jǐn)?shù)段考生的分布頻率。除0~17分低分區(qū)間外,其他各分?jǐn)?shù)段均有5%以上比例的考生。2016卷、2017卷和2018卷考生總分在68~76.5分?jǐn)?shù)段內(nèi)分布比例最大。由表2可知,從客觀題總分來看,試卷平均分分布在54~62分之間,2018卷平均分最低,主要原因應(yīng)該是由于書面表達(dá)部分減少了5道試題,標(biāo)準(zhǔn)差較為穩(wěn)定,變化較小。2016~2018卷聽力理解和閱讀理解的平均分和標(biāo)準(zhǔn)差較為接近,難度差異變化不大。書面表達(dá)部分由于2018卷滿分為10分,而2016卷、2017卷滿分為15分,無法進行對比,但可以看出舊大綱下這部分考生成績平均分穩(wěn)定在9分左右,標(biāo)準(zhǔn)差在3.0左右。而作文部分2018卷得分均略高于2016卷和2017卷。
(二)難度與區(qū)分度
三年試卷的題目難度曲線大致均呈負(fù)偏態(tài)分布,難度集中在0.5~0.8的區(qū)間內(nèi)。2016卷和2017卷分布最為一致,2018卷題目難度集中分布在0.6左右,分布頻率向兩端依次減少,試題難度分布較為均勻。
2016~2018卷題目區(qū)分度的分布一致性高,呈正態(tài)分布,區(qū)分度為0.5時,不同年份試卷在該點的比例占各試卷題目總量的40%~50%,此外,各試卷90%的題目區(qū)分度在0.2以上,表明題目質(zhì)量較好。
(三) 信度與效度
整體來看,各年份試卷的聽力理解和閱讀理解部分α系數(shù)均在0.89以上,信度較高,題目比較可靠。書面表達(dá)部分各試卷信度較為一致,在0.76~0.79之間起伏,與聽力理解和閱讀理解相比信度較低,這可能是因為題目數(shù)量較少。
為了對2016~2018卷的結(jié)構(gòu)效度進行分析,研究采用因素分析的主成分方法對三卷各分測驗的作答數(shù)據(jù)進行了對比驗證,考查每個分測驗在每個潛在因子上的負(fù)荷情況。結(jié)果表明,三年考試的情況基本相同。除2018年書面表達(dá)分測驗外,其他各分測驗在所提取主因素上的負(fù)荷均在0.9以上。三年考試只有一個共同因素,考查了一個潛在因素,因此,可以認(rèn)為三年考試的構(gòu)念大致相同,結(jié)構(gòu)效度較高。
(四)新大綱卷試題分析
2018卷是MHK(二級)新大綱啟用后正式使用的第一套試卷。由于作文原始分為0~6等級分?jǐn)?shù),未進行分?jǐn)?shù)轉(zhuǎn)換,所以選取的分析對象為除作文以外的前85道題目。根據(jù)表4可知,從難度看,2018年卷全卷難度0.65,中等略易。
從α系數(shù)來看,全卷信度0.96,書面表達(dá)部分信度相對較低,尤其是書面表達(dá)的選擇題部分,可能是因為題目數(shù)量較少,只有5個題。整體來看,2018新大綱卷難度適中,信度較高,能夠較好地反映考生真實的能力水平。
四、結(jié)論和啟示
從以上的分析可以看出,MHK(二級)? (下轉(zhuǎn)第9頁)? ? (上接第6頁)試卷質(zhì)量總體上是穩(wěn)定可靠的,基本實現(xiàn)了新舊大綱平穩(wěn)過渡的目標(biāo)。在總分分布、難度、區(qū)分度等方面,2018卷與2016卷及2017卷的數(shù)值較為一致;2018卷的整卷信度α值為0.96,說明這套試卷測驗分?jǐn)?shù)的可信度高。在效度分析方面,相關(guān)分析結(jié)果顯示,分測驗對全卷具有較高的代表性,其得分能有效地預(yù)測全卷得分。
通過三年試卷縱向?qū)Ρ劝l(fā)現(xiàn),題型變化對考生作答影響顯著。這是新舊版本考試的一個明顯差異。分?jǐn)?shù)分布書面表達(dá)漢字題部分呈現(xiàn)“U”型分布,分?jǐn)?shù)兩端人數(shù)多于中間分?jǐn)?shù)段人數(shù),而且考生人數(shù)分布最多的分?jǐn)?shù)點為0分,可能是因為考生對新題型還不熟悉,需要一個適應(yīng)的過程。填空題部分因試題改革未有參照標(biāo)準(zhǔn),需根據(jù)后期情況進行觀察和調(diào)整。
少數(shù)民族學(xué)生在書面表達(dá)能力方面存在薄弱環(huán)節(jié)。這也印證了少數(shù)民族學(xué)生在漢語學(xué)習(xí)中口語和書面表達(dá)能力較弱的實際情況,也從側(cè)面反映在新舊體系的過渡中體現(xiàn)的考試指揮棒作用。
這也說明,要做好新舊大綱的平穩(wěn)過渡,除考試研發(fā)部門要控制好試題質(zhì)量外,基礎(chǔ)教育行政部門和教研部門也有責(zé)任,應(yīng)加強宣傳,做好考試大綱的解讀和適應(yīng)測試工作,幫助考生準(zhǔn)確把握考試大綱修訂情況,及時回應(yīng)教師、學(xué)生和社會關(guān)切。
通過以上的分析還可以看出,通過實證研究和量化分析的結(jié)果了解學(xué)生對知識、技能的掌握情況,反饋教學(xué)中存在的問題具有重要意義。這不僅能為優(yōu)化和改善教學(xué)工作指明努力的方向,而且可以為日后修改或篩選考試試題、建立試題庫和實施標(biāo)準(zhǔn)化考試等提供參考。
分析的結(jié)果表明,命題人員在命題過程中應(yīng)進一步了解少數(shù)民族學(xué)生學(xué)習(xí)漢語的實際情況,充分考慮少數(shù)民族地區(qū)漢語教學(xué)的復(fù)雜性和不平衡性,這樣才能確保試題的質(zhì)量和考試的信效度。
建立MHK試題質(zhì)量評價體系除定量分析外,還需要進行定性分析,比如試題是否符合命題規(guī)則和考核目標(biāo)。本次分析主要采用經(jīng)典測量理論,這種理論有局限性,今后應(yīng)結(jié)合項目反應(yīng)理論來研究。
實施雙語教育是國家推進民族教育的重要舉措,也是提高民族教育質(zhì)量的重要基礎(chǔ)??荚囀菣z驗和評價學(xué)習(xí)成果的手段,更是指導(dǎo)和改進教學(xué)質(zhì)量的方法。
MHK新大綱調(diào)整、更新后更加貼近少數(shù)民族實際,在今后的應(yīng)用中,應(yīng)充分發(fā)揮在學(xué)業(yè)評價、質(zhì)量監(jiān)測、教學(xué)反饋等方面的作用,為推進雙語教育取得更大的實效做出突出貢獻(xiàn)。
參考文獻(xiàn):
[1]祁永芳.對民族漢考及民族地區(qū)漢語教學(xué)的改進建議[J].中國民族教育,2018,(2).
[2]任濤,扈巖,張青華,張泉利.高中學(xué)業(yè)水平考試評價標(biāo)準(zhǔn)體系研究——以北京市為例[J].中國考試,2017,(1).