徐立清,胡浩亮,崔彥群
(浙江萬里學(xué)院教育發(fā)展研究中心,浙江寧波 315100)
近年來,隨著高等教育普及化所帶來的質(zhì)量競爭日益加劇,以及新公共管理思潮和高等教育循證運(yùn)動的興起,關(guān)注高等教育核心利益者——學(xué)生群體的學(xué)習(xí)體驗和發(fā)展是大勢所趨?!皬陌l(fā)達(dá)國家高校課程教學(xué)質(zhì)量評價的發(fā)展趨勢來看,以學(xué)生體驗為核心,將學(xué)習(xí)體驗納入教學(xué)評價,關(guān)注學(xué)習(xí)過程和效率的課程教學(xué)質(zhì)量評價日益興盛、并不斷受到推崇”。[1]在發(fā)達(dá)國家,學(xué)習(xí)體驗調(diào)查“成為高等教育質(zhì)量保證的核心原則,已被納入內(nèi)部機(jī)構(gòu)質(zhì)量保證體系”。[2]2020年,中共中央、國務(wù)院印發(fā)的《深化新時代教育評價改革總體方案》明確提出“學(xué)生是接受教育的主體,學(xué)生評價是教育評價的基礎(chǔ)環(huán)節(jié)”。當(dāng)前,我國高校課程評價雖然強(qiáng)調(diào)“要關(guān)注學(xué)習(xí)者活動”,但是在實際中評價主體多為同行專家,學(xué)生在評價中的地位并不突出,評教常流于形式,課程評價難以真實反映教學(xué)實際狀況和學(xué)生的實際感受與收獲,難以真正發(fā)揮評價的反饋與促進(jìn)功能。[3]基于這些問題,通過分析國際先進(jìn)的學(xué)習(xí)體驗調(diào)查工具的內(nèi)涵與特征、優(yōu)點與局限,系統(tǒng)梳理影響學(xué)習(xí)體驗的關(guān)鍵環(huán)節(jié)與共性要素,能夠發(fā)現(xiàn)引發(fā)良好學(xué)習(xí)體驗的生成機(jī)理,為我國高校課程學(xué)習(xí)體驗調(diào)查提供重要的借鑒和參考。
澳大利亞的課程體驗問卷(Course Experience Questionnaire,CEQ)、英國的全國大學(xué)生調(diào)查量表(National Student Survey,NSS)和美國的全國大學(xué)生參與度調(diào)查量表(National Survey of Student Engagement,NSSE)是目前全球較為著名的學(xué)習(xí)體驗調(diào)查工具。
澳大利亞的CEQ是用來衡量澳大利亞高等教育系統(tǒng)所有畢業(yè)生對學(xué)位課程質(zhì)量感知的量表,主要關(guān)注畢業(yè)生對課程的總體滿意度、教師的良好教學(xué)以及自我評價技能的水平。CEQ是1981年P(guān)aul Ramsden等人為了調(diào)研學(xué)習(xí)方式與感知課程質(zhì)量之間的關(guān)系而開發(fā)的量表,該量表以3P模型(the presage-process-product model)為基礎(chǔ)。3P是基于建構(gòu)主義理論提出的一種學(xué)習(xí)模型,認(rèn)為學(xué)習(xí)分為預(yù)知、過程和結(jié)果三個階段,三個階段中學(xué)生的個體特征、對學(xué)習(xí)情境感知、學(xué)習(xí)方法、學(xué)生成果相互影響,從學(xué)生對學(xué)習(xí)情境的感知和體驗可以推測學(xué)習(xí)成果。在Ramsden等人的倡導(dǎo)下,1989年開始,澳大利亞以墨爾本大學(xué)為代表的部分高校為了提升教學(xué)質(zhì)量開始使用該量表,“作為確定課程質(zhì)量的優(yōu)與劣的依據(jù)之一”。[4]該量表后經(jīng)過Michael Prosser等人的研究修訂,現(xiàn)已成為一種廣泛使用的量化工具,指標(biāo)由原來的五個方面23個選題簡化為“總體滿意度、良好的教學(xué)、通用技能”三個方面13個選題。[5]CEQ使用李克特量表,每道題目后都會給出5種備選答案,學(xué)生根據(jù)自己的學(xué)習(xí)體驗表達(dá)自己的態(tài)度和看法。通過詢問畢業(yè)生在多大程度上同意一系列有關(guān)課程學(xué)習(xí)經(jīng)歷的陳述,從而為澳大利亞相關(guān)院校提供教學(xué)質(zhì)量的信息。為保障評價的可靠性,CEQ明確提出,如果參與調(diào)查的人數(shù)少于25,則不會報告調(diào)查結(jié)果。CEQ現(xiàn)由澳大利亞社會研究中心負(fù)責(zé)組織實施,建有專門的網(wǎng)站(https://www.qilt.edu.au),主要收集畢業(yè)生對課程的反饋,評估大學(xué)的教學(xué)質(zhì)量作為大學(xué)排名的重要依據(jù),近年來也用于在線課程的教學(xué)質(zhì)量監(jiān)測。2020年澳大利亞113所高等教育機(jī)構(gòu)參與全國在線調(diào)查,共收集28 000多份有效調(diào)查答復(fù)。
英國的NSS是在CEQ基礎(chǔ)上修訂而成的。21世紀(jì)初,伴隨著英國高等教育規(guī)模的擴(kuò)大,英國政府加強(qiáng)了對高等教育質(zhì)量的監(jiān)控,本著“為準(zhǔn)大學(xué)生選擇就讀大學(xué)與專業(yè)以及高校內(nèi)部質(zhì)量改進(jìn)提供必要的信息幫助,并促進(jìn)公共問責(zé)”[6]的目標(biāo),在借鑒澳大利亞CEQ問卷的基礎(chǔ)上制定了NSS。NSS設(shè)有“我的課程教學(xué)、學(xué)習(xí)機(jī)會、評估和反饋、學(xué)術(shù)支持、組織與管理、學(xué)習(xí)資源、學(xué)習(xí)型社區(qū)、學(xué)生的聲音、總體滿意度”九個方面27個核心問題。[7]NSS也使用李克特量表,按照肯定同意、基本同意、既不同意也不反對、大多不同意、完全不同意、不適用6種情況選答。NSS使用說明也明確要求,調(diào)查問卷回收率在50%以上且至少有10名學(xué)生的反饋才算有效。NSS在英國高等教育撥款委員會的監(jiān)管下,由益普索·莫里調(diào)查公司(Ipsos MORI,第三方獨(dú)立調(diào)查機(jī)構(gòu))負(fù)責(zé)管理,調(diào)查對象主要是應(yīng)屆畢業(yè)生,調(diào)查范圍是英國所有公立高等教育機(jī)構(gòu),調(diào)查時間是1月到4月,以網(wǎng)絡(luò)調(diào)查為主,調(diào)查結(jié)果主要用于信息幫助、質(zhì)量改進(jìn)、公眾問責(zé)。自2005年以來,已持續(xù)開展了16次,每年有近50萬學(xué)生被邀請參加全國學(xué)生網(wǎng)上調(diào)查(https://www.thestudentsurvey.com),被視為英國高等教育質(zhì)量監(jiān)管的重要組成部分。
美國的NSSE以調(diào)查學(xué)生學(xué)習(xí)參與度為核心,試圖“從名聲、資源轉(zhuǎn)移到學(xué)生的體驗,特別是與教學(xué)和經(jīng)驗有關(guān)的活動”,[8]NSSE概念譜系可追溯到20世紀(jì)30年代Ralph Tyler的研究,后逐漸涉及心理學(xué)、社會學(xué)、認(rèn)知發(fā)展、學(xué)習(xí)理論等多個領(lǐng)域,量表也在實踐探索中不斷發(fā)展和完善。1979年羅伯特·佩斯開發(fā)了《大學(xué)生就讀經(jīng)驗調(diào)查》,是第一個全面關(guān)注學(xué)生學(xué)習(xí)投入程度的研究項目,2000年開始首次正式啟用《全美大學(xué)生參與度調(diào)查》(NSSE)。學(xué)習(xí)投入理論是NSSE的重要理論基礎(chǔ),解釋了大學(xué)生如何發(fā)展成為具備復(fù)雜成熟的了解自我、他人及世界能力的個體的過程,并逐步形成了有效教育實踐五項原則(EEP),包括學(xué)術(shù)挑戰(zhàn)水平、主動學(xué)習(xí)和協(xié)作學(xué)習(xí)、師生互動、豐富教育經(jīng)歷和校園環(huán)境支持。2013年,NSSE推出2.0版本,設(shè)有“學(xué)術(shù)挑戰(zhàn)、與同齡人一起學(xué)習(xí)、教師經(jīng)驗、校園環(huán)境”四個方面和“高階學(xué)習(xí)、反思與整合學(xué)習(xí)、學(xué)習(xí)策略、定量推理、協(xié)作學(xué)習(xí)、師生互動、有效的教學(xué)實踐、互動質(zhì)量、支持性環(huán)境”九項指標(biāo)及47個選題。[9]NSSE現(xiàn)由印第安納大學(xué)高等教育研究中心、印第安納大學(xué)調(diào)查研究中心和全美高等教育管理系統(tǒng)中心負(fù)責(zé)管理,建有專門的網(wǎng)站(http://nsse.indiana.edu),并配有全國咨詢委員會和技術(shù)咨詢團(tuán)隊負(fù)責(zé)監(jiān)督指導(dǎo),調(diào)研范圍是公立或私立四年制大學(xué),對象主要是大一與大四學(xué)生,時間集中在每年二三月份,以網(wǎng)絡(luò)和郵件為主。NSSE匯總學(xué)生對一組相關(guān)調(diào)查問題的回答,形成分析報告反饋調(diào)研高校,高??梢杂械姆攀傅剡M(jìn)行教學(xué)質(zhì)量監(jiān)控和改革或向社會公開以提高知名度,一些州政府和高等教育管理機(jī)構(gòu)也將NSSE結(jié)果作為績效評定的參考依據(jù)。NSSE目前是全球應(yīng)用最為廣泛的學(xué)習(xí)參與度體驗調(diào)查工具,截至2020年已有1650多所高校、600萬名學(xué)生參加。
作為目前較為通用的大規(guī)模調(diào)查工具,CEQ、NSS、NSSE在調(diào)查目的、對象、內(nèi)容、重點和結(jié)果應(yīng)用上有較大差異(表1)。在調(diào)查目的上,CEQ主要是為有關(guān)院校提供教育質(zhì)量的信息,為社會提供相似課程可比較的績效數(shù)據(jù),推動高校課程教學(xué)質(zhì)量改善;NSS側(cè)重于為大學(xué)入學(xué)申請者和家長選擇專業(yè)及為學(xué)校提高教學(xué)質(zhì)量提供信息幫助,提高學(xué)生和社會對高等教育質(zhì)量的滿意度;NSSE主要是為參與高校提供具有診斷價值并且可用于指導(dǎo)教育改進(jìn)的數(shù)據(jù),滿足高校監(jiān)控教學(xué)質(zhì)量的需要,并建議結(jié)合其他有關(guān)學(xué)生及其經(jīng)歷的信息來綜合評價教育質(zhì)量。在調(diào)查對象上,CEQ和NSS以畢業(yè)生和即將畢業(yè)的學(xué)生為主,NSSE調(diào)查對象主要是在校生。在調(diào)查內(nèi)容上,CEQ關(guān)注課程學(xué)習(xí)中學(xué)生的學(xué)習(xí)行為、狀態(tài)和成效,側(cè)重于課程學(xué)習(xí)體驗調(diào)查;NSS聚焦課程教學(xué)、學(xué)習(xí)支持與資源、評價與反饋等,注重學(xué)生對大學(xué)經(jīng)歷的滿意度;NSSE注重測量各類“具體”和“有形”的學(xué)習(xí)和活動,側(cè)重于在校生對學(xué)習(xí)、各類活動的投入和參與程度。在數(shù)據(jù)處理上,CEQ使用Agresti-Coull方法來估計滿意度置信區(qū)間,把學(xué)生總數(shù)和年齡等作為滿意度置信區(qū)間的影響因素。NSS把性別、種族、殘疾、學(xué)習(xí)科目、學(xué)習(xí)方式等作為基準(zhǔn)因素,通過在基準(zhǔn)分?jǐn)?shù)前添加+或-的符號來表示實際值和基準(zhǔn)值之間存在的顯著性差異。如果基準(zhǔn)值前沒有+或-符號,則表示實際值和基準(zhǔn)值之間的差異不顯著。NSSE每個指標(biāo)都以0到60的分值表示,將每個項目的選擇轉(zhuǎn)換為60分的量化表(例如,從不=0,有時=20,經(jīng)常=40,非常經(jīng)常=60),然后計算總體平均來代表學(xué)生的平均水平分?jǐn)?shù)。學(xué)校參與度分?jǐn)?shù)是每個班級學(xué)生水平分?jǐn)?shù)的加權(quán)平均值。在結(jié)果應(yīng)用上,CEQ和NSS的調(diào)查結(jié)果被公開且涉及經(jīng)費(fèi)資助,特別是NSS被廣泛應(yīng)用于高校排名。NSSE與被調(diào)研高校簽訂協(xié)議書,明確規(guī)定不將調(diào)研結(jié)果公開,只用于教育研究,但是也有部分高校自己選擇公開調(diào)研結(jié)果以爭取優(yōu)質(zhì)生源和資助。
表1 CEQ、NSS、NSSE量表比較分析一覽表
總體上,三個量表都是高等教育進(jìn)入大眾化或普及化時代后基于提升質(zhì)量的需求而出現(xiàn)的,共同優(yōu)勢是將學(xué)生置于教育質(zhì)量評價和監(jiān)測的主體地位,在實施中都有獨(dú)立于高校以外的第三方管理機(jī)構(gòu),責(zé)任明確,管理體系完善。CEQ的優(yōu)勢在于聚焦課程教學(xué)評估,結(jié)構(gòu)穩(wěn)定,更適用于對課程教學(xué)質(zhì)量的監(jiān)測;NSS的優(yōu)勢是從目標(biāo)、過程到結(jié)果的全流程調(diào)研,不僅調(diào)研課程學(xué)習(xí)體驗,也調(diào)研組織管理、資源支持等體驗,更適用于對整體教學(xué)質(zhì)量體驗的調(diào)研;NSSE的優(yōu)勢是注重學(xué)生的動態(tài)學(xué)習(xí)過程,從學(xué)生參與、投入的角度測量師生互動、支持性環(huán)境、學(xué)習(xí)策略等質(zhì)量,更適用于對高校教育支持環(huán)境和學(xué)生學(xué)習(xí)情況全方位的調(diào)研,有助于高校引導(dǎo)學(xué)生學(xué)習(xí)行為的改變。
調(diào)查數(shù)據(jù)的廣泛使用,尤其是被用作高等教育決策的證據(jù),其前提是數(shù)據(jù)的可靠性和有效性。由于學(xué)習(xí)體驗是一種學(xué)習(xí)經(jīng)歷的感受,本身比較抽象,且受情緒、動機(jī)、偏好的影響,因而存在一定的偏差,也因而導(dǎo)致CEQ、NSS、NSSE在可靠性和信度上都存在一定的局限性。
在量表的可靠性上。CEQ和NSS注重調(diào)查價值觀、態(tài)度或?qū)φn程學(xué)習(xí)經(jīng)歷的滿意度,側(cè)重于結(jié)果性與認(rèn)知評價,一定程度上還是一種自我主觀的模糊判斷,而不是一種“事實”或是“行為”的選擇,這在測量和判斷上會有一定的難度;而且選題較為寬泛,正如威廉姆斯等所言,“NSS根本沒有體現(xiàn)學(xué)生清晰而具體的受教育體驗”。[10]相對而言,NSSE注重測量高階學(xué)習(xí)、反思與整合學(xué)習(xí)、協(xié)作學(xué)習(xí)、數(shù)字信息技能應(yīng)用以及對各種學(xué)習(xí)、各類活動的投入和參與程度,側(cè)重于過程性評價和學(xué)習(xí)行為評價,學(xué)生比較容易做出評判與選擇。在量表設(shè)計過程中,不僅要遵循選題“措辭清楚、簡明扼要,能代表所有觀點的強(qiáng)度、涵蓋所要研究領(lǐng)域的主要方面,受訪者已知調(diào)查的框架,且知曉值得認(rèn)真對待以及不會受到威脅、難堪、侵犯隱私,能以社會期望方式回答問題”等基本規(guī)則之外,還“把被評價特質(zhì)分解為實在具體的行為方面,針對這些行為方面進(jìn)行評價”,[11]這是解決體驗、態(tài)度等調(diào)查局限性的重要策略。另外,為提高調(diào)查數(shù)據(jù)的信效度,馬蘇德·沙等強(qiáng)調(diào)指出,“使用數(shù)據(jù)來為改進(jìn)提供信息的工作有限,需要通過促進(jìn)學(xué)生與院校之間的合作伙伴關(guān)系來真正聽取學(xué)生的聲音”,[12]要把定性評估與定量分析結(jié)合,獲得更豐富、更深入、更真實的學(xué)生體驗和行為數(shù)據(jù)。NSSE創(chuàng)始主任喬治·庫恩提出,可根據(jù)從焦點小組、認(rèn)知測試和對結(jié)果的心理測量分析中獲得的信息對個別項目和整體工具進(jìn)行不斷改進(jìn),以提高評價的一致性和有效性。[13]
在量表的信度上,由于CEQ、NSS調(diào)查結(jié)果的公開以及被用于排名,這給院校帶來了巨大的壓力,學(xué)生在調(diào)查實施過程中常被引導(dǎo)甚至被操控,一定程度上影響了調(diào)查的信度。為此,近年來,NSS明確要求,工作人員不得明確指導(dǎo)學(xué)生如何完成調(diào)查,例如解釋問題的含義或NSS量表。相對而言,NSSE的調(diào)查結(jié)果主要是為了給參與機(jī)構(gòu)提供有關(guān)學(xué)生行為和機(jī)構(gòu)因素的可操作診斷信息,幫助參與院校監(jiān)測教育教學(xué)環(huán)節(jié)中的具體問題,而不是為了甄選與排名。為保證調(diào)查的真實性,發(fā)揮好評價的改進(jìn)功能,在調(diào)查結(jié)果的運(yùn)用上應(yīng)針對課程設(shè)置及其教學(xué)中的具體問題,著眼于改進(jìn)而不是遴選。正如勞倫·麥克萊恩等所指出的,“若為了有效衡量課程的質(zhì)量,學(xué)生報告的信息會更誠實,結(jié)果可以改善教學(xué)效果,而不是對行政管理有利”。[14]
借鑒上述國際學(xué)習(xí)體驗調(diào)研典型量表,結(jié)合我國高校課程教學(xué)實際與時代要求,作者建議高校課程學(xué)習(xí)體驗調(diào)查問卷設(shè)計思路可以從以下幾個方面著手。
突出“以學(xué)為中心”,跳出以往從教師個體的“教學(xué)”角度出發(fā)、以“甄別、遴選”為目的的傳統(tǒng),轉(zhuǎn)為“從學(xué)生的視角設(shè)計評教問題,在關(guān)注教師教學(xué)行為的同時,強(qiáng)調(diào)學(xué)生的課程體驗”,[15]以“促進(jìn)、發(fā)展”為目的,設(shè)計學(xué)生可以理解和判斷、與自身學(xué)習(xí)經(jīng)歷有關(guān)的內(nèi)容,重視調(diào)查研究性學(xué)習(xí)、協(xié)作學(xué)習(xí)以及師生互動等現(xiàn)代教學(xué)模式的運(yùn)用情況,凸顯“討 論”“溝通”“支持”“激勵”“反饋”“建 議”等高頻詞,注重測量學(xué)生在學(xué)習(xí)后的表現(xiàn),如促進(jìn)、發(fā)展和提高了什么,全線貫穿“以學(xué)為中心”的增值性評價理念。
指標(biāo)體系設(shè)計應(yīng)充分借鑒國際先進(jìn)的學(xué)習(xí)體驗調(diào)查量表中的關(guān)鍵環(huán)節(jié)和共性因素,遵循良好學(xué)習(xí)體驗形成的內(nèi)在規(guī)律,圍繞影響課程學(xué)習(xí)體驗的全流程與全方位要素設(shè)計指標(biāo)體系,參考CEQ等量表的有效經(jīng)驗,以學(xué)生可做出明確的事實判斷為原則,通過以“證據(jù)”為基礎(chǔ)的敘事方式,揭示事實背后的隱藏意義,賦予每項指標(biāo)以獨(dú)特的用意,建立和形成問卷的“事庫”“例庫”。根據(jù)我國高校課程教學(xué)現(xiàn)狀,建議指標(biāo)體系設(shè)計聚焦課程目標(biāo)、學(xué)習(xí)過程、資源平臺和效果反饋四個維度。
課程目標(biāo)維度的指標(biāo)設(shè)計應(yīng)側(cè)重調(diào)研課程目標(biāo)是否具有一定的學(xué)術(shù)挑戰(zhàn)性。NSSE(2013)調(diào)查發(fā)現(xiàn),參加高階學(xué)習(xí)課程的學(xué)生在將獲得的知識應(yīng)用于實踐,分析想法、反思經(jīng)驗以及批判性地評估和查看信息和新想法方面做得更好。[8]我國教育部《關(guān)于一流本科課程建設(shè)的實施意見》也明確提出,要有“高階性”“挑戰(zhàn)度”,讓“學(xué)生體驗‘跳一跳才能夠得著’的學(xué)習(xí)挑戰(zhàn)”,以此“增強(qiáng)學(xué)生經(jīng)過刻苦學(xué)習(xí)收獲能力和素質(zhì)提高的成就感”。在選題表述上可以借鑒NSS中“這門課程對智力有激發(fā)作用”“我的課程要求我取得最好的成績”等敘述方式。
學(xué)習(xí)過程維度的指標(biāo)設(shè)計主要關(guān)注三個問題,課程組織是否合理、講解是否清晰,交流互動的氛圍是否良好,教師備課、輔導(dǎo)、反饋是否到位。問題的表述可以參照CEQ中“我的講師非常善于解釋事物”、NSS中“作為我課程的一部分,我有機(jī)會與其他學(xué)生一起工作”、NSSE中“對測試或完成的作業(yè)提供及時和詳細(xì)的反饋”等方式。例如,“課程設(shè)計的討論主題對我有幫助”“本課程要求我至少提交幾次(6-7次以上、4-5次、2-3次、1次、沒有作業(yè))過程作業(yè)”等。
資源平臺維度的指標(biāo)設(shè)計應(yīng)聚焦學(xué)習(xí)資源、輔導(dǎo)、平臺和環(huán)境是否有利于形成積極的學(xué)習(xí)體驗,NSSE(2013)調(diào)查發(fā)現(xiàn),以積極的人際關(guān)系為特征的大學(xué)環(huán)境可以促進(jìn)學(xué)生的學(xué)習(xí)和成功;精心設(shè)計的學(xué)習(xí)社區(qū)、輔導(dǎo)服務(wù)、學(xué)習(xí)技能研討會、文化中心以及服務(wù)、實習(xí)、研究等綜合實踐項目等,均有助于學(xué)生有效學(xué)習(xí)。[8]在選題表述上可以參考CEQ中“員工竭盡全力去理解我在工作中可能遇到的困難”、NSS中“關(guān)于我的課程,我已經(jīng)得到了足夠的建議和指導(dǎo)”等選項,又如,“我喜歡本課程教學(xué)平臺上的資源”“我是通過如下途徑來解決學(xué)習(xí)中遇到的困難(直接問老師、與同學(xué)討論仍解決不了再問老師、向同學(xué)請教、通過網(wǎng)絡(luò)獨(dú)立解決、其他)”等。
效果反饋維度的指標(biāo)設(shè)計主要關(guān)注反饋途徑是否暢通和課程總體滿意度兩個方面。學(xué)習(xí)體驗是教師教學(xué)與學(xué)生學(xué)習(xí)互動的結(jié)果,反饋途徑的暢通是形成良好的學(xué)習(xí)體驗的重要影響因素,在選題上可以參照CEQ中“工作人員花了很多時間來評論我的工作”“教職人員通常會給我有關(guān)我進(jìn)步情況的有用反饋”“老師重視我對課程的看法和意見”等提法。在課程滿意度上可以參照CEQ中“對課程表示總體滿意”“提高了團(tuán)隊能力、分析能力、問題解決能力、書面交流能力、自信力和規(guī)劃能力這6項通用技能”等表述。
在信效度檢測上,綜合國際學(xué)習(xí)體驗調(diào)研典型量表的經(jīng)驗,建議使用五分量表法計分,收集數(shù)據(jù),建立數(shù)據(jù)庫,對數(shù)據(jù)進(jìn)行預(yù)處理及邏輯核查;使用數(shù)據(jù)統(tǒng)計分析工具(如SPSS 22等)對數(shù)據(jù)進(jìn)行統(tǒng)計,并進(jìn)行描述性分析和正態(tài)性檢驗;通過計算Cronbach’sα系數(shù)、Pearson或Spearman-Brown系數(shù)考察問卷的信度和效度。最后,通過回歸分析、聚類分析、因子分析等確定“事庫”“例庫”中某些指標(biāo)作為必選評價指標(biāo),其余指標(biāo)作為自選評價指標(biāo)。自選評價指標(biāo)可以在實踐中不斷優(yōu)化以提高指標(biāo)的信度和效度。由于不同類型學(xué)科在認(rèn)識論假設(shè)和教育目標(biāo)上的差異,“學(xué)生體驗受到學(xué)科領(lǐng)域、課程類型、教學(xué)方式等多種變量影響等”,[16]需要考慮針對不同學(xué)科、類型、層次的課程以及學(xué)生興趣與學(xué)習(xí)特性差異,設(shè)計個性化的指標(biāo)或者選題,形成個性化的評價指標(biāo)體系,以此增強(qiáng)問卷的針對性和有效性。