李莎莎 付曉飛

DOI：10.16660/j.cnki.1674-098x.2011-5640-1128

摘? 要：本文采用實(shí)驗(yàn)設(shè)計(jì)的方法，對(duì)數(shù)據(jù)進(jìn)行分類處理，分析影響本科課程教學(xué)效果的主要因素?？紤]到可重復(fù)性，數(shù)據(jù)在同一高校連續(xù)兩年進(jìn)行收集。實(shí)驗(yàn)結(jié)果顯示，學(xué)生主觀上對(duì)影響教學(xué)效果因素的看法與采用實(shí)驗(yàn)設(shè)計(jì)方法得出的結(jié)果并不完全相同。該實(shí)驗(yàn)設(shè)計(jì)方法可以為本科高等教育過程中提升教學(xué)效果提供更廣泛準(zhǔn)確的理論依據(jù)。本次實(shí)驗(yàn)的局限性之一，實(shí)驗(yàn)選取的案例課程，為較受學(xué)生喜愛的課專業(yè)程之一，但針對(duì)不受大學(xué)生歡迎的課程進(jìn)行實(shí)驗(yàn)研究，也是十分必要。該研究只針對(duì)本科生課程，研究生課程結(jié)果可能會(huì)有所不同。這將是未來研究的重點(diǎn)，可以對(duì)比出本科生與研究生教學(xué)方法的不同之處。本文得出的結(jié)果，可以幫助參與教學(xué)的老師了解教學(xué)過程中提高學(xué)生滿意度的因素及其原因，并揭示了實(shí)驗(yàn)分析法可應(yīng)用到高等教育等領(lǐng)域的評(píng)估中。

關(guān)鍵詞：教學(xué)效果? 高等教育? 實(shí)驗(yàn)設(shè)計(jì)? 滿意度

中圖分類號(hào)：G642? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1674-098X（2021）01（c）-0181-07

The Research of Teaching Effectiveness in the Higher Education Using Experimental Design

LI Shasha? FU Xiaofei*

（Heilongjiang Institute Technology， Harbin， Heilongjiang Province， 150001 China）

Abstract： The purpose of the paper is to demonstrate the power of experimental design as a technique to understand and evaluate the most important factors which influence teaching effectiveness in the Higher Education.The data was collected over a 2 year period from a postgraduate course offered by the same tutor for repeatability reasons.The key findings of the experiment have clearly indicated that students perceptions of teaching effectiveness based on intuition and guesswork are not identical to the outcomes from a simple designed experiment. Moreover， the results of the experiment provided a greater stimulus for the wider applications of the technique to other processes across the case study higher education sector.One of the limitations of the study is that the experiment was conducted for a popular undergraduate course. It would be beneficial to understand the results of the experiment for less popular undergraduate courses in the university in order to drive improvements.Moreover， this research was conducted only for undergraduate courses and the results may vary for post-graduate courses. This would be an interesting study to understand the differences in the factors between undergraduate and postgraduate teaching effectiveness.The outcome of this experiment would help everyone who is involved in teaching to understand the factors and their influences to improve students satisfaction scores during the delivery of teaching.This paper shows how experimental design as a pure manufacturing technique can be extended to a higher education setting.

Key Words： Teaching effectiveness; Higher education; Experimental design; Satisfaction

實(shí)驗(yàn)設(shè)計(jì)方法已被證明是過程優(yōu)化中最有效的技術(shù)之一，幾十年來在提高制造過程的效率、能力及性能的研究中被廣泛的應(yīng)用。但這種技術(shù)在服務(wù)流程或非制造環(huán)境中的應(yīng)用是非常有限的，目前只有少數(shù)文章對(duì)其展開過討論。實(shí)驗(yàn)設(shè)計(jì)的方法可以使研究者和實(shí)驗(yàn)者以最少的試驗(yàn)或測(cè)試次數(shù)同時(shí)了解多個(gè)過程及變量之間的影響，可以直接代替?zhèn)鹘y(tǒng)的“嘗試和錯(cuò)誤”實(shí)驗(yàn)方法，傳統(tǒng)方法依靠直覺、猜測(cè)和運(yùn)氣，不能保證其成功率。盡管實(shí)驗(yàn)設(shè)計(jì)方法已存在數(shù)十年，但還并沒有很好將其用于解決服務(wù)流程的效率和有效性問題。

學(xué)生及用人單位對(duì)高校的教學(xué)質(zhì)量及效果越來越看中，因此，必須定期評(píng)估影響教學(xué)質(zhì)量的最關(guān)鍵因素或變量，以便有效地滿足學(xué)生及用人單位的需求。實(shí)驗(yàn)設(shè)計(jì)的引入，可以明確影響教學(xué)效果的關(guān)鍵因素，消除不確定性，從而為高校和教育部門提供有效可靠的理論參考數(shù)據(jù)。

關(guān)于實(shí)驗(yàn)設(shè)計(jì)應(yīng)用到服務(wù)設(shè)計(jì)與環(huán)境中的相關(guān)文獻(xiàn)較少，下面主要介紹在非制造領(lǐng)域下使用實(shí)驗(yàn)設(shè)計(jì)的文獻(xiàn)綜述，其中更側(cè)重于高等教育及教學(xué)效果的文獻(xiàn)綜述。文章的最后，介紹了實(shí)施過程中的一些挑戰(zhàn)，并以實(shí)際數(shù)據(jù)對(duì)影響本科生教學(xué)效果的因素展開研究。此外，還介紹了該研究方法的局限性和實(shí)際意義，并提出了該方法的未來研究方向。

1? 文獻(xiàn)綜述

在高等教育研究中采用實(shí)驗(yàn)設(shè)計(jì)方法的相關(guān)文獻(xiàn)較少，這表明在高等教育過程中該方法應(yīng)用的潛力還有待開發(fā)。Barone和Lo France就職于意大利巴勒莫大學(xué)的環(huán)境工程專業(yè)，他們結(jié)合了服務(wù)質(zhì)量模型進(jìn)行了實(shí)驗(yàn)設(shè)計(jì)方法的研究[1]。這項(xiàng)研究歷時(shí)兩年，其中24名學(xué)生參加了兩次該學(xué)術(shù)統(tǒng)計(jì)過程。實(shí)驗(yàn)結(jié)果顯示，師生互動(dòng)是影響學(xué)生滿意度的最主要因素。

Antony、Sivanathan和Gijo在兩個(gè)年級(jí)進(jìn)行了三個(gè)因素的實(shí)驗(yàn)，以此評(píng)估可能影響本科和研究生課程質(zhì)量的因素[2]。這三個(gè)因素包括：授課內(nèi)容，授課人數(shù)以及授課時(shí)間。研究表明，課程的授課時(shí)間和內(nèi)容是本科和研究生課程的重要因素。而且，本科生更喜歡下午上課，但研究生表示上午上課的學(xué)習(xí)效率相對(duì)較高。Pee、Park和Yoo提出了一個(gè)關(guān)于實(shí)驗(yàn)設(shè)計(jì)的案例研究，用以提高韓國(guó)首爾一所大學(xué)的教學(xué)質(zhì)量[3]。該研究定量和定性地分析了影響教師授課質(zhì)量的因素，并選擇了兩項(xiàng)可以由教師控制的因素和三個(gè)不由教師控制的因素進(jìn)行分析，分析結(jié)果用以探索最佳的授課方法。結(jié)果顯示，在授課之初，保持與學(xué)生的親密關(guān)系并保持兩個(gè)月舉行一次學(xué)習(xí)交流會(huì)，該種方法最為有效。

如何衡量教師的教學(xué)效果一直存在激烈的爭(zhēng)論。其主要原因是缺乏明確的教學(xué)效果定義，根據(jù)Ding和Sherman的研究，教學(xué)效果與其概念有明顯的不同之處[4]。例如，作為教師，其本專業(yè)領(lǐng)域研究的深度與教學(xué)效果不一定正比。我認(rèn)為教學(xué)效果的有效性，應(yīng)該是被教師和學(xué)生雙方面認(rèn)可的。教學(xué)效果并非僅僅是學(xué)生的學(xué)習(xí)效果，同時(shí)也包含了其對(duì)學(xué)習(xí)過程的滿意程度。本文的研究就是針對(duì)這種定義展開的，該定義將單純意義下的教學(xué)效果與學(xué)生的學(xué)習(xí)過程及感受相關(guān)聯(lián)。在本次研究中，力求從學(xué)習(xí)的角度去理解影響教學(xué)效果的因素。

教師教學(xué)效能的差異是影響學(xué)生增長(zhǎng)的最大因素，其影響一般大于班級(jí)規(guī)模，學(xué)生家庭條件以及其他一些影響學(xué)生學(xué)習(xí)的因素。教學(xué)方法則可以直接影響學(xué)生的學(xué)習(xí)熱情。在另一項(xiàng)研究中Marsh和Hattie使用學(xué)生對(duì)教學(xué)的感知作為教學(xué)效能的衡量標(biāo)準(zhǔn)，而不是試圖直接用學(xué)生的學(xué)習(xí)情況來衡量評(píng)估結(jié)果[5-6]。在本次研究中，采用了類似的方法，并且完全根據(jù)學(xué)生對(duì)教學(xué)效果的看法進(jìn)行科學(xué)實(shí)驗(yàn)。

國(guó)外的教育學(xué)家McKeachie將教學(xué)效果定義為“促進(jìn)學(xué)生實(shí)現(xiàn)教育目標(biāo)的程度”[7]。有的研究者通過對(duì)教師的總體評(píng)價(jià)和課程價(jià)值來衡量教學(xué)效果，有的則通過學(xué)習(xí)成果來衡量。如果沒有正確的教學(xué)效果評(píng)估模式會(huì)導(dǎo)致錯(cuò)誤的衡量結(jié)果。而教學(xué)效果顯然是一個(gè)非常復(fù)雜且非常個(gè)人化的評(píng)估過程，其中包含許多變量。據(jù)報(bào)道，教學(xué)效果的質(zhì)量與學(xué)生的學(xué)習(xí)成績(jī)有直接關(guān)系[8]。根據(jù)不同學(xué)者的研究，有幾個(gè)因素是會(huì)影響教學(xué)效果的。教學(xué)效果與教師能力之間有很強(qiáng)的關(guān)系。因此，影響教師能力的因素也可能對(duì)教學(xué)效果有一定程度的影響。教師的效能可能會(huì)受到教師個(gè)人特征的影響，這些特征包括敬業(yè)精神，思維、推理、期望值和領(lǐng)導(dǎo)能力。有些學(xué)者還指出，影響教師效能的因素還包括內(nèi)容知識(shí)，教學(xué)實(shí)踐，課堂管理技能和課堂環(huán)境等等[9-10]。

2? 實(shí)驗(yàn)部分

本文主要針對(duì)以下兩個(gè)目標(biāo)進(jìn)行實(shí)驗(yàn)設(shè)計(jì)：（1）實(shí)驗(yàn)設(shè)計(jì)不僅僅只能應(yīng)用在制造設(shè)計(jì)中;（2）將實(shí)驗(yàn)設(shè)計(jì)應(yīng)用于高等教育研究中。實(shí)驗(yàn)抽取了黑龍江某高校不同年級(jí)和專業(yè)的本科生為調(diào)研對(duì)象。實(shí)驗(yàn)分為以下四個(gè)步驟：①實(shí)驗(yàn)的前期規(guī)劃;②設(shè)計(jì)實(shí)驗(yàn)步驟;③進(jìn)行實(shí)驗(yàn);④實(shí)驗(yàn)結(jié)果分析。

2.1 實(shí)驗(yàn)前期規(guī)劃

在規(guī)劃階段，要求學(xué)生從自我主觀角度去評(píng)價(jià)影響教學(xué)效果的因素。抽取兩個(gè)年級(jí)100多名學(xué)生，學(xué)生被分成多個(gè)小組，每個(gè)小組人數(shù)不多于8人。從學(xué)生的主觀角度，影響教學(xué)效果的因素主要由兩部分決定，第一是教師的授課內(nèi)容是否與實(shí)際應(yīng)用關(guān)聯(lián)緊密，第二是課程所用教材是否容易理解，便于學(xué)習(xí)。為了試圖引導(dǎo)學(xué)生找到影響教學(xué)效果的潛在因素和過程變量，實(shí)驗(yàn)選取的教師具有10年的授課經(jīng)驗(yàn)和專業(yè)背景。在本次研究中，教學(xué)效果主要參考學(xué)生的反映情況以及教學(xué)質(zhì)量特征。為了簡(jiǎn)單起見，每個(gè)影響因素定義兩個(gè)等級(jí)。假設(shè)因素的影響是線性的，因素的定義和等級(jí)由各個(gè)小組中的學(xué)生來確定。經(jīng)過試驗(yàn)，學(xué)生初步確定了20個(gè)潛在因素及其級(jí)別，見表1。

隨后分別對(duì)各個(gè)小組進(jìn)行多次投票將初始因素減少到可控的數(shù)量。在進(jìn)行多次投票后確定了前11個(gè)因素，以便后續(xù)進(jìn)行篩選，進(jìn)一步確定最重要因素。見表2。

為了研究?jī)蓚€(gè)等級(jí)的11個(gè)因素，采用Plackett-Burman 判別方法設(shè)計(jì)實(shí)驗(yàn)。將實(shí)驗(yàn)對(duì)象分為14個(gè)小組，每組7～8個(gè)人。每個(gè)小組對(duì)影響教學(xué)效果的因素進(jìn)行1～10范圍的評(píng)分，1是最低分，10是最高分，分別選取兩個(gè)不同年級(jí)的學(xué)生進(jìn)行相同實(shí)驗(yàn)，以此可提高實(shí)驗(yàn)的可重復(fù)性。

2.2 實(shí)驗(yàn)設(shè)計(jì)階段

根據(jù)實(shí)驗(yàn)在前期規(guī)劃中得到的因素組合，展開實(shí)驗(yàn)設(shè)計(jì)。在這部分，采用12次的PB篩選試驗(yàn)，篩選試驗(yàn)設(shè)計(jì)不能區(qū)分主效應(yīng)與交互作用的影響，但對(duì)顯著影響的因子可以確定出來，因此，該設(shè)計(jì)僅用于研究主要效果，而在實(shí)驗(yàn)中研究或分析因素間強(qiáng)烈的相互作用時(shí)，則不應(yīng)使用這種方法。Plackett-Burman的設(shè)計(jì)在確定最少的實(shí)驗(yàn)運(yùn)行或試驗(yàn)中最重要的因素方面非常強(qiáng)大[7]。表3為以編碼格式顯示的篩選試驗(yàn)表。篩選試驗(yàn)表中每個(gè)因子的低等級(jí)由“ -1”代替，高等級(jí)由“ +1”代替。

2.3 試驗(yàn)實(shí)施階段

選取2016級(jí)和2017級(jí)第一學(xué)期，來自同一學(xué)校的100多名本科生采集實(shí)驗(yàn)數(shù)據(jù)。為提高試驗(yàn)的可信度，Plackett-Burman試驗(yàn)設(shè)計(jì)采用了完全相同的因素，實(shí)驗(yàn)進(jìn)行12次，選取11個(gè)影響教學(xué)效果的因素，這使實(shí)驗(yàn)可以有足夠的自由度來計(jì)算實(shí)驗(yàn)誤差。表4中最后一列為2016級(jí)和2017級(jí)教學(xué)效果平均分?jǐn)?shù)，可以看出相同試驗(yàn)條件下不同年級(jí)之間的平均分?jǐn)?shù)存在差異。

2.4 實(shí)驗(yàn)結(jié)果分析

接下來我們對(duì)所得的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，以得到有效合理的結(jié)論。采用Minitab17版對(duì)數(shù)據(jù)進(jìn)行分析，并使用圖形工具來驗(yàn)證實(shí)驗(yàn)結(jié)果。首先，確定對(duì)教學(xué)效果平均得分影響最大的因素。通常人們都關(guān)心對(duì)實(shí)驗(yàn)影響最重要的因素，實(shí)際上，不重要的因素對(duì)影響產(chǎn)品質(zhì)量或服務(wù)質(zhì)量同樣重要。一般是將不重要因素的成本控制在最經(jīng)濟(jì)的水平，便于節(jié)省成本。從圖1顯示各因素對(duì)教學(xué)效果影響的絕對(duì)值，圖中3.05為參考線。在統(tǒng)計(jì)學(xué)中，任何因素如超出參考線5%則為顯著因素。

圖1 表明，篩選試驗(yàn)中最重要因素為（按重要性順序排列）：

（1）講師背景;

（2）教師專業(yè)素養(yǎng);

（3）講師授課風(fēng)格;

（4）課堂上學(xué)生與教師之間的互動(dòng);

（5）設(shè)施;

（6）課程評(píng)估方法;

（7）講師設(shè)定的練習(xí)類型。

不重要的因素包括學(xué)生的反饋、課程內(nèi)容、課程頻率以及輔助材料。

實(shí)驗(yàn)的最后階段分析了解各因素的最佳設(shè)置，以此最大程度地提高教學(xué)效果平均評(píng)分。為實(shí)現(xiàn)這一目標(biāo)，利用主要效果圖。主要效果圖顯示了各因子每個(gè)級(jí)別的平均響應(yīng)值，因此可以比較實(shí)驗(yàn)中各因素影響的相對(duì)強(qiáng)度。圖2中符號(hào)指示出效果的趨勢(shì)，即教學(xué)效果平均分?jǐn)?shù)是遞增還是遞減，大小表示效果的強(qiáng)度。如果某因素的影響值為正，則意味著該因素影響教學(xué)效果平均得分的有效性較高。表5給出了最大化教學(xué)效果得分的最佳設(shè)置值。

2.5 實(shí)驗(yàn)的實(shí)際意義和局限性

本文針對(duì)之前僅限于改善制造工藝中的篩選試驗(yàn)進(jìn)行設(shè)計(jì)研究，成功地將其用于理解和科學(xué)評(píng)估高等教育課程中影響教學(xué)效果的重要因素。在試驗(yàn)前，選取100多名學(xué)生，采用集思廣益和多次投票的方法確定出他們認(rèn)為對(duì)教學(xué)效果最為重要的前五大因素。隨后將學(xué)生感知結(jié)果與篩選試驗(yàn)的結(jié)果進(jìn)行對(duì)比，結(jié)果見表6。

從試驗(yàn)結(jié)果中發(fā)現(xiàn)，學(xué)生感知的前五大重要因素中，有部分因素在篩選試驗(yàn)中并不具有統(tǒng)計(jì)學(xué)意義。如學(xué)生感知確定的因素中“評(píng)估方法”很重要，但在實(shí)驗(yàn)數(shù)據(jù)分析中其并不是排在前五名的因素;“設(shè)備”和“教師專業(yè)背景”不包含在學(xué)生感知因素前五名中，但卻是篩選試驗(yàn)的前五名因素。

該試驗(yàn)研究花費(fèi)了大量的時(shí)間規(guī)劃，設(shè)計(jì)和進(jìn)行實(shí)驗(yàn)數(shù)據(jù)收集。在研究過程中，還發(fā)現(xiàn)各組之間教學(xué)效果得分存在差異，主要原因在于學(xué)生的文化背景不同所致，各組間的差異并未考慮到研究中，該研究的另一局限性是所選課程為受學(xué)生歡迎的專業(yè)課。而針對(duì)不收歡迎的課程進(jìn)行研究也是很必要的，可以通過試驗(yàn)結(jié)果進(jìn)行改進(jìn)。此外，本文只針對(duì)本科生課程，實(shí)驗(yàn)結(jié)果對(duì)研究生課程可能會(huì)有所不同。

從本文的研究結(jié)果可以發(fā)現(xiàn)一些實(shí)際含義，首先，在常見的熟悉的流程中，人們會(huì)習(xí)慣性的認(rèn)為某些因素對(duì)流程有著重大影響，但現(xiàn)實(shí)中的情況并非如此。因此，科學(xué)方法如本文采用的實(shí)驗(yàn)設(shè)計(jì)法就是一種強(qiáng)大的工具，可以讓你更好地了解過程以及影響質(zhì)量特性或響應(yīng)性的最重要因素或參數(shù)。其次，在過程參數(shù)設(shè)置上經(jīng)常所有參數(shù)均設(shè)置公差，這就導(dǎo)致成本過高，如能確定影響過程輸出的最關(guān)鍵過程參數(shù)，并在此參數(shù)上設(shè)置容差，將非關(guān)鍵參數(shù)放寬，則可起到降低成本的作用。同樣的原理也適用于高等教育部門的許多流程關(guān)節(jié)，但與制造業(yè)相比，由于缺乏對(duì)實(shí)驗(yàn)設(shè)計(jì)方法的好處的了解以及技術(shù)部門管理人員的潛在支持，想要將試驗(yàn)結(jié)果與績(jī)效衡量相關(guān)聯(lián)在實(shí)施過程中還將面臨挑戰(zhàn)。

3? 研究結(jié)論和進(jìn)一步研究方向

由于缺乏對(duì)過程設(shè)計(jì)好處的了解，在許多服務(wù)環(huán)境中，將實(shí)驗(yàn)設(shè)計(jì)技術(shù)用于過程理解的應(yīng)用相對(duì)較少。此外，人們有一種先入為主的錯(cuò)誤思維方式，認(rèn)為過程實(shí)驗(yàn)設(shè)計(jì)僅限于制造業(yè)。本文的目的主要說明在高等教育環(huán)境中試驗(yàn)設(shè)計(jì)方法的使用以及可行性。實(shí)驗(yàn)結(jié)果清楚地表明，學(xué)生基于直覺和猜測(cè)對(duì)教學(xué)效果的影響因素與篩選試驗(yàn)的結(jié)果并不完全相同。此外，實(shí)驗(yàn)結(jié)果還為該項(xiàng)技術(shù)在高教部門的其他過程中提供了案例研究，為其更廣泛的應(yīng)用提供了更大的動(dòng)力。此外，下一步需探討不用文化背景下教學(xué)效果平均得分如何變化，以及前五大因素是否存在差異。

參考文獻(xiàn)

[1] BARONE，S.， E，Lo FRANCO. Design of a university course quality by Teaching Experiments and Student Feedback.Total Quality Management & Business Excellence[J]，2009，20（7）：687-703.

[2] ANTONY J L SIVANATHAN， E V GIJO.Design of experiments in a higher education setting[J].International Journal of Productivity and Performance Management[J].2014，63（4）：513-521.

[3] REE S Y H Park， H Yoo.A study on education quality using the Taguchi method.Total Quality Management and Business Excellence.2014，25（8）：935-943.

[4] DING C.， H SHERMAN.Teaching effectiveness and student achievement：Examining the relationship[J].Educational Research Quarterly[J].2006，29（4）：40-51.

[5] 周玲.多元文化視域下教師教學(xué)效能實(shí)證研究-以六所國(guó)家民委直屬院校為例[D].武漢：中南民族大學(xué)，2018.

[6] MARSH H W J HATTIE.The Journal of Higher Education[J].The Relation Between Research Productivity and Teaching Effectiveness： Complementary， Antagonistic， or Independent Constructs[J].2002，73（5）：603-641.

[7] MCKEACHIE W.Student ratings：The validity of use[J].American Psychologist Psychologist.1997，52（11）：1218-1225.

[8] DOUGLAS，C.MONTGOMERY.實(shí)驗(yàn)設(shè)計(jì)與分析[M].北京：中國(guó)統(tǒng)計(jì)出版社，1998.

[9] 徐文秀.英國(guó)職前教師教育課程設(shè)計(jì)與實(shí)施個(gè)案研究-以倫敦大學(xué)學(xué)院中學(xué)英語PGCE課程為例[D].長(zhǎng)春：東北師范大學(xué)，2019.

[10] 陳長(zhǎng)洲.上海市中學(xué)體育課堂教學(xué)效果及影響因素研究-基于以學(xué)習(xí)者為中心的視角[D].上海：上海體育學(xué)院，2020.