艾 倫

?

實驗教學(xué)研究方法(2)：問卷設(shè)計

艾 倫

摘 要：討論中小學(xué)實驗教學(xué)問題研究中調(diào)查問卷的分類和設(shè)計。重點(diǎn)對問卷的信度、效度以及題目的客觀、量化等問題進(jìn)行分析和設(shè)計說明。

關(guān)鍵詞：數(shù)據(jù)挖掘；信度；效度；客觀；量化

中小學(xué)實驗教學(xué)問題研究少不了采用問卷調(diào)研法，伴隨問卷調(diào)研還需要進(jìn)行訪談。本文將對調(diào)查問卷的設(shè)計方法進(jìn)行較為詳細(xì)的討論，并在后面給出設(shè)計案例。

一、問卷的分類

一般情況下調(diào)查問卷可以分為兩種類型，一種是用于假設(shè)檢驗的問卷調(diào)查與數(shù)據(jù)采集，另一種是用于數(shù)據(jù)挖掘的問卷調(diào)查與數(shù)據(jù)采集。兩種問卷在設(shè)計上要求是不同的。

1.用于假設(shè)檢驗的問卷

假設(shè)檢驗的研究方法是事先對被研究對象建立一個假設(shè)(記作H0)，再選取合適的統(tǒng)計變量，使得該變量在H0成立時其分布為已知。通過問卷回收采集到的實測樣本，用樣本值計算出統(tǒng)計量的值，并根據(jù)預(yù)先給定的顯著性水平做出拒絕或接受假設(shè)H0的判斷。常用的假設(shè)檢驗方法有t檢驗、F檢驗、X2檢驗等，在教學(xué)問題研究中它們對樣本空間的大小要求不高，一般為25以上就可以。

由于假設(shè)檢驗研究方法事先對被研究對象有了一個期望假設(shè)，并選取了統(tǒng)計變量，所以在設(shè)計調(diào)查問卷時必然選擇與期望假設(shè)有關(guān)的一些問題，以便在將來能用它們計算出統(tǒng)計量的樣本值。這種情況下設(shè)計出的問卷受到人為傾向的影響，在問題選取上不夠廣泛，采集到的數(shù)據(jù)其信息量受到限制。另外，在教育實驗或教學(xué)實驗研究的現(xiàn)實情況下，人們受到教育心理學(xué)研究的影響，在設(shè)計調(diào)查問卷時更加關(guān)注被試的心理感受和主觀意愿，這使得問卷的問題通常失去客觀性，而變量不具有客觀性對科學(xué)判斷是不利的。中小學(xué)實驗教學(xué)是一個多變量、信息量巨大的復(fù)雜問題，我們對它的研究更多的是使用數(shù)據(jù)挖掘研究方法。而假設(shè)檢驗的研究方法和調(diào)查問卷是人們熟知和經(jīng)常采用的，這里就不再進(jìn)行討論了。

2.用于數(shù)據(jù)挖掘的問卷

“數(shù)據(jù)挖掘是在大型數(shù)據(jù)存儲庫中，自動地發(fā)現(xiàn)有用信息的過程。數(shù)據(jù)挖掘技術(shù)用來探查大型數(shù)據(jù)庫，發(fā)現(xiàn)先前未知的有用模式。數(shù)據(jù)挖掘還可以預(yù)測未來觀測結(jié)果……”[1]顯然，它是從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程，使用的各種算法也大多都是基于統(tǒng)計學(xué)的。它與假設(shè)檢驗的最大區(qū)別是事先不做期望假設(shè)，但是對數(shù)據(jù)的依賴非常強(qiáng)，要求數(shù)據(jù)量要足夠大。數(shù)據(jù)挖掘通常是通過統(tǒng)計分析、在線處理、情報檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)和模式識別等諸多方法實現(xiàn)發(fā)掘隱藏于事物中規(guī)律的目的。

圖1　本文邏輯思維導(dǎo)圖

用于數(shù)據(jù)挖掘的問卷為保證最終得到的數(shù)據(jù)量足夠大且不丟失信息，一般選取的樣本數(shù)要非常多(應(yīng)該在數(shù)百至數(shù)千甚至更多)，題目涉及的內(nèi)容也必須覆蓋研究對象的所有方面，因為我們并不知道即將得到的結(jié)論是什么。但是，這并非是說對樣本數(shù)和題目范圍不加限制，沒有期望假設(shè)也并非沒有明確的研究目標(biāo)。其實在設(shè)計這種問卷前的準(zhǔn)備工作應(yīng)該是十分科學(xué)和規(guī)范的，需要對被試預(yù)先隨機(jī)抽樣，必須對變量進(jìn)行嚴(yán)格選擇。本文主要討論用于數(shù)據(jù)挖掘問卷的設(shè)計問題。

二、數(shù)據(jù)挖掘問卷設(shè)計

用于數(shù)據(jù)挖掘的問卷具有一定的特點(diǎn)，在進(jìn)行設(shè)計時必須逐一加以考慮，此處將對設(shè)計中最為重要的一些問題展開討論。

1.問卷設(shè)計流程

下面按照先后順序?qū)柧硇纬闪鞒痰母鱾€環(huán)節(jié)開列出來。

(1)確定研究目的與研究對象。

(2)根據(jù)研究目的，針對研究對象用Delphi法找出所有相關(guān)變量。

(3)對變量進(jìn)行分類，并要求它們滿足正交性與完備性。

(4)形成問題框架，再根據(jù)該框架建立二維變量關(guān)系表。

(5)在二維變量關(guān)系表中填寫將要向被試提出的問題，同時考慮它們的客觀性、量化性，并應(yīng)滿足信度與效度要求。

(6)確定被測試的對象。

(7)撰寫引導(dǎo)語，形成標(biāo)準(zhǔn)形式問卷。

2.客觀與量化問題

問卷向被試提出一系列的問題期待人們的回答，被試在回答問題時其實正是在做一個判斷，為使他們的判斷滿足科學(xué)性(盡量不使用價值判斷與認(rèn)知判斷)條件，所提出的問題就應(yīng)該具有一定的客觀標(biāo)準(zhǔn)和量化水平。

(1)客觀標(biāo)準(zhǔn)

該項要求就是盡量克服判斷者的主觀性，將主觀問題轉(zhuǎn)化成客觀問題，把提問被試如何想的問題變成提問被試如何做的問題。例如，為了了解學(xué)生動手操作能力水平，可以提問“你覺得自己的動手能力強(qiáng)嗎？”這就是一個主觀問題，反映學(xué)生對自己能力水平是怎樣考慮的。但是如果將問題改為“你的自行車壞了，你是自己動手修理，還是在別人幫助下修理，或者是送到修車部修理，或者干脆不修理而直接換一輛新的？”通過這種處理，問題就成為一個客觀問題了，它不是反映被試如何想的，而是客觀地反映被試是如何去做的。顯然，客觀問題的可信度遠(yuǎn)高于主觀問題，因為被試回答客觀問題時是在做科學(xué)判斷。

(2)量化水平

一些問卷題目本身就是量化的，如向被試提問：“你們實驗室的生均活動面積是多少？”但是還有大量的作為心理或生理感受的問題并不是量化了的，如題目的題干為：“你們實驗室的燈光亮度適宜嗎？”此時一般采用里克特5級分度量化，即對這個提問可以提供5個備選答案讓被試選擇，它們分別為：A.非常適宜，B.比較適宜，C.一般，D.比較不適宜，E.非常不適宜。此題為單選題，被試選擇后對答案編碼就可以得到量化的結(jié)果。

3.信度與效度

問卷的信度與效度是在問卷調(diào)研中人們最為關(guān)注、討論最多問題，一份合格問卷的產(chǎn)生要求其所列出的題目必須同時滿足信度要求和效度要求。

(1)信度問題

信度是指問卷中所提出的題目在回答后的可信程度(即一致性、可靠性以及穩(wěn)定性)。為了增加題目的信度，常用的方法是：第一，將主觀問題盡量變成客觀問題。這種方法前文已經(jīng)做了介紹。第二，圍繞原問題再提出一些被稱為是“測試條件”的相關(guān)題目。例如，向被試提問：“在教學(xué)使用中，您認(rèn)為投影機(jī)亮度是影響投影效果的最重要因素嗎？”這是一個主觀題，并且不易做客觀性轉(zhuǎn)化而變成一個客觀題。可以設(shè)想被試恰好是一位正在使用一臺全新高亮度投影機(jī)的教師，并假設(shè)他并沒有使用過其他低亮度投影機(jī)的經(jīng)歷，在沒有比較的情況下他是不會對投影機(jī)亮度這個因素的重要性有正確的認(rèn)知。所以，對于他回答這個題目的信度是很低的。為了提高這個問題的信度，我們必須同時增加一些起著“測試條件”作用的相關(guān)題目，如：“您正在使用的投影機(jī)其燈泡已經(jīng)累計工作了多少小時？”“您曾經(jīng)使用過幾臺投影機(jī)，每臺投影機(jī)使用的累計時間數(shù)是多少？”“您使用投影機(jī)的教室是否掛上遮光窗簾？”等一系列客觀題。在考慮了這些“測試條件”的情況下對原問題的回答進(jìn)行綜合判斷并給予適當(dāng)?shù)募訖?quán)，才能使結(jié)果具有高度可信性。規(guī)定與使用“測試條件”是數(shù)據(jù)采集中控制變量、降低干擾，從而得到可靠數(shù)據(jù)的有效途徑[2]。

(2)效度問題

效度是指問卷中所提出的題目是否與該項研究的目標(biāo)與目的切題，它反映了題目針對研究目標(biāo)與目的中需要解決問題的有效程度(即有效性和正確性)。為了提高題目的效度，通常需要針對欲達(dá)到的目標(biāo)與目的反復(fù)論證列出的題目。前文介紹了問卷設(shè)計流程，前面的部分是：“第一，確定研究目的與研究對象；第二，根據(jù)研究目的，針對研究對象用Delphi法找出所有相關(guān)變量；第三，對變量進(jìn)行分類，并要求它們滿足正交性與完備性?！逼鋵?，這些內(nèi)容就是對問卷的有效性進(jìn)行了規(guī)定，按照這些變量而設(shè)計出的題目應(yīng)該都是高效度的。

(3)信效度測量

教育測量學(xué)上是非常重視測試的信度與效度的，并且提供了經(jīng)典的公式和算法得到一份問卷精確的信度值與效度值。但是，這些計算只有在問卷回收、數(shù)據(jù)采集整理之后，才可利用采集到的數(shù)據(jù)進(jìn)行計算和測度分析。它們可以真實地反映出我們采集到的數(shù)據(jù)的可信性與有效性如何，卻無法在數(shù)據(jù)采集前對問卷的信度與效度進(jìn)行控制。

(4)三角互證與多角互證

傳統(tǒng)的問卷設(shè)計，為了提高問卷中題目的信度與效度還經(jīng)常采用三角互證或多角互證的方法。在教育教學(xué)研究中的三角互證法就是將研究者、教師、學(xué)生這3個不同角色對問卷中一個問題的回答放在一起進(jìn)行分析，從3個不同角度論證答案的真實可信性和正確有效性。而多角互證法就是讓參與的角色更多一些(如增加教學(xué)主管、學(xué)校領(lǐng)導(dǎo)、學(xué)生家長等)，并通過除了問卷之外的訪談等形式多角度地驗證問卷的信度與效度。顯然，三角互證與多角互證都是在問卷回收與訪談進(jìn)行之后，通過對結(jié)果的分析做出的判斷，它們同樣不能在事先解決問卷的信效度。

信效度測量和三角、多角互證都無法在設(shè)計階段解決問卷的信度與效度問題。所以，要想使得設(shè)計出的問卷具有較高的信度與效度，就應(yīng)該采用將主觀題目客觀化、給主觀題目增加測試條件以及按照規(guī)范化的設(shè)計流程(科學(xué)選擇變量)進(jìn)行操作的方法對問卷進(jìn)行預(yù)處理。

三、問卷設(shè)計舉例

為了能夠更加清楚地了解用于數(shù)據(jù)挖掘問卷的設(shè)計方法，我們通過一個中小學(xué)實驗教學(xué)問題研究的實例具體說明問卷的設(shè)計流程。

1.確定目的對象

研究目的：發(fā)現(xiàn)實驗教學(xué)對整個教學(xué)系統(tǒng)的作用。

研究對象：根據(jù)教學(xué)系統(tǒng)三分論[3]，研究對象應(yīng)該包括教師和學(xué)生(主體部分)、實驗教學(xué)內(nèi)容(客體部分)以及實驗教學(xué)環(huán)境與器材(教育裝備)。

2.選擇相關(guān)變量

運(yùn)用Delphi法(詳見本欄上期文章《實驗教學(xué)研究方法(1)：測量與評價》)選擇相關(guān)變量。對應(yīng)上述確定的研究對象所選擇的變量開列如下。

(1)教師教學(xué)行為相關(guān)變量：實驗教學(xué)設(shè)計、實驗教學(xué)組織。

(2)學(xué)生學(xué)習(xí)行為相關(guān)變量：學(xué)生分組協(xié)作情況、動手操作情況。

(3)實驗教學(xué)內(nèi)容相關(guān)變量：物理課實驗、化學(xué)課實驗、生物課實驗、科學(xué)課實驗。

(4)教育裝備配備相關(guān)變量：實驗室生均活動面積、器材先進(jìn)程度、設(shè)備完好率。

需要說明的是此處開列的變量(項目)并不完備，只是為了舉例說明方便(太多的變量文中不易展現(xiàn))而將部分變量寫出來的參考項目，與實際情況具有差距。

另外，分析后發(fā)現(xiàn)這些變量都應(yīng)該屬于輸入變量，對于輸出變量(即產(chǎn)出目標(biāo))可做如下設(shè)定。

(1)實驗教學(xué)計劃目標(biāo)。各科實驗教學(xué)計劃情況，包括實驗次數(shù)、實驗內(nèi)容等。

(2)實驗教學(xué)實施目標(biāo)。各科實驗教學(xué)完成情況，包括完成人數(shù)、完成水平等。

(3)實驗教學(xué)評價目標(biāo)。各科實驗教學(xué)評價情況，包括測量方法、評價結(jié)論等。

3.形成問題框架

論證變量的正交性與完備性。為了問題說明比較清楚形象，此處采用了坐標(biāo)圖像的方式(如圖2所示)。

圖2　變量框架坐標(biāo)系

4.建立變量關(guān)系

根據(jù)變量框架建立變量之間關(guān)系的表格。因為輸出變量共有3個(實驗教學(xué)計劃、實驗教學(xué)實施以及實驗教學(xué)評價)，所以應(yīng)建立3個表格(見表1～3)。

表1　實驗教學(xué)計劃相關(guān)變量表

表2　實驗教學(xué)實施相關(guān)變量表

表3　實驗教學(xué)評價相關(guān)變量表

5.填寫相關(guān)題目

在上述表格的相應(yīng)單元格中填寫相關(guān)的題目，表4顯示了部分題目的填寫情況。這樣做的目的是為了保證問卷題目的完備性，同時保證了數(shù)據(jù)采集中不會丟失信息，因為信息的缺失將對后期的數(shù)據(jù)挖掘和得出的研究結(jié)論產(chǎn)生極大不良影響。

6.確定被測試者

在題目的后面標(biāo)注出被測試對象，可以用符號代替，如：學(xué)生用S表示，教師用T表示等等(見表4)。

表4　題目填寫舉例(實驗教學(xué)實施)

7.制作標(biāo)準(zhǔn)問卷

將題目按照被測試對象分類，分別形成針對不同對象的問卷。在問卷前面撰寫引言、調(diào)查意義和填寫注意事項等，并注意要有表示感謝的內(nèi)容，最終形成一個標(biāo)準(zhǔn)的問卷。

參考文獻(xiàn)

[1] [美]陳封能,斯坦巴赫,庫馬爾.數(shù)據(jù)挖掘?qū)д?完整版[M].范明,范宏建,譯.北京:人民郵電出版社,2011:2.

[2] 艾倫,興喬.教育有沒有大數(shù)據(jù)時代[J].中國教育技術(shù)裝備,2014(4):5-6.

[3] 艾倫,興喬.教學(xué)系統(tǒng)三分論[J].中國教育技術(shù)裝備,2012(32):9-10.

作者信息

艾倫，教授，本刊特約撰稿人。首都師范大學(xué)，100048

Research Method of Experimental Teaching (2):Questionnaire Design

Ai Lun

Abstract:The classification and design of the questionnaire in the study of experimental teaching of primary and middle school. The reliability and validity of the questionnaire and the objective and quantitative of the questions are analyzed and designed.

Key words:data mining; reliability; validity; objective; quantification