陳陌

摘? 要：依照教學目的進行劃分，把課堂上的教學互動分為3類：檢驗互動、啟發(fā)互動和測試互動。針對其中測試互動類問卷，預(yù)留過短的答題時間會影響問卷信度，過長的答題時間又會影響課堂滿意度。該文結(jié)合近3年的課堂實踐數(shù)據(jù)，以層次分析法和價格敏感測試法為對象，重點分析了327個樣本答題時長和一致性系數(shù)之間的關(guān)系，發(fā)現(xiàn)：首先課堂上答題時長和問卷信度并沒有正相關(guān)性，其次平均答題時長近似服從均值為8.4 s，標準差為3.6的正態(tài)分布，最后建議數(shù)據(jù)分析類課程應(yīng)開設(shè)在低年級學期。

關(guān)鍵詞：數(shù)據(jù)分析? 測試互動? 答題時長? 一致性系數(shù)? 問卷信度? 正態(tài)分布

中圖分類號：G642? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A文章編號：1672-3791（2021）05（c）-0011-06

Analysis on Test Questionnaire Length from College Data Analysis Type Courses

CHEN Mo

（School of Management， Tianjin University of Commerce， Tianjin， 300134? China）

Abstract： Divided by teaching goals， teaching interaction has three types： verification interaction， enlightenment interaction and test interaction. Aiming at test interaction questionnaire， too short answer time will lower questionnaire reliability， and too long answer time will lower student satisfaction. This paper analyzes the relationship between answer length and consistency coefficient in the past three years from 327 samples， based on Analytic Hierarchy Process and Price Sensitivity Measure. First， there is not positive correlation between class answer length and questionnaire reliability. Second， average answer length nearly obeys a normal distribution with mean 8.4 seconds and standard variance 3.6. Last， data analysis class should open in junior grade.

Key Words：Data analysis; Test interaction; Answer length; Consistency coefficient; Questionnaire reliability; Normal distribution

隨著信息的愈加多元化，大數(shù)據(jù)資深分析專家和決策經(jīng)理分析師的缺口均在幾十萬和上百萬人[1]，因此我國很多高校都會要求不同專業(yè)學生學習該類課程，但是側(cè)重點有所區(qū)別，比如有的側(cè)重商業(yè)數(shù)據(jù)分析，有的側(cè)重統(tǒng)計類分析，還有的側(cè)重機器學習預(yù)測，等等[2]?，F(xiàn)今高校的很多課程都越來越重視互動教學[3]，其中在數(shù)據(jù)分析類課程中體現(xiàn)的特別明顯[4]。相應(yīng)的，一些教學輔助軟件也為互動教學配置了相應(yīng)功能模塊，以雨課堂為例，就包括單選題、多選題、填空題和主觀題4種方式[5]?；咏虒W的目的可以分為3類，第一類可以概括為檢驗互動，它的主要作用是通過少量試題來檢驗學生當堂的聽課效果，同時可以對走神的同學起到警示作用。第二類為啟發(fā)互動，它通過一個引導(dǎo)問題讓同學進行發(fā)散思維，分析大家的答案后再引出下面要講授的問題。第三類為測試互動，它通過設(shè)計問卷來測試學生對知識的掌握程度，也可以讓學生結(jié)合所學知識對自己的數(shù)據(jù)進行分析，達到鞏固練習的目的。

數(shù)據(jù)分析類課程需要學生一定的參與度，因此通過課堂測試互動來布置作業(yè)是教師的一個常用手段，相比抽取題庫里的作業(yè)，這種方式更能提高學生的興趣。測試互動在課堂應(yīng)用中面臨的主要問題是問卷長度與問卷信度的權(quán)衡[6]，Jepson等研究者在2005年研究了問卷長度與答題人回應(yīng)比例的關(guān)系，發(fā)現(xiàn)問卷過長的話回應(yīng)比例明顯下降[7]。另外，Yan等研究者在2010年指出有影響受訪者作答的因素主要有3個：（1）預(yù)留的答題時間;（2）實際問卷的長度;（3）是否有答題進度提示[8]。但以上研究沒有闡述如果問卷長度適中，預(yù)留多長答題時間的問題。在實際課堂上，教師會盡可能給學生留出時間讓所有同學都完成問卷，期望可以收到質(zhì)量更高和更多的數(shù)據(jù)，但同時部分學生也會認為過長的答題時間對部分較早完成的同學產(chǎn)生一種不公平，降低了課堂滿意度[9]。

從執(zhí)行情況來看，答題時間較長的問卷也會出現(xiàn)信度較低的情況，當然如果答題時間過短，問卷的信度也肯定是無法保證的[10]。該文擬結(jié)合近3年來數(shù)據(jù)分析課程的實踐數(shù)據(jù)，從測試問卷答題時長和信度的角度進行研究和分析。

1? 樣本描述

1.1 樣本選取

樣本分別來自2018—2019第二學期、2019—2020第二學期和2020—2021第一學期的“商業(yè)數(shù)據(jù)基礎(chǔ)分析”課程，該課程設(shè)立在第三學期，學生均為在校大二的學生，學生總數(shù)為218人。由于測試互動都是在課堂上進行的，無法做到反復(fù)詢問進而測試問卷信度，因此特別地選取層次分析法（AHP）和價格敏感測試法（PSM）作為分析對象，原因在于AHP可以在結(jié)果分析中通過一致性系數(shù)CR來判斷每個人所答問卷的信度，而PSM也可以通過題目中預(yù)設(shè)的邏輯判斷關(guān)系來進行信度判斷。

Rolstad等研究者在2011年做了關(guān)于病人問卷長度和答題負擔的研究，結(jié)論是問卷內(nèi)容和質(zhì)量是影響答題負擔的決定因素[11]。周鵬生在2009年研究了問卷長度和項目性質(zhì)的關(guān)系，發(fā)現(xiàn)問卷內(nèi)容和所在位置會對作答心向產(chǎn)生影響[12]。而AHP和PSM作為非常成熟的方法，在問題設(shè)計上是比較合理的，因此該文在后續(xù)分析中不考慮問卷內(nèi)容對問卷信度的影響，主要分析的是時長和信度之間的關(guān)系。AHP方法在2018級和2019級學生中進行了測試，實際樣本數(shù)分別為69人和65人，合計134人;PSM方法在2017級、2018級和2019級學生中進行了測試，實際樣本數(shù)分別為64人、63人和66人，合計193人。

1.2 題型設(shè)計

1.2.1 AHP的測試互動設(shè)計

課堂上設(shè)計了教學和手機產(chǎn)品兩個主題的層次分析法問題，其中教學是一個4階的問題，包含教學內(nèi)容、教學方法、教學態(tài)度和教學效果[13];手機產(chǎn)品是一個7階的問題，包含外觀、品牌、內(nèi)存大小、電池容量、攝像頭、屏幕大小和系統(tǒng)，評價時使用的是7級李克特量表[14]。

在AHP方法的設(shè)計中，除了自身之間的重要性不需要詢問以外，4階和7階問題分別需要進行12道和42道的詢問，顯然讓學生同一時間在課堂上作答54道重要性判別題是一個比較困難的測試，因此有必要在設(shè)計上做一些簡化。假設(shè)學生不會出現(xiàn)正反誤判，這樣僅需要對判別矩陣中的上三角部分進行回答即可，下三角部分利用公式aij=1/aij得到。以教學矩陣為例（見圖1），題目數(shù)量就由12道變?yōu)?道了，該處理方法將誤判集中在三角誤判上，同時大幅降低了答題數(shù)量。

1.2.2 PSM的測試互動設(shè)計

針對最新上市的蘋果手機進行問卷測試，使用PSM中標準的4道問題進行詢問[15]。Q1：該蘋果手機以哪一個價格銷售時您開始覺得便宜，樂意去購買？Q2：該蘋果手機以哪一個價格銷售時您開始覺得貴呢，仍然可以接受？Q3：該蘋果手機以哪一個價格銷售時您開始覺得太貴了，質(zhì)量再好也不去購買呢？Q4：該蘋果手機以哪一個價格銷售時您開始覺得太便宜了，不相信它的質(zhì)量，不買呢？

考慮到后期數(shù)據(jù)處理的便利性，沒有采用讓學生直接回答金額的方式，而是專門設(shè)計了兩套答題形式，第一種是讓學生在“萬千百十個”位上對0～9這10個數(shù)字進行選擇，這樣后面進行單元格合并就可以獲得學生在每道題所答金額。第二種是提前設(shè)定好價格檔級，即最低3 000元，最高8 100元，每檔間隔300元，讓學生對每道題進行選擇，這樣后面也可以得到4道問題的答案。

2? 測試結(jié)果分析

該文的目的是探求課堂答題時長和信度的關(guān)系，下面利用積累下來的數(shù)據(jù)對AHP和PSM兩個方法的效度進行分析。這里認為不同年紀的學生在樣本上是同質(zhì)的，因此AHP一共有134個樣本，PSM一共有193個樣本。

2.1 AHP的測試分析

AHP測試中學生同時對教學和手機兩個問題進行了作答，在問卷中只有一個答題的總時間，這里就按照6道和21道的比例來分配學生在兩個問題中的總答題時長，文章中圖2和圖3分別表示教學和手機兩個問題中答題時長和一致性系數(shù)CR的關(guān)系。

圖2中答題時長大多位于10～100 s之間，平均答題時間是55.1 s，平均CR值為0.30，AHP中認定一致性是可以被接受的標準是CR小于0.1，但是在實際測試中發(fā)現(xiàn)大多樣本的CR指都是要超過0.1的，相對較高的幾個樣本中，答題時長在40～60 s區(qū)間較為集中，每題時間為8～10 s，剩下樣本的CR值分布較為平均。

圖3中答題時長主要分布在40～360 s，平均答題時長為192.9 s，平均CR值為0.39，高CR值的樣本在110～210 s區(qū)間內(nèi)較為集中，每題時間為5.2～10 s。

下面通過氣泡圖來觀察學生在教學和手機兩個問題上CR值的相關(guān)性，具體見圖4。橫軸表示學生在教學問題的CR值，縱軸表示學生在手機問題的CR值，氣泡大小表示學生平均每題的答題時長?？紤]到手機問題和教學問題CR的比值約為1.3，因此圖中添加了一條y=1.3x的輔助線。觀察到教學問題CR值在0.6及以下時，由x=0.6、y=0.78、x=0和y=0組成的區(qū)域①中，這些點是近似圍繞在y=1.3x附近的，說明大約有80%的學生做出的一致性判斷是符合認識規(guī)律的。在②和③兩部分區(qū)域中，通過觀察氣泡的大小，可以發(fā)現(xiàn)在這兩個區(qū)域內(nèi)有面積很大的氣泡，說明一些學生在耗時較長的情況下，答題一致性卻比較差。

2.2 PSM的測試分析

PSM方法中Q1～Q4四道問題應(yīng)該遵守的邏輯順序是Q3>Q2>Q1>Q4，一般情況下如果符合這個邏輯，樣本中所答的數(shù)值就會被采納，否則該樣本的答案會被剔除，利用這個邏輯關(guān)系，設(shè)計了一個衡量樣本一致性系數(shù)CP的公式。

（1）

式中，CP表示樣本的一致性系數(shù);Nc表示括號中6個不等式成立的個數(shù)（Q3>Q2， Q3>Q1， Q3> Q4， Q2>Q1， Q2>Q4， Q1>Q4），。學生一共對兩套問卷進行了回答，第一套問卷一共是20道題，第二套問卷是4道題，在度量樣本一致性時取兩套問卷的平均值，下面給出學生在PSM上平均答題時間和一致性系數(shù)CP的散點圖，具體見圖5。

橫坐標是每個樣本的平均答題時長，可以看到平均時長大多分布在4～10 s，縱坐標表示一致性系數(shù)CP，CP值越低說明一致性越好，取值方向與CR值是一致的，右上角表格是不同CP的樣本量占總樣本量的百分比，可以發(fā)現(xiàn)有62.7%的學生作答是完全符合PSM邏輯要求的，0.17及以下的占比為80.3%，樣本的不良率還是比較低的。

3? 測試結(jié)果總結(jié)

3.1 AHP的分析總結(jié)

（1）剔除過快和過慢以及CR值過高的學生，教學問題的平均答題時長在9.1 s，手機問題的平均答題時長在9.2 s，很接近。

（2）教學問題CR值較高的學生答題時長在8～10 s，手機問題CR值較高的學生答題時長在5.2～10 s，可以發(fā)現(xiàn)CR較高學生的答題時長也是分布在均值附近的。

（3）從數(shù)據(jù)圖可以看到，較短的答題時長與較高的CR值沒有必然關(guān)系，同時較長的答題時長與較低的CR值也沒有必然關(guān)系。

3.2 PSM的分析總結(jié)

（1）所有樣本的平均答題時長是7.9 s。

（2）CP值較高樣本的答題時間分布在4～10 s這個區(qū)間，有75%樣本答題的時長也是落在該區(qū)間。

（3）平均時長在4 s以下的樣本同時出現(xiàn)了高CP值和低CP值，平均時長在10 s以上樣本的CP值主要分布在0檔和0.25檔，較長答題時長的樣本分布相對集中，同時較長答題時長與較低CP值沒有必然關(guān)系。

4? 結(jié)論

通過3年的數(shù)據(jù)分析課程追蹤，該文選取了AHP和PSM兩個方法進行深入分析，目的是來對課堂上測試問卷的時長給出建議，同時也有了一些該類課程的建設(shè)心得，下面逐條進行闡述。

（1）從AHP和PSM的數(shù)據(jù)分析結(jié)果來看，問卷的答題時長與問卷答題質(zhì)量之間沒有正相關(guān)性，為了高完成比率而過度延長答題時間反而會將降低課堂的滿意度。

（2）繪制了AHP和PSM一共327個樣本的平均答題時長分布，具體見圖6。橫坐標的范圍由327個樣本的最小值和最大值決定，間隔了20組，每組間距1.1。左側(cè)縱坐標表示模擬的正態(tài)分布概率值，右側(cè)縱坐標表示每組的頻數(shù)?？梢园l(fā)現(xiàn)，平均答題時長是接近服從均值為8.4，標準差為3.6的正態(tài)分布，則在95%的置信度下，平均時長的置信區(qū)間為[8.03， 8.81]，據(jù)此可以預(yù)估課堂測試互動的預(yù)留總時長。

（3）數(shù)據(jù)分析類課程還是盡早設(shè)立比較好，在課程建設(shè)時也有專家建議應(yīng)該在統(tǒng)計類課程之后，一般來說是作為專業(yè)課放在第五學期，但是后面經(jīng)過實踐和學生調(diào)研，發(fā)現(xiàn)開設(shè)課程的時間需要提前，主要有兩點原因。一是一般學生日常學習和實習接觸到的數(shù)據(jù)分析，對于統(tǒng)計知識的要求并不高，掌握一些均值方差和分布的概念就可以了，沒有必要太過強調(diào)統(tǒng)計知識的儲備;二是目前像大學生創(chuàng)新創(chuàng)業(yè)訓練計劃（簡稱大創(chuàng)）之類的比賽參與度非常高，比賽的時間一般都是在春季學期，該課程的設(shè)置的時間點正好可以為大二學生打好數(shù)據(jù)基礎(chǔ)。

參考文獻

[1] 何海地.美國大數(shù)據(jù)專業(yè)碩士研究生教育的背景、現(xiàn)狀、特色與啟示——全美23所知名大學數(shù)據(jù)分析碩士課程網(wǎng)站及相關(guān)信息分析研究[J].圖書與情報，2014（2）：48-56.

[2] 周傲英，周烜.數(shù)據(jù)專業(yè)人才培養(yǎng)方案與核心課程體系建設(shè)[J].中國大學教學，2020（6）：15-21，33.

[3] 王林平，高云涌.用科學的教學互動激發(fā)思政課課堂活力[J].中國大學教學，2020（11）：28-32.

[4] 沈玖玖，徐萍，張琴，等.大數(shù)據(jù)時代高校數(shù)據(jù)素養(yǎng)課程群構(gòu)建研究[J].圖書情報工作，2019，63（19）：66-74.

[5] 王成功，王君，曾雪瑩，等.基于雨課堂的混合式教學在高校足球教學中的應(yīng)用[J].當代體育科技，2020，10（32）：118-121，124.

[6] 趙志裕，康螢儀.問卷長度與作答型式的關(guān)系[J].心理學報，1988（1）：15-19.

[7] Jepson C，Asch D A，Hershey J C，et al.In a mailed physician survey， questionnaire length had a threshold effect on response rate[J].Journal of clinical epidemiology，2005，58（1）：103-105.

[8] Yan T，Conrad F G，Tourangeau R， et al. Should I Stay or Should I go： The Effects of Progress Feedback，Promised Task Duration，and Length of Questionnaire on Completing Web Surveys[J].International Journal of Public Opinion Research，2010，23（2）：131-147.

[9] 馬莉萍，曹宇蓮.同步在線教學中的課堂互動與課程滿意度研究——以北京大學教育博士項目為例[J].現(xiàn)代教育技術(shù)，2020，30（8）：15-25.

[10] 柯友枝，孫建剛，張業(yè)安，等.問卷是否可信——基于體育核心期刊論文（2010—2018年）的系統(tǒng)分析[J].體育科學，2020，40（2）：90-97.

[11] Rolstad S， Adler J， RydEn A.Response Burden and Questionnaire Length： Is Shorter Better？ A Review and Meta-analysis[J]. Value in Health，2011，14（8）：1101-1108.

[12] 周鵬生.問卷長度、問卷項目性質(zhì)與作答心向的關(guān)系[J].西北民族大學學報：自然科學版，2009，30（3）：82-85.

[13] 蔡紅梅，許曉東.高校課堂教學質(zhì)量評價指標體系的構(gòu)建[J].高等工程教育研究，2014（3）：177-180.

[14] 王彩珍，李彬彬.基于數(shù)學模型對手機產(chǎn)品質(zhì)量的分析[J].河南城建學院學報，2018，27（2）：85-92.

[15] 楊和財，徐顥.葡萄酒價值認知及定價敏感區(qū)研究[J].中國釀造，2011（7）：188-191.