王道陽(yáng),劉爭(zhēng)光
(1.安徽師范大學(xué)教育科學(xué)學(xué)院,蕪湖 241000;2.北京師范大學(xué)中國(guó)基礎(chǔ)教育質(zhì)量監(jiān)測(cè)協(xié)同創(chuàng)新中心,北京 100875)
近些年,隨著計(jì)算機(jī)網(wǎng)絡(luò)、移動(dòng)網(wǎng)絡(luò)的普及,傳統(tǒng)的紙筆測(cè)驗(yàn)逐漸被網(wǎng)絡(luò)測(cè)驗(yàn)或在線測(cè)驗(yàn)(Internet or On-line)所取代(Dodou & Winter,2014;Raffaelli et al.,2016)。這是由時(shí)代發(fā)展、科技進(jìn)步所決定的,也因?yàn)榫W(wǎng)絡(luò)測(cè)驗(yàn)本身相對(duì)于紙筆測(cè)驗(yàn)有著巨大優(yōu)勢(shì)。這些優(yōu)勢(shì)表現(xiàn)為:(1)更加經(jīng)濟(jì),且增加數(shù)據(jù)收集效率。比如,減少紙張印刷,符合節(jié)約環(huán)保理念,也控制了成本。(2)減少了數(shù)據(jù)錄入、清理過(guò)程。通過(guò)計(jì)算機(jī)控制可以以大大降低數(shù)據(jù)出錯(cuò)率,比如,被試出生時(shí)間(年、月、日),可以限定“年”為4個(gè)字符,限定“月”為“1-12”等,通過(guò)網(wǎng)絡(luò)計(jì)算機(jī)實(shí)現(xiàn)質(zhì)量的控制;同時(shí),答題結(jié)束時(shí)數(shù)據(jù)在后臺(tái)就同時(shí)生成,減少了傳統(tǒng)紙筆測(cè)驗(yàn)后再次編碼、錄入、核查、清理數(shù)據(jù)的過(guò)程。(3)數(shù)據(jù)取樣更大。通過(guò)網(wǎng)絡(luò)計(jì)算機(jī)數(shù)千個(gè)樣本的數(shù)據(jù)與數(shù)百個(gè)樣本數(shù)據(jù)處理的時(shí)間幾乎是相當(dāng)?shù)?Hauk,2015)。(4)可以控制觀察者偏差(Observer bias)、反應(yīng)偏差(response bias)等無(wú)關(guān)因素(Davis,1999)。(5)答題形式更易于被試接受?;?dòng)性增強(qiáng),可以通過(guò)發(fā)紅包、抽獎(jiǎng)的形式激勵(lì)被試參與;同時(shí),可以記錄被試完成答題的時(shí)長(zhǎng);被試答題的時(shí)空選擇更加自由。
然而,自我報(bào)告的問(wèn)卷或量表,絕大多數(shù)都是通過(guò)紙筆測(cè)驗(yàn)編制而成。能否把通過(guò)紙筆測(cè)驗(yàn)編制而成的問(wèn)卷或量表,直接通過(guò)網(wǎng)絡(luò)測(cè)驗(yàn)來(lái)應(yīng)用?也就是說(shuō),網(wǎng)絡(luò)測(cè)驗(yàn)的結(jié)果與紙筆測(cè)驗(yàn)是否具有對(duì)等性(Measurement Equivalence / Invariance)。特別是,網(wǎng)絡(luò)測(cè)驗(yàn)對(duì)被試答題時(shí)的情境和條件是無(wú)法控制的。而自我報(bào)告測(cè)驗(yàn)在不同情境、條件下,可能會(huì)導(dǎo)致測(cè)量特性發(fā)生變化,就會(huì)帶來(lái)測(cè)量不變性問(wèn)題(Hardre,Crowson,& Xie,2012)。于是,近些年有關(guān)紙筆測(cè)驗(yàn)與網(wǎng)絡(luò)測(cè)驗(yàn)的不變性研究報(bào)告有很多,且大多數(shù)研究結(jié)論認(rèn)為紙筆測(cè)驗(yàn)與網(wǎng)絡(luò)測(cè)驗(yàn)不是完全對(duì)等的(Cieciuch et al.,2015;Hauk,2015;Lewis,Watson,& White,2009;Meade,Lautenschlager,& Michels,2007)。這些研究,客觀上對(duì)于把筆紙版的問(wèn)卷或量表運(yùn)用到網(wǎng)絡(luò)測(cè)驗(yàn)中起到了積極的推動(dòng)作用,也界定了網(wǎng)絡(luò)測(cè)驗(yàn)對(duì)測(cè)量工具的使用條件。然而,這些研究?jī)H僅把紙筆測(cè)驗(yàn)與網(wǎng)絡(luò)測(cè)驗(yàn)進(jìn)行方法上的不變性驗(yàn)證,往往忽視了紙筆測(cè)驗(yàn)與網(wǎng)絡(luò)測(cè)驗(yàn)之所以有不對(duì)等性背后的因素。因?yàn)?,紙筆測(cè)驗(yàn)相對(duì)于網(wǎng)絡(luò)測(cè)驗(yàn)最重要的優(yōu)勢(shì)就是對(duì)于被試測(cè)試情境與條件的控制。既然網(wǎng)絡(luò)測(cè)驗(yàn)已有著巨大優(yōu)勢(shì),如果再能把網(wǎng)絡(luò)測(cè)驗(yàn)情境與條件控制得以提升,那么網(wǎng)絡(luò)測(cè)驗(yàn)就具有紙筆測(cè)驗(yàn)無(wú)可比擬的優(yōu)勢(shì)。因此,研究重點(diǎn)應(yīng)該是如何在網(wǎng)絡(luò)測(cè)驗(yàn)中控制測(cè)驗(yàn)情境、條件。已有研究報(bào)告網(wǎng)絡(luò)測(cè)驗(yàn)中被試測(cè)驗(yàn)場(chǎng)地噪音影響、測(cè)試時(shí)的情緒體驗(yàn)、答題時(shí)長(zhǎng)、答題時(shí)是否有急事處理以及答題場(chǎng)所等都是影響測(cè)驗(yàn)特性的重要影響因素(Hardre et al.,2012)?;诖?,可以對(duì)于上述網(wǎng)絡(luò)測(cè)驗(yàn)中的情境、條件變量進(jìn)行不變性檢驗(yàn)。如果不變性不成立,則說(shuō)明某種條件下問(wèn)卷或量表的測(cè)量特性發(fā)生變化,這種條件下的數(shù)據(jù)需要進(jìn)行處理或清理。所以,通過(guò)對(duì)假設(shè)影響網(wǎng)絡(luò)測(cè)驗(yàn)的情境變量進(jìn)行不變性檢驗(yàn)就可以發(fā)現(xiàn)網(wǎng)絡(luò)測(cè)驗(yàn)可靠性控制的方法。
不變性是自我報(bào)告問(wèn)卷不同組別比較的前提條件。測(cè)量不變性是對(duì)兩組或多組問(wèn)卷?xiàng)l目(觀測(cè)變量)之間不變性的檢驗(yàn),而結(jié)構(gòu)不變性是對(duì)兩組或多組問(wèn)卷維度(潛變量)之間不變性的檢驗(yàn),兩者合在一起統(tǒng)稱(chēng)為完全因素不變性(Factorial Invariance)(Byrne,Shavelson,& Muthén,1989)。完全因素不變性被Byrne等提出之后,主要基于多組驗(yàn)證性因素分析(Multi-group Confirmatory Factor Analysis,MCFA)理論(Meade,& Lautenschlager,2004)。MCFA檢驗(yàn)的參數(shù)模型主要包含:無(wú)任何約束的分組驗(yàn)證性因素分析(Mgroup)、協(xié)方差的不變性(M0,Invariant Covariance)、形態(tài)的不變性(M1,Configural Invariance)、負(fù)荷的不變性(M2,Metric Invariance)、嚴(yán)格不變性(M4,Strict Invariance)、因子方差-協(xié)方差不變性(M5,F(xiàn)actor Variance/Covariance Invariance)、潛均值的不變性(M6,Latent Mean Invariance)(Vandenberg & Lance,2000)。
主觀幸福感是人們對(duì)其生活現(xiàn)狀、質(zhì)量所做的情感性和認(rèn)知性的評(píng)價(jià),包含情感和認(rèn)知兩個(gè)成份。生活滿(mǎn)意度量表(the Satisfaction With Life Scale,SWLS)是針對(duì)主觀幸福感認(rèn)知成份的測(cè)評(píng)(Diener et al.,1999)。關(guān)于SWLS在性別、年齡等人口學(xué)變量的不變性檢驗(yàn)研究有很多,但隨著網(wǎng)絡(luò)測(cè)驗(yàn)的普及,也有研究者通過(guò)網(wǎng)絡(luò)答題方式開(kāi)展生活滿(mǎn)意度量表調(diào)查,并且與紙質(zhì)答題方式進(jìn)行了測(cè)量不變性驗(yàn)證。結(jié)果表明,網(wǎng)絡(luò)測(cè)驗(yàn)和紙筆測(cè)驗(yàn)之間存在弱不變性,但只存在部分的強(qiáng)不變性和部分的嚴(yán)格不變性(蔡華儉等,2008)。隨著網(wǎng)絡(luò)普及,網(wǎng)絡(luò)測(cè)驗(yàn)具有答題不受時(shí)間、空間的束縛、數(shù)據(jù)處理便捷的優(yōu)點(diǎn),越來(lái)越受到研究者的重視。與紙質(zhì)測(cè)驗(yàn)有主試對(duì)答題環(huán)境、答題時(shí)心理感受進(jìn)行控制不同,網(wǎng)絡(luò)測(cè)驗(yàn)時(shí)這些都不能適當(dāng)控制或者使之處于同一水平。因此,在網(wǎng)絡(luò)測(cè)驗(yàn)時(shí),就需要設(shè)計(jì)一些被試答題時(shí)噪音水平、心理感受、是否著急(有其他要緊的事等著要做),以及答題所用時(shí)間來(lái)了解其他變量的干擾,以便對(duì)數(shù)據(jù)進(jìn)行清理、比較。那么,就帶來(lái)當(dāng)被試在不同噪音水平、心理感受等情境下,不同組的自我報(bào)告量表結(jié)果是具有可比性的問(wèn)題。也就是說(shuō),首先需要解決這些不同組自我報(bào)告量表的測(cè)量不變性問(wèn)題。SWLS測(cè)量的生活滿(mǎn)意度在某種意義上與主觀認(rèn)知有關(guān),而此次研究進(jìn)行的不變性檢驗(yàn),主要就是對(duì)被試在測(cè)試時(shí)周?chē)h(huán)境的認(rèn)知的兩組不變性檢驗(yàn)。所以,測(cè)試時(shí)當(dāng)前周?chē)h(huán)境的認(rèn)知會(huì)不會(huì)對(duì)幸福感的主觀認(rèn)知產(chǎn)生影響,會(huì)不會(huì)造成對(duì)周?chē)h(huán)境的認(rèn)知不同組被試之間對(duì)生活滿(mǎn)意度理解產(chǎn)生差異,這需要通過(guò)完全因素不變性檢驗(yàn)才能確定。
運(yùn)用計(jì)算機(jī)網(wǎng)絡(luò)和手機(jī)網(wǎng)絡(luò)(掃描微信二維碼)的方式,利用網(wǎng)絡(luò)平臺(tái)征集答題調(diào)查了1343名大學(xué)生,年齡17~25歲(20.01±1.53)。其中男生846名(63.00%),女生497名(37.00%);戶(hù)口性質(zhì)為非農(nóng)業(yè)戶(hù)口355人(26.40%),農(nóng)業(yè)戶(hù)口988人(73.60%)。
背景問(wèn)卷。包括被試年齡、性別、戶(hù)口性質(zhì)等人口學(xué)變量;也包括被試對(duì)答題時(shí)周?chē)h(huán)境與心理感受的評(píng)估,主要有“你現(xiàn)在有事急需處理嗎?如,去上課、老師讓我去辦公室找他等”“你當(dāng)前心理感受是什么?”“你的周?chē)欠裼性胍??噪音是否影響答題?”等。此外,系統(tǒng)自動(dòng)記錄被試答題時(shí)間,將作為后期分析的一個(gè)重要變量。
生活滿(mǎn)意度量表。該量表主要是測(cè)評(píng)自己對(duì)當(dāng)前生活的滿(mǎn)意程度,選項(xiàng)包括非常不同意到非常同意,共7個(gè)等級(jí)(1~7);量表有5個(gè)題目,“我的生活大致符合我的理想”“我的生活狀況非常圓滿(mǎn)”“我滿(mǎn)意自己的生活”“直到現(xiàn)在為止,我都能夠得到我在生活上希望擁有的重要東西”“如果我能重新活過(guò),差不多沒(méi)有東西我想改變”(Diener et al.,1985)。中國(guó)香港研究者,將中文版生活滿(mǎn)意度量表應(yīng)用到香港大學(xué)生中,其內(nèi)部一致性系數(shù)α為0.78,分半信度為0.70(Wang,Yuen,& Slaney,2009)。此次研究采用的生活滿(mǎn)意度量表,其內(nèi)部一致性系數(shù)α為0.90。
針對(duì)生活滿(mǎn)意度量表,進(jìn)行有急事需要處理(否、是),答題時(shí)感受(積極情緒、消極情緒),噪音水平(無(wú)、有),答題用時(shí)(長(zhǎng):均數(shù)以上、短:均數(shù)以下)等不同組別的完全因素不變性檢驗(yàn)。驗(yàn)證模型包括無(wú)任何約束的分組驗(yàn)證性因素分析(Mgroup)、形態(tài)的不變性(M1)、負(fù)荷的不變性(M2)、截距的不變性(M3)、嚴(yán)格不變性(M4)、因子方差-協(xié)方差的不變性(M5)以及潛均值的不變性(M6)。擬合指數(shù)使用χ2/df、CFI、TLI、90%CI、RMSEA、SRMR;模型之間比較使用Δχ2,即χ2變化量。Δχ2服從自由度變化量(Δdf)的χ2分布。當(dāng)Δχ2顯著時(shí),兩模型不變性檢驗(yàn)假設(shè)不成立,反之則成立。
不同組別(SWLS總分)以及總樣本(SWLS總分及各個(gè)題目)均分和標(biāo)準(zhǔn)差,以及峰度和偏度值見(jiàn)表1。結(jié)果顯示,偏度在0.02~0.47之間,峰度0.14~0.80之間,數(shù)據(jù)完全符合正態(tài)分布的標(biāo)準(zhǔn)(峰度絕對(duì)值在0~2、偏度絕對(duì)值在0~7,可以認(rèn)為數(shù)據(jù)是正態(tài)分布)(Curran,West,& Finch,1996)??倶颖镜膬?nèi)部一致性α系數(shù)為0.90,不同組別的內(nèi)部一致性α系數(shù)也在0.86~0.92之間。
表1 不同組別生活滿(mǎn)意度量表的描述性統(tǒng)計(jì)
注:答題時(shí)感受分類(lèi),積極情緒包括放松或開(kāi)心,消極情緒包括生氣、沮喪、緊張或煩惱。
表2是不同組別生活滿(mǎn)意度量表完全因素不變性各模型擬合指數(shù)匯總。從不同組別的分組無(wú)任何約束的驗(yàn)證性因素分析的結(jié)果來(lái)看,均表現(xiàn)出CFI>0.95、TLI>0.95,雖然部分模型RMSEA的值大于0.10,但SRMR<0.08,而RMSEA更易于收到樣本數(shù)量的影響。因此,總體上看,分組的模型擬合較好。
表2 不同組別生活滿(mǎn)意度量表完全因素不變性模型的擬合指數(shù)
續(xù)表2
模型χ2dfΔχ2ΔdfCFIΔCFI90%CIRMSEASRMR答題時(shí)感受Mgroup165.935——0.980—0.086-0.1330.1090.024Mgroup221.995——0.990—0.062-0.1510.1050.020M187.9210——0.982—0.088-0.1290.1080.023M293.54145.6240.9820.0000.075-0.1100.0920.029M3101.60188.0640.981-0.0010.068-0.0990.0830.032M4110.49238.8950.980-0.0010.062-0.0900.0750.030M5114.45243.96*10.979-0.0010.061-0.0890.0750.052M6135.342520.89**10.974-0.0050.068-0.0950.0810.093噪音水平Mgroup122.365——0.990—0.058-0.1390.0960.019Mgroup266.725——0.980—0.090-0.1380.1130.025M189.0810——0.982—0.088-0.1300.1090.023M291.45142.3740.9820.0000.074-0.1090.0910.027M3106.201814.75**40.980-0.0020.070-0.1010.0850.028M4130.112323.91**50.976-0.0040.070-0.0970.0830.033M5130.41240.3010.9760.0000.068-0.0950.0810.033M6130.83250.4210.9760.0000.066-0.0930.0790.033答題用時(shí)Mgroup145.835——0.990—0.072-0.1240.0970.018Mgroup240.785——0.970—0.090-0.1590.1230.034M186.6110——0.982—0.087-0.1280.1070.025M2106.301419.69**40.979-0.0030.082-0.1170.0990.047M3137.421831.12**40.972-0.0070.084-0.1150.0990.047M4179.372341.95**50.964-0.0080.087-0.1150.1010.058M5190.382411.01**10.962-0.0020.088-0.1150.1020.088M6215.842525.46**10.956-0.0060.094-0.1200.1070.083
注:*p<0.05,**p<0.01。
不變檢驗(yàn)結(jié)果表明,第一,是否有急事需要處理(不是vs.是的)的完全因素不變性成立,也就是說(shuō)這個(gè)環(huán)境變量不使被試對(duì)生活滿(mǎn)意度理解產(chǎn)生差異。第二,答題時(shí)感受(積極情緒vs.消極情緒)、噪音水平(無(wú)噪音vs.有噪音)的完全因素不變性只有部分成立。其中,答題時(shí)感受的因子方差-協(xié)方差不變性與潛均值的不變性不成立,這說(shuō)明積極情緒組潛變量上的離散程度、協(xié)方差與消極情緒組不是對(duì)等的;噪音水平的截距不變性與嚴(yán)格不變性不成立,這說(shuō)明無(wú)噪音組的截距、誤差方差與有噪音組不是對(duì)等的。這也說(shuō)明,答題時(shí)感受、噪音水平在網(wǎng)絡(luò)測(cè)驗(yàn)中會(huì)對(duì)測(cè)試結(jié)果闡述重要影響,因?yàn)闀?huì)使得被試對(duì)生活滿(mǎn)意度的理解。第三,答題用時(shí)(長(zhǎng)vs.短)完全因素不變性不成立。這說(shuō)明,答題用時(shí)長(zhǎng)組答題用時(shí)短組在生活滿(mǎn)意度理解完全是不對(duì)等的。因此,用時(shí)(此次研究使用均值區(qū)分)過(guò)短的數(shù)據(jù)在網(wǎng)絡(luò)測(cè)驗(yàn)中使用要?jiǎng)?wù)必小心。實(shí)際上,這也說(shuō)明上述三個(gè)指標(biāo)在網(wǎng)絡(luò)測(cè)驗(yàn)中是對(duì)被試答題信效度有效控制的變量。在實(shí)際操作中,也不必對(duì)于嚴(yán)格不變性、潛變量的均值不變性過(guò)分在意,因?yàn)橄鄬?duì)來(lái)說(shuō)M1~M3不變性成立已經(jīng)滿(mǎn)足測(cè)量不變性成立的基本要求(Widaman & Reise,1997)。有研究者認(rèn)為,多數(shù)情況下,對(duì)測(cè)驗(yàn)只要求具有弱不變性,至多嚴(yán)格不變性(蔡華儉等,2008)。
關(guān)于模型之間比較的檢驗(yàn)參數(shù)。有研究者認(rèn)為ΔCFII比Δχ2更可靠,因?yàn)棣う?會(huì)到樣本量的顯著影響,而ΔCFI、ΔTLI更穩(wěn)定。當(dāng)Δχ2與ΔCFI不一致性,則建議參考ΔCFI結(jié)果,當(dāng)|ΔCFI|>0.001時(shí),兩模型不變性檢驗(yàn)假設(shè)不成立(Cheung & Rensvold,2002)。但是,Cheung 和 Rensvold在研究也明確表示,用ΔCFI取代Δχ2是不可取的,也是沒(méi)有意義。也有研究者認(rèn)為,當(dāng)|ΔCFI|>0.002或者Δχ2(p<0.05)時(shí),兩模型不變性檢驗(yàn)假設(shè)就不能成立(Fournier et al.,2007)。因此,如果按照這個(gè)標(biāo)準(zhǔn)此次研究的結(jié)論也是成立的,故在實(shí)際檢驗(yàn)中沒(méi)有把ΔCFI作為檢驗(yàn)參數(shù),但是研究呈現(xiàn)了ΔCFI結(jié)果(見(jiàn)表2)。
不變性檢驗(yàn)研究的意義在于,首先,網(wǎng)絡(luò)測(cè)驗(yàn)的情境下如何對(duì)測(cè)試的質(zhì)量進(jìn)行控制,需要增加相關(guān)變量進(jìn)行檢測(cè),研究結(jié)果表明,測(cè)試完成時(shí)間、測(cè)試時(shí)噪音影響、測(cè)試時(shí)被試情緒等是測(cè)試質(zhì)量的關(guān)鍵變量。對(duì)于網(wǎng)絡(luò)化測(cè)試上述問(wèn)題應(yīng)該作為可靠性控制必做題目。其次,對(duì)于完全因素不變性檢驗(yàn)做了系統(tǒng)的歸納,將測(cè)量不變性、結(jié)構(gòu)不變性與完全因素不變性的概念做了界定與區(qū)分,并且系統(tǒng)的歸納了三者的關(guān)系,介紹了不變性檢驗(yàn)的幾種流程,還以SWLS為例做了實(shí)際的操作驗(yàn)證。研究雖然較為系統(tǒng)的歸納了完全因素不變性檢驗(yàn)的方法與步驟,但如果不是專(zhuān)門(mén)進(jìn)行不變性研究報(bào)告的撰寫(xiě)應(yīng)該可以使用更加簡(jiǎn)潔的方法與步驟,后續(xù)研究中可以探索簡(jiǎn)潔的流程與步驟,實(shí)現(xiàn)比較經(jīng)濟(jì)且易于學(xué)習(xí)的效果。另外,對(duì)于完全因素不變性的檢驗(yàn)參數(shù)還有眾多不同觀點(diǎn),比如,ΔCFI作為檢驗(yàn)參數(shù)僅僅對(duì)于兩組比較有效,多組比較還需要進(jìn)一步系統(tǒng)歸納。對(duì)于SWLS完全因素不變性檢驗(yàn)而言,如何實(shí)驗(yàn)網(wǎng)絡(luò)測(cè)驗(yàn)的可靠性控制,除了測(cè)試完成時(shí)間、測(cè)試時(shí)噪音影響、測(cè)試時(shí)被試情緒,還有一些因素需要進(jìn)一步檢驗(yàn),如測(cè)試場(chǎng)所(學(xué)校、辦公室、家里等)、測(cè)試網(wǎng)絡(luò)途徑(計(jì)算機(jī)網(wǎng)絡(luò)、移動(dòng)網(wǎng)絡(luò))等。這些都是網(wǎng)絡(luò)測(cè)試帶來(lái)的新問(wèn)題,需要在后續(xù)研究進(jìn)一步深入探討分析。
蔡華儉,林永佳,伍秋萍,嚴(yán)樂(lè),黃玄鳳.(2008).網(wǎng)絡(luò)測(cè)驗(yàn)和紙筆測(cè)驗(yàn)的測(cè)量不變性研究——以生活滿(mǎn)意度量表為例.心理學(xué)報(bào),40(2),228-239.
Byrne,B.M.,Shavelson,R.J.,& Muthén,B.(1989).Testing for the equivalence of factor covariance and mean structures:The issue of partial measurement invariance.PsychologicalBulletin,105(3),456-466.
Cheung,G.W.,& Rensvold,R.B.(2002).Evaluating Goodness-of-Fit Indexes for Testing Measurement Invariance.StructuralEquationModelingAMultidisciplinaryJournal,9(2),233-255.
Cieciuch,J.,Davidov,E.,Oberski,D.L.,& Algesheimer,R.(2015).Testing for measurement invariance by detecting local misspecification and an illustration across online and paper-and-pencil samples.EuropeanPoliticalScience,14(4),521-538.
Curran,P.J.,West,S.G.,& Finch,J.F.(1996).The robustness of test statistics to nonnormality and specification error in confirmatory factor analysis.PsychologicalMethods,1(1),16-29.
Davis,R.N.(1999).Web-based administration of a personality questionnaire:Comparison with traditional methods.BehaviorResearchMethodsInstruments&ComputersAJournalofthePsychonomicSocietyInc,31(4),572-577.
Diener,E.,Emmons,R.A.,Larsen,R.J.,& Griffin,S.(1985).The satisfaction with life scale.JournalofPersonalityAssessment,49(1),71-75.
Diener,E.,Suh,E.M.,Lucas,R.E.,& Smith,H.L.(1999).Subjective well-being:Three decades of progress.PsychologicalBulletin,125(2),276-302.
Dodou,D.,& Winter,J.C.F.D.(2014).Social desirability is the same in offline,online,and paper surveys:A meta-analysis.ComputersinHumanBehavior,36(36),487-495.
Fournier,J.,Gaudreau,P.,Demontrond-Behr,P.,Visioli,J.,F(xiàn)orest,J.,& Jackson,S.(2007).French translation of the Flow State Scale-2:Factor structure,cross-cultural invariance,and associations with goal attainment.PsychologyofSportandExercise,8(6),897-916.
Hardre,P.L.,Crowson,H.M.,& Xie,K.(2012).Examining Contexts-of-Use for Web-Based and Paper-Based Questionnaires.Educational&PsychologicalMeasurement,72(6),1015-1038.
Hauk,S.(2015).A Comparison of Web-based and Paper-and-Pencil Homework on Student Performance in College Algebra.PrimusProblemsResources&IssuesinMathematicsUndergraduateStudies,25(1),61-79.
Lewis,M.I.,Watson,B.,& White,K.M.(2009).Internet versus paper-and-pencil survey methods in psychological experiments:Equivalence testing of participant responses to health-related messages.AustralianJournalofPsychology,61(2),107-116.
Meade,A.W.,& Lautenschlager,G.J.(2004).A Monte-Carlo Study of Confirmatory Factor Analytic Tests of Measurement Equivalence/Invariance.StructuralEquationModelingAMultidisciplinaryJournal,11(1),60-72.
Meade,A.W.,Lautenschlager,G.J.,& Michels,L.C.(2007).Are Internet and Paper-and-Pencil Personality Tests Truly Comparable?An Experimental Design Measurement Invariance Study.OrganizationalResearchMethods,10(10),322-345.
Raffaelli,M.,Armstrong,J.,Tran,S.P.,Griffith,A.N.,Walker,K.,& Gutierrez,V.(2016).Focus on Methodology:Beyond paper and pencil:Conducting computer-assisted data collection with adolescents in group settings.JournalofAdolescence,49,1-9.
Vandenberg,R.J.,& Lance,C.E.(2000).A review and synthesis of the measurement invariance literature:Suggestions,practices,and recommendations for organizational research.OrganizationalResearchMethods,3(1),4-70.
Wang,K.T.,Yuen,M.,& Slaney,R.B.(2009).Perfectionism,depression,loneliness,and life satisfaction a study of high school students in Hong Kong.TheCounselingPsychologist,37(2),249-274.
Widaman,K.F.,& Reise,S.P.(1997).Exploring the measurement invariance of psychological instruments:Applications in the substance use domain.TheScienceofPrevention:MethodologicalAdvancesfromAlcoholandSubstanceAbuseResearch,(9),281-324.