摘 要:從問卷項目內(nèi)部一致性信度系數(shù)、內(nèi)容效度、構(gòu)想效度等方面,對高等職業(yè)教育服務社會調(diào)查問卷的結(jié)構(gòu)設計進行了信度分析和效度分析。認為三份問卷都有較好的信度,《高等職業(yè)院校服務社會培就業(yè)培訓》問卷的結(jié)構(gòu)設計合理有效,《就業(yè)情況》和《幸福感受》問卷的結(jié)構(gòu)設計比較特殊,需要作一些改進。
關(guān)鍵詞:信度;效度
數(shù)據(jù)統(tǒng)計分析結(jié)果和調(diào)查結(jié)論的正確性一方面依賴于調(diào)查數(shù)據(jù)的真實性和統(tǒng)計方法的正確性,另一方面在很大程度上還依賴于問卷設計的科學性和合理性,因此在進行數(shù)據(jù)分析之前,我們對采用的三份問卷進行了大量的試調(diào)查,目的是設計出合理有效的問卷。
通過科學的統(tǒng)計方法對調(diào)查問卷進行信度分析和效度分析,合理設計調(diào)查題目,方便我們對數(shù)據(jù)進行科學分析,以利于提高學術(shù)界、教育界、政府、社會對高等職業(yè)培訓服務社會效果的認識以及進一步改進這種人才培訓模式。
一、信度分析
信度[1](Reliability)即可靠性,它是指采用同樣的方法對同一對象重復測量時所得結(jié)果的一致性程度。本研究采用Cronbach a[2]系數(shù)來檢驗“內(nèi)在一致性”。通過信度分析,可以反映被測特征的真實程度。我們主要在SPSS13.0中采用Alpha值測量問卷項目內(nèi)部一致性信度系數(shù)(信度系數(shù)的取值范圍為[0,1]),分別計算三份問卷各維度和各問卷總體的Alpha信度系數(shù)。主要數(shù)據(jù)詳見表1。
上述結(jié)果顯示,三份問卷總的內(nèi)部一致性信度系數(shù)均大于0.8,說明問卷有很好的內(nèi)部一致性信度,評價指標體系很好,問卷整體設計的可信度較高,獲得的數(shù)據(jù)有較強的穩(wěn)定性,能比較真實地反映被測特征。各維度的信度系數(shù)值均在0.8-0.9之間或接近0.8,說明各項目之間具有較好的一致性,基本上能較好地反映所在維度,評價指標體系可以接受。由此我們認為,這三份問卷都有較好的信度,依此調(diào)查得到的數(shù)據(jù)是可信的,對問卷進行的數(shù)據(jù)分析也是比較可靠的。
二、效度分析
效度[1](Validity)即有效性,它是指測量工具或手段能夠準確測出所需測量的事物的程度。效度表明一個研究設計或測試工具實際能測出其所要測的特征的程度(有效性)。通過效度分析,觀察測量到的數(shù)據(jù)是不是能夠反映所要測定的特征,也就是依據(jù)測試結(jié)果所作推論的有效程度。這里我們主要討論內(nèi)容效度和構(gòu)想效度。
(一)內(nèi)容效度
內(nèi)容效度是一個測驗實際測到的內(nèi)容對所要測量內(nèi)容取樣的代表程度,它側(cè)重于測驗題目取樣的代表性,考查這些題目對所要測量的內(nèi)容和行為反應測量的有效程度。
本次調(diào)查所采用的調(diào)查問卷是由呼和浩特職業(yè)學院有關(guān)職業(yè)培訓專家根據(jù)職業(yè)培訓相關(guān)理論和職業(yè)培訓目的進行設計的,專家們運用科學的統(tǒng)計方法對問卷進行統(tǒng)計分析和討論,對指標體系和調(diào)查表的項目進行修改,最終通過專家組鑒定,形成本課題的調(diào)查問卷。這表明,通過科學的問卷編制過程,研究設計中的系統(tǒng)誤差和隨機誤差都應該得到較好的控制,在一定程度上保證了調(diào)查目的與調(diào)查內(nèi)容的一致性。因此,可以認為問卷有較好的內(nèi)容效度。
(二)構(gòu)想效度
構(gòu)想效度是指一個研究對其測定的結(jié)果能用它所依據(jù)的理論結(jié)構(gòu)予以解釋的程度,側(cè)重于一個測驗能夠準確測量到心理學和教學理論上的某種抽象概念(或理論結(jié)構(gòu))和特質(zhì)的程度。在本項研究中,我們主要利用AMOS7.0軟件對三份問卷進行驗證性因素分析(CFA),來考察每個項目是否測量了某個緯度的特質(zhì),檢驗它與設計的理論模型的擬合程度,以觀察該問卷能夠準確測量某種抽象概念(或理論結(jié)構(gòu))和特質(zhì)的程度。
1.《就業(yè)培訓》問卷
通過運行SPSS13.0的因子分析可以得出,就業(yè)培訓問題可以由就業(yè)能力、綜合能力和發(fā)展能力三個因子代表。假設這幾個潛變量都相關(guān),設定其理論模型(見模型圖1)。用收集來的數(shù)據(jù)對其進行模型擬合。
運行Calculate estimates命令,分別計算出各問卷的因素載荷系數(shù)(Standardized Regression Weights)和驗證性因素分析擬合結(jié)果。具體數(shù)據(jù)見表2。
三份問卷因素載荷系數(shù)均在0.4以上,這說明這些項目能較好地測量它所在的維度。
《就業(yè)培訓》模型擬合指數(shù)顯示,比較擬合指數(shù)(CFI)和非賦范擬合指數(shù)(TLI)值均大于0.88,這表明整體模型擬合還可以。近似誤差均方根(RMSEA)的值小于0.10,也是可以接受的??ǚ脚c自由度的比值(CMIN/DF)介于2.0~5.0之間,表示模型可以接受。該問卷具有良好的構(gòu)想效度。
《就業(yè)情況》模型擬合指數(shù)顯示,比較擬合指數(shù)(CFI)和非賦范擬合指數(shù)(TLI)值均小于0.9,這表明整體模型擬合一般。近似誤差均方根(RMSEA)的值大于0.10,卡方與自由度的比值(CMIN/DF)介于2.0~5.0之間,表示模型需要改進。
《幸福感受》問卷驗證性因素模型擬合結(jié)果顯示,CFI和TLI值均小于0. 90 ,CMIN/DF大于5.0,這表明整體模型擬合不是很好。RMSEA的值大于0.08,不能接受。《幸福感受》問卷,雖在試調(diào)查的基礎上作了修改,但問卷結(jié)構(gòu)仍不是很理想,需要在今后的研究中進一步修訂。
以上結(jié)果表明,問卷設計需要繼續(xù)改進,以適應模型計算的要求,但總體來說,三分問卷具有較好的構(gòu)想效度。
三、結(jié)論與討論
根據(jù)總的內(nèi)部一致性信度系數(shù),三份問卷都有較好的信度,問卷可以接受,依此調(diào)查得到的數(shù)據(jù)是可信的,對問卷進行的數(shù)據(jù)統(tǒng)計分析也是比較可靠的。
從各維度的內(nèi)部一致性信度系數(shù)看,發(fā)展能力的Alpha值較低,這主要有兩個方面的原因,其一,題目設置和選項上有不一致的地方,其二,受訓者填表時出現(xiàn)不一致現(xiàn)象,應從題目設置和選項上作進一步的修改。
效度分析結(jié)果表明《職業(yè)培訓》問卷的理論模型對呼和浩特職業(yè)學院的抽樣數(shù)據(jù)擬合效果較好,說明問卷的結(jié)構(gòu)設計合理有效,問卷可以接受。所獲得的調(diào)查數(shù)據(jù)能夠較好地反映調(diào)查的目的和要求,數(shù)據(jù)的統(tǒng)計分析結(jié)果是有效的、可靠的。
信度和效度是評價一個研究設計好不好的兩個指標。本次調(diào)查問卷是在試調(diào)查基礎上進行修改的,但修改后的問卷,其結(jié)構(gòu)設計的信度效度如何、各培訓項目適用問卷的可靠性怎樣?課題組成員可以通過本次調(diào)查作進一步的檢驗和完善。
參考文獻:
[1]侯杰泰,溫忠麟,成子娟.結(jié)構(gòu)方程模型及其應用[M].北京:教育科學出版社,2004.
[2]楊曉明. SPSS在教育統(tǒng)計中的應用[M].北京:高等教育出版社,2004.
本文為全國教育科學“十一五”規(guī)劃課題(FJB070507)