摘要：?jiǎn)柧硌芯啃Ф仁侵竼柧硭@得的資料達(dá)成研究目的之程度。問卷的試測(cè)效度和問卷的測(cè)量效度是表達(dá)問卷研究效度的兩個(gè)指標(biāo)。以長(zhǎng)期從事問卷研制的實(shí)踐經(jīng)驗(yàn)為基礎(chǔ)，探索增進(jìn)問卷研究效度之新策略：“目標(biāo)樹建構(gòu)—題目導(dǎo)出與問卷研制—試測(cè)操控—反饋評(píng)估與對(duì)標(biāo)修改”。（1）根據(jù)研究目的建構(gòu)概念分析的目標(biāo)樹和溯因分析的目標(biāo)樹。（2）從目標(biāo)樹的末級(jí)目標(biāo)導(dǎo)出問卷題目，結(jié)合被調(diào)查者的特點(diǎn)編撰題干和選項(xiàng)，自編與借用題目相結(jié)合。（3）應(yīng)用實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)效度理論，控制試測(cè)樣本誤差、試測(cè)安排的霍桑效應(yīng)、區(qū)域文化差異、歷史事件、情境污染等無(wú)關(guān)變量對(duì)問卷資料的影響，增進(jìn)問卷的試測(cè)效度。（4）分別運(yùn)用對(duì)標(biāo)分析法和因素分析法評(píng)估問卷資料的內(nèi)容效度和結(jié)構(gòu)效度，并根據(jù)評(píng)估結(jié)果對(duì)標(biāo)修改問卷題目。

關(guān)鍵詞：?jiǎn)柧硌芯啃Ф?；目?biāo)樹；試測(cè)效度；測(cè)量效度

作者簡(jiǎn)介：李夏妍，廣東金融學(xué)院公共管理學(xué)院副教授；胡中鋒，華南師范大學(xué)基礎(chǔ)教育學(xué)院院長(zhǎng)、教授、博士生導(dǎo)師，粵港澳大灣區(qū)教育與社會(huì)融合研究中心主任；王陽(yáng)，廣東金融學(xué)院公共管理學(xué)院講師。

基金項(xiàng)目：國(guó)家社會(huì)科學(xué)基金教育學(xué)一般項(xiàng)目“基于學(xué)生發(fā)展的增值性評(píng)價(jià)理論與實(shí)踐研究”（項(xiàng)目編號(hào)：BFA210064）、廣東省哲學(xué)社會(huì)科學(xué)規(guī)劃2022年度一般項(xiàng)目“高校畢業(yè)生‘慢就業(yè)’的生成邏輯及其引導(dǎo)策略研究”（項(xiàng)目編號(hào)：GD22CJY09）、教育部人文社會(huì)科學(xué)研究青年項(xiàng)目“共情對(duì)心理與行為問題的內(nèi)隱負(fù)面作用”（項(xiàng)目編號(hào)：23YJC190026）的階段性研究成果。

中圖分類號(hào)：G40-034文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-7068（2024）01-0046-12

DOI：10.19563/j.cnki.sdjk.2024.01.005

問卷研究是以問卷為工具搜集資料的一種社會(huì)及行為科學(xué)研究方法。問卷研究效度指問卷所獲得的資料達(dá)成研究目的之程度。問卷研究效度強(qiáng)調(diào)問卷資料的有效性，即問卷所獲資料是否研究真正需求的資料，能否有效實(shí)現(xiàn)研究目的。因此，問卷研究效度是衡量問卷研究水平高低的決定性評(píng)價(jià)指標(biāo)。在操作性定義上，本研究將問卷研究效度界定為問卷試測(cè)效度與問卷測(cè)量效度綜合分析評(píng)價(jià)的結(jié)果。

何謂增進(jìn)問卷研究效度之新策略？策略既可以是單一的具體方法或舉措，也可以是由若干方法或舉措整合而成的有序的互相聯(lián)系的系統(tǒng)。本研究提出的新策略是一個(gè)由若干子策略整合而成的有序整體，即“目標(biāo)樹建構(gòu)—題目導(dǎo)出與問卷研制—試測(cè)操控—反饋評(píng)估與對(duì)標(biāo)修改”。耗散結(jié)構(gòu)論認(rèn)為，系統(tǒng)內(nèi)部各要素之間存在非線性相互作用，因而子系統(tǒng)形成系統(tǒng)時(shí)，會(huì)涌現(xiàn)出新的性質(zhì)。這種新性質(zhì)使整體功能超越各部分功能之和。同理，本研究提出的新策略不等于四個(gè)子策略之和，它是一個(gè)具有新性質(zhì)的總體，除具備每個(gè)子策略之功能外，還形成了新的功能。埃德加·莫蘭認(rèn)為，策略和程序一樣，都表現(xiàn)為實(shí)現(xiàn)一定目標(biāo)的行動(dòng)方案。[1]因此，本研究提出的新策略是一個(gè)由四個(gè)子策略整合的行動(dòng)方案。

一、目標(biāo)樹建構(gòu)

目標(biāo)樹建構(gòu)是問卷研究的起點(diǎn)，制約著后面三個(gè)子策略的實(shí)施，對(duì)后面三個(gè)子策略的運(yùn)用具有指導(dǎo)和引領(lǐng)的意義。

許多調(diào)查問卷設(shè)計(jì)者根據(jù)自己心中的研究目的來(lái)設(shè)計(jì)問卷題目。但由于心中的“目的”是一個(gè)抽象不具體、可塑不穩(wěn)定的概念，缺乏可測(cè)量性和可操作性，據(jù)此設(shè)計(jì)出來(lái)的問卷題目容易指向不明、邊界不清，難以引發(fā)作答者提供有效的資料。為了確保問卷調(diào)查能夠獲得與研究目的相符的資料，宜緊扣研究目的，建構(gòu)目標(biāo)樹。本研究提出的目標(biāo)樹有概念分析的目標(biāo)樹和溯因分析的目標(biāo)樹。

（一）概念分析的目標(biāo)樹

概念分析的目標(biāo)樹建構(gòu)，用逐級(jí)分解目標(biāo)法。操作過(guò)程是：以研究目的的概念分析為出發(fā)點(diǎn)，從左到右對(duì)研究目的逐級(jí)分解，直到分解成具體的可觀察、可測(cè)量的目標(biāo)為止，從而形成一個(gè)樹狀目標(biāo)體系，這個(gè)樹狀目標(biāo)體系就是目標(biāo)樹。目標(biāo)樹由母目標(biāo)和子目標(biāo)構(gòu)成。被分解的目標(biāo)為母目標(biāo)，從母目標(biāo)中分解出來(lái)的目標(biāo)為子目標(biāo)。母目標(biāo)和子目標(biāo)相對(duì)而言，上一級(jí)被分解出來(lái)的子目標(biāo)是下一級(jí)被分解的母目標(biāo)。

例如，編制《大學(xué)生領(lǐng)導(dǎo)力問卷》，建構(gòu)大學(xué)生領(lǐng)導(dǎo)力結(jié)構(gòu)的目標(biāo)樹。第一，圍繞研究目的進(jìn)行文獻(xiàn)研究和觀察思考，并搜集相關(guān)資料。第二，研究目的（母目標(biāo)）的內(nèi)涵分析，如分析大學(xué)生領(lǐng)導(dǎo)力的內(nèi)涵。第三，基于大學(xué)生領(lǐng)導(dǎo)力的內(nèi)涵，并結(jié)合研究者對(duì)大學(xué)生在?；顒?dòng)的長(zhǎng)期觀察，生成構(gòu)建愿景、戰(zhàn)略決策、工作實(shí)踐、人格影響、人際交往五個(gè)子目標(biāo)（一級(jí)目標(biāo)）。第四，分解五個(gè)一級(jí)目標(biāo)（母目標(biāo)），生成二級(jí)目標(biāo)（子目標(biāo)）。如，分解一級(jí)目標(biāo)構(gòu)建愿景，生成預(yù)見能力、敏銳的洞察力等5個(gè)二級(jí)目標(biāo)；分解一級(jí)目標(biāo)戰(zhàn)略決策，生成與領(lǐng)導(dǎo)工作相關(guān)的知識(shí)結(jié)構(gòu)、學(xué)習(xí)能力等8個(gè)二級(jí)目標(biāo)；其余類推。如圖1所示。

分解到二級(jí)目標(biāo)時(shí)，如果二級(jí)目標(biāo)已具備可觀測(cè)性，則定為末級(jí)目標(biāo)（或指標(biāo)），無(wú)須繼續(xù)分解；如果二級(jí)目標(biāo)尚不夠具體，則要繼續(xù)分解到三級(jí)目標(biāo)。

目標(biāo)的生成應(yīng)以一定的理論依據(jù)和實(shí)踐依據(jù)為基礎(chǔ)，避免隨意性和盲目性。理論依據(jù)是母目標(biāo)概念內(nèi)涵涉及的相關(guān)專業(yè)理論，如通過(guò)查閱國(guó)內(nèi)外相關(guān)文獻(xiàn)，發(fā)現(xiàn)大學(xué)生領(lǐng)導(dǎo)力五維結(jié)構(gòu)的理論依據(jù)。分解母目標(biāo)，除根據(jù)一定的專業(yè)理論外，還受研究者對(duì)母目標(biāo)內(nèi)涵的認(rèn)識(shí)、理解的影響。實(shí)踐依據(jù)是研究者編制問卷的實(shí)踐經(jīng)驗(yàn)以及試測(cè)者的實(shí)際情況，如從大學(xué)生自述的領(lǐng)導(dǎo)事件中歸納大學(xué)生領(lǐng)導(dǎo)力的主要特征。此外，以實(shí)踐依據(jù)生成子目標(biāo)，還受研究者對(duì)實(shí)際情況的觀察程度、自身經(jīng)驗(yàn)和思考水平的制約。例如，經(jīng)研究者對(duì)大學(xué)生活動(dòng)的長(zhǎng)期觀察和思考發(fā)現(xiàn)，大學(xué)生的領(lǐng)導(dǎo)行為與社會(huì)上行政管理干部的領(lǐng)導(dǎo)行為不完全相同。大學(xué)生沒有領(lǐng)導(dǎo)工作崗位上的領(lǐng)導(dǎo)職責(zé)，所以大學(xué)生的執(zhí)行能力大多表現(xiàn)為服務(wù)性做事的工作實(shí)踐和在學(xué)生組織領(lǐng)導(dǎo)工作中的躬行。他們帶領(lǐng)團(tuán)隊(duì)并非依靠崗位職權(quán)和權(quán)威，而是憑借自己的人格影響和人際交往。因此，本研究設(shè)計(jì)的工作實(shí)踐、人格影響和人際交往等子目標(biāo)符合大學(xué)生領(lǐng)導(dǎo)行為的實(shí)際情況，具有大學(xué)生領(lǐng)導(dǎo)力的特色。如此，通過(guò)研究者的觀察思考和直接經(jīng)驗(yàn)，實(shí)證檢驗(yàn)了經(jīng)由文獻(xiàn)研究和間接經(jīng)驗(yàn)得到的大學(xué)生領(lǐng)導(dǎo)力五維結(jié)構(gòu)假設(shè)。

（二）溯因分析的目標(biāo)樹

溯因分析旨在追溯造成某種結(jié)果的若干原因，或分析因素之間的因果關(guān)系。如圖2，在大學(xué)生領(lǐng)導(dǎo)力影響因素的溯因分析目標(biāo)樹中，自變量是人口統(tǒng)計(jì)學(xué)、學(xué)生組織參與、社會(huì)參與三個(gè)變量，因變量是大學(xué)生領(lǐng)導(dǎo)力。每個(gè)自變量又分解為若干個(gè)觀測(cè)指標(biāo)，據(jù)此設(shè)計(jì)若干問卷題目去收集資料，旨在檢驗(yàn)研究假設(shè)是否成立。

圖1概念分析的目標(biāo)樹

通過(guò)問卷研究進(jìn)行溯因分析可能存在兩個(gè)問題：一是問卷中變量發(fā)生的先后順序有時(shí)不夠明確，二是問卷中的變量控制不夠嚴(yán)格。因此一般而言，問卷研究只能得到變量之間的相關(guān)關(guān)系，根據(jù)理論和相關(guān)關(guān)系得到變量之間的因果關(guān)系推論。若研究者希望通過(guò)問卷研究得到較嚴(yán)謹(jǐn)?shù)囊蚬P(guān)系，則需通過(guò)一定的方法確定變量的順序，以及對(duì)無(wú)關(guān)變量進(jìn)行統(tǒng)計(jì)控制。[2]

二、題目導(dǎo)出與問卷研制

題目導(dǎo)出與問卷研制是問卷研究的中心環(huán)節(jié)。問卷題目是目標(biāo)樹的延伸和進(jìn)一步具體化。問卷研制是試測(cè)操控、反饋評(píng)估與對(duì)標(biāo)修改兩個(gè)策略運(yùn)用的前提與基礎(chǔ)。

（一）從末級(jí)目標(biāo)正確導(dǎo)出問卷題目

要分析目標(biāo)樹末級(jí)目標(biāo)的內(nèi)涵，把握其本質(zhì)特征，把概念性定義轉(zhuǎn)化成操作性定義，才能正確導(dǎo)出問卷題目，確保題目和目標(biāo)的一致性。如，末級(jí)目標(biāo)“預(yù)見能力”導(dǎo)出的題目是“我政治嗅覺敏感，能夠提前做出決策，制定出科學(xué)的預(yù)案”；末級(jí)目標(biāo)“敏銳的洞察力”導(dǎo)出的題目是“我目光敏銳，能準(zhǔn)確發(fā)現(xiàn)潛在的機(jī)會(huì)”。除要求正確導(dǎo)出外，還要求題目的完備性和獨(dú)立性。完備性指所有題目必須覆蓋目標(biāo)樹所有末級(jí)目標(biāo)。完備性需對(duì)已撰寫的全部題目與其相對(duì)應(yīng)的末級(jí)目標(biāo)內(nèi)涵相比較進(jìn)行判斷。獨(dú)立性指各題目之間相互獨(dú)立，內(nèi)涵不要互相包含和重疊。獨(dú)立性可通過(guò)題目之間的互相比較來(lái)判斷。

從統(tǒng)計(jì)模型可識(shí)別的角度來(lái)看，若把末級(jí)目標(biāo)作為潛變量，則每個(gè)末級(jí)目標(biāo)應(yīng)至少包含3個(gè)題目。[3]一般而言，問卷題目總數(shù)不宜太多。雖然題目多一些有利于提高測(cè)量信度，但題目太多會(huì)使被調(diào)查者產(chǎn)生厭煩心理，從而拒絕回答或應(yīng)付式回答，這些都會(huì)降低效度。研究表明，當(dāng)問卷達(dá)到60題時(shí)就會(huì)讓被調(diào)

圖2溯因分析的目標(biāo)樹

查者負(fù)擔(dān)加重，數(shù)據(jù)質(zhì)量明顯下降。[4]此外，從結(jié)構(gòu)效度的角度看，若單個(gè)問卷題目超過(guò)50題，則其模型的擬合指數(shù)難以達(dá)到良好的標(biāo)準(zhǔn)。[5]

（二）巧妙設(shè)計(jì)和撰寫問卷題目

問卷題干的語(yǔ)言表達(dá)盡量中性化，不要使被調(diào)查者一看就知道要測(cè)什么內(nèi)容，而受到從眾心理或其他心理因素的影響。比如，在編制《教師職業(yè)壓力問卷》[6]時(shí)，不出現(xiàn)“壓力”二字，而用“教師工作情況調(diào)查”這類中性化表達(dá)；否則，被調(diào)查者極易表達(dá)出對(duì)壓力過(guò)大的不滿，從而使其回答失真。此外，還可以設(shè)計(jì)反向題和測(cè)謊題。反向題如“與其他職業(yè)相比，我認(rèn)為教師的職業(yè)壓力不大”。反向題能在一定程度上避免被調(diào)查者的反應(yīng)定式。測(cè)謊題用于探測(cè)受測(cè)者是否有說(shuō)謊的傾向。即是否不按照自己真實(shí)的感受或現(xiàn)狀，而是按照社會(huì)上公認(rèn)的好答案來(lái)作答。

選項(xiàng)的設(shè)置也會(huì)影響問卷獲得資料的效度，并決定問卷資料的整理和統(tǒng)計(jì)方法。教育與心理問卷設(shè)計(jì)較多運(yùn)用等級(jí)式選項(xiàng)：級(jí)數(shù)若太少，則誤差太大；級(jí)數(shù)若太多，可操作性又太差。統(tǒng)計(jì)數(shù)據(jù)的時(shí)候，5點(diǎn)及以上計(jì)分通?？梢砸暈檫B續(xù)的，可使用一般的極大似然估計(jì)，低于這個(gè)點(diǎn)數(shù)往往視為類別變量，需要采用類別數(shù)據(jù)的參數(shù)估計(jì)方法。所以選項(xiàng)一般5-7級(jí)為宜。[7]如需避免趨中效應(yīng)，可采用6級(jí)。[8]除選項(xiàng)本身是類別變量（如性別、地區(qū)等）外，有些變量可以考慮設(shè)計(jì)成等級(jí)選項(xiàng)。如，“題干：你經(jīng)常遲到嗎？選項(xiàng)：A.是，B.否”，可以改成“題干：你每個(gè)月遲到的平均次數(shù)是？選項(xiàng)：A.0次，B.1～3次，C.4～6次，D.7次以上”。還可以改成被調(diào)查者自我陳述題目“題干：我經(jīng)常遲到。選項(xiàng)：A.很不符合，B.不符合，C.部分符合，D.符合，E.很符合”，即Likert五點(diǎn)量表。信息越多，得出的判斷越準(zhǔn)確。

（三）自編問題題目與借用問卷題目相結(jié)合

自編問卷題目與“拿來(lái)”問卷題目相結(jié)合也是一種編撰問卷的策略。需注意，借鑒和采用已有的問卷題目，應(yīng)選擇具有較好測(cè)量信度和效度的問卷，盡量參考權(quán)威的、有常模的問卷。不僅要找到題目，還要了解問卷使用的時(shí)代和社會(huì)背景，以及問卷編制的過(guò)程和理論依據(jù)。一般情況下，不宜把他人的問卷題目直接拿來(lái)使用（需要經(jīng)過(guò)必要的測(cè)量學(xué)評(píng)估），尤其是國(guó)外的問卷、年代久遠(yuǎn)的問卷以及其他領(lǐng)域的問卷。如編制教師職業(yè)倦怠影響因素的問卷，國(guó)外教師職業(yè)倦怠影響因素問卷里面基本沒有關(guān)于家庭因素的題目，這在西方國(guó)家很正常；然而，在我國(guó)，家庭因素對(duì)教師的職業(yè)倦怠會(huì)有非常顯著的影響。[9]

三、試測(cè)操控

作為分析問卷研究效度的實(shí)證性策略，試測(cè)操控得到的試測(cè)效度對(duì)題目導(dǎo)出與問卷研制的有效性具有檢驗(yàn)作用，對(duì)目標(biāo)樹建構(gòu)的完備性和精準(zhǔn)性具有分析評(píng)價(jià)作用，對(duì)反饋評(píng)估與對(duì)標(biāo)修改有指導(dǎo)意義。

由于初次設(shè)計(jì)的問卷題目是依靠想象中的被調(diào)查者和實(shí)施情境編制的，必然與實(shí)際的測(cè)試對(duì)象和情境存在偏差，所以設(shè)計(jì)好的問卷要進(jìn)行試測(cè)。

美國(guó)著名實(shí)驗(yàn)研究專家坎貝爾（Campbell）和斯坦利（Stanley）在《實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究》一書中提出了真實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)、實(shí)驗(yàn)內(nèi)部效度與外部效度的理論。[10]坎貝爾等將實(shí)驗(yàn)內(nèi)部效度界定為，研究者所操縱的實(shí)驗(yàn)變量對(duì)因變量所造成的影響的真正程度。影響實(shí)驗(yàn)內(nèi)部效度的無(wú)關(guān)變量有8項(xiàng)：歷史、成熟、測(cè)驗(yàn)、工具、統(tǒng)計(jì)回歸、差異選擇、實(shí)驗(yàn)對(duì)象的流失、選擇與成熟的交互作用?？藏悹柕葘?shí)驗(yàn)外部效度界定為，實(shí)驗(yàn)結(jié)果的代表性和推廣性。影響實(shí)驗(yàn)外部效度的無(wú)關(guān)變量有4項(xiàng)：測(cè)驗(yàn)的反作用或交互作用的效果，選擇偏差與實(shí)驗(yàn)變量的交互作用效果，實(shí)驗(yàn)安排的反作用效果（即霍桑效應(yīng)），多重實(shí)驗(yàn)處理的干擾。實(shí)驗(yàn)的內(nèi)部效度和外部效度統(tǒng)稱實(shí)驗(yàn)效度。實(shí)驗(yàn)效度的高低，取決于研究者對(duì)以上12個(gè)無(wú)關(guān)變量控制的程度。

根據(jù)坎貝爾等的實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)效度理論，本研究認(rèn)為，試測(cè)即試驗(yàn)，是準(zhǔn)實(shí)驗(yàn)。問卷為試測(cè)變量（自變量），干擾試測(cè)效度的變量為無(wú)關(guān)變量，問卷所獲資料為因變量。根據(jù)坎貝爾等的實(shí)驗(yàn)控制理論，結(jié)合問卷試測(cè)的實(shí)際情況，本研究認(rèn)為，試測(cè)樣本誤差、試測(cè)安排的霍桑效應(yīng)、區(qū)域文化差異、歷史事件、情境污染是干擾問卷試測(cè)效度的主要無(wú)關(guān)變量。其中，試測(cè)樣本誤差、試測(cè)安排的霍桑效應(yīng)影響外部效度，其余3個(gè)無(wú)關(guān)變量影響內(nèi)部效度。在問卷試測(cè)過(guò)程中，研究者控制這5個(gè)無(wú)關(guān)變量對(duì)問卷所獲資料的干擾，可觀測(cè)試測(cè)問卷的內(nèi)部效度和外部效度，亦即問卷試測(cè)效度，具體如圖3所示。

圖3問卷試測(cè)過(guò)程的變量關(guān)系

（一）試測(cè)樣本誤差的控制

試測(cè)樣本與研究總體之間的偏差越大，則問卷獲得資料的效度越低。試測(cè)樣本與研究總體的誤差源于抽樣偏差，即試測(cè)樣本的代表性問題。根據(jù)研究總體最重要的特征，尋找與總體最接近的樣本，是保證樣本代表性的關(guān)鍵。

試測(cè)樣本的大小也會(huì)影響樣本的代表性。試測(cè)樣本誤差的控制策略，包括運(yùn)用先驗(yàn)檢驗(yàn)力分析的方法確定適合的樣本容量以及根據(jù)后驗(yàn)檢驗(yàn)力增加樣本容量。[11]統(tǒng)計(jì)檢驗(yàn)力（power of a statistical test），即1-β，是在零假設(shè)為假應(yīng)該被拒絕的情況下，假設(shè)檢驗(yàn)拒絕的概率。效應(yīng)量是衡量處理效應(yīng)大小的指標(biāo)。先驗(yàn)檢驗(yàn)力是指根據(jù)研究想要達(dá)到的某個(gè)效應(yīng)量來(lái)計(jì)算所需樣本容量。以效度為例，如果要提高效標(biāo)關(guān)聯(lián)效度，則根據(jù)所需的相關(guān)系數(shù)大小來(lái)計(jì)算需要多少被調(diào)查者。如果要提高結(jié)構(gòu)效度，則以驗(yàn)證性因子分析中的擬合指數(shù)或因子載荷為效應(yīng)量，計(jì)算需要多少被調(diào)查者才能達(dá)到理想的擬合指數(shù)或因子載荷。[12]

一般而言，如果要做因素分析，樣本容量應(yīng)比較大，因?yàn)槌闃雍笠褬颖痉殖蓛蓚€(gè)組，先做探索性因素分析，再做驗(yàn)證性因素分析，交叉檢驗(yàn)問卷的結(jié)構(gòu)效度。如果需要用結(jié)構(gòu)方程模型來(lái)分析潛變量之間的關(guān)系，則樣本容量需達(dá)到題目數(shù)量的10倍以上，或者自由參數(shù)的5倍以上。[13]當(dāng)統(tǒng)計(jì)檢驗(yàn)量不顯著時(shí)，可以計(jì)算樣本的效應(yīng)量和統(tǒng)計(jì)檢驗(yàn)力。與顯著性檢驗(yàn)不同，效應(yīng)量指標(biāo)不受樣本容量的系統(tǒng)影響。因此當(dāng)計(jì)算的統(tǒng)計(jì)檢驗(yàn)量不顯著（pgt;0.05）時(shí)，可以繼續(xù)計(jì)算效應(yīng)量。如果計(jì)算結(jié)果是大效應(yīng)量或中效應(yīng)量，則進(jìn)一步計(jì)算后驗(yàn)檢驗(yàn)力（即收取數(shù)據(jù)并分析顯著性之后進(jìn)行的檢驗(yàn)力分析）。因?yàn)樾?yīng)量大卻不顯著，通常是檢驗(yàn)力低所致。如果計(jì)算得出后驗(yàn)檢驗(yàn)力低，則可以適當(dāng)增加樣本容量以提高檢驗(yàn)力，再做研究，獲取數(shù)據(jù)再進(jìn)行分析。

此外，試測(cè)樣本中人口統(tǒng)計(jì)學(xué)變量各類別的比例也會(huì)影響樣本的代表性。在試測(cè)前先制訂抽樣計(jì)劃，各類別抽取的人數(shù)比例應(yīng)與總體的人數(shù)比例一致，以保證研究的外部效度。

（二）試測(cè)安排霍桑效應(yīng)的控制

試測(cè)安排的霍桑效應(yīng)指試測(cè)對(duì)象由于對(duì)試測(cè)人員的好感而給出的支持、遷就、迎合試測(cè)者希望得到的結(jié)果，而這些填答結(jié)果不一定完全反映試測(cè)對(duì)象的真實(shí)情況。例如，作為研究者的教師，如果向自己的學(xué)生發(fā)放問卷，學(xué)生可能會(huì)投老師之所好而填答?？刂苹羯Ｐ?yīng)可以采用以下策略：（1）雙盲法。讓發(fā)放、回收問卷者與被調(diào)查者都不知道研究的真正目的，不知道“好”的研究結(jié)果是什么。（2）選擇被調(diào)查者不認(rèn)識(shí)的人發(fā)收問卷，作答匿名并強(qiáng)調(diào)填答結(jié)果對(duì)被調(diào)查者沒有任何影響。應(yīng)注意試測(cè)樣本不宜作為正式調(diào)查樣本再次填答同樣的問卷，以避免“測(cè)驗(yàn)（testing）效應(yīng)”[14]，即試測(cè)的經(jīng)驗(yàn)可能會(huì)影響正式調(diào)查問卷填答的效果。

（三）區(qū)域文化差異的控制

維果茨基的文化歷史建構(gòu)主義認(rèn)為，人的思維“發(fā)展的源泉與決定因素是歷史過(guò)程中不斷發(fā)展的文化”[15]，因此，人在意義建構(gòu)時(shí)，除受環(huán)境刺激物的影響外，同時(shí)還受歷史過(guò)程中不斷發(fā)展的文化的影響。跨文化差異包括區(qū)域文化差異、種族文化差異、社會(huì)制度文化差異等，都對(duì)人的思想產(chǎn)生不同的影響。

被調(diào)查者在填答某些帶有審美、意見、態(tài)度、情感、價(jià)值觀的題目時(shí)，也在建構(gòu)意義，受一定文化理念的影響。區(qū)域文化理念之差異，可能導(dǎo)致某些應(yīng)答結(jié)果不同。如果區(qū)域文化理念是試測(cè)研究的無(wú)關(guān)變量，則干擾了問卷所獲資料的效度，控制策略如下。

納入試測(cè)法。將區(qū)域文化理念作為問卷題目納入試測(cè)變量，研究其對(duì)因變量的影響。試測(cè)結(jié)束后，將區(qū)域文化理念變量與問卷所獲資料進(jìn)行回歸分析。如果統(tǒng)計(jì)顯著，則分析區(qū)域文化理念對(duì)問卷所獲資料的影響程度。如果統(tǒng)計(jì)不顯著，則將區(qū)域文化理念相關(guān)題目刪除。

跨文化區(qū)域取樣法。該法源于跨文化比較研究法。[16]問卷試測(cè)時(shí)，在文化特征顯著不同的地區(qū)，如廣東?。◣X南文化）與河南省（中原文化），分別抽取同質(zhì)樣本試測(cè)問卷，然后分析這兩個(gè)區(qū)域的問卷所獲資料是否差異顯著。如果差異不顯著且效應(yīng)量小，說(shuō)明問卷題目不受區(qū)域文化差異的影響；如果差異顯著，說(shuō)明問卷題目受區(qū)域文化差異的影響，因此要找出差異顯著的問卷題目，并進(jìn)行修改。

（四）歷史事件的控制

坎貝爾和斯坦利認(rèn)為，在實(shí)驗(yàn)過(guò)程中，同時(shí)發(fā)生了沒有預(yù)料到的偶發(fā)事件（無(wú)關(guān)變量）干擾了實(shí)驗(yàn)研究的結(jié)果，這稱為“歷史”因素的干擾。[17]關(guān)于“歷史”的時(shí)限，與坎貝爾的含義有所不同，在本研究中，將“歷史”界定為從問卷設(shè)計(jì)完成的時(shí)間到問卷試測(cè)結(jié)束的時(shí)間。因?yàn)閱柧碓O(shè)計(jì)者對(duì)被調(diào)查者情況的估計(jì)是從問卷設(shè)計(jì)時(shí)開始的，對(duì)被調(diào)查者狀態(tài)的估計(jì)可以看作前測(cè)（O1），而試測(cè)結(jié)束可視為后測(cè)（O2），從O1到O2這段“歷史”中發(fā)生的干擾試測(cè)結(jié)果的偶發(fā)事件稱為“歷史事件”。由于環(huán)境的復(fù)雜性和事物發(fā)展變化存在不確定性，這段“歷史”相隔的時(shí)間越長(zhǎng)，因變量受偶發(fā)事件因素干擾的可能性越大。偶發(fā)事件降低問卷資料的效度，控制策略如下。

時(shí)效控制法。時(shí)效是指某些問卷題目在一定時(shí)期內(nèi)能夠發(fā)生效用。時(shí)效控制法要求：首先，在編制問卷時(shí)，根據(jù)前人相關(guān)研究成果，問卷設(shè)計(jì)者的觀察和知識(shí)經(jīng)驗(yàn)，以及一定社會(huì)政治、經(jīng)濟(jì)、文化教育和人的身心發(fā)展規(guī)律，對(duì)問卷的時(shí)效性和被調(diào)查者的狀態(tài)進(jìn)行預(yù)見性評(píng)估，讓問卷使用的時(shí)效盡可能長(zhǎng)。如，若被調(diào)查者為公務(wù)員、中小學(xué)教師，則控制時(shí)效性較短的政策干擾；若被調(diào)查者為學(xué)生，則應(yīng)預(yù)見其知識(shí)增長(zhǎng)和身心成熟的狀況，注明問卷的使用時(shí)效。其次，問卷試測(cè)的實(shí)施要及時(shí)。從問卷脫稿到試測(cè)，再到真正使用問卷開展調(diào)查的時(shí)間，一般說(shuō)來(lái)不宜超過(guò)一年。

未知?dú)v史事件排除法?？藏悹柡退固估膶?shí)驗(yàn)控制模式是：XO1XO2，式中，X是實(shí)驗(yàn)變量，O是實(shí)驗(yàn)結(jié)果。X在先O在后。O1為第一次試測(cè)結(jié)果，O2為第二次試測(cè)結(jié)果。[18]在本研究中，X是試測(cè)問卷，O是問卷資料。在同一地區(qū)或同一學(xué)校用同一份問卷，并用不同試測(cè)對(duì)象的同質(zhì)樣本，以避免同一批對(duì)象前測(cè)經(jīng)驗(yàn)對(duì)后測(cè)的影響。先后相隔大約兩個(gè)月進(jìn)行兩次試測(cè)。比較兩次試測(cè)結(jié)果（O1與O2），如果個(gè)別題目?jī)纱螒?yīng)答結(jié)果差異較大，可認(rèn)為該題目受“歷史”事件影響，可刪除或修改這些題目。

已知?dú)v史事件排除法。針對(duì)突發(fā)事件附加設(shè)計(jì)一些題目，旨在檢測(cè)問卷題目是否受已知的歷史事件影響，然后根據(jù)問卷受歷史事件影響的情況，修改某些明顯受影響的題目，將已知的歷史事件影響排除在外。2008年5月，國(guó)外研究者在中國(guó)湛江市某中學(xué)開展關(guān)于中學(xué)生家庭作業(yè)的問卷研究。[19]發(fā)放問卷期間，5月12日，我國(guó)發(fā)生汶川大地震。研究者考慮到此間媒體鋪天蓋地對(duì)地震的宣傳，使地震中的悲慘事件可能會(huì)令教師和學(xué)生的情緒受影響，隨即新研制兩份小問卷詢問師生當(dāng)時(shí)地震的消息是否會(huì)影響師生回答問卷，目的是將可能影響研究效度的無(wú)關(guān)變量地震這一已知“歷史事件”排除在外。如果這兩份問卷獲得的資料顯示地震事件對(duì)師生填答問卷產(chǎn)生較大影響，則要取消該次試測(cè)結(jié)果。另一種策略是安排時(shí)間再次試測(cè)。這樣就排除了地震事件對(duì)問卷資料的干擾。

（五）情境污染的控制

試測(cè)情境是被調(diào)查者填答問卷時(shí)的心理狀態(tài)和外部環(huán)境。復(fù)雜性理論中行動(dòng)的環(huán)境論認(rèn)為，環(huán)境具有復(fù)雜性和不確定性。被調(diào)查者與情境相互作用過(guò)程中，在某種情境的影響下，被調(diào)查者的行動(dòng)可能脫離目標(biāo)，甚至可能獲得與目標(biāo)相反的結(jié)果，行動(dòng)的最終結(jié)果是不可預(yù)見的。[20]情境污染指被調(diào)查者填寫問卷時(shí)，由于受到情緒、精力、時(shí)間、空間、發(fā)問卷者、網(wǎng)絡(luò)等內(nèi)外部環(huán)境的干擾而沒有真實(shí)或完整填寫問卷題目。情境污染變量直接影響試測(cè)結(jié)果的真實(shí)性和可信性。

情境污染的主要因子：（1）情緒因子。填答問卷時(shí)產(chǎn)生心情煩躁，感覺厭倦無(wú)趣等消極情緒。（2）精力因子。填寫問卷時(shí)心不在焉，注意力分散，沒有耐心和精力填答全部題目。（3）時(shí)間因子。填答時(shí)段差異及時(shí)間長(zhǎng)短不一。（4）空間因子。發(fā)收問卷的地點(diǎn)，被調(diào)查者填答問卷的空間距離。如，按學(xué)生課室座位發(fā)問卷，在教師集中開會(huì)時(shí)發(fā)問卷等，可能出現(xiàn)相互抄襲、交頭接耳、請(qǐng)人代填的情況。（5）發(fā)問卷者因子。發(fā)問卷者對(duì)被調(diào)查者暗示、誘導(dǎo)，或提出不同要求，干擾被調(diào)查者的客觀填答。（6）網(wǎng)絡(luò)因子。很多研究者為了發(fā)收問卷方便，常采用網(wǎng)絡(luò)調(diào)查、遠(yuǎn)程施測(cè)問卷。這會(huì)使研究者無(wú)法控制試測(cè)情境，被調(diào)查者可能在上課時(shí)、商場(chǎng)中，甚至公共交通工具上填答問卷。填寫問卷時(shí)，可能同時(shí)進(jìn)行瀏覽網(wǎng)頁(yè)、觀看影視片、與朋友聊天等活動(dòng)。

一份完整的調(diào)查問卷一般應(yīng)包括指導(dǎo)語(yǔ)、問卷題目和問卷實(shí)施方案，情境污染的控制也體現(xiàn)在其中。

1.在問卷題目中控制情緒因子

在問卷設(shè)計(jì)時(shí)，盡量避免容易引起被調(diào)查者拒答、亂答、錯(cuò)答、一律答、趨同答、從眾答、自衛(wèi)答等情緒反應(yīng)的題目，如：涉及隱私的題目；超越被調(diào)查者知識(shí)水平和被調(diào)查者缺乏感性認(rèn)識(shí)的題目；涉及被調(diào)查者自身利益或有損名譽(yù)的題目；概念不明確、內(nèi)涵寬泛、模棱兩可的題目；選項(xiàng)列舉不齊全，造成部分被調(diào)查者無(wú)項(xiàng)可選的題目；選項(xiàng)內(nèi)涵重疊的題目；題干包含兩個(gè)概念或事件的題目；政治敏感性題目；暗示選擇的題目；題干的表述使用雙重否定，造成題意不明確的題目；題干使用不適當(dāng)?shù)募俣ǎ斐杀徽{(diào)查者無(wú)項(xiàng)可選的題目；題干的表述使被調(diào)查者情緒困擾、難以啟齒的題目；事件發(fā)生的時(shí)間久遠(yuǎn)，被調(diào)查者難以回憶的題目。問卷試測(cè)后，查找存在上述問題的題目，逐一修改。

2.在指導(dǎo)語(yǔ)中控制情緒因子

指導(dǎo)語(yǔ)中要控制“后顧之憂”“心有余悸”，或“事不關(guān)己，高高掛起”等不良情緒因子。一般采用匿名填寫的方式，說(shuō)明被調(diào)查者填寫的內(nèi)容與他沒有利害關(guān)系，引導(dǎo)被調(diào)查者認(rèn)真如實(shí)填寫，不要有任何顧慮，并表示感謝。

3.在問卷實(shí)施方案中控制情境污染因子

問卷試測(cè)的實(shí)施方案包括問卷試測(cè)的細(xì)則、具體要求和注意事項(xiàng)。應(yīng)規(guī)定所有被調(diào)查者都在基本相同的情境條件下完成問卷。例如，規(guī)定問卷發(fā)收人員，發(fā)問卷時(shí)的語(yǔ)言，具體時(shí)間、地點(diǎn)、座位安排，規(guī)定在填答問卷時(shí)不能查閱手機(jī)。國(guó)外學(xué)者比較重視發(fā)放和回收問卷的情境控制。[21]

四、反饋評(píng)估與對(duì)標(biāo)修改

反饋評(píng)估與對(duì)標(biāo)修改是問卷測(cè)量效度評(píng)估與問卷題目修改的關(guān)鍵環(huán)節(jié)。反饋評(píng)估獲得的問卷測(cè)量效度與試測(cè)操控獲得的問卷試測(cè)效度可互相印證和佐證。反饋評(píng)估與對(duì)標(biāo)修改是在試測(cè)操控策略的實(shí)證分析基礎(chǔ)上進(jìn)一步理論分析，是對(duì)問卷題目做進(jìn)一步修改的依據(jù)和指導(dǎo)。

問卷的測(cè)量效度是表達(dá)問卷研究效度的另一個(gè)指標(biāo)。美國(guó)心理學(xué)會(huì)發(fā)行的《教育與心理測(cè)量的標(biāo)準(zhǔn)》一書提出了內(nèi)容效度、結(jié)構(gòu)效度和效標(biāo)關(guān)聯(lián)效度的概念，效度是指測(cè)量的準(zhǔn)確性和有效性。[22]準(zhǔn)確性和有效性指測(cè)量結(jié)果與測(cè)量目標(biāo)的關(guān)聯(lián)度。效標(biāo)關(guān)聯(lián)效度主要用于預(yù)測(cè)，因此本研究?jī)H討論內(nèi)容效度和結(jié)構(gòu)效度。以問卷資料為出發(fā)點(diǎn)，以研究目標(biāo)為指向，采用對(duì)標(biāo)分析法和因素分析法，對(duì)問卷資料進(jìn)行反饋評(píng)估，探索問卷的內(nèi)容效度和結(jié)構(gòu)效度，即問卷測(cè)量效度，并進(jìn)一步修改問卷。

無(wú)論是對(duì)標(biāo)分析還是因素分析，都需要做好問卷資料的整理和選用工作。關(guān)于定量研究資料的整理，理論上講，只有等距數(shù)據(jù)和比率數(shù)據(jù)才能進(jìn)行代數(shù)運(yùn)算，類別數(shù)據(jù)只適合作為背景變量或人口學(xué)變量進(jìn)行差異分析或相關(guān)分析。嚴(yán)格來(lái)說(shuō)，等級(jí)變量也不能進(jìn)行代數(shù)運(yùn)算，因?yàn)樗痪哂邢嗟鹊膯挝弧５F(xiàn)在幾乎所有的問卷統(tǒng)計(jì)分析，都將等級(jí)變量作為等距變量處理。處理等級(jí)變量最簡(jiǎn)單的方法，是將原始數(shù)據(jù)標(biāo)準(zhǔn)化，再對(duì)數(shù)據(jù)進(jìn)行代數(shù)運(yùn)算。所以，在設(shè)計(jì)問卷的時(shí)候，除了變量本身就是類別變量外，其余變量盡量設(shè)置成等級(jí)以上數(shù)據(jù)，否則可以采用的統(tǒng)計(jì)方法非常少。

定性研究資料的整理包括：（1）問卷題目資料中，除能進(jìn)行量化分析的資料以外的其他文字資料，如開放性題目資料；（2）與問卷評(píng)估相關(guān)的被調(diào)查者訪談資料；（3）專家對(duì)問卷題目的修改意見；（4）關(guān)于問卷試測(cè)實(shí)施和修改的討論會(huì)、座談會(huì)記錄。

選用資料的指導(dǎo)思想是，根據(jù)對(duì)標(biāo)分析和因素分析的需求，將各個(gè)問卷題目的問卷資料按“需求類目”對(duì)口整理，以便選用。

（一）對(duì)標(biāo)分析評(píng)估

對(duì)標(biāo)分析評(píng)估旨在探索問卷的內(nèi)容效度。做法是將問卷獲取的原始資料，含基本數(shù)據(jù)和文字描述性資料，與目標(biāo)樹的末級(jí)目標(biāo)逐一對(duì)照歸口，使末級(jí)目標(biāo)與問卷資料聯(lián)系起來(lái)。然后，按觀測(cè)指標(biāo)逐項(xiàng)分析對(duì)比，評(píng)估問卷資料能否滿足觀測(cè)指標(biāo)和研究目標(biāo)的需求。

1.分析方法

茲以圖2溯因分析的目標(biāo)樹為例。首先是指向觀測(cè)指標(biāo)或末級(jí)目標(biāo)的分析。①將問卷第（1）至（6）題獲得資料與末級(jí)目標(biāo)人口統(tǒng)計(jì)學(xué)變量的性別、學(xué)校、專業(yè)、年級(jí)等觀測(cè)指標(biāo)所需資料對(duì)比評(píng)估。②將第（7）（8）題獲得資料與觀測(cè)指標(biāo)“參加學(xué)生組織的情況（行）”對(duì)比評(píng)估。③將第（44）至（52）題獲得資料與觀測(cè)指標(biāo)“對(duì)參加學(xué)生組織的認(rèn)知（知）”對(duì)比評(píng)估……如此類推。通過(guò)分析各項(xiàng)觀測(cè)指標(biāo)或末級(jí)目標(biāo)的達(dá)標(biāo)情況，判斷哪些題目的資料最有效和較有效，多余的資料是什么，還缺少哪些資料，哪些資料指向觀測(cè)指標(biāo)不夠準(zhǔn)確，并分析原因。這是進(jìn)一步修改問卷題目的依據(jù)。

其次是指向研究目標(biāo)的分析。即6個(gè)觀測(cè)指標(biāo)對(duì)人口統(tǒng)計(jì)學(xué)變量的測(cè)量是否達(dá)標(biāo)，4個(gè)觀測(cè)指標(biāo)對(duì)學(xué)生組織參與的測(cè)量是否達(dá)標(biāo)，3個(gè)觀測(cè)指標(biāo)對(duì)社會(huì)參與的測(cè)量是否達(dá)標(biāo)。根據(jù)研究目標(biāo)的達(dá)標(biāo)情況評(píng)估問卷的內(nèi)容效度。

最后是評(píng)估結(jié)果的分析與描述?？捎枚ㄐ苑治雠c模糊數(shù)學(xué)的等級(jí)分析相結(jié)合的方法加以描述。

2.評(píng)估策略

首先，對(duì)問卷資料進(jìn)行信度評(píng)估。問卷的信度是指問卷題目所獲得資料的客觀性、真實(shí)性、可靠性和穩(wěn)定性。美國(guó)著名測(cè)量專家克林格（Kerlinger）認(rèn)為，信度有兩個(gè)含義：（1）測(cè)量工具重復(fù)測(cè)量所得結(jié)果的一致性；（2）測(cè)量隨機(jī)誤差小，能準(zhǔn)確測(cè)到某種事物特征個(gè)別差異的真實(shí)情況。[23]上述兩點(diǎn)強(qiáng)調(diào)測(cè)量工具所測(cè)得結(jié)果的客觀性和真實(shí)性。對(duì)問卷題目所獲資料的客觀性和真實(shí)性分析評(píng)估，即對(duì)問卷信度的評(píng)估。具體操作方法是：將較多人亂勾選、隨意選、無(wú)法選而不選的題目資料，以及違反常識(shí)、自相矛盾的資料，視為不可信的資料。刪除不可信資料對(duì)應(yīng)的題目，只用可信的資料進(jìn)行效度評(píng)估。

其次，對(duì)問卷資料進(jìn)行效度評(píng)估。將每個(gè)題目所獲資料分別與對(duì)應(yīng)的觀測(cè)指標(biāo)或末級(jí)目標(biāo)對(duì)比分析。將所獲資料分為“資料完全或基本滿足需求”“資料部分滿足需求”“資料無(wú)效”三個(gè)等級(jí)。如果某道題目所獲資料為第一或第二等級(jí)，則將該題目所獲資料與其對(duì)應(yīng)的觀測(cè)指標(biāo)或末級(jí)目標(biāo)聯(lián)結(jié)在一起；如被確定為第三等級(jí)，則可舍棄該題目資料。

再次，修改、補(bǔ)充問卷題目。一是對(duì)封閉式問卷題目的修改、補(bǔ)充。被評(píng)為“部分滿足需求”等級(jí)的資料，屬于指向觀測(cè)指標(biāo)和研究目標(biāo)不夠準(zhǔn)確的問卷資料，要修改對(duì)應(yīng)題目，或根據(jù)資料尚未滿足需求的差異情況增補(bǔ)新的題目；被評(píng)為“資料無(wú)效”等級(jí)的題目可刪除，并依據(jù)其對(duì)應(yīng)的觀測(cè)指標(biāo)或末級(jí)目標(biāo)重新設(shè)計(jì)題目。二是對(duì)開放式問卷題目的修改、補(bǔ)充。開放式問卷題目所獲資料往往具有綜合性，如果這些題目所獲資料無(wú)法在所有觀測(cè)指標(biāo)或研究目標(biāo)中找到適合的對(duì)應(yīng)歸口之處，可認(rèn)定為多余的資料，應(yīng)刪除該題目，重新設(shè)計(jì)開放式題目；如果發(fā)現(xiàn)開放式問卷資料中，有的資料與原定歸口的觀測(cè)指標(biāo)或末級(jí)目標(biāo)無(wú)法掛鉤，但卻能與其他觀測(cè)指標(biāo)或末級(jí)目標(biāo)掛鉤，則該開放式題目被認(rèn)定為有效用、可保留，但需修改其歸口的觀測(cè)指標(biāo)或末級(jí)目標(biāo)。此外，還要考察觀測(cè)指標(biāo)或末級(jí)目標(biāo)中還欠缺什么資料，哪些觀測(cè)指標(biāo)或末級(jí)目標(biāo)的資料不夠充分。根據(jù)這些情況，有針對(duì)性地修改或適當(dāng)增加問卷題目。總而言之，觀測(cè)指標(biāo)或末級(jí)目標(biāo)所需求的資料，就是問卷題目修改和補(bǔ)充的依據(jù)和方向。

最后，同行商討與專家咨詢。將編制的問卷和測(cè)試結(jié)果請(qǐng)同行評(píng)閱、商討，咨詢有關(guān)專家。還可采用訪談法或德爾菲法，請(qǐng)同行、專家審閱對(duì)標(biāo)分析評(píng)估的結(jié)果，并請(qǐng)他們對(duì)問卷提出修改意見。

對(duì)標(biāo)分析評(píng)估的主要優(yōu)點(diǎn)是操作簡(jiǎn)單、易行。評(píng)估結(jié)果還可用于與因素分析的結(jié)果互相印證，為修改、補(bǔ)足問卷題目提供依據(jù)。主要缺點(diǎn)是對(duì)標(biāo)分析的結(jié)果容易受問卷設(shè)計(jì)者對(duì)末級(jí)目標(biāo)和問卷資料的理解水平的制約，還會(huì)受問卷設(shè)計(jì)者的價(jià)值觀的影響。

試測(cè)問卷題目所獲資料若能完全或基本滿足目標(biāo)樹的需求，說(shuō)明問卷測(cè)量的內(nèi)容效度很高或較高。

（二）因素分析評(píng)估

在問卷研制實(shí)踐中，較多采用因素分析法進(jìn)行問卷結(jié)構(gòu)效度的評(píng)估。因?yàn)槟繕?biāo)樹及問卷題目乃是問卷的假設(shè)結(jié)構(gòu)，在實(shí)際施測(cè)之后，需要評(píng)估從數(shù)據(jù)中反映出來(lái)的問卷結(jié)構(gòu)是否與假設(shè)的結(jié)構(gòu)一致，或者在多大程度上與假設(shè)的結(jié)構(gòu)一致，這就是結(jié)構(gòu)效度。關(guān)于結(jié)構(gòu)效度的評(píng)估，將探索性因素分析（EFA）和驗(yàn)證性因素分析（CFA）整合是常見的做法。即先通過(guò)EFA探索出幾種可供選擇的模型（不同的因子數(shù)及因子—題目從屬關(guān)系），再通過(guò)CFA對(duì)每種模型進(jìn)行驗(yàn)證和競(jìng)爭(zhēng)模型比較，得出在擬合指數(shù)、因子載荷及因子相關(guān)方面最佳的模型，則結(jié)構(gòu)效度得證。[24]僅由EFA得出結(jié)構(gòu)效度是不可取的，因?yàn)镋FA有一定的局限性，不同的因子抽取和旋轉(zhuǎn)方法可能導(dǎo)致不同的解，且這些解在其他獨(dú)立樣本中未必能夠被重現(xiàn)。因此，必須分別采用EFA和CFA在不同的樣本中做交叉驗(yàn)證。

應(yīng)用研究者可能經(jīng)常遇到問卷結(jié)構(gòu)效度不佳的情況，特別是CFA無(wú)法驗(yàn)證EFA中獲得的模型結(jié)構(gòu)。[25]這里試提供一些改善結(jié)構(gòu)效度的思路。CFA之所以擬合不理想，通常是由于模型誤設(shè)，常見的誤設(shè)如：存在未設(shè)定的交叉載荷（即一個(gè)題目在兩個(gè)或更多因子上的載荷）和殘差相關(guān)（即題目被因子所解釋之后的殘差之間的相關(guān)）。從題目設(shè)置的角度，對(duì)于可能的交叉載荷的問題，應(yīng)當(dāng)檢查是否存在一道題測(cè)量了多個(gè)因素概念的問題，將此類題目刪去或改為更單一的表述。比如“我感到焦慮和抑郁”就同時(shí)測(cè)量了焦慮和抑郁兩個(gè)因子，可以將“焦慮”一詞刪去，使其單純測(cè)量抑郁。對(duì)于可能的殘差相關(guān)，則應(yīng)當(dāng)檢查是否存在不同維度的題目實(shí)際測(cè)量了相同概念以及同一維度的題目表述過(guò)于單一、接近的問題，對(duì)冗余題目進(jìn)行刪減。比如兩道題“心情不好時(shí)，我無(wú)法控制自己的行為”和“心情不好時(shí)，我會(huì)失去對(duì)自己行為的控制”表述過(guò)于相似，就可能導(dǎo)致兩道題除了在相同因素（如自控力）上有載荷外，也有較高的殘差相關(guān)，殘差相關(guān)體現(xiàn)的是內(nèi)容之外的表述同質(zhì)性。此時(shí)可以刪去其中一題。以上信息都可以借由CFA的修正指數(shù)（modification indice）來(lái)獲得提示（如增設(shè)哪些交叉載荷或殘差相關(guān)會(huì)使擬合大幅改善）。[26]從統(tǒng)計(jì)模型的角度，也可以考慮使用探索性結(jié)構(gòu)方程模型和雙因子模型分別體現(xiàn)模型中真實(shí)存在的交叉載荷與殘差相關(guān)，來(lái)提升模型擬合[27]，但其后的潛變量關(guān)系分析最好是基于這些特定的測(cè)量模型[28]。此外，還有兩點(diǎn)需要說(shuō)明的是，其一，CFA的擬合對(duì)模型的復(fù)雜程度也比較敏感，即如果問卷維度過(guò)多且每個(gè)維度題數(shù)過(guò)多，通常很難擬合[29]，因此需要在保證題目充分覆蓋維度信息和信度良好的前提下盡量縮減題量，如問卷每個(gè)維度題數(shù)不超過(guò)10個(gè)[30]；其二，盡管理想的情況是問卷信效度俱佳，但現(xiàn)實(shí)情況是信度有時(shí)可能與一些結(jié)構(gòu)效度指標(biāo)呈反比關(guān)系[31]，如題目信度很高時(shí)，擬合指數(shù)CFI（Comparative Fit Index）反而降低或RMSEA（Root Mean Square Error of Approximation）反而升高[32]。這提示研究者片面追求高信度（如編制大量過(guò)度同質(zhì)的題目）可能無(wú)法保證結(jié)構(gòu)效度，反之亦然。有必要同時(shí)權(quán)衡所編題目的同質(zhì)性以及對(duì)概念內(nèi)涵不同方面的覆蓋全面性。

問卷的試測(cè)效度與測(cè)量效度既有聯(lián)系又有區(qū)別。兩者分析的焦點(diǎn)都是問卷資料，兩者成正比關(guān)系，可互相印證，綜合分析問卷研究效度。問卷試測(cè)效度的分析方法是因果分析法，即分析問卷獲取的資料在多大程度上是由問卷的影響而獲得的（圖3），以及問卷資料的代表性和推廣性。問卷對(duì)問卷資料的影響越大，并且問卷所獲資料的代表性和推廣性越大，則問卷的試測(cè)效度越高，說(shuō)明問卷資料能高效實(shí)現(xiàn)研究目的，該問卷具有較好的可行性和可推廣性。問卷的測(cè)量效度，包括內(nèi)容效度和結(jié)構(gòu)效度，對(duì)應(yīng)的分析方法分別是對(duì)標(biāo)分析法和因素分析法。兩種方法都涉及對(duì)每道題目的具體分析，包括題目所獲資料與其對(duì)應(yīng)的觀測(cè)指標(biāo)或末級(jí)目標(biāo)的關(guān)聯(lián)程度，以及各個(gè)題目所獲資料之間的關(guān)聯(lián)程度。題目所獲資料與觀測(cè)指標(biāo)的關(guān)聯(lián)程度越大，內(nèi)容效度越高；各題目與因子之間的關(guān)系越符合假設(shè)，結(jié)構(gòu)效度越高。問卷的內(nèi)容效度和結(jié)構(gòu)效度是表達(dá)問卷測(cè)量效度的兩種類型。試測(cè)效度與測(cè)量效度的聯(lián)系與區(qū)別如圖4所示。

綜上所述，以上策略包括各個(gè)子策略及其總體（行動(dòng)方案或行動(dòng)程序），都能提高問卷研究效度。首先，目標(biāo)樹建構(gòu)使問卷設(shè)計(jì)精準(zhǔn)對(duì)準(zhǔn)研究目的；末級(jí)目標(biāo)導(dǎo)出問卷題目并巧妙設(shè)計(jì)題干與選項(xiàng)，能使被調(diào)查者更好地理解問卷題目和真實(shí)作答；引入現(xiàn)代實(shí)驗(yàn)控制方法的試測(cè)過(guò)程，控制了影響問卷試測(cè)效度的五個(gè)主要無(wú)關(guān)變量，從而提高問卷的試測(cè)效度；對(duì)標(biāo)分析評(píng)估和運(yùn)用先進(jìn)的統(tǒng)計(jì)方法分析問卷資料，能充分

圖4問卷試測(cè)效度與問卷測(cè)量效度的聯(lián)系與區(qū)別

發(fā)掘資料的信息，同時(shí)提高問卷的測(cè)量效度。其次，系統(tǒng)論認(rèn)為，各部分功能之和不等于整體功能。各部分優(yōu)化整合，整體功能則大于各部分功能之和。本策略是一個(gè)行動(dòng)方案，從提高問卷研究效度的目的出發(fā)，每個(gè)子策略和環(huán)節(jié)都進(jìn)行精準(zhǔn)設(shè)計(jì)和控制，并使四個(gè)子策略和行動(dòng)程序環(huán)環(huán)緊扣、步步遞進(jìn)，優(yōu)化組合為一個(gè)整體。因此，這一整體除各要素所具備的功能之和外，還生成新的整體性質(zhì)要素和新功能，使整體功能大于各部分要素功能之和，從而最大程度地增進(jìn)問卷研究效度。

誠(chéng)然，也應(yīng)認(rèn)識(shí)到，問卷研究效度問題在社會(huì)及行為科學(xué)研究，尤其是關(guān)于人的教育與心理研究中比較復(fù)雜，許多社會(huì)現(xiàn)象和心理現(xiàn)象具有模糊性和隱蔽性，不可能精準(zhǔn)測(cè)量。用問卷作為量尺去了解人的心理情況只能是間接測(cè)量。被調(diào)查者受各種心理因素干擾，不可能完全按問卷要求客觀而真實(shí)地填答。同時(shí)，研究者判斷問卷所獲資料是否達(dá)到研究目的需求，受研究者自身價(jià)值取向的影響，效度高與低的判斷，主觀性較強(qiáng)，難以精確表述與比較。本研究的成果不但對(duì)提高問卷研究效度具有指導(dǎo)意義，而且對(duì)教育教學(xué)評(píng)價(jià)的實(shí)施亦頗有啟發(fā)和遷移應(yīng)用的價(jià)值。參考文獻(xiàn)

[1][20]埃德加·莫蘭.復(fù)雜性理論與教育問題[M].陳一壯，譯.北京：北京大學(xué)出版社，2004：69，72.

[2]溫忠麟.實(shí)證研究中的因果推理與分析[J].心理科學(xué)，2017，40（1）：200-208.

[3]侯杰泰，溫忠麟，成子娟.結(jié)構(gòu)方程模型及其應(yīng)用[M].北京：教育科學(xué)出版社，2004：125.

[4]Eisele G，Vachon H，Lafit G，et al.The effects of sampling frequency and questionnaire length on perceived burden，compliance，and careless responding in experience sampling data in a student population[J].Assessment，2022，29（2）：136-151.

[5][29][30]Marsh H W，Morin A J S，Parker P D，et al.Exploratory structural equation modeling：an integration of the best features of exploratory and confirmatory factor analysis[J].Annual Review of Clinical Psychology，2014，10：85-110.

[6]李夏妍.中學(xué)教師職業(yè)壓力源探新[J].教育導(dǎo)刊，2016（3）：78-81.

[7]余小霞，苑媛，辛自強(qiáng).文字與數(shù)字量尺的差異及心理機(jī)制：兼論量尺制作的方法學(xué)問題[J].心理科學(xué)進(jìn)展，2017，25（2）：201-210.

[8]Simms L J，Zelazny K，Williams T F，et al.Does the number of response options matter？Psychometric perspectives using personality questionnaire data[J].Psychological Assessment，2019，31（4），557-566.

[9]胡中鋒.中小學(xué)教師教育科研導(dǎo)論[M].廣州：廣東高等教育出版社，2006：附錄五.

[10][14][17][18]Campbell D T，Stanley J C.Experimental and quasi-experimental design for research[M].Hopewell，NJ：Houghton Mifflin Company，1963：5-6，5，5，6.

[11]溫忠麟，謝晉艷，方杰，等.新世紀(jì)20年國(guó)內(nèi)假設(shè)檢驗(yàn)及其關(guān)聯(lián)問題的方法學(xué)研究[J].心理科學(xué)進(jìn)展，2022，30（8）：1667-1681.

[12]翟宏堃，李強(qiáng)，魏曉薇.結(jié)構(gòu)方程模型統(tǒng)計(jì)檢驗(yàn)力分析：原理與方法[J].心理科學(xué)進(jìn)展，2022，30（9）：2117-2130.

[13]溫忠麟，黃彬彬，湯丹丹.問卷數(shù)據(jù)建模前傳[J].心理科學(xué)，2018，41（1）：204-210.

[15]余震球.維果茨基教育論著選[M].北京：人民教育出版社，2013：2.

[16]楊國(guó)樞，文崇一，吳聰賢，等.社會(huì)及行為科學(xué)研究法（上冊(cè)）[M]．臺(tái)北：臺(tái)灣東華書局，1985：259-274.

[19][21]Peng Y，Hong E，Li X，et al.Homework problems：Do students from rural and urban schools perceive differently？[J].International Journal of Learning，2010，17（3）：81-96.

[22]American Psychological Association.Standards for educational and psychological testing [M].Washington D.C.：American Psychological Association，1974：25-48.

[23]Kerlinger F N.Foundations of behavioral research[M].3rd ed.Fort Worth，TX：Holt，Rinehart，and Winston，1986：296.

[24]胡中鋒，莫雷.論因素分析方法的整合[J].心理科學(xué)，2002，25（4）：474-475.

[25][27]麥玉嬌，溫忠麟.探索性結(jié)構(gòu)方程建模（ESEM）：EFA和CFA的整合[J].心理科學(xué)進(jìn)展，2013，21（5）：934-939.

[26]王陽(yáng)，溫忠麟，李偉，等.新世紀(jì)20年國(guó)內(nèi)結(jié)構(gòu)方程模型方法研究與模型發(fā)展[J].心理科學(xué)進(jìn)展，2022，30（8）：1715-1733.

[28]Gonzalez O，MacKinnon D P.A bifactor approach to model multifaceted constructs in statistical mediation analysis[J].Educational and Psychological Measurement，2018，78（1）：5-31.

[31][32]McNeish D，An J，Hancock G R.The thorny relation between measurement quality and fit index cutoffs in latent variable models[J].Journal of Personality Assessment，2018，100（1）：43-52.

[責(zé)任編輯：羅雯瑤]