王浦劬，季程遠(yuǎn)

(北京大學(xué)　政府管理學(xué)院　北京　100871)

?

論列舉實(shí)驗(yàn)在敏感問(wèn)題調(diào)查中的應(yīng)用
——以非制度化政治參與為驗(yàn)證

王浦劬，季程遠(yuǎn)

(北京大學(xué)政府管理學(xué)院北京100871)

敏感問(wèn)題測(cè)量是社會(huì)科學(xué)實(shí)證研究的難點(diǎn)，基于社會(huì)意愿偏差，人們對(duì)于敏感問(wèn)題或者選擇不應(yīng)答，或者選擇非真實(shí)應(yīng)答。隨著調(diào)查研究技術(shù)的進(jìn)步，近年來(lái)，社會(huì)科學(xué)界為此掀起討論熱潮，列舉實(shí)驗(yàn)是人們討論的熱門(mén)方法之一。列舉實(shí)驗(yàn)的關(guān)鍵在于避免產(chǎn)生設(shè)計(jì)效應(yīng)、天花板效應(yīng)和地板效應(yīng)。本文以非制度化政治參與的調(diào)查數(shù)據(jù)分析為基礎(chǔ)，驗(yàn)證顯示列舉實(shí)驗(yàn)可以降低無(wú)應(yīng)答比例，提高真實(shí)應(yīng)答比例，并降低社會(huì)意愿偏差。而將列舉實(shí)驗(yàn)分別作為自變量和因變量的示例分析表明，相比直接提問(wèn)方式，列舉實(shí)驗(yàn)對(duì)模型估計(jì)具有關(guān)鍵影響，它可以提供較為可靠、可信和恰當(dāng)?shù)姆治鼋Y(jié)果。當(dāng)然，列舉實(shí)驗(yàn)仍然面臨敏感問(wèn)題測(cè)量的本質(zhì)困難、實(shí)驗(yàn)效力、設(shè)計(jì)和分析難點(diǎn)等問(wèn)題，因此需要進(jìn)一步優(yōu)化改進(jìn)。

關(guān)鍵詞：列舉實(shí)驗(yàn)；調(diào)查實(shí)驗(yàn)；敏感問(wèn)題測(cè)量；非制度化政治參與

“您是否有接受別人的禮物而幫助別人的經(jīng)歷？”“您是否同意外來(lái)務(wù)工人員應(yīng)當(dāng)享受與本地居民相同的福利待遇？”在社會(huì)調(diào)查中，對(duì)于這些直接的詢問(wèn)，受訪者往往選擇拒絕回答[1]，這將導(dǎo)致待測(cè)問(wèn)題的低估，或者，受訪者會(huì)隱藏自己的真實(shí)偏好或行為，而選擇符合社會(huì)規(guī)范的答案，這將導(dǎo)致待測(cè)問(wèn)題的社會(huì)意愿偏差(social desirable bias)。社會(huì)科學(xué)的調(diào)查研究中，敏感問(wèn)題出現(xiàn)的概率很高，對(duì)于上述關(guān)于腐敗的經(jīng)歷和社會(huì)歧視的問(wèn)題，受訪者會(huì)因?yàn)椴缓戏ɑ蛘叽嬖谏鐣?huì)意愿壓力而拒絕應(yīng)答或不作真實(shí)應(yīng)答。在這種情形下，社會(huì)調(diào)查采集的調(diào)查數(shù)據(jù)不僅沒(méi)有采集到受訪者的真實(shí)想法，而且在進(jìn)一步的統(tǒng)計(jì)推斷和分析過(guò)程中可能產(chǎn)生錯(cuò)誤的結(jié)論，從而嚴(yán)重影響實(shí)證研究的效度。

由此可見(jiàn)，敏感問(wèn)題測(cè)量是實(shí)證研究的一個(gè)關(guān)鍵性方法論挑戰(zhàn)，近年來(lái)，以普林斯頓大學(xué)政治學(xué)系為中心的國(guó)際社會(huì)科學(xué)界，掀起一股敏感問(wèn)題方法論討論的新熱潮，在《政治分析》(PoliticalAnalysis)、《美國(guó)統(tǒng)計(jì)學(xué)雜志》(JournaloftheAmericanStatisticalAssociation)、《美國(guó)政治學(xué)評(píng)論》(AmericanPoliticalScienceReview)和《美國(guó)政治學(xué)雜志》(AmericanJournalofPoliticalScience)等期刊上，迅速推出一批研究成果。鑒于這一問(wèn)題對(duì)于實(shí)證研究科學(xué)性的重要意義，本文首先概要介紹對(duì)于敏感問(wèn)題的既往調(diào)查方法，分析其產(chǎn)生原因和相關(guān)調(diào)查技術(shù)的原理。之后，筆者以非制度化政治參與調(diào)查為典型案例，以示例分析和驗(yàn)證方式，檢測(cè)了列舉實(shí)驗(yàn)(list experiment)方法的有效性，并且分析了其需要進(jìn)一步優(yōu)化之處。

一、既往的調(diào)查方法

對(duì)于敏感問(wèn)題的調(diào)查，常常產(chǎn)生受訪者不應(yīng)答或者虛假應(yīng)答的情形。研究表明，之所以出現(xiàn)這種情況，其主要原因在于：社會(huì)調(diào)查的訪問(wèn)員無(wú)法細(xì)致觀察和檢驗(yàn)受訪者在待測(cè)問(wèn)題上的回答，而只能選擇依靠受訪者自報(bào)答案。在遇到敏感問(wèn)題時(shí)，受訪者的答案會(huì)直接暴露在訪問(wèn)員面前。在這種情況下，由于敏感問(wèn)題多不合法或不符合社會(huì)規(guī)范，受訪者將獨(dú)自承擔(dān)由此產(chǎn)生的道德、社會(huì)甚至政治后果。由此產(chǎn)生的顧慮，往往會(huì)使得受訪者選擇回避應(yīng)答或選擇不真實(shí)應(yīng)答。最初，研究者意識(shí)到敏感問(wèn)題的社會(huì)意愿偏差后，僅僅是通過(guò)降低措辭的敏感性，期望由此獲得更真實(shí)的應(yīng)答。經(jīng)驗(yàn)表明，這種方法效果乏善可陳。

經(jīng)過(guò)幾十年的發(fā)展，目前，在社會(huì)科學(xué)研究中的常用的應(yīng)對(duì)敏感問(wèn)題測(cè)量的方法一般包括隨機(jī)回答技術(shù)(randomized response technique, RRT)、列舉實(shí)驗(yàn)和支持實(shí)驗(yàn)(endorsement experiment)。在這其中，支持實(shí)驗(yàn)主要應(yīng)用于(敏感)政治領(lǐng)導(dǎo)人的支持研究，例如伊斯蘭武裝[2]和塔利班[3]等。該方法將受訪者對(duì)特定政策的支持和對(duì)特定領(lǐng)導(dǎo)人的支持組合起來(lái)，最終分離出對(duì)敏感領(lǐng)導(dǎo)人的支持。新近的研究成功地將分析策略顛倒，從支持實(shí)驗(yàn)中分離出對(duì)政策的真實(shí)支持程度[4]。由于該方法的應(yīng)用范圍有限，因此不在本文的討論范圍之內(nèi)。

(1)

沃納的基本模型雖然效果比降低措辭的敏感性好，但是，該模型設(shè)置的A與B的相反問(wèn)題，很容易引起受訪人的注意，進(jìn)而了解采訪的真實(shí)意圖，由此導(dǎo)致受訪者完全可能采用針對(duì)性的回答方式。同時(shí)，式(1)表明，p不能為1/2。1/2是一個(gè)可以最大程度減少受訪者顧慮的概率，無(wú)法設(shè)定為1/2，也造成常見(jiàn)的隨機(jī)化裝置硬幣等無(wú)效，這就需要采用其他更復(fù)雜的裝置。

(2)

但是，以上這些隨機(jī)化回答方法，仍然會(huì)讓受訪者注意到研究者和訪問(wèn)者的興趣和意圖所在，從而降低回答的真實(shí)度[8]。這種對(duì)個(gè)體保護(hù)而對(duì)群體不保護(hù)的隨機(jī)回答技術(shù)，仍然會(huì)讓明知違法的受訪者出于保護(hù)群體的目的而不作真實(shí)應(yīng)答，因此，對(duì)于與整體利益相關(guān)的受訪者，這種隨機(jī)回答技術(shù)，在訪問(wèn)效果方面可能并無(wú)多大改善[9]。這種技術(shù)在暴露研究關(guān)注點(diǎn)的同時(shí)，延長(zhǎng)了訪問(wèn)時(shí)間。

二、列舉實(shí)驗(yàn)及其設(shè)計(jì)

列舉實(shí)驗(yàn)又稱條目計(jì)數(shù)法(item count technique, ICT)，由Kuklinski及其合作者提出[10]。在1991年的美國(guó)種族和政治調(diào)查中，政治學(xué)者首次設(shè)計(jì)了一道列舉實(shí)驗(yàn)題[11]以測(cè)量個(gè)人的種族歧視傾向。作為一種隨機(jī)試驗(yàn)，研究者將受訪者分為實(shí)驗(yàn)組和控制組兩組。兩組受訪者分別需要回答如下問(wèn)題：

【控制組】現(xiàn)在我將讀出3件可能使你生氣的事情。你只需告訴我其中____件使你生氣，而不必說(shuō)出具體哪項(xiàng)。

(1) 聯(lián)邦政府提高汽油稅

(2) 專業(yè)運(yùn)動(dòng)員薪水超過(guò)百萬(wàn)

(3) 大型企業(yè)污染環(huán)境

【實(shí)驗(yàn)組】現(xiàn)在我將讀出4件可能使你生氣的事情。你只需告訴我其中____件使你生氣，而不必說(shuō)出具體哪項(xiàng)。

(1) 聯(lián)邦政府提高汽油稅

(2) 專業(yè)運(yùn)動(dòng)員薪水超過(guò)百萬(wàn)

(3) 大型企業(yè)污染環(huán)境

(4) 一個(gè)黑人家庭搬到你家隔壁

實(shí)驗(yàn)組和控制組的受訪者都會(huì)面對(duì)3個(gè)控制選項(xiàng)，其中的區(qū)別在于，實(shí)驗(yàn)組的受訪者將面對(duì)研究者關(guān)心的第4個(gè)敏感選項(xiàng)，即“一個(gè)黑人家庭搬到你家隔壁”是否使受訪者生氣。列舉實(shí)驗(yàn)并不直接詢問(wèn)個(gè)人種族歧視傾向的敏感問(wèn)題，而是轉(zhuǎn)而通過(guò)回答件數(shù)，降低了由于直接詢問(wèn)帶來(lái)的社會(huì)意愿偏差。實(shí)際上，只要受訪者不回答“4”，即所有事情都使受訪者生氣，研究者和訪問(wèn)員都無(wú)法確切了解該受訪者的種族歧視傾向。這種信息的不對(duì)稱，可以一定程度上鼓勵(lì)受訪者提供更真實(shí)的答案。

但是，列舉實(shí)驗(yàn)題設(shè)計(jì)并不像看上去那么簡(jiǎn)單，它必須滿足兩個(gè)基本假定：

假定1，不存在設(shè)計(jì)效應(yīng)(design effect)；

假定2，不存在欺騙者，主要是指不存在天花板效應(yīng)(celling effect)和地板效應(yīng)(floor effect)。

所謂設(shè)計(jì)效應(yīng)，是實(shí)驗(yàn)組增加的敏感選項(xiàng)，會(huì)對(duì)受訪者選擇控制題項(xiàng)產(chǎn)生顯著的影響。設(shè)計(jì)效應(yīng)會(huì)在受訪者認(rèn)定控制題項(xiàng)與敏感題項(xiàng)相關(guān)的情況下產(chǎn)生，會(huì)使得控制組和實(shí)驗(yàn)組的受訪者面對(duì)控制題項(xiàng)時(shí)產(chǎn)生顯著不同的回答方式。因此，列舉實(shí)驗(yàn)題不存在設(shè)計(jì)效應(yīng)，是列舉實(shí)驗(yàn)題測(cè)量成功的必要條件，而所謂列舉實(shí)驗(yàn)題不存在設(shè)計(jì)效應(yīng)，是指實(shí)驗(yàn)組增加的敏感選項(xiàng)，不會(huì)對(duì)受訪者選擇控制選項(xiàng)產(chǎn)生顯著的影響。

列舉實(shí)驗(yàn)與隨機(jī)回答技術(shù)相比，理論上最大的缺點(diǎn)在于，隨機(jī)回答技術(shù)僅看答案，沒(méi)有任何人可以知道受訪者的真實(shí)回答，而列舉實(shí)驗(yàn)在一些情況下卻無(wú)法達(dá)到這一點(diǎn)，這就會(huì)違背假定2，即產(chǎn)生天花板效應(yīng)或地板效應(yīng)。所謂天花板效應(yīng)，是指實(shí)驗(yàn)組的受訪者面對(duì)的所有選項(xiàng)(J個(gè))都符合其實(shí)際情況，但是，為了保護(hù)隱私，受訪者的應(yīng)答變?yōu)?J-1)個(gè)。所謂地板效應(yīng)則正好相反，只有敏感的那個(gè)選項(xiàng)符合受訪者的實(shí)際情況，但是，受訪者寧可將答案變成0，從而隱藏自己的偏好。

為了防止列舉實(shí)驗(yàn)題失敗，研究者在設(shè)計(jì)過(guò)程中，必須謹(jǐn)慎考慮設(shè)計(jì)效應(yīng)、天花板效應(yīng)和地板效應(yīng)，控制題項(xiàng)的設(shè)置應(yīng)當(dāng)慎之又慎。一個(gè)關(guān)鍵技巧是控制題項(xiàng)之間應(yīng)該至少有2個(gè)呈現(xiàn)強(qiáng)負(fù)相關(guān)關(guān)系，并且有一個(gè)應(yīng)當(dāng)會(huì)有大多數(shù)人選擇[12]。根據(jù)這一思路，詢問(wèn)個(gè)人的經(jīng)歷時(shí)，我們可以將出國(guó)經(jīng)歷、乘坐公共汽車(chē)的經(jīng)歷設(shè)置為控制選項(xiàng)。而干預(yù)題項(xiàng)的設(shè)置事關(guān)設(shè)計(jì)效應(yīng)是否存在，應(yīng)當(dāng)選擇指向清晰明確的干預(yù)題項(xiàng)[13]。

三、列舉實(shí)驗(yàn)的分析

但是，列舉實(shí)驗(yàn)長(zhǎng)期只能應(yīng)用上述方法，通過(guò)比較控制組和實(shí)驗(yàn)組的均值差來(lái)估計(jì)敏感問(wèn)題發(fā)生的人群比例，而無(wú)法進(jìn)一步通過(guò)多變量回歸分析探討受訪者的其他變量與敏感問(wèn)題的關(guān)系。例如，具備哪些特征的受訪者會(huì)隱瞞自己的種族歧視傾向。更進(jìn)一步的問(wèn)題是，如何將列舉實(shí)驗(yàn)產(chǎn)生的變量作為我們熟悉的常規(guī)變量納入多變量分析，Imai[15]、Blair & Imai[16]和Imaietal.[17]開(kāi)發(fā)的多變量分析方法，開(kāi)辟了這一路徑。

下文將利用北京大學(xué)中國(guó)國(guó)情研究中心2014年設(shè)計(jì)并采集的“互聯(lián)網(wǎng)與社交媒體調(diào)查”數(shù)據(jù)，對(duì)于這一方法進(jìn)行典型實(shí)例分析和驗(yàn)證。該調(diào)查采用該中心獨(dú)創(chuàng)的“GPS輔助的區(qū)域抽樣”與分層多階段相結(jié)合的抽樣方法，對(duì)于解決傳統(tǒng)戶籍抽樣中存在的難以覆蓋流動(dòng)人口、戶籍資料不精確、人戶分離等問(wèn)題，具有重要積極作用。這項(xiàng)調(diào)查涉及70個(gè)縣的初級(jí)抽樣單位，共完成3747個(gè)個(gè)案，有效完成率為66%。分析采用R程序的“l(fā)ist”包和“Amelia”包完成，前者應(yīng)用于列舉實(shí)驗(yàn)的分析，后者應(yīng)用于多重插補(bǔ)。

非制度化政治參與，是政治社會(huì)學(xué)研究的熱點(diǎn)敏感話題，研究者設(shè)計(jì)了一個(gè)列舉實(shí)驗(yàn)題，想要了解參與“在請(qǐng)?jiān)笗?shū)上簽名”和參與“游行/靜坐/示威/群體性事件”的人群比例，問(wèn)卷被分為A、B、C三種類型，列舉實(shí)驗(yàn)題設(shè)計(jì)如下：

【A卷】下面列舉的事情，您做過(guò)幾個(gè)？您不必說(shuō)具體哪個(gè)，請(qǐng)告訴我0到3之間的一個(gè)數(shù)字。

a.讀大學(xué)b.買(mǎi)房

c.換過(guò)工作

(出示答題卡)您經(jīng)歷過(guò)上面提到的____件事情。

【B卷】下面列舉的事情，您做過(guò)幾個(gè)？您不必說(shuō)具體哪個(gè)，請(qǐng)告訴我0到4之間的一個(gè)數(shù)字。

a.讀大學(xué)b.在請(qǐng)?jiān)笗?shū)上簽名

c.買(mǎi)房d.換過(guò)工作

(出示答題卡)您經(jīng)歷過(guò)上面提到的____件事情。

【C卷】下面列舉的事情，您做過(guò)幾個(gè)？您不必說(shuō)具體哪個(gè)，請(qǐng)告訴我0到4之間的一個(gè)數(shù)字。

a.讀大學(xué)

b.游行/靜坐/示威/群體性事件

c.買(mǎi)房d.換過(guò)工作

(出示答題卡)您經(jīng)歷過(guò)上面提到的____件事情。

A卷為控制組，B卷和C卷分別添加了敏感選項(xiàng)“在請(qǐng)?jiān)笗?shū)上簽名”和“游行/靜坐/示威/群體性事件”。同時(shí)，在列舉實(shí)驗(yàn)后，又直接詢問(wèn)了受訪者是否參與過(guò)“在請(qǐng)?jiān)笗?shū)上簽名”和“游行/靜坐/示威/群體性事件”，選項(xiàng)為“是”和“否”。當(dāng)然，列舉實(shí)驗(yàn)題和直接詢問(wèn)題中間，還設(shè)置有大量其他問(wèn)題，盡可能減少其他干擾。

我們首先對(duì)列舉實(shí)驗(yàn)題進(jìn)行描述性統(tǒng)計(jì)和設(shè)計(jì)效應(yīng)檢驗(yàn)，結(jié)果見(jiàn)表1。直接提問(wèn)的結(jié)果表明，無(wú)應(yīng)答率為2.7%，而列舉實(shí)驗(yàn)的無(wú)應(yīng)答比率僅為0.7%，表明列舉實(shí)驗(yàn)確實(shí)降低了無(wú)應(yīng)答的比例。在列舉實(shí)驗(yàn)中，從控制組、干預(yù)組1和干預(yù)組2的樣本量看，大致均衡，分別有1223、1265、1259個(gè)樣本，但是，無(wú)應(yīng)答樣本較少，不足1%，且控制組合干預(yù)組之間分布較平均。設(shè)計(jì)效應(yīng)檢驗(yàn)的原假定是存在設(shè)計(jì)效應(yīng)，我們需要比較邦費(fèi)羅尼p值(Bonferronip)與0.05的關(guān)系，如果前者大于0.05，則拒絕原假設(shè)，認(rèn)為不存在設(shè)計(jì)效應(yīng)。我們的設(shè)計(jì)中，干預(yù)組1存在設(shè)計(jì)效應(yīng)，干預(yù)組2則不存在顯著的設(shè)計(jì)效應(yīng)，因而對(duì)于“在請(qǐng)?jiān)笗?shū)上簽名”，列舉實(shí)驗(yàn)測(cè)量失敗。下文僅考察參與“游行/靜坐/示威/群體性事件”的情況。

表1　列舉實(shí)驗(yàn)的設(shè)計(jì)效應(yīng)檢驗(yàn)

排除了設(shè)計(jì)效應(yīng)，我們還需要檢驗(yàn)是否存在天花板效應(yīng)和地板效應(yīng)。首先，表2對(duì)控制題項(xiàng)有3個(gè)(J=3)，而存在天花板效應(yīng)和地板效應(yīng)的情形進(jìn)行了舉例。

表2　列舉實(shí)驗(yàn)中存在天花板效應(yīng)和地板效應(yīng)的情況舉例(J=3)

注：(y,z)表示特定回答類型的人群。其中y為控制選項(xiàng)中回答“是”的個(gè)數(shù)，z為對(duì)敏感選項(xiàng)的回答情況(是=1，否=0)。

?表示受天花板效應(yīng)和地板效應(yīng)影響的回答類型。

從表2看，(0,1)是可能受到地板效應(yīng)影響的人群，只有敏感選項(xiàng)符合他們的實(shí)際情況，而為了防止暴露真實(shí)想法，他們?cè)诨卮鹆信e實(shí)驗(yàn)題時(shí)，寧可應(yīng)答“0”。(3,1)是可能受到天花板效應(yīng)影響的人群，不僅3個(gè)控制選項(xiàng)符合情況，敏感選項(xiàng)也符合他們的情況，但是他們也可能選擇應(yīng)答“3”從而保護(hù)真實(shí)想法。

接下來(lái)，我們可以比較直接回答參與“游行/靜坐/示威/群體性事件”的比例和列舉實(shí)驗(yàn)表明參與“游行/靜坐/示威/群體性事件”的比例，來(lái)確認(rèn)非制度化政治參與經(jīng)歷的應(yīng)答中受訪者的社會(huì)意愿偏差大小。分析中對(duì)于列舉實(shí)驗(yàn)未回答的樣本采用列刪除方式排除，共27個(gè)，因?yàn)榉治鲋袩o(wú)法容納列舉實(shí)驗(yàn)題為缺失值的情形。

表3　列舉實(shí)驗(yàn)中不同回答類型的實(shí)際受訪者比例估計(jì)

表4　非制度化政治參與經(jīng)歷的社會(huì)意愿偏差

從表4的結(jié)果看，直接詢問(wèn)受訪者是否參加過(guò)“游行/靜坐/示威/群體性事件”，僅有1.96%的受訪者確認(rèn)有過(guò)這類經(jīng)歷。而使用列舉實(shí)驗(yàn)，該比例提高到7.83%，由此可見(jiàn)，真實(shí)應(yīng)答的比例僅為四分之一。直接提問(wèn)和列舉實(shí)驗(yàn)的差值5.87%，這個(gè)值即為受訪者因?yàn)閾?dān)心真實(shí)想法泄露等因素，或期望符合社會(huì)規(guī)范而產(chǎn)生的社會(huì)意愿偏差程度。這也表明，如果僅僅采用直接提問(wèn)的方式，將嚴(yán)重低估激進(jìn)政治參與的比例，由此產(chǎn)生的其他統(tǒng)計(jì)推斷都會(huì)產(chǎn)生偏差。由此也可見(jiàn)，在問(wèn)卷調(diào)查中，詢問(wèn)受訪者激進(jìn)政治參與的經(jīng)歷時(shí)，往往存在社會(huì)意愿偏差，由此需要應(yīng)用列舉實(shí)驗(yàn)方法來(lái)應(yīng)對(duì)。

接下來(lái)，我們將采用示例方法，來(lái)驗(yàn)證列舉實(shí)驗(yàn)題作為因變量和自變量的分析方法。針對(duì)列舉實(shí)驗(yàn)題作為因變量的分析情形，Imai[19]和Blair & Imai[20]基于前述2個(gè)假定，開(kāi)發(fā)了基于非線性最小二乘法(nonlinear least squares, NLS)估計(jì)和極大似然估計(jì)的估計(jì)辦法。極大似然估計(jì)的應(yīng)用范圍較廣，但是估計(jì)的難度較大，因而估計(jì)失敗的可能較大。我們的分析應(yīng)用了非線性最小二乘法。

首先，列舉實(shí)驗(yàn)題作為因變量時(shí)，我們舉例考察誰(shuí)具有非制度化政治參與經(jīng)歷，或者說(shuō)是具有非制度化政治參與經(jīng)歷的影響因素。變量描述性統(tǒng)計(jì)見(jiàn)表5，其中男性受訪者占47%，平均45.9歲，平均接受8.9年教育，黨員有9.7%，有工作的受訪者占56.7%，體制內(nèi)(黨政機(jī)關(guān)和國(guó)有企事業(yè)單位)的受訪者有12.5%。收入水平為家庭收入狀況自評(píng)4等級(jí)，非制度化政治參與傾向?yàn)榛卮稹叭绻艿秸浅２还酱觯驅(qū)φ哪硞€(gè)官員或某項(xiàng)政策非常不滿，利用上網(wǎng)發(fā)帖的方式解決問(wèn)題”選擇“是”的比例，社會(huì)滿意度利用對(duì)“社會(huì)穩(wěn)定、經(jīng)濟(jì)形勢(shì)、文化發(fā)展、公共秩序、法制改革、科技政策、環(huán)境保護(hù)、公民維權(quán)、食品安全”滿意度制備，個(gè)人表達(dá)利用參與“向上級(jí)政府領(lǐng)導(dǎo)表達(dá)自己的觀點(diǎn)、通過(guò)媒體表達(dá)自己的觀點(diǎn)、通過(guò)社會(huì)組織表達(dá)自己的觀點(diǎn)”的經(jīng)歷制備，政治價(jià)值觀使用季程遠(yuǎn)等[21]文中的方法制備，得分從低到高對(duì)應(yīng)個(gè)人的政治價(jià)值觀由威權(quán)價(jià)值觀到民主價(jià)值觀，社會(huì)滿意度、個(gè)人表達(dá)、政治價(jià)值觀變量的制備均采用了項(xiàng)目反映理論。

由于存在較多的缺失值，以下分析中的結(jié)果均為20次插補(bǔ)數(shù)據(jù)分析基礎(chǔ)上，利用魯賓法則合并的結(jié)果，這樣可以在比較中保證不同模型樣本量一致，增加分析的可靠性。表6的結(jié)果呈現(xiàn)中，模型1、模型2、模型3的因變量為直接提問(wèn)的非制度化政治參與，模型4和模型5的因變量則為列舉實(shí)驗(yàn)所獲的非制度化政治參與，模型4、模型5的數(shù)據(jù)集使用了A卷和C卷數(shù)據(jù)，模型3也使用這一數(shù)據(jù)集，以防出現(xiàn)數(shù)據(jù)集差異減少帶來(lái)的統(tǒng)計(jì)推斷差異。模型1和模型2的結(jié)果表明，在控制了經(jīng)濟(jì)社會(huì)地位、體制羈絆因素和個(gè)人特質(zhì)后，政治價(jià)值觀對(duì)于個(gè)人的非制度化政治參與經(jīng)歷居于負(fù)向影響，即更偏向威權(quán)價(jià)值觀的個(gè)體，反而擁有更多的非制度化政治參與經(jīng)歷。但是，這一結(jié)果是真的嗎？模型4和模型5的結(jié)果逆轉(zhuǎn)了這一結(jié)果，在控制了其他因素后，個(gè)人的政治價(jià)值觀偏向民主的受訪者，更可能擁有非制度化政治參與經(jīng)歷。

表5　變量描述性統(tǒng)計(jì)

表6　模型結(jié)果摘要

注：*p<0.1，**p<0.05，***p<0.01，下同。

這一結(jié)果表明，如果使用直接詢問(wèn)的方式，對(duì)敏感事項(xiàng)進(jìn)行數(shù)據(jù)采集，并據(jù)此進(jìn)行的統(tǒng)計(jì)推斷，可能存在錯(cuò)誤，列舉實(shí)驗(yàn)的多元統(tǒng)計(jì)分析可以發(fā)現(xiàn)更加真實(shí)的結(jié)果。

列舉實(shí)驗(yàn)題作為自變量的分析方法，直到最近才得以開(kāi)發(fā)[22]，通過(guò)最大似然估計(jì)的兩階段法，可以方便地產(chǎn)生穩(wěn)健估計(jì)，最大似然估計(jì)的應(yīng)用，也拓展了方法的應(yīng)用范圍。我們以政治信任作為因變量，該變量為對(duì)“縣市政府”和“中央政府”的信任程度因子得分。非制度化政治參與經(jīng)歷以及其他經(jīng)濟(jì)社會(huì)地位變量等為自變量，考察非制度化政治參與對(duì)于個(gè)人政治信任的影響。表7匯總了分析結(jié)果，模型1的非制度政治參與經(jīng)歷采用了直接詢問(wèn)方式，而模型2采用的是列舉實(shí)驗(yàn)獲取的非制度政治參與經(jīng)歷。結(jié)果表明，在控制了其他因素后，直接提問(wèn)和列舉實(shí)驗(yàn)獲得的非制度化政治參與經(jīng)歷，產(chǎn)生了明顯差異，列舉實(shí)驗(yàn)獲得的非制度化政治參與經(jīng)歷對(duì)受訪者的政治信任產(chǎn)生顯著的負(fù)向影響。另外一個(gè)變化是，政治價(jià)值觀對(duì)于政治信任的影響也消失了，這表明，個(gè)人的威權(quán)價(jià)值觀或民主價(jià)值觀，實(shí)際上并不會(huì)對(duì)政治信任產(chǎn)生顯著影響。

綜上驗(yàn)證可見(jiàn)，列舉實(shí)驗(yàn)對(duì)于敏感問(wèn)題測(cè)量具有重要價(jià)值，它可以有效化解一部分社會(huì)意愿偏差。更為關(guān)鍵的是，直接詢問(wèn)的測(cè)量方式可能對(duì)于統(tǒng)計(jì)推斷產(chǎn)生顯著的影響，這種影響甚至是方向上的，我們關(guān)心的敏感變量實(shí)際上應(yīng)該對(duì)因變量有正向影響，但是，直接提問(wèn)的方式卻可能產(chǎn)生負(fù)向的影響，由此可能蒙蔽研究者的眼睛。

表7　模型結(jié)果摘要

四、結(jié)論與討論

如何在調(diào)查中消解受訪者的顧慮、如何更好地保護(hù)其真實(shí)想法、如何采集到更為真實(shí)的數(shù)據(jù)，實(shí)證研究的學(xué)者們一直為此而積極努力。目前，隨機(jī)回答技術(shù)在社會(huì)科學(xué)各學(xué)科都已廣泛應(yīng)用，但是，主要由政治學(xué)者Blair和Imai推動(dòng)的列舉實(shí)驗(yàn)，尚屬于新興技術(shù)。本文的研究介紹了列舉實(shí)驗(yàn)的設(shè)計(jì)、假定檢驗(yàn)和分析路徑，并利用相關(guān)全國(guó)概率調(diào)查數(shù)據(jù)進(jìn)行了示例性驗(yàn)證。我們的驗(yàn)證表明，列舉實(shí)驗(yàn)不僅能夠提高應(yīng)答率，而且能夠有效地降低社會(huì)意愿偏差，獲取較為真實(shí)的應(yīng)答。并且在敏感問(wèn)題的統(tǒng)計(jì)推斷中也呈現(xiàn)關(guān)鍵價(jià)值，可以糾正模型的估計(jì)，使得實(shí)證分析結(jié)果較為可靠、可信和恰當(dāng)。

當(dāng)然，列舉實(shí)驗(yàn)也并非已經(jīng)完美。歸結(jié)起來(lái)，其主要存在以下問(wèn)題：

首先，列舉實(shí)驗(yàn)仍然沒(méi)有解決敏感問(wèn)題測(cè)量的本質(zhì)，即提供受訪者真實(shí)回答的動(dòng)力。列舉實(shí)驗(yàn)本質(zhì)上是研究者以一定的信息犧牲，來(lái)?yè)Q取受訪者的信息補(bǔ)償。但是，受訪者仍然有足夠多的顧慮避免自己惹麻煩。文化程度較高的受訪者可以輕松猜中研究者和訪問(wèn)者的意圖，文化程度較低的受訪者則可能對(duì)于這種詢問(wèn)方式非常困惑。事實(shí)上，在敏感問(wèn)題的社會(huì)科學(xué)研究中，投入大量時(shí)間建立的個(gè)人信任，被證明往往對(duì)真實(shí)的分析與結(jié)果至關(guān)重要，例如著名的《街角社會(huì)》就是如此。因此，在一定程度上可以認(rèn)為，對(duì)于敏感問(wèn)題的大規(guī)模測(cè)量，一些分析工具和方法形成的結(jié)果與事實(shí)之間仍然有一段距離，為此，研究者對(duì)于這一方法的采用必須保持充分的謹(jǐn)慎和敬畏。

其次，列舉實(shí)驗(yàn)問(wèn)題的效力有待進(jìn)一步檢測(cè)。根據(jù)Muldersetal.的總結(jié)[23]，即使是1965年沃納開(kāi)發(fā)的隨機(jī)回答技術(shù)，也只有5篇相關(guān)論文比較研究了這一技術(shù)在促進(jìn)測(cè)量接近真實(shí)的程度問(wèn)題。而研究者使用列舉實(shí)驗(yàn)方法，究竟能在多大程度上接近真實(shí)，即列舉實(shí)驗(yàn)的結(jié)果與事實(shí)之間究竟有多大差距，目前尚缺少大規(guī)模的檢驗(yàn)。實(shí)際上，只有學(xué)者Rosenfeldetal.進(jìn)行了初步討論[24]，因此，列舉實(shí)驗(yàn)問(wèn)題的效力有待進(jìn)一步檢測(cè)。

再次，列舉實(shí)驗(yàn)的問(wèn)題設(shè)計(jì)需要精確化。這是列舉實(shí)驗(yàn)測(cè)量成功與否的關(guān)鍵，研究者需要仔細(xì)考慮控制題項(xiàng)的設(shè)置，以保證分析假定的成立，保證不存在設(shè)計(jì)效應(yīng)、天花板效應(yīng)和地板效應(yīng)。為了檢測(cè)設(shè)計(jì)的可靠性，在正式調(diào)查前，對(duì)于列舉實(shí)驗(yàn)設(shè)計(jì)進(jìn)行小規(guī)模的測(cè)試至關(guān)重要。

最后，列舉實(shí)驗(yàn)的分析路徑和技術(shù)有待優(yōu)化。由于實(shí)驗(yàn)組和控制組的設(shè)計(jì)、估計(jì)方法復(fù)雜性，列舉實(shí)驗(yàn)需要更大的樣本量，估計(jì)方法的復(fù)雜性也造成了分析結(jié)果的不穩(wěn)定。更為關(guān)鍵的是，目前，列舉實(shí)驗(yàn)與因果推斷(Casual Inference)的結(jié)合還缺乏特別可行的分析路徑，有待進(jìn)一步的研究。

[1]嚴(yán)潔，任莉穎.政治敏感問(wèn)題無(wú)回答的處理: 多重插補(bǔ)法的應(yīng)用[J].華中師范大學(xué)學(xué)報(bào): 人文社會(huì)科學(xué)版, 2010(2): 29-34.

[2]Bullock W, Imai K, Shapiro J N.Statistical analysis of endorsement experiments: Measuring support for militant groups in Pakistan [J].Political Analysis, 2011, 19(4): 363-384.

[3]Lyall J, Blair G, Imai K.Explaining support for combatants during wartime: A survey experiment in Afghanistan [J].American Political Science Review, 2013, 107(04): 679-705.[4]Rosenfeld B, Imai K, Shapiro J N.An empirical validation study of popular survey methodologies for sensitive questions [J].American Journal of Political Science, 2015.

[5]Warner S L.Randomized response: A survey technique for eliminating evasive answer bias [J].Journal of the American Statistical Association, 1965, 60(309): 63-69.

[6]Greenberg B G, Abul-Ela A L A, Simmons W R, et al.The unrelated question randomized response model: Theoretical framework [J].Journal of the American Statistical Association, 1969, 64(326): 520-539.[7]Blair G, Imai K, Zhou Y Y.Design and analysis of the randomized response technique [J].Journal of the American Statistical Association, 2015, 110(511): 1304-1319.

[8]Droitcour J, Caspar R A, Hubbard M L, et al.The item count technique as a method of indirect questioning: A review of its development and a case study application [J].Measurement errors in surveys, 1991, 11: 185-210.[9]紀(jì)竹蓀.隨機(jī)化回答技術(shù)調(diào)查“敏感性問(wèn)題”的博弈分析及設(shè)計(jì)改進(jìn)——對(duì)一次沃納方法調(diào)查實(shí)踐的分析思考 [J] 統(tǒng)計(jì)與信息論壇, 2008(5): 82-86.

[9]Kuklinski J H, Cobb M D, Gilens M.Racial attitudes and the “New South”[J].The Journal of Politics, 1997, 59(02): 323-349.

[11]Sniderman, P.M., P.E.Tetlock, and T.Piazza.Codebook for the 1991 National race and politics survey[R].Survey Research Center, Berkeley, California.[12]Corstange D.Sensitive questions, truthful answers? Modeling the list experiment with listit [J].Political Analysis, 2009, 17(1): 45-63.

[13]Blair G, Imai K.Statistical analysis of list experiments [J].Political Analysis, 2012, 20(1): 47-77.

[14]Meng T, Pan J, Yang P.Conditional receptivity to citizen participation evidence from a survey experiment in China [J].Comparative Political Studies, 2014: 0010414014556212.

[15]Imai K.Multivariate regression analysis for the item count technique [J].Journal of the American Statistical Association, 2011, 106(494): 407-416.

[16]Blair G, Imai K.Statistical analysis of list experiments [J].Political Analysis, 2012, 20(1): 47-77.

[17]Blair G, Imai K, Zhou Y Y.Design and analysis of the randomized response technique [J].Journal of the American Statistical Association, 2015, 110(511): 1304-1319.

[18]Meng T, Pan J, Yang P.Conditional receptivity to citizen participation evidence from a survey experiment in China [J].Comparative Political Studies, 2014: 0010414014556212.

[19]Imai K.Multivariate regression analysis for the item count technique [J].Journal of the American Statistical Association, 2011, 106(494): 407-416.

[20]Blair G, Imai K.Statistical analysis of list experiments [J].Political Analysis, 2012, 20(1): 47-77.

[21]季程遠(yuǎn), 王衡, 顧昕.政治價(jià)值觀與網(wǎng)絡(luò)抗?fàn)幮袨榈南薅?[J]社會(huì), 2016.

[22]Blair G, Imai K, Zhou Y Y.Design and analysis of the randomized response technique [J].Journal of the American Statistical Association, 2015, 110(511): 1304-1319.

[23]Lensvelt-Mulders G J L M, Hox J J, Van Der Heijden P G M.How to improve the efficiency of randomised response designs [J].Quality and Quantity, 2005, 39(3): 253-265.

[24]Rosenfeld B, Imai K, Shapiro J N.An empirical validation study of popular survey methodologies for sensitive questions [J].American Journal of Political Science, 2015.

(本文責(zé)編：海洋)

List Experiment in Measuring Sensitive Issue——Example from Non-institutionalized Political Participation

WANG Pu-qu, JI Cheng-yuan

(School of Government, Peking University, Beijing 100871, China)

It is difficult to measure sensitive issues in social science study, for respondents choose not to report or lie to the questions as a result of social desirable bias.With the development of survey technology, such a difficulty comes back to academic discussion in recent years, in which list experiment is three most popular methods.The key of list experiment design is to avoid design effect, celling effect and floor effect.This study takes non-institutionalized political participation as an example.We introduce the method to test the assumption.And we prove that list experiment can lower the nonresponse rate, raise the truthful response rate and lower the social desirable bias.Compared with direct question, list experiment has significant impacts on the model estimation, which provide more reliable, credible and appropriate result, when applying list experiment as dependent and independent.Of course, list experiment still has to face the problems include the essential problem of sensitive issues measuring, power, design and analysis, which means it still need further improvement.

list experiment; survey experiment; measuring sensitive issue; non-institutionalized political participation

2016-03-19

2016-08-16

國(guó)家哲學(xué)社會(huì)科學(xué)重大項(xiàng)目：“推進(jìn)國(guó)家治理體系現(xiàn)代化研究”成果，項(xiàng)目批準(zhǔn)號(hào)(014ZDA011)；國(guó)家哲學(xué)社會(huì)科學(xué)基金后期資助項(xiàng)目“當(dāng)代中國(guó)治理模式研究”成果。

王浦劬(1956—)，男，江蘇鹽城人，北京大學(xué)國(guó)家治理研究院院長(zhǎng)，北京大學(xué)政治發(fā)展與政府管理研究所所長(zhǎng)，教育部“長(zhǎng)江學(xué)者”特聘教授，北京大學(xué)政府管理學(xué)院教授。

C81

A

1002-9753(2016)09-0135-09