丁華,任莉穎,嚴潔

(北京大學a.中國社會科學調(diào)查中心;b.政府管理學院,北京100871)

基于并行數(shù)據(jù)的調(diào)查質(zhì)量管理

丁華a,任莉穎a,嚴潔b

(北京大學a.中國社會科學調(diào)查中心;b.政府管理學院,北京100871)

計算機輔助調(diào)查方法(Computer一assisted Personal Interview,CAI)的應(yīng)用產(chǎn)生了一類傳統(tǒng)紙筆調(diào)查方法無法采集到的并行數(shù)據(jù),該類數(shù)據(jù)對于調(diào)查實施的監(jiān)控、調(diào)查質(zhì)量的提高和調(diào)查方法的改進起到了非常重要的作用。文章著重分析并行數(shù)據(jù)的類型、采集方法及其在調(diào)查質(zhì)量管理中的作用。

并行數(shù)據(jù);計算機輔助調(diào)查;調(diào)查質(zhì)量管理

0 引言

并行數(shù)據(jù)在國外調(diào)查領(lǐng)域的研究和應(yīng)用已經(jīng)有數(shù)十年的歷史,并越來越受到研究者和調(diào)查管理者的重視。隨著學者對并行數(shù)據(jù)的開發(fā)和挖掘,許多有價值的研究結(jié)果已被應(yīng)用到社會調(diào)查質(zhì)量管理中,如使用訪員觀察記錄評估由于拒訪造成的數(shù)據(jù)誤差[1],使用網(wǎng)絡(luò)調(diào)查客戶端設(shè)計收集的并行數(shù)據(jù)研究頁面設(shè)計對受訪者回答問題方式的影響[2];在調(diào)查過程中利用并行數(shù)據(jù)對拒訪行為進行研究并動態(tài)調(diào)整調(diào)查策略,提高調(diào)查覆蓋人群的人口學代表性[3];利用并行數(shù)據(jù)研究并預(yù)測訪問聯(lián)系的最佳時間以提高應(yīng)答率[4,5]。研究表明,并行數(shù)據(jù)的采集和應(yīng)用對于調(diào)查過程中數(shù)據(jù)質(zhì)量的監(jiān)控、調(diào)查策略的及時調(diào)整、以及數(shù)據(jù)質(zhì)量的科學評估和誤差的有效校正具有非常重要的作用。

近年來,國內(nèi)政府相關(guān)部門和學術(shù)調(diào)查研究機構(gòu)積極探索與國際調(diào)查先進水平接軌的途徑,開始在大型調(diào)查中引進國外成熟的計算機輔助調(diào)查技術(shù)并結(jié)合國內(nèi)調(diào)查特點進行自主研發(fā),成功進行了多個全國規(guī)模的大樣本計算機輔助入戶面訪調(diào)查。如“中國家庭動態(tài)跟蹤調(diào)查(以下簡稱CFPS)”,“中國健康與養(yǎng)老追蹤調(diào)查”(CHARLS),“中國家庭金融調(diào)查”(CHFS)等。

并行數(shù)據(jù)伴隨著問卷數(shù)據(jù)采集的過程而產(chǎn)生,此類數(shù)據(jù)的應(yīng)用促進了調(diào)查管理方法的改進,對調(diào)查效率和數(shù)據(jù)質(zhì)量的改善產(chǎn)生了較為重要的影響。近年來,隨著學者對并行數(shù)據(jù)的開發(fā)和挖掘,越來越多的研究結(jié)果被應(yīng)用到調(diào)查質(zhì)量的評估和改善中。本文將以采用計算機輔助面訪模式的全國大型跟蹤調(diào)查CFPS為例,對CAPI模式中并行數(shù)據(jù)的采集及其對調(diào)查質(zhì)量的改善作用進行分析,以期對此類數(shù)據(jù)在調(diào)查領(lǐng)域的推廣和潛在價值開發(fā)做初步探討。

CFPS項目是中國首個在家庭、個人和社區(qū)三個層面上收集數(shù)據(jù)的長期跟蹤調(diào)查項目,也是國內(nèi)首個使用計算機輔助調(diào)查系統(tǒng)進行全國規(guī)模大樣本調(diào)查項目,在數(shù)據(jù)調(diào)查領(lǐng)域具有重要地位。在獲得大量問卷數(shù)據(jù)的同時,CFPS自2009年開始設(shè)計并收集了豐富的并行數(shù)據(jù),已經(jīng)逐步在調(diào)查質(zhì)量管理中進行應(yīng)用。CFPS設(shè)計并采集的并行數(shù)據(jù)類型主要包括:(1)聯(lián)系和觀察數(shù)據(jù);(2)訪問過程中的錄音文件數(shù)據(jù);(3)鍵盤操作痕跡數(shù)據(jù); (4)訪問場景控制數(shù)據(jù);(5)整份問卷訪問時長和每題訪問時長數(shù)據(jù)。本文將就這五種并行數(shù)據(jù)在調(diào)查數(shù)據(jù)質(zhì)量改善和提高方面發(fā)揮的應(yīng)用進行詳細分析。

1 聯(lián)系和觀察數(shù)據(jù)

聯(lián)系數(shù)據(jù)的內(nèi)容涉及到聯(lián)系方式、聯(lián)系時間和聯(lián)系結(jié)果三方面,聯(lián)系數(shù)據(jù)的采集大都設(shè)計在調(diào)查問卷開始之前以及問卷中斷時。根據(jù)CFPS項目設(shè)計要求,訪員會將每次與受訪者聯(lián)系的方式(如面訪、電訪、信件溝通)、聯(lián)系時間(精確到年、月、日、分鐘)以及聯(lián)系結(jié)果在計算機訪問系統(tǒng)中作登記。聯(lián)系結(jié)果的記錄是采用選擇一系列聯(lián)系結(jié)果代碼的方式進行,如未聯(lián)系到受訪者(包括敲門/按門鈴無人應(yīng)答、無法進入單元樓/小區(qū)、無法通過電話取得聯(lián)系等),聯(lián)系到受訪者(包括預(yù)約訪問時間、拒訪、受訪者身體原因無法訪問等),以及最終聯(lián)系結(jié)果代碼選擇。在子代碼下還可以進行下一級信息選擇和填寫,如約訪時間選擇、拒訪原因選擇等。通過此類數(shù)據(jù)的采集,可以在兩個方面對調(diào)查管理和數(shù)據(jù)質(zhì)量起到改善作用:

(1)通過與受訪者聯(lián)系方式、時間和結(jié)果數(shù)據(jù)分析,可以研究聯(lián)系方式和時間段對應(yīng)答率的影響,并可以進一步跟受訪者城鄉(xiāng)、年齡、性別屬性做相關(guān)分析,獲得針對不同人群的最佳聯(lián)系方式和聯(lián)系時間段的分析結(jié)果,對訪員的聯(lián)系行為進行指導(dǎo),提高接觸率和應(yīng)答率。

(2)通過聯(lián)系結(jié)果的記錄和實時回傳,可以及時對受訪者接受訪問的意愿進行干預(yù),如給不同類型的拒訪者寄送項目宣傳冊、基于項目數(shù)據(jù)的出版物、禮品等,對受訪者拒訪的意愿進行逆轉(zhuǎn),降低拒訪率。此外,在訪問過程中中斷的問卷,通過插入聯(lián)系記錄,可以幫助項目管理者了解中斷的原因,并指導(dǎo)訪員采取恰當?shù)拇胧├^續(xù)完成訪問。

(3)通過對聯(lián)系結(jié)果的實時分析,可以全面了解訪員在工作現(xiàn)場接觸樣本的情況和努力程度,幫助項目管理者及時對訪員的行為進行指導(dǎo),促使訪員更有效的接觸并勸說受訪者接受訪問。

除了聯(lián)系記錄外,在訪問過程中還可以采集觀察數(shù)據(jù),觀察內(nèi)容包括受訪者社區(qū)環(huán)境、家庭環(huán)境、受訪者參與訪問的興趣、理解能力和配合程度、受訪者對調(diào)查的疑慮和回答可信性等方面。通過此類并行數(shù)據(jù)的采集和分析,可以了解受訪者參與調(diào)查的態(tài)度并對問卷數(shù)據(jù)的可信性進行評估。

2 訪問過程中的錄音數(shù)據(jù)

在計算機輔助的調(diào)查中,可以非常方便的在系統(tǒng)中嵌入錄音程序,隨著技術(shù)的不斷升級改進,在CFPS項目訪問系統(tǒng)中還能夠?qū)崿F(xiàn)定題錄音和定題回放。在訪問過程中,在征得受訪者同意并請受訪者簽署知情同意書后,可以開啟計算機錄音程序并獲得清晰的錄音文件。錄音數(shù)據(jù)的采集和利用對于調(diào)查質(zhì)量的改進及評估研究非常重要,主要在四個方面發(fā)揮作用:

(1)監(jiān)測訪員的臆答行為。臆答行為是指訪員在訪問過程中有意不提問某些題目而自行填答的訪問行為。這種在調(diào)查過程中普遍存在的作弊問題在傳統(tǒng)紙筆調(diào)查中很難被發(fā)現(xiàn),在CAPI模式下,通過對錄音數(shù)據(jù)進行及時核查可以監(jiān)測到訪員的臆答行為并進行針對性的干預(yù),改進訪問數(shù)據(jù)質(zhì)量。研究結(jié)果顯示,根據(jù)并行數(shù)據(jù)分析結(jié)果對訪員進行干預(yù)后,臆答問卷的比例會顯著降低[6]。此外,還可以分析臆答發(fā)生的題目特征,對于問卷題目設(shè)計的改進起到參考作用。

(2)監(jiān)測訪員的誘導(dǎo)訪問行為。為了節(jié)省訪問時間、不引起受訪者反感或因為訪員對題目理解不清,訪員在訪問過程中會發(fā)生扭曲題意、簡化題意或催促受訪者快速作出回答的各種誘導(dǎo)訪問行為。通過錄音文件的回放和并行數(shù)據(jù)分析,能夠發(fā)現(xiàn)訪員發(fā)生誘導(dǎo)行為的程度、研究誘導(dǎo)行為對數(shù)據(jù)質(zhì)量的影響并對此類行為進行及時干預(yù)。

(3)監(jiān)測訪員的捷徑跳轉(zhuǎn)行為。在訪員對問卷有足夠的熟悉程度之后,會發(fā)生在關(guān)鍵跳轉(zhuǎn)題目上的故意漏問、錯誤記錄答案及誘導(dǎo)行為,以達到跳走大量題目,快速完成問卷的目的。通過錄音文件的監(jiān)聽和并行數(shù)據(jù)分析,可以及時發(fā)現(xiàn)訪員的此類行為并進行干預(yù),同時對調(diào)查數(shù)據(jù)的質(zhì)量進行評估和修正。

(4)錄音率數(shù)據(jù)。訪員是否努力勸說受訪者接受錄音、訪員的問卷平均錄音率、各初級抽樣4位的整體錄音率等數(shù)據(jù)的分析,能夠較為客觀的反映訪員訪問的認真程度和采集問卷數(shù)據(jù)的真實性。在跟蹤調(diào)查中,還可以比較分析不同訪員在同一抽樣單位的錄音率差異,發(fā)現(xiàn)因訪員因素造成的數(shù)據(jù)質(zhì)量問題。

3 操作痕跡數(shù)據(jù)

在傳統(tǒng)紙筆調(diào)查中,是采用將問卷中涉及到的專有名詞、關(guān)鍵概念或術(shù)語的解釋印制成訪員使用手冊的方式,供訪員在訪問中查看。但在實際訪問過程中,在訪員手冊中查找某一名詞解釋非常浪費時間,也容易引起受訪者的反感和不信任感。事實上,由于操作的不方便性造成很多訪員并不會在訪問中使用此類手冊。在CAPI系統(tǒng)中,可以在需要術(shù)語/概念解釋的頁面加入F1鍵并進行標識,在調(diào)查過程中,訪員可以非常便捷地通過按F1鍵打開定義描述的小對話框獲得相關(guān)信息并對受訪者做出正確的解釋。在CAPI系統(tǒng)中,訪員是否調(diào)用F1訪問幫助以及調(diào)用的頻率等相關(guān)數(shù)據(jù)可以通過鍵盤回放的方式獲得。此類數(shù)據(jù)的采集和研究,一方面可以幫助調(diào)查管理者考察訪員訪問的認真程度,掌握F1調(diào)用頻率隨調(diào)查問卷份數(shù)增加而減少的一般趨勢,并進一步對數(shù)據(jù)質(zhì)量進行評估。另一方面,從問卷設(shè)計的角度看,F1被使用的頻率、借助F1是否可以增加受訪者對題意的理解,能夠從一定程度上反映問卷題目設(shè)計的科學性和易操作性,有助于問卷設(shè)計和F1設(shè)計的改善。此外,結(jié)合錄音數(shù)據(jù),能夠判斷訪員是否能在不借助于F1的情況下對專有名詞和術(shù)語進行恰當?shù)慕忉?以此判斷培訓(xùn)效果并針對性的對培訓(xùn)課程進行改進。

除F1外,CAPI系統(tǒng)中可以通過鍵盤回放手段獲取的另外一個操作痕跡數(shù)據(jù)是提示性校驗(SoftCheck)和強制性校驗(Hard Check)的使用頻率和方式。“提示性校驗”的主要目的是對訪員錄入的異常值進行提醒性的檢驗,如受訪者家庭住址距離公交車站的距離超過100公里,系統(tǒng)會根據(jù)答案值域的事先設(shè)計跳出對話框?qū)υL員的錄入進行提醒,訪員可以選擇強制通過檢驗進入下一題,或者回到原題對錯誤的錄入進行修改?！皬娭菩孕ｒ灐钡闹饕康膭t是對常識性錯誤答案或前后題目填答邏輯不一致的答案進行提示,如CFPS家庭問卷中詢問“您過去一年住院總共住了多少天”,如果輸入400,系統(tǒng)會跳出強制性校驗對話框,在該種校驗?zāi)Ｊ较?訪員必須要對錄入的答案進行修改才能跳至下一題。通過鍵盤回放對兩類校驗出現(xiàn)的頻率和訪員操作痕跡數(shù)據(jù)的采集和研究,可以對校驗手段對修正錯誤數(shù)據(jù)、改善數(shù)據(jù)質(zhì)量的作用進行評估并對校驗設(shè)計改進。從CFPS的調(diào)查經(jīng)驗來看,過多的校驗設(shè)計會引起訪員操作的不便,在訪員熟悉問卷流程之后,提示性校驗較容易被訪員習慣性地強制跳過,無法達到提醒訪員修改錯誤的目的。但如果不做校驗設(shè)計或校驗設(shè)計不足,又會導(dǎo)致過多邏輯錯誤或常識錯誤的出現(xiàn)。因此,充分利用和挖掘操作痕跡數(shù)據(jù),在必要的題目上設(shè)計合理的校驗提示類型和內(nèi)容,對調(diào)查數(shù)據(jù)質(zhì)量的提高和改善將有重要價值。

4 訪問場景控制數(shù)據(jù)

在面訪調(diào)查中,應(yīng)答率的下降已經(jīng)成為各類調(diào)查機構(gòu)普遍面臨的問題。如果無回答是在非隨機情況下發(fā)生的,會導(dǎo)致誤差產(chǎn)生并削弱調(diào)查數(shù)據(jù)的質(zhì)量。如何通過各種方式減少無回答或者調(diào)查結(jié)束后進行無回答誤差修正越來越成為調(diào)查研究方法領(lǐng)域內(nèi)關(guān)注的熱點。在諸多方法中,利用訪問場景控制減少無回答并對無回答誤差進行估計和調(diào)整已備受研究方法學者關(guān)注。相關(guān)的設(shè)計和研究在大型調(diào)查中實施和討論,如歐洲社會調(diào)查(European Social Survey,ESS)、全國健康訪問調(diào)查(National Health Interview Survey,NHIS),美國家庭成長的全國調(diào)查(National Survey of Family Growth,NSFG)等。通過對此類輔助性的并行數(shù)據(jù)的采集,可以從兩個方面對訪問質(zhì)量的提高起到重要作用:(1)分析訪問場景對受訪者回答敏感題、困難題、態(tài)度題的影響,研究提高問題應(yīng)答率的方式方法;(2)使用訪問場景控制數(shù)據(jù)對無回答誤差進行估計和修正。

2010年CFPS全國初訪調(diào)查中在所有問卷中設(shè)計了訪員觀察題目,這些題目包括對村居環(huán)境、受訪者狀態(tài)和對調(diào)查的態(tài)度、訪問時在場他人的觀察。在此基礎(chǔ)上, 2011年的跟蹤調(diào)查進一步在問卷設(shè)計上做了改進,增加了無回答率較高的敏感題、困難題、態(tài)度題的情境類觀察,如他人在場、訪問地點、訪問時機、回答真實性判斷等。對該部分的并行數(shù)據(jù)分析結(jié)果顯示,訪問過程中的他人在場會導(dǎo)致受訪者在敏感題目上會有更多的無回答。在開放場所中,受訪者在敏感題目上會有更多的無回答,說明公共場所會增加受訪者對此類題目的敏感性。因此,在敏感題、態(tài)度題和困難題的訪問過程中,應(yīng)盡量避免他人在場,避免在不適合的場所,以減少訪問環(huán)境壓力對訪問結(jié)果的影響,提高應(yīng)答率。此外,除了有效控制訪問物理環(huán)境外,應(yīng)該構(gòu)建適合的訪問軟環(huán)境,如對受訪者的回答狀態(tài)進行敏銳觀察,對于訪問時機不合適導(dǎo)致受訪者產(chǎn)生不耐煩情緒的要及時結(jié)束調(diào)查另約訪問時間。同時,應(yīng)通過訪問技巧提高其對調(diào)查的興趣,減少其對訪問的疑慮,并選擇合適的訪問時機。同時,對訪員的甄選應(yīng)該更加嚴格,挑選能夠有效控制訪問環(huán)境、可以引導(dǎo)受訪者在適當?shù)姆諊陆邮茉L問并給予訪問配合的訪員,以提高回答率。

通過對訪員觀察數(shù)據(jù)和訪問數(shù)據(jù)的關(guān)聯(lián)性分析,能夠深入了解訪問情境對受訪者接受訪問意愿以及回答敏感題、困難題、態(tài)度題意愿的影響,并通過改進訪問策略提高訪問質(zhì)量和數(shù)據(jù)質(zhì)量。

5 訪問時長數(shù)據(jù)

在CAPI模式中,計算機能夠記錄每份問卷開始的時間、問卷中斷的時間以及問卷結(jié)束的時間。除此之外,計算機系統(tǒng)還能記錄訪員在每一個問題上停留的時間,由此獲得的并行數(shù)據(jù)在CFPS項目中被稱為TIEQ(Time of each questions)[7]。在執(zhí)行過程中,通過事先編制的程序,調(diào)查管理者可以每天看到訪員的采訪時長和TIEQ數(shù)據(jù),該兩類并行數(shù)據(jù)的采集,對于評估數(shù)據(jù)質(zhì)量,改進問卷設(shè)計,及時干預(yù)訪問行為將起到非常重要的作用:

(1)通過計算每位訪員整份問卷的平均采訪時長與所有訪員的采訪時長數(shù)據(jù)的差值,可以及時發(fā)現(xiàn)某些訪員可能存在的作弊行為,在進一步通過電話核查或錄音核查進行驗證后,給予相關(guān)訪員相應(yīng)的干預(yù)措施,保證調(diào)查質(zhì)量。此外,通過分析問卷整體時長隨著調(diào)查問卷份數(shù)增加而減少的趨勢,并參考質(zhì)量核查數(shù)據(jù),可以研究訪員熟練程度對調(diào)查時長和調(diào)查質(zhì)量的影響,并制定有效的執(zhí)行管理方案和重要節(jié)點干預(yù)方案,提高數(shù)據(jù)調(diào)查質(zhì)量。

(2)TIEQ數(shù)據(jù)核查在CFPS項目中被設(shè)計為所有核查的起點,即所有問卷都要先進入TIEQ核查程序,由于TIEQ核查對問題問卷具有非常高的敏感性,能夠準確的判斷訪員臆答和提問不規(guī)范、不完整等作弊行為,這對于問題問卷的有效篩選和核查效率的提高,有非常大的幫助。

(3)通過TIEQ數(shù)據(jù)的分析,可以篩選出問卷中耗時時間最長和最短的題目,對該類題目進行分析,通常能夠發(fā)現(xiàn)問卷設(shè)計的問題,這對于研究者及時改進問題提問方式,獲得更高質(zhì)量的數(shù)據(jù)有重要價值。

從某種程度上,時長并行數(shù)據(jù)是監(jiān)測訪員行為最有效的、最敏感的工具。尤其是TIEQ數(shù)據(jù),能夠非常直觀地發(fā)現(xiàn)訪員易產(chǎn)生臆答、虛假訪問、捷徑跳轉(zhuǎn)的問題題目,并進行有效的干預(yù)。從另一方面看,分析大多數(shù)訪員易發(fā)生TIEQ問題的題目,可以反映問卷設(shè)計和調(diào)查執(zhí)行設(shè)計中存在的問題,并對問卷相關(guān)題目和執(zhí)行流程設(shè)計進行針對性的改善。

6 結(jié)語

數(shù)據(jù)質(zhì)量是調(diào)查數(shù)據(jù)的生命線,如何提高數(shù)據(jù)質(zhì)量,如何對調(diào)查數(shù)據(jù)質(zhì)量進行評估成為調(diào)查領(lǐng)域關(guān)心的熱點問題。在計算機輔助的調(diào)查中,先進科學技術(shù)的應(yīng)用使得并行數(shù)據(jù)的采集成為可能。從CFPS項目的全國調(diào)查經(jīng)驗看,對并行數(shù)據(jù)的及時分析和有效利用能夠在調(diào)查執(zhí)行流程各環(huán)節(jié)對調(diào)查質(zhì)量的改善起到積極的作用,也能夠?qū)υ擁椖肯乱徊ǜ櫿{(diào)查或其他項目調(diào)查的問卷設(shè)計、調(diào)查方案設(shè)計、核查方案設(shè)計等方面提供有效的改進建議。

在充分挖掘現(xiàn)有并行數(shù)據(jù)使用價值的基礎(chǔ)上,應(yīng)該根據(jù)各類調(diào)查項目的共性,并結(jié)合不同調(diào)查項目的獨特特性對并行數(shù)據(jù)采集的類型和方式進行整合設(shè)計,以更好地發(fā)揮并行數(shù)據(jù)在評估和改善調(diào)查數(shù)據(jù)質(zhì)量以及提高調(diào)查管理水平方面的重要作用。

[1]Groves R M,Couper M.Non一Response in Household Interview Surveys.New york.1998.

[2]Stern M.J.The Use of Client一side Paradata in Analyzing the Effects of v isual Layouton Changing Responses inw eb Surveys.Field Methods,2008,20(4).

[3]Axinn w G,Link CF,&Groves RM.Responsive Survey Design,Demographic Data Collection,and Models of Demographic Behavior[J]. Demography,2011,48.

[4]Durrant GB,D'Arrigo J,Steele F.Using Paradata to Predict Best Times of Contact,Conditioning on Household and Interviewer Influences[J].Journal of the Royal Statistical Society.Series A,Statistics in Society,2011,174,1029.

[5]Oliver L.A Note on Improving Contact Times in Panel Surveys[J]. Field Methods,2012,24(1).

[6]嚴潔,邱澤奇,任莉穎,丁華,孫妍.社會調(diào)查質(zhì)量研究:訪員臆答與干預(yù)效果[J].社會學研究,2012,2.

[7]李力,丁華,任莉穎,孫玉環(huán).淺談計算機輔助調(diào)查中采訪用時數(shù)據(jù)的利用[J].中國統(tǒng)計,2012,9.

(責任編輯/易永生)

O212

A

1002-6487(2016)20-0032-03

教育部人文社科基金資助項目(13y JC840006)

丁華(1979—),女,山東日照人,博士,副研究員,研究方向:社會調(diào)查研究方法。任莉穎(1973—),女,河北三河人,博士,副研究員,研究方向:社會調(diào)查方法與數(shù)據(jù)挖掘。嚴潔(1973—),女,吉林通化人,博士,副教授,研究方向:社會調(diào)查方法與數(shù)據(jù)挖掘。