金勇進(jìn)，劉曉宇

(中國人民大學(xué) a.應(yīng)用統(tǒng)計科學(xué)研究中心；b.統(tǒng)計學(xué)院；c.調(diào)查技術(shù)研究所，北京 100872)

一、引言

在抽樣調(diào)查中，出于現(xiàn)實條件的限制，難免會產(chǎn)生一定數(shù)量的無回答。調(diào)查中的無回答是指由于種種原因沒有能夠?qū)Ρ怀槌龅臉颖締卧M(jìn)行計量，從而沒有獲得有關(guān)這些單元的數(shù)據(jù)。無回答是造成缺失數(shù)據(jù)的基本原因，它不僅使有效樣本量減少、樣本信息難以真實反映總體情況，還導(dǎo)致估計量有偏且方差增大，從而影響了統(tǒng)計數(shù)據(jù)質(zhì)量。

在不同的缺失數(shù)據(jù)機制下，回答單元與無回答單元之間的相似程度和相互關(guān)系不同，需根據(jù)不同情況選擇相應(yīng)的處理方法。Rubin將缺失數(shù)據(jù)機制分為完全隨機缺失、隨機缺失和非隨機缺失，可忽略的無回答機制對應(yīng)的缺失數(shù)據(jù)機制為完全隨機缺失和隨機缺失，目標(biāo)變量y是否作答與缺失的y值無關(guān)；不可忽略的無回答機制對應(yīng)的缺失數(shù)據(jù)機制為非隨機缺失，目標(biāo)變量y是否作答與y值有關(guān)，無論其是否被觀測到[1]。當(dāng)缺失數(shù)據(jù)是完全隨機缺失時，可直接利用觀測數(shù)據(jù)進(jìn)行推斷，文中不予討論，后文提及的可忽略缺失數(shù)據(jù)機制僅指隨機缺失。

已有研究多在可忽略的缺失數(shù)據(jù)機制假定下討論，通常以插補法和加權(quán)法為基礎(chǔ)[2]。插補法根據(jù)觀測數(shù)據(jù)構(gòu)造預(yù)測分布，再根據(jù)插補值對完整數(shù)據(jù)集進(jìn)行分析，其效果取決于預(yù)測分布的擬合情況。加權(quán)法通過增大回答樣本的權(quán)數(shù)以代表無回答樣本，其效果取決于對回答概率的估計優(yōu)劣。對可忽略的缺失數(shù)據(jù)機制的討論很有必要，但不夠完整，忽略了現(xiàn)實中更一般的“不可忽略的無回答”，此時基于隨機缺失假定的處理方法不再適用。對于不可忽略的無回答機制，現(xiàn)有研究較少，主要基于模型進(jìn)行，將缺失數(shù)據(jù)的條件分布轉(zhuǎn)化為完整數(shù)據(jù)和響應(yīng)模型的乘積[3]，此類方法的缺陷主要表現(xiàn)在以下兩方面，一是該方法屬于參數(shù)方法，模型假設(shè)較強、對模型的錯誤識別非常敏感；二是由于數(shù)據(jù)缺失，無法評估模型的好壞、驗證模型是否適用。

隨著抽樣調(diào)查的發(fā)展，輔助信息起著愈發(fā)重要的作用[4]。校準(zhǔn)法就是一種系統(tǒng)利用輔助信息進(jìn)行權(quán)數(shù)調(diào)整的方法，最早由Deville和S?rndal提出，校準(zhǔn)估計量具有漸進(jìn)無偏性和設(shè)計一致性[5-6]。Lundstr?m和S?rndal首先將校準(zhǔn)法用于無回答問題[7]。金勇進(jìn)等人對項目無回答問題中的校準(zhǔn)估計進(jìn)行了研究。已有研究表明，校準(zhǔn)法不僅可以減小估計標(biāo)準(zhǔn)誤，還可以校正由樣本無回答、抽樣框覆蓋不全或重復(fù)而導(dǎo)致的誤差[8]。Oh和Scheuren提出的準(zhǔn)隨機化方法，將樣本是否回答看作概率抽樣的一個階段，并假定回答概率服從某一響應(yīng)模型，在此基礎(chǔ)上，有學(xué)者將不同形式的響應(yīng)模型用于校準(zhǔn)估計，以降低對模型識別的敏感度[9]。然而，現(xiàn)有研究并未區(qū)分缺失數(shù)據(jù)機制，缺少不可忽略的無回答機制下的針對性研究。

本文聚焦不可忽略機制下的無回答，基本思路是將校準(zhǔn)法和響應(yīng)模型結(jié)合，在保持校準(zhǔn)估計量優(yōu)良性質(zhì)的基礎(chǔ)上，解決前文提出的現(xiàn)有無回答處理方法所存在的問題，該方法稱為RGRG法。本文的創(chuàng)新之處在于統(tǒng)一理論和應(yīng)用，理論方面：從模型形式上直觀體現(xiàn)無回答機制的不可忽略性；應(yīng)用方面：在實證分析中直接利用目標(biāo)變量進(jìn)行響應(yīng)模型的建模。研究表明，RGRG法規(guī)避了已有方法的不足，解決了不可忽略的無回答機制下的權(quán)數(shù)調(diào)整和估計問題，同時放松了對模型識別和模型假設(shè)的要求。

二、模型校準(zhǔn)法與準(zhǔn)隨機化的響應(yīng)模型

模型校準(zhǔn)法利用超總體模型刻畫總體分布，根據(jù)輔助信息調(diào)整權(quán)數(shù)。準(zhǔn)隨機化方法的響應(yīng)模型是根據(jù)對單元回答概率的估計調(diào)整權(quán)數(shù)。二者均可用于權(quán)數(shù)的調(diào)整，將其結(jié)合，響應(yīng)模型可以體現(xiàn)缺失數(shù)據(jù)機制，校準(zhǔn)法作為估計途徑，可以保證估計量的優(yōu)良性質(zhì)。

(一)基于模型的校準(zhǔn)法

假設(shè)已知樣本單元p維輔助變量xk(k∈S)和p維工具向量zk(k∈S)、已知輔助變量xk的總體總值Tx。根據(jù)變量x建立校準(zhǔn)方程為：

線性超總體模型由式(1)、(2)、(3)組成：

(1)

E{εk|(xj，zj；j∈U}=0

(2)

f(yk|[xj，zj，Ij；j∈U])

=f(yk|[xj，zj；j∈U])(k∈U)

(3)

(二)準(zhǔn)隨機化方法下的響應(yīng)模型

準(zhǔn)隨機化方法最早由Oh和Scheuren提出，它在抽樣設(shè)計原有隨機性基礎(chǔ)上，將樣本單元是否作答看作概率抽樣的一個階段，增加了一層隨機性[9]。用示性變量體現(xiàn)這兩部分隨機性，令I(lǐng)j=IjsIjr，若單元j在原始樣本中，則Ijs=1，否則為0；若單元j作答，則Ijr=1，否則為0。單元的入樣情況和回答情況相獨立，即Ijs和Ijr關(guān)于j獨立。準(zhǔn)隨機化的方法下的響應(yīng)模型為：

pk=Pr(Ikr=1|[xj，zj，Ijs；j∈U]，

(4)

其中γ是未知參數(shù)，h(η)是一個單調(diào)、二階可微函數(shù)。響應(yīng)模型刻畫了第k個單元回答的概率，其中函數(shù)h(η)可采取不同形式，如h(η)=1+η、h(η)=1+exp(-η)、h(η)=exp(η)等。Folsom和Singh對不同函數(shù)h(η)進(jìn)行了總結(jié)[13]。

(三)模型校準(zhǔn)法與準(zhǔn)隨機化響應(yīng)模型的結(jié)合

通過校準(zhǔn)法可實現(xiàn)對響應(yīng)模型的參數(shù)估計，校準(zhǔn)方程對參數(shù)g加以限制，通過超總體模型尋得最優(yōu)參數(shù)，最后根據(jù)響應(yīng)模型調(diào)整權(quán)數(shù)。

在超總體模型(1)、(2)、(3)基礎(chǔ)上，結(jié)合響應(yīng)模型(4)進(jìn)行校準(zhǔn)，校準(zhǔn)方程為：

(5)

超總體模型下可得到目標(biāo)變量總值Ty的無偏估計，響應(yīng)模型下的校準(zhǔn)估計是Ty的一致估計。兩個模型只要有一個成立即可得到Ty的良好估計，這就是校準(zhǔn)估計對無回答的雙重保護(hù)機制。

三、RGRG法：不可忽略的無回答機制下的處理方法

前文將模型校準(zhǔn)法與準(zhǔn)隨機化的響應(yīng)模型相結(jié)合，用于無回答情況下的權(quán)數(shù)調(diào)整和參數(shù)估計，但并未區(qū)分無回答機制?，F(xiàn)在對前述模型進(jìn)行適當(dāng)修改，以區(qū)分不同類型的缺失數(shù)據(jù)機制，由此得到RGRG法。此部分主要對RGRG法的模型假設(shè)、模型形式和估計量性質(zhì)進(jìn)行分析。

為區(qū)分不同協(xié)變量的用途，我們稱用于響應(yīng)模型建模的協(xié)變量為模型變量，用于構(gòu)建校準(zhǔn)方程的變量為背景變量。校準(zhǔn)法要求已知樣本單元的背景變量和背景變量的總體總值，響應(yīng)模型要求已知回答者的模型變量。在進(jìn)行不可忽略無回答機制下的權(quán)數(shù)校準(zhǔn)時，根據(jù)不同變量的用途可知，目標(biāo)變量本身也可以作為模型變量，即變量y可以作為變量z的一部分，因為它對于回答者而言是已知的。

(一)模型推導(dǎo)

回顧線性超總體模型(1)、(2)、(3)，為便于分析再次列出：

(6)

E{εk|(xj，zj；j∈U}=0

(7)

f(yk|[xj，zj，Ij；j∈U])

=f(yk|[xj，zj；j∈U])(k∈U)

(8)

模型在給定變量x、z的情況下，樣本選擇機制和回答機制可忽略，只有控制了變量x、z才能利用超總體模型進(jìn)行分析?，F(xiàn)有模型無法體現(xiàn)非隨機的數(shù)據(jù)缺失機制：在公式(8)的作用下，對于單元k∈S和k?S均有公式(6)、(7)成立，回答樣本和無回答樣本的目標(biāo)變量y分布相同。對于不可忽略機制下的無回答，回答機制與目標(biāo)變量y有關(guān)，選擇機制卻沒有這樣的相關(guān)關(guān)系。因此，需對式(7)、式(8)進(jìn)行修改。

首先將式(7)簡化為E{εk|(xj；j∈U)}=0，再將式(8)變?yōu)閒(yk|[zj，Ij；j∈U])=f(yk|[zj；j∈U])。修改后的模型假定回答機制關(guān)于變量z可忽略，對于誤差項而言，有E{εk|(xj；j∈U)}=0成立，此時E{εk|(xj，Ij；j∈U)}=0不一定成立，也就是說，樣本中回答者與無回答者的目標(biāo)變量分布不一定相同，無回答機制可以是不可忽略的。至此，經(jīng)過對式(7)、(8)的修改，為不可忽略的無回答機制下的分析提供了可能。由此得到的RGRG法，完整模型由式(9)、(10)、(11)組成：

假定目標(biāo)變量y與協(xié)變量x的關(guān)系為：

(9)

E{εk|(xj；j∈U)}=0

(10)

f(yk|[zj，Ij；j∈U])=f(yk|[zj；j∈U])

(11)

假定單元k的回答概率為如下響應(yīng)模型：

pk=Pr(Ikr=1|[xj，zj，Ijs；j∈U]，

校準(zhǔn)方程為：

(13)

其中示性變量Ij=IjsIjr，Ijs表示單元j的入樣情況，Ijr表示單元j是否作答；γ是未知參數(shù)，估計值為g；h(η)是一個單調(diào)、二階可微函數(shù)。

根據(jù)Kott的研究，估計量方差的漸進(jìn)無偏估計為[6]：

(14)

(二)模型擴展

考慮模型(9)、(10)、(11)的另一種表達(dá)形式，將其轉(zhuǎn)化為式(15)、(16)構(gòu)成的模型。假設(shè)目標(biāo)變量y與模型變量z具有線性關(guān)系，背景變量x可以通過多元測量誤差模型擬合：

(15)

(16)

前述分析均假定背景變量x的維數(shù)p和模型變量z的維數(shù)q相同，而二者的功能不同，如何取消維數(shù)限制仍缺乏研究[15]。Chang和Kott對q

(三)方法評價

RGRG法在非隨機缺失機制下，將校準(zhǔn)法與響應(yīng)模型相結(jié)合，校準(zhǔn)法在超總體模型的假定下進(jìn)行，旨在估計響應(yīng)模型的參數(shù)。響應(yīng)模型在準(zhǔn)隨機化方法下進(jìn)行，用于設(shè)計權(quán)數(shù)的調(diào)整。校準(zhǔn)法可以根據(jù)輔助變量調(diào)整權(quán)數(shù)，為每個設(shè)計權(quán)數(shù)生成一個調(diào)整因子，當(dāng)調(diào)查中出現(xiàn)的無回答不可忽略時，權(quán)數(shù)調(diào)整因子可以隱式估計在假定的響應(yīng)模型下每個單元回答概率的倒數(shù)。因此，校準(zhǔn)加權(quán)可以消除或大大減少無回答偏差。假定目標(biāo)變量與校準(zhǔn)變量具有線性關(guān)系，并且不受樣本選擇機制和回答機制的影響，那么無論響應(yīng)模型是否成立，目標(biāo)變量的校準(zhǔn)估計都是總體參數(shù)的優(yōu)良估計。

RGRG法為不可忽略無回答機制下的權(quán)數(shù)調(diào)整與總體估計提供了有效途徑，估計量具有良好的統(tǒng)計性質(zhì)，是漸進(jìn)無偏和漸近一致的。同時，RGRG法對無回答具有雙重保護(hù)作用，模型假設(shè)較簡單，并降低了對模型識別的敏感度。

四、實證研究

(一)數(shù)據(jù)來源與整理

本文采用2015年CGSS(China General Social Survey)調(diào)查數(shù)據(jù)，進(jìn)行不可忽略的無回答機制下的校準(zhǔn)研究。CGSS調(diào)查始于2003年，是中國最早的全國性、綜合性、連續(xù)性學(xué)術(shù)調(diào)查項目，全面收集了社會、社區(qū)、家庭、個人多個層次的數(shù)據(jù)，由中國人民大學(xué)調(diào)查與數(shù)據(jù)中心組織實施。調(diào)查的目標(biāo)總體范圍涵蓋了全國31個省份(不含港澳臺)的所有城市、農(nóng)村家庭戶，并通過分層三階段抽樣的方式獲取了全國層面的代表性樣本。

由于收入屬于個人隱私問題，在面訪調(diào)查中，受訪者可能由于自身收入水平導(dǎo)致無回答情況的產(chǎn)生，故個人年收入符合不可忽略機制的條件。經(jīng)濟(jì)學(xué)中的人力資本理論將勞動者收入差異主要歸結(jié)為勞動者人力資本的不同，教育水平和性別是影響人力資本的重要因素。其中，教育可以提高人的知識和技能，進(jìn)而提高生產(chǎn)能力，增加個人收入，并進(jìn)一步使個人工資和薪金結(jié)構(gòu)發(fā)生變化；在人力資本視角下，女性勞動者和雇主的雙向理性選擇，導(dǎo)致了勞動力市場普遍存在著性別收入不平等現(xiàn)象。因此，本文選取個人年收入作為目標(biāo)變量進(jìn)行均值估計，將個人年收入的均值簡稱為人均年收入，選取教育水平和性別作為輔助信息，模型構(gòu)建詳見下文。

表1 樣本構(gòu)成(n=8 675)

根據(jù)受教育程度和性別進(jìn)行交叉分類，樣本分布如表2。

表2 交叉分布：受教育程度×性別(n=8 675)

(二)無回答的構(gòu)造與模型設(shè)定

事后分層法是校準(zhǔn)法的特殊情況，進(jìn)行校準(zhǔn)的輔助變量為事后層的總體規(guī)模，是處理無回答問題的常用方法之一。為說明RGRG法在不可忽略的無回答機制下的估計優(yōu)勢，分別使用事后分層法和RGRG法進(jìn)行校準(zhǔn)估計?，F(xiàn)從以下三方面對實證過程進(jìn)行說明：無回答樣本的構(gòu)造、輔助信息的選擇和響應(yīng)模型的擬合函數(shù)選擇。

個人年收入為目標(biāo)變量，其回答情況與收入本身密切相關(guān)。假定收入越高回答率越低，無回答單元的生成方法如下：以個人年收入的上、下五分位數(shù)為截點，將樣本分為低收入、中等收入和高收入人群，設(shè)定這三類人群的無回答率為p=(0.2，0.3，0.6)，計算可知總體無回答率為0.2×0.2+0.6×0.3+0.2×0.6=0.34。為研究樣本量對RGRG法的影響，分別從原樣本(樣本量為n=8 675)中隨機抽取樣本量為0.8n、0.5n和0.3n的樣本進(jìn)行估計。

事后分層的輔助變量采用受教育程度和性別，具體信息見表2。RGRG法的背景變量采用受教育程度和性別，為說明RGRG法在模型變量選取上的優(yōu)勢，分別采用受教育程度和個人年收入、受教育程度和性別兩種組合；受教育程度分為五類、性別分為兩類、個人年收入根據(jù)人均年收入劃分為兩類。據(jù)此得到10維背景變量和10維模型變量。

不同估計方法的標(biāo)識及模型設(shè)置詳見表3。

表3 模型設(shè)置

(三)結(jié)果與分析

本文共進(jìn)行500次重復(fù)試驗，按照上文所述的構(gòu)造方式隨機生成無回答單元，在n、0.8n、0.5n和0.3n的樣本量下，分別采用事后分層法、RGRG法進(jìn)行估計。估計方法的評價準(zhǔn)則采用相對偏差、均方誤差根(RMSE)、估計均方誤差根(估計RMSE)和權(quán)效應(yīng)(deff)的平均值①，結(jié)果見表4。

表4 不同模型的估計結(jié)果

1.RGRG法與事后分層法的對比

根據(jù)表4，對比方法1和模型(1)～(4)、方法2和模型(5)～(6)、方法3和模型(7)～(8)、方法4和模型(9)～(10)，可得到事后分層法和RGRG法的相對優(yōu)劣。

以方法1和模型(1)～(4)的估計效果為例，可以看到，模型(1)～(4)的相對偏差、均方誤差根和估計均方誤差根顯著小于方法1的相對偏差、均方誤差根和估計均方誤差根，RGRG法的估計效果優(yōu)于事后分層法。其中，方法1與模型(3)～(4)的比較結(jié)論與Kott的研究結(jié)果相同，其估計效果良好，但由于其響應(yīng)模型沒有體現(xiàn)無回答機制的不可忽略性，此處僅作為歷史研究的驗證，不作詳細(xì)討論[14]。對比方法2和模型(5)～(6)、方法3與模型(7)～(8)，與方法1和模型(1)～(4)的相對優(yōu)劣相同，RGRG法的效果均明顯優(yōu)于事后分層法。對比方法4和模型(9)～(10)，當(dāng)樣本量較小時，RGRG法的偏差和估計RMSE小于方法4，但RMSE較大，RGRG法的估計優(yōu)勢并不明顯。

權(quán)效應(yīng)(deff)可以反映相同抽樣方法下權(quán)數(shù)對估計量方差的影響。根據(jù)表4可知，雖然RGRG法的權(quán)效應(yīng)與事后分層法相比較大，但均在1.5以下，從權(quán)效應(yīng)的角度考慮，根據(jù)RGRG法對設(shè)計權(quán)數(shù)進(jìn)行調(diào)整，有效控制了調(diào)整后權(quán)數(shù)的波動性、估計效果良好。

總體而言，無論模型變量如何選擇、響應(yīng)模型如何構(gòu)造，與傳統(tǒng)基于設(shè)計的事后分層法相比，RGRG法具有明顯優(yōu)勢，估計效果更優(yōu)、估計結(jié)果更精確。

2.樣本量、響應(yīng)模型對RGRG法的影響

對比模型(1)～(2)、模型(5)～(6)、模型(7)～(8)和模型(9)～(10)，可得到樣本量對RGRG法估計效果的影響。對比模型(1)與(2)、模型(3)與(4)、模型(5)與(6)、模型(7)與(8)以及模型(9)與(10)可得到不同響應(yīng)模型對RGRG法估計效果的影響。

對比模型(1)～(2)、模型(5)～(6)、模型(7)～(8)和模型(9)～(10)，當(dāng)樣本量由n(模型(1)～(2))減小到0.8n(模型((5)～(6))、再減小到0.5n時(模型(7)～(8))，RGRG法估計的相對偏差、均方誤差根、估計均方誤差根和權(quán)效應(yīng)沒有明顯變化，估計效果相當(dāng)；當(dāng)樣本量減小到0.3n時，相對偏差變化不大，但均方誤差根顯著增加，這是由于進(jìn)行模型擬合的樣本量相應(yīng)減少，從而造成了模型擬合的效果降低。綜上所述，隨著樣本量的減少，RGRG法的估計效果略微有所下降，但總體而言，無論樣本量大小如何變化，RGRG法與事后分層法相比均具有明顯優(yōu)勢。

分別將函數(shù)h1(η)下的模型(1)、(3)、(5)、(7)和模型(9)，與函數(shù)h2(η)下的模型(2)、(4)、(6)、(8)和模型(10)進(jìn)行比較，相對優(yōu)劣沒有統(tǒng)一結(jié)論，即無論響應(yīng)模型的形式如何，均能得到目標(biāo)變量的優(yōu)良估計，不同響應(yīng)模型對RGRG法估計效果的影響可以忽略。

3.結(jié)論

在不可忽略的無回答機制下，與傳統(tǒng)事后分層法相比，RGRG法具有更小的偏差、標(biāo)準(zhǔn)誤和均方誤差根，估計效果更好。RGRG法允許選擇目標(biāo)變量作為模型變量，可以更好地體現(xiàn)無回答機制的不可忽略性。該方法在不同響應(yīng)模型下的估計效果穩(wěn)定，與傳統(tǒng)方法相比仍具有明顯優(yōu)勢。樣本中無回答單元數(shù)量對RGRG法的效果有輕微影響，無回答單元數(shù)量越多，進(jìn)行模型擬合的樣本量越少，估計效果有所下降。

實證中采用的超總體模型并未很好擬合總體，一方面未考慮個人年收入的其他影響因素，另一方面可能存在其他的函數(shù)形式優(yōu)于線性模型。即便沒有采用最優(yōu)超總體模型，RGRG法仍能得到人均年收入的優(yōu)良估計。

通過RGRG法進(jìn)行總體均值估計，估計量具有漸進(jìn)無偏性和漸近一致性。該方法對不可忽略機制下的無回答情況實現(xiàn)了雙重保護(hù)，且允許超總體模型和響應(yīng)模型僅在一定程度上反映總體情況。

五、總結(jié)與討論

當(dāng)樣本存在無回答時，直接利用回答樣本進(jìn)行推斷勢必是有偏且效率低的，尤其在遇到非隨機缺失情況時，樣本是否作答與目標(biāo)變量有關(guān)，潛在的無回答偏差不容忽視。目前常用方法大多基于隨機缺失的假設(shè)，不適用于不可忽略機制下的無回答。少數(shù)非隨機缺失下的方法對模型假設(shè)和模型識別具有較強的要求，造成其在實際應(yīng)用時的效果并不理想。

本文采用2015年CGSS調(diào)查數(shù)據(jù)進(jìn)行了實證研究。結(jié)果表明，在不可忽略的無回答機制下，與傳統(tǒng)事后分層校準(zhǔn)法相比，使用RGRG法可以得到變異性更小的最終權(quán)數(shù)，有效降低了估計偏差和均方誤差根，得到的加權(quán)估計量是漸進(jìn)無偏和漸近一致的。即使響應(yīng)模型和超總體模型都沒有很好擬合總體的真實情況，RGRG法得到的估計量仍具有優(yōu)越性。

本文通過RGRG法有效解決了不可忽略無回答機制下的權(quán)數(shù)調(diào)整和目標(biāo)變量的估計問題。進(jìn)一步研究考慮在通過回答樣本推斷總體時，先將回答樣本還原到樣本全體、再還原到總體，兩種還原方法的實際效果如何需專門討論。