羅幼喜 ，李翰芳，田茂再， 鄭 列

(1.湖北工業(yè)大學(xué)理學(xué)院，湖北 武漢，430068；2.湖北工業(yè)大學(xué)產(chǎn)品質(zhì)量工程研究院，湖北 武漢，430068；3.華中師范大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)學(xué)院，湖北 武漢，430079；4.中國人民大學(xué)統(tǒng)計學(xué)院，北京，100872)

?

基于雙懲罰分位回歸的面板數(shù)據(jù)模型理論與實證研究

羅幼喜 ，李翰芳，田茂再， 鄭 列

(1.湖北工業(yè)大學(xué)理學(xué)院，湖北 武漢，430068；2.湖北工業(yè)大學(xué)產(chǎn)品質(zhì)量工程研究院，湖北 武漢，430068；3.華中師范大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)學(xué)院，湖北 武漢，430079；4.中國人民大學(xué)統(tǒng)計學(xué)院，北京，100872)

固定效應(yīng)和隨機(jī)效應(yīng)同時選擇是面板數(shù)據(jù)模型研究中的重要問題之一。本文通過分別對固定效應(yīng)和隨機(jī)效應(yīng)引入條件Laplace先驗，提出了一種新的貝葉斯雙懲罰分位回歸法。該方法不僅能對模型中重要解釋變量進(jìn)行自動選擇，而且充分考慮到個體隨機(jī)波動對解釋變量系數(shù)估計帶來的偏差。通過對方差分量的懲罰壓縮，減少了模型中未知參數(shù)的個數(shù)，提高了模型自由度。Monte Carlo模擬及實證分析顯示，所提出的方法不僅能準(zhǔn)確估計出固定效應(yīng)系數(shù)，而且能精確地捕捉到個體隨機(jī)效應(yīng)的波動。

面板數(shù)據(jù)；分位回歸；貝葉斯分析；固定效應(yīng)；隨機(jī)效應(yīng)；變量選擇；Laplace 先驗

面板數(shù)據(jù)模型是統(tǒng)計分析中應(yīng)用最廣泛的模型之一，其數(shù)據(jù)間不僅允許存在相關(guān)性，還可以帶有異方差。將個體擾動看作是隨機(jī)效應(yīng)而引入模型，提高了面板數(shù)據(jù)模型的精度和建模的靈活性。如何將分位回歸方法引入到面板數(shù)據(jù)模型研究中以克服傳統(tǒng)建模方法的不足已成為這些年來的研究熱點。Koenker[1]針對縱向數(shù)據(jù)采用了帶懲罰的分位回歸方法，即在極小化損失函數(shù)的同時對個體固定效應(yīng)實施L1范數(shù)懲罰；Farcomeni等[2]研究了縱向生存數(shù)據(jù)的分位回歸模型；Lamar-che[3]、Kato等[4]考慮了面板數(shù)據(jù)在多個分位點同時極小化檢驗函數(shù)的L1范數(shù)懲罰法，而Galvao[5]、Chernozhukov等[6]對動態(tài)面板數(shù)據(jù)模型也采用了類似的研究方法，雖然模擬顯示此方法在非正態(tài)分布情形下要優(yōu)于傳統(tǒng)的均值回歸方法，但懲罰參數(shù)難以確定是該方法的一個缺點。

隨著近幾年各領(lǐng)域高維復(fù)雜數(shù)據(jù)的出現(xiàn)，變量選擇成了面板數(shù)據(jù)建模的一個重要課題。選擇合適的預(yù)測變量子集不僅有助于提高模型精度，也能夠在實際問題中獲得更好的解釋，所以如何同時估計和選擇重要的固定效應(yīng)和隨機(jī)效應(yīng)是面板數(shù)據(jù)模型研究的熱門和難點問題。常見方法是假定隨機(jī)效應(yīng)結(jié)構(gòu)不變而只考慮固定效應(yīng)的選擇。模型選擇準(zhǔn)則如AIC、BIC等雖然可以用來比較一系列被擇模型，但當(dāng)預(yù)測變量增加時，被擇模型的數(shù)量將會呈幾何級數(shù)增長。為減少計算量，Jiang等[7]提出一個替代的兩步選擇法，然而其自身的不連續(xù)性使得模型選擇結(jié)果不穩(wěn)健。Bondell等[8]利用Cholesky 分解提出一種同時選擇固定效應(yīng)和隨機(jī)效應(yīng)的方法，其雖然能夠在一定程度上減少計算量，但難以向其它形式的損失函數(shù)擴(kuò)展，尤其是對應(yīng)于分位回歸的損失函數(shù)。

對于普通的線性分位回歸模型，Li等[9]構(gòu)造了與多種懲罰相等價的貝葉斯正則化方法，隨后李翰芳等[10]、李子強(qiáng)等[11]將該正則化方法推廣到含隨機(jī)效應(yīng)的面板數(shù)據(jù)模型中。然而，這些方法都只考慮了固定效應(yīng)的選擇。本文則通過分別對固定效應(yīng)和隨機(jī)效應(yīng)引入條件Laplace先驗，提出一種新的貝葉斯雙懲罰分位回歸法。該方法不僅能對模型中重要解釋變量進(jìn)行自動挑選，而且充分考慮到個體隨機(jī)波動對解釋變量估計帶來的偏差，通過對方差分量的懲罰壓縮，可減少模型中未知參數(shù)的個數(shù)，提高模型自由度。

1 模型與方法

首先建立面板數(shù)據(jù)的條件分位回歸模型，然后給出參數(shù)估計的貝葉斯雙懲罰法。

對于響應(yīng)變量Y，這里考慮其給定分位點τ時的條件分位回歸函數(shù)：

(1)

式中：QY(τ|xit,zit,αi)=inf{y∶F(y|xit,zit,αi)≥τ}為Y的τ(0<τ<1)分位數(shù)；xit為個體i在時刻t 時的k維解釋變量；βτ是對應(yīng)的回歸系數(shù)向量；αiτ是個體i的p維隨機(jī)效應(yīng)向量；zit是對應(yīng)的p維協(xié)變量。

假設(shè)響應(yīng)變量yit具有非對稱 Laplace 分布(ALD)，在αi給定的條件下模型(1)樣本的似然函數(shù)為

(2)

式中：y=(y11,y12,…,y1T,y21,…,yNT)′；ρτ(u)=u(τ-I(u≤0))。由于是考慮給定分位點τ時β和αi的估計，故下文中省略參數(shù)下標(biāo)τ。

由于ALD分布沒有共軛先驗，本文利用文獻(xiàn)[12]中對ALD分布的正態(tài)和指數(shù)分解，將模型(1)等價表示為：

i=1,…,N；t=1,…,T

(3)

與常見的正態(tài)先驗不同的是，為了同時對模型中重要固定效應(yīng)和隨機(jī)效應(yīng)系數(shù)進(jìn)行選擇，在此設(shè)β、α分別有條件Laplace先驗：

(4)

通過似然函數(shù)式(2)可以獲得β、α、σ的后驗密度：

π(β,σ,α|y,λ1,λ2)∝L(β,σ|y,α,τ)·

(5)

若視σ為厭惡參數(shù)，則極大化式(5)等價于極小化下式：

(6)

式(6)可以看成是一種對β、α同時施加Lasso懲罰的雙懲罰分位回歸方法。

2 參數(shù)估計的MCMC算法

在給定Laplace先驗信息下，直接從式(5)中獲得β、α的估計較為困難，利用等式

(7)

可以構(gòu)造出所有未知參數(shù)的一種簡單MCMC(Markov Chain Monte Carlo)抽樣算法，具體構(gòu)造方法如下。

(8)

令S=(s1,…,sk)，從而有

(9)

(10)

(10)將每次上一步抽取的數(shù)據(jù)值代入下一步生成新的數(shù)據(jù)，重復(fù)步驟(2)(9)直至收斂。

3 計算機(jī)模擬分析

下面通過Monte Carlo模擬來對本文提出的貝葉斯雙Lasso懲罰分位回歸估計(BLLQR)與文獻(xiàn)[13]中的貝葉斯分位回歸估計(BQR)、文獻(xiàn)[10]中的貝葉斯Lasso分位回歸估計(BLQR)、文獻(xiàn)[11]中的貝葉斯Adaptive Lasso分位回歸估計(BALQR)在重要自變量及隨機(jī)效應(yīng)選擇上的表現(xiàn)進(jìn)行比較。

模擬數(shù)據(jù)由以下面板數(shù)據(jù)模型生成：

i=1,…,N；t=1,…,T

(11)

由表1可見，對于固定效應(yīng)系數(shù)的估計，采用本文提出的BLLQR方法所得MSE值及其標(biāo)準(zhǔn)差均最小，表明該方法整體估計精度和穩(wěn)定性均最優(yōu)。從具體每個參數(shù)的估計來看：

(1)對于模型中兩個非零且受到隨機(jī)效應(yīng)干擾的參數(shù)β0和β1，BQR的估計偏差最小，BLLQR與BALQR的估計精度相當(dāng)，BLQR的最差。這一點不難理解，因為這兩個系數(shù)在模型中的原始設(shè)置即為非0的重要系數(shù)，而BLQR、BALQR及BLLQR卻均對其進(jìn)行了壓縮，雖然BALQR在大樣本情況下能夠獲得無偏估計，但在有限的模擬樣本中則難以達(dá)到。BLQR和BLLQR由于采用的都是普通Lasso懲罰，從而偏差更大一些，但BLLQR比BLQR的偏差要小。雖然在偏差上BLLQR不是最優(yōu)的，但BLLQR的標(biāo)準(zhǔn)差最小，原因是此模型中還設(shè)置有部分隨機(jī)效應(yīng)的干擾，BLLQR是4種方法中唯一考慮了隨機(jī)效應(yīng)選擇的方法，從而其排除干擾的能力更強(qiáng)一些。

(2)對于模型中非零且未受到隨機(jī)效應(yīng)干擾的參數(shù)β2，BLLQR的估計偏差和標(biāo)準(zhǔn)差均最小，其次為BQR，而BLQR則表現(xiàn)最差。故可以看出，對于模型中的非零系數(shù)，雖然采用Lasso懲罰會帶來一定的偏差，但如果能夠正確識別出是否有隨機(jī)效應(yīng)的干擾，則能對估計偏差有一個更大幅度的修正，BQR方法雖然不會有壓縮偏差，但其無法識別隨機(jī)效應(yīng)存在與否，將所有系數(shù)都按照有非零隨機(jī)效應(yīng)干擾對待，從而帶來了估計偏差。

表2 4種方法在極端分位點處的估計結(jié)果比較(τ=0.9)

(3)對于模型中本身為零且未受到隨機(jī)效應(yīng)干擾的參數(shù)β3，3種對系數(shù)進(jìn)行了壓縮的方法BLQR、BALQR和BLLQR明顯優(yōu)于BQR，其中BLLQR無論是在偏差還是在標(biāo)準(zhǔn)差上均是最優(yōu)的，從而可以看到，與普通的只能對固定效應(yīng)進(jìn)行選擇的單懲罰方法BLQR、BALQR相比，本文提出的雙Lasso懲罰法BLLQR能夠有效對模型中固定效應(yīng)與隨機(jī)效應(yīng)進(jìn)行同時選擇和估計。

另外，對于隨機(jī)效應(yīng)的非零方差參數(shù)φ1和φ2，4種方法的估計效果相當(dāng)，但對于誤將其包含在模型中的零方差參數(shù)φ3和φ4，BLLQR估計則明顯優(yōu)于其它3種方法。BLLQR基本能夠?qū)⑦@些冗余的隨機(jī)效應(yīng)排除在模型之外，可見本文提出的雙Lasso懲罰法BLLQR無論對模型中真實存在的隨機(jī)效應(yīng)還是錯誤假設(shè)的隨機(jī)效應(yīng)都能夠進(jìn)行較為精確的識別與估計。這一點對于實際數(shù)據(jù)建模極為有利，因為建模前往往不知道具體有哪些固定效應(yīng)應(yīng)該保留在模型之中，也不知道哪些固定效應(yīng)系數(shù)受到了隨機(jī)效應(yīng)的影響，從而通常會假定所有固定效應(yīng)和隨機(jī)效應(yīng)都存在。一方面，如果估計方法不能自動排除冗余解釋變量，則整體估計精度就會降低，尤其是在冗余解釋變量較多時更是如此，如BQR法；另一方面，如果估計方法不能自動排除冗余隨機(jī)效應(yīng)，則對于實際并不存在的隨機(jī)效應(yīng)均會估計過高，從而也會影響參數(shù)的整體估計精度，如BLQR和BALQR法。

從表2來看，4種方法在極端分位點處的估計精度和穩(wěn)定性均比在中位點處的差一些，這與普通的分位回歸估計類似，其主要原因是極端分位點處的樣本點較為稀疏，從而估計精度會有所降低。與中位點處的情況類似，BLLQR估計的MSE均值和標(biāo)準(zhǔn)差都是最小的，即固定效應(yīng)系數(shù)整體估計最優(yōu)。對于每個具體的固定效應(yīng)系數(shù)，BLLQR在β2及β3上的估計偏差和標(biāo)準(zhǔn)差均是最優(yōu)的，尤其是對于固定效應(yīng)系數(shù)為0且不受隨機(jī)效應(yīng)干擾的β3，其估計效果遠(yuǎn)遠(yuǎn)優(yōu)于其它方法。而對于方差分量的估計，BLLQR對于不為0的方差參數(shù)估計精度與其它3種方法相當(dāng)，對于本身為0的方差參數(shù)，其估計值也與0極為接近。

4 實證分析

本文考慮利用貝葉斯雙懲罰分位回歸法來探討幾個重要宏觀經(jīng)濟(jì)指標(biāo)對GDP的影響程度，這幾個宏觀經(jīng)濟(jì)指標(biāo)既包括影響GDP的3個內(nèi)在因素：總固定資產(chǎn)投資總額 (Finvest)、城鎮(zhèn)居民全年平均消費性支出(Consume)和進(jìn)出口總額 (Imexport)，也包括影響GDP的3個外在因素：財政支出 (Finac)、外商直接投資 (FDI)和R&D經(jīng)費支出 (R&D)。共收集了1998—2013年30個省市地區(qū)(西藏自治區(qū)數(shù)據(jù)缺失較多略去)的面板數(shù)據(jù)，數(shù)據(jù)來源于《中國統(tǒng)計年鑒 (1999—2014)》。為了便于后面對各個因素的影響進(jìn)行比較，所有數(shù)據(jù)均取對數(shù)后再進(jìn)行標(biāo)準(zhǔn)化處理。

由于各個地區(qū)經(jīng)濟(jì)發(fā)展水平極不平衡，本文考慮如下隨機(jī)系數(shù)的面板數(shù)據(jù)模型：

GDPit=(β0+αi0)+(β1+αi1)Finvestit+

(β2+αi2)Finacit+(β3+αi3)FDIit+

(β4+αi4)Imexportit+(β5+αi5)R&Dit+

(β6+αi6)Consume+εit,

i=1,…,30；t=1,…,16

(12)

在上述模型中，先假設(shè)每個指標(biāo)的系數(shù)都受到截面?zhèn)€體隨機(jī)效應(yīng)αip(p=0,1,2,…,6)的影響。雖然對于有些經(jīng)濟(jì)發(fā)展水平相當(dāng)?shù)氖∈?，這一隨機(jī)效應(yīng)差異可能并不顯著，但由于本文提出的貝葉斯雙懲罰分位回歸法能夠自動地對重要固定效應(yīng)和隨機(jī)效應(yīng)進(jìn)行選擇，所以該假設(shè)并不影響本方法對模型中各個參數(shù)作出正確的估計。取τ=0.25、0.5、0.75分別計算3個分位點處的估計結(jié)果，在每次估計中，為了使抽樣值達(dá)到穩(wěn)定狀態(tài)，所有算法均迭代40 000次，并保留后20 000次抽得的樣本來獲得參數(shù)點估計和置信區(qū)間估計，結(jié)果如表3所示。

表3 貝葉斯雙懲罰分位回歸法在3個分位點處的估計結(jié)果

從表3中可以看到，各個指標(biāo)對GDP的影響權(quán)重有著較為顯著的差別，而且這種差別隨著分位點的不同也在發(fā)生改變。首先，從不同分位點處來看，低分位點τ=0.25時，總固定資產(chǎn)投資額 (Finvest) 、財政支出 (Finac)和進(jìn)出口總額 (Imexport)3個變量權(quán)重系數(shù)占據(jù)主導(dǎo)地位，其它3個變量即外商直接投資 (FDI) 、R&D經(jīng)費支出和城鎮(zhèn)居民全年平均消費性支出(Consume)的權(quán)重系數(shù)都很小，0均包含在這3個指標(biāo)系數(shù)的95%置信區(qū)間內(nèi)，說明其在5%水平下并不顯著；在中位點τ=0.5處，除總固定資產(chǎn)投資額 (Finvest) 、財政支出 (Finac)和進(jìn)出口總額 (Imexport)外，城鎮(zhèn)居民全年平均消費性支出(Consume)在模型中也變得顯著；在高分位點τ=0.75處，模型中的顯著性變量又增加了R&D經(jīng)費支出指標(biāo)。綜合來看，總固定資產(chǎn)投資額 (Finvest)、財政支出 (Finac)和進(jìn)出口總額 (Imexport)這3個指標(biāo)無論在哪個分位點處權(quán)重系數(shù)都顯著且排在前位，說明我國經(jīng)濟(jì)總量對這幾個指標(biāo)的依賴度還很高。從各個分位點處指標(biāo)重要程度排名變化情況來看，城鎮(zhèn)居民全年平均消費性支出(Consume)變化最大，從低分位點處的不顯著躍升至高分位點處的權(quán)重系數(shù)最大，可見擴(kuò)大消費對GDP快速增長有著很大的拉動效應(yīng)。另外，R&D經(jīng)費支出也從低分位點處的不顯著變?yōu)楦叻治稽c模型中的顯著變量，說明科技創(chuàng)新對于經(jīng)濟(jì)的穩(wěn)定增長也逐漸起著不可忽視的作用。

從表3中還可以看到，對于各個影響指標(biāo)，隨著分位點的增加，總固定資產(chǎn)投資額 (Finvest)、 財政支出 (Finac)和進(jìn)出口總額 (Imexport)系數(shù)是逐漸變小的，而城鎮(zhèn)居民全年平均消費性支出(Consume)、R&D經(jīng)費支出權(quán)重系數(shù)均是逐漸增大的，也即要使得GDP能夠長期持續(xù)增長，則需要降低經(jīng)濟(jì)增長對政府投資的依賴度，著重擴(kuò)大消費內(nèi)需以及增加科技研發(fā)創(chuàng)新的投入力度，這也給當(dāng)前經(jīng)濟(jì)結(jié)構(gòu)調(diào)整及轉(zhuǎn)型提供了重要的啟示。

5 結(jié)論

(1)本文提出的BLLQR貝葉斯雙懲罰分位回歸估計由于同時考慮到了固定效應(yīng)與隨機(jī)效應(yīng)的選擇，故其無論是在中位點處還是在極端分位點處的總體表現(xiàn)在參與比較的4種方法中均是最優(yōu)的。

(2)3種對固定效應(yīng)系數(shù)進(jìn)行了壓縮的方法BLQR、BALQR、BLLQR在非重要解釋變量的排除能力上都要明顯優(yōu)于BQR法，而且本文提出的BLLQR法對未受隨機(jī)效應(yīng)干擾的非零固定效應(yīng)系數(shù)的估計精度甚至優(yōu)于BQR法。

(3)對于模型中重要解釋變量系數(shù)的估計，本文提出的BLLQR法也都能夠給出較為精確的估計，在參與比較的4種方法中估計的標(biāo)準(zhǔn)差均是最小的，也即估計性能最為穩(wěn)健。另外，由于BLLQR法也可以通過切片Gibbs抽樣算法在專門的統(tǒng)計分析軟件WinBUGS中實現(xiàn)，所以待估參數(shù)雖然較BQR、BLQR和BALQR中的參數(shù)多，但在計算時間消耗上并無明顯差別。

[1] Koenker R. Quantile regression for longitudinal data[J].Journal of Multivariate Analysis,2004,91:74-89.

[2] Farcomeni A, Viviani S. Longitudinal quantile regression in the presence of informative dropout through longitudinal-survival joint modeling[J]. Statistics in Medicine, 2015,34(7): 1199-1213.

[3] Lamarche C. Robust penalized quantile regression estimation for panel data[J]. Journal of Econome-trics, 2010,157(2):396-408.

[4] Kato K, Galvao A F, Montes-Rojas G V. Asymptotics for panel quantile regression models with individual effects[J]. Journal of Econometrics, 2012,170(1): 76-91.

[5] Galvao A F. Quantile regression for dynamic panel data with fixed effects[J]. Journal of Econometrics, 2011,164(1):142-157.

[6] Chernozhukov V，F(xiàn)ernandez-Val I，Hahn J, et al. Average and quantile effects in nonseparable panel models[J].Econometrica, 2013,81(2): 535-580.

[7] Jiang J, Rao J S. Consistent procedures for mixed linear model selection[J]. Sankhy: The Indian Journal of Statistics, 2003,65(1): 23-42.

[8] Bondell H D, Krishna A, Ghosh S K. Joint variable selection for fixed and random effects in linear mixed-effects models[J]. Biometrics, 2010,66:1069-1077.

[9] Li Qing, Xi Ruibin, Lin Nan. Bayesian regularized quantile regression[J]. Bayesian Analysis, 2010, 5(3):533-556.

[10]李翰芳, 羅幼喜, 田茂再. 面板數(shù)據(jù)的貝葉斯Lasso分位回歸方法[J].數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究, 2013(2): 138-149.

[11]李子強(qiáng), 田茂再, 羅幼喜. 面板數(shù)據(jù)的自適應(yīng)Lasso分位回歸方法研究[J].統(tǒng)計與信息論壇, 2014, 29(7): 3-10.

[12]Kozumi H, Kobayashi G. Gibbs sampling methods for Bayesian quantile regression[J]. Journal of Statistical Computation and Simulation, 2011,81:1565-1578.

[13]Luo Youxi, Lian Heng, Tian Maozai. Bayesian quantile regression for longitudinal data models[J]. Journal of Statistical Computation and Simulation, 2012,82:1635-1649.

[責(zé)任編輯 尚 晶]

Theoretical and empirical study on panel data models based on double penalized quantile regression

LuoYouxi1，2，LiHanfang1，3，TianMaozai4，ZhengLie1，2

(1. School of Science, Hubei University of Technology, Wuhan 430068, China;2. Institute of Product Quality, Hubei University of Technology, Wuhan, 430068, China;3. School of Mathematics and Statistics, Central China Normal University, Wuhan 430079, China;4. School of Statistics, Renmin Univiesity of China, Beijing 100872, China)

It is an important issue to select fixed and random effects simultaneously for panel data models. This paper proposes a new Bayesian double penalized quantile regression method by introducing the conditional Laplace prior both for fixed and random effect parameters. This method can not only select the important explanatory variables in the model automatically but also give a full consideration to the biases of parameter estimation for explanatory variables which are produced by individual random fluctuations. By applying shrinkage to the variance components, the number of unknown parameters in the model is reduced, thus the model’s freedom degree is enhanced greatly. Monte Carlo simulation and empirical study indicate that the proposed method can accurately estimate the fixed effect parameters and catch the exact fluctuation of individual random effects.

panel data; quantile regression; Bayesian analysis; fixed effect; random effect; variable selection; Laplace prior

2016-09-08

國家自然科學(xué)基金資助項目(11271368)；教育部人文社會科學(xué)研究青年基金資助項目(13YJC790105)；湖北工業(yè)大學(xué)博士科研啟動基金資助項目(BSQD13050).

羅幼喜(1979-)，男，湖北工業(yè)大學(xué)副教授，博士.E-mail：youxiluo@163.com

O212；F064.1

A

1674-3644(2016)06-0462-06