蘇雅玲,何幼樺

(上海大學(xué)理學(xué)院,上海200444)

在回歸分析中,相對于回歸函數(shù)形式已知的參數(shù)回歸,非參數(shù)回歸的函數(shù)形式自由,受約束少,回歸模型完全由數(shù)據(jù)驅(qū)動.對于非參數(shù)回歸問題,已經(jīng)有很多學(xué)者進(jìn)行了研究,目前回歸函數(shù)的非參數(shù)估計主要集中在核估計、局部多項式估計、樣條函數(shù)以及小波估計.如Devroye[1]證明了回歸函數(shù)核估計的強(qiáng)相合性.Greblicki等[2]和Devroye[3]在不同條件下證明了回歸函數(shù)核估計的逐點相合性.Fan[4]引入局部線性回歸估計并闡述其優(yōu)越性,給出了估計量的均方誤差(mean-square error,MSE)和積分均方誤差(mean integrated square error,MISE),并研究了估計量的最大最小效.Antoniadis等[5]引入回歸函數(shù)的小波估計,并證明了估計量的相合性和漸進(jìn)正態(tài)性.上述方法單純從數(shù)據(jù)本身出發(fā),沒有充分利用數(shù)據(jù)以外的信息,雖然能夠達(dá)到較好的擬合效果,但是外推效果較差.

在參數(shù)估計問題中,貝葉斯方法已經(jīng)得到廣泛的應(yīng)用,而在非參數(shù)估計問題中,貝葉斯方法是從Ferguson[6]在1973年發(fā)表了論文A Bayesian Analysis of Some Nonparametric Problems[6]后才開始受到關(guān)注.Ferguson給出了當(dāng)總體X 的分布函數(shù)F(x)的先驗為Dirichlet過程時,F(x)的非參數(shù)貝葉斯估計為F(x)先驗分布與經(jīng)驗分布的加權(quán)平均.此外,Jayaram[7]提出了拓展的Dirichlet過程先驗.在此基礎(chǔ)上姚宗靜[8]給出簡單Dirichlet過程的構(gòu)造性定義,討論了其性質(zhì)和支撐問題,求出在該先驗下后驗分布的具體表達(dá)形式.也有學(xué)者將非參數(shù)貝葉斯方法應(yīng)用到回歸函數(shù)的估計中,如龍杏芬等[9]在局部線性估計中窗寬h的先驗分布為Gamma分布的條件下,基于貝葉斯方法構(gòu)造了回歸函數(shù)的局部線性估計,并給出窗寬和回歸函數(shù)的后驗分布和抽樣方法,通過數(shù)值模擬驗證了貝葉斯局部線性估計方法的可行性.盧一強(qiáng)等[10]對廣義非參數(shù)模型B樣條貝葉斯估計進(jìn)行了研究,給出了回歸函數(shù)B樣條貝葉斯估計的馬爾科夫鏈蒙特卡洛(Markov chain Monte Carlo,MCMC)模擬計算方法.

本工作針對非參數(shù)回歸模型,在Ferguson給出的總體分布函數(shù)的貝葉斯估計基礎(chǔ)上,進(jìn)一步得到一個光滑的條件分布估計.基于該分布最終構(gòu)造出回歸函數(shù)的貝葉斯估計,并研究該估計的收斂性質(zhì),給出該估計中超參數(shù)的合理表達(dá)式.最后,通過實證分析將非參數(shù)貝葉斯方法與局部線性回歸進(jìn)行了比較.

1 非參數(shù)回歸的貝葉斯估計

文獻(xiàn)[6]給出了總體X的分布函數(shù)F(x)的非參數(shù)貝葉斯估計,在該估計中取F(x)的先驗分布服從Dirichlet過程.Dirichlet過程定義如下.

定義1 設(shè)X為一樣本空間,A是X的子集構(gòu)成的σ代數(shù),α＞0,P0為(X,A)上的有限非零測度.如果對 X 的任意可測分割 A1,A2,···,Am,p=(P(A1),P(A2),···,P(Am))服從參數(shù)為α =(αP0(A1),αP0(A2),···,αP0(Am)) 的 Dirichlet分布,則稱p是(X,A)上參數(shù)為 α,基測度為P0的Dirichlet過程,記為p～DP(α,P0).

文獻(xiàn)[6]中的Dirichlet過程即為DP(α,P0),α為正實數(shù),記F0(x)=P0{X ≤x}是先驗過程的期望(均值函數(shù)).則在樣本為x1,x2,···,xn時,F(x)的貝葉斯估計為

該估計是先驗過程的期望分布F0(x)和經(jīng)驗分布估計Fn(x|x1,x2,···,xn)的加權(quán)平均.由于經(jīng)驗分布函數(shù)是階梯函數(shù),為得到一個光滑的分布估計,用核估計代替經(jīng)驗分布函數(shù)Fn(x|x1,x2,···,xn),則總體的密度估計為

現(xiàn)考慮Y∈R1對X=(X1,X2,···,Xd)∈Rd的多元非參數(shù)回歸模型

其中m(X)是未知回歸函數(shù),ε是均值為0方差為σ2的誤差項.設(shè)(x,y)是變量(X,Y)的某個具體取值,{(Xi,Yi),i=1,2,···,n}為樣本數(shù)據(jù).在多維情況下,式(1)可表示成如下形式:

Y的條件分布的貝葉斯估計為

在二次損失下,回歸函數(shù)m(x)的貝葉斯估計為

式中,m0(x)為m(x)基于p0(x,y)的先驗回歸函數(shù)Nadaraya-Watson核回歸估計,即零階局部多項式回歸.考慮一階局部多項式回歸(局部線性回歸)將會減少邊界偏倚,而不增加方差[11],因此在計算中可以將式(3)中的多元Nadaraya-Watson核回歸估計 ^mH(x)替換成多元局部線性回歸估計

另一方面,m(x)的貝葉斯估計式(3)中,α反映 ^mB(x)對先驗m0(x)的依賴程度,如果這種依賴隨x的變化而有所不同,則式(3)可寫成

1.1 估計的均方收斂性

文獻(xiàn)[12]給出了多元局部線性回歸估計 ^mH(x)的方差和偏差.

引理 1 對于樣本模型Yi=m(Xi)+εi,i=1,2,···,n.^mH(x)為m(x)具有帶寬矩陣H的局部線性估計,并滿足文獻(xiàn)[13]中的正則條件.設(shè)x為一個非邊界點,則在給定X1,X2,···,Xn下^mH的偏倚為

這里Hm(x)為m(x)的Hessian矩陣,而u2(KH)是核函數(shù)KH的二階矩.^mH的方差為

記Var(^mH(x))=Vn(x),Bias(^mH(x))=E(^mH(x))-m(x)=Bn(x),則m(x)核估計^mH(x)的均方誤差為

定理1 在^mH(x)滿足引理1的條件下,m(x)的貝葉斯估計的均方誤差為

注意到,當(dāng)m0(x)=m(x)時,

由此可知,當(dāng)m(x)先驗選擇接近m(x)時,m(x)的非參數(shù)貝葉斯估計的均方誤差將小于其局部線性回歸估計的均方誤差.

1.2 超參數(shù)α(x)的確定

式(4)中的超參數(shù)α(x)反映了分布估計對先驗分布的依賴程度,α(x)越大則這種依賴越強(qiáng).在實際計算時,需要對超參數(shù)α(x)進(jìn)行合理地確定.

定理2 以MSE達(dá)到最小的α(x)可以表示為

其中T=tr(HTHm(x)H).

證明

其中

上述約等式中是用p(x)代替了核估計^pH(x).

MSE(^mB(x))關(guān)于α(x)的一階偏導(dǎo)數(shù)為

得式(7)的結(jié)果.又因α(x)為式(7)時

所以當(dāng)α(x)取式(7)時,MSE(^mB(x))取得極小值.

在定理2中,當(dāng)m(x)對每個分量的二階偏導(dǎo)接近0,即T≈0時,則可取

根據(jù)式(8)可知,當(dāng)先驗回歸函數(shù)的選取和真實的回歸函數(shù)接近時,(m(x)-m0(x))2較小,^α(x)較大,回歸函數(shù)的非參數(shù)貝葉斯估計結(jié)果對先驗分布依賴度高.反之,當(dāng)先驗回歸函數(shù)的選取和真實的回歸函數(shù)相差較大時,^α(x)較小,則估計結(jié)果對先驗分布依賴度較低.由于m(x)是未知的,先驗m0(x)的選取具有主觀性,因此可以限定(m(x)-m0(x))2≤M,M為正實數(shù).式(8)中α(x)的確定還依賴方差σ2,其估計可采用文獻(xiàn)[11]中的方法.

2 實證分析

為了檢驗所提出算法的有效性,本工作以人口預(yù)測問題作為實證分析,樣本選取1990—2005年的中國人口數(shù)據(jù),建立人口數(shù)量對時間的回歸模型,運用非參數(shù)貝葉斯方法對模型進(jìn)行估計,最后以2006—2010年的數(shù)據(jù)檢驗?zāi)Ｐ?并將結(jié)果與局部線性回歸進(jìn)行對比分析.

2.1 人口模型的估計

基于1990—2005年的中國人口樣本建立一元非參數(shù)回歸模型:

選取Logistics人口模型[14]作為先驗:

表1 1990—2005年中國人口數(shù)量估計結(jié)果Table 1 Estimation of China's population in 1990—2005 萬人

表2 擬合均方誤差MSETable 2 Fitting mean square error MSE萬人

由表2可以看出,非參數(shù)貝葉斯估計與局部線性回歸方法相比較,均方誤差要小得多,擬合效果較好.

2.2 人口模型的預(yù)測

由2.1節(jié)得到人口數(shù)量的非參數(shù)貝葉斯估計結(jié)果,預(yù)測2006—2010年中國人口數(shù)量如表3所示.表4為預(yù)測均方誤差.表4表明在對中國人口數(shù)量進(jìn)行預(yù)測時,非參數(shù)貝葉斯估計與局部線性回歸相比較,均方誤差較小,在一定程度上克服了局部線性回歸方法在預(yù)測外推方面效果較差的問題.

表3 2006—2010年中國人口數(shù)量預(yù)測結(jié)果Table 3 China's population forcast results from 2006 to 2010 萬人

表4 預(yù)測均方誤差MSETable 4 Prediction mean square error MSE 萬人

3 結(jié)束語

本工作利用Y對X的條件分布的非參數(shù)貝葉斯估計來構(gòu)造回歸函數(shù)的非參數(shù)貝葉斯估計,在此過程中,用分布估計的核估計替代Ferguson估計的經(jīng)驗分布函數(shù),用較高階的局部多項式回歸替代原構(gòu)造中的Nadaraya-Watson回歸估計,獲得了較為理想的估計效果,同時還給出了估計的均方誤差及其均方收斂性.實證結(jié)果表明,對于非參數(shù)貝葉斯估計,當(dāng)先驗分布選擇較合適時,在數(shù)據(jù)擬合和預(yù)測方面均表現(xiàn)出了較好的效果.