陳健,趙培信,2

(1.重慶工商大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院,重慶400067;2.經(jīng)濟社會應(yīng)用統(tǒng)計重慶市重點實驗室,重慶400067)

1.引言

進行回歸分析時,如果模型誤差服從正態(tài)分布,那么普通最小二乘估計是一個有效的模型估計方法.但是,如果模型誤差不服從正態(tài)分布,特別是當(dāng)模型誤差為厚尾分布或數(shù)據(jù)含有異常點時,普通最小二乘估計則不再是一個有效的統(tǒng)計推斷方法.隨著社會的發(fā)展和科技的進步,實際問題中遇到的數(shù)據(jù)結(jié)構(gòu)越來越復(fù)雜.在統(tǒng)計建模時,假定模型誤差分布服從正態(tài)分布或者不含有異常點,往往是不切實際的.因此,關(guān)于模型的穩(wěn)健統(tǒng)計推斷問題越來越受到關(guān)注,并且許多文獻已提出大量的穩(wěn)健統(tǒng)計推斷方法,其中模態(tài)回歸(modal regression)方法[1]是一種既具有較好的穩(wěn)健性,又保留了估計的有效性的穩(wěn)健統(tǒng)計推斷方法.具體地,記f(y|x)為給定協(xié)變量X的情況下響應(yīng)變量Y的條件密度函數(shù),YAO和LI[1]定義f(y|x)的模為Mode(Y|X)=arg maxy(f(y|x)),對線性回歸模型Yi=XTi β+εi,i=1,2,··· ,n,提出參數(shù)β的模態(tài)估計為最大化如下目標(biāo)函數(shù)的解.

其中φh(·)=h?1φ(·/h),φ(·)為對稱的核函數(shù),h為帶寬.

目前,已有大量的文獻對模態(tài)估計相關(guān)理論和應(yīng)用進行了研究.比如YAO等[2]對非參數(shù)回歸模型提出了一個局部模態(tài)估計方法.LIU等[3]利用模態(tài)估計方法研究了單指標(biāo)模型的統(tǒng)計推斷問題.YANG等[4]利用模態(tài)估計方法研究了部分線性單指標(biāo)模型的估計問題.LV等[5]結(jié)合模態(tài)估計方法研究了非線性模型的變量選擇問題.ZHANG等[6]則基于模態(tài)估計方法研究了部分線性變系數(shù)模型的變量選擇問題.

另外,在模型參數(shù)估計以及檢驗方面,經(jīng)驗似然方法[7]是一種有效的非參數(shù)統(tǒng)計推斷方法.該方法在構(gòu)造參數(shù)置信區(qū)間方面具有許多優(yōu)良的性質(zhì),比如避免了極限方差的估計,并且置信域的形狀完全由數(shù)據(jù)確定等.目前經(jīng)驗似然方法廣泛應(yīng)用到參數(shù)模型,非參數(shù)模型以及半?yún)?shù)模型的統(tǒng)計推斷中.ZHAO等[8]結(jié)合模態(tài)估計方法對線性回歸模型,提出了一個基于模態(tài)估計的經(jīng)驗似然統(tǒng)計推斷過程.但是在實際問題建模中,線性回歸模型往往不能有效刻畫數(shù)據(jù)間的相關(guān)結(jié)構(gòu),而部分線性模型是線性模型的一個有效的推廣形式.為此,本文將結(jié)合模態(tài)估計技術(shù),研究部分線性模型的模態(tài)經(jīng)驗似然統(tǒng)計推斷問題.具體地,考慮如下部分線性模型

其中β=(β1,··· ,βp)T為p維的未知參數(shù)向量,g(·)為未知非參數(shù)函數(shù),Xi為p維協(xié)變量,Ui為1維協(xié)變量,Yi為響應(yīng)變量,εi為零均值的模型誤差.另外,不失一般性,本文假定Ui在區(qū)間[0,1]上取值.

接下來,本文結(jié)合模態(tài)估計方法和正交投影技術(shù),對模型(1.2)提出了一個模態(tài)經(jīng)驗似然統(tǒng)計推斷過程.并且證明了所構(gòu)造的經(jīng)驗對數(shù)似然比函數(shù)漸近服從中心卡方分布,進而給出了模型參數(shù)的置信區(qū)間估計.本文通過正交投影技術(shù),使得所提出的估計過程可以分別對模型的參數(shù)分量β和非參數(shù)分量g(·)進行估計,而互不影響.因此,與已有估計方法相比,本文所構(gòu)造的置信域同時具有較好的穩(wěn)健性和有效性,并且在實際應(yīng)用中更加容易計算.最后通過一些數(shù)據(jù)模擬結(jié)果說明該方法是行之有效的.

2.方法論及主要結(jié)果

我們首先利用B樣條逼近技術(shù)[9]來逼近非參數(shù)函數(shù)g(u).設(shè)B(u)=(B1(u),··· ,BL(u))T階數(shù)為M的B樣條基函數(shù),其中L=K+M,K為內(nèi)部結(jié)點個數(shù).那么g(u)可以漸近表示為g(u)≈B(u)Tγ,其中γ為基函數(shù)系數(shù).進而結(jié)合模型(1.2)可得

其中Wi=B(Ui)=(B1(Ui),··· ,BL(Ui))T.記X=(X1,··· ,Xn)T,W=(W1,··· ,Wn)T,Y=(Y1,··· ,Yn)T,ε=(ε1,··· ,εn)T,則模型(2.1)可寫為

假定W為n×L的列滿秩矩陣,那么利用矩陣的QR分解公式可得

其中Q是一個n×n正交矩陣,R是一個L×L上三角矩陣,0是一個(n?L)×L零矩陣.進一步,對Q進行分塊為Q=(Q1,Q2),其中Q1為n×L矩陣,Q2為n×(n?L)矩陣.那么有W=Q1R以及QT2Q1=0.因此可得QT2W=QT2Q1R=0.進而在(2.2)式兩邊同時乘以QT2可得

注意到模型(2.4)為一個僅含有參數(shù)分量的標(biāo)準(zhǔn)線性回歸模型,因此為構(gòu)造參數(shù)β的模態(tài)經(jīng)驗似然比函數(shù),類似文[8],定義輔助隨機向量

并進一步定義關(guān)于β的經(jīng)驗對數(shù)似然比為

接下來,我們給出R(β)漸近分布.為此首先羅列一些漸近結(jié)果所需要的正則性條件.

(C1)非參數(shù)函數(shù)g(u)為r階連續(xù)可微函數(shù),這里r ≥2;

(C2)模型誤差ε滿足E(ε|X,U)=0,并且存在一個正常數(shù)δ >0,使得E(|ε|2+δ)<∞;

(C3)設(shè)c1,··· ,cK為區(qū)間[0,1]的內(nèi)部節(jié)點,并記c0=0,cK+1=1以及?i=ci?ci?1.那么存在常數(shù)C0使得max {?i}/min {?i}≤C0和max {|?i+1??i|}=o(K?1);

(C4)對任意給定的帶寬h,核函數(shù)φh(·)滿足E(φ′h(ε))=0,Fh ≡E(φ′′h(ε))>0 以及Gh ≡E(φ′h(ε)2)<∞;

(C5)記Σ=E {φ′h(ε?i)2X?i X?Ti}和Γ=E {φ′′h(ε?i)X?i X?Ti},那么Γ和Σ均為可逆矩陣.在這些正則條件下,如下定理給出了R(β)的漸近分布.

定理2.1假設(shè)正則條件(C1)-(C5)成立,并且內(nèi)部節(jié)點個數(shù)K滿足K=O(n1/(2r+1)).那么當(dāng)n→∞時,有R(β)2p,其中表示以分布收斂,χ2p表示自由度為p的中心卡方分布.

記χ2p(1?α)為χ2p的1?α分位點,那么由定理2.1可知β的1?α置信區(qū)間可定義為Cα(β)= {β|R(β)≤χ2p(1?α)}.另外,最大化 {?R(β)}則得到β的最大經(jīng)驗似然估計,記為.在一些正則條件下,如下定理2.2表明漸近服從正態(tài)分布.

定理2.2假設(shè)正則條件(C1)-(C5)成立,并且內(nèi)部節(jié)點個數(shù)K滿足K=O(n1/(2r+1)).那么當(dāng)n→∞時,有其中Σ和Γ由條件(C5)所定義.

接下來,我們給出非參數(shù)分量g(u)的估計過程.把參數(shù)分量β的經(jīng)驗似然估計代入模型(2.1)可得=WTi γ+εi,其中=Yi?.進而,類似參數(shù)分量β的估計過程,定義輔助隨機向量ψi(γ)=Wiφ′h(?WTi γ),i=1,2,··· ,n,并進一步定義關(guān)于γ的經(jīng)驗對數(shù)似然比為

定理2.3假設(shè)正則條件(C1)-(C5)成立,并且內(nèi)部節(jié)點個數(shù)K滿足K=O(n1/(2r+1)).那么當(dāng)n→∞時,有其中||·||表示函數(shù)的L2范數(shù).

另外,在實際應(yīng)用中內(nèi)部節(jié)點個數(shù)K以及帶寬h需要選擇.類似文[8],我們給出一個關(guān)于K和h的選擇方法.定義和其中那么K和h的估計定義為

盡管基于該方法給出的參數(shù)在理論上可能不是最優(yōu)的,但第4節(jié)的數(shù)據(jù)模擬結(jié)果表明該選擇方法是可行的.

3.定理的證明

引理3.1設(shè)ξi,i=1,··· ,n,為相互獨立的隨機變量序列,且滿足E(ξi)=0 和E(ξ2i)

證參見文[9]中引理A.2的證明.

引理3.2假定條件(C1)-(C5)成立,那么當(dāng)β為參數(shù)真值時,有

其中Σ由條件(C5)所定義.

證記R(Ui)=g(Ui)?B(Ui)Tγ和R(U)=(R(U1),··· ,R(Un))T,結(jié)合QT2W=0 可知

記QT2R(U)=(r?1(U),··· ,r?n?L(U))T,那么結(jié)合(3.1)式以及ηi(β)的定義可知

注意到E(Jn1)=0以及Var(Jn1)=Σ,因此由中心極限定理可知

另外由條件(C1),(C3)以及文[10]的推論6.21可得||R(U)||=O(K?r).進而結(jié)合引理3.1,簡單計算可得Jn2=Op((n?L)?1/2(n?L)1/2log(n?L)K?r)=op(1)和Op((n?L)1/2||R(U)||2)=op(1).因此結(jié)合(3.2)和(3.3)式,并利用Slutsky定理則完成了本引理的證明.

定理2.1的證明結(jié)合ηi(β)的定義,并利用類似文[7]的證明可得

進而結(jié)合(3.4)和(3.5),并利用類似文[11]中定理4證明方法可得

定理2.2的證明結(jié)合(3.6)式并用類似文[11]的證明可知,最大經(jīng)驗似然估計為估計方程的解.因此有

另外利用Taylor展開可得

結(jié)合(3.7)和(3.8)式,簡單計算可得

利用大數(shù)定律可得

因此,結(jié)合(3.9),(3.10)式以及引理3.2的證明過程,并利用Slutsky定理可得N(0,Γ?1ΣΓ?1).這就完成了定理2.2的證明.

定理2.3的證明類似定理2.2的證明可知,γ最大似然估計為的解.進而為最小化如下目標(biāo)函數(shù)Qh(γ)的解

記τ=n?r/(2r+1)和γ=γ0+τξ,其中γ0表示γ的參數(shù)真值.我們首先證明對任意給定的? >0,那么存在常數(shù)C使得

利用Taylor展開,并經(jīng)簡單計算可得

記?(γ)=K?1[Qh(γ)?Qh(γ0)],結(jié)合(3.14)和(3.15)式可得

注意到K=Op(n1/(2r+1)),進而有Op(nτ2K?1)=Op(1),并且Op(n1/2τK?1)和op(nτ2K?1)均為op(1).因此,對充分大的C,J2和J3均一致小于J1.另外由J1恒為正值可得(3.12)式成立.即以概率1?ε存在極小值點滿足

另外由簡單計算可得

由||R(u)||=O(K?r)和K=Op(n1/(2r+1))可知進而結(jié)合(3.17)和(3.18)式可得這就完成了定理2.3的證明.

4.模擬研究

在這一節(jié),我們通過一些數(shù)值模擬來說明本文提出估計方法的有限樣本性質(zhì).我們基于如下模型產(chǎn)生數(shù)據(jù)Yi=Xiβ+g(Ui)+0.5εi,i=1,··· ,n,其中取β=2以及g(u)=cos(2πu).為實施模擬,取協(xié)變量Xi～N(1,2),Ui～U(0,1),響應(yīng)變量Yi根據(jù)模型產(chǎn)生,其中模型誤差εi分別取為正態(tài)分布N(0,1),自由度為3的t分布t(3)以及拉普拉斯分布La(0,1)三種情況來代表不同的模型誤差形式.在模擬過程中取三次B樣條基函數(shù)對非參數(shù)分量進行展開,并利用高斯核函數(shù)進行模態(tài)回歸,其中內(nèi)部節(jié)點個數(shù)K以及帶寬h通過(2.6)式進行選擇.另外,在模擬過程中樣本容量分別取為n=50,100和150三種情況,并且對每一種情況,實驗重復(fù)1000次.

對參數(shù)分量β,我們對三種方法進行比較:模態(tài)經(jīng)驗似然方法(基于定理2.1),記為MR-EL;模態(tài)回歸估計的正態(tài)逼近方法(基于定理2.2),記為MR-NA; 以及經(jīng)典的最小二乘估計的正態(tài)逼近方法,記為LS-NA.表4.1給出了基于1000次重復(fù)實驗,參數(shù)分量β的95%置信區(qū)間的平均長度(AL)以及對應(yīng)的覆蓋概率(CP).由表4.1,我們可以得到如下結(jié)論:

(i)對任一給定的模型誤差,基于本文提出的模態(tài)經(jīng)驗似然方法(MR-EL)給出的置信區(qū)間隨著樣本量的增加,區(qū)間長度則逐漸變短,并且對應(yīng)的覆蓋概率越來越接近名譽水平0.95.這表明本文提出的模態(tài)經(jīng)驗似然方法是行之有效的.

(ii)當(dāng)模型誤差為正態(tài)分布時,基于三種方法給出的模擬結(jié)果是類似的.但當(dāng)模型誤差為非正態(tài)分布時,本文提出的模態(tài)經(jīng)驗似然方法(MR-EL)明顯優(yōu)于最小二乘方法估計方法(LS-NA).這就表明本文提出的模態(tài)經(jīng)驗似然方法是相對穩(wěn)健的.

(iii)與MR-NA方法相比,MR-EL給出了稍微較短的置信區(qū)間.這主要是因為基于MREL方法的置信區(qū)間構(gòu)造過程不涉及任何漸近方差的估計,而基于MR-NA方法的置信區(qū)間構(gòu)造過程需要給出估計量漸近方差的估計,從而影響了置信區(qū)間的精度.

表4.1 基于不同的估計方法,對參數(shù)分量β的模擬結(jié)果.

圖4.1 基于MR-EL方法, g(u)的估計曲線

另外對非參數(shù)分量g(u),如圖4.1給出了當(dāng)n=100,ε～t(3)時,基于本文提出的模態(tài)經(jīng)驗似然方法給出的估計結(jié)果,其中虛線表示估計曲線,實線為真實曲線.從圖4.1可以看出對非參數(shù)分量的估計,本文提出的模態(tài)經(jīng)驗似然方法仍然是行之有效的.在樣本容量及模型誤差為其他情況下的模擬結(jié)果與圖4.1是類似的,由于篇幅所限,本文不一一展示.